動機
相機通常不是逐個像素獨立測量:點擴散函數先混合亮度,之後再加入噪聲。週期傅立葉(Fourier)模型能清楚展示這種混合,但真實邊界規則或空間變化的模糊可能產生不能用傅立葉座標對角化的矩陣。即使如此,我們仍可研究復原,而不必假設所有矩陣有相同的特徵向量。
前一節的恆等算子懲罰同時抑制整體亮度與振盪;差分懲罰則偏好相鄰像素接近,卻不懲罰常數圖像。這個選擇有重要代價:測量必須辨認懲罰忽略的每個方向。以下證明確切條件,並研究噪聲趨零時能恢復甚麼。所有向量及矩陣均為有限維實數對象;這不是連續模型的收斂定理。
定義
設 為指定的成像算子, 為指定的懲罰算子, 為觀測。對 定義
例如兩像素圖像上, 懲罰對比度而不懲罰平均亮度。邊界約定包含在 的選擇內。 則是一項模型假設;它的核表示單靠這個懲罰不能分辨的特徵。這裏不施加非負限制。
對精確數據 ,若 ,且在所有精確解中 最小,便稱 為 -最小解。它是按模型選出的解,不一定是產生數據的實際圖像。
定理/命題
定理 1.4.1
(半範數懲罰下的存在性、唯一性與穩定性)
假設 且 ,則 有唯一最小解
若 是 的最小特徵值,則數據 對應的最小解滿足
反之,若共同核包含非零向量,最小解仍然存在,但絕不唯一。
定理 1.4.2
(小噪聲的選解原理)
在相同共同核假設下,設 。此時存在唯一的 -最小精確解 。若 ,並選擇 使得當 時 及 ,則
這是充分的參數規則,並非聲稱每個成功的規則都必須如此。
兩個命題都可以透過同一個疊合最小二乘問題來理解。
概念視角代數
半範數懲罰就是疊合算子的普通最小二乘
令 、。則 ,法方程 正是 ;而共同核條件恰好是 為單射,因為 即 且 。所以唯一性就是熟悉的事實:最小二乘問題有唯一解,當且僅當其矩陣的列線性無關。常數 是 最小奇異值的平方。
證明或證明思路
證明
(法方程矩陣決定唯一性與敏感度)
記 。對任何 ,
這個量對每個非零 嚴格為正,當且僅當兩個核的交集只有零。此時 正定,以 為中心展開得到 ,故駐點是唯一全局最小解。兩個法方程相減得 ,再用 即得穩定性估計。當 減小,此界可能變大;固定參數的連續性本身不能證明復原。
若共同核非平凡,令 ,則 。 的值域是有限維閉子空間, 在該值域上的正交投影有原像,任何這樣的原像都是最小解。加上任何共同核向量都不改變目標值,因而不唯一。
證明
(選出最小懲罰的精確解)
先注意最小 -範數的精確解存在:在仿射子空間 中取離原點最近的點;它在有限維空間中是閉的。若兩個不同精確解有相同最小 -範數,除非它們的 -像相同,否則其中點的平方 -範數會嚴格較小。若像相同,二者之差又屬於兩個核,故它們實際上相等。
把最小解與滿足 的競爭者 比較,令 ,便有
所以 ,而殘差趨於零。 和 均有界。由於疊合映射 是單射,存在 使 :只要在單位球面上求連續正函數 的最小值。故 有界。每個收斂子列的極限都是精確解,其 -範數不大於 ;由唯一性,極限必為 。有界性及唯一聚點共同保證整族收斂。
證明透視
極限證明依靠甚麼?
極限證明在兩個不同地方使用兩個參數條件,而全部資訊都來自同一條比較不等式。它的第一個推論「殘差 」只需要 ;它保證每個極限點與數據相容,但對 中的方向毫無控制。第二個推論 需要 ,並同時完成兩件事:它控制懲罰,而在極限中又說明聚點的 -範數不比 差。
兩個界單獨都不能控制 。共同核假設首先透過強制常數 出現,把有界的 與 變成有界的 ;有限維再提供收斂子列。證明最後以 的唯一性收結,這是同一假設的第二次使用,此時用於兩個最小懲罰解。
例題
例題 1.4.3
(兩像素模糊與差分懲罰)
取 、、 及 。寫 ,則 、,因此
一階方程給出 和 ,復原圖像為 。精確反演則為 ;差分懲罰保留數據的平均值,卻有意降低對比度。復原殘差為 ,範數為 。即使 可逆,它也不必為零。
例題 1.4.4
(數據留下選擇時)
取 、、。每個精確解均滿足 ;差的最小可能大小為零,所以 。兩個核分別是對比方向與常數方向,交集只有零。對有噪聲的純量數據 ,任意正 的唯一最小解都是 ,因為兩項可同時為零。若 ,它趨於 。此例中兩項可同時為零,故任何正參數選擇均有此收斂;第一個例子則顯示復原一般依賴參數。實際圖像 亦給出精確數據四,但此選解原理不會恢復它。
例題 1.4.5
(奇異模糊仍有唯一復原)
取 、、。此處 奇異:它消去對比方向 。但 由 生成,兩個核只交於零,定理仍給出唯一最小解。寫 ,則 、,故
最小值在 、:對每個 都有 。殘差 正是數據的對比,任何圖像經此 都不能產生它。
法方程矩陣在 上的特徵值為 ,在 上為 ,故 ,且 。穩定性界 成立但此處並不精確:實際映射 就是 ,對每個 範數均為 。
常見錯誤
反例模式
平滑懲罰不一定能確定亮度
取 及 。兩算子都消去 。對任何 ,最優差為 ,但平均值任意。因此,觀測和懲罰共同忽略的方向,不能靠增大懲罰修補。加入獨立的平均值測量或明確平均值限制會改變問題,並可消除這個歧義。
定理中的界只討論固定 時數據 的擾動;模糊校準錯誤改變的是 ,需要另行分析。
常見錯誤
(把懲罰小當作平滑的證據)
小並不證明真實圖像平滑;它只記錄模型偏好。在 的例子中,圖像 與 給出相同的精確數據 。不論實際拍攝的是哪一幅,復原都選出 的 。
常見錯誤
(以為可逆模糊會被精確擬合)
有懲罰時,即使 可逆, 也不解 。在兩像素例子中 可逆,但 留下殘差 。殘差是懲罰的代價;一般而言,只有在精確數據下令 時它才消失。
總結
廣義二次正則化以選定算子 取代恆等算子。共同核條件正是唯一性條件,法方程矩陣則量化固定參數下的敏感度。噪聲和參數按相容速率趨零時,復原會收斂至最小懲罰精確解,但它未必是未知的實際圖像。
習題
練習 1.4.6
(設 和 。對數據 求 ,並解釋殘差。)
基礎
解答(3)
- 1
寫出目標函數
。
- 2
逐個座標最小化
;兩個核 與 只交於零。
- 3
解釋殘差
第二個測量座標的預測永遠為零,殘差為 ,任何圖像都不能擬合它。
練習 1.4.7
(對兩像素模糊例子,求任意 的最小解。當 ,對比度如何變化?)
基礎
解答(2)
- 1
在平均與差分座標中求解
平均值仍為 ,而 ,故 。
- 2
取極限
對比度 在 時趨零;這不表示未知圖像本身對比度為零。
練習 1.4.8
(對 取 ,哪些實數 滿足選解定理的兩個參數條件?)
基礎
解答(3)
- 1
第一個條件
時 要求 。
- 2
第二個條件
要求 。
- 3
合併
兩者同時成立當且僅當 。定理適用於這個範圍;它沒有刻畫範圍以外是否收斂。
練習 1.4.9
(設 、 及精確數據 。找出最小懲罰精確解,並解釋為何單靠數據不能恢復真實圖像 。)
核心
解答(3)
- 1
描述精確解
精確解是所有 ,其 。
- 2
最小化懲罰
的最小值唯一在 取得,故 。
- 3
解讀
所有 有相同數據,模型選出 ;觀測沒有證據指出 。