動機
模糊的觀測值可能對應很多幅圖像。直接除以很小的模糊係數,雖可緊貼觀測數據,卻可能大幅放大噪聲。要選擇復原方法,光看殘差並不足夠;我們還要說明如何衡量誤差,以及對圖像和噪聲有甚麼假設。本節把圖像與觀測視為有限維隨機向量。所得濾波器只在明確指定的估計類別中最優,並非對每幅相片都自動最優。
設 ,其中 是未知圖像、 是已知實矩陣、 是加性噪聲。我們尋找仿射估計 ,使期望平方誤差 最小。所有期望均假設二階矩有限。這個準則對假設的分布取平均,並不保證每一次所得圖像的誤差都是最小。
定義
記 、,並令 ,。假設 正定。估計誤差是 ,其平方範數的期望稱為風險。以下定理不要求訊號與噪聲獨立,也不要求它們不相關;定理後的簡化公式才明確加入不相關假設。
定理/命題
定理 1.6.1
(最佳仿射估計)
若 有有限二階矩且 正定,則最小化風險的仿射估計作為隨機向量是唯一的,並且為
其誤差與 的每個中心化線性函數不相關。先選取最佳截距後,任意矩陣 所產生的超額風險是 ,其中 。
證明
證明
(先定截距,再用正交恆等式)
固定 ,寫 。估計誤差為 ,其中 的均值為零,因此
最佳截距必有 。令 。直接代入可得 。對另一矩陣 ,中心化誤差是 ,展開其平方得
交叉項因上述協方差恆等式而消失,餘下定理中的非負跡。正定性保證該跡為零時 。這也是平方可積隨機變量空間中的正交投影,但投影的對象只限於觀測的仿射函數。
證明透視
假設用在哪裏
證明做了兩個獨立的化簡。第一個是偏差與方差的分解:截距只移動誤差的均值,所以可以獨立於 優化,最佳選擇使誤差中心化。第二個是勾股定理:恆等式 表示 的誤差與 的每個中心化線性函數正交,所以任何其他矩陣只會多加一項,不能減去任何一項。
有限二階矩使每個期望與交叉項都有限。 的正定性用了兩次:一次透過逆矩陣定義 ,一次使超額的跡嚴格為正。若 奇異,最佳估計仍可能存在,但其矩陣表示不一定唯一,不能照搬上面的逆矩陣公式。證明完全沒有用到獨立性或高斯(Gauss)性,正因如此,結論只限於仿射估計;誤差與觀測正交也不代表兩者獨立。
若 與 不相關,則 、。所以已知二階矩便能確定最佳仿射估計。在對角形式下,這給出熟悉的純量濾波器。
推論 1.6.2
(不相關噪聲下的純量增益)
考慮各座標互相獨立且均值為零的純量模型 ,其中 與 不相關,訊號方差為 、噪聲方差為 ,並假設 。最佳仿射估計及其風險為
證明
(代入純量的矩)
在每個座標上 、,故定理給出增益 。其風險為 。
例如,實正交基底同時對角化對稱模糊矩陣及兩個協方差矩陣時可套用此式。週期卷積也可採用複數傅立葉(Fourier)係數;此時轉置改為共軛轉置,分子為 。對任意圖像不能無故假設平穩性或對角化。
例題
例題 1.6.3
(一個觀測很弱的模態)
設 、、,則 ;直接求逆的增益是 。最佳仿射風險為
直接求逆的風險是 ,恆取零的風險則為 。在此模型下,增益八平衡了噪聲與衰減,但不能保證每次都精確復原。
例題 1.6.4
(與二次懲罰的關係)
當 時,最小化 得 。因此在參數等於所述方差比時,這個二次模型與線性最小風險估計一致;一般正則化參數卻不會自動等於已知的噪聲與訊號方差比。若 獨立且聯合高斯,仿射估計亦為條件期望,因此在所有有限風險的可測估計中最優;上面的仿射定理本身不需要高斯假設。
例題 1.6.5
(無噪聲的模態使濾波器變成求逆)
保持 、,但設 。條件 成立,且
沒有噪聲時,精確求逆就是最優的,可由 還原 。因此第一個例子中的正則化是由 引起的,不單是因為 很小。相反的邊界情況 見下面的快速檢查。
常見錯誤
反例模式
殘差較小,風險未必較小
第一個例子中,直接求逆的殘差 為零,風險卻是 ,大於增益 的風險 ;後者的殘差是 。精確擬合帶噪聲的觀測,也會把噪聲擬合進去。殘差與期望復原誤差回答不同問題。
定理只限於仿射估計,這一點也容易被忽略。
常見錯誤
(把仿射最優當作所有估計中的最優)
不相關不等於獨立;最佳仿射估計也不一定是最佳非線性估計。例如 等概率取 ,獨立的 等概率取 。四個可能觀測值 各自唯一決定 ,所以非線性查表可達零風險;最佳線性增益卻為 ,風險為 。要聲稱條件期望是線性的,不能省略適用的高斯條件。
快速檢查
快速檢查
(一個模態有 、、。在不相關模型中,其最佳增益與風險是甚麼?)
使用純量增益公式。
解答 · 答案
增益為 ,所以該中心化模態的最佳仿射估計為零,風險仍是 。在這個不相關模型中,觀測不包含關於該模態的線性預測資訊;然而觀測仍可能含有非線性資訊。
練習
練習 1.6.6
(若 、、,求最佳增益與風險。)
基礎
解答(2)
- 1
計算增益
。
- 2
計算風險
。
練習 1.6.7
(若 ,比較增益 、、 的風險。)
基礎
解答(2)
- 1
寫出某增益的風險
誤差為 ,兩項不相關,所以風險是 。
- 2
代入
依次為 、、。中間的值正是最佳增益 。
練習 1.6.8
(設中心化純量 的方差為一,。求正確的最佳增益,並解釋為甚麼不相關噪聲公式不適用。)
核心
解答(3)
- 1
計算真正的矩
此時 ,故 、。
- 2
應用定理
增益為 ,且 :誤差為零。
- 3
與簡化公式比較
簡化公式忽略了訊號與噪聲的非零交叉協方差:它會使用 與 。兩者之比在此恰好給出相同的增益 ,但該公式給出的風險 是錯的,因為真正的風險為零。
練習 1.6.9
(若 正定,證明把 改變一個非零矩陣會嚴格增加選好截距後的風險。)
核心證明
解答(3)
- 1
使用超額風險公式
的超額風險為 。
- 2
分解協方差
關鍵一步
該跡等於 。
依據: 正定矩陣有可逆的正定平方根。
- 3
結論
∎若 ,由於 可逆,,所以超額風險嚴格為正。