動機
一個學習系統可以把分佈估計得相當準確,卻仍然作出不合適的決策。設想分類器要區分常見類別與罕見類別。若只比較觀測值在兩個類別下的密度,便忽略了兩類原來出現的頻率,也忽略兩種錯誤的代價是否相同。因此,選算法之前,應先區分「估計甚麼」與「按甚麼準則評價行動」。
降維也有類似區別:我們可以保留數據變化最大的方向,也可以保留最能區分類別的方向。奇異值分解處理矩陣近似,費歇(Fisher)判別則比較類別均值之差與類內散佈。這兩個目標並不相同,解決其中一個不會自動解決另一個。
本節從概率及歐幾里得(Euclid)幾何出發,以可逐步核算的小例子建立上述區別。所有向量均為有限維實向量;涉及抽樣分佈時會另列假設。本節只涵蓋若干統計基礎,並不代表已涵蓋所有估計方法或整門機器學習課程。
定義
定義 1.1.1
(風險與貝葉斯(Bayes)決策)
設隨機對 滿足 。分類器 把觀測值映至行動集合 。給定非負損失 ,其總體風險為 ,假設期望存在。在觀測值 的條件風險為 。貝葉斯(Bayes)行動在幾乎處處的 最小化這個條件風險。
在零一損失下,選某類的條件風險就是一減該類的後驗概率。因此,最小錯誤率規則選擇後驗概率最大的類別。若先驗為 ,類別條件密度為 ,應比較 與 。只比較 與 的規則,暗中假定先驗相同、兩種錯誤的代價也相同。另外,這種分類上的最大似然規則,與「用最大似然估計未知參數」應分開理解。
定義 1.1.2
(似然與參數估計)
若獨立觀測 來自密度族 ,似然為 。最大似然估計是指定參數空間上的最大化點,前提是這個點存在。參數模型在看到樣本前固定有限維的參數表示;非參數方法容許有效複雜度隨樣本數增長,並不是「完全沒有假設」。
例如,高斯(Gauss)模型無論有多少觀測,都只估計均值與方差。實數線上的核密度估計則寫成
其中 且 。每個觀測值放上一個平移後的小峰。帶寬 越小,越能呈現細節,但估計也越容易受這一批樣本的偶然位置影響。逐項換元便可證明積分為一;至於估計是否準確,則需要額外的平滑性與抽樣假設。密度值可以大於一,因為必須介乎零與一之間的是集合的概率,即密度的積分。
回歸中以 表示設計矩陣, 表示響應, 表示係數。此處 是矩陣,與上面的隨機觀測記號不同。平方殘差目標為 。需要截距時,必須把一列全一向量放入設計矩陣;數學公式本身不會自動加入截距。
可以把不確定性分成三層。第一層是總體分佈,它決定後驗與理想決策。第二層是有限訓練樣本,用來估計分佈或決策規則。第三層則是未來觀測,交由擬合好的規則分類。貝葉斯最優性屬於第一層,依賴指定分佈與損失。以估計概率代入,可形成實用規則,但必須另分析估計誤差,不能直接把理想最優性的定理搬過去。
回歸係數的意義也需要上下文。加入相關預測變量,或改變設計列的單位,都可能改變係數。擬合向量由列空間決定,同一空間的不同基底可有相同預測、不同係數。因此,解釋一個係數需要知道設計、單位及控制了哪些變量,不能只看算法輸出的數字。因果結論更需要說明數據產生機制;最小化殘差本身不會確立因果方向。這不是否定線性方法,而是界定其代數能回答的問題。
定理/命題
定理 1.1.3
(錯誤代價不相等的貝葉斯規則)
設正確分類損失為零,假陽性代價為 ,假陰性代價為 。在密度及後驗有定義之處,當 時,最小風險規則在
時選類別一。等號時兩種行動皆可。若分母為零,應直接比較 與 ,不要作無效除法。
定理 1.1.4
(最小二乘就是正交投影)
對任何實設計矩陣 ,最小二乘的擬合向量恰為 在 的列空間上的正交投影。係數向量是最小化點,當且僅當 。若 滿列秩,唯一係數為 。若不滿列秩,擬合向量仍唯一,但係數可能不唯一。
最大似然的解釋需要另外的模型假設。若 ,且給定 時誤差獨立、服從 ,其中共同方差 已知,最大化 的條件似然等同最小化平方殘差。沒有高斯假設,最小二乘仍是一個有意義的幾何最優化問題。這個條件零均值高斯模型解釋某種統計用途,卻不是正規方程的證明條件。
定理 1.1.5
(截斷奇異值分解給出最佳低秩近似)
設 的正奇異值為 ,相應奇異向量為 。對整數 ,矩陣 在秩不超過 的矩陣中最小化 ,平方誤差為 。截斷位置若有重複奇異值,最佳近似可能不唯一。
證明思路或證明
證明
(從條件風險到正規方程)
行動一與零的條件風險分別為 與 。代入貝葉斯公式後,兩者有共同正分母,因此比較風險就得到所述門檻。由條件期望的塔式法則,逐點最小化條件風險,也就最小化其期望。
對最小二乘,令 為 在列空間上的正交投影。每個候選 都在該空間,而 垂直於該空間。畢氏(Pythagoras)定理給出 。因此最優時 ,等價於殘差垂直於每一列。若滿列秩,對非零 有 ,故 正定,可解出唯一係數。
證明
(為何應捨棄最小的奇異方向)
設候選矩陣 的列空間為 ,維數至多為 ,其正交投影矩陣為 。逐列作正交分解得 。在 的正交特徵基底下,此跡為 ,其中 、;有需要時包括零特徵值。把可用權重移往較大特徵值,不會減少總和,故跡至多為 。截斷 SVD 恰好達到此界。被捨棄的秩一項互相正交,各自的平方 Frobenius 範數為 ,由此得到誤差式。
證明透視
投影證明究竟用了甚麼
證明使用的是線性子空間與歐幾里得內積,沒有使用隨機抽樣、無偏誤差或總體回歸模型。相反,若要聲稱對未來觀測有小預測誤差,就必須說明新數據如何產生。在一個矩陣上代數最優,並不等於已有統計保證。
若已中心化的觀測放在 的各行,且 ,樣本協方差為 ,其特徵向量就是 的右奇異向量。主成分分析選擇保留方差的方向,等價於中心化後最小化平方重構誤差。若直接對未中心化矩陣做分解,均值也會影響奇異方向,通常回答的是另一個問題。
概念視角幾何
保留的方差與重構誤差是同一個量
設已中心化矩陣 的各行 被正交投影矩陣 投影到一個 維子空間。對每一行用畢氏定理,得 ,再對 求和,便有
左邊是平方重構誤差;被減去的和,是投影點總方差的 倍,因為各行已中心化,投影後的各點也已中心化。 與 無關,所以最大化保留的方差與最小化重構誤差選出同樣的子空間。從「散佈」看,準則是找數據變化最大的方向;從「距離」看,則是找最接近所有觀測的子空間。兩種描述針對同一份數據、同一個目標,都不涉及類別標籤。
兩類費歇準則則從類均值 與指定的類內散佈矩陣 出發。報告準則數值前,必須固定其標準化約定。一種總體約定是 ;未標準化樣本散佈則用另一約定。整個矩陣乘正數不會改變最佳方向,卻會改變商的數值。令 。若 正定且 ,考慮
令 ,此商變成 。柯西–施瓦茨(Cauchy–Schwarz)不等式給出上界 ;當且僅當 為 的非零倍數時達到。這在正定假設下是一個完整推導。小樣本可能令 不可逆,此時必須另加子空間限制或正則化,不可直接寫普通逆矩陣。
例題詳解
例題 1.1.6
(較高的類別似然不一定代表較高的後驗)
設 、,先驗為 、。只比較似然會選一。但未標準化的後驗權重是 與 ,所以類別一的後驗為 。零一損失下應選零。若假陰性代價是假陽性的十倍,行動零的風險變成 ,行動一的風險為 ,應改選一。分佈模型沒變,改變的是決策目標。
例題 1.1.7
(擬合直線並核對殘差)
輸入為 ,響應為 。以截距在前, 的兩列是 與 ,所以 、。截距為 ,斜率為 。預測為 ,殘差為 。殘差總和為零,與輸入列的內積也為零,兩條正規方程皆成立。殘差平方和為 。這裏總和為零是因為設計含截距,並非每種回歸都自動具有的性質。
例題 1.1.8
(重構與判別可以選出互相垂直的方向)
對 ,最佳秩一近似之一是 ,平方誤差為一。這是在重構矩陣。另考慮分類模型:、,費歇方向與 平行,最大準則值為二。若兩類等先驗、共同類內協方差為 ,均值為 與 ,總體協方差為 。最大方差方向是第二座標,但均值差只在第一座標。只保留第一主成分,反而會捨棄費歇準則所選的資訊。
常見錯誤
反例模式
方差大不代表類別資訊多
有人以為第一主成分(方差最大的方向)永遠是區分類別的最佳單一特徵。最後一例就推翻這個說法:若進一步假設兩個類別皆為具有上述共同協方差的高斯分佈,第二座標在兩類有完全相同的分佈。單獨觀測它,不會把後驗從先驗改變。它的大方差記錄的是與標籤無關的變化。把每個大主成分都叫作良好分類特徵,就是混淆了兩個不同目標。
常見錯誤
(有最優化目標,不等於有唯一性或統計相合性)
設計矩陣有重複列時,最小二乘係數可以不唯一。某些密度族在指定參數空間上沒有最大似然點。核估計若帶寬極小,可忠實重現樣本尖峰,卻未必準確估計原來密度。每次都要分清:甚麼存在、甚麼唯一、甚麼必須依賴抽樣極限。訓練目標本身不會自動回答這些問題。
總結
最小錯誤率分類比較後驗,錯誤代價不相等時門檻也改變。似然估計在假定的模型族內選參數。最小二乘把響應投影至列空間。SVD 為重構選表示,費歇準則則比較均值差與類內變化。這些方法互有聯繫,但只有保留其假設及目標的區別,聯繫才有用。
練習
快速檢查
(類別零與一的先驗分別為 0.8、0.2。假陽性代價為 3,假陰性代價為 2。推導似然比門檻;若似然比為 5,應選哪一類?)
先比較條件風險,再代入數字。
解答 · 答案
門檻為 。五小於六,故選零。亦可計算選一與選零的風險比 ,直接看出選一的風險較高。
快速檢查
(設計矩陣的兩列均為 (1,1) 的轉置,響應為 (1,3) 的轉置。求全部最小二乘係數與擬合響應。)
擬合只依賴兩個係數的總和。
解答 · 答案
令 ,目標為 。因此全部解為 ,擬合均為 ,殘差為 ,最小平方誤差為二。試圖對奇異的 Gram 矩陣求逆,並不能處理真正的非唯一性。
快速檢查
(證明核密度估計積分為一。若核的積分是二,哪個條件失效?)
對每個觀測所對應的一項分別換元。
解答 · 答案
在每一項令 ,則 。連同係數 ,每項積分為 ,總和為一。若 ,估計的積分便為二,未重新標準化前不是概率密度。核的非負性也是必要條件。
快速檢查
(求 diag(2,2) 的一個最佳秩一近似及其誤差,並解釋為何答案不唯一。)
比較保留第一或第二座標方向。
解答 · 答案
最優,Frobenius 誤差為二,平方誤差為四; 也一樣。更一般地,對任何單位向量 , 都可行:被捨棄的正交方向具有奇異值二。定理保證最佳誤差,不保證重複奇異值位置有唯一基底。