特徵很多的數據集,變異往往集中在少數幾個方向上。主成分分析(PCA)尋找一組標準正交方向,按所承載的樣本變異由大到小排列,再用前幾個方向把每個觀測值表示為一個短向量。它用於壓縮、二維或三維視覺化,也常作為聚類或分類前的預處理。本節承接 k-means 的質心與平方誤差觀點,以及已用過協方差矩陣的白化一節;這裏從單一優化問題推導 PCA,並證明它保證甚麼、不保證甚麼。
中心化數據與協方差矩陣
定義 13.1.1
(樣本均值、中心化數據與樣本協方差)
設 為觀測值,。樣本均值為 ,中心化觀測值為 ,滿足 。樣本協方差矩陣為
它是對稱半正定的,因為對每個 都有 。這裏除以 ;若改除以 ,所有特徵值同乘常數 ,特徵向量不變。
對單位向量 ,數 是第 個觀測值中心化後沿 的座標,而 就是這些座標的樣本方差。由譜定理,存在由特徵向量組成的標準正交基 ,,且 。
定義 13.1.2
(主成分、得分與解釋方差)
的單位特徵向量 按特徵值由大到小排列,稱為主方向(載荷)。第 個觀測值在第 個成分上的得分為 。特徵值 是第 個成分的方差。前 個成分解釋的方差比例為
分母等於 。若特徵值有重根,重特徵空間內的方向並不唯一;而且每個 的符號改變同樣有效。
PCA 優化的是甚麼
定理 13.1.3
(方差最大化與最佳秩 k 重建)
設 的特徵對 如上,並設 。
- ,在 取得。
- 對 ,,在 取得。
- 不同成分的得分向量互不相關:。
- 在所有列標準正交的矩陣 中,平均平方重建誤差 在 時最小,最小值為 。
證明
(方差與重建結論的證明)
把單位向量寫成 ,其中 。於是 ,是特徵值的加權平均,故不超過 ,且在 時取等。若 ,則 ,同一加權平均不超過 。這證明了第 1、2 項。
第 3 項:,當 時為 ,否則為 。
第 4 項:因為 是正交投影,由畢氏(Pythagoras)恆等式得 。對 取平均,誤差等於 。所以最小化誤差等價於在 的標準正交列 上最大化 。令 ,則 ,其中 ,且 。滿足 、 的加權和 ,在權重 全放在最大的 個特徵值時最大,等於 ,並在 生成 時取得。因此最小誤差為 。
證明透視
重建下界真正是在哪裏證明的
第 4 項的證明有兩步,只有第二步不是例行公事。第一步把誤差化為一個跡:它用到 的列標準正交,所以 是正交投影,畢氏恆等式才適用。若列不是標準正交,這個恆等式不成立, 也就不再是誤差。
第二步把未知量由矩陣 換成 個數 。投影的兩個性質約束了它們:,以及 。收尾是一個比較。由於 時 ,而 時 ,
每個不等號分別用到 或 的符號,最後的零正是約束 。當 時 ,即 生成 ,等號成立。若 ,還有其他子空間也能取等,此時最小值點並不唯一。
第 4 項說明為何 PCA 是 k-means 平方誤差目標的自然夥伴:它選出過均值的 維子空間,使數據與其投影之間的平方距離最小。它完全沒有用到類別標籤,所以方差大的方向不一定是能分開類別的方向。
概念視角幾何
主方向是協方差橢球的軸
設 可逆,考慮 。寫 ,條件化為 ,這是一個橢球,其軸沿 方向,半軸長為 。所以主方向恰好就是這個橢球的軸,而第 1 項說明第一主方向是最長的軸。在第一個例題中,軸指向 與 ,長度分別為 和 。特徵值相等時橫截面是圓,這就是這些方向不唯一的原因。
計算程序
- 計算 及中心化數據。2. 形成 。3. 求其特徵值與標準正交特徵向量。4. 選取 ,例如取使解釋方差比例達到指定水平的最小 。5. 報告得分 ,並以 重建。終止性與成本即對稱特徵值問題的終止性與成本,稠密方法約為 。
例題
例題 13.1.4
(精確計算二維數據集)
取四個觀測值 。均值為 ,中心化後為 。於是
特徵多項式的跡為 ,行列式為 ,故 與 。由於 及 ,單位方向為 與 。
在 上的得分為 ,均方為 ,與預測一致。在 上的得分為 ,均方為 。第一個成分解釋的比例為 。只用一個成分重建第三點,得 ,而實際為 ,平方誤差為 。四點的平方誤差為 ,平均為 ,與第 4 項吻合。
例題 13.1.5
(解釋方差,以及單位的影響)
設三特徵數據集已中心化的協方差為
此矩陣為分塊對角。上方的塊有特徵值 ,即 與 ,方向為 與 ;最後一塊給出 ,方向為 。方差比例:一個成分為 ,兩個成分為 。兩個成分的平均平方重建誤差為 。
現在改用小十倍的單位表示第三個特徵,即把它換成原值的 倍。其方差變為 ,協方差矩陣為最後一位是 的分塊對角矩陣。最大特徵值為 ,方向為 ,一個成分現在解釋 的方差。背後的現象絲毫沒有改變,改變的只是單位。
例題 13.1.6
(退化情形:共線數據與各向同性點雲)
先取三個觀測值 ,它們落在一條直線上。均值為 ,中心化後為 ,故
跡為 ,行列式為 ,所以特徵值為 與 。由於 ,第一方向為 。在 上的得分為 ,均方為 ,與預測一致。一個成分解釋 的方差, 的重建誤差為 :每個點都被精確重現。零特徵值是合理的,因為 只是半正定。
再取已中心化的 。此時 ,所以 ,每個單位向量都是特徵向量。方向 的得分為 ,均方為 , 也一樣。無論選哪個方向,一個成分的解釋比例都是 ;「第一主方向」在這裏並未被確定。
常見錯誤與細節
常見錯誤
(PCA 對特徵尺度不是不變的,而且必須先中心化)
由於 取決於各特徵的單位,尺度大的特徵會主導前幾個成分,如第二個例子所示。當各特徵單位不相容時,常先把每個特徵標準化,這等於改用相關矩陣;這是建模上的決定,並非免費的修正。若省略減去 ,得到的是 的特徵向量,一般不同於主方向,而且會被數據的位置主導。
另有幾點。方差大的成分不一定能預測標籤。符號與重特徵值方向都是任意的,所以「那個」方向只在這些歧義之內成立。在訓練與測試的設定中,均值與特徵向量只用訓練數據計算,再套用到測試觀測值。最後,得分互不相關,這比獨立弱;白化一節討論了兩者的分別。
反例模式
方差最大的方向不一定能分開類別
一個誘人的說法是:第一主方向就是分辨兩個類別的最佳方向。取 A 類為 ,B 類為 。均值為 ,數據已中心化,且
第一主方向是 ,方差為 。兩個類別沿 的座標完全相同,都是 與 ,所以這個方向對類別毫無資訊。方差只有 的方向 則使 A 類每點的座標為 、B 類每點為 ,把兩類完全分開。PCA 從未看過標籤;它最大化的是方差,所以在分類器之前使用它是一個建模選擇,需要數據提供支持。
練習
快速檢查
(1. 計算第一主方向)
中心化觀測值為 。求 、其特徵值、第一主方向,以及它解釋的方差比例。
解答 · 解答 1
。特徵值為 與 ,第一方向為 (差一個符號),解釋的方差比例為 。
快速檢查
(2. 選擇成分個數)
某數據集的協方差特徵值為 。求 時的解釋比例、達到 的最小 ,以及 的平均平方重建誤差。
解答 · 解答 2
總和為 。比例分別為 、、。達到 的最小 為 ,因為 不低於目標。 時,誤差等於被捨棄的特徵值之和,即 。
快速檢查
(3. 證明得分互不相關)
設 為 的特徵向量,,且特徵值不同。證明這兩個成分的得分向量樣本協方差為零。
解答 · 解答 3
得分已中心化,因為 。其樣本協方差為 ,因為對稱矩陣屬於不同特徵值的特徵向量互相正交。
快速檢查
(4. 重建新點)
沿用第一個例題,只用一個成分。重建新觀測值 ,並計算其平方重建誤差。
解答 · 解答 4
以訓練均值中心化:。其在 上的得分為 ,重建為 。殘差為 ,平方範數為 。這等於在 上得分的平方,即 。