動機
一批沒有類別標籤的量度,可以呈現多個中心。單一高斯(Gaussian)必須以一組均值與協方差解釋所有觀測;混合模型則假設每個觀測背後都有一個未觀察到的分量標籤。困難在於:邊際似然先對標籤求和,再取對數,於是已知標籤時容易處理的高斯計算,不能直接搬過來。
期望最大化法,簡稱 EM,把問題拆成兩個互相配合的步驟:給定目前參數,每個觀測應把多少後驗權重分給各標籤?給定這些權重,參數應如何更新?軟指派來自概率模型,不是隨意填寫的信心分數。似然單調性的證明說明這種迭代的合理性,卻不保證找到全域最優點,甚至不保證存在有限的最大值。
潛在變量也可以是連續的隱藏因子。因子分析用共享因子解釋量度之間的相關,同時保留各座標獨有的噪音。把它與混合模型比較,可避免一個常見誤解:觀測分佈有定義,不代表背後每個隱藏方向都能唯一恢復。
定義
定義 2.1.1
(有限高斯混合)
在 取 個分量,權重滿足 、,均值為 ,協方差 對稱正定。潛在標籤滿足 ,而 的密度為 。邊際密度為
獨立觀測的對數似然為 。責任度 等於 。
同一觀測的責任度總和為一。它同時依賴權重、協方差與觀測位置;若權重或協方差不同,均值最近的分量未必有最大責任度。實現時可以用對數密度及 log-sum-exp 避免極小正數下溢,但這屬數值穩定問題,應與概率定義分開。
對每個觀測另取標籤上的概率分佈 ,定義
其中零權重的項按連續延伸取值。因為所有聯合標籤權重皆正,任何 都可使用。 是熵,屬於下界本身,並非額外加入原似然的可選正則項。
定義 2.1.2
(高斯因子模型)
設 與 獨立, 是正對角矩陣。對載荷矩陣 ,令 。則 。共享因子產生非對角協方差,對角噪音則描述各量度座標特有的變化。
因子是連續量,與離散混合標籤不同。這個模型也不同於一般主成分重構,因為它明確分開潛在變化與量度噪音。主成分分析是幾何近似準則,因子分析則是協方差的分佈模型;要說明兩者關係,必須指定噪音假設,不能只因為都用了低維座標便視為同一方法。混合模型說每個觀測來自幾個群體之一;因子模型說多個隱藏的連續影響共同形成每個觀測。兩者都有潛在變量,卻回答不同問題。混合可以有多個模態;單一高斯因子模型積分掉因子後,仍然是高斯分佈。
因子方向雖依賴慣例,固定參數後仍可推斷隱藏座標。把因子的標準高斯先驗密度與觀測的條件密度相乘,會得到因子的二次式。令
配方後可知,給定觀測的因子條件分佈是均值 、協方差 的高斯。 的二次型是向量範數平方加一個非負項,故正定。推斷保留了條件不確定性,並非把隱藏座標當成已知數值。
這也說明以 EM 處理因子分析時需要甚麼。後驗均值只給一階矩,二次似然項還需要二階矩,即 ,不能只取後驗均值的外積。漏掉協方差,等於把不確定因子當成已觀察量,會改變更新方程。本節推導了條件推斷;若要完整估計載荷與對角噪音,仍須另外推導受限制的 M 步及檢查可行性。
定理/命題
定理 2.1.3
(EM 恆等式與單調性)
對上述嚴格正權重的有限混合,有
因此 ,等號當且僅當每個 都是目前後驗。若 E 步使用 的後驗,隨後找到可行的 使 ,則 。
定理 2.1.4
(加權散佈非奇異時的高斯混合 M 步)
固定責任度,令 。假設以下加權散佈均為正定,則在未另加限制的正定高斯混合參數中,最大化 得
這是最大似然更新,協方差除以 ,並非為了無偏估計而作的修正。若加權散佈奇異,公式便不會產生可行的正定協方差,上述無限制最大化的結論也不再適用。
定理 2.1.5
(高斯因子的正交歧義)
對任意正交的 矩陣 ,以 取代 ,因子模型的觀測分佈不變。因此,若沒有額外限制,僅靠 的分佈無法識別潛在因子的方向及正負號。
證明思路或證明
證明
(E 步使下界接觸似然)
記 ,,則後驗為 。展開散度可得
對觀測求和即得恆等式。由 ,在 的正支撐上,記後驗為 ,有 ,因此散度非負;等號要求兩個分佈完全相同。E 步令散度為零,故
這條不等式鏈沒有使用、也沒有證明全域最優性。
證明透視
每次重建的下界
每次重新計算責任度,是為了讓下界在舊參數處取等號。任意改善一個加權高斯目標,並不足以得到不等式鏈最後的等號。近似 E 步需要另作論證。廣義 M 步可以只增加正確的下界,不必精確最大化,但所有更新參數仍必須可行。
證明
(更新公式與因子歧義的推導)
M 步中熵固定,權重的目標是 。對權重總和加拉格朗日(Lagrange)乘子,得到 ;嚴格凹性保證最大值。固定正定協方差後,把均值相關的加權二次式配方,便得到加權平均。
令 為除以 的加權協方差,剩下要最小化 。若 正定,令 。除常數外,目標變成 ,每個特徵值 時最小,所以 。
因子模型方面,獨立性給出 及 。將 換成 後, 不變。高斯分佈由均值與協方差決定,故觀測分佈相同。
例題詳解
例題 2.1.6
(責任度與對數似然比)
兩個一維高斯分量等權,均值分別為 、,方差皆一。在 兩密度相同,責任度各為 。一般 處,第二分量與第一分量的密度比為 ,所以第二責任度為 。在 時約為 ;即使觀測恰在其中一個均值上,另一分量仍有正後驗概率,因為兩個密度有重疊。
例題 2.1.7
(完整計算一次加權 M 步)
觀測為零與二。假設有效 E 步得到第一分量的責任度為 ,第二分量為 。例如,等權、均值零與二、共同方差 就會產生這些責任度。兩個有效樣本數皆一,新權重仍為 ,新均值為 與 。第一方差為 ;對稱性給出第二方差亦為 。這是軟加權擬合。若把每個觀測硬指派給最可能分量,這個例子會得到零方差,離開原來的正方差模型。
例題 2.1.8
(因子解釋相關,但不能固定自己的正負號)
取一個標準高斯因子,載荷 ,獨立噪音協方差 ,則
相關係數為 。把因子及載荷同時反號,觀測分佈完全不變。協方差特徵值為七與三,第一特徵方向為 ,與載荷 不同,原因是兩個噪音方差不相等。可見直接拿協方差第一特徵向量當載荷,並不是一般的因子分析方法。
概念視角代數
用行內積描述載荷矩陣
記 為 的第 行。那麼協方差的元素是: 時 ,而 。因此數據只約束 各行之間的內積,而旋轉 恰好保持這些內積:。在上面的例子中,,,所以 ,。
常見錯誤
軟高斯指派與最近中心幾何有一個精確聯繫。若所有分量等權、共同協方差為 ,責任度與 成正比。固定中心、讓方差趨近零,唯一最近分量的責任度便趨近一;若最近距離平手,極限權重會在平手分量間分配。因此硬指派是特定極限,不是 EM 的定義。不等權重或不同協方差會改變有限方差的指派,而協方差塌縮也不是合理選擇這個極限的程序。
E 步所說的「期望」,是在目前後驗下平均完整數據的對數似然,不是另抽新樣本、以邊際均值填補缺失量,或使用未知真參數作期望。這個分佈來自目前可計算的擬合模型。保持條件分佈明確,才能在潛在變量不只是單一混合標籤時,重新正確推導算法。
反例模式
高斯混合的似然可以無上界
人們很容易假定,最大化混合似然總有一個有限的答案讓 EM 去逼近。事實並非如此。當至少有兩個分量及一個觀測 ,保留一個在所有樣本點均有正密度的固定背景分量。另一分量取固定權重 、均值 、協方差 。它在 的密度與 成正比,所以當 ,該點的對數密度趨向正無窮。其他觀測的密度仍有背景分量提供的正下界,因此總似然無上界。單調增加無法解決「有限最大值不存在」的問題。協方差限制或正則化會改變最優化問題,必須清楚列出。
常見錯誤
(最近的均值未必有最大的責任)
取兩個單位方差分量,均值為 與 ,權重為 與 。在 處,第一個均值較近,但第二項與第一項的比值為 ,所以第二個分量的責任約為 。責任同時考慮混合比例與協方差,並非只看距離;只有在權重相等、協方差為相同各向同性的情形下,它才與最近中心分配一致。
常見錯誤
(收斂與解釋都需要另外的證據)
對數似然非遞減,不代表參數一定收斂,尤其在目標無上界時。即使得到駐點,也可能是很差的局部解。混合分量互換標籤不改變密度,因子正交旋轉也不改變協方差。因此,分量名稱或因子方向的意義,來自識別慣例或外部解釋,並非似然函數自動賦予。
總結
EM 交替進行後驗推斷與緊下界的改善。加權均值與協方差來自這個下界,小樣本時尤其不能忽略可行性條件。因子分析以共享座標及對角噪音解釋協方差,旋轉歧義則顯示不可識別性。似然數值好,不等於解釋唯一、全域最優或數值穩定。
練習
快速檢查
(兩個等權、單位方差的高斯分量,均值為負一與一。求觀測負一時第二分量的責任度,給出精確式並核對總和為一。)
使用似然比,毋須重算高斯標準化常數。
解答 · 答案
第二責任度是 ,第一為 。兩者非負、總和為一。由對稱性,觀測 與 的責任度剛好交換。
快速檢查
(觀測為零與三,第一分量的固定責任度為 0.75、0.25。求其有效樣本數、更新均值及更新方差。)
方差必須以新均值為中心。
解答 · 答案
有效樣本數為一,均值為 ,方差為 。若除以有效樣本數減一,既無定義,也不是似然更新。
快速檢查
(在塌縮反例中,為何一個分量塌縮到觀測點,不會迫使其他觀測的對數密度趨向負無窮?)
保留有正固定權重的背景分量。
解答 · 答案
設背景密度為 ,權重 。每個樣本的密度至少是 ,且這個下界不依賴 ,故其對數有有限下界。在 ,塌縮分量使對數密度向上發散;有限個觀測的總和中沒有相抵的向下發散。
快速檢查
(載荷及噪音協方差原來都是二維單位矩陣。給出兩個不同載荷,具有相同觀測協方差,並解釋 EM 單調性為何不能區分它們。)
考慮非平凡正交旋轉。
解答 · 答案
取 與 。兩者皆滿足 ,所以加上指定噪音後,觀測協方差都是 。任意數據集下似然完全相同;增加似然的定理無法識別觀測模型本來就沒有表達的差別。