動機
模型已看過訓練反應的噪音,因此訓練誤差比預測獨立重複觀測容易。複雜度修正試圖補回這項優勢,但不同準則估計不同量:平方預測誤差的修正,不自動是對數密度的修正;Bayes 積分似然也不是前兩者。
先從固定線性擬合規則做有限樣本計算,即使均值模型有偏,也能精確找出訓練樂觀量。之後在同時估計高斯(Gauss)回歸係數與方差的情形推有限修正;額外小樣本項來自殘差方差的倒數,而不是隨意加大的懲罰。
最後才討論一般資訊準則。簡短公式藏著參數維度、似然規則性、抽樣與比較目標等假設。要分清哪些已由本節證明,哪些只是外部漸近結論,以及哪些模型不符合兩者。
定義
定義 26.1.1
(固定設計預測與線性平滑器)
設 , 確定,。獨立重複反應為 ,設計位置相同。對確定矩陣 ,擬合 。訓練平方誤差為 ,重複反應誤差為 。有效自由度定為 。
必須在看反應前固定。預先指定懲罰的嶺矩陣可以;觀察反應再搜索選出的矩陣,不能只代入實現的跡。隨機設計可先條件於設計,但噪音假設也要在該條件下成立。
定義 26.1.2
(似然分數與參數計數)
對最大似然模型,設 , 為獨立估計的實參數數。慣用分數是 、。估計截距及共同方差要計入,預先固定量則不計。列滿秩高斯回歸若有 個均值係數及未知方差,便有 。
比較要用同一批反應及同一基準測度。各模型共通常數可略,不同反應轉換或數據子集的常數不能略。最大化無懲罰似然與最小化懲罰目標亦不同。平滑器有效維度描述對反應的敏感性,不能未加論證就替代每個資訊準則的規則參數數。
定理/命題
定理 26.1.3
(有限預測樂觀與 Cp 修正)
上述固定平滑器滿足
因此訓練誤差加 無偏估計平均重複反應誤差;再減 ,便無偏估計 。若 為秩 正交投影, 估計均值向量預測誤差除以方差。
定理 26.1.4
(精確高斯小樣本離差修正)
設 ,確定列滿秩 ,高斯誤差正確,方差未知且 。取最小二乘 及最大似然 。同設計獨立重複的 滿足
設 ,則此期望離差的無偏修正分數為
精確性只對固定、正確指定的回歸模型成立,不包括搜索後的勝出模型、錯設模型或任意非線性模型。
定理 26.1.5
(推出 BIC 主項的一組充分 Laplace 條件)
取固定 維模型,似然 ,內部最大點 ,先驗密度 在 連續且正。把參數域外的縮放被積函數延伸為零。假設逐點有
其中 ,而所有被積函數受同一與 無關的可積包絡支配。則邊際似然有 。隨機樣本需在滿足這些條件的設定下解讀,或另證概率版本。
證明思路或證明
證明
(先展開兩個平方誤差再相消)
設 。零均值與獨立性給
而
偏差與擬合噪音方差相消,留下樂觀差。移去獨立未來噪音 ,得均值版本。投影有 。證明沒用均值正確性,容許近似偏差;甚至只用二階矩,不必高斯。下一個精確離差證明才真正需要高斯分佈。
證明
(高斯正交子空間產生 AICc)
令 ,。正交座標把 化成 個一及 個零。等方高斯座標獨立,故 與 獨立,於是 與 獨立。
高斯似然給 ,。分子期望為 ,分別由未來噪音及擬合均值噪音貢獻。
卡方密度正比 ,除以 積分並用 gamma 遞推,得 時 。所以
改寫成 即得公式。 時倒數矩發散,不能照用零或負分母的形式。把方差除數換成無偏估計的除數,也會改變離差,須重新推導。
證明透視
兩個精確修正有不同條件
Cp 容許有偏的固定線性均值擬合、已知方差,目標是平方誤差。精確 AICc 還用正確均值、高斯正交獨立及有限卡方倒數矩。變量選擇或調參讓規則依賴數據後,兩個證明都不能原封不動沿用。
證明
(維度懲罰來自體積因子)
邊際似然積分作 換元,Jacobian 帶來 。依逐點收斂與包絡條件,支配收斂得
取負二倍對數即證。局部 Hessian 本身不足以控制全參數空間積分,包絡或另證尾部集中不可省。餘項含先驗與曲率,可因模型不同;因此 BIC 是主項近似,不是有限樣本後驗概率。
一般 AIC 的論證不同:正確、可識別、固定維平滑似然,真參數在內部、Fisher 資訊非奇異,並有足夠矩與尾部控制,才有期望似然樂觀主懲罰 。這個一般漸近結果在此屬外部結果;本節證的是有限高斯親屬。錯設時曲率與分數協方差可不同,普通參數計數未必合理;奇異混合及潛在模型也可能破壞普通 BIC 的二次 Laplace 條件。
固定嶺規則 的有效自由度由 SVD 得 ,不等於非零係數數。若懲罰預測列已中心化,不懲罰截距的正交常數方向再貢獻一。若看 才選懲罰,固定規則證明不會補回搜索代價。隨意代入某個殘差方差,也不能保留已知方差版本的精確無偏性。
計分前先寫反應向量、擬合規則、預測目標及估計參數,再問哪個修正已被證明。每個固定候選的無偏分數,經取最小後也不保證對勝出程序無偏;完整搜索仍可用獨立數據評估。這與稀疏學習單元中的選擇樂觀是同一層問題。
例題詳解
例題 26.1.6
(投影的訓練與重複誤差)
、投影秩三、方差二,均值可正確表示。期望訓練誤差為 ,重複誤差 ,修正十二。減未來噪音二十,均值估計誤差六。若均值近似偏差平方五,訓練與重複期望各加五,差仍十二。
均值向量誤差看擬合對無噪音均值的估計;重複反應再加入新觀測噪音;訓練誤差卻重用塑造了擬合的同一份噪音,造成優勢。例中的兩項修正因此有不同符號與目的:減去未來噪音,不是修補訓練樂觀的另一種寫法。
概念視角分析
樂觀度即擬合值與自身觀測值的協方差
對固定的平滑矩陣,,所以樂觀度等於 :每個擬合值與其所擬合的反應之間總協方差的兩倍。有效維數 因此衡量每個擬合值跟隨自身觀測值的強度,這也說明為甚麼嶺擬合的代價可以少於其係數個數。
例題 26.1.7
(嶺平滑器的分數維度)
兩個非零奇異值平方為九與一,懲罰一。平滑特徵值為 ,有效自由度 ;方差一時樂觀量 。只數兩係數會得四。擬合噪音方差乘數卻是 。同一平滑器的不同跡回答不同問題。
例題 26.1.8
(小樣本修正可以很大)
、均值係數 、未知方差,故 。AIC 加八;精確 AICc 加 ,約 10.67;BIC 加 ,約 11.98。數字排序不表示它們估同一個量:前兩者在相應條件下關乎預測離差,後者近似積分似然比較。
常見錯誤
反例模式
名義參數數忽略了適應性搜索
人們很容易以為,即使投影由數據挑選,樂觀仍是所選矩陣的跡乘 。事實並非如此。取 、、,以及兩個固定的座標軸投影 、。選擇投影能量 較大者,即 ,。所選矩陣的跡恆為一,但訓練誤差是 ,重複反應誤差的期望是 。由於 ,且 ,其中 、 是獨立的標準正態變量,所以 。因此樂觀為 ,並非 。固定矩陣下交叉項相消所依賴的獨立性,在矩陣依賴反應之後已不成立;以獨立數據評估整個搜索程序,仍是評估其預測表現的有效方法。
常見錯誤
(AICc 不是任意小樣本的通用修補)
此精確式要求固定正確高斯回歸及足夠殘差自由度。把混合模型的非正式參數數塞入同一分式,不會修復協方差塌縮或不可識別。BIC 差值也不是自帶校準的後驗概率;模型特定餘項及模型先驗概率仍要處理。
常見錯誤
(同一個平滑器的兩種跡)
對固定的平滑器, 決定樂觀, 則出現在擬合值的方差中,而訓練誤差的期望噪音部分是 。對投影而言兩個跡相同,這掩蓋了兩者的分別。對上面的嶺平滑器,特徵值為 與 ,兩個跡分別是 與 ,所以訓練誤差的噪音部分是 。若改用 ,就會出錯。
思想史
已核對但不同的出發點
Akaike 的 1974 年原文 提出帶擬合參數懲罰的似然準則;Schwarz 的 1978 年原始記錄 描述 Bayes 漸近維度論證;Hurvich 與 Tsai 的 1989 年論文 發展小樣本修正。本節有限回歸公式已按自身目標與計數證明。Flynn、Hurvich 與 Simonoff 的錯設懲罰似然研究 第 2.1 節亦明列正規化 AICc;並非把該較廣研究當成本節全部定理的原始來源。
總結
固定線性規則的協方差代數給精確平方誤差樂觀修正;正確高斯回歸估方差後,由倒數矩再得到 AICc。一般 AIC 與 BIC 分別需要似然漸近與邊際積分條件。參數數、平滑器跡、殘差自由度及搜索複雜度不是同一個數的不同名字。
練習
快速檢查
(固定秩四投影,十二觀測、方差三,均值近似偏差平方二。求期望訓練、重複及均值向量預測誤差。)
偏差在三個目標都出現。
解答 · 答案
訓練期望 ,重複期望 ,樂觀差 24。均值誤差 ,亦等於重複誤差減未來噪音 36。無偏觀測均值風險估計是訓練誤差加 24 再減 36,不是原殘差本身。
快速檢查
(固定嶺平滑器特徵值為 、、,其他皆零,求有效自由度、擬合噪音方差乘數及樂觀量。)
分清跡與平方的跡。
解答 · 答案
有效自由度 ,擬合噪音方差乘數 ,樂觀量 。都要求平滑器在觀察反應前固定;從反應噪音再選特徵值,需另作分析。
快速檢查
(正確高斯回歸 n 十、p 四,求精確離差修正並與 AIC 比較。n 降至六會怎樣?)
計方差參數並檢查卡方倒數矩。
解答 · 答案
,精確修正 ,AIC 只加十。 時殘差自由度二,倒數卡方期望發散,分母零反映這個預期重複離差無限,不是刪一項就能修好的有限分數。
快速檢查
(為何局部非奇異 Hessian 不足以證 BIC?指出定理的全域條件,以及奇異混合可能失效之處。)
積分包含局部鄰域外的參數。
解答 · 答案
另一區域可能有重要似然質量,尾部也可能令極限與積分不能交換。本定理對整個縮放被積函數設可積包絡,才能用支配收斂。規則可識別模型可另以集中證明類似控制;奇異混合則可能有非孤立參數化、退化資訊或無界似然,破壞普通二次與體積計算。