動機
交叉驗證分數可以有兩種不同用途:協助選擇學習規則,或評估一個沒有使用受評估觀測來作決定的規則。同一個數字若兼任兩者,就把選擇步驟藏起來。候選搜索範圍愈大,愈可能部分因為碰上有利的評估噪音而找到低分。
巢狀交叉驗證在每次外層迭代中,把這兩項工作分配給不同觀測。內層分摺選配置,再以當次外層訓練部分重新擬合整個所選流程。外層分摺的預測沒有使用該摺的觀測來擬合或選擇。不同外層迭代可以選到不同配置;這本來就是受評估程序的一部分。
稀疏學習筆記已描述這個安排,回歸流程筆記則區分了訓練、驗證、重新擬合和獨立最終測試。這裏把巢狀算法寫成有限、可執行的步驟,也確認它的真正目標。外層平均涉及幾個以較小訓練樣本運作的學習程序;它不會自動成為置信區間,也不是以獨立觀測量得的、使用全部開發數據擬合之最終預測器的風險。
定義
定義 27.1.1
(有次序的配置清單與完整擬合操作)
設 ,其中 ,並固定非負預測損失 。預先指定有限的有序流程配置清單 。以 表示只用索引屬於 的觀測來擬合配置 所得的預測器。
擬合操作包括所有需要估計的變換:缺失值填補、中心化、尺度化、特徵選擇、降維、係數及任何學習所得的預測門檻。配置指定擬合方法;擬合狀態則依賴輸入的觀測。所有同分情況均按 的先後次序處理。
固定多項式次數屬於配置選擇,擬合後的列平均及係數向量則屬於狀態。提早停止規則也是方法的一部分;若它使用額外驗證分割,該分割必須留在當前擬合部分之內。隨機擬合器需要已聲明的種子,以及獨立於該次擬合所排除觀測的種子產生規則。每次要求的擬合都必須有定義;例如需要兩個類別的流程,不能在只有一類的訓練部分上默默照常執行。
定義 27.1.2
(外層分割、內層分割與觀測權重)
把 分成非空外層分摺 ,各自補集 亦非空。對每個 ,再把它分成 ,其中 ,且每個內層訓練補集 都非空。這些是內層驗證分摺。記 及 。
內外層均按觀測數加權:
這裏 是下述算法所定義的、重新擬合後的所選流程。當分摺大小不同,這不是各摺平均損失的不加權平均。每個觀測在外層分數中都佔 。其他科學目標可以適合其他合併規則,但必須說明。下述概率定理使用在看數據前固定的確定索引分割。若分割獨立隨機產生,則要按定理後的說明給定該分割。按標籤分層、分組及依時間排列的抽樣,各自需要交代所得分佈,不能自動套用該定理。
定理與命題
定理 27.1.3
(資訊邊界清楚的有限巢狀算法)
對每個外層分摺 ,依次執行以下步驟。
- 對每個 及內層摺 ,在 上全新擬合完整流程。在 上評分,計算 。
- 按已聲明的同分規則,選擇令 最小的 。
- 棄用那些內層擬合狀態。重新擬合 ,包括重新估計全部已學習的變換。
- 在 上記錄一次預測和損失。不可用這些外層分數改變該次迭代的選擇。
按上述觀測權重合併外層損失。若擬合及分割規則只用已述輸入和允許的種子,則每個 都是 及這些種子的函數,不依賴 。
配置清單、損失、分割方法、同分規則、預處理次序和失敗處理方式,都應在評估前鎖定。若看過外層結果後再改這些選擇,改動後的程序便沒有經過未使用觀測的評估。在幾次巢狀實驗中保留最好的外層分數,也是在更高一層重新引入選擇。
定理 27.1.4
(獨立同分佈抽樣下,外層平均的目標)
設 獨立同分佈,分佈為 ;外層分割是看觀測前已固定的確定分割,全部允許的擬合種子均獨立於數據。對每個 ,以 收集其種子,定義新觀測風險
假設所有顯示的損失期望均有限,則
若全部外層訓練大小均為 ,而每次迭代都應用相同的大小為 之選擇及重新擬合規則,包括重標索引後相同的內層分割方法,以及相同種子分佈,右側就是該大小為 的程序在重複訓練下之期望風險。若大小或內層方法不同,則是相應期望風險的加權混合。
若外層分割隨機產生,須假設分割與全部擬合種子聯合獨立於數據。先給定已實現的索引集合,再套用定理。等式此時是給定該分割下的條件等式。若摺大小是隨機的,對分割再取期望時,其權重必須留在期望之內。
這個精確期望等式沒有確認某個使用全部數據的最終預測器之條件風險,也沒有給出該風險與較小樣本目標之間的一般大小關係。複雜程序收到更多數據後也可能表現較差,配置贏家亦可能隨訓練大小改變。即使較大樣本通常有幫助,從 修正到 仍需要額外證據或假設。
定理 27.1.5
(樣本平均預測器的精確留一評分)
對實數反應 ,其中 ,設 。樣本平均預測器的平方損失留一評分為
預先指定的常數預測器 則有評分 。兩個公式均不需要隨機抽樣假設。
證明與關鍵思路
證明
(追查哪些觀測可以進入每個擬合狀態)
在外層迭代 內,每個內層擬合子集和驗證子集都包含於 。因此,其擬合變換、預測器、分數和按同分規則選出的配置,都只依賴 及已聲明的種子。全新重新擬合具有相同資訊邊界。把這些操作合成,不會引入 的觀測。把 應用於外層輸入,是計算已固定函數的值;這不容許利用該輸入或其標籤重新估計變換。
這個論證核實的是所述數據流,不保證內層選擇器會選出統計上最優的配置。在內層分割前先用全部 擬合一個尺度化器,雖然仍未碰外層分摺,卻已不是這裏指定的內層僅訓練數據程序。每次內層都重新擬合完整流程,才能維持兩道邊界。
證明
(每次只條件化一個外層迭代)
固定 ,給定 及 。此時 已固定。由於索引分割獨立於各個獨立同分佈觀測,剩餘每個 的 仍有分佈 ,且獨立於已給定的對象。因此,每項條件期望損失都是 。把 項平均便得第一式。再用全期望公式,以及 ,由期望的線性得第二式。
證明完全沒有用到不同 之間的獨立性。它們的預測器以重疊數據訓練;某個外層迭代受評估的觀測,在其他迭代中正是訓練觀測。我們可以逐次給定各迭代所允許的資訊來證明期望等式;若同時給定所有外層擬合預測器,一般會洩露正在受評估觀測的資訊。
證明
(留出殘差是放大後的中心化殘差)
略去反應 時,擬合平均為 。因此
逐項平方再平均,就得到公式。常數預測器不會因略去觀測而改變,所以其分數就是經驗平方損失。平均預測器的留一誤差一般大於訓練誤差:平均中心化平方殘差被乘上 。
證明透視
每次預測確實留出,不代表各摺平均獨立
資訊邊界證明涉及一個擬合函數及它本身排除的觀測。期望證明逐摺使用該邊界,再把期望相加。兩者都沒有建立各摺平均的獨立性。因此,把它們的樣本標準差除以 來求標準誤,還需要超出「共有 摺」以外的論據。
例題
例題 27.1.6
(六個觀測、兩個配置、三個外層擬合)
所有輸入均為同一常數,按索引排列的確定反應為 。預先選定索引分摺 、、;這個例子並不是按看過的標籤分組。採用平方損失、內層留一法和有序配置 :永遠預測事先指定的常數一;:預測擬合樣本平均。沒有其他預處理。
對 ,外層訓練反應是 ,平均 ,中心化平方和為一。因此 ,而 。選 ,在全部四個外層訓練觀測上重新擬合平均 ,再對兩個零都預測該值。外層平均平方損失為 。
對 ,外層訓練反應是 ,平均為一,中心化平方和為四。因此 ,。選 ;兩個留出反應都是一,所以外層損失為零。對 ,對稱性給出以下完整表格。
| 外層摺 | 外層訓練反應 | A 內層分數 | B 內層分數 | 所選配置 | 重新擬合預測 | 外層平均損失 |
|---|---|---|---|---|---|---|
| 1 | 1, 1, 2, 2 | 1/2 | 4/9 | B | 3/2 | 9/4 |
| 2 | 0, 0, 2, 2 | 1 | 16/9 | A | 1 | 0 |
| 3 | 0, 0, 1, 1 | 1/2 | 4/9 | B | 1/2 | 9/4 |
六個外層損失為 ,所以 。若改為平均三個勝出內層分數,則得 。這是用途不同的另一個數字,並非外層評估。
例題 27.1.7
(在全部開發觀測上重新執行程序)
評估後,在全部六個開發觀測上再次執行相同配置選擇方法,內部仍使用留一法。其平均為一,中心化平方和為四,所以 ,而 。選 ,產生最終的常數一預測器。外層贏家 不是用來多數決選 ;已聲明的最終選擇步驟,是在全部開發數據上重新執行。
最終預測器的訓練誤差為 。這個訓練數字和巢狀分數 ,都沒有量度它的新觀測風險。這六個確定觀測不會建立來自某個指定總體的獨立同分佈抽樣。計算展示的是算法及選擇結果的改變,不是真實數據實驗,也不提供總體表現保證。
以下完整程式只用標準函數庫,並以有理數作精確運算。程式索引從零開始,印出的摺編號從一開始。每次內層擬合排除正在評分的反應,而在外層預測前,所選配置都會全新重新擬合。
from fractions import Fraction as F
y = tuple(map(F, (0, 0, 1, 1, 2, 2)))
CONFIGS = ("A", "B") # Fixed one, then fitted mean; this is the tie order.
OUTER = ((0, 1), (2, 3), (4, 5))
ALL = tuple(range(len(y)))
def fit(indices, config):
assert indices and config in CONFIGS
return F(1) if config == "A" else sum(y[i] for i in indices) / len(indices)
def inner_scores(indices):
assert len(indices) >= 2
scores = {}
for config in CONFIGS:
total = F(0)
for held in indices:
train = tuple(i for i in indices if i != held)
prediction = fit(train, config)
total += (prediction - y[held]) ** 2
scores[config] = total / len(indices)
return scores
def select_and_refit(indices):
scores = inner_scores(indices)
chosen = min(CONFIGS, key=lambda c: (scores[c], CONFIGS.index(c)))
return chosen, fit(indices, chosen), scores
losses = {}
for number, held in enumerate(OUTER, 1):
train = tuple(i for i in ALL if i not in held)
chosen, prediction, scores = select_and_refit(train)
for i in held:
assert i not in train and i not in losses
losses[i] = (prediction - y[i]) ** 2
outer_mean = sum(losses[i] for i in held) / len(held)
print(f"fold {number}: A={scores['A']} B={scores['B']} "
f"choose={chosen} predict={prediction} outer={outer_mean}")
assert set(losses) == set(ALL)
print("nested MSE:", sum(losses.values()) / len(y))
chosen, prediction, scores = select_and_refit(ALL)
print(f"full development: A={scores['A']} B={scores['B']} "
f"choose={chosen} predict={prediction}")
fold 1: A=1/2 B=4/9 choose=B predict=3/2 outer=9/4
fold 2: A=1 B=16/9 choose=A predict=1 outer=0
fold 3: A=1/2 B=4/9 choose=B predict=1/2 outer=9/4
nested MSE: 3/2
full development: A=2/3 B=24/25 choose=A predict=1
例題 27.1.8
(兩點計算中完全相依的留出誤差)
設 是獨立的公平二元標籤。一個以單一觀測訓練的學習器,對所有輸入都預測該觀測的標籤,使用零一損失。在普通的兩摺留一評估中,兩個損失都等於 。所以 、,且 。
兩個已觀察分摺損失的樣本標準差永遠是零:每組數據只會產生 或 。把零再除以 ,會把重複抽樣變動全部藏起來。這是普通交叉驗證的相依性例子,不是把只有一個觀測的訓練部分硬分出內層摺的巢狀運算。相同邏輯問題仍可能出現在巢狀評估:留出本身不建立外層損失之間的獨立性。
常見誤解
反例模式
用合併外層分數選擇,便把它們變成選擇數據
考慮獨立同分佈的公平二元標籤,以及兩個預先指定的預測器:常數零和常數一,使用零一損失。對兩個觀測,各固定預測器的合併留一誤差就是觀察到的錯誤比例。選擇這兩個比例中較小的一個,再把它報作所選預測器的評估。
兩個標籤相同時,所報最小值為零;不同時為 。兩種情況概率各為 ,所以報告值的期望是 。但不論選哪個常數,它對獨立、公平的新標籤的條件風險都恰為 。每個固定候選的留出預測本來都合規;用兩個標籤選贏家,卻破壞了所聲稱的最終評估解讀。這裏期望上的樂觀差額恰為 ,不表示每組數據都嚴格樂觀。
修補資訊邊界的方法,是在每個外層訓練部分內選配置,再用其排除觀測評估完整選擇器。若用外層比較作進一步選擇,就需要另一份未碰過的評估數據,或明確不同的推論分析。
反例模式
合併擬合的目標編碼表可以已經藏有留出答案
設輸入是獨立同分佈的連續識別值,標籤是獨立的公平比特。識別值幾乎必然互不相同。在分割前,建立把每個已觀察識別值對應至其標籤的查找表;用該表預測,未見過的識別值則預測零。若所謂交叉驗證重用這份合併數據表,每個留出觀測都得零損失,因為變換已經儲存它的標籤。
真正的新識別值幾乎必然不在表中,所以所得預測器對新標籤的條件錯誤率為 。若表只在允許的訓練觀測上擬合,排除的識別值亦不在表中,便不再取得自己的答案。變換可以在最終估計器擬合前已洩露標籤;把某行排除於最後的係數擬合之外,不能抹去先前的使用。
常見錯誤
(重複分割不是新的數據集)
重複隨機分割可以描述結果對分割方法的敏感度,但各次重複仍重用觀測,沒有創造獨立新數據集。同樣,所選配置之間的分歧描述了不穩定性,卻沒有建立某模型在科學上正確的概率。對分組受試者或未來時間預測,應按真正獨立的抽樣單位和目標設計分割;把相關記錄隨機散到各摺,可能評估了另一個問題。
概念視角
報告分數可以描述的三種對象
最小內層分數是經選擇的比較數字。在相關抽樣假設下,合併外層分數評估已聲明的選擇及重新擬合規則,訓練大小是各次外層訓練大小。新的獨立最終測試則在給定開發數據下評估已鎖定的最終預測器。三者都可能有用,但把其中一個名稱換成另一個,會在沒有改算術的情況下改變主張。
快速檢查
快速檢查
(兩個外層摺大小為 和 ,平均損失為 和 。計算按觀測加權的分數,以及各摺平均的不加權平均。本筆記定義了哪一個?)
先數出每個摺平均代表多少個觀測。
解答 · 答案
已定義的分數是 ,不加權平均是 。差別來自不加權摺平均會讓較小摺中的單個損失佔較大權重。兩種算術都可以定義,但本筆記指定每個受評估觀測權重相同。
快速檢查
(擬合樣本的反應為 。以平方損失和內層留一法,在固定預測值一與樣本平均之間選擇,再給出所選配置重新擬合後的預測。)
先算中心化平方和,再套用精確公式。
解答 · 答案
擬合平均是一,中心化平方和為四。樣本平均的留一分數為 ;固定一的分數為 。選固定一,按該配置重新擬合,得到預測一。全樣本預測相同不代表內層分數相同:略去觀測會改變擬合平均,卻不會改變固定預測器。
快速檢查
(九個觀測的巢狀運算使用大小為 、、 的外層摺。在獨立同分佈定理下,其期望是否等於以六個觀測訓練的程序之風險?說明實際的混合。)
每個外層訓練大小都是九減去其留出大小。
解答 · 答案
以 表示指定大小為 的內層選擇及重新擬合規則之期望新損失。同一大小的各次迭代,均使用重標索引後相同的內層分割方法和相同種子分佈。真正的期望是 。只有在這些風險另有等式或特殊關係時,它才等於 。把訓練大小取平均,並不是把風險等同起來的定理。
快速檢查
(在公平標籤的合併選擇反例中,把兩個觀測改為三個。計算所報最小值的期望,與新標籤風險比較,並解釋為何重新擬合所選常數不能修正該報告。)
一的個數服從參數為三和二分之一的二項分佈。
解答 · 答案
設 是一的個數。當 或三,總概率為 ,所報最小值為零;當 或二,總概率為 ,最小值為 。故期望是 ,但所選常數的條件新標籤風險仍為 。在這個三觀測構造中,差額仍是 。常數重新擬合沒有學習狀態可改;更一般地說,重新擬合不能把已用於選擇的觀測變回未碰過的評估樣本。