一個分數對應多種決策
分類器可以輸出實數分數,而非只輸出正類或負類決策。選定門檻後便可作決策,但不同門檻可能有不同的真正率及假正率。受試者工作特徵曲線(ROC)概括各門檻下的比率。本節處理固定且已有標籤的評估集;該集算出的面積不會自動成為模型的總體表現,反覆用它選模型後亦不能自動視為無偏估計。
定義 11.1.1
(經驗 ROC 曲線)
假設有 個實際正例及 個實際負例。分數至少為門檻 時預測為正,定義
ROC 點的橫座標是 FPR,縱座標是 TPR。如果數據集沒有正例或沒有負例,兩個分母無法同時成立,此處的經驗 ROC 及面積便沒有定義。由高於最大分數的門檻開始,點為 ;逐步降低門檻,每個不同分數上的觀測都整組納入。門檻等於最低分數時得到 。沒有額外規則時,不能把相同分數的觀測排序成多個不同的確定性分數門檻。
由階梯至面積
在某個分數層,假設一同納入 個正例和 個負例。ROC 向右移 ,向上移 。為定義常用的梯形經驗 AUC,把相鄰點以直線連接,再對水平位移積分高度;垂直線段貢獻零面積。此插值也可表示隨機選擇兩個端點門檻分類器所得的期望比率,或與標籤無關地以相同概率納入並列組內觀測所得的期望比率。中間點未必能由原分數上的單個確定性門檻得到。
經驗 AUC 有精確的排序解釋。
定理 11.1.2
(梯形 AUC 的配對形式)
從 個正例中均勻選一個,並獨立地從 個負例中均勻選一個,其分數分別為 與 。則經驗 ROC 曲線下的梯形面積等於
此概率是從已觀察的正負例各自均勻、獨立抽取所得,並非單次預測正確的概率,且依賴上述並列計半分的插值規則。
證明
(逐組計算梯形面積)
將不同分數層由高至低排列。在一層中,令 分別是正負例數目, 是分數嚴格較高的正例數目。納入該組前 ROC 高度為 ,之後為 ,故該組的梯形面積為
對各組求和,恰好把每一對正負例計算一次:當前組的負例與分數嚴格較高的正例配對得一分,與同分正例配對得半分;正例分數較低則得零分。這正是上式概率。證明也涵蓋只含一類的組及任意大小的並列組。
證明透視
為何同分剛好得半分
證明依賴三個決定。ROC 由整個分數組構成,所以並列組使曲線沿一條直線段移動。該線段下方的梯形面積可拆成高為 的矩形與高為 的三角形,嚴格較高的正例得全分、同分的正例得半分便由此而來。證明以重複計數收尾:每一對正負例恰好屬於三種情形之一(正例嚴格較高、同一組、正例嚴格較低),並透過負例所在的組各計算一次。若把並列組按任意次序拆成不同門檻,矩形和三角形就會改變,面積也隨之改變。 與 為正只是為了使分母存在。
六個例子的追蹤
例題 11.1.3
(六個例子的追蹤與並列組)
考慮三個正例分數 ,以及三個負例分數 。表中各門檻均包含等於它的分數;首行的門檻高於所有觀測。
| 門檻 | 納入的組 | FPR | TPR |
|---|---|---|---|
| 高於 0.9 | 無 | 0 | 0 |
| 0.9 | 一個正例 | 0 | |
| 0.8 | 一個負例 | ||
| 0.6 | 兩個正例、一個負例 | 1 | |
| 0.2 | 一個負例 | 1 | 1 |
三個水平位移非零區間的梯形面積依次為 、、,總和為 。配對計數亦一致:九對正負例中,五對的正例分數嚴格較高,兩對同分,故 。跨越並列組的斜線是插值,不是另一個分數門檻。
例題 11.1.4
(以配對計數核對曲線)
取正例分數 及負例分數 。分數 勝過三個負例;分數 勝過 、與 同分、輸給 。因此六對中有 勝 同分,。曲線的結果一致:各點為 、、、、,梯形面積為 、、,總和 。
例題 11.1.5
(所有分數相同)
設有 個正例和 個負例,分數全為 。只有一組,、、,所以 ROC 由 直接到 ,面積為 。六對全部同分,每對得半分。這是分數完全沒有排序資訊的邊界情形,結果與 、 無關。
常見錯誤
(以錯誤的分母計算假正率)
在六個例子的追蹤中,門檻為 時 、。假正率是 ,其中 為負例數目。若改用預測為正的數目相除,得 ,這是 ,是另一個量。ROC 的座標永遠以類別大小 與 為分母。
反例模式
任意打破並列會改變面積
命題:描繪曲線之前,可以任意排列同分的觀測而不改變面積。取一個正例和一個負例,分數同為 。把正例排在前面,路徑為 ,面積為 ;把負例排在前面,路徑為 ,面積為 。並列組的梯形給出由 到 的直線段,面積為 ,與半分的配對計數相符。因此任意的打破並列規則可以給出介乎悲觀與樂觀之間的任何面積,必須說明所採用的約定;本單元採用半分約定。
下面的互動圖可編輯附標籤的分數,並以逐一計算所有正負配對的結果核對:跨越並列組的半分梯形面積恆等於(勝 + 同分/2)/(PN)。
AUC 能決定甚麼,不能決定甚麼
嚴格遞增的分數尺度變換保留每個比較及並列,故保留此 AUC;僅非遞減的變換可能產生新的並列,改變面積。AUC 衡量正負配對的排序,按假正率對 ROC 曲線作整體概括;它不是對門檻作均勻平均。它不會選出部署門檻、衡量校準,也不包含不同錯誤的成本。兩個模型即使面積相同,在某應用要求的假正率附近仍可能有不同 ROC 點。因此有用的評估還要檢查相關操作區域,並適當分開模型與門檻選擇所用數據。若把觀測視為隨機,共用同一觀測的配對貢獻可能相依,所以配對公式本身不是置信區間。
概念視角組合
由正例的秩和得出 AUC
把全部 個分數由小到大排秩,相同的分數取平均秩。若 為正例的秩之和,則 。在六個例子的追蹤中,正例的秩為 ,所以 ,。平均秩恰好就是對相同分數各得一半的約定。
練習
快速檢查
(正例分數為 、負例分數為 。計算嚴格正序及同分的正負配對數目,並求經驗 AUC。)
列出全部四對。
解答 · 答案
配對 與 為勝,配對 為負,配對 為同分。所以 。
快速檢查
(若所有分數相同且兩類都出現,依上述並列計半分規則得到甚麼 AUC?解釋其插值。)
每一對都同分,整個數據集只有一組。
解答 · 答案
全部 對同分,各得半分,所以 。ROC 沿對角線由 到 ,表示以相同比例隨機納入兩類觀測。這是插值,不是原分數上的確定性門檻。
快速檢查
(給一個非遞減但非嚴格遞增的分數變換,把一對正確排序的分數變為同分。該對的半分貢獻如何改變?)
把分數封頂於某個值。
解答 · 答案
映射 把正確排序的一對 變為同分 ,該對的貢獻由 降為 。對第一題的分數,變換後正例為 、負例為 ,得一勝兩同分,所以 ,而不是 。