分數與概率
二元分類器可以不只輸出硬性標籤。對特徵向量 ,令 並定義
這是條件概率模型,並不保證其數值在新數據上已校準。以 為閾值,當 預測 ,當 預測 ; 時須選定平手規則。不同決策成本可能支持不同閾值。
由似然到損失
對觀測標籤 及特徵 ,令 ,模型賦予觀測標籤的概率是 ,因為 。若在模型下、給定特徵後標籤條件獨立,則每個例子的平均負對數似然為
沒有條件獨立假設時,仍可選用同一表達式作損失,但乘積似然的解讀尚未得到論證。很大的正帶符號分數 給出小損失;很大的負分數則給出大損失。分數的符號控制硬性預測,大小則影響損失。
定義 6.1.1
(帶符號分數與嚴格可分)
對參數 及例子 (),帶符號分數為 。若存在 使每個 都有 ,便稱訓練集嚴格線性可分。
命題 6.1.2
(logistic 損失的凸性與梯度)
損失 是可微的凸函數,且令 ,則
證明
(凸的純量損失與仿射分數的複合)
對純量函數 ,有 及 ,故 是凸函數。每個帶符號分數 都是 的仿射函數,凸函數與仿射函數的複合仍是凸函數,凸函數的平均亦然。由鏈式法則,,,其中 。對 取平均便得所列梯度。
單有凸性不保證有限最小解,也不保證每個參數方向都嚴格凸:例如未使用的特徵可使一整個方向的損失不變。
兩點可分例子
例題 6.1.3
(零截距的兩個點)
取一維特徵並把截距固定為零。數據為 及 時,兩個帶符號分數都是 ,故平均損失為
每個有限 都使損失為正,但當 ,。數值上 、、。所以下確界是零,卻沒有有限 取得。對每個 ,兩個例子均分類正確,但概率損失仍獎勵更大的間隔。這只示範此數據集不取到下確界,並非說每個凸損失都如此。
同一機制適用於每個嚴格可分的訓練集。
定理 6.1.4
(可分數據沒有 logistic 最小解)
若訓練集嚴格線性可分,則對每個 都有 ,但 。因此 沒有最小點,也沒有駐點。
證明
(放大分離向量)
每一項 都為正,所以 處處為正。設 分開數據,帶符號分數為 ,並令 ;因為集合有限, 為正。對 ,參數 的帶符號分數是 ,所以
因此 ;而 ,下確界永不取得。可微凸函數的駐點必是全局最小點,所以不存在駐點。
證明透視
嚴格性與放大在哪裏發揮作用
證明靠兩個要素。嚴格性 使同一個放大倍數 能同時增大所有間隔;若有某個間隔為零,該例子的損失沿射線會一直停在 。每一項為正,則說明下確界永不達到。證明非取得性時並沒有用到凸性;凸性只用來排除駐點。有界閉區域捉不住趨近下確界的序列:在固定區間上,連續損失確會取得最小值,但擴大區間會把這個最小點推得更遠。一旦有某個間隔不可能變為正,結論便不再成立,下面的例題會說明。
常見錯誤
(以為可分數據上梯度會變為零)
在兩點例子中,對每個 都有 ,所以方程 無解。解梯度方程,或運行梯度下降直至梯度很小,得到的權重取決於停止規則:梯度大小 要到 超過約 才會小於 ,容許誤差越小,權重越大。所回傳的權重是停止規則的產物,並不是對一個存在的最小點的估計。
例題 6.1.5
(同一點上的矛盾標籤)
取兩個特徵相同 而標籤相反的例子,、,截距固定為零。不存在分離向量:兩個帶符號分數是 和 ,不可能同時為正。損失為
因 嚴格遞增, 與 同號,所以 在 之前遞減、之後遞增。此外 。唯一的最小點是 ,,兩個概率都是 ,對互相矛盾的標籤而言這是誠實的答案。這裏之所以有有限最小點,正是因為數據並不可分。
加入懲罰後的變化
例題 6.1.6
(二次懲罰恢復了最小點)
對數據為 與 的零截距例子,加入 的二次懲罰:
此時 。導數連續且嚴格遞增,在零處為 ,並在 時趨於 。介值定理給出恰好一個正零點 。 嚴格遞增顯示 在 前遞減、之後遞增,所以這是唯一全局最小點,其方程為
當 ,方程給出 ,,而 。若 時 保持有界,左邊會趨於 ,右邊卻保持為正,所以 :帶懲罰的解趨近未加懲罰損失的行為。
懲罰本身也不能確立樣本外準確度。懲罰作用於哪些參數,同樣重要。
反例模式
只懲罰權重未必得到最小點
命題:在權重上加二次懲罰 ,帶懲罰的 logistic 損失必定有有限最小點。取一個特徵和兩個例子 、,標籤都是 。帶符號分數是 和 ,所以
在 時,,當 趨於 。因此 不能取得,沒有有限的 是最小點。懲罰控制了 ,但不受懲罰的截距單獨就能使每個帶符號分數變得很大。若連截距也一併懲罰,即用 ,目標函數便是強凸的,最小點因而存在而且唯一。
習題與解答
快速檢查
(當 ,模型給出甚麼概率?)
計算 。
解答 · 答案
兩者都是 ;硬性預測須使用已訂明的平手規則。
快速檢查
(在兩點例子中, 和 是多少?)
把 代入公式。
解答 · 答案
且 。
快速檢查
(為何帶懲罰例子的最小點為正?)
看 的符號及 的單調性。
解答 · 答案
嚴格遞增,,而其唯一零點在零的右方。
快速檢查
(可微凸損失必定有有限最小解嗎?)
回想未加懲罰的兩點損失。
解答 · 答案
不一定。未加懲罰的兩點損失是凸函數,卻只在 時趨近下確界。