二元標籤的損失
分數可以排序兩類,但訓練目標還須指定如何懲罰錯誤與信心。Logistic 損失光滑且凸;單靠這些性質,不能保證未正則化的最小值存在。
固定 筆數據 與標籤 。可在 中加入常數座標作截距。本頁研究的目標函數如下。
定義 8.1.1
(正則化 Logistic 目標函數)
對 ,令 為第 筆數據的間隔(margin),定義
第一個和式是經驗 Logistic 損失, 是懲罰權重。最小點是指滿足「對每個 都有 」的點 。
我們懲罰每個座標,包括存在的截距。這是固定數據的經驗目標;凸性不保證總體校準或泛化能力。
令 。模型可將 指派給標籤 、將 指派給標籤 ;第一項就是已觀察標籤的平均負對數概率。這種概率解讀是模型選擇,並不能證明其概率等於真實頻率。
常見錯誤
(把 標籤代入 公式)
間隔 預設 。若標籤以 和 儲存而直接代入,則每筆 的數據都貢獻常數 ,與 無關,梯度因而完全忽略這一類。應先重新編碼 ,或改用等價的 0/1 形式 。
梯度、曲率與步長界
定理 8.1.2
(凸性與光滑性)
令 ,則
時目標函數為凸,其梯度有以下有效的 Lipschitz 界:
當 ,最小點存在且唯一。
證明
(求導、限制曲率,再用強制性)
對 求導得 ,二階導數為 。對 用鏈式法則,並由 ,得到上述梯度與 Hessian。每個外積 均半正定,每個權重 非負,因此 Hessian 半正定, 為凸。
此外 。對任意向量 ,Cauchy–Schwarz 不等式給出 ,故
二次型不超過 的半正定矩陣,其算子範數不超過 。把 寫成 ,便得 。
若 ,Logistic 各項非負,所以 。於是下水平集 是有界閉集,連續函數 在其上取得最小值,該點就是全域最小點。Hessian 至少為 ,故 嚴格凸,最小點唯一。這個強制性論證使用了對每個座標的懲罰。
證明透視
每個界各負責甚麼
標籤約定只出現一次: 把標籤從 Hessian 中消去,所以曲率只取決於特徵。界 (在 取等號)配合 Cauchy–Schwarz 不等式,給出曲率上界 ,這正是步長規則所需要的。凸性本身只用到權重的符號。
存在性是需要假設的一步。關鍵做法是丟掉損失,只保留 。這個下界在每個方向都增長,因此搜尋範圍被限制在一個有界的下水平集內,再由連續性完成論證。若 ,下界變成 ,甚麼也限制不了;下面的反例說明此時最小值確實可能不存在。同一個曲率下界 也給出唯一性,所以一個假設同時完成了兩半。
曲率常數也控制單一梯度步。
引理 8.1.3
(梯度下降的單步下降)
設 為定理中的常數,,,並取 、。則
特別地, 給出 。
證明
(沿步長積分梯度)
令 。沿 到 的線段用微積分基本定理,
由 Lipschitz 界,,而 。因此 ,即所求。若 ,則 。
這是對所述目標和界的單步精確算術保證,不能認證某個實作或停止容差。若 ,所有特徵和 均為零,目標為常數。
有限最小值與沒有最小值
例題 8.1.4
(同一特徵上的衝突標籤)
取 、、、、,則
利用 ,其導數為 。它只在 為零並在該處變號,所以唯一最小點是 ,值為 。此分數無法嚴格分開數據。這裏 是有效曲率界。
例題 8.1.5
(帶懲罰的一步梯度下降)
取單一數據 、 及 ,則 ,。定理給出 ;取 。
由 出發:,所以 。引理保證下降至少 。直接計算,
下降約 ,剛好高於保證的 。最小點滿足 ;由於 ,一步之後 已距最小點約 以內()。
例題 8.1.6
(可分數據:懲罰消失時最小點逃向無窮)
取 與 。兩個間隔都等於 ,所以 。當 時沒有最小點(見下面的反例)。
當 ,唯一最小點 滿足 。由於 且 遞增,;由於 ,。若沿某個 的序列 一直小於某個 ,則 ,矛盾。因此 時 。這是定理的邊界情形:對每個正的 最小點都存在,但其大小只受懲罰控制。
反例模式
凸不代表最小值一定達到
若只有一筆 且 ,損失 對每個有限 都為正,當 時趨向零。下確界是零,卻沒有有限最小點。更一般地,若向量 對每筆訓練數據滿足 ,則 (),但每個有限損失均為正。加入 並懲罰所有座標可恢復唯一有限最小點,但也改變了目標。
數值計算時應以穩定的 softplus 實作計算 ,避免直接形成可能溢出的指數。數據縮放影響曲率界和實際步長。有限數據證明不能保證分類器在新數據上的準確性、校準、公平性或穩健性。
常見錯誤
(不懲罰截距卻仍聲稱最小點存在)
若 而懲罰只作用於斜率,下界 便不再成立。例如所有標籤均為 時,取斜率 、截距 ,目標為 ,當 時趨向 ,而對每個有限 均為正,所以即使 也沒有最小點。此時必須對未受懲罰的方向另作論證。
習題
快速檢查
(對 、、,計算 並解釋為甚麼沒有有限最小值。)
看導數的符號。
解答 · 答案
對每個有限 有 ,所以 嚴格遞減。最小點需要 ;實際上損失在 時趨向零,卻永遠達不到。
快速檢查
(在衝突標籤例子中,求最小點及其損失。)
解答 · 答案
導數 只在 為零,所以最小點是 ,且 。
快速檢查
(若每個 且 ,給出有效的 及引理中的步長範圍。)
解答 · 答案
,所以 是有效界(較大的常數仍是 Lipschitz 常數)。於是 給出保證下降量 。
快速檢查
(為甚麼懲罰每個座標與存在性證明有關?)
解答 · 答案
證明用 從下方界住目標,迫使它在每個方向趨向無窮,從而把搜尋限制在有界集內。若某方向不受懲罰,這個界對該方向毫無作用;不受懲罰的截距加上全部相同的標籤,已經沒有最小點。
延伸閱讀
史丹福統計學 Logistic 迴歸筆記 討論似然、導數與凸性。