線性分類器或線性回歸只能產生輸入的仿射函數作為分數,所以無法表示異或之類的模式。多層感知機(MLP)把若干仿射映射與固定的非線性函數複合起來,得到大得多的函數族,並以梯度下降訓練。小批量隨機梯度下降一節已提供訓練循環;本節回答的是:深層複合中,損失對所有權重的梯度如何高效而精確地計算。答案就是反向傳播,它不過是把鏈式法則整理成可重用中間量的形式。
網絡與損失
定義 30.1.1
(前饋網絡)
固定各層寬度 ,以及逐分量作用的激活函數 。對輸入 ,對 定義
其中權重矩陣 ,偏置向量 。網絡輸出為 ;回歸輸出時,最後一層的激活常改為恆等函數。常見激活函數有 、邏輯 sigmoid 與整流函數 。對訓練樣本 與可微損失,例如 ,目標函數是 在各訓練樣本上的和。
具有這些寬度的網絡,參數個數為 。一次前向傳播所需的乘法次數,約與權重個數相同。
定理 30.1.2
(沒有非線性,深度就沒有用處)
若 是恆等函數,網絡計算的是 的仿射函數,即對某矩陣 與向量 有 。特別地,沒有這樣的網絡能表示 上的異或函數。
證明
(仿射映射的複合與中點論證)
仿射映射的複合仍是仿射的,所以 。若仿射純量函數 滿足 且 ,則 ,因為對仿射的 ,中點處的值是兩端點值的平均,而 與 有相同的中點 。這會得出 ,矛盾。
反向傳播
定義 30.1.3
(誤差信號)
第 層的誤差信號是 ,即損失對預激活向量 的敏感度。
定理 30.1.4
(反向傳播方程)
設 在出現的每個 處可微(對 ReLU,即不在 處)。則
而對參數的梯度為
其中 為逐分量乘積。先做前向傳播,再對 使用這些公式,就得到 對全部參數的梯度,總成本與參數個數成正比。
證明
(沿各層使用鏈式法則)
輸出 逐分量依賴 ,所以 。對 ,變量 只透過 影響 ,而 。由鏈式法則,
這就是所述的遞推式。由於 ,而 只出現在 中,所以 ,。每個遞推步與每條梯度公式,都是與相關權重矩陣同尺寸的矩陣向量積或外積,這就得到成本的結論。
證明透視
為甚麼只有下一層重要
這個證明有一個結構事實和一個計算。結構事實是: 只通過向量 影響 ,因為各層是前饋的;因此鏈式法則可以寫成對 的 個分量求和,沒有其他項。計算則是局部導數 ,因子 正是用到 可微的地方。遞推向後進行,因為 需要 與已儲存的 。每個 只算一次,既用於 與 ,也用於下一步;這種重用使成本與參數個數成正比,而不必為每個權重重複鏈式法則的因子。若網絡有跳躍連接, 還會直接影響更後的層,遞推式便會多出額外的項。
對於二元分類,輸出層通常是單一 sigmoid 單元 ,以交叉熵損失 ()訓練。此時 ,且 ,所以輸出誤差化簡為 。sigmoid 的導數被約去,這是分類時偏好這個搭配而非平方誤差的原因之一:當單元飽和而出錯時,誤差信號也不會消失。
前向傳播必須儲存每個 與 ,因為反向傳播要重用它們。儲存中間的 ,正是這個方法比逐個權重分別求導便宜的原因,後者會重複鏈式法則中的公共因子。訓練目標對參數一般不是凸的;梯度下降到達的是駐點,而不保證是全域極小點。對 sigmoid,,所以遞推式中的因子 會隨深度以幾何速度縮小信號,這就是梯度消失效應。
概念視角算法
反向傳播即行向量乘以雅可比矩陣
損失是純量,所以 是行向量。遞推式說明 :每次只把這個行向量乘以一層的雅可比矩陣(Jacobian matrix),即每層一次矩陣乘向量。若先把所有雅可比矩陣乘起來,就需要矩陣乘矩陣;從純量端開始排列乘法順序,正是這個方法便宜的原因。
例題
例題 30.1.5
(雙單元 ReLU 網絡的精確梯度)
取輸入 ,目標 ,一個含 ReLU 的隱藏層,參數為
輸出為 ,損失為 。前向:,兩者皆正,所以 ,。損失為 。
反向:輸出誤差為 ,所以 ,。隱藏層誤差為 。因此
取步長 作一步梯度下降,得 、、、。此時 ,,損失為 ,由 下降。
例題 30.1.6
(計算異或的 ReLU 網絡)
取 、,輸出 。在四個輸入處求值: 得 ; 與 得 ; 得 。所以這個網絡精確表示異或,而任何仿射函數都做不到。第一層把四個輸入映為 ,在這些座標下兩個類別變得線性可分。
例題 30.1.7
(交叉熵的輸出誤差,包括飽和且錯誤的輸出)
取單個 sigmoid 輸出單元 ,,,,目標 。此時 ,,損失為 。輸出誤差為 ,所以 ,。核對:,在 處 。
邊界情形:保持 ,但令 ,即單元飽和而且錯誤。這時 。交叉熵給出 ,信號完全沒有被削弱。若改用平方誤差 ,誤差信號是 ,約小了 倍。
常見錯誤與細節
反例模式
ReLU 在零點沒有可反向傳播的梯度
人們很容易以為,反向傳播在每個參數值處都返回損失的梯度。取輸入 、目標 、單個 ReLU 單元 ,損失為 。當 時 ,所以 ;當 時 ,所以 ,在 時趨向 。因此在 處的單側導數是 與 ,導數並不存在。遞推式返回 ,按照對 所取的約定,它是 或 。每個值都等於其中一個單側導數,卻都不是導數。定理的假設,即在出現的每個 處可微,正是在這裏不成立。
常見錯誤
(導數在哪裏求值)
因子 是在預激活值 處求值,而不是在激活值 處。對 sigmoid,可利用 寫成 ;但對 ReLU,導數是 的指示函數,在 處必須事先約定。以反向傳播算出的梯度,至少應對若干個參數用有限差分核對。
常見錯誤
(相同的初始權重無法區分隱藏單元)
若把所有權重初始化為相同,同一層的隱藏單元會得到完全相同的更新,永遠無法分化,所以權重要隨機初始化。
常見錯誤
(訓練損失不等於測試表現)
訓練損失小並不保證測試誤差小。目標函數對參數也不是凸的,所以梯度下降到達的駐點不保證是全域極小點。
練習
快速檢查
(某網絡有一個 ReLU 隱藏單元與線性輸出:。在 處求值。)
記得 。
解答 · 答案
時,,。 時,,。 時,,。
快速檢查
(寬度為 的網絡有多少個參數?)
每一層貢獻一個權重矩陣和一個偏置向量。
解答 · 答案
。
快速檢查
(設 ,,,,目標 ,損失為 。以 表示對 與 的精確梯度,並給出近似值。)
的導數是 。
解答 · 答案
,,。則 。對 , 的導數為 ,所以 。
快速檢查
(設深層網絡每個隱藏層都用 sigmoid。證明遞推式中某條路徑上 個激活導數因子的乘積,絕對值至多為 。)
先估計 的上界。
解答 · 答案
因為 ,而對 有 (和為 的兩個數的乘積至多是 ),所以每個因子至多為 。 個這樣的因子的乘積至多為 。路徑上的權重可以抵消一部分,但除非權重很大,傳到前面各層的信號都會很微弱。