動機
多層網絡由簡單運算複合而成,但一個參數可沿多條路影響損失。隱值可供多個後續單元使用,同一權重也可在多處重用。只微分最顯眼的一條路,會漏掉真正貢獻。反向傳播正是有系統地累積所有路徑,並令共享工作只算一次。
要分開三件事:圖計算的函數、當前參數的導數,以及使用導數的最優化算法。梯度正確,不保證任意步長都下降;訓練下降,也不證未見數據預測可靠。本節精確推導導數,再重算有限更新的前向值。
定義
定義 30.1.1
(計算圖)
有限計算圖是有拓撲次序的有向無環圖。源節點是輸入或參數,其餘純量節點 是指定較早節點的可微函數 ;向量運算可逐分量理解。最後節點為純量損失 L,所有可微假設都在實際取值處使用。ReLU 在零沒有普通導數,軟件於該點的慣例定義了更新規則,不是證明古典可微。
定義 30.1.2
(前向傳遞與伴隨量)
前向依拓撲序計值,保留局部導數所需數據。伴隨量 指在中間值邊界獨立擾動 時,最終損失的導數;邊界前已算出的其他量固定。由 反向累積:
總和按引數出現計數;同一父值用兩次,兩個偏導貢獻都要加。共享參數用同一源節點表示,收到所有子節點貢獻;若另建獨立副本而不合梯度,便已改模型。
定義 30.1.3
(Softmax 與交叉熵)
對有限 logits ,。固定目標分布 q 非負且總和一,類別標記可用 one-hot。交叉熵用自然對數:
有限 logits 給正概率;改對數底會縮放導數。
定義 30.1.4
(同步梯度更新)
步長 的梯度下降,所有參數都用同一組舊參數算梯度後同步更新。先改一個權重再把新值放進另一個導數,則是另一算法。
定理/命題
定理 30.1.5
(反向累積就是完整鏈式法則)
有限無環、節點可微的圖上,反向累積精確算出 L 對每個源參數的導數。每條局部邊在子伴隨量已備妥後處理一次,工作量與圖內局部微分工作成正比,而非與可能指數多的源到損失路徑數成正比。
定理 30.1.6
(softmax 交叉熵的導數與曲率)
有限 logits 及固定目標分布下,
Hessian 半正定,所以損失對 logits 凸。全體 logits 加同一常數,不改概率與損失。但這不代表它對多層網絡全部參數都凸。
證明思路
證明
(由全微分反向代入)
局部微分是 。從 開始,按反拓撲序代入。消去某節點的微分前,其所有子節點已處理,所以所有含它的項均已出現;收集係數正是伴隨量總和。最後只剩源微分,按全微分定義,其係數就是導數,包含分支與共享參數。另一看法是每條有向路徑貢獻局部導數的乘積,所有路徑相加;有限無環令此為有限和,反向法只是提取共同後綴,沒有換掉所求函數。
證明透視
分支為何相加
一個值供兩個子節點時,擾動它會同時改變兩者,其後續影響在全微分中相加。把兩支相乘既不是沿一條路的鏈式法則,也不是不同路徑的總效應。乘法沿路,加法合路;沒有通往損失的節點伴隨量為零。
證明
(對 log-sum-exp 求導)
log-sum-exp 對 的導數是 ,故梯度為 。再微分得 。任意向量 a 的 Hessian 二次型是 ,即以 p 取值 的方差,非負。全一向量二次型為零,吻合共同平移不變;梯度總和也因 p,q 總和同為一而為零。
凸性不保證有限最小點存在。至少兩類的 one-hot 目標,在有限 logits 下正類概率小於一,損失嚴格正;把正類 logit 拉得遠高於其餘,損失趨零卻不取到。因此小梯度可以伴隨正類與其餘 logits 的差距無界增長,不是收斂到有限 logit 最優點的證明。加入正則化就改了目標。若 q 每項皆正,交叉熵等於 q 的熵加 KL 散度,後者由對數不等式非負,故最優 p 為 q;但 logits 仍可共同平移,網絡參數也未必唯一。
數值上先減 ,再算 ,指數均不超一。這保留函數而避免巨大正指數,不能把和換成最大項。批次平均的梯度是各例梯度平均,因有限和可逐項微分;權重及總和或平均的選擇都要保留,否則實際步長改變。每例隱激活可不同,但參數必是同一舊向量。
計算中所說的「獨立擾動中間值」,是為了量度它之後的影響,不是永久切斷它與前面參數的關係。先把下游影響收成伴隨量,再透過局部導數傳回上游,最後才得到參數總導數。若把中間值一直當獨立源而不再傳回,便少算了原模型的依賴。這個分界觀點有助理解為何同一節點既要儲存前向值,也要累積反向係數。
前向儲存的值還指定了微分發生在哪個點。例如 tanh 的局部導數要用舊激活,乘輸出權重也要用舊權重。若在反向過程邊算邊改參數,後來步驟便可能混合兩個不同點的局部導數,不能再組成一個函數於同一點的全微分。同步更新的要求因此不是格式習慣,而是所聲稱算法的數學內容。
輸入與參數同是圖的源,但訓練時兩者角色不同。輸入導數可用來分析敏感度;參數導數用來更新模型。計出輸入梯度,不代表訓練會改動已觀察數據。反過來,若一個前處理步驟含可訓練參數,就應把該步也放入圖中,否則所報梯度只適用於前處理被固定的另一個模型。
損失的數值和分類決策也要分開。最大概率類別保持不變時,交叉熵仍可連續改善;一次很小的 logit 改變也可在同分附近改變預測類別。導數描述的是連續損失,而不是離散正確率的普通導數。評估時應各自記錄兩者,不能因梯度方向正確就聲稱每一步都提高分類正確率。
概念視角代數
伴隨量就是左乘雅可比(Jacobi)矩陣的行向量
對分層的鏈式結構,設各層雅可比矩陣為 ,損失梯度就是行向量 。反向累加從左邊開始相乘,每一步都是向量與矩陣相乘;若各層寬度皆為 ,每層約需 次乘法。若改為先從右邊把雅可比矩陣連乘起來,每層約需 次。伴隨量 正是這條不斷更新的行向量;兩種描述得出相同的梯度,區別只在乘法的次序。
例題詳解
例題 30.1.7
(共享中間值的兩條貢獻)
給 。兩支合成 ,所以 w 梯度為 14。步長 得 ,新損失 。直接展開 ,在一處導數也是 14,獨立核對共享圖。
例題 30.1.8
(完整兩層分類更新)
,logits 為 ,目標第一類。初值 ,有 h 零、概率各半、損失 。按 梯度為 。同步步長 得 ,新首 logit 為 ,新損失精確為 。所有導數都用舊 v 與舊 h。
例題 30.1.9
(大 logits 用穩定代數)
logits 及目標第一類,先減 1000 得概率各半,不用計 。梯度 。若 logits 本身是參數,步長 得 ,差為 ,新損失 。共同偏移沒有分類資訊。
常見錯誤
反例模式
logit 凸損失可有非凸參數化
一個誘人的說法是:既然交叉熵對 logits 是凸的,參數損失的每個駐點都是全域最小點。正二元例子用 logits ,損失 。在原點兩參數導數均零,但取 可嚴格降損失。對 logits 凸,不表示參數駐點最優,非線性參數映射已改曲面。
常見錯誤
(正確的梯度不等於有用的訓練信號)
避免把極小 softmax 導數顯式乘巨大倒數概率,但隱層仍可能削弱信號,例如飽和 tanh。共享權重貢獻亦可抵消。正確導數不保證大而有用的梯度。
常見錯誤
(微分的不是實際使用的計算)
若目標本身依參數產生,對它也微分是另一目標,除非明訂固定;截斷概率再取對數也改函數,必須微分真正使用的計算。
總結
反向傳播把鏈式法則按有限依賴圖組織,分支與共享參數用加法。交叉熵給精確 及半正定 Hessian,穩定代數保留等式,同步更新保留指定梯度下降規則。參數化、初始化與泛化仍各有問題,不能由導數正確性代答。
練習
快速檢查
(。反向及直接展開各求共享 w 梯度。)
在 處,再在 處應用伴隨量規則,然後把進入 的兩條路相加。
解答 · 答案
前向 。,w 直接路給六,經 a 路給十二,共十八。直接 也給十八,不能漏一條路。
快速檢查
(三 logits 全零、目標第二類,求概率、損失、梯度及步長 更新,核對總和。)
logits 全相等時每個概率都是 ;再減去 one-hot 目標。
解答 · 答案
概率各 ,損失 ,梯度 ,更新 ,總和仍零,吻合共同平移不變。
快速檢查
(兩層例題改初值 ,求所有梯度,解釋同一輸入反覆更新時隱部為何保持零。)
當 ,隱值為 ;檢查哪些因子變成零。
解答 · 答案
梯度為 ,只有 c 改。只要 w,b,v 仍零,h 零令 v 梯度零,v 零令入層梯度零;歸納得隱部一直零,但輸出偏置能學。這只關於指定初始化與數據,並非任何零參數都阻止學習。
快速檢查
(,兩梯度 ,求 J 梯度及從 以步長 更新。等權平均錯在哪裏?)
對加權和逐項求導。
解答 · 答案
梯度 ,新向量 。等權會得 ,是另一目標的導數;有限和線性保留原權重,不能擅換。