動機
架構限制參數怎樣連接運算。卷積在多個位置使用同一局部權重,遞歸模型在多個時刻使用同一轉移參數。這減少參數,也作出數學承諾:不同位置或時刻重用一套模式,而非各自獨立擬合。
只說某架構適合影像、另一個適合序列,不及問清算子保留哪些變換、狀態留住甚麼,以及每次重用如何貢獻梯度。具體應用須先展示輸入、運算及輸出。本節的有限循環濾波與純量遞歸只建立精確的算子性質,沒有未經證據的效能比較或完整現代架構綜覽聲稱。
定義
定義 31.1.1
(循環格上的共享互相關算子)
一維信號有 個位置,索引模 。共享互相關為 , 有限,同一核與偏置用在各處。模索引明訂循環邊界。多通道形式是:
參數依輸出、輸入通道及偏移,不依位置;數目為 ,不是每位置各有一套。神經軟件常把此未翻核互相關叫卷積,本節索引已固定意思。
定義 31.1.2
(平移、等變與不變)
平移 。算子等變指 ,純量統計不變則指值不改。等變保留特徵移到哪裏,不變移除位置資訊。循環邊界是精確定理條件;補零有限圖在邊緣未必同樣成立。
定義 31.1.3
(有限純量遞歸模型)
純量遞歸模型固定與訓練參數獨立的 ,寫:
輸入序列有限且固定,函數在所用值可微。a,b,c,d 每時重用;未監督時的損失可設零。有限展開給無環圖,不是在未解的代數循環上直接求導。
定理/命題
定理 31.1.4
(共享步幅一算子的等變性)
循環格上的共享步幅一互相關、空間恆定偏置與每處相同逐點激活,都與平移交換,複合仍等變。把等變通道的所有位置平均,得平移不變輸出。下採樣只保留與其取樣格相容平移的對應等變性。
定理 31.1.5
(共享濾波與有限遞歸的梯度)
單通道收到伴隨量 ,有
遞歸部分令 ,反向算
a,b,c,d 梯度依次為 、、、。全部使用同一舊參數。
概念視角代數
共享互相關就是循環矩陣
把輸入寫成 的向量。共享互相關就是乘以矩陣 ,其中 (索引模 ),其餘元素為零,再加上常數向量 。 的元素只依賴 (模 ),這正是「每個位置使用同一個核」的說法。反過來,與每個平移交換的線性映射滿足對所有 有 ,所以元素只依賴 ,它就是偏移取遍所有剩餘類的共享互相關。對 、偏移 的濾波 , 的各行為 、、,所以 。
證明思路
證明
(平移與共享濾波交換)
平移後位置 i 響應是 ,正好等於原輸出的 i-s。相同逐點函數保持等式,逐層套用便證複合。全域平均因平移只排列有限索引而不變。位置相關權重或偏置會破壞此重排,這解釋共享與恆偏置的作用。
若 n 可被步幅 q 整除,,便有 ,但一像素平移未必對應任何粗格平移。必須說清架構保留哪一群變換,不能把有限子群的性質說成所有平移。
證明
(收集共享濾波的微分)
把 代入 ,收集同一核微分得首式;以 重索引得輸入梯度;偏置收所有位置貢獻。多通道只再加相應通道和。共享不等於平均,除非目標本身有平均因子。
證明
(沿時間的反向歸納)
遞歸的 直接經 影響損失,也經 影響未來,導數合為 ,再乘激活導數便得 。由末時倒推證各伴隨量;收集共享參數的各時局部係數,得四個梯度和。
證明透視
一個參數有多個空間或時間用途
每次使用帶來局部微分,但它們是同一參數擾動,所以係數必相加。把用途當獨立權重,已擴大架構;只用最後時刻則漏路。有限展開使全部貢獻可見,支持時間反向傳播。
固定輸入也是條件;若回饋 且激活為恆等,轉移變成 ,敏感度由新係數控制,不再只是 a。忽略回饋路徑就是微分另一張圖;觀察輸入訓練與生成輸入運行可有不同軌跡。
固定輸入下,長程初態敏感度精確為 。若沿軌跡 ,絕對值至多 ;乘積小於一時指數消失。恆等激活則正是 , 可放大。這是一個敏感度,不是所有損失梯度的統一結論,後者還有總和、輸出因子及抵消。
共享性質可用零輸入作簡單檢查。零信號經共享核與恆定偏置,所有位置輸出相同,所以平移不會改結果。若每位置另有不同偏置,零輸入雖在任何平移下相同,輸出卻是一列不相同的偏置;平移輸出一般會改它,等變等式便立即失敗。這說明偏置也屬架構約束,不只核權重是否共享重要。
有限影像的邊界政策同樣是算子一部分。循環模型把相反兩邊相接,適合本定理的索引重排;補零模型則把外部當零,不同位置接觸邊界的方式不同。若應用只使用遠離邊界的內部位置,可以對那些位置另證局部平移關係,但不能把局部結論擴成全陣列的無條件等變。選算子時先看任務的邊界含義,再選方便的程式形式。
遞歸應用也要指定序列何時結束及何時重設狀態。兩個獨立樣本若共用上一個末態,第二個輸出便依賴第一個樣本,已不是各自從固定初態開始的模型。若刻意處理連續數據流,保留狀態可以合理,但訓練圖與評估切分必須承認這個依賴。狀態記憶不是免費且無條件正確的資訊來源。
本節把初態固定,因此不更新它。若改成可訓練初態,也能在展開圖中把它當源,反向到第一步後還須把影響傳回初態;那是新增的參數用途,而非原梯度公式中已自動包含的更新。實作應先列出哪些量固定、哪些量共享、哪些量可訓練,再談梯度是否完整。
例題詳解
例題 31.1.6
(在所有位置訓練同一核)
n 為三,,偏移零、一,核 ,偏置固定零,響應 。零目標及 下損失為三,伴隨量等於 z,核梯度 。步長 得 ,新響應 ,損失 。每位置均有貢獻,只取首位置是不同目標。
例題 31.1.7
(狀態精確計算累積和)
恆等激活、,歸納得 ,輸出就是累積和。固定大小狀態保存和而非整段序列; 與 最終狀態相同。若任務問第一個數,這個狀態就不足。應用價值必相對所需統計量說明。
旁註
先畫出展開後的圖
對共享參數求導之前,先列出它被使用的每一處。這裏 在兩個時刻都出現,雖然在 時它乘的是 。梯度就是對這份清單求和。
例題 31.1.8
(精確遞歸訓練一步)
恆等激活,輸入 ,,參數 ,只用末損失 。有 ,。a,b,c,d 梯度為 。步長 得 ;重算 ,損失 。反向全用舊 a,再同步更新。
常見錯誤
反例模式
下採樣破壞一像素等變
四位置輸入只有索引零為一,取偶位置得 。先移一像素,一移到索引一,再下採樣卻得零向量;原 任何平移都不是零。因此步幅二不能自動繼承任意一像素等變。
常見錯誤
(把等變或全域平均當作不變的答案)
全域平均移除位置,有助位置不重要的任務,卻丟掉定位資訊;等變也不自動給分類不變。找缺陷在哪裏與只報有無缺陷,目標不同。
常見錯誤
(把截斷或裁剪的梯度說成精確梯度)
截斷時間反傳漏掉跨邊界路徑,通常改了完整序列梯度;停止狀態微分與裁剪梯度都可另訂為算法,但不能冒充精確全圖導數。
常見錯誤
(混淆參數數目與梯度大小)
參數數目與梯度大小不同:兩係數核用一千次仍只有兩參數,總損失卻累積一千局部梯度;若損失改每位置平均,梯度也除相應數目。比較訓練步長前須記清總和或平均。
tanh 值有界也不保證梯度不消失,飽和處導數小。共享只是建模限制,數據是否符合仍需任務證據。
因此,算子名稱相同不代表數學函數相同,索引、邊界、步幅與共享位置都應隨實作一起記錄。
總結
共享算子在明訂邊界與取樣下有精確重用與對稱。導數累積每次用途;遞歸有限展開後給明確反向敏感度及梯度和。完整小應用同時展示狀態能算甚麼、失去甚麼,比架構名稱更有說服力。
練習
練習 31.1.9
(對濾波例題,用定理求三個位置的輸入梯度,核對它們的和為零,並解釋這與每個輸入同時加上常數的關係。)
核心
解答(3)
- 1
計算輸入導數
核為 、偏移 ,伴隨量為 。公式 給出 ,即 (模索引)。
- 2
核對總和
關鍵一步
各項之和為 。
依據: 循環差分沿圓環相加會逐項相消。
- 3
連到共同加常數
共同加上常數不改變每個差 ,所以損失在全一方向的方向導數為零。帶號的各項與此不變性吻合。
練習 31.1.10
(證明在每個空間位置使用同一個 ReLU 會保留平移等變,即使在 ReLU 不可微的輸入處也成立。這個證明需要任何梯度公式嗎?)
基礎證明
解答(3)
- 1
寫出先移後激活的信號
令 , 為任意信號。則 。
- 2
與先激活後平移比較
關鍵一步
另一邊 ,每個索引 的值都相同。
- 3
讀出所用的假設
∎兩邊的函數值相等,所以 與平移交換。論證沒有用到導數,因此在折點處同樣成立。對稱定理與梯度定理可有不同的假設;零處不可微並不使前者失效。
練習 31.1.11
(在沒有輸入及偏置的線性遞歸模型中,令 且 。求對 的導數,與對初態的導數比較,並解釋兩者為何是不同的量。)
核心
解答(3)
- 1
對共享參數求導
對正整數 ,,因為 被使用 次,每次使用貢獻其餘 個因子的乘積。
- 2
對初態求導
因 而 固定,所以 。
- 3
比較
前者加總擾動 所有用途的貢獻,後者只擾動初始來源。當 ,前者對每個 都是 ,約定 ,在 也如此。多項式公式 從不需要除以 ; 且 時導數為零。
練習 31.1.12
(累積和模型收到 。求所有狀態。若只用末態預測序列長度,這個固定狀態總是足夠嗎?給出兩個有限序列來否定這個說法。)
核心
解答(3)
- 1
計算各個狀態
由 及 ,得 、、。
- 2
找出末態相同的兩個序列
關鍵一步
序列 與 的末態同為 ,長度卻分別是一和二。
- 3
作出結論
只看這個末態的預測器必須對兩者給出相同答案,所以不能總是報告長度。增加計數座標等額外狀態會更換表示方式,可處理此任務。