動機
Gram 矩陣讓我們在有限觀察上計算核,但學習程序最後須交出一個可在新位置評估的函數。要理解其範數,就要建立一個包含核截面及其極限的空間。只說「存在一個合適 Hilbert 空間」,仍留下兩個問題:半正定函數為何決定良好的內積?把空間完備化後,所得為何仍是真實函數,而不是無法逐點解讀的抽象物件?
構造從核截面的有限形式組合開始,先除去長度為零的向量,再取 Cauchy 序列的極限。評估在完備化前已連續,所以可以延伸到極限。再生恆等式一方面識別這些極限的函數值,另一方面保證不同抽象向量不會代表同一函數。這是泛函分析支持計算方法的一個具體例子。
後面的最優化包含兩種幾何:正交投影說明懲罰為何消去所有觀察不到的分量;有限 Gram 矩陣的特徵值則描述正則化如何改變擬合值。尤其在奇異情況,函數範數與任意係數表示的歐幾里得(Euclid)範數必須分清。
定義
定義 5.1.1
(核截面與形式雙線性型)
設 為任意集合, 對稱且半正定,即每個有限 Gram 矩陣的二次型非負。引入形式符號 ,令 包含它們的有限線性組合,定義
相同指標的係數按通常向量空間規則合併。半正定性給 ,卻未保證非零形式向量有正長度。
令 。商向量 表示相差一個 中向量便視為相同。再以這些商向量的 Cauchy 序列建立完備化;若兩序列之差的範數趨零,便代表同一極限。有限核生成空間未必完備,這些步驟不能省略。
函數 Hilbert 空間 若包含 ,且每個 均滿足 ,便以 為再生核。特別地,每個固定點的評估是連續線性泛函。定義沒有要求所有位置共享同一評估界,該界可以隨位置改變。
定理/命題
定理 5.1.2
(再生空間的構造與唯一性)
每個實對稱半正定核決定一個函數 Hilbert 空間 ,其中
核截面的有限線性生成空間在其中稠密。任何具相同再生核的函數 Hilbert 空間,都經保持函數值的等距同構與它相同。
定理 5.1.3
(觀察生成空間、插值與正規化嶺方法)
對數據 ,令 、。若經驗目標只依賴 ,並加上隨 嚴格增加的懲罰,則每個已存在的最小點均位於 。對 ,
有唯一最小函數,標準係數為 。精確插值當且僅當 。此時唯一最小範數插值函數可用係數 表示,平方範數為 。
存在性只在這裏對平方嶺目標斷言,不適用於任意經驗損失及懲罰。一般嚴格增加的懲罰只給「若最小點存在,則位於有限生成空間」的結論。若核對不同點的非零係數都給嚴格正二次型,便稱嚴格正定;此時不同觀察點的 Gram 矩陣可逆。半正定本身不足以保證這點。
證明思路
證明
(商空間、函數與完備化)
取商前也能證明 Cauchy–Schwarz。多項式 對每個實 非負。若 ,最小化此二次式得到 。若 ,一次項必須為零,否則某方向會取負值;故它與所有向量配對均為零。於是 是子空間,改換商類代表不會改變雙線性型,商空間上終於得到真正內積。
把商向量映到函數 。零向量與所有符號配對為零,所以映射良定;Cauchy–Schwarz 同時給評估界。它亦單射:若函數處處為零,寫 ,便有 ,故 。符號 對應的正是核截面,因 。我們已建立真正的函數內積空間。
現在完備化。兩個 Cauchy 序列 的範數有界,Cauchy–Schwarz 使 為 Cauchy 數列,故可用其極限定義新內積。改為等價序列不影響極限;若極限範數為零,正是與零序列等價,因而正定。要直接檢查完備性,可從一個完備化向量的 Cauchy 序列中,逐項選有限生成空間近似,誤差不超過 ;這些近似形成 Cauchy 序列,便代表所求極限。
對固定 ,評估界令 收斂,於是以其極限定義 ;等價序列給同一值。把有限生成空間的再生恆等式取極限,得到 。還須檢查單射:若所有值均零,該向量與每個核截面、因此與稠密有限生成空間都正交。用該生成空間近似向量自身,就得其平方範數為零。故完備化後的抽象向量確實被函數值唯一識別。截面範數公式由其自身內積直接得到。
證明透視
完備化增加甚麼,又保留甚麼
半正定性只用了一次:它使 成為非負二次函數;商空間一步的一切,包括零長度向量與任何向量配對為零,都來自由此得到的 Cauchy–Schwarz 不等式。對稱性使 是對稱形式,所以商空間帶有真正的內積。關鍵一步是評估界 :它使每個固定點的評估連續,函數值便可以傳到核範數下的 Cauchy 極限。因此完備化增加的是核範數下的 Cauchy 極限,並非任意逐點極限;範數收斂推出逐點收斂,反向卻通常不成立。論證最後由稠密生成空間一步完成,它排除「非零向量但全部函數值為零」的情況。單靠逐點定義,並不能建立忠實的 Hilbert 空間表示。
證明
(再生空間的唯一性)
唯一性方面,在兩個候選空間識別相同有限核組合。內積均為同一有限 Gram 和,故此識別等距。截面在任一空間均稠密:與全部截面正交的函數處處為零,故就是零向量。沿 Cauchy 序列延伸便得滿射等距同構,評估連續性保證各函數值不變。
第二個定理關乎有限的觀測生成空間,只需要投影與有限維線性代數。
證明
(投影、嶺迴歸與插值)
學習方面, 有限維故閉。作正交分解 ,其中 ,則 ,而 。移除非零 保留訓練值並嚴格降低懲罰。平方嶺目標在 上連續且強制,最小化序列有界並有收斂子列;範數平方嚴格凸,所以最小函數唯一。Hilbert 空間微分給
取 ,得到 ,即使 奇異仍有正定矩陣。若直接對任意係數微分,只會得 ,不能無理由約去奇異的 。
精確插值化為 ,正交餘項不能改變觀察值。在正交特徵基底 中,正特徵值座標可以除,零特徵值對應的標籤座標則必須零;這正是值域條件。 給有限生成空間中的函數。加入 係數不改變函數,因其核範數為零;加入非零正交函數則增加範數。因此最小範數插值函數唯一,平方範數為所述二次型。
譜正則化是函數空間結論
嶺擬合值在第 個特徵方向為 。小正特徵值收縮較多,零方向不能擬合。當懲罰趨零,擬合值趨向標籤在值域的投影;可插值時函數趨向最小範數插值器。若標籤有不相容的零方向,標準係數可能在該方向發散,卻始終表示零函數。這正說明係數長度不能代替函數範數。
例題詳解
例題 5.1.4
(完備化確實帶來新函數)
在 上取 為相同指標時一,否則零。有限核組合就是有限支撐序列,範數是通常歐幾里得範數;完備化給出 。因 ,函數 屬於其中,有限截斷在範數下收斂。評估第 項就是與座標向量的內積。反之,常數一雖是其有限截斷的逐點極限,卻不在 ,因截斷並非核範數 Cauchy。
例題 5.1.5
(常數核分開係數與函數)
令 ,兩個標籤為 。空間只有常數函數,Gram 矩陣全部為一,標籤不在其一維值域,故不能插值。取 ,標準系統兩行為 ,解為 。所得常數為 ,與直接最小化 相符。係數加上 不改變函數,平方 Hilbert 範數只由其和 決定,為 。
概念視角結構
由特徵映射讀出的空間
設 ,其中 是特徵映射,並令 為所有 的生成空間。則 ,而 是由 到 的滿射等距映射,把 送到 ,因為兩邊的內積都是 。與 正交的向量不改變任何函數值,所以 是表示 的 的最小歐氏長度。
例題 5.1.6
(有限多項式特徵)
核 的特徵是 。這三個函數在實線線性無關,故空間為二次多項式 ,平方範數 。在二的評估範數為 ,因對角核值是 。不等式 在係數與 成比例時取等號,顯示評估界精確。
常見錯誤
反例模式
條目正不表示核半正定
兩點集合上,令對角條目一、非對角二。所有相似度均正,但係數 的二次型為負二,起始雙線性型不非負,構造立即失敗。對稱及非負對角是必要條件,卻不充分。
常見錯誤
(把完備化當作對逐點極限封閉)
完備化只加入在核範數下為 Cauchy 的序列的極限。在 核例子中,常數一函數的截斷序列逐點收斂,但並非 Cauchy 序列,而常數一函數也不在 內。同樣,再生空間未必包含定義域上的全部連續函數。
常見錯誤
(把奇異 Gram 矩陣讀成函數不唯一)
奇異的 不會令正則化函數不唯一,它可能只表示冗餘的係數代表同一個函數:在常數核例子中, 與 給出同一個常數 。
來自平均損失,改成 便改了問題。這些代數結論本身也不提供總體泛化速率。
總結
半正定性給半範數;商空間移除零向量;完備化補足 Cauchy 極限;有界評估及稠密截面識別真實函數。再投影到觀察生成空間,便可有限維地處理插值與嶺學習,同時保留正確的函數範數。
練習
快速檢查
(證明 蘊涵對所有 有 。)
對截面 與 使用 Cauchy–Schwarz 不等式。
解答 · 答案
截面的 Cauchy–Schwarz 給 ,故整行整列消失。亦可用兩點二次型對每組係數均非負直接證明。
快速檢查
(常數核配標籤 ,求最小範數插值器及其平方範數。)
求全一矩陣的值域及其偽逆。
解答 · 答案
唯一可插值常數為二,平方範數為四。此時 ,故係數為 ,二次型 。任何係數和為二的表示都是同一函數。
快速檢查
(若 Gram 特徵值 ,求擬合值收縮因子;零特徵值時如何?)
收縮因子是 。
解答 · 答案
因子為 。零特徵值的擬合分量為零,與標籤分量無關。正則化使係數系統可解,卻不能創造欠缺的函數方向。
快速檢查
(在自然數的 核空間,比較有限截斷常數一與有限截斷 的收斂性。)
計算每個序列中兩項之間的核範數距離。
解答 · 答案
兩者均逐點收斂。常數截斷的平方範數為 ,任意不同截斷 的平方距離為 ,故不 Cauchy。 的截斷平方尾距離由 控制,故在核範數收斂。逐點收斂本身不能判斷極限是否屬於空間。