即使存在向量序列 使 ,方程 仍可能無解。有限維線性映射的值域總是閉的,因此容易忽略這一區別。在 Hilbert 空間中,它決定精確解是否存在、最小二乘問題能否取到最小值,以及逼近數據是否需要越來越大的解。
全文中 為實或複 Hilbert 空間, 為有界線性算子,內積對第一變量線性。其伴隨滿足 。由連續性,核是閉的;值域卻不一定閉。我們使用 Hilbert 空間投影定理與有界逆定理,包括它們通常的完備性假設。
正交性確定值域的閉包
命題 2.2.1
( 的值域與 的核)
同理 。
證明
(兩次取正交補)
與所有 正交,當且僅當每個 都滿足 ,這等價於 (取 ),故得第一個等式。對 Hilbert 空間的任意子空間 ,有 :投影到 可知,與 正交的向量在 上的分量為零。對第一個等式取正交補即得第二個等式。對 應用它並使用 ,得到最後一個公式。
一般不能省略閉包。與 正交意味著 可以用輸出逼近,但單憑這一點不能斷定存在 恰好映到 。
值域閉的定量判據
令 。每個 都唯一分解為 ,其中 、。此外 ,且 。因此 去除了核造成的不唯一性。
定理 2.2.2
(閉值域判據)
閉,當且僅當存在 ,使每個 都滿足
證明
(核的正交補上的有界逆)
若值域閉,它就是 Hilbert 空間。將 限制為 ,得到兩個 Banach 空間之間的有界雙射: 給出單射,上述分解給出滿射。由有界逆定理,存在 使 ;由於 且 ,取 即得估計。
反過來,假設估計成立且 在 中收斂。將每個 換成其在 中的分量 ,像不變。由於 ,它到 的距離就是其範數,故對所有 ,
因此 為 Cauchy 序列,收斂到某個 ;由連續性,。值域元素的每個極限仍在值域內,因此值域閉。
證明透視
為甚麼必須考慮核
的下界無法控制被 消去的分量。先投影到 ,限制映射便成為單射。值域閉使其完備,從而可應用有界逆定理;反過來,下界把輸出的 Cauchy 序列轉化為這些標準原像的 Cauchy 序列。
估計控制的是到核的距離,這個限定並非可有可無。
常見錯誤
(用範數代替到核的距離)
判據並不是 。若 的核非零,加上任意大的核向量並不改變 ,所以這樣的下界不可能成立,即使值域很可能是閉的。只有 單射時,到核的距離才等於 。
例題 2.2.3
( 上帶核的泛函)
令 ,。其核是 生成的直線,而 由 生成。 到核的距離是它沿 方向分量的長度:
判據以 成立,與 為閉一致。但不存在 使 ,因為 給出 。
伴隨的值域同時閉
定理 2.2.4
(閉值域定理)
閉當且僅當 閉。
證明
(把下界轉移到伴隨)
假設 閉。由前述判據,每個 都有唯一的 滿足 、。因此
故 , 的平凡情形也成立。值域閉時 。將任意 分解為 ,其中 、。於是 ,且 。故上述下界給出對任意 都有 ,由 的判據知 閉。反向對 使用相同論證,並利用 即得。
該結果是定性的等價。
常見錯誤
(值域閉不等於滿射或可逆)
閉值域定理並不表示 滿射、可逆或緊緻。閉值域可以是真子空間,值域閉的算子也可以有非零核;下一個例子同時具備這兩個特點。
例題 2.2.5
( 上的兩個移位算子)
右移算子 滿足 ,所以判據以 成立; 由首座標為零的序列組成,是閉的真子空間。由
其伴隨是左移算子 。此時 ,且 ,所以 也以 滿足判據。事實上 是滿射但非單射, 是單射但非滿射。
最佳逼近與正規方程
定義 2.2.6
(最小二乘解與正規方程)
對 ,若 滿足 ,則稱 為 的最小二乘解。方程 ,即 ,稱為正規方程。
定理 2.2.7
(最小二乘與閉值域)
是 的最小二乘解,當且僅當它解正規方程。若 閉,則每個 都有最小二乘解;這些解構成 的一個平移,其中恰有一個屬於 ,即範數最小者。反過來,若每個 都有最小二乘解,則 閉。
證明
(投影到值域與畢氏(Pythagoras)定理)
若 解正規方程,則對每個 ,殘差 垂直於 ,因為 。畢氏(Pythagoras)定理給出
所以 是最小二乘解,而 也是最小二乘解當且僅當 。反過來,若 是最小二乘解,則對每個 ,實變量函數 在 取最小值,其導數 為零;在複情形把 換成 ,虛部也為零。因此 ,這正是正規方程。
設 閉。投影定理給出唯一的 使 最小;任何滿足 的 都是最小二乘解,故解集為 。它與 恰交於一點 ,而對 有 ,所以 範數最小。最後,假設每個目標都有最小二乘解,並設 。則 ,故最小二乘解滿足 。因此 ,值域閉。
例題 2.2.8
(帶核的最小二乘問題)
令 為 ,。這裏 ,正規方程為 ,所以每個最小二乘解都有 ,而 任意。投影後的輸出是 ,最小殘差為 ,範數為 ;最小範數解為 ,它屬於 。正規方程確定整個解族,但不確定核分量。
概念視角結構
把最小範數最小二乘解看成一個有界算子
當 是閉的時候,把 映到其最小範數最小二乘解 的規則本身就是一個有界線性算子,稱為 的偽逆。設 是到 的正交投影, 是限制後的雙射,則
其中 是值域閉判據中的任一常數。若 還是單射,則 使自伴算子 有下界,因而可逆,而正規方程給出 。
稠密值域仍可能遺漏目標
沒有閉值域,上一定理便以最具體的方式失效。
反例模式
下確界為零卻從未取到
誘人的說法是:既然投影定理給出最近點,Hilbert 空間中的最小二乘問題總有解。在 上定義 。它有界且單射。每個有限支撐序列都在其值域中,故值域稠密。但 不在值域:原像的每個座標都必須是 ,因而不平方可和。截斷 屬於值域,且 ,所以 ;可是取到零就等於解出不可能的方程 。投影定理投影到閉子空間;修正正是 閉這個假設,而這裏它不成立。
這些截斷的標準原像為 ,範數按 增長。這不與 的連續性矛盾;其在值域上的逆是無界的。事實上 的範數為一,但其原像範數為 ,因此該逆也不可能有有界延拓。
對該目標,正規方程也無解。事實上 自伴且單射,故 會推出 。下確界可以存在,但既無精確解也無最小二乘解。
練習與解答
快速檢查
(令 為 上的右移算子,求 並驗證 。)
使用左移算子的公式。
解答 · 答案
,其核為 的生成空間。 的值域是首座標為零的序列,其正交補正是同一生成空間。
快速檢查
(若 單射且存在 滿足 ,證明值域閉。它必須等於整個 嗎?)
把輸出的 Cauchy 序列追溯到其原像。
解答 · 答案
若 ,則 ,所以原像是 Cauchy 序列,收斂到某個 ;由連續性 ,故極限屬於值域。它不一定是滿射:右移是值域為真子空間的等距映射。
快速檢查
(對 、 及 ,求正規方程的解並確定最小範數解。)
先求 ;它把純量 映到 。
解答 · 答案
,所以解集是直線 ;由於 ,每個解都是精確解。最小範數解屬於 ,故為 ,範數為 。
快速檢查
(對對角算子 ,計算 ,並說明為甚麼不存在正下界 。)
比較 與 。
解答 · 答案
而 。由於 單射,其核為零,到核的距離就是 ;若有下界 ,便對每個 有 ,這不可能。