從幾何條件到方程
描述子空間的向量未必正交。例如在 上,仿射函數的自然基底 的內積不為零。我們可以先正交化,也可以直接把誤差垂直於整個子空間的條件寫成有限個方程,從而具體使用投影定理。
設 是實或複內積空間,內積對第一變量線性。給定 ,令 。即使 不完備,有限維的 在繼承範數下仍完備,故在 中閉。給定 ,將候選逼近寫為 。
定義 4.3.1
(Gram 矩陣與正規方程)
對 及 ,Gram 矩陣 與向量 定義為
以 為未知數的線性方程組 稱為用 逼近 的正規方程。
指標次序取決於第一變量線性的約定。由於 ,誤差垂直於 等價於對每個 有 ,亦即 。複內積採用另一種線性約定時共軛的位置會改變,宜從垂直條件重新推導,而不是死記指標次序。
常見錯誤
(把實空間的公式照搬到複空間)
把 誤寫成 ,會把右端取共軛,得出錯誤的向量。在 中取 、、,則 ,而 、。錯誤的選擇給出 ,且 ,殘差並不垂直於 。正確的右端見下面第三個例題。
為甚麼方程有效
命題 4.3.2
(正規方程與最佳逼近)
設 、、。正規方程 總有解;所有解表示同一個向量 ,而 是 在 中唯一的最佳逼近:
證明
(以標準正交基底得存在性,以畢氏定理得唯一性)
從給定向量中選出 的一組基底並正交化,得到 的標準正交基底 。令 ,則對每個 有 ,所以 。將 用原來的生成向量表示,得到係數 使 ;而垂直關係 正是 。
反之, 的每個解 給出 ,且 。於是 又垂直於 ,故 ,即 。最後,對任意 , 垂直於 ,畢氏定理(Pythagoras)給出
所以 ,且等號只在 時成立。
證明透視
相容性從哪裏來
證明從未直接解線性方程組。可解性來自幾何:標準正交基底先造出滿足 的向量 ,之後才把 改寫成生成向量的組合。當 奇異時這一點很重要,因為奇異方陣並非對每個右端都有解;令方程相容的,正是特殊的右端 。唯一性是另一步,只用到內積的正定性: 中垂直於 的向量垂直於自身。兩步都依賴 是有限維的,所以完全不需要 完備。
第二個問題是:甚麼時候不只向量 ,連係數也唯一確定。對 記 。
命題 4.3.3
(Gram 矩陣的零空間)
對每個 ,
因此 當且僅當 ; 可逆當且僅當 線性無關。
證明
(Gram 矩陣的二次型)
利用第一變量線性、第二變量共軛線性,
若 ,則 ,故 。反之,若 ,則對每個 有 。所以 的零空間恰由 之間線性關係的係數向量組成;而方陣可逆恰當其零空間為零。
故矩陣奇異表示座標有冗餘,並不表示最佳逼近不存在:係數可以不唯一,逼近向量仍唯一。
反例模式
右端任意指定的奇異 Gram 方程組
有人會以為既然 是 Gram 矩陣,無論右端是甚麼,正規方程都可解。取 且 ,則 ,而方程組 同時要求 與 ,不可能成立。修正在於 必須由 給出。此時對 零空間中的每個 ,有 ,所以 正交於 Hermite 矩陣 的零空間,從而落在其值域中。這裏 與 不正交,所以沒有任何 能給出這個右端。
恆等式 也讓方程組有第二種讀法:一個有限維的最小二乘問題。
概念視角代數
Gram 矩陣即 V 星乘 V
把 、 看作線性映射, 取內積 。由 ,其伴隨為 。又 ,故
這正是在 上極小化 的最小二乘問題的正規方程。零空間的結論變成 ,而向量 是 在 值域上的投影。
例題
例題 4.3.4
(用仿射函數擬合 )
在實 中取 、、。各項由積分求得:
行列式為 。第二式減去第一式的一半,得 ,故 、。所以 意義下最近的仿射函數為 。由 ,
中間一步用到 。 元素是幾乎處處相等意義下的等價類;這裏用連續代表元展示計算。
常見錯誤
(L2 意義下最近的直線不是一致意義下最近的直線)
上面的 使均方誤差最小,而非使最大誤差最小。它在 的誤差是 。直線 的誤差為 ,在 、、 的值分別為 、、;由於這誤差是凸函數,最小值在 ,它在 上絕對值的最大值為 ,小於 。最佳逼近取決於所用的範數。
例題 4.3.5
(線性相關的生成組:)
仍取 中的 ,但改用 、、。由 、、 及 ,
關係 給出 ,可逐行驗證:、、。向量 是解,因為前兩行與上一例相同,而第三行是前兩行之和。所以全部解為
而每個這樣的 都給出同一個函數 。矩陣奇異,方程組相容, 不變。
例題 4.3.6
(共軛位置起作用的複例子)
在 中取 ,用 的倍數逼近 。此時 ,。因此 ,且
驗證:。誤差平方為 。
下面的互動圖對 和所選的生成向量精確求解正規方程,並顯示 這類線性相關的組使 奇異、 不唯一,而 保持不變。
練習與解答
快速檢查
(求 在 中由 生成的子空間上的最佳逼近及誤差平方。)
矩陣 與第一個例題相同,只有 改變。
解答 · 答案
右端為 。第二式減去第一式的一半,得 ,故 、,即 。誤差平方為 。
快速檢查
(若 ,描述正規方程的解及其共同表示的逼近。)
寫出 的兩行。
解答 · 答案
兩式均化為 ,所以解集是直線 。所有解都給出同一個向量 。
快速檢查
(將 換成 後矩陣改變,為何最佳逼近不變?)
比較兩個生成空間。
解答 · 答案
與 生成同一個 。從 出發的最佳逼近唯一,所以是同一個向量 ;改變的只是座標,由 變為 。