不相容方程組 沒有精確解,但我們可以尋找一個向量,使其像最接近 。在化為矩陣方程之前,這首先是目標空間中的一個幾何問題。我們在有限維實或複內積空間中討論,並使用由 定義的伴隨算子 。記號 表示在標準正交座標下的共軛轉置。
定義 3.6.1
(最小二乘解、擬合向量與殘差)
設 為線性映射,。若對每個 都有 ,則稱 為 的最小二乘解。對這樣的 ,向量 稱為擬合向量, 稱為殘差。最小二乘誤差是 ,最小距離則是它的平方根。
為何殘差是垂直的
由於 是有限維空間 的子空間,正交分解定理把 唯一地分成屬於像的部分和垂直於像的部分。下面的結果說明,這個分解已經解決整個問題。
定理 3.6.2
(正規方程)
設 為線性映射,,並寫 ,其中 ,。對 ,下列各條等價:
- 是 的最小二乘解;
- ;
- ;
- 。
最小二乘解必定存在,它們都有相同的擬合向量 和相同的殘差 ,而且對任一個解 ,全部解構成集合 。
證明
(先用畢氏(Pythagoras)定理,再用伴隨算子)
分解為
選取 使得 。對任意 ,由於 ,向量 與 互相正交。因此
等號成立當且僅當 。所以 是最小二乘解,而 是最小二乘解恰好當 ,這就是 。於是每個最小二乘解的擬合向量都是 ,殘差都是 。此外, 當且僅當 ,所以全部解是 ,解唯一等價於 。
關於 :若 ,則 是符合要求的分解,由分解的唯一性得 。反過來,因為 ,所以結論成立。
關於 :對每個 都有
左邊對所有 都為零,恰好當 。右邊對所有 都為零,恰好當 ,因為與 中每個向量都垂直的向量必為零。所以條件是
證明透視
畢氏步驟的力量來自哪裏
整個論證繫於一個交叉項。展開 時會出現 ,它等於零,只是因為 屬於 ,而 屬於它的正交補。這裏用掉的唯一假設,就是 屬於像;正因如此, 要與特定的點 比較,而不是與 中任意向量比較。不等式能夠收尾,是因為 ,且只在 時取等號,這是範數的正定性,同時也免費給出刻畫 。有限維只被默默用了一次,用來保證分解 存在。在下面的例子 , 中, 就是下限:其他每個 都要在其上再付出 。
條件 是關於殘差的陳述,而正規方程就是它在定義域中的改寫。它們是最小二乘的充分必要條件,而不僅僅是找出候選解的一種方便途徑。
快速檢查
(設 已有精確解。哪些向量是最小二乘解?殘差是甚麼?)
比較 與 。
解答 · 答案
此時 ,所以分解是 ,即 ,。最小二乘解就是滿足 的 ,恰好是全部精確解,最小二乘誤差為 。
何時可以對正規矩陣求逆?
命題 3.6.3
(正規算子的核)
設 是有限維內積空間之間的線性映射,則 。特別地, 可逆當且僅當 是單射。以矩陣語言而言, 可逆當且僅當 的列向量線性無關。
證明
(正規算子的範數恆等式)
對每個 ,(在相反的慣例下則為其共軛;該值是實數)。若 ,則 。反過來,若 ,則 ,所以 。因此 。有限維空間上的算子可逆當且僅當核為零,所以 可逆當且僅當 是單射;對 ,這表示 只有 一個解,即 的列向量線性無關。
若列向量線性相關,根據正交分解的證明,正規方程仍然有解,但求解時不能寫出 。
反例模式
含逆矩陣的公式需要列向量線性無關
一個誘人的說法是:對每個實矩陣 ,最小二乘解都是 。取 ,。則 的行列式為 ,逆矩陣不存在。正規方程 化為單一方程 ,有無窮多個解。驗算其中兩個: 與 都給出 ,而殘差 垂直於列向量 ,符合要求。因此這條公式並非對所有矩陣成立:它恰好在列向量線性無關時才有效,否則解是整個陪集 。
例題 3.6.4
(列向量線性無關的高矩陣)
取
則 ,且 。求解得 。殘差為
它與 的每一列的點積均為零。由於各列線性無關,解向量是唯一的。最小二乘誤差為 ;最小距離為 。這兩者是不同的量。
常見錯誤
(把平方誤差當成距離)
正規方程極小化的是 ,而 是最小二乘誤差,並不是 到 的距離。在上面的例子中 ,而距離是 ,不是 。
例題 3.6.5
(用直線擬合三點)
用 擬合點 、、。未知量是 ,而
則 ,其行列式為 ,而 。於是
所以直線是 。擬合向量為 ,殘差為 。驗算:與列向量 的點積是 ,與 的點積是 。最小二乘誤差為 。
快速檢查
(為甚麼 必然推出 ?)
把向量 與 配對。
解答 · 答案
若 ,則 ,而範數為零的向量就是零向量。這一步說明 。
線性相關的列與最小範數的選擇
定理 3.6.6
(最小範數最小二乘解)
設 為線性映射,。在 的所有最小二乘解中,恰有一個範數最小,而且它是位於 中的唯一最小二乘解。
證明
(沿核把解分開)
若 ,每個極小化解都具有 的形式,其中 。將 分解為 ,其中 ,。則 ,所以 也是極小化解。每個極小化解都可唯一地寫成 ,其中 ,因為 ,而正交性給出 。因此 是唯一的最小範數最小二乘解;它也是 中唯一的極小化解,因為當 時 不垂直於 。若 ,這個結論就是前面已證的唯一性。這第二次極小化發生在定義域中;而殘差的極小化則發生在目標空間中。
例題 3.6.7
(核不為零的映射)
對 及 ,正規方程化為 。所有解都給出相同的擬合向量 和殘差 ,但只有 垂直於 ,因而具有最小範數。事實上, 的範數平方為 ,在 時最小。
常見錯誤
(用了轉置而不是共軛轉置)
對複矩陣,正規方程是 ,而不是 。設 ,。則 ,,所以 ,殘差 與 垂直。若改用普通轉置,則 ,方程 根本無解。
練習
練習 3.6.8
(求下列數據的 的最小二乘解,並驗證殘差與兩個列向量都垂直。)
核心
提示(1)
先算 ;各列線性無關,所以它可逆。
解答(3)
- 1
寫出正規方程
關鍵一步
依據: 最小二乘解恰好是 的解。
- 2
求解
依據: 行列式為 ,所以逆矩陣存在。
- 3
驗算殘差
此時 ,所以 。它與第一列 的點積是 ,與第二列 的點積是 。最小二乘解為 ,最小二乘誤差為 。
快速檢查
(對 和 ,求 的最小二乘解及最小二乘誤差。)
這裏 只有一列。
解答 · 答案
,,所以 ,即 各分量的平均值。殘差為 ,其分量和為 ,符合與該列垂直的要求,且 。