5. 重複作用與最小二乘模型

學習目標與準備

我們假設已掌握第 4 章的矩陣、轉置、行列式、零空間和逆矩陣。本章把這些工具用於重複變化及沒有精確解的系統，計算特徵對、核對對角化，並由正交殘差推導最小二乘方程。模型例子中的擬合數據和轉移表均為假設。

5.1 重複矩陣作用與特徵向量

離散線性模型 $x_{n+1}=Ax_n$ 給出 $x_n=A^nx_0$。反覆直接相乘有時會掩蓋規律。

對 $n\times n$ 方陣 $A$ 和標量 $\lambda$，若非零向量 $v$ 滿足 $Av=\lambda v$，則稱它為對應的特徵向量。相應的特徵空間為

$$E_\lambda=\{v:(A-\lambda I)v=0\}=N(A-\lambda I).$$

特徵空間是包含零向量的子空間；零向量本身不是特徵向量。標量 $\lambda$ 是特徵值當且僅當該零空間非零。由可逆性的行列式判據，這又當且僅當

$$p_A(\lambda)=0,\qquad p_A(t)=\det(tI-A).$$

本章使用首一特徵多項式 $p_A(t)$。若改用 $\det(A-tI)$，多項式會相差因子 $(-1)^n$，但根及其重數不變。

沿特徵向量 $v$，歸納法給出 $A^nv=\lambda^nv$。

例 1：兩個簡單模式。 令 $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$。特徵方程 $(2-\lambda)^2-1=0$ 給出 $3$ 與 $1$，其特徵空間分別是 $(1,1)^T$ 和 $(1,-1)^T$ 的所有倍數。因此

$$A^n\begin{pmatrix}4\\2\end{pmatrix} =3\cdot3^n\begin{pmatrix}1\\1\end{pmatrix}+1\begin{pmatrix}1\\-1\end{pmatrix},$$

因為 $(4,2)^T=3(1,1)^T+(1,-1)^T$。此分解精確給出每次迭代，而不只是極限方向。

5.2 對角化及其局限

若存在可逆實矩陣 $P$ 和實對角矩陣 $D$ 使 $A=PDP^{-1}$，則稱實矩陣在 $\mathbb R$ 上可對角化。這等價於存在一組實特徵向量基。

先證明正向。將 $A=PDP^{-1}$ 右乘 $P$。在 $AP=PD$ 中，第 $j$ 欄表明 $P$ 的第 $j$ 欄是特徵值為 $D_{jj}$ 的特徵向量。由於 $P$ 可逆，這些欄構成一組基。反之，將任意特徵向量基放入 $P$ 的各欄，並把對應特徵值按相同順序放在 $D$ 的對角線上。逐欄相乘得到 $AP=PD$，再乘以 $P^{-1}$ 即得對角化。

對兩個線性無關特徵向量組成的 $P$ 和相應特徵值對角矩陣 $D$，由相鄰因子 $P^{-1}P$ 消去，

$$A=PDP^{-1},\qquad A^n=PD^nP^{-1}\quad(n\ge0).$$

$n\times n$ 矩陣需要 $n$ 個線性無關特徵向量，而不只是按重數計有 $n$ 個根。

對 $J=\begin{pmatrix}1&1\\0&1\end{pmatrix}$，唯一特徵值為 $1$，其特徵空間是所有 $(t,0)^T$。不能構成兩個線性無關特徵向量，故不可對角化。直接歸納得 $J^n=\begin{pmatrix}1&n\\0&1\end{pmatrix}$：即使唯一特徵值的絕對值為 $1$，重複作用仍可能線性增長。這反駁了“所有特徵值絕對值不大於 $1$ 就保證每個迭代收斂”的說法。

5.3 比例轉移模型

例 2：有穩定模式的比例。 假設兩個非負比例之和為 $1$，並按

$$p_{n+1}=Mp_n,\qquad M=\begin{pmatrix}0.7&0.2\\0.3&0.8\end{pmatrix}$$

變化。每欄非負且欄和為 $1$，所以輸出仍是比例向量。直接計算得特徵向量 $(2,3)^T$ 對應特徵值 $1$，$(1,-1)^T$ 對應特徵值 $0.5$。因此 $p_*=(0.4,0.6)^T$ 是固定比例。

對 $p_0=(s,1-s)^T$、$0\le s\le1$，

$$p_n=p_*+(s-0.4)(0.5)^n(1,-1)^T.$$

等價地，$p_n=(1-0.5^n)p_*+0.5^np_0$；這是凸組合，故分量非負且和為 $1$。由 $0.5^n\to0$，每個這樣的初始向量都趨向 $p_*$。這個結論依賴轉移表保持固定。

5.4 幾何與正交殘差

設 $a_1,\ldots,a_n\in\mathbb R^m$ 為 $A$ 的欄。假設 $q_1,\ldots,q_r$ 是此前已處理各欄的張成空間的一組標準正交基。對下一欄 $a_j$，令

$$w=a_j-\sum_{i=1}^r(q_i^Ta_j)q_i.$$

與先前的 $q_\ell$ 取內積，得到

$$q_\ell^Tw=q_\ell^Ta_j-\sum_{i=1}^r(q_i^Ta_j)(q_\ell^Tq_i)=0.$$

有兩種情況：若 $w\ne0$，加入 $q_{r+1}=w/\|w\|$；若 $w=0$，則不加入向量，因為新欄已是先前方向的線性組合。特別地，不能將零殘差除以其範數。開始時使用空向量組，其對應和為零。

用歸納法可證明該過程保持所需張成空間。非零情形下，$w$ 是 $a_j$ 與舊基向量的線性組合，故新向量 $q_{r+1}$ 屬於擴大的欄張成空間。反過來，

$$a_j=\sum_{i=1}^r(q_i^Ta_j)q_i+\|w\|q_{r+1},$$

所以新欄也屬於新基向量組的張成空間。零情形下，展示的投影和已經等於 $a_j$，張成空間不變。由上述內積計算及歸一化，新向量組仍標準正交。這就同時證明了構造及其張成空間結論，而非僅憑圖形推斷。

處理完所有欄後，最終向量組的長度為 $r=\operatorname{rank}A$。若 $Q$ 由這些欄組成，則 $Q^TQ=I_r$ 且

$$A=QB,\qquad B=Q^TA.$$

事實上，$A$ 的每欄都屬於 $Q$ 的張成空間，而它相對於標準正交基的座標就是與各 $q_i$ 的內積。矩陣 $B$ 是 $r\times n$ 矩陣。若欄線性相關，它不一定是方陣，也不一定是通常意義下的三角矩陣。

若 $A=0$，秩為零，$Q$ 沒有欄，投影到其欄空間的矩陣是零矩陣。無需進行空矩陣乘法也可直接理解這一邊界情形。

對任意具有標準正交欄的矩陣 $Q$，定義

$$P=QQ^T.$$

對 $b\in\mathbb R^m$，向量 $p=Pb=\sum_i(q_i^Tb)q_i$ 屬於該欄空間。其殘差 $r=b-p$ 滿足 $Q^Tr=0$，因此垂直於該空間中的每個向量。若 $z$ 是該空間中的任意其他向量，則 $p-z$ 屬於該空間且與 $r$ 正交。因此

$$\|b-z\|^2=\|r+(p-z)\|^2=\|r\|^2+\|p-z\|^2.$$

唯一的最近向量是 $z=p$。唯一性來自第二項恰在 $z=p$ 時為零。這同時證明了投影公式及其最小距離性質。

對非零 $u$ 所張成的直線，取 $q=u/\|u\|$，上面的正交投影公式化為

$$p=\frac{b\cdot u}{u\cdot u}u.$$

例 3：投影。 對 $b=(3,1)^T$、$u=(1,2)^T$，系數為 $(3+2)/(1+4)=1$，故 $p=(1,2)^T$、$r=(2,-1)^T$。核對 $r\cdot u=2-2=0$，最小平方誤差為 $5$。

正交歸一列表各向量長度為 $1$，且兩兩點積為零。對這樣的列表，到其張成空間的投影為 $\sum_i(q_i\cdot b)q_i$；若不正交歸一，這些簡單系數一般不適用，應改解相應方程組。

5.5 推導正規方程

給定 $A\in\mathbb R^{m\times n}$ 和 $b\in\mathbb R^m$，最小二乘係數向量是在所有 $x\in\mathbb R^n$ 中使 $\|b-Ax\|^2$ 最小的向量。如果 $Ax=b$ 不相容，這是一種近似準則，不是找到了新的精確解。

係數向量 $\widehat x$ 使誤差最小，當且僅當其殘差 $r=b-A\widehat x$ 垂直於欄空間。先證必要性：固定任意 $h$，在 $\widehat x+th$ 處的誤差為

$$\|r-tAh\|^2=\|r\|^2-2t\,r^TAh+t^2\|Ah\|^2.$$

若 $r^TAh\ne0$，則 $Ah\ne0$。取 $t=(r^TAh)/\|Ah\|^2$ 會嚴格減小誤差，與最小性矛盾。因此對每個 $h$ 都有 $r^TAh=0$。為證充分性，這一條件使任意 $h$ 的交叉項為零，所以

$$\|b-A(\widehat x+h)\|^2=\|r\|^2+\|Ah\|^2\ge\|r\|^2.$$

用矩陣記號，垂直條件為

$$A^T(b-A\widehat x)=0,\qquad A^TA\widehat x=A^Tb.$$

這些稱為正規方程。無論欄是否線性無關，它們都是充要條件。線性無關性是係數唯一所需的條件，而不是這一刻畫本身所需的條件。

存在性由投影得到。用考慮秩的過程構造欄空間的標準正交基 $Q$。投影向量 $p=QQ^Tb$ 屬於欄空間，因此按定義至少存在一個 $\widehat x$ 使 $A\widehat x=p$；它就是最小化向量。擬合向量 $p$ 唯一，若某個最小化向量是 $x_0$，那麼所有最小化向量恰為

$$x_0+N(A)=\{x_0+h:Ah=0\}.$$

事實上，加入零空間向量不會改變擬合結果；反過來，所有最小化係數都給出同一個唯一的最近擬合向量，所以它們的差位於零空間中。係數唯一當且僅當 $N(A)=\{0\}$，等價於欄線性無關。這些結論包括零矩陣：其擬合向量為零，每個係數向量都使固定誤差 $\|b\|^2$ 最小。

例 4：擬合直線。 用 $a+bt$ 擬合 $(0,2),(1,2),(2,5)$。設計矩陣各行為 $(1,0),(1,1),(1,2)$，觀測欄向量為 $y=(2,2,5)^T$。正規方程為

$$\begin{pmatrix}3&3\\3&5\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}9\\12\end{pmatrix}.$$

相減得 $2b=3$，再得 $a=3/2$。殘差為 $(1/2,-1,1/2)^T$，與每個設計矩陣欄的點積都為零。平方誤差為 $3/2$。該直線最小化指定的無權垂直誤差平方和；改變誤差度量或數據尺度可能得到不同擬合。

較大的數值計算中，正交分解方法常比顯式形成 $A^TA$ 更可靠。正規方程便於手算推導，但不意味著一種計算算法適用於所有數據。

5.6 分級練習

基礎

1. 對例 1 的矩陣驗證特徵對 $(\lambda,v)=(3,(1,1)^T)$ 和 $(1,(1,-1)^T)$。
2. 求 $\operatorname{diag}(2,4)$ 的全部特徵值及特徵空間。
3. 將 $(2,0)^T$ 投影到 $(1,1)^T$ 的張成空間。

核心

4. 對 $A=\begin{pmatrix}3&1\\1&3\end{pmatrix}$ 作對角化，並求 $A^n(1,0)^T$。
5. 對例 2 的 $M$ 和 $p_0=(1,0)^T$，用兩種方法計算 $p_2$。
6. 用歸納法證明所示 $J^n$ 公式。$J^n(0,1)^T$ 是否收斂？
7. 對 $(0,1),(1,2),(2,4)$ 擬合最小二乘直線，並核對殘差。
8. 說明單位向量不一定與另一個單位向量正交，給出明確反例。

綜合

9. 設 $A\in\mathbb R^{2\times2}$ 有兩個線性無關的實特徵向量 $v_1,v_2$，對應實特徵值 $\lambda_1,\lambda_2$ 滿足 $|\lambda_i|<1$。證明對每個初始向量 $x\in\mathbb R^2$ 都有 $A^nx\to0$。

10. 設 $A=\begin{pmatrix}1&1\\1&1\end{pmatrix}$、$b=(1,3)^T$。求所有最小二乘系數向量，並證明即使系數不唯一，擬合向量仍唯一。

5.7 完整解答

1. 相乘得 $(3,3)^T=3(1,1)^T$ 和 $(1,-1)^T=1(1,-1)^T$。
2. 特徵值為 $2,4$，特徵空間分別是 $(1,0)^T$ 和 $(0,1)^T$ 的所有倍數。
3. 投影系數為 $2/2=1$，故投影為 $(1,1)^T$，殘差 $(1,-1)^T$ 垂直於直線。
4. 特徵向量 $(1,1)^T$、$(1,-1)^T$ 對應特徵值 $4,2$。以它們為 $P$ 的欄，取 $D=\operatorname{diag}(4,2)$，得 $A=PDP^{-1}$。分解 $(1,0)^T=\frac12(1,1)^T+\frac12(1,-1)^T$，因此 $A^n(1,0)^T=((4^n+2^n)/2,(4^n-2^n)/2)^T$。
5. 公式給出 $p_2=(0.4,0.6)^T+0.6(0.25)(1,-1)^T=(0.55,0.45)^T$。直接算得 $p_1=(0.7,0.3)^T$，$Mp_1=(0.49+0.06,0.21+0.24)^T=(0.55,0.45)^T$。
6. 當 $n=0$ 時公式給出 $I$。$\begin{pmatrix}1&n\\0&1\end{pmatrix}$ 乘以 $J$ 得 $\begin{pmatrix}1&n+1\\0&1\end{pmatrix}$，證明歸納步驟。作用於 $(0,1)^T$ 得 $(n,1)^T$，不收斂。
7. 正規方程右側為 $(7,10)^T$。於是 $3a+3b=7$、$3a+5b=10$，得 $b=3/2$、$a=5/6$。殘差為 $(1/6,-1/3,1/6)^T$；其分量和及其與 $(0,1,2)^T$ 的點積均為零，驗證正規方程與最優性。
8. 取 $u=(1,0)^T$ 和 $v=(1/\sqrt2,1/\sqrt2)^T$。兩者長度都為 $1$，但點積為 $1/\sqrt2\ne0$。單位長度是歸一化條件，不是兩兩夾角條件。
9. 特徵向量構成基，故每個 $x$ 可寫成 $c_1v_1+c_2v_2$。於是 $A^nx=c_1\lambda_1^nv_1+c_2\lambda_2^nv_2$。兩個標量冪都趨零，有限和的每個坐標亦趨零。
10. 每個擬合向量均為 $(s,s)^T$，其中 $s=x_1+x_2$。最小化 $(s-1)^2+(s-3)^2=2(s-2)^2+2$ 得 $s=2$。因此每個 $(t,2-t)^T$ 都是最小二乘系數向量，但它們都給出同一擬合向量 $(2,2)^T$。

小結

存在獨立特徵基時，特徵向量把矩陣的重複作用分解為標量模式；重根本身不保證這種基存在。比例模型需要核對非負性與歸一化。正交性刻畫最接近的擬合，正規方程表達該條件，欄獨立性決定系數是否唯一。