實對稱矩陣的正交特徵基

正交對角化的含義

對稱矩陣出現非對角元，可能只是因為目前坐標軸並非它的自然軸。正交換坐標保持長度與夾角，並把二次型分解成獨立的坐標平方。本單元始終在實數域討論，$n\ge1$，且 $A=A^T\in\mathbb R^{n\times n}$；不假設特徵值互異。

定義

正交、特徵向量與譜

對 $u,v\in\mathbb R^n$，正交指 $u^Tv=0$。若 $q_i^Tq_j=\delta_{ij}$，則 $q_1,\ldots,q_n$ 是一組標準正交基；這裏 $\delta_{ij}$ 在 $i=j$ 時為一，否則為零。實方陣 $Q$ 滿足 $Q^TQ=I_n$ 時稱為正交矩陣。此時它可逆且逆矩陣為 $Q^T$，所以也有 $QQ^T=I_n$。

特徵向量是滿足 $Aq=\lambda q$ 的非零向量 $q$；$\lambda$ 是其特徵值，譜是所有特徵值組成的集合。對角矩陣 $D=\operatorname{diag}(\lambda_1,\ldots,\lambda_n)$ 可以重複列出同一特徵值。若 $Q$ 的列是一組標準正交特徵基，則 $AQ=QD$，因而

$$Q^TAQ=D,\qquad A=QDQ^T.$$

反過來，若 $Q$ 正交，這些等式恰好說明其列構成這樣的特徵基。正交條件約束列向量及其長度，並不要求 $\det Q=1$。

寫成 $x=Qy$ 後，$\|x\|^2=\|y\|^2$，且 $x^TAx=\sum_{i=1}^n\lambda_i y_i^2$。因此譜定理同時描述線性映射和二次型。下文證明使用單位球面的緊性、正則的範數約束、Gram–Schmidt 方法及歸納法，並非預先假設所需的特徵基存在。不同特徵值的特徵空間必正交；在重特徵值的特徵空間內，仍須選取標準正交基。

4.3 對稱性給出正交特徵向量

對實對稱矩陣 $A$ 和實向量 $u,v$，若 $Au=\lambda u$，$Av=\mu v$，則

$$\lambda u^Tv=(Au)^Tv=u^TA^Tv=u^TAv=\mu u^Tv.$$

因此，不同特徵值對應的特徵空間互相正交。更強的譜定理指出，每個實對稱 $n\times n$ 矩陣（$n\ge1$）都有一組標準正交特徵基，因此 $A=QDQ^T$，其中 $Q^TQ=I$，而 $D$ 是實對角矩陣。

下面利用前面章節的結果證明。連續函數 $x^TAx$ 在單位球面上取得最大值，因為單位球面是閉且有界的。在取得最大值的單位向量 $v$ 處，正則約束 $x^Tx=1$ 的梯度 $2v$ 非零。乘數條件給出 $2Av=2\lambda v$，所以 $v$ 是實單位特徵向量。它的正交補空間是不變的：若 $v^Tw=0$，則 $v^TAw=(Av)^Tw=\lambda v^Tw=0$。在一組標準正交基下，把 $A$ 限制到這個 $(n-1)$ 維子空間，得到的限制仍然對稱。從一維開始歸納，可在該子空間得到一組標準正交特徵基；連同 $v$，便證明了定理。正交補空間的一組標準正交基可用 Gram–Schmidt 方法構造。

實內積、誘導範數與所需不等式

實向量空間上的內積是取值於實數的映射 $\langle u,v\rangle$，它對稱、對每個變量線性，並且正定：$v\ne0$ 時 $\langle v,v\rangle>0$。線性性給出 $\langle0,v\rangle=0$。定義 $\|v\|=\sqrt{\langle v,v\rangle}$，則範數恰在零向量處為零，且 $\|cv\|=|c|\|v\|$。$\mathbb R^m$ 上的標準例子是 $\langle u,v\rangle=\sum_{i=1}^mu_iv_i$。內積為零的向量稱為正交；不同成員互相正交且每個成員範數為一的列表稱為正交規範列表。

若 $v\ne0$，將 $t=\langle u,v\rangle/\|v\|^2$ 代入非負平方 $\|u-tv\|^2$，以雙線性展開得 $\|u\|^2-\langle u,v\rangle^2/\|v\|^2\ge0$，故 $|\langle u,v\rangle|\le\|u\|\|v\|$。若 $v=0$，該不等式直接成立。對 $v\ne0$，等號意味着 $\|u-tv\|=0$，等價於 $u=tv$；零向量情形也取等。最後展開 $\|u+v\|^2$ 並對交叉項使用該界，得到 $\|u+v\|^2\le(\|u\|+\|v\|)^2$。待開方的兩邊非負，因此得到三角不等式。這確實定義了範數，任何非零向量的歸一化都只除以正實數；這裏不使用複雙線性的約定。

不預設計數結論的有限基存在與擴充

設實向量空間 $V$ 已給定有限生成列表 $t_1,\ldots,t_N$。先證明任何線性無關列表 $u_1,\ldots,u_k$ 的長度不超過 $N$。插入 $j$ 個向量後，維持一個由 $u_1,\ldots,u_j$ 與 $N-j$ 個剩餘舊向量組成的生成列表。將 $u_{j+1}$ 按此列表展開，至少一個剩餘舊向量的係數非零；否則它在先前 $u_i$ 的張成空間中，與無關性矛盾。解出這個舊向量，再以 $u_{j+1}$ 取代它。新列表仍張成同一空間，而且保留全部先前插入向量。若 $k>N$，則 $N$ 步後前 $N$ 個向量已張成 $V$，與 $u_{N+1}$ 的無關性矛盾。此即所需上界，也包括 $N=0$。

每個子空間 $W$ 都有有限基。從空的無關列表開始；若當前張成空間尚不是 $W$，就在 $W$ 中取一個不在該張成空間內的向量。若新向量在某關係中的係數非零，就能由舊向量表示它，矛盾，故新列表仍無關。已證上界允許至多添加 $N$ 次，所以過程必停止於 $W$ 的無關生成列表。若 $W=\{0\}$，立即得到空基。改從 $W$ 內任意給定無關列表開始，同樣證明該列表可擴充為 $W$ 的基；只需有界有限次選擇。最後，若兩組基的長度為 $p,q$，分別把它們用作上界證明中的有限生成列表，得到 $p\le q$ 與 $q\le p$。故基的長度有良定義，稱為維數。這些論證補足秩–零度定理所用的基存在、擴充與維數事實。

正交規範基，以及保留指定向量的擴充

再設 $V$ 具有實正定內積。對無關列表 $v_1,\ldots,v_s$，逐次定義

$$w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|.$$

歸納假設先前 $q_i$ 正交規範。對 $l<j$ 與 $q_l$ 取內積，得 $\langle w_j,q_l\rangle=\langle v_j,q_l\rangle-\langle v_j,q_l\rangle=0$。若 $w_j=0$，則 $v_j$ 在先前張成空間中，矛盾，因此可合法除以它的正範數。所列公式及其移項式說明前 $j$ 個新舊向量張成相同空間，歸納完成。用於一組基就得到正交規範基，子空間亦然。若要擴充一組指定的正交規範向量，先由已證定理將它擴充為普通基，再按此順序進行上述構造。原先指定的向量沒有分量被減去，範數又為一，所以全都精確保留。空列表與零子空間無需相除。這證明了 SVD 及投影存在性所用的正交規範擴充。

固定整數 $n\ge1$，在 $\mathbb R^n$ 上使用歐幾里得範數。集合若包含在某個有限半徑的球內，就稱為有界；若補集是開集，就稱為閉集；若它的每個由 $\mathbb R^n$ 中開集組成的覆蓋都有有限子覆蓋，就稱為緊集。我們使用實數完備性，包括閉區間套性質。

有限維歐幾里得空間的 Heine–Borel 定理

定理。 集合 $K\subseteq\mathbb R^n$ 緊致，當且僅當它閉且有界。空集具有這三種性質。

緊致推出有界。 開球 $B(0,m)$（整數 $m\ge1$）覆蓋 $K$。取有限子覆蓋後，$K$ 包含在其中最大的球內。

緊致推出閉。 設 $K\ne\varnothing$ 且 $y\notin K$。開球 $B(x,\|x-y\|/2)$（$x\in K$）覆蓋 $K$。取中心為 $x_1,\ldots,x_r$ 的有限子覆蓋，令 $\delta=\min_i\|x_i-y\|/2>0$。若 $z$ 在以 $x_i$ 為中心的所選球內，三角不等式給出 $\|z-y\|>\|x_i-y\|/2\ge\delta$。所以 $B(y,\delta)$ 不與 $K$ 相交，補集是開集。

閉且有界推出緊致。 設非空的 $K$ 閉且有界，把它包含在閉立方體 $Q_0=[-M,M]^n$ 內，其中 $M>0$。假設 $K$ 的某個開覆蓋沒有有限子覆蓋。把每個坐標區間分成兩個閉半區間，所得 $2^n$ 個閉子立方體覆蓋 $Q_0$。至少一個子立方體與 $K$ 的交集不能由給定覆蓋族有限覆蓋；否則把有限多個有限子覆蓋合併，就能覆蓋 $K$。選取這樣的子立方體並重複，得到閉立方體套 $Q_j$，其邊長為 $2M/2^j$，且 $K\cap Q_j$ 不能被有限覆蓋，因而非空。

對每個坐標使用閉區間套性質，得到公共坐標值；合起來得到 $p\in\bigcap_jQ_j$。$Q_j$ 中任意兩點的距離不超過 $2M\sqrt n/2^j$，所以交集中只有 $p$。選取 $x_j\in K\cap Q_j$，則 $\|x_j-p\|\le2M\sqrt n/2^j\to0$。閉集包含這種極限：若 $p$ 在開補集中，$p$ 周圍某個開球就會使最終的 $x_j$ 落在 $K$ 外，矛盾。因此 $p\in K$。

覆蓋中有一個成員 $O$ 含 $p$，由開放性，存在 $\varepsilon>0$ 使 $B(p,\varepsilon)\subseteq O$。當 $j$ 足夠大時，$Q_j$ 的每點到 $p$ 的距離都小於 $\varepsilon$，於是單個 $O$ 就覆蓋 $K\cap Q_j$，與 $Q_j$ 的選取矛盾。因此每個開覆蓋都有有限子覆蓋。這裏 $2^n$ 是有限數；若改成無限多個子塊，這個論證就不再成立。

連續像與極值

定理。 若 $K\subseteq\mathbb R^n$ 緊致，且 $F:K\to\mathbb R^m$ 相對於 $K$ 連續，則 $F(K)$ 緊致。特別地，非空緊集 $K$ 上的連續函數 $f:K\to\mathbb R$ 有界，並達到最大值和最小值。

證明。 $F(K)$ 的開覆蓋 $(O_i)$ 的原像是相對開集 $F^{-1}(O_i)=K\cap U_i$，其中 $U_i$ 在 $\mathbb R^n$ 中開。這些 $U_i$ 覆蓋 $K$，所以有限多個足夠。對應的 $O_i$ 覆蓋 $F(K)$，證明了像的緊致性。對標量函數 $f$，由已證明定理的一維情形，其像非空、閉且有界。令 $a=\sup f(K)$。對每個 $j\ge1$，由上確界定義，可取 $y_j\in f(K)$ 使 $a-1/j<y_j\le a$。於是 $y_j\to a$，閉性使 $a$ 屬於像，所以最大值可達。對 $-f$ 使用同一論證即得最小值。該結論證明存在性，而不提供極大點的計算公式。

實對稱譜定理的直接代數證明

設 $n\ge1$ 為有限整數，$A=A^T\in\mathbb R^{n\times n}$，使用標準實內積。若每個向量都是列表成員的線性組合，就稱該列表生成此空間；若零線性組合迫使每個係數為零，就稱列表線性無關。基同時具有這兩種性質。子空間包含零且對加法、實數倍封閉。逐個讀取坐標可知，坐標向量 $e_1,\ldots,e_n$ 構成 $\mathbb R^n$ 的基。因此，上面已證明的有限基與正交規範擴充構造適用於該空間及其每個子空間。

將上面實內積證明中的三角不等式用於兩個方向，得 $|\|x\|-\|y\||\le\|x-y\|$，所以範數連續。當 $n\ge1$ 時，單位球面包含 $e_1$，因而非空；其每點的範數均為一，故有界。它也是閉集：若 $\|x\|\ne1$，則由反三角不等式，以 $x$ 為中心、半徑 $|\|x\|-1|/2$ 的開球不與單位球面相交。因此，由已證的有限維 Heine–Borel 定理，單位球面緊致。$x^TAx$ 是連續多項式，已證的極值定理便保證它在球面上取得最大值。選一個取得最大值的單位向量 $u$，記 $\lambda=u^TAu$。對任意滿足 $u^Tw=0$ 的 $w$，令 $b=w^TAu$、$c=w^TAw$、$d=w^Tw\ge0$。對每個實數 $s$，向量 $(u+sw)/\sqrt{1+s^2d}$ 都是單位向量。由最大性及對稱性，

$$\frac{\lambda+2sb+s^2c}{1+s^2d}\le\lambda, \qquad 2sb+s^2(c-\lambda d)\le0.$$

若 $b\ne0$，令 $k=c-\lambda d$，並取 $s=b/(|k|+1)$，則

$$2sb+s^2k=\frac{b^2[2(|k|+1)+k]}{(|k|+1)^2}>0,$$

因為 $2(|k|+1)+k\ge |k|+2>0$。矛盾說明，對每個 $w\perp u$ 都有 $w^TAu=0$。特別取 $w=Au-\lambda u$，它與 $u$ 正交，而且 $w^TAu=w^T(w+\lambda u)=\|w\|^2$。故 $w=0$，即 $Au=\lambda u$。這樣直接由最大性得到了第一個實特徵向量。

對 $z\perp u$，由對稱性，$u^TAz=(Au)^Tz=\lambda u^Tz=0$，所以 $W=u^\perp$ 是不變子空間。用上面已證的擴充構造，將 $u$ 擴充為正交規範基 $u,q_2,\ldots,q_n$。每個向量按此基有唯一展開，其 $u$ 的係數就是與 $u$ 的內積。因此 $q_2,\ldots,q_n$ 構成 $W$ 的正交規範基；當 $n=1$ 時，它就是空基。

對 $n$ 歸納。一維實數標量矩陣的結論直接成立。當 $n>1$ 時，限制在 $W$ 上的矩陣元素為 $B_{ij}=q_{i+1}^TAq_{j+1}$，其中 $1\le i,j\le n-1$。這些元素為實數，且 $B_{ij}=B_{ji}$。歸納假設給出這個實對稱 $(n-1)\times(n-1)$ 矩陣的正交規範特徵基。把其中每個坐標向量 $(r_1,\ldots,r_{n-1})$ 換成 $\sum_{j=1}^{n-1}r_jq_{j+1}$，由雙線性及 $q_i^Tq_j=\delta_{ij}$ 可知內積保持不變。由 $B$ 的定義與 $W$ 的不變性，這些向量是 $A$ 在 $W$ 內的特徵向量。連同 $u$，它們構成 $\mathbb R^n$ 的正交規範特徵基。

將此基寫為 $p_1,\ldots,p_n$，則每個 $x$ 滿足 $x=\sum_i(p_i^Tx)p_i$ 及 $Ax=\sum_i\lambda_i(p_i^Tx)p_i$。逐坐標寫出即為 $A=QDQ^T$，其中 $Q$ 以 $p_i$ 為列，$D=\operatorname{diag}(\lambda_i)$。正交規範性給出 $Q^TQ=I$，而 $x$ 的展開給出 $QQ^T=I$。不要求特徵值互異。本論證經由緊致性使用實數完備性，並使用有限維基擴充和內積代數；它不使用乘數定理或隱函數定理。

完整演算一個二階矩陣

例題

求出並核驗每個因子

取 $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$。特徵方程為 $(2-\lambda)^2-1=(\lambda-3)(\lambda-1)=0$。對 $\lambda=3$，解 $(A-3I)q=0$ 得到由 $(1,1)^T$ 張成的直線；對 $\lambda=1$，則得到由 $(1,-1)^T$ 張成的直線。將它們歸一化：

$$q_1=\frac1{\sqrt2}\binom11,\qquad q_2=\frac1{\sqrt2}\binom1{-1},\qquad Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix},\qquad D=\begin{pmatrix}3&0\\0&1\end{pmatrix}.$$

兩列長度均為一，內積為零。直接計算得

$$Q^TQ=\frac12\begin{pmatrix}2&0\\0&2\end{pmatrix}=I_2,\qquad AQ=\frac1{\sqrt2}\begin{pmatrix}3&1\\3&-1\end{pmatrix}=QD.$$

最後核驗重建公式，而不只停在特徵值：

$$QDQ^T=\frac12\begin{pmatrix}3&1\\3&-1\end{pmatrix}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac12\begin{pmatrix}4&2\\2&4\end{pmatrix}=A.$$

這裏 $\det Q=-1$，仍然允許。在 $y=Q^Tx$ 坐標下，二次型是 $3y_1^2+y_2^2$；原來的非對角項 $2x_1x_2$ 被吸收到坐標軸的選擇中。改變某列的符號，或同時調整列與相應對角元的次序，都能得到另一組有效分解。

練習 S01：Rayleigh 界與等號

設 $A$ 為實對稱矩陣，$n\ge1$，最小與最大特徵值分別為 $\lambda_{\min}$ 和 $\lambda_{\max}$。證明對每個 $x\ne0$，

$$\lambda_{\min}\le\frac{x^TAx}{x^Tx}\le\lambda_{\max},$$

並在允許重特徵值的情況下，刻畫兩端的等號條件。

解答 · S01：在標準正交特徵基中展開

在剛證明存在的特徵基中寫 $x=\sum_i y_iq_i$。於是 $x^Tx=\sum_i y_i^2>0$，且 $x^TAx=\sum_i\lambda_i y_i^2$。該商是特徵值的加權平均，權重 $y_i^2/\sum_jy_j^2$ 非負且總和為一，所以兩端不等式成立。對上端等號，

$$\lambda_{\max}x^Tx-x^TAx=\sum_i(\lambda_{\max}-\lambda_i)y_i^2=0.$$

各項非負，因此只要 $\lambda_i<\lambda_{\max}$，就有 $y_i=0$。所以等號恰在整個 $\lambda_{\max}$ 特徵空間的非零向量上成立，而不局限於某個選定的特徵向量。改用差 $\lambda_i-\lambda_{\min}$，同理得到下端等號的條件。若所有特徵值相等，則每個非零向量都同時滿足兩端等號。商在 $x=0$ 處無定義，但未除以範數平方的不等式在那裏仍成立且取等號。

練習 S02：從譜判斷定性

實對稱矩陣若對所有實向量 $x$ 滿足 $x^TAx\ge0$，就稱為半正定；若對所有 $x\ne0$ 滿足 $x^TAx>0$，則稱為正定。證明這兩個條件分別等價於所有特徵值非負、所有特徵值嚴格為正，並解釋零特徵值的作用。

解答 · S02：分別證明必要性與充分性

若 $q_i$ 是單位特徵向量，則 $q_i^TAq_i=\lambda_i$。將這些向量代入定性條件，就得到每個特徵值所需的符號。反過來，在正交坐標中，

$$x^TAx=\sum_i\lambda_i y_i^2.$$

若每個 $\lambda_i\ge0$，則對所有 $x$ 該和非負。若每個 $\lambda_i>0$ 且 $x\ne0$，至少一個 $y_i$ 非零，所以該和嚴格為正。若存在零特徵值，其非零特徵向量的二次型值為零，故矩陣不正定。若其餘特徵值都非負，矩陣仍半正定；二次型值為零的向量恰為核中的向量，因為非負項之和為零，當且僅當每個正特徵值對應的坐標為零。這裏不聲稱對非對稱矩陣僅靠特徵值也有同樣的符號判據。

練習 S03：在重特徵值空間內選基

對 $B=\operatorname{diag}(2,2,-1)$，求一組包含 $(1,1,0)^T/\sqrt2$ 的標準正交特徵基，給出相應分解，以及取得最大 Rayleigh 商的所有單位向量。任意兩個特徵值為二的特徵向量是否必正交？

解答 · S03：重特徵值保留選基的自由

特徵值二的特徵空間是 $\{(s,t,0)^T:s,t\in\mathbb R\}$；特徵值負一的特徵空間是第三坐標軸。取

$$R=\begin{pmatrix}1/\sqrt2&1/\sqrt2&0\\1/\sqrt2&-1/\sqrt2&0\\0&0&1\end{pmatrix},\qquad D_B=\operatorname{diag}(2,2,-1).$$

其列長度均為一，且兩兩內積為零，所以 $R^TR=I_3$。前兩列對應特徵值二，第三列對應負一。因此 $BR=RD_B$，且 $B=RD_BR^T$。在單位球面上，

$$x^TBx=2(x_1^2+x_2^2)-x_3^2=2-3x_3^2.$$

最大值是二，恰在 $x_3=0$、$x_1^2+x_2^2=1$ 時取得。重特徵空間內的任意向量並不必正交：$(1,0,0)^T$ 和 $(1,1,0)^T$ 的內積為一。譜定理保證可以選擇標準正交特徵基，並非每個可能的特徵向量列表都正交。