矩陣向量代數與行列式

明確底層向量運算，有助於解釋應用計算。本章發展矩陣運算和一般行列式，再用一個相關數據模型與一個線性無關坐標模型聯繫張成、秩、基和可逆性。

1 向量、矩陣與線性變換

向量 $x\in\mathbb R^n$ 是實坐標的有序列表。加法和數乘逐坐標進行。線性組合 $c_1v_1+\cdots+c_kv_k$ 將向量加權相加；它們的張成空間是所有此類組合的集合。若零組合迫使所有系數為零，則向量線性無關。基是線性無關的生成向量組，其長度為維數。

矩陣 $A\in\mathbb R^{m\times n}$ 有 $m$ 行、$n$ 欄。加法要求形狀相同。矩陣乘向量為 $(Ax)_i=\sum_j a_{ij}x_j$，也就是以 $x_j$ 為系數的欄線性組合。因此其像是欄空間，其核由給出零的系數組合組成。秩是欄空間的維數。

對可相乘的矩陣，$(AB)_{ij}=\sum_k a_{ik}b_{kj}$。展開有限和證明 $(AB)x=A(Bx)$，故乘法表示連續變換。它滿足結合律，但一般不滿足交換律。轉置交換行欄指標，並滿足 $(AB)^T=B^TA^T$，因為其 $(i,j)$ 元素是矩陣次序反轉後的同一有限和。

相關觀測。 令 $v_1=(1,0,1)$、$v_2=(0,1,1)$、$v_3=(1,1,2)$。第三個是前兩個的和，故秩為 2。要表示 $(3,4,7)$，系數滿足 $a+c=3$、$b+c=4$；第三個測量是冗餘的。所有表示為 $(a,b,c)=(3-t,4-t,t)$，零空間方向為 $(-1,-1,1)$。線性相關描述信息，而非計算缺陷。

從較小矩陣構造行列式

定義

子矩陣、子式與餘因子

設 $A=[a_{ij}]$ 是一個 $n\times n$ 矩陣，其中 $n\ge2$。給定 $1\le i,j\le n$，同時刪去第 $i$ 行與第 $j$ 欄，所得的 $(n-1)\times(n-1)$ 矩陣記為子矩陣 $A(i\mid j)$。

屬於項 $a_{ij}$ 的子式是純量

$$M_{ij}=\det\bigl(A(i\mid j)\bigr)$$

屬於項 $a_{ij}$ 的餘因子是帶符號純量

$$C_{ij}=(-1)^{i+j}M_{ij}$$

符號形成左上角為正的棋盤：

$$\begin{bmatrix} +&-&+&\cdots\\ -&+&-&\cdots\\ +&-&+&\cdots\\ \vdots&\vdots&\vdots&\ddots \end{bmatrix}$$

$A(i\mid j)$ 表示一個矩陣，$M_{ij}$ 是該矩陣的行列式， $C_{ij}=(-1)^{i+j}M_{ij}$ 則是加上符號後的純量。清楚區分這三個對 象，就不會把符號錯誤地乘兩次。

定義

行列式的遞迴定義

對於 $1\times1$ 矩陣 $[a_{11}]$，定義

$$\det([a_{11}])=a_{11}$$

對於 $n>1$ 的 $n\times n$ 矩陣，沿第一行定義

$$\det(A)=\sum_{j=1}^{n}a_{1j}C_{1j} =\sum_{j=1}^{n}(-1)^{1+j}a_{1j}M_{1j}$$

這是定義，還不是關於其他行或欄的定理。每個子式的階數都是 $n-1$， 所以反覆使用定義最終會到達 $1\times1$ 基本情形。不需要約定 $0\times0$ 行列式：子矩陣和子式的定義只用於 $n\ge2$。

從遞迴行列式證明任意餘因子展開

設 $A$ 為實 $n\times n$ 矩陣，$n\ge1$，行列式由一階基例和第一行遞迴定義。令 $S_n$ 為 $1,\ldots,n$ 的排列集合；定義逆序數 $\operatorname{inv}(\sigma)$ 為滿足 $r<s$ 且 $\sigma(r)>\sigma(s)$ 的數對個數，並令 $\operatorname{sgn}(\sigma)=(-1)^{\operatorname{inv}(\sigma)}$。

若 $\sigma(i)=j$，刪去位置 $i$ 與值 $j$，保持其餘位置及值的相對次序，得到排列 $\tau\in S_{n-1}$。設位置 $i$ 之前有 $u$ 個值小於 $j$；被刪去的逆序共有 $(i-1-u)+(j-1-u)=i+j-2-2u$ 個，故

$$\operatorname{sgn}(\sigma)=(-1)^{i+j}\operatorname{sgn}(\tau).$$

定義 $P_n(A)=\sum_{\sigma\in S_n}\operatorname{sgn}(\sigma)\prod_{r=1}^n a_{r,\sigma(r)}$。$n=1$ 時它就是遞迴行列式。$n>1$ 時，按 $\sigma(1)=j$ 分組並用符號恆等式，得 $P_n(A)=\sum_j(-1)^{1+j}a_{1j}P_{n-1}(A(1\mid j))$。歸納法因而證明 $P_n(A)=\det A$。

現在固定任意行 $i$，將同一有限排列和按 $\sigma(i)=j$ 分組。刪除操作與對應子矩陣的全部排列一一對應，因此

$$\det A=\sum_{j=1}^n(-1)^{i+j}a_{ij}\det(A(i\mid j)).$$

固定任意欄 $j$ 時，每個排列恰有一個位置 $i$ 滿足 $\sigma(i)=j$；按該位置分組即得

$$\det A=\sum_{i=1}^n(-1)^{i+j}a_{ij}\det(A(i\mid j)).$$

兩個展開公式均用於 $n\ge2$，沒有引入空行列式約定。此證明不預設換行交錯規則或行列式乘積定理。

結構規則為何成立

零行、零欄與唯一支撐項

定理

有零行或零欄時行列式為零

如果方陣的一整行或一整欄的每一項都是零，則它的行列式為零。

定理

某行或某欄至多有一個非零項

設 $C$ 是 $n\ge2$ 階方陣。若第 $k$ 行除 $c_{k\ell}$ 外都為零，則

$$\det(C)=c_{k\ell}(-1)^{k+\ell}\det\bigl(C(k\mid\ell)\bigr)$$

若第 $\ell$ 欄除 $c_{k\ell}$ 外都為零，也有同一公式。即使 $c_{k\ell}=0$，這個表述仍然成立。

當 $n=1$ 時，含有零行的矩陣就是 $[0]$，按基本定義其行列式為零。當 $n\ge2$ 時，使用任意行展開定理沿該行展開。每一項都含有一個零項作為 因子，所以每一項都為零，因而 $\det(A)=0$。

零欄可以用歸納法直接證明，這樣能看清零欄如何傳遞。$n=1$ 時，唯一 具有零欄的 $1\times1$ 矩陣是 $[0]$，其行列式為零。假設結論對 $n=k$ 成立。設 $(k+1)\times(k+1)$ 矩陣 $C$ 的第 $\ell$ 欄全為零， 沿第一行展開。第 $\ell$ 項的因子已經是零。對其餘每一項，刪去第一行 和某個 $j\ne\ell$ 的欄；原來的零欄仍在所得 $k\times k$ 子矩陣中，只是 在 $j\lt\ell$ 時欄指標向左移。由歸納假設，每個這樣的子矩陣的行列式都是零， 所以整行展開的每一項都為零，得到 $\det(C)=0$。

若某行除一項外全為零，沿該行展開即可；若某欄除一項外全為零，沿第 $k$ 行展開。$\ell$ 項保留下來，而對每個 $j\ne\ell$，子矩陣 $C(k\mid j)$ 都繼承了原第 $\ell$ 欄的零欄，因此其行列式為零。最後 只剩下 $c_{k\ell}(-1)^{k+\ell}\det(C(k\mid\ell))$。這正是稀疏行或 欄能把計算縮成一個子式的原因。

三角矩陣

定理

三角矩陣定理

若 $T$ 是上三角或下三角矩陣，則

$$\det(T)=t_{11}t_{22}\cdots t_{nn}$$

用 $n$ 作歸納證明上三角情形。$n=1$ 時結論就是行列式的定義。假設 結論對上三角 $k\times k$ 矩陣成立，令 $T$ 為 $k+1$ 階上三角矩陣。最 後一行除最後一項 $t_{k+1,k+1}$ 外都是零。沿最後一行展開，只有這一項 保留，而且符號 $(-1)^{2k+2}=1$：

$$\det(T)=t_{k+1,k+1}\det\bigl(T(k+1\mid k+1)\bigr)$$

保留下來的子矩陣仍是上三角矩陣，對角線為 $t_{11},\ldots,t_{kk}$。由歸納假設，它的行列式是 $t_{11}\cdots t_{kk}$，於是得到完整的對角線乘積。下三角情形類似但可 沿第一行展開：第一行只可能留下 $t_{11}$，刪去第一行第一欄後的子矩陣 仍是下三角矩陣，對角線由 $t_{22}$ 到 $t_{nn}$。

固定一行時的多重線性

定理

固定一行時的多重線性

固定除第 $p$ 行外的每一行。若新第 $p$ 行是 $\alpha u+\beta v$，則

$$\det(\text{相同其他各行,但第 }p\text{ 行為 }\alpha u+\beta v) =\alpha\det(\text{相同其他各行,但第 }p\text{ 行為 }u) +\beta\det(\text{相同其他各行,但第 }p\text{ 行為 }v)$$

當 $n=1$ 時，基本定義直接給出

$$\det([\alpha a+\beta b])=\alpha a+\beta b =\alpha\det([a])+\beta\det([b])$$

這就證明了 $1\times1$ 情形。

當 $n\ge2$ 時，固定除第 $p$ 行外的每一行。設矩陣 $A,B,C$ 在這些固定行上完全相同， 而第 $p$ 行滿足 $c_p=\alpha a_p+\beta b_p$。對每個欄指標 $j$，刪 去第 $p$ 行後得到相同的矩陣：

$$A(p\mid j)=B(p\mid j)=C(p\mid j)$$

沿第 $p$ 行展開 $\det(C)$，再用每一項的關係 $c_{pj}=\alpha a_{pj}+\beta b_{pj}$ 和分配律，得到

$$\begin{aligned} \det(C) &=\sum_{j=1}^{n}(\alpha a_{pj}+\beta b_{pj})(-1)^{p+j}\det(C(p\mid j))\\ &=\alpha\det(A)+\beta\det(B) \end{aligned}$$

關鍵正是其他每一行都固定；同時改變兩行是另一條命題。

相鄰換行與相同行

定理

若有兩行相同，行列式必為零

若一個方陣有兩行完全相同，則它的行列式等於 $0$。

設 $A$ 的相鄰兩行是 $r_q,r_{q+1}$，交換這兩行得到 $B$。沿 $A$ 的第 $q$ 行展開，沿 $B$ 中已經移動到第 $q+1$ 行的同一行 $r_q$ 展開。對每個欄指標 $j$，兩次刪去該行後留下的子矩陣次序相同， 但符號相反，因為

$$(-1)^{q+1+j}=-(-1)^{q+j}$$

逐項比較便得 $\det(B)=-\det(A)$。位置 $p\lt q$ 的兩行交換可以由 $2(q-p)-1$ 次相鄰交換組成，這是奇數次，所以同樣會使行列式變號。

若 $A$ 的第 $p$ 行與第 $q$ 行相同，交換它們後矩陣仍是 $A$ 本身。換行 結論於是給出 $\det(A)=-\det(A)$。由於這裏的項是實數， $2\det(A)=0$，所以 $\det(A)=0$。這個證明沒有調用下一節才會出現的行 替換規則。

指標與計算策略

每一項都要同時保留三個對象：所選項、刪去一行一欄後得到的子矩陣，以及取該子矩陣行列式所得的子式。先按原矩陣中的行列位置寫出棋盤符號，再計算子式。若繼續展開子式，應使用子式自己的局部指標；局部指標不會取代外層餘因子的符號。

任意行、任意欄展開定理使展開線可以有策略地選擇。優先選擇零多或剩餘子式較簡單的行或欄，並在計算前說明理由。零項會立即刪去分支；零子式則必須由它自己的計算證明。第一行遞迴式定義行列式，任意行欄展開則是容許這種計算選擇的定理。

行列式乘積來自有限多線性展開

設 $A,B$ 是 $n\ge1$ 階實方陣，使用已經證明的行列式置換公式、對行的多線性、重複行使行列式為零，以及交換兩行改變符號。$AB$ 的第 $i$ 行為 $\sum_{k=1}^na_{ik}B_k$，其中 $B_k$ 為 $B$ 的第 $k$ 行。展開有限多線性式得

$$\det(AB)=\sum_{k_1,\ldots,k_n=1}^n\left(\prod_{i=1}^na_{i k_i}\right)\det(B_{k_1},\ldots,B_{k_n}).$$

有重複指標的元組行列式為零。其餘每個元組都是 $1,\ldots,n$ 的一個置換 $\sigma$。反覆交換相鄰逆序元素，將列表排序；列表若不遞增，必存在這種相鄰元素。每次交換只去掉二者之間的逆序，其他每個元素與這兩個元素的比較總貢獻不變，所以恰需 $\operatorname{inv}(\sigma)$ 次交換。行交換規則給出 $\det(B_{\sigma(1)},\ldots,B_{\sigma(n)})=(-1)^{\operatorname{inv}(\sigma)}\det B$。代回有限和，再使用已證的 $A$ 的置換公式，得到 $\det(AB)=(\det A)(\det B)$。沒有使用可逆性假設或無窮展開。

伴隨恆等式與求逆的連續性

當 $n\ge2$，令 $C_{ij}=(-1)^{i+j}\det(A(i\mid j))$，並定義 $\operatorname{adj}(A)_{ji}=C_{ij}$。$A\operatorname{adj}(A)$ 的 $(i,j)$ 元素為 $\sum_k a_{ik}C_{jk}$。若 $i=j$，行展開使它等於 $\det A$；若 $i\ne j$，它是將第 $j$ 行換成第 $i$ 行後所得矩陣的第 $j$ 行展開：該行的餘因子不變，而重複行使行列式為零。因此 $A\operatorname{adj}(A)=(\det A)I$。

排列公式還給出 $\det(A^T)=\det A$：將排列換成其逆排列即可。兩者的逆序數相同，因為逆序 $(r,s)$ 與逆排列的逆序 $(\sigma(s),\sigma(r))$ 一一對應，元素乘積在重新編號後也相同。對子矩陣同樣適用，故 $\operatorname{adj}(A^T)=(\operatorname{adj} A)^T$。對 $A^T$ 使用第一個恆等式再轉置，得到 $\operatorname{adj}(A)A=(\det A)I$。當 $n=1$，定義 $\operatorname{adj}([a])=[1]$，兩個恆等式立即成立。

伴隨恆等式建立後的非奇異性

已經證明的代數餘子式展開與重複行規則給出 $A\operatorname{adj}A=\operatorname{adj}A\,A=(\det A)I$，當 $n=1$ 時約定 $\operatorname{adj}[a]=[1]$。若 $\det A\ne0$，相除即得雙側逆。反之，若 $A$ 可逆，則乘積公式給出 $1=\det I=\det A\det(A^{-1})$，所以 $\det A\ne0$。這裏的伴隨恆等式有明確選入的先行證明，並非假設每個矩陣均可逆。

2 任意有限維數中的行列式

對方陣 $A$，定義

$$\det A=\sum_{\sigma\in S_n}(-1)^{\operatorname{inv}(\sigma)}\prod_{i=1}^na_{i,\sigma(i)},$$

其中 $\operatorname{inv}(\sigma)$ 計數滿足 $\sigma(i)>\sigma(j)$ 的 $i<j$ 對。這個明確的整數計數避免選擇對換分解。交換兩個行位置，在重新標號的置換和中將逆序數奇偶性改變奇數次，故行列式變號。公式對每一行分別線性，且 $I$ 的行列式為 1。

因此，相等的行使行列式為零；把一行的倍數加到另一行不改變行列式；一行乘 $c$ 會使行列式乘 $c$。三角矩陣行列式等於對角元素乘積，因為其他置換乘積都含有必然為零的元素。

可逆性判據。 方陣可逆當且僅當其行列式非零。

證明。 消元使用的可逆行變換對行列式只產生非零縮放或符號反轉。若每個主元都存在，消元達到 $I$，故行列式非零，行變換也構造出逆矩陣。若缺少主元，階梯形出現零行，行列式為零並留下非零零空間向量。該向量排除逆矩陣的存在。$\square$

行列式只對方陣定義。矩形矩陣可以有滿欄秩或滿行秩，卻沒有行列式或雙側逆矩陣。

3 完整的線性無關坐標例子

取欄向量 $u_1=(1,1,0)$、$u_2=(0,1,1)$、$u_3=(1,0,1)$：

$$A=\begin{pmatrix}1&0&1\\1&1&0\\0&1&1\end{pmatrix},\qquad\det A=2.$$

沿第一行按代數餘子式展開得 $1\cdot1+1\cdot1=2$。因此三欄構成 $\mathbb R^3$ 的基。解 $A(a,b,c)^T=(x,y,z)^T$ 得

$$a=\frac{x+y-z}{2},\quad b=\frac{-x+y+z}{2},\quad c=\frac{x-y+z}{2}.$$

故 $(3,2,3)$ 在該基下的唯一坐標為 $(1,1,2)$。逆矩陣是以 $(1,1,-1)$、$(-1,1,1)$、$(1,-1,1)$ 為行的矩陣的一半；相乘可驗證單位矩陣。該基張成整個空間，而前面的相關欄只張成一個平面。

4 內積、歐氏範數與正交性

歐氏內積為 $u\cdot v=\sum_i u_iv_i$，範數為 $\|u\|=\sqrt{u\cdot u}$。正交向量的點積為零。

對剛定義了內積的歐氏空間 $V=\mathbb R^n$，以下估計成立。

定理

Cauchy-Schwarz 不等式

對所有向量 $v,w\in V$，

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

而且等號成立當且僅當 $v$ 與 $w$ 線性相關。

證明

用二次多項式證明

先考慮 $w=0$。此時 Cauchy-Schwarz 的兩邊同為 $0$，等號立即成立；而 包含零向量的一對向量必定線性相關。因此，不等式和上述等號條件在這個 情況都成立。

現在假設 $w\ne0$，並考慮函數

$$F(t)=\|tw-v\|^2.$$

由於範數平方永遠非負，所以對所有實數 $t$ 都有 $F(t)\ge0$。把它展 開得

$$F(t)=t^2\langle w,w\rangle-2t\langle v,w\rangle+\langle v,v\rangle.$$

由於首項係數是 $\|w\|^2>0$，這是一個真正的二次多項式。它對所有實數 都非負，因此其判別式不能為正：

$$4\langle v,w\rangle^2-4\|v\|^2\|w\|^2\le0.$$

於是

$$|\langle v,w\rangle|\le\|v\|\,\|w\|.$$

在 $w\ne0$ 的情況，Cauchy-Schwarz 取等當且僅當判別式為零，亦即 $F(t)$ 有實根。這表示存在某個實數 $t$ 使 $tw-v=0$，所以 $v$ 是 $w$ 的純量倍。反過來，若 $v$ 與 $w$ 線性相關，因 $w\ne0$，可寫成 $v=tw$，直接代入便得等號。連同 $w=0$ 的情況，這就證明了完整的等號 條件，包括其中一個或兩個向量都是零向量的所有情況。

定理

三角不等式

對所有向量 $u,v\in V$，

$$\|u+v\|\le\|u\|+\|v\|.$$

而且等號成立當且僅當 $u$ 與 $v$ 其中一個是另一個的非負純量倍，包括 其中一個是零向量的情況。

證明

兩個估計的等號必須同時成立

這裏要追蹤連續的兩個等號缺口：

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|$$

第一個缺口控制內積的符號，第二個控制線性相關性。零向量情況分開處理， 因此不需要在這些情況下歸一化。

由

$$\|u+v\|^2 =\langle u+v,u+v\rangle =\|u\|^2+2\langle u,v\rangle+\|v\|^2$$

及 Cauchy-Schwarz，

$$\langle u,v\rangle\le|\langle u,v\rangle|\le\|u\|\,\|v\|,$$

可得

$$\|u+v\|^2\le\|u\|^2+2\|u\|\,\|v\|+\|v\|^2=(\|u\|+\|v\|)^2.$$

兩邊取平方根便得到

$$\|u+v\|\le\|u\|+\|v\|.$$

要在最後取等，上面一連串的兩個估計都必須取等。第一個估計要求 $\langle u,v\rangle=|\langle u,v\rangle|$，即內積非負； Cauchy-Schwarz 的界取等則要求 $u$ 與 $v$ 線性相關。若兩個向量都非 零，可寫成 $v=\lambda u$，而 $\langle u,v\rangle=\lambda\|u\|^2\ge0$ 迫使 $\lambda\ge0$。若其中 一個是零向量，等號立即成立，而零向量也是另一個向量的非負純量倍。反 過來，直接代入可見，符合這個非負純量倍條件的向量必定取等。因此，兩 個非零向量方向相反時雖會令 Cauchy-Schwarz 取等，卻不會令三角不等式 取等。

對非零 $v$，$u$ 沿它的向量分量為 $[(u\cdot v)/(v\cdot v)]v$。減去該分量得到正交殘差，因為殘差與 $v$ 的點積為零。例如將 $(2,1)$ 投影到 $(1,1)$ 上得 $(3/2,3/2)$，殘差為 $(1/2,-1/2)$。這種幾何是最小二乘會計章節的基礎。

5 分級練習

E1 基礎。 對 $A=\begin{pmatrix}1&2\\0&1\end{pmatrix}$、$B=\begin{pmatrix}2&0\\0&1\end{pmatrix}$，計算 $AB$ 和 $BA$。

E2 行列式。 求 $\begin{pmatrix}1&2&3\\0&2&1\\0&0&4\end{pmatrix}$ 的行列式與秩。

E3 相關性。 判斷 $(1,0,1),(0,1,1),(2,3,5)$ 是否線性無關，並找出一個非零系數的零組合。

E4 投影。 將 $(1,2,3)$ 投影到 $(1,1,1)$ 張成的直線上，並求殘差範數。

6 完整解答

S1. $AB=\begin{pmatrix}2&2\\0&1\end{pmatrix}$，而 $BA=\begin{pmatrix}2&4\\0&1\end{pmatrix}$。不同次序產生不同變換。

S2. 三角矩陣的結構給出行列式 $1\cdot2\cdot4=8$。它非零，故秩為 3，核為零。

S3. 第三個向量等於第一個的兩倍加第二個的三倍。因此 $-2v_1-3v_2+v_3=0$ 是非零系數組合；該向量組相關，與前兩個向量張成同一個二維平面。

S4. 系數為 $(1+2+3)/3=2$，故投影為 $(2,2,2)$。殘差為 $(-1,0,1)$，與直線正交，範數為 $\sqrt2$。

總結

矩陣運算編碼線性組合與複合。張成空間和零空間識別可能輸出與不可見變化；線性無關和基決定坐標的唯一性。行列式檢測方陣可逆性，歐氏內積則提供正交和投影所需的幾何。