有限實矩陣乘法法則的證明
設 m , n , p , q m,n,p,q m , n , p , q A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n B ∈ R n × p B\in\mathbb R^{n\times p} B ∈ R n × p C ∈ R p × q C\in\mathbb R^{p\times q} C ∈ R p × q ( i , ℓ ) (i,\ell) ( i , ℓ )
( ( A B ) C ) i ℓ = ∑ k = 1 p ( ∑ j = 1 n a i j b j k ) c k ℓ = ∑ j = 1 n a i j ( ∑ k = 1 p b j k c k ℓ ) = ( A ( B C ) ) i ℓ . \begin{aligned}
((AB)C)_{i\ell}
&=\sum_{k=1}^{p}\left(\sum_{j=1}^{n}a_{ij}b_{jk}\right)c_{k\ell}\\
&=\sum_{j=1}^{n}a_{ij}\left(\sum_{k=1}^{p}b_{jk}c_{k\ell}\right)
=(A(BC))_{i\ell}.
\end{aligned} (( A B ) C ) i ℓ = k = 1 ∑ p ( j = 1 ∑ n a ij b j k ) c k ℓ = j = 1 ∑ n a ij ( k = 1 ∑ p b j k c k ℓ ) = ( A ( B C ) ) i ℓ . 中間等號只交換兩個有限和的求和次序，並使用實數分配律。兩邊同為 m × q m\times q m × q
對 D ∈ R n × p D\in\mathbb R^{n\times p} D ∈ R n × p
[ A ( B + D ) ] i k = ∑ j = 1 n a i j ( b j k + d j k ) = ( A B ) i k + ( A D ) i k . [A(B+D)]_{ik}=\sum_{j=1}^{n}a_{ij}(b_{jk}+d_{jk})
=(AB)_{ik}+(AD)_{ik}. [ A ( B + D ) ] ik = j = 1 ∑ n a ij ( b j k + d j k ) = ( A B ) ik + ( A D ) ik . 對 E ∈ R m × n E\in\mathbb R^{m\times n} E ∈ R m × n
[ ( A + E ) B ] i k = ∑ j = 1 n ( a i j + e i j ) b j k = ( A B ) i k + ( E B ) i k . [(A+E)B]_{ik}=\sum_{j=1}^{n}(a_{ij}+e_{ij})b_{jk}
=(AB)_{ik}+(EB)_{ik}. [( A + E ) B ] ik = j = 1 ∑ n ( a ij + e ij ) b j k = ( A B ) ik + ( E B ) ik . 所以在所寫的相容大小下，兩條分配律均成立。對任意實純量 c c c
[ ( c A ) B ] i k = ∑ j ( c a i j ) b j k = c ∑ j a i j b j k = ∑ j a i j ( c b j k ) = [ A ( c B ) ] i k , [(cA)B]_{ik}=\sum_j(ca_{ij})b_{jk}
=c\sum_j a_{ij}b_{jk}
=\sum_j a_{ij}(cb_{jk})=[A(cB)]_{ik}, [( c A ) B ] ik = j ∑ ( c a ij ) b j k = c j ∑ a ij b j k = j ∑ a ij ( c b j k ) = [ A ( c B ) ] ik , 逐項相等便證明 ( c A ) B = c ( A B ) = A ( c B ) (cA)B=c(AB)=A(cB) ( c A ) B = c ( A B ) = A ( c B ) x , y ∈ R n x,y\in\mathbb R^n x , y ∈ R n s , t s,t s , t
[ A ( s x + t y ) ] i = ∑ j a i j ( s x j + t y j ) = s ( A x ) i + t ( A y ) i . [A(sx+ty)]_i=\sum_j a_{ij}(sx_j+ty_j)
=s(Ax)_i+t(Ay)_i. [ A ( s x + t y ) ] i = j ∑ a ij ( s x j + t y j ) = s ( A x ) i + t ( A y ) i . 這證明了比較同一線性系統的解時所用的矩陣乘向量線性性質。所有恆等式都只針對大小相容的有限實矩陣，不聲稱任意矩陣因子可交換或可消去。
由單位矩陣建立初等矩陣
假設一個初等 行變換 ρ \rho ρ p p p I p I_p I p I p I_p I p E ρ E_\rho E ρ c c c 1 / c 1/c 1/ c
定義
初等行變換矩陣 與 p p p ρ \rho ρ 初等行變換矩陣 ，就是把
ρ \rho ρ I p I_p I p p × p p \times p p × p
這種矩陣亦簡稱初等矩陣 ；較長的名稱可以明確指出它與指定行變換的關係。
換句話說，
E ρ = ρ ( I p ) . E_\rho = \rho(I_p). E ρ = ρ ( I p ) . 這個定義有用，是因為以下定理。
定理
初等行變換等同於左乘矩陣 設 A A A p p p ρ \rho ρ ρ ( A ) \rho(A) ρ ( A ) A A A
ρ ( A ) = E ρ A . \rho(A) = E_\rho A. ρ ( A ) = E ρ A . 所以，對 A A A I p I_p I p A A A
這裏必須是左乘。初等行變換改變的是行，會把新行寫成舊行的線性組合；左乘正是把
A A A
維數亦說明了同一點。若 A A A p × n p \times n p × n E ρ E_\rho E ρ p × p p \times p p × p E ρ A E_\rho A E ρ A p × n p \times n p × n A A A n n n n × n n \times n n × n
為甚麼左乘會執行指定行變換
證明
對三類初等行變換逐行驗證 把任意 p × n p \times n p × n A A A a 1 , a 2 , … , a p a_1,a_2,\ldots,a_p a 1 , a 2 , … , a p e k T e_k^{\mathsf T} e k T I p I_p I p k k k
e k T A = a k e_k^{\mathsf T}A=a_k e k T A = a k 表示左乘矩陣的一行會選取 A A A
對 R i ↔ R j R_i\leftrightarrow R_j R i ↔ R j E ρ E_\rho E ρ i i i e j T e_j^{\mathsf T} e j T j j j e i T e_i^{\mathsf T} e i T k k k e k T e_k^{\mathsf T} e k T E ρ A E_\rho A E ρ A A A A i , j i,j i , j
對 R i ← c R i R_i\leftarrow cR_i R i ← c R i c ≠ 0 c\ne0 c = 0 E ρ E_\rho E ρ i i i c e i T c e_i^{\mathsf T} c e i T i i i
( c e i T ) A = c a i , (c e_i^{\mathsf T})A=c a_i, ( c e i T ) A = c a i , 而每個 k ≠ i k\ne i k = i k k k a k a_k a k
對 R j ← R j + c R i R_j\leftarrow R_j+cR_i R j ← R j + c R i i ≠ j i\ne j i = j E ρ E_\rho E ρ j j j e j T + c e i T e_j^{\mathsf T}+c e_i^{\mathsf T} e j T + c e i T j j j
( e j T + c e i T ) A = a j + c a i , (e_j^{\mathsf T}+c e_i^{\mathsf T})A=a_j+c a_i, ( e j T + c e i T ) A = a j + c a i , 正是指定的行加法。
三類情形窮盡了初等行變換，因此對每個相容矩陣 A A A E ρ A = ρ ( A ) E_\rho A=\rho(A) E ρ A = ρ ( A ) ρ \rho ρ
作用於增廣矩陣
假設 A x = b Ax=b A x = b [ A ∣ b ] [A\mid b] [ A ∣ b ]
E ρ [ A ∣ b ] = [ E ρ A ∣ E ρ b ] . E_\rho[A\mid b]=[E_\rho A\mid E_\rho b]. E ρ [ A ∣ b ] = [ E ρ A ∣ E ρ b ] . 因此，係數和右端常數會接受完全相同的行組合。向量 x x x A x = b Ax=b A x = b E ρ A x = E ρ b E_\rho Ax=E_\rho b E ρ A x = E ρ b E ρ E_\rho E ρ
若只改 A A A b b b b b b
一串初等行變換就是一個矩陣乘積
真正的用途不只是表示一個初等步驟，而是把整串初等行變換寫成一個矩陣乘積。
定理
一串初等行變換的乘積表示 假設
A 1 → ρ 1 A 2 → ρ 2 A 3 → ρ 3 ⋯ → ρ k A k + 1 . A_1 \xrightarrow{\rho_1} A_2 \xrightarrow{\rho_2} A_3
\xrightarrow{\rho_3} \cdots \xrightarrow{\rho_k} A_{k+1}. A 1 ρ 1 A 2 ρ 2 A 3 ρ 3 ⋯ ρ k A k + 1 . 則
A k + 1 = E ρ k E ρ k − 1 ⋯ E ρ 2 E ρ 1 A 1 . A_{k+1}
= E_{\rho_k}E_{\rho_{k-1}}\cdots E_{\rho_2}E_{\rho_1}A_1. A k + 1 = E ρ k E ρ k − 1 ⋯ E ρ 2 E ρ 1 A 1 . 這裏每個 ρ j \rho_j ρ j
這個公式中的次序很重要。第一個行變換最靠近 A 1 A_1 A 1
A 2 = E ρ 1 A 1 , A 3 = E ρ 2 A 2 = E ρ 2 E ρ 1 A 1 . A_2 = E_{\rho_1}A_1,
\qquad
A_3 = E_{\rho_2}A_2 = E_{\rho_2}E_{\rho_1}A_1. A 2 = E ρ 1 A 1 , A 3 = E ρ 2 A 2 = E ρ 2 E ρ 1 A 1 . 例題
合併兩個行變換 令
A = [ 1 0 1 0 2 1 1 0 0 ] . A =
\begin{bmatrix}
1 & 0 & 1\\
0 & 2 & 1\\
1 & 0 & 0
\end{bmatrix}. A = 1 0 1 0 2 0 1 1 0 . 依次做
ρ 1 : R 2 ← R 2 + R 1 , ρ 2 : R 1 ← R 1 + 2 R 2 . \rho_1:\ R_2 \leftarrow R_2 + R_1,
\qquad
\rho_2:\ R_1 \leftarrow R_1 + 2R_2. ρ 1 : R 2 ← R 2 + R 1 , ρ 2 : R 1 ← R 1 + 2 R 2 . 對應的行變換矩陣是
E ρ 1 = [ 1 0 0 1 1 0 0 0 1 ] , E ρ 2 = [ 1 2 0 0 1 0 0 0 1 ] . E_{\rho_1} =
\begin{bmatrix}
1 & 0 & 0\\
1 & 1 & 0\\
0 & 0 & 1
\end{bmatrix},
\qquad
E_{\rho_2} =
\begin{bmatrix}
1 & 2 & 0\\
0 & 1 & 0\\
0 & 0 & 1
\end{bmatrix}. E ρ 1 = 1 1 0 0 1 0 0 0 1 , E ρ 2 = 1 0 0 2 1 0 0 0 1 . 兩個操作完成後，結果就是
E ρ 2 E ρ 1 A = [ 3 2 0 1 1 0 0 0 1 ] [ 1 0 1 0 2 1 1 0 0 ] = [ 3 4 5 1 2 2 1 0 0 ] . E_{\rho_2}E_{\rho_1}A
=
\begin{bmatrix}
3&2&0\\
1&1&0\\
0&0&1
\end{bmatrix}
\begin{bmatrix}
1&0&1\\
0&2&1\\
1&0&0
\end{bmatrix}
=
\begin{bmatrix}
3&4&5\\
1&2&2\\
1&0&0
\end{bmatrix}. E ρ 2 E ρ 1 A = 3 1 0 2 1 0 0 0 1 1 0 1 0 2 0 1 1 0 = 3 1 1 4 2 0 5 2 0 . 若不想直接相乘 E ρ 2 E ρ 1 E_{\rho_2}E_{\rho_1} E ρ 2 E ρ 1 I 3 I_3 I 3 2 2 2
反向行變換與逆矩陣
每個初等行變換都有反向操作：
R j ← R j + c R i R_j \leftarrow R_j + cR_i R j ← R j + c R i R j ← R j − c R i R_j \leftarrow R_j - cR_i R j ← R j − c R i R i ← c R i R_i \leftarrow cR_i R i ← c R i c ≠ 0 c \ne 0 c = 0 R i ← ( 1 / c ) R i R_i \leftarrow (1/c)R_i R i ← ( 1/ c ) R i 交換兩行的反向操作仍然是同一次交換。
這給出一個精確的矩陣敘述。
定理
初等行變換矩陣都是可逆矩陣 每個初等行變換矩陣都是可逆的。它的逆矩陣，就是反向初等行變換所對應的
初等行變換矩陣。
證明
為甚麼反向矩陣是雙側逆矩陣 設 E ρ E_\rho E ρ ρ \rho ρ E ρ − 1 E_{\rho^{-1}} E ρ − 1 p p p X X X ρ \rho ρ X X X
E ρ − 1 E ρ X = X . E_{\rho^{-1}}E_\rho X=X. E ρ − 1 E ρ X = X . 這個等式對每個這樣的 X X X X = I p X=I_p X = I p E ρ − 1 E ρ = I p E_{\rho^{-1}}E_\rho=I_p E ρ − 1 E ρ = I p ρ \rho ρ E ρ E ρ − 1 = I p E_\rho E_{\rho^{-1}}=I_p E ρ E ρ − 1 = I p
E ρ − 1 = E ρ − 1 . E_\rho^{-1}=E_{\rho^{-1}}. E ρ − 1 = E ρ − 1 . 具體來說，交換兩行的逆仍是同一次交換；乘以 c ≠ 0 c\ne0 c = 0 1 / c 1/c 1/ c i i i c c c j j j − c -c − c i i i
例如，若
E = [ 1 0 0 3 1 0 0 0 1 ] E =
\begin{bmatrix}
1 & 0 & 0\\
3 & 1 & 0\\
0 & 0 & 1
\end{bmatrix} E = 1 3 0 0 1 0 0 0 1 表示 R 2 ← R 2 + 3 R 1 R_2 \leftarrow R_2 + 3R_1 R 2 ← R 2 + 3 R 1
E − 1 = [ 1 0 0 − 3 1 0 0 0 1 ] E^{-1} =
\begin{bmatrix}
1 & 0 & 0\\
-3 & 1 & 0\\
0 & 0 & 1
\end{bmatrix} E − 1 = 1 − 3 0 0 1 0 0 0 1 表示 R 2 ← R 2 − 3 R 1 R_2 \leftarrow R_2 - 3R_1 R 2 ← R 2 − 3 R 1
這就是初等行變換可逆的代數原因，也解釋了為甚麼行化簡和可逆矩陣有密切關係。
證明
先撤銷最後一步操作 設 E 1 , … , E k E_1,\ldots,E_k E 1 , … , E k p p p J = E k ⋯ E 1 J=E_k\cdots E_1 J = E k ⋯ E 1 E j − 1 E_j^{-1} E j − 1 E k E_k E k E k − 1 , … , E 1 E_{k-1},\ldots,E_1 E k − 1 , … , E 1
K = E 1 − 1 E 2 − 1 ⋯ E k − 1 . K=E_1^{-1}E_2^{-1}\cdots E_k^{-1}. K = E 1 − 1 E 2 − 1 ⋯ E k − 1 . 這裏必須區分兩種次序：反向操作的時間順序從 E k − 1 E_k^{-1} E k − 1
K J = E 1 − 1 E 2 − 1 ( E 3 − 1 E 3 ) E 2 E 1 = E 1 − 1 ( E 2 − 1 E 2 ) E 1 = I p . KJ=E_1^{-1}E_2^{-1}(E_3^{-1}E_3)E_2E_1
=E_1^{-1}(E_2^{-1}E_2)E_1=I_p. K J = E 1 − 1 E 2 − 1 ( E 3 − 1 E 3 ) E 2 E 1 = E 1 − 1 ( E 2 − 1 E 2 ) E 1 = I p . 另一個乘積 J K JK J K E 1 E 1 − 1 E_1E_1^{-1} E 1 E 1 − 1 I p I_p I p
把這個讀法用於前面的兩步例子：合併矩陣是 E ρ 2 E ρ 1 E_{\rho_2}E_{\rho_1} E ρ 2 E ρ 1 E ρ 1 − 1 E ρ 2 − 1 E_{\rho_1}^{-1}E_{\rho_2}^{-1} E ρ 1 − 1 E ρ 2 − 1 [ 1 0 1 ] [1\ 0\ 1] [ 1 0 1 ] [ 0 2 1 ] [0\ 2\ 1] [ 0 2 1 ]
有限消元必停止，並保持解集
設 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n b ∈ R m b\in\mathbb R^m b ∈ R m m , n m,n m , n A x = b Ax=b A x = b
從左到右掃描係數欄，並記錄下一未使用行。若當前欄在未使用行中有非零元素，就將其所在行交換到下一位置，除以非零主元，再從其餘各行減去適當倍數，清空該欄其他元素，然後推進未使用行指標。若該欄所有未使用位置都是零，就跳過該欄。先前主元欄始終是單位欄：當前未使用行在這些欄均為零，所以新主元行以及後續減法保留這些零與原主元。總共只有 n n n min ( m , n ) \min(m,n) min ( m , n )
解的分類與齊次自由度
令 r r r 0 = c 0=c 0 = c n − r n-r n − r r = n r=n r = n r < n r<n r < n
對 A z = 0 Az=0 A z = 0 r < n r<n r < n r = n r=n r = n x p x_p x p x p + z x_p+z x p + z A z = 0 Az=0 A z = 0
當 A A A I I I E E E E A = I EA=I E A = I E E E A = E − 1 A=E^{-1} A = E − 1 A E = I AE=I A E = I E E E [ A ∣ I ] [A\mid I] [ A ∣ I ] [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ]
不預設計數結論的有限基存在與擴充
設實向量空間 V V V t 1 , … , t N t_1,\ldots,t_N t 1 , … , t N u 1 , … , u k u_1,\ldots,u_k u 1 , … , u k N N N j j j u 1 , … , u j u_1,\ldots,u_j u 1 , … , u j N − j N-j N − j u j + 1 u_{j+1} u j + 1 u i u_i u i u j + 1 u_{j+1} u j + 1 k > N k>N k > N N N N N N N V V V u N + 1 u_{N+1} u N + 1 N = 0 N=0 N = 0
每個子空間 W W W W W W W W W N N N W W W W = { 0 } W=\{0\} W = { 0 } W W W W W W p , q p,q p , q p ≤ q p\le q p ≤ q q ≤ p q\le p q ≤ p
固定一個矩陣，就得到兩個子空間：
由各欄向量張成的子空間；
由各行向量張成的子空間。
它們分別描述矩陣的可能輸出，以及各行能生成的線性方程。
對於方程組 A x = b Ax = b A x = b b b b
各行實際上保存了多少獨立的線性資訊？
把冗餘完全刪走之後，還剩下多少個真正獨立的方向？
答案就是矩陣的 欄空間 、行空間 和 秩 。
欄空間：矩陣可以輸出甚麼？
設 A A A m × n m \times n m × n
A = [ a 1 a 2 ⋯ a n ] . A = \begin{bmatrix} a_1 & a_2 & \cdots & a_n \end{bmatrix}. A = [ a 1 a 2 ⋯ a n ] . 定義
欄空間 矩陣 A A A 欄空間 ，記作 C ( A ) C(A) C ( A ) A A A
C ( A ) = Span { a 1 , a 2 , … , a n } . C(A) = \operatorname{Span}\{a_1, a_2, \ldots, a_n\}. C ( A ) = Span { a 1 , a 2 , … , a n } . 它是 R m R^m R m
這個定義最有用的讀法，是經由矩陣乘法理解。
如果 x = ( x 1 , … , x n ) t x = (x_1, \ldots, x_n)^t x = ( x 1 , … , x n ) t
A x = x 1 a 1 + x 2 a 2 + ⋯ + x n a n . Ax = x_1 a_1 + x_2 a_2 + \cdots + x_n a_n. A x = x 1 a 1 + x 2 a 2 + ⋯ + x n a n . 所以任何形如 A x Ax A x A x Ax A x
定理
欄空間就是所有可能輸出 對任何 m × n m \times n m × n A A A
C ( A ) = { A x : x ∈ R n } . C(A) = \{Ax : x \in R^n\}. C ( A ) = { A x : x ∈ R n } . 因此一個向量 b ∈ R m b \in R^m b ∈ R m C ( A ) C(A) C ( A ) A x = b Ax = b A x = b
行空間：各行帶着甚麼線性資訊？
將 A A A r 1 , … , r m r_1,\ldots,r_m r 1 , … , r m 1 × n 1\times n 1 × n R n \mathbb R^n R n
定義
行空間 矩陣 A A A 行空間 定義為
R ( A ) = Span { r 1 T , … , r m T } = C ( A T ) = { A T s : s ∈ R m } . R(A)=\operatorname{Span}\{r_1^T,\ldots,r_m^T\}=C(A^T)
=\{A^Ts:s\in\mathbb R^m\}. R ( A ) = Span { r 1 T , … , r m T } = C ( A T ) = { A T s : s ∈ R m } . 它是 R n \mathbb R^n R n
因此 x ∈ R ( A ) x\in R(A) x ∈ R ( A ) s ∈ R m s\in\mathbb R^m s ∈ R m x = A T s x=A^Ts x = A T s x T = s T A x^T=s^TA x T = s T A x T x^T x T A A A R ( A ) = C ( A T ) R(A)=C(A^T) R ( A ) = C ( A T )
比較空間之前，必須檢查所在空間的維數。A A A m m m C ( A ) ⊆ R m C(A)\subseteq\mathbb R^m C ( A ) ⊆ R m n n n R ( A ) ⊆ R n R(A)\subseteq\mathbb R^n R ( A ) ⊆ R n A T A^T A T C ( A ) = R ( A T ) C(A)=R(A^T) C ( A ) = R ( A T ) m = n m=n m = n
秩：數清楚獨立方向有多少個
欄空間的維數叫做 欄秩 ，
行空間的維數叫做 行秩 。
線性代數一條核心定理告訴我們，這兩個數其實相等。
定義
秩 矩陣 A A A 秩 定義為其 RREF 中主元的個數 r r r
rank ( A ) = dim C ( A ) = dim R ( A ) . \operatorname{rank}(A) = \dim C(A) = \dim R(A). rank ( A ) = dim C ( A ) = dim R ( A ) . 當你把矩陣行化簡到 RREF 之後，主元欄的數目正正就是秩。
所以秩衡量的，是去除所有冗餘之後，還保留了多少個獨立方向。
ℹ️ 選取基底的規則
要找 C ( A ) C(A) C ( A ) 原矩陣 A A A 。
要找 R ( A ) R(A) R ( A ) A A A RREF 的所有非零行的轉置 。
主元位置由 RREF 讀出，但欄空間的基底向量一定要回到原矩陣中取得。
例題：由一次行化簡讀出欄空間、行空間與秩
例題
由同一個矩陣讀出欄空間、行空間與秩 考慮
A = [ 1 2 1 3 0 1 1 1 1 3 2 4 ] . A =
\begin{bmatrix}
1 & 2 & 1 & 3 \\
0 & 1 & 1 & 1 \\
1 & 3 & 2 & 4
\end{bmatrix}. A = 1 0 1 2 1 3 1 1 2 3 1 4 . 行化簡得到
A ∼ [ 1 0 − 1 1 0 1 1 1 0 0 0 0 ] = R . A \sim
\begin{bmatrix}
1 & 0 & -1 & 1 \\
0 & 1 & 1 & 1 \\
0 & 0 & 0 & 0
\end{bmatrix}
= R. A ∼ 1 0 0 0 1 0 − 1 1 0 1 1 0 = R . 可以依次執行 R 3 ← R 3 − R 1 R_3\leftarrow R_3-R_1 R 3 ← R 3 − R 1 R 3 ← R 3 − R 2 R_3\leftarrow R_3-R_2 R 3 ← R 3 − R 2 R 1 ← R 1 − 2 R 2 R_1\leftarrow R_1-2R_2 R 1 ← R 1 − 2 R 2
這裏有兩個主元欄，也就是第 1 1 1 2 2 2
將 A A A
c 1 = [ 1 0 1 ] , c 2 = [ 2 1 3 ] , c 3 = [ 1 1 2 ] , c 4 = [ 3 1 4 ] . c_1 =
\begin{bmatrix}
1 \\ 0 \\ 1
\end{bmatrix},
\quad
c_2 =
\begin{bmatrix}
2 \\ 1 \\ 3
\end{bmatrix},
\quad
c_3 =
\begin{bmatrix}
1 \\ 1 \\ 2
\end{bmatrix},
\quad
c_4 =
\begin{bmatrix}
3 \\ 1 \\ 4
\end{bmatrix}. c 1 = 1 0 1 , c 2 = 2 1 3 , c 3 = 1 1 2 , c 4 = 3 1 4 . 因此欄空間的一組基底是
{ c 1 , c 2 } . \{c_1, c_2\}. { c 1 , c 2 } . 因為其餘欄都可以由它們表示：
c 3 = − c 1 + c 2 , c 4 = c 1 + c 2 . c_3 = -c_1 + c_2,
\qquad
c_4 = c_1 + c_2. c 3 = − c 1 + c 2 , c 4 = c 1 + c 2 . 至於行空間，就用 R R R
{ ( 1 , 0 , − 1 , 1 ) T , ( 0 , 1 , 1 , 1 ) T } . \{(1, 0, -1, 1)^T, (0, 1, 1, 1)^T\}. {( 1 , 0 , − 1 , 1 ) T , ( 0 , 1 , 1 , 1 ) T } . 因此
dim C ( A ) = 2 , dim R ( A ) = 2 , rank ( A ) = 2. \dim C(A) = 2,
\qquad
\dim R(A) = 2,
\qquad
\operatorname{rank}(A) = 2. dim C ( A ) = 2 , dim R ( A ) = 2 , rank ( A ) = 2. 最後，如果
b = [ 5 2 7 ] , b =
\begin{bmatrix}
5 \\ 2 \\ 7
\end{bmatrix}, b = 5 2 7 , 那麼 b ∈ C ( A ) b \in C(A) b ∈ C ( A )
b = c 1 + 2 c 2 . b = c_1 + 2c_2. b = c 1 + 2 c 2 . 等價地，方程組 A x = b Ax = b A x = b
這張靜態圖整理上面的例題：主元位置由 RREF 讀出，欄空間的基底向量取自原矩陣，RREF 非零行的轉置形成行空間的一組基底，而兩個空間的維數同樣等於秩。
一次 RREF 給出的三個結果
下方圖解重新整理同一個例題。請區分從 RREF 讀出的資訊，以及必須回到原矩陣取得的欄空間基底向量。
行化簡時，究竟保留了甚麼？
行化簡保留其中一部分結構，也會改變另一部分結構。
定理
可逆乘法保留哪些空間 設 A A A m × n m\times n m × n G G G n × n n\times n n × n H H H m × m m\times m m × m
C ( A G ) = C ( A ) , R ( H A ) = R ( A ) . C(AG)=C(A),\qquad R(HA)=R(A). C ( A G ) = C ( A ) , R ( H A ) = R ( A ) . 特別地，行等價矩陣具有相同行空間；它們的欄空間卻未必相等。
證明
在反向包含中使用逆矩陣 若 y ∈ C ( A G ) y\in C(AG) y ∈ C ( A G ) y = A G s = A ( G s ) y=AGs=A(Gs) y = A G s = A ( G s ) y ∈ C ( A ) y\in C(A) y ∈ C ( A ) y = A t ∈ C ( A ) y=At\in C(A) y = A t ∈ C ( A ) s = G − 1 t s=G^{-1}t s = G − 1 t A G s = A G G − 1 t = A t = y AGs=AGG^{-1}t=At=y A G s = A G G − 1 t = A t = y
現在 ( H A ) T = A T H T (HA)^T=A^TH^T ( H A ) T = A T H T H T H^T H T ( H − 1 ) T (H^{-1})^T ( H − 1 ) T R ( H A ) = C ( A T H T ) = C ( A T ) = R ( A ) R(HA)=C(A^TH^T)=C(A^T)=R(A) R ( H A ) = C ( A T H T ) = C ( A T ) = R ( A ) H H H
左乘對輸出有不同作用：C ( H A ) = { H y : y ∈ C ( A ) } C(HA)=\{Hy:y\in C(A)\} C ( H A ) = { H y : y ∈ C ( A )} ( H A ) x = H ( A x ) (HA)x=H(Ax) ( H A ) x = H ( A x ) R m \mathbb R^m R m A , B A,B A , B H H H C ( A ) = C ( B ) C(A)=C(B) C ( A ) = C ( B ) C ( H A ) = C ( H B ) C(HA)=C(HB) C ( H A ) = C ( H B ) H H H H − 1 H^{-1} H − 1
為甚麼基底規則與秩相等成立
定理
主元基底與行欄秩相等 設實 m × n m\times n m × n A A A Q Q Q r r r j 1 , … , j r j_1,\ldots,j_r j 1 , … , j r a j 1 , … , a j r a_{j_1},\ldots,a_{j_r} a j 1 , … , a j r C ( A ) C(A) C ( A ) Q Q Q r r r R ( A ) R(A) R ( A )
dim C ( A ) = r = dim R ( A ) = rank ( A ) . \dim C(A)=r=\dim R(A)=\operatorname{rank}(A). dim C ( A ) = r = dim R ( A ) = rank ( A ) . 證明
先保留係數再檢查主元座標 寫成 Q = H A Q=HA Q = H A H H H Q Q Q q j q_j q j c ∈ R n c\in\mathbb R^n c ∈ R n
∑ j = 1 n c j q j = H ( ∑ j = 1 n c j a j ) . \sum_{j=1}^n c_jq_j=H\left(\sum_{j=1}^n c_ja_j\right). j = 1 ∑ n c j q j = H ( j = 1 ∑ n c j a j ) . 左邊為零當且僅當括號內的和為零：一個方向乘以 H H H H − 1 H^{-1} H − 1
Q Q Q q j q_j q j Q 1 j , … , Q r j Q_{1j},\ldots,Q_{rj} Q 1 j , … , Q r j r r r a j a_j a j Q Q Q
對於行基底，已知 R ( Q ) = R ( A ) R(Q)=R(A) R ( Q ) = R ( A ) d 1 , … , d r d_1,\ldots,d_r d 1 , … , d r j i j_i j i i i i d i d_i d i r r r r = 0 r=0 r = 0
這說明為甚麼行化簡為欄基底提供位置，卻為行基底直接提供向量。交換行欄空間，還得到 rank ( A T ) = rank ( A ) \operatorname{rank}(A^T)=\operatorname{rank}(A) rank ( A T ) = rank ( A ) m × n m\times n m × n min ( m , n ) \min(m,n) min ( m , n )
維數相等不能確定空間相等
例題
同一個方陣的兩個不同空間 考慮
D = [ 1 0 0 1 0 2 0 1 0 0 3 1 0 0 0 0 ] . D=\begin{bmatrix}1&0&0&1\\0&2&0&1\\0&0&3&1\\0&0&0&0\end{bmatrix}. D = 1 0 0 0 0 2 0 0 0 0 3 0 1 1 1 0 . 前三欄線性獨立，因為零組合的前三個座標迫使全部係數為零。第四欄等於第一欄加第二欄的一半，再加第三欄的三分之一。因此 C ( D ) = { ( a , b , c , 0 ) T : a , b , c ∈ R } C(D)=\{(a,b,c,0)^T:a,b,c\in\mathbb R\} C ( D ) = {( a , b , c , 0 ) T : a , b , c ∈ R } a , b / 2 , c / 3 a,b/2,c/3 a , b /2 , c /3
非零行的轉置是 ( 1 , 0 , 0 , 1 ) T (1,0,0,1)^T ( 1 , 0 , 0 , 1 ) T ( 0 , 2 , 0 , 1 ) T (0,2,0,1)^T ( 0 , 2 , 0 , 1 ) T ( 0 , 0 , 3 , 1 ) T (0,0,3,1)^T ( 0 , 0 , 3 , 1 ) T R ( D ) R(D) R ( D )
R ( D ) = { ( a , b , c , a + b / 2 + c / 3 ) T : a , b , c ∈ R } . R(D)=\{(a,b,c,a+b/2+c/3)^T:a,b,c\in\mathbb R\}. R ( D ) = {( a , b , c , a + b /2 + c /3 ) T : a , b , c ∈ R } . 所以 ( 1 , 0 , 0 , 1 ) T ∈ R ( D ) (1,0,0,1)^T\in R(D) ( 1 , 0 , 0 , 1 ) T ∈ R ( D ) C ( D ) C(D) C ( D ) ( 1 , 0 , 0 , 0 ) T ∈ C ( D ) (1,0,0,0)^T\in C(D) ( 1 , 0 , 0 , 0 ) T ∈ C ( D ) R 4 \mathbb R^4 R 4 1 / 2 1/2 1/2 1 / 3 1/3 1/3
反例模式
行化簡可以改變欄空間 錯誤命題。 行等價矩陣具有相同的欄空間。
取
A 0 = [ 1 0 1 0 ] , H = [ 1 0 − 1 1 ] , B 0 = H A 0 = [ 1 0 0 0 ] . A_0=\begin{bmatrix}1&0\\1&0\end{bmatrix},\qquad
H=\begin{bmatrix}1&0\\-1&1\end{bmatrix},\qquad
B_0=HA_0=\begin{bmatrix}1&0\\0&0\end{bmatrix}. A 0 = [ 1 1 0 0 ] , H = [ 1 − 1 0 1 ] , B 0 = H A 0 = [ 1 0 0 0 ] . 所做的運算是從第二行減去第一行，加回第一行就是逆運算。直接可得 C ( A 0 ) = Span { ( 1 , 1 ) T } C(A_0)=\operatorname{Span}\{(1,1)^T\} C ( A 0 ) = Span {( 1 , 1 ) T } C ( B 0 ) = Span { ( 1 , 0 ) T } C(B_0)=\operatorname{Span}\{(1,0)^T\} C ( B 0 ) = Span {( 1 , 0 ) T } ( 1 , 0 ) T (1,0)^T ( 1 , 0 ) T t ( 1 , 1 ) T t(1,1)^T t ( 1 , 1 ) T t = 1 t=1 t = 1 t = 0 t=0 t = 0 Span { ( 1 , 0 ) T } \operatorname{Span}\{(1,0)^T\} Span {( 1 , 0 ) T }
修正命題。 行變換保留行空間、秩以及欄關係的係數。實際欄空間變為 C ( H A ) = { H y : y ∈ C ( A ) } C(HA)=\{Hy:y\in C(A)\} C ( H A ) = { H y : y ∈ C ( A )}
判斷向量是否屬於欄空間時也要處理右端
例題
用一個方程描述欄空間 設
M = [ 3 2 1 − 4 − 1 1 − 2 3 2 − 4 6 − 8 ] . M=\begin{bmatrix}3&2&1&-4\\-1&1&-2&3\\2&-4&6&-8\end{bmatrix}. M = 3 − 1 2 2 1 − 4 1 − 2 6 − 4 3 − 8 . 第一行的兩倍加第二行的十六倍，再加第三行的五倍，得到零行。因此每個輸出 b = M x b=Mx b = M x 2 b 1 + 16 b 2 + 5 b 3 = 0 2b_1+16b_2+5b_3=0 2 b 1 + 16 b 2 + 5 b 3 = 0
反過來，假設這個方程成立。只使用前兩欄，係數取為
s = b 1 − 2 b 2 5 , t = b 1 + 3 b 2 5 . s=\frac{b_1-2b_2}{5},\qquad t=\frac{b_1+3b_2}{5}. s = 5 b 1 − 2 b 2 , t = 5 b 1 + 3 b 2 . 它們的組合為 ( 3 s + 2 t , − s + t , 2 s − 4 t ) T (3s+2t,-s+t,2s-4t)^T ( 3 s + 2 t , − s + t , 2 s − 4 t ) T b 1 , b 2 b_1,b_2 b 1 , b 2 ( − 2 b 1 − 16 b 2 ) / 5 = b 3 (-2b_1-16b_2)/5=b_3 ( − 2 b 1 − 16 b 2 ) /5 = b 3 M ( s , t , 0 , 0 ) T = b M(s,t,0,0)^T=b M ( s , t , 0 , 0 ) T = b
C ( M ) = { b ∈ R 3 : 2 b 1 + 16 b 2 + 5 b 3 = 0 } = N ( [ 2 16 5 ] ) . C(M)=\{b\in\mathbb R^3:2b_1+16b_2+5b_3=0\}
=N\!\left(\begin{bmatrix}2&16&5\end{bmatrix}\right). C ( M ) = { b ∈ R 3 : 2 b 1 + 16 b 2 + 5 b 3 = 0 } = N ( [ 2 16 5 ] ) . 對於 v = ( 18 , − 6 , 12 ) T v=(18,-6,12)^T v = ( 18 , − 6 , 12 ) T 36 − 96 + 60 = 0 36-96+60=0 36 − 96 + 60 = 0 w = ( 2 , 1 , − 3 ) T w=(2,1,-3)^T w = ( 2 , 1 , − 3 ) T 4 + 16 − 15 = 5 ≠ 0 4+16-15=5\ne0 4 + 16 − 15 = 5 = 0 M x = w Mx=w M x = w
更一般地，若 Q = H A Q=HA Q = H A r r r A x = b Ax=b A x = b Q x = H b Qx=Hb Q x = H b H b Hb H b m − r m-r m − r r < m r\lt m r < m H H H L L L C ( A ) = N ( L ) C(A)=N(L) C ( A ) = N ( L ) C ( A ) = R m C(A)=\mathbb R^m C ( A ) = R m A A A A A A b b b
常見錯誤
常見錯誤
不要用 RREF 的主元欄直接做欄空間基底 行化簡通常會改變欄空間。所以雖然主元位置 由 RREF 讀出，但 C ( A ) C(A) C ( A )
另一個常見錯誤，是因為欄空間和行空間維數一樣，就說它們是同一個子空間。
維數相同只表示獨立方向的數目相同，不表示兩個子空間本身相等。
快速檢查
思考檢查
如果 A A A 4 × 3 4 \times 3 4 × 3 C ( A ) C(A) C ( A ) R ( A ) R(A) R ( A ) 分別數一數每一欄有多少個分量，以及每一行有多少個分量。
解答 · 答案 C ( A ) C(A) C ( A ) R 4 R^4 R 4 R ( A ) R(A) R ( A ) R 3 R^3 R 3
思考檢查
如果某個矩陣的 RREF 有三個主元欄，它的秩是多少？ 解答 · 答案 練習
思考檢查
設 A = [ 1 0 1 0 1 1 1 1 2 ] A = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ 1 & 1 & 2 \end{bmatrix} A = 1 0 1 0 1 1 1 1 2 解答 · 引導解答 從第三行中減去第一、二行，得到 RREF
[ 1 0 1 0 1 1 0 0 0 ] . \begin{bmatrix}1&0&1\\0&1&1\\0&0&0\end{bmatrix}. 1 0 0 0 1 0 1 1 0 . 恰有兩個主元，位於第一、二欄，所以秩為二。前兩行的主元證明下界，第三行全零則證明上界。
因此欄空間的一組基底是
{ [ 1 0 1 ] , [ 0 1 1 ] } . \left\{
\begin{bmatrix} 1 \\ 0 \\ 1 \end{bmatrix},
\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix}
\right\}. ⎩ ⎨ ⎧ 1 0 1 , 0 1 1 ⎭ ⎬ ⎫ . 第三欄是前兩欄之和，所以沒有提供新方向。
先讀這幾節
這一節特別依賴
2.3 高斯消去與 RREF 、
3.3 轉置、對稱矩陣與反對稱矩陣
和
6.5 基底與維數 。
