唯一算出的分攤結果仍可能對微小數據變化反應強烈。可逆性回答是否存在精確逆;條件性詢問誤差可能被放大多少。分開這兩個問題,才能避免把數學上有效的求解誤認為穩健估計。
有限消元必停止,並保持解集
設 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n 、b ∈ R m b\in\mathbb R^m b ∈ R m ,其中 m , n m,n m , n 是有限正整數。允許的行變換為交換不同的兩行、以非零標量乘一行,以及把一行的標量倍加到另一行。逆變換分別為同一交換、乘以倒數,以及減去該倍數。因此對整個增廣陣施行變換恰好保持 A x = b Ax=b A x = b 的解集:新方程由舊方程推出,逆變換給出反向蘊含。每個行變換也等於左乘把同一變換施於單位矩陣所得的可逆初等矩陣。
從左到右掃描係數欄,並記錄下一未使用行。若當前欄在未使用行中有非零元素,就將其所在行交換到下一位置,除以非零主元,再從其餘各行減去適當倍數,清空該欄其他元素,然後推進未使用行指標。若該欄所有未使用位置都是零,就跳過該欄。先前主元欄始終是單位欄:當前未使用行在這些欄均為零,所以新主元行以及後續減法保留這些零與原主元。總共只有 n n n 次欄掃描及至多 min ( m , n ) \min(m,n) min ( m , n ) 個主元,每次只作有限個行變換,故算法必停止。最後非零係數行的主元欄依次遞增,各主元上下均為零,其餘係數行全零。這證明下面使用的簡化階梯形確實能得到,而非假設它最終出現。
解的分類與齊次自由度
令 r r r 為係數部分的主元數。若某個零係數行對應非零變換後右端,就出現不可能的方程 0 = c 0=c 0 = c ,因此無解。否則任意指定 n − r n-r n − r 個非主元變量的實數值。每個主元行都把其主元變量寫成變換後右端減去自由變量的已知線性組合,其中沒有其他主元變量。這些公式既構造解,也恢復每一個解。若 r = n r=n r = n ,解唯一;若 r < n r<n r < n ,改變自由變量就改變解向量,故有無窮多解。
對 A z = 0 Az=0 A z = 0 ,全部自由變量取零給出零解。若 r < n r<n r < n ,將一個自由變量設為一,其餘設為零,再按主元公式求解,就構造出非零齊次解;若 r = n r=n r = n ,公式迫使所有齊次變量為零。對相容系統固定一個解 x p x_p x p ,兩解相減表明每個解均為 x p + z x_p+z x p + z ,其中 A z = 0 Az=0 A z = 0 ;代入又證明反向包含。
當 A A A 為方陣且每欄都有主元時,係數階梯形為 I I I 。有限個初等矩陣之積 E E E 滿足 E A = I EA=I E A = I 。因為 E E E 可逆,A = E − 1 A=E^{-1} A = E − 1 ,故也有 A E = I AE=I A E = I ,所以 E E E 是雙側逆。若缺少主元,上面構造的非零齊次解排除可逆性。這也證明可逆時,對 [ A ∣ I ] [A\mid I] [ A ∣ I ] 作相同行變換會得到 [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ] 。
1 逆矩陣與消元
方陣 A A A 的逆是滿足 A B = B A = I AB=BA=I A B = B A = I 的矩陣 B B B 。它唯一:若 B , C B,C B , C 都是逆,則 B = B ( A C ) = ( B A ) C = C B=B(AC)=(BA)C=C B = B ( A C ) = ( B A ) C = C 。若 A A A 和 B B B 可逆,( A B ) − 1 = B − 1 A − 1 (AB)^{-1}=B^{-1}A^{-1} ( A B ) − 1 = B − 1 A − 1 ,可通過兩個次序的相乘驗證。次序反轉是因為逆運算必須先撤銷最後一個操作。
行變換是左乘可逆初等矩陣。若消元通過乘積 E E E 將 A A A 化為 I I I ,則 E A = I EA=I E A = I 、E = A − 1 E=A^{-1} E = A − 1 。對 [ A ∣ I ] [A\mid I] [ A ∣ I ] 使用相同行變換得到 [ I ∣ A − 1 ] [I\mid A^{-1}] [ I ∣ A − 1 ] 。
若缺少主元,則齊次方程 A z = 0 Az=0 A z = 0 存在非零解 z z z ,從而排除可逆性。
對 2 × 2 2\times2 2 × 2 矩陣,
A = ( a b c d ) , A − 1 = 1 a d − b c ( d − b − c a ) A=\begin{pmatrix}a&b\\c&d\end{pmatrix},\qquad
A^{-1}=\frac1{ad-bc}\begin{pmatrix}d&-b\\-c&a\end{pmatrix} A = ( a c b d ) , A − 1 = a d − b c 1 ( d − c − b a )
當 a d − b c ≠ 0 ad-bc\ne0 a d − b c = 0 時成立。直接相乘在相除前得到 ( a d − b c ) I (ad-bc)I ( a d − b c ) I ,證明公式。當 a d − b c = 0 ad-bc=0 a d − b c = 0 ,行化簡或明確的欄相依論證表明矩陣奇異。標量 a d − b c ad-bc a d − b c 是行列式。小行列式本身不是與尺度無關的病態程度指標:0.001 I 0.001I 0.001 I 的行列式小,但完全保持相對輸入誤差。
2 接近奇異規則的相互分攤
當 1 − α β ≠ 0 1-\alpha\beta\ne0 1 − α β = 0 ,方程 a = d A + α b a=d_A+\alpha b a = d A + α b 、b = d B + β a b=d_B+\beta a b = d B + β a 的系數矩陣及其逆為
A = ( 1 − α − β 1 ) , A − 1 = 1 1 − α β ( 1 α β 1 ) . A=\begin{pmatrix}1&-\alpha\\-\beta&1\end{pmatrix},\qquad
A^{-1}=\frac1{1-\alpha\beta}\begin{pmatrix}1&\alpha\\\beta&1\end{pmatrix}. A = ( 1 − β − α 1 ) , A − 1 = 1 − α β 1 ( 1 β α 1 ) .
當 α , β ≥ 0 \alpha,\beta\ge0 α , β ≥ 0 且 α β < 1 \alpha\beta<1 α β < 1 ,非負直接成本給出非負總額。分母也說明接近完全相互回收的規則為何可能產生很大的總額。若 α = β = 0.99 \alpha=\beta=0.99 α = β = 0.99 且直接成本為 ( 1 , 1 ) (1,1) ( 1 , 1 ) ,總額為 ( 100 , 100 ) (100,100) ( 100 , 100 ) ;每項直接成本增加 0.01,使每項總額增加 1。
這是絕對 變化放大 100 倍,但本例相對變化並未放大 100 倍:直接和總成本都增加 1%。相對敏感性取決於方向和基準狀態。總額還包含重複內部服務,不應視為新增外部支出。
3 範數與相對誤差界
向量的 ∥ x ∥ ∞ = max i ∣ x i ∣ \|x\|_\infty=\max_i|x_i| ∥ x ∥ ∞ = max i ∣ x i ∣ 。其誘導矩陣範數是最大絕對行和 ∥ A ∥ ∞ = max i ∑ j ∣ a i j ∣ \|A\|_\infty=\max_i\sum_j|a_{ij}| ∥ A ∥ ∞ = max i ∑ j ∣ a ij ∣ 。逐行估計點積給出 ∥ A x ∥ ∞ ≤ ∥ A ∥ ∞ ∥ x ∥ ∞ \|Ax\|_\infty\le\|A\|_\infty\|x\|_\infty ∥ A x ∥ ∞ ≤ ∥ A ∥ ∞ ∥ x ∥ ∞ 。誘導範數次乘性來自兩次使用向量界:∥ A B x ∥ ≤ ∥ A ∥ ∥ B ∥ ∥ x ∥ \|ABx\|\le\|A\|\|B\|\|x\| ∥ A B x ∥ ≤ ∥ A ∥∥ B ∥∥ x ∥ 。
若 A x = b Ax=b A x = b ,A A A 不變而數據改變 δ b \delta b δ b ,則 δ x = A − 1 δ b \delta x=A^{-1}\delta b δ x = A − 1 δ b 。對非零 b b b ,
∥ δ x ∥ ∥ x ∥ ≤ κ ( A ) ∥ δ b ∥ ∥ b ∥ , κ ( A ) = ∥ A ∥ ∥ A − 1 ∥ . \frac{\|\delta x\|}{\|x\|}\le\kappa(A)\frac{\|\delta b\|}{\|b\|},\qquad
\kappa(A)=\|A\|\|A^{-1}\|. ∥ x ∥ ∥ δ x ∥ ≤ κ ( A ) ∥ b ∥ ∥ δ b ∥ , κ ( A ) = ∥ A ∥∥ A − 1 ∥.
證明。 前述界給出 ∥ δ x ∥ ≤ ∥ A − 1 ∥ ∥ δ b ∥ \|\delta x\|\le\|A^{-1}\|\|\delta b\| ∥ δ x ∥ ≤ ∥ A − 1 ∥∥ δ b ∥ 。又 ∥ b ∥ = ∥ A x ∥ ≤ ∥ A ∥ ∥ x ∥ \|b\|=\|Ax\|\le\|A\|\|x\| ∥ b ∥ = ∥ A x ∥ ≤ ∥ A ∥∥ x ∥ ,所以 1 / ∥ x ∥ ≤ ∥ A ∥ / ∥ b ∥ 1/\|x\|\le\|A\|/\|b\| 1/∥ x ∥ ≤ ∥ A ∥/∥ b ∥ 。將兩式相乘。□ \square □
條件數是最壞情況的界,不代表每個擾動都取等。由 1 = ∥ I ∥ ≤ ∥ A ∥ ∥ A − 1 ∥ 1=\|I\|\le\|A\|\|A^{-1}\| 1 = ∥ I ∥ ≤ ∥ A ∥∥ A − 1 ∥ ,它至少為 1。實際解釋也依賴觀測和未知量所選的單位及縮放。
例。 取 A = diag ( 1 , 0.01 ) A=\operatorname{diag}(1,0.01) A = diag ( 1 , 0.01 ) 、b = ( 1 , 0.01 ) b=(1,0.01) b = ( 1 , 0.01 ) ,得到 x = ( 1 , 1 ) x=(1,1) x = ( 1 , 1 ) 。數據擾動 ( 0 , 0.001 ) (0,0.001) ( 0 , 0.001 ) 使 x x x 變化 ( 0 , 0.1 ) (0,0.1) ( 0 , 0.1 ) 。在無窮範數下,數據相對變化為 0.001,解的相對變化為 0.1,且 κ ∞ ( A ) = 100 \kappa_\infty(A)=100 κ ∞ ( A ) = 100 。此處達到該界。
誘導無窮範數也達到所聲稱的下界
設 m , n m,n m , n 為有限正整數,A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n ,記 R = max i ∑ j ∣ a i j ∣ R=\max_i\sum_j|a_{ij}| R = max i ∑ j ∣ a ij ∣ 。向量範數 ∥ x ∥ ∞ = max j ∣ x j ∣ \|x\|_\infty=\max_j|x_j| ∥ x ∥ ∞ = max j ∣ x j ∣ 在非零處為正且絕對齊次,逐坐標不等式 ∣ x j + y j ∣ ≤ ∣ x j ∣ + ∣ y j ∣ |x_j+y_j|\le|x_j|+|y_j| ∣ x j + y j ∣ ≤ ∣ x j ∣ + ∣ y j ∣ 還證明其三角不等式。將誘導矩陣範數定義為 sup x ≠ 0 ∥ A x ∥ ∞ / ∥ x ∥ ∞ \sup_{x\ne0}\|Ax\|_\infty/\|x\|_\infty sup x = 0 ∥ A x ∥ ∞ /∥ x ∥ ∞ 。每行滿足 ∣ ( A x ) i ∣ ≤ ∑ j ∣ a i j ∣ ∥ x ∥ ∞ |(Ax)_i|\le\sum_j|a_{ij}|\|x\|_\infty ∣ ( A x ) i ∣ ≤ ∑ j ∣ a ij ∣∥ x ∥ ∞ ,所以該上確界至多為 R R R 。
若 R = 0 R=0 R = 0 ,所有元素為零,上確界為零。若 R > 0 R>0 R > 0 ,選取達到有限最大值的一行 i ∗ i_* i ∗ :當 a i ∗ j > 0 a_{i_*j}>0 a i ∗ j > 0 時令 x j = 1 x_j=1 x j = 1 ,當其為負時令 x j = − 1 x_j=-1 x j = − 1 ,其餘令 x j = 0 x_j=0 x j = 0 。該向量至少一個分量的模為一,故 ∥ x ∥ ∞ = 1 \|x\|_\infty=1 ∥ x ∥ ∞ = 1 ,並且 ( A x ) i ∗ = ∑ j ∣ a i ∗ j ∣ = R (Ax)_{i_*}=\sum_j|a_{i_*j}|=R ( A x ) i ∗ = ∑ j ∣ a i ∗ j ∣ = R 。所以上確界至少為 R R R ,證明 ∥ A ∥ ∞ = R \|A\|_\infty=R ∥ A ∥ ∞ = R 。這裏明確構造了達到界的符號向量;單有上界估計不能證明等式。
任意實誘導範數下收斂的矩陣幾何級數
有限實坐標空間的任意範數為何完備
固定整數 n ≥ 1 n\ge1 n ≥ 1 ,在 R n \mathbb R^n R n 上使用歐幾里得範數。集合若包含在某個有限半徑的球內,就稱為有界 ;若補集是開集,就稱為閉集 ;若它的每個由 R n \mathbb R^n R n 中開集組成的覆蓋都有有限子覆蓋,就稱為緊集 。我們使用實數完備性,包括閉區間套性質。
有限維歐幾里得空間的 Heine–Borel 定理
定理。 集合 K ⊆ R n K\subseteq\mathbb R^n K ⊆ R n 緊致,當且僅當它閉且有界。空集具有這三種性質。
緊致推出有界。 開球 B ( 0 , m ) B(0,m) B ( 0 , m ) (整數 m ≥ 1 m\ge1 m ≥ 1 )覆蓋 K K K 。取有限子覆蓋後,K K K 包含在其中最大的球內。
緊致推出閉。 設 K ≠ ∅ K\ne\varnothing K = ∅ 且 y ∉ K y\notin K y ∈ / K 。開球 B ( x , ∥ x − y ∥ / 2 ) B(x,\|x-y\|/2) B ( x , ∥ x − y ∥/2 ) (x ∈ K x\in K x ∈ K )覆蓋 K K K 。取中心為 x 1 , … , x r x_1,\ldots,x_r x 1 , … , x r 的有限子覆蓋,令 δ = min i ∥ x i − y ∥ / 2 > 0 \delta=\min_i\|x_i-y\|/2>0 δ = min i ∥ x i − y ∥/2 > 0 。若 z z z 在以 x i x_i x i 為中心的所選球內,三角不等式給出 ∥ z − y ∥ > ∥ x i − y ∥ / 2 ≥ δ \|z-y\|>\|x_i-y\|/2\ge\delta ∥ z − y ∥ > ∥ x i − y ∥/2 ≥ δ 。所以 B ( y , δ ) B(y,\delta) B ( y , δ ) 不與 K K K 相交,補集是開集。
閉且有界推出緊致。 設非空的 K K K 閉且有界,把它包含在閉立方體 Q 0 = [ − M , M ] n Q_0=[-M,M]^n Q 0 = [ − M , M ] n 內,其中 M > 0 M>0 M > 0 。假設 K K K 的某個開覆蓋沒有有限子覆蓋。把每個坐標區間分成兩個閉半區間,所得 2 n 2^n 2 n 個閉子立方體覆蓋 Q 0 Q_0 Q 0 。至少一個子立方體與 K K K 的交集不能由給定覆蓋族有限覆蓋;否則把有限多個有限子覆蓋合併,就能覆蓋 K K K 。選取這樣的子立方體並重複,得到閉立方體套 Q j Q_j Q j ,其邊長為 2 M / 2 j 2M/2^j 2 M / 2 j ,且 K ∩ Q j K\cap Q_j K ∩ Q j 不能被有限覆蓋,因而非空。
對每個坐標使用閉區間套性質,得到公共坐標值;合起來得到 p ∈ ⋂ j Q j p\in\bigcap_jQ_j p ∈ ⋂ j Q j 。Q j Q_j Q j 中任意兩點的距離不超過 2 M n / 2 j 2M\sqrt n/2^j 2 M n / 2 j ,所以交集中只有 p p p 。選取 x j ∈ K ∩ Q j x_j\in K\cap Q_j x j ∈ K ∩ Q j ,則 ∥ x j − p ∥ ≤ 2 M n / 2 j → 0 \|x_j-p\|\le2M\sqrt n/2^j\to0 ∥ x j − p ∥ ≤ 2 M n / 2 j → 0 。閉集包含這種極限:若 p p p 在開補集中,p p p 周圍某個開球就會使最終的 x j x_j x j 落在 K K K 外,矛盾。因此 p ∈ K p\in K p ∈ K 。
覆蓋中有一個成員 O O O 含 p p p ,由開放性,存在 ε > 0 \varepsilon>0 ε > 0 使 B ( p , ε ) ⊆ O B(p,\varepsilon)\subseteq O B ( p , ε ) ⊆ O 。當 j j j 足夠大時,Q j Q_j Q j 的每點到 p p p 的距離都小於 ε \varepsilon ε ,於是單個 O O O 就覆蓋 K ∩ Q j K\cap Q_j K ∩ Q j ,與 Q j Q_j Q j 的選取矛盾。因此每個開覆蓋都有有限子覆蓋。這裏 2 n 2^n 2 n 是有限數;若改成無限多個子塊,這個論證就不再成立。
連續像與極值
定理。 若 K ⊆ R n K\subseteq\mathbb R^n K ⊆ R n 緊致,且 F : K → R m F:K\to\mathbb R^m F : K → R m 相對於 K K K 連續,則 F ( K ) F(K) F ( K ) 緊致。特別地,非空緊集 K K K 上的連續函數 f : K → R f:K\to\mathbb R f : K → R 有界,並達到最大值和最小值。
證明。 F ( K ) F(K) F ( K ) 的開覆蓋 ( O i ) (O_i) ( O i ) 的原像是相對開集 F − 1 ( O i ) = K ∩ U i F^{-1}(O_i)=K\cap U_i F − 1 ( O i ) = K ∩ U i ,其中 U i U_i U i 在 R n \mathbb R^n R n 中開。這些 U i U_i U i 覆蓋 K K K ,所以有限多個足夠。對應的 O i O_i O i 覆蓋 F ( K ) F(K) F ( K ) ,證明了像的緊致性。對標量函數 f f f ,由已證明定理的一維情形,其像非空、閉且有界。令 a = sup f ( K ) a=\sup f(K) a = sup f ( K ) 。對每個 j ≥ 1 j\ge1 j ≥ 1 ,由上確界定義,可取 y j ∈ f ( K ) y_j\in f(K) y j ∈ f ( K ) 使 a − 1 / j < y j ≤ a a-1/j<y_j\le a a − 1/ j < y j ≤ a 。於是 y j → a y_j\to a y j → a ,閉性使 a a a 屬於像,所以最大值可達。對 − f -f − f 使用同一論證即得最小值。該結論證明存在性,而不提供極大點的計算公式。
設 d ≥ 1 d\ge1 d ≥ 1 有限,N N N 是 R d \mathbb R^d R d 上任意範數:除零向量外為正,絕對齊次,並滿足三角不等式。記標準坐標向量為 e j e_j e j ,歐氏範數為 ∥ x ∥ 2 = ( ∑ j x j 2 ) 1 / 2 \|x\|_2=(\sum_jx_j^2)^{1/2} ∥ x ∥ 2 = ( ∑ j x j 2 ) 1/2 ,令 C = ∑ j = 1 d N ( e j ) > 0 C=\sum_{j=1}^dN(e_j)>0 C = ∑ j = 1 d N ( e j ) > 0 。按標準基展開,得到
N ( x ) ≤ ∑ j ∣ x j ∣ N ( e j ) ≤ C ∥ x ∥ 2 . N(x)\le\sum_j|x_j|N(e_j)\le C\|x\|_2. N ( x ) ≤ j ∑ ∣ x j ∣ N ( e j ) ≤ C ∥ x ∥ 2 .
反三角不等式給出 ∣ N ( x ) − N ( y ) ∣ ≤ N ( x − y ) ≤ C ∥ x − y ∥ 2 |N(x)-N(y)|\le N(x-y)\le C\|x-y\|_2 ∣ N ( x ) − N ( y ) ∣ ≤ N ( x − y ) ≤ C ∥ x − y ∥ 2 ,所以 N N N 對歐氏距離連續。已證明的緊致性定理適用於非空歐氏單位球面,故 N N N 在其上取得最小值 m m m ;球面各點都非零,所以 m > 0 m>0 m > 0 。對 x ≠ 0 x\ne0 x = 0 ,將此最小值用於 x / ∥ x ∥ 2 x/\|x\|_2 x /∥ x ∥ 2 ;連同 x = 0 x=0 x = 0 ,得到
m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 . m\|x\|_2\le N(x)\le C\|x\|_2. m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 .
若 ( x k ) (x_k) ( x k ) 是 N N N -柯西序列,則每個坐標都是實柯西序列,因為 ∣ ( x k − x l ) j ∣ ≤ ∥ x k − x l ∥ 2 ≤ N ( x k − x l ) / m |(x_k-x_l)_j|\le\|x_k-x_l\|_2\le N(x_k-x_l)/m ∣ ( x k − x l ) j ∣ ≤ ∥ x k − x l ∥ 2 ≤ N ( x k − x l ) / m 。實數完備性給出各坐標極限 a j a_j a j 。有限個坐標差平方之和趨零,故 ∥ x k − a ∥ 2 → 0 \|x_k-a\|_2\to0 ∥ x k − a ∥ 2 → 0 ,再由 N ( x k − a ) ≤ C ∥ x k − a ∥ 2 N(x_k-a)\le C\|x_k-a\|_2 N ( x k − a ) ≤ C ∥ x k − a ∥ 2 得到範數收斂。因此每個 N N N -柯西序列均在 N N N 中收斂。零維空間只有零向量,單獨即知完備;這裏不聲稱無限維空間的完備性或範數等價。
固定 R n \mathbb R^n R n 上的實範數 N N N ,其中 n ≥ 1 n\ge1 n ≥ 1 ,定義誘導矩陣範數 ∥ A ∥ = sup x ≠ 0 N ( A x ) / N ( x ) \|A\|=\sup_{x\ne0}N(Ax)/N(x) ∥ A ∥ = sup x = 0 N ( A x ) / N ( x ) 。已證 m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 m\|x\|_2\le N(x)\le C\|x\|_2 m ∥ x ∥ 2 ≤ N ( x ) ≤ C ∥ x ∥ 2 保證上確界有限:初等估計 ∣ ( A x ) i ∣ ≤ ( ∑ j ∣ a i j ∣ ) ∥ x ∥ 2 |(Ax)_i|\le(\sum_j|a_{ij}|)\|x\|_2 ∣ ( A x ) i ∣ ≤ ( ∑ j ∣ a ij ∣ ) ∥ x ∥ 2 給出 ∥ A x ∥ 2 ≤ ( ∑ i , j ∣ a i j ∣ ) ∥ x ∥ 2 \|Ax\|_2\le(\sum_{i,j}|a_{ij}|)\|x\|_2 ∥ A x ∥ 2 ≤ ( ∑ i , j ∣ a ij ∣ ) ∥ x ∥ 2 ,因為非負數列的歐氏範數不超過其和。因此該比值至多為 ( C / m ) ∑ i , j ∣ a i j ∣ (C/m)\sum_{i,j}|a_{ij}| ( C / m ) ∑ i , j ∣ a ij ∣ 。對向量不等式取上確界即得齊次性及三角不等式。若 A ≠ 0 A\ne0 A = 0 ,某個標準向量 e j e_j e j 滿足 A e j ≠ 0 Ae_j\ne0 A e j = 0 ,所以 ∥ A ∥ > 0 \|A\|>0 ∥ A ∥ > 0 。因此這是 n × n n\times n n × n 實矩陣組成的有限實向量空間上的範數;已證有限坐標結論保證該空間完備。此外,∥ I ∥ = 1 \|I\|=1 ∥ I ∥ = 1 ,且 N ( A x ) ≤ ∥ A ∥ N ( x ) N(Ax)\le\|A\|N(x) N ( A x ) ≤ ∥ A ∥ N ( x ) ;連續應用兩次,得到 ∥ A B ∥ ≤ ∥ A ∥ ∥ B ∥ \|AB\|\le\|A\|\|B\| ∥ A B ∥ ≤ ∥ A ∥∥ B ∥ 。
設 q = ∥ M ∥ < 1 q=\|M\|<1 q = ∥ M ∥ < 1 ,對 k ≥ 1 k\ge1 k ≥ 1 有 ∥ M k ∥ ≤ q k \|M^k\|\le q^k ∥ M k ∥ ≤ q k ;另有零次項 M 0 = I M^0=I M 0 = I ,其範數為一。若 q = 0 q=0 q = 0 ,則 M = 0 M=0 M = 0 ,級數只剩 I I I 。否則 0 < q < 1 0<q<1 0 < q < 1 ,寫 1 / q = 1 + δ 1/q=1+\delta 1/ q = 1 + δ ,其中 δ > 0 \delta>0 δ > 0 ;由 ( 1 + δ ) k ≥ 1 + k δ (1+\delta)^k\ge1+k\delta ( 1 + δ ) k ≥ 1 + k δ 得 q k → 0 q^k\to0 q k → 0 。有限幾何恆等式給出 ∑ k = s t q k ≤ q s / ( 1 − q ) \sum_{k=s}^tq^k\le q^s/(1-q) ∑ k = s t q k ≤ q s / ( 1 − q ) 。因此部分和 S N = ∑ k = 0 N M k S_N=\sum_{k=0}^NM^k S N = ∑ k = 0 N M k 在完備矩陣空間中為柯西序列,收斂到矩陣 S S S ,並滿足 ∥ S ∥ ≤ 1 / ( 1 − q ) \|S\|\le1/(1-q) ∥ S ∥ ≤ 1/ ( 1 − q ) 。
有限矩陣相乘在兩個次序下都可望遠鏡相消:
( I − M ) S N = S N ( I − M ) = I − M N + 1 . (I-M)S_N=S_N(I-M)=I-M^{N+1}. ( I − M ) S N = S N ( I − M ) = I − M N + 1 .
次乘性保證乘以固定矩陣 I − M I-M I − M 的連續性,且 ∥ M N + 1 ∥ ≤ q N + 1 → 0 \|M^{N+1}\|\le q^{N+1}\to0 ∥ M N + 1 ∥ ≤ q N + 1 → 0 。取極限得到 ( I − M ) S = S ( I − M ) = I (I-M)S=S(I-M)=I ( I − M ) S = S ( I − M ) = I 。所以級數是 I − M I-M I − M 的雙側逆,並滿足所列範數界。在擾動公式中取 M = − A − 1 E M=-A^{-1}E M = − A − 1 E ,由 A + E = A ( I + A − 1 E ) A+E=A(I+A^{-1}E) A + E = A ( I + A − 1 E ) ,即得 ∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥ / ( 1 − ∥ A − 1 E ∥ ) \|(A+E)^{-1}\|\le\|A^{-1}\|/(1-\|A^{-1}E\|) ∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥/ ( 1 − ∥ A − 1 E ∥ ) 。論證沒有假設可對角化,也沒有暗中留下無限維 Banach 空間前提。
4 擾動模型系數
若 A A A 變為 A + E A+E A + E ,將其分解為 A ( I + A − 1 E ) A(I+A^{-1}E) A ( I + A − 1 E ) 。對任何滿足 ∥ A − 1 E ∥ < 1 \|A^{-1}E\|<1 ∥ A − 1 E ∥ < 1 的誘導範數,幾何矩陣級數
( I + A − 1 E ) − 1 = ∑ k = 0 ∞ ( − A − 1 E ) k (I+A^{-1}E)^{-1}=\sum_{k=0}^\infty(-A^{-1}E)^k ( I + A − 1 E ) − 1 = k = 0 ∑ ∞ ( − A − 1 E ) k
絕對收斂。有限部分乘積相消為 I − ( − A − 1 E ) N + 1 I-(-A^{-1}E)^{N+1} I − ( − A − 1 E ) N + 1 ,餘項趨零;這不依賴對角化便證明它是逆。因此
∥ ( A + E ) − 1 ∥ ≤ ∥ A − 1 ∥ 1 − ∥ A − 1 E ∥ . \|(A+E)^{-1}\|\le\frac{\|A^{-1}\|}{1-\|A^{-1}E\|}. ∥ ( A + E ) − 1 ∥ ≤ 1 − ∥ A − 1 E ∥ ∥ A − 1 ∥ .
若擾動系統的右端為 b + δ b b+\delta b b + δ b ,兩方程相減得 ( A + E ) δ x = δ b − E x (A+E)\delta x=\delta b-Ex ( A + E ) δ x = δ b − E x 。這一恆等式顯示觀測誤差和系數誤差。病態模型的逐項小變化不一定產生小的解變化。
5 分層練習
E1 基礎。 求 A = ( 2 1 1 1 ) A=\begin{pmatrix}2&1\\1&1\end{pmatrix} A = ( 2 1 1 1 ) 的逆並解 A x = ( 3 , 2 ) T Ax=(3,2)^T A x = ( 3 , 2 ) T 。
E2 條件性。 沿用 E1 的矩陣和基準右端 b = ( 3 , 2 ) T b=(3,2)^T b = ( 3 , 2 ) T ,求 κ ∞ ( A ) \kappa_\infty(A) κ ∞ ( A ) 。對 δ b = ( ε , − ε ) \delta b=(\varepsilon,-\varepsilon) δ b = ( ε , − ε ) ,計算 δ x \delta x δ x 並比較相對誤差界。
E3 縮放。 解釋為甚麼二維的 A = 10 − 6 I A=10^{-6}I A = 1 0 − 6 I 行列式很小但條件數為 1。
E4 系數誤差。 對 A = I A=I A = I 且 ∥ E ∥ ≤ 0.1 \|E\|\le0.1 ∥ E ∥ ≤ 0.1 ,給出 ∥ ( I + E ) − 1 ∥ \|(I+E)^{-1}\| ∥ ( I + E ) − 1 ∥ 的界以及右端固定且非零時相對解變化的界;另說明零右端的情況。
6 詳解
S1. 行列式為 1,A − 1 = ( 1 − 1 − 1 2 ) A^{-1}=\begin{pmatrix}1&-1\\-1&2\end{pmatrix} A − 1 = ( 1 − 1 − 1 2 ) 。乘以 ( 3 , 2 ) (3,2) ( 3 , 2 ) 得 ( 1 , 1 ) (1,1) ( 1 , 1 ) ,代回原方程可驗證。
S2. A A A 和其逆的最大行和都是 3,故 κ ∞ = 9 \kappa_\infty=9 κ ∞ = 9 。解的擾動為 ( 2 ε , − 3 ε ) (2\varepsilon,-3\varepsilon) ( 2 ε , − 3 ε ) 。基準解範數為 1,相對解誤差為 3 ∣ ε ∣ 3|\varepsilon| 3∣ ε ∣ ;基準 b b b 的範數為 3,故條件數界為 9 ∣ ε ∣ / 3 = 3 ∣ ε ∣ 9|\varepsilon|/3=3|\varepsilon| 9∣ ε ∣/3 = 3∣ ε ∣ ,在此取等。
S3. 行列式為 10 − 12 10^{-12} 1 0 − 12 ,但逆矩陣為 10 6 I 10^6I 1 0 6 I ,所以誘導範數之積為 10 − 6 10 6 = 1 10^{-6}10^6=1 1 0 − 6 1 0 6 = 1 。統一縮放改變絕對大小,卻不扭曲相對方向。
S4. 逆範數至多為 1 / ( 1 − 0.1 ) = 10 / 9 1/(1-0.1)=10/9 1/ ( 1 − 0.1 ) = 10/9 。數據固定且 b b b 非零時,基準解 x = b ≠ 0 x=b\ne0 x = b = 0 ,且 ( I + E ) δ x = − E x (I+E)\delta x=-Ex ( I + E ) δ x = − E x ,故 ∥ δ x ∥ / ∥ x ∥ ≤ ( 10 / 9 ) ( 0.1 ) = 1 / 9 \|\delta x\|/\|x\|\le(10/9)(0.1)=1/9 ∥ δ x ∥/∥ x ∥ ≤ ( 10/9 ) ( 0.1 ) = 1/9 。若 b = 0 b=0 b = 0 ,兩個唯一解均為零;絕對變化為零,但基準範數為零時相對比值無定義。假設是範數界,而不只是每個元素小於 0.1。
總結
可逆性建立唯一精確逆,條件性衡量敏感度。絕對與相對放大不同。範數不等式給出可辯護的界;收斂的矩陣幾何級數控制系數擾動,而不假設可對角化,也不把小行列式當作完整穩定性診斷。