精確的會計恆等式很有用，但記錄的成本可能包含測量誤差或被遺漏的影響。與其強行讓不相容觀測滿足精確模型，不如問哪個模型預測最接近它們。系數是否可識別與擬合預測是否準確，是兩個必須分開的問題。
1 張成、基與線性模型
R m \mathbb R^m R m 子空間 包含零，且對向量加法和實數乘法封閉。向量的張成空間 是其所有線性組合的集合。若零線性組合迫使所有系數為零，這些向量線性無關 。基 是線性無關的生成列表，其長度為維數。
對 A ∈ R m × n A\in\mathbb R^{m\times n} A ∈ R m × n T ( x ) = A x T(x)=Ax T ( x ) = A x T ( c x + d y ) = c T ( x ) + d T ( y ) T(cx+dy)=cT(x)+dT(y) T ( c x + d y ) = c T ( x ) + d T ( y ) col A \operatorname{col}A col A dim col A \dim\operatorname{col}A dim col A
不預設計數結論的有限基存在與擴充
設實向量空間 V V V t 1 , … , t N t_1,\ldots,t_N t 1 , … , t N u 1 , … , u k u_1,\ldots,u_k u 1 , … , u k N N N j j j u 1 , … , u j u_1,\ldots,u_j u 1 , … , u j N − j N-j N − j u j + 1 u_{j+1} u j + 1 u i u_i u i u j + 1 u_{j+1} u j + 1 k > N k>N k > N N N N N N N V V V u N + 1 u_{N+1} u N + 1 N = 0 N=0 N = 0
每個子空間 W W W W W W W W W N N N W W W W = { 0 } W=\{0\} W = { 0 } W W W W W W p , q p,q p , q p ≤ q p\le q p ≤ q q ≤ p q\le p q ≤ p
以下結果取 V = R n V=\mathbb R^n V = R n W = R m W=\mathbb R^m W = R m T ( x ) = A x T(x)=Ax T ( x ) = A x
映射 T : V → W T:V\to W T : V → W T ( α v + β u ) = α T v + β T u T(\alpha v+\beta u)=\alpha Tv+\beta Tu T ( α v + β u ) = α T v + β T u ker T \ker T ker T k 1 , … , k r k_1,\ldots,k_r k 1 , … , k r v 1 , … , v s v_1,\ldots,v_s v 1 , … , v s T v 1 , … , T v s Tv_1,\ldots,Tv_s T v 1 , … , T v s im T \operatorname{im}T im T
dim V = dim ker T + dim im T . \dim V=\dim\ker T+\dim\operatorname{im}T. dim V = dim ker T + dim im T . 這就是秩–零度定理 。有限維且維數相等時，單射與滿射等價；無限維空間中該等價可能失效。
系數向量恰在 ker A = { 0 } \ker A=\{0\} ker A = { 0 }
實內積、誘導範數與所需不等式
實向量空間上的內積是取值於實數的映射 ⟨ u , v ⟩ \langle u,v\rangle ⟨ u , v ⟩ v ≠ 0 v\ne0 v = 0 ⟨ v , v ⟩ > 0 \langle v,v\rangle>0 ⟨ v , v ⟩ > 0 ⟨ 0 , v ⟩ = 0 \langle0,v\rangle=0 ⟨ 0 , v ⟩ = 0 ∥ v ∥ = ⟨ v , v ⟩ \|v\|=\sqrt{\langle v,v\rangle} ∥ v ∥ = ⟨ v , v ⟩ ∥ c v ∥ = ∣ c ∣ ∥ v ∥ \|cv\|=|c|\|v\| ∥ c v ∥ = ∣ c ∣∥ v ∥ R m \mathbb R^m R m ⟨ u , v ⟩ = ∑ i = 1 m u i v i \langle u,v\rangle=\sum_{i=1}^mu_iv_i ⟨ u , v ⟩ = ∑ i = 1 m u i v i
若 v ≠ 0 v\ne0 v = 0 t = ⟨ u , v ⟩ / ∥ v ∥ 2 t=\langle u,v\rangle/\|v\|^2 t = ⟨ u , v ⟩ /∥ v ∥ 2 ∥ u − t v ∥ 2 \|u-tv\|^2 ∥ u − t v ∥ 2 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 / ∥ v ∥ 2 ≥ 0 \|u\|^2-\langle u,v\rangle^2/\|v\|^2\ge0 ∥ u ∥ 2 − ⟨ u , v ⟩ 2 /∥ v ∥ 2 ≥ 0 ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥ ∥ v ∥ |\langle u,v\rangle|\le\|u\|\|v\| ∣ ⟨ u , v ⟩ ∣ ≤ ∥ u ∥∥ v ∥ v = 0 v=0 v = 0 v ≠ 0 v\ne0 v = 0 ∥ u − t v ∥ = 0 \|u-tv\|=0 ∥ u − t v ∥ = 0 u = t v u=tv u = t v ∥ u + v ∥ 2 \|u+v\|^2 ∥ u + v ∥ 2 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2 \|u+v\|^2\le(\|u\|+\|v\|)^2 ∥ u + v ∥ 2 ≤ ( ∥ u ∥ + ∥ v ∥ ) 2
正交規範基，以及保留指定向量的擴充
再設 V V V v 1 , … , v s v_1,\ldots,v_s v 1 , … , v s
w j = v j − ∑ i < j ⟨ v j , q i ⟩ q i , q j = w j / ∥ w j ∥ . w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|. w j = v j − i < j ∑ ⟨ v j , q i ⟩ q i , q j = w j /∥ w j ∥. 歸納假設先前 q i q_i q i l < j l<j l < j q l q_l q l ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 \langle w_j,q_l\rangle=\langle v_j,q_l\rangle-\langle v_j,q_l\rangle=0 ⟨ w j , q l ⟩ = ⟨ v j , q l ⟩ − ⟨ v j , q l ⟩ = 0 w j = 0 w_j=0 w j = 0 v j v_j v j j j j
2 正交殘差與正規方程
歐幾里得內積為 u T v = ∑ u i v i u^Tv=\sum u_iv_i u T v = ∑ u i v i ∥ u ∥ 2 = u T u \|u\|^2=u^Tu ∥ u ∥ 2 = u T u 最小二乘解 在所有實數 x x x ∥ A x − b ∥ 2 \|Ax-b\|^2 ∥ A x − b ∥ 2 r = b − A x r=b-Ax r = b − A x
定理。 向量 x ^ \hat x x ^
A T ( A x ^ − b ) = 0. A^T(A\hat x-b)=0. A T ( A x ^ − b ) = 0. 這些是正規方程 。若 A A A
證明。 對任意擾動 h h h
∥ A ( x ^ + h ) − b ∥ 2 = ∥ A x ^ − b ∥ 2 + 2 h T A T ( A x ^ − b ) + ∥ A h ∥ 2 . \|A(\hat x+h)-b\|^2=\|A\hat x-b\|^2+2h^TA^T(A\hat x-b)+\|Ah\|^2. ∥ A ( x ^ + h ) − b ∥ 2 = ∥ A x ^ − b ∥ 2 + 2 h T A T ( A x ^ − b ) + ∥ A h ∥ 2 . 若正規方程成立，最後一項非負，證明最小性。反過來取 h = t e j h=te_j h = t e j t t t A T ( A x ^ − b ) A^T(A\hat x-b) A T ( A x ^ − b ) h ≠ 0 h\ne0 h = 0 h T A T A h = ∥ A h ∥ 2 > 0 h^TA^TAh=\|Ah\|^2>0 h T A T A h = ∥ A h ∥ 2 > 0 A T A A^TA A T A □ \square □
存在性不要求各欄線性無關：取有限維欄空間的標準正交基，將 b b b
3 成本估計例題
將簡化模型 c = α + β q c=\alpha+\beta q c = α + β q ( q , c ) = ( 0 , 2 ) , ( 1 , 3 ) , ( 2 , 5 ) (q,c)=(0,2),(1,3),(2,5) ( q , c ) = ( 0 , 2 ) , ( 1 , 3 ) , ( 2 , 5 )
A = ( 1 0 1 1 1 2 ) , b = ( 2 3 5 ) , A T A = ( 3 3 3 5 ) , A T b = ( 10 13 ) . A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix},\quad b=\begin{pmatrix}2\\3\\5\end{pmatrix},\quad
A^TA=\begin{pmatrix}3&3\\3&5\end{pmatrix},\quad A^Tb=\binom{10}{13}. A = 1 1 1 0 1 2 , b = 2 3 5 , A T A = ( 3 3 3 5 ) , A T b = ( 13 10 ) . 第二個正規方程減第一個得 2 β = 3 2\beta=3 2 β = 3 β = 3 / 2 \beta=3/2 β = 3/2 α = 11 / 6 \alpha=11/6 α = 11/6 ( 11 / 6 , 10 / 3 , 29 / 6 ) (11/6,10/3,29/6) ( 11/6 , 10/3 , 29/6 ) ( 1 / 6 , − 1 / 3 , 1 / 6 ) (1/6,-1/3,1/6) ( 1/6 , − 1/3 , 1/6 ) ( 0 , 1 , 2 ) (0,1,2) ( 0 , 1 , 2 ) 1 / 6 1/6 1/6
殘差小不能證明因果關係、驗證未來外推，也不能發現所有遺漏變量。負的固定成本估計可能表明模型或數據不合適；無約束最小二乘不會自動強制會計約束。數值計算中，QR 或 SVD 可避免顯式構造 A T A A^TA A T A
4 分層練習
E1 基礎。 證明 W = { ( x , y , z ) : x + y − z = 0 } W=\{(x,y,z):x+y-z=0\} W = {( x , y , z ) : x + y − z = 0 }
E2 計算。 將 c = α + β q c=\alpha+\beta q c = α + β q ( 0 , 1 ) , ( 1 , 2 ) , ( 2 , 2 ) (0,1),(1,2),(2,2) ( 0 , 1 ) , ( 1 , 2 ) , ( 2 , 2 )
E3 結構。 若 A A A u , u u,u u , u u ≠ 0 u\ne0 u = 0 ∥ A x − b ∥ 2 \|Ax-b\|^2 ∥ A x − b ∥ 2
E4 拓展。 設 D = diag ( d i ) D=\operatorname{diag}(d_i) D = diag ( d i ) w i = d i 2 > 0 w_i=d_i^2>0 w i = d i 2 > 0 ∥ D ( A x − b ) ∥ 2 \|D(Ax-b)\|^2 ∥ D ( A x − b ) ∥ 2 w i w_i w i d i > 0 d_i>0 d i > 0 d i d_i d i
5 詳解
S1. 定義方程是齊次線性的，所以零屬於 W W W ( x , y , x + y ) = x ( 1 , 0 , 1 ) + y ( 0 , 1 , 1 ) (x,y,x+y)=x(1,0,1)+y(0,1,1) ( x , y , x + y ) = x ( 1 , 0 , 1 ) + y ( 0 , 1 , 1 )
S2. 此處 A T b = ( 5 , 6 ) T A^Tb=(5,6)^T A T b = ( 5 , 6 ) T A T A A^TA A T A 2 β = 1 2\beta=1 2 β = 1 β = 1 / 2 \beta=1/2 β = 1/2 α = 7 / 6 \alpha=7/6 α = 7/6 ( − 1 / 6 , 1 / 3 , − 1 / 6 ) (-1/6,1/3,-1/6) ( − 1/6 , 1/3 , − 1/6 ) 1 / 6 1/6 1/6
S3. 預測為 ( x 1 + x 2 ) u (x_1+x_2)u ( x 1 + x 2 ) u u u u s = u T b / ( u T u ) s=u^Tb/(u^Tu) s = u T b / ( u T u ) ( t , s − t ) (t,s-t) ( t , s − t ) ( 1 , − 1 ) (1,-1) ( 1 , − 1 )
S4. 對 D A DA D A D b Db D b A T D 2 ( A x − b ) = 0 A^TD^2(Ax-b)=0 A T D 2 ( A x − b ) = 0 D D D v = 0 v=0 v = 0 ∥ D v ∥ = 0 \|Dv\|=0 ∥ D v ∥ = 0
總結
欄空間描述可能的預測，零空間描述不可識別性。最小二乘將觀測向量投影到預測空間。正交性給出正規方程，但擬合良好只是所選模型的數學性質，不保證商業有效性。
