4. 內積與正交投影

所有空間均為 $\mathbb R$ 或 $\mathbb C$ 上的有限維空間。

內積各單元中 $F=\mathbb R$ 或 $\mathbb C$，並約定 $\langle u,v\rangle$ 對第一個變數線性、對第二個變數共軛線性。另一慣例會使某些係數次序相反，計算前須先確定慣例。

定義

內積與正交

內積滿足共軛對稱性 $\langle u,v\rangle=\overline{\langle v,u\rangle}$、第一變數線性，以及對 $v\ne0$ 有 $\langle v,v\rangle>0$。令 $\|v\|=\sqrt{\langle v,v\rangle}$。內積為零的向量稱為正交。對 $U\subseteq V$，$U^\perp=\{v:\langle v,u\rangle=0\ \forall u\in U\}$。

對 $w\ne0$，令 $\alpha=\langle v,w\rangle/\|w\|^2$。展開 $\|v-\alpha w\|^2\ge0$ 得到柯西–施瓦茨不等式

$$|\langle v,w\rangle|\le\|v\|\|w\|,$$

取等當且僅當 $v,w$ 線性相關。展開 $\|v+w\|^2$ 並用該界估計交叉項，便得到三角不等式。這裡正定性不可缺少，僅有對稱性不夠。

Gram–Schmidt 將線性無關列表 $v_1,\ldots,v_k$ 轉為張成相同逐次子空間的標準正交列表：

$$w_j=v_j-\sum_{i<j}\langle v_j,q_i\rangle q_i,\qquad q_j=w_j/\|w_j\|.$$

每個 $w_j$ 都與之前的 $q_i$ 正交且非零；否則 $v_j$ 屬於前面向量的張成空間。零輸入或線性相關輸入要求捨去向量，而不是除以零。

下列展開計算以 $e_i$ 表示共享論證中記為 $q_i$ 的正交歸一向量。

證明

兩個論證

若 $v\ne0$，由 $\|u-\langle u,v\rangle v/\|v\|^2\|^2$ 非負得柯西–施瓦茨不等式；等號恰在餘項為零時成立。$v=0$ 時等號及相關性顯然。Gram–Schmidt 的每個餘項都與之前的 $e_i$ 正交；它不能為零，因為 $v_j$ 不在前面向量的張成空間內。歸一化不改變每步的張成空間，歸納即證。

在 $v\ne0$ 的情形，令 $c=\langle u,v\rangle/\|v\|^2$。由共軛對稱性及第一變數線性，展開可得

$$\|u-cv\|^2=\|u\|^2-\overline c\langle u,v\rangle-c\overline{\langle u,v\rangle}+|c|^2\|v\|^2 =\|u\|^2-\frac{|\langle u,v\rangle|^2}{\|v\|^2}.$$

非負性給出不等式，等號等價於 $u=cv$。在 Gram–Schmidt 過程中，每個 $\ell<j$ 都滿足

$$\langle w_j,e_\ell\rangle=\langle v_j,e_\ell\rangle-\sum_{i<j}\langle v_j,e_i\rangle\langle e_i,e_\ell\rangle=0.$$

輸入向量線性獨立排除了零餘項，所以每個分母都是正數。

若子空間 $U$ 有標準正交基 $q_1,\ldots,q_k$，定義

$$P_Uv=\sum_{j=1}^k\langle v,q_j\rangle q_j.$$

則 $P_Uv\in U$、$v-P_Uv\in U^\perp$，故 $V=U\oplus U^\perp$，且投影不依賴所選標準正交基。對每個 $u\in U$，

$$\|v-u\|^2=\|v-P_Uv\|^2+\|P_Uv-u\|^2,$$

這證明 $P_Uv$ 是唯一最近點。正交性同時給出存在性和最優性。

例題

投影到平面

在 $\mathbb R^3$ 中令 $U=\operatorname{span}\{(1,1,0),(1,-1,0)\}$。兩向量正交，範數均為 $\sqrt2$。對 $v=(2,3,4)$，投影為 $(2,3,0)$，餘項為 $(0,0,4)$，其長度 $4$ 即到 $U$ 的距離。

選擇方法與常見錯誤

給定基底線性獨立但不正交時用 Gram–Schmidt；已知正交歸一基底時直接投影。若 $u_i$ 只正交但非單位向量，每個係數須除以 $\|u_i\|^2$。複內積不可漏掉共軛；有限維的正交補定理不能不加條件地套用至任意無限維子空間。

練習

1. 按次序對 $\mathbb R^2$ 中 $(1,1)$、$(1,0)$ 使用 Gram–Schmidt。
2. 求 $(1,2,3)$ 在 $U=\operatorname{span}\{(1,1,1)\}$ 中的最近點及距離。
3. 在 $\mathbb C^2$ 用 $\langle z,w\rangle=z_1\overline{w_1}+z_2\overline{w_2}$，求 $(i,1)$ 在 $\operatorname{span}\{(1,i)\}$ 上的投影。

完整解答

1. $e_1=(1,1)/\sqrt2$。從 $(1,0)$ 減去第一分量得 $w_2=(1/2,-1/2)$，故 $e_2=(1,-1)/\sqrt2$。
2. $(1,1,1)$ 的係數為 $(1+2+3)/3=2$，最近點為 $(2,2,2)$；餘項 $(-1,0,1)$ 長度為 $\sqrt2$。
3. 張成向量的範數平方為 $2$，而 $\langle(i,1),(1,i)\rangle=i-i=0$，故投影為零。

連繫

正交投影是自伴算子。伴隨算子推廣轉置，表達映射如何與內積互動。