照片把三維場景變成二維陣列,因此必然失去一些資訊。針孔模型可以精確指出失去的是甚麼:同一條相機射線上的點,具有相同的影像位置。改變觀察位置,則可能把這些點分開,產生與深度有關的移動,稱為視差。
不過,整個平面的影像運動仍然可以由一個矩陣描述。這是不少幾何影像變形與拼接方法的基礎。本節推導這個矩陣,仔細追蹤決定正負號的座標慣例,並找出矩陣可逆的幾何條件。矩陣關係正確,仍不等於點位於相機前方,或沒有被其他表面遮擋。
投影到虛擬像平面
使用相機座標 Xc=(Xc,Yc,Zc)T,相機中心在原點,觀看方向沿正 Zc。理想模型中,光沿連接中心與場景點的直線傳播。若 Zc=0,這條線與虛擬平面 Zc=1 的交點是 (Xc/Zc,Yc/Zc,1)T。
虛擬平面放在中心前方,所以公式沒有倒像的負號。實際感光元件可以放在針孔後方,但其方向與座標慣例必須一致處理,不能在計算途中悄悄改變符號。
以非零齊次向量 p=(u,v,1)T 表示有限像素 (u,v)。兩個非零向量若相差一個非零純量倍數,就表示同一個投影影像點,記為 p∼q。向量 (r,s,w)T 只有在 w=0 時,才對應有限像素 (r/w,s/w)。零向量永遠不代表投影點。
對理想且已校準的針孔相機,設
K=fx00sfy0cxcy1,fx,fy>0.fx,fy 把正規化影像座標換成像素單位,(cx,cy) 是主點,而 s 是斜交參數。投影公式為
p∼KXc,u=fxZcXc+sZcYc+cx,v=fyZcYc+cy.
相機矩陣並不是用來宣告所有投影點都實際可見的規則。在此向前觀看的慣例下,須有正深度 Zc>0。負深度點仍有代數上的投影座標,但它們在相機後方。Zc=0 的點在這個座標圖中沒有有限像素;若點就是相機中心,齊次結果為零,投影沒有定義。鏡頭畸變及有限影像邊界亦不包含在這個理想模型內。
分清相機中心與平移列
設世界點為 X,以以下映射把世界座標換成相機座標:
Xc=RX+t,RTR=I,detR=1.
R 是正旋轉,而 t 是這個世界到相機映射的平移。相機中心 C 是被映到相機原點的世界點。解 RC+t=0 得到
C=−RTt,t=−RC,p∼K[Rt](X1).
最後一式把三維仿射映射與齊次投影合併。這個 3×4 相機矩陣有非平凡零空間,並不是四維與三維座標之間的可逆轉換。
例題 14.1.2
(相機向右移,影像中的點可以向左移)
設 R=I,相機中心 C=(1,0,0)T。它的平移列是 t=(−1,0,0)T,不是 C。固定世界點 (2,1,4)T 的相機座標因此是 (1,1,4)T。
若 fx=fy=2、斜交為零、主點是 (1,1),它的像素位置是 (3/2,3/2)。另一部具有相同方向及內參、但位於世界原點的相機,會把它拍在 (2,3/2)。相機向右移一個世界單位,這個點卻向左移了半個像素。把 t 誤當成 C,就會預測相反的移動。
從像素反推射線,不是反推唯一三維點
因為 K 可逆,有限像素決定了 q=K−1p。當 p=(u,v,1)T 時,q 的最後一個座標是 1。對應的世界點為
X=C+λRTq,λ>0.
確實,RX+t=λq,再乘 K 便得到代表同一個像素的 λp。反過來說,任何具有正相機深度、並投影到這個像素的世界點,都有此形式。參數 λ 是相機座標深度 Zc,一般不是離中心的歐氏(Euclidean)距離,因為 q 未必是單位向量。
沒有額外資訊時,所有正的 λ 都可能成立。因此,內參反矩陣只能找回方向,不能找回遺失的深度。已知表面、第二幅視圖或其他幾何限制可能提供深度,但單一像素本身不會。
用已知平面消去深度
現在把相機 1 的座標當作參考座標 X。相機 1 使用 K1,相機 2 則使用
X2=RX+t,p1∼K1X,p2∼K2X2.
假設場景點都在已知平面 nTX=d,其中 n=0、d=0。法向量不必是單位向量;把 n、d 同時乘以同一個非零常數,不改變平面。d=0 排除了通過相機 1 中心的平面,因為那樣的平面本身會投影成一條線,不能填滿二維影像區域。
對 p1=(u1,v1,1)T,令 q=K1−1p1,射線上的點寫成 X=λq。平面方程給出 λnTq=d。若 nTq=0,射線與平面沒有有限交點;否則交點深度為 λ=d/(nTq)。物理上使用時,還須確認這個深度與相機 2 中的深度都為正。
對上述有效平面對應點,
p2∼Hp1,H=K2(R+dtnT)K1−1.這個矩陣可逆,當且僅當以參考座標表示的第二相機中心 C2=−RTt 不在平面上,即 nTC2=d。這種可逆矩陣在相差一個非零整體倍數的意義下,表示平面投影變換,亦稱單應性。
利用 λnTq=d,可寫成
X2=λRq+t=λ(R+dtnT)q.乘以 K2,再消去共同的非零尺度 λ,就得到影像關係。正號來自本節的平面慣例 nTX=d。若改寫成 nTX+d0=0,則 d=−d0,相應公式中 tnT/d0 前面便是負號。
內參矩陣可逆,所以 H 可逆當且僅當 M=R+tnT/d 可逆。尋找滿足 My=0 的零空間向量 y;左乘 RT 得到
y=C2dnTy.若 y=0,純量 α=nTy/d 必不為零,而且 y=αC2。再乘 nT 得 αd=αnTC2,所以 nTC2=d。反過來,若 nTC2=d,則 MC2=RC2+t=0。因為 d=0,C2 不可能為零,故確實找到一個非零零空間向量。因此,H 奇異當且僅當第二相機中心位於平面上。
在這個退化情況,平面上的每個點都滿足
(Rn)TX2=nTX+nTRTt=d−nTC2=0.因此,非零影像向量都落在係數向量為 K2−TRn 的投影影像直線上:平面是側向、沿邊被觀察的。特別是,同一條通過第二相機中心的直線上的點,可以壓到第二幅影像的同一位置。中心本身沒有影像;非零齊次輸入 K1C2 會被 H 映成零。
證明透視
可逆性論證是怎樣搭成的
論證靠三個事實,各自只用一次。K1,K2 可逆,把問題化為單一的 3×3 矩陣 M=R+tnT/d。正交性 RTR=I 讓我們把 My=0 左乘 RT,從而出現中心 C2=−RTt。條件 d=0 容許除以 d,也保證當 nTC2=d 時 C2=0,所以反向找到的零空間向量確實非零。
不明顯的一步,是看出 tnT/d 的秩為一,像空間由 t 生成。因此 M 的任何零空間向量必為 RTt 的倍數,即 C2 的倍數。在三維空間中的搜尋,化為檢驗一個候選方向,並由單一的純量方程 nTC2=d 判定。論證以明確計算 MC2=RC2+t=0 收尾。若 d=0,平面通過相機 1 的中心,tnT/d 甚至沒有定義,所以定理之前已排除這個情況。
這個可逆判斷純粹是代數條件,不保證正深度、位於有限影像邊界內,或沒有遮擋。即使單應性可逆,仍可能把某些投影點映到無窮遠。有效物理對應點仍須另外滿足前述條件。
概念視角結構
單應性是旋轉映射加一個秩一項
展開乘積,得
H=K2RK1−1+d(K2t)(K1−Tn)T.第一項就是後面「純旋轉」一節中與深度無關的映射;第二項的秩為一,承載了全部對平移與平面的依賴。當 t=0 時它消失;當平面遠去(n 固定而 d→∞)時,它也趨於零。
算出一個平面映射,再改變深度
例題 14.1.4
(同一平面在影像中平移,另一深度卻不跟隨)
兩部相機使用相同內參:
K1=K2=200020111,R=I,t=−100.對平面 Z=4,取 n=(0,0,1)T、d=4。公式給出
H=100010−1/201.所以這個平面的每個有效點都向左移半個像素。P=(2,1,4)T 的第一幅影像座標為 p1=(2,3/2,1)T;單應性給出 p2=(3/2,3/2,1)T,與直接相機投影一致。
現在改用 Q=(1,1/2,2)T。它與 P 在同一條相機 1 射線上,所以 p1 相同。但直接在相機 2 投影得到 (1,3/2,1)T,並非 (3/2,3/2,1)T。Z=4 的單應性無法同時描述這個深度為 2 的點。這裏可以把兩點視為兩種可能的場景點來比較;若同一場景中兩個不透明表面真的在同一條射線上,還須由可見性決定相機 1 實際看到哪個。
反例模式
同一個來源像素,不能在一個單應性下有兩個輸出
上例說明,當未知深度改變時,同一個來源像素可以有兩個不同的目標位置。任何單值影像映射,包括單應性,都只能為這個來源位置指定一個結果。因此,該平面的映射不能描述這個平移下的任意三維深度。
更一般地,在上面平行相機的設定中,正深度 Z 的點會水平移動 −fx/Z。不同深度導致不同位移。這是視差,不是換一個更準確的重取樣插值核就能消除的誤差。
純旋轉是重要的深度無關例外
如果兩個相機中心重合,相對平移就是 t=0。此時 X2=RX,而且
p2∼K2RK1−1p1.
公式沒有平面參數,也沒有深度。只要點在兩個視圖中都有有效投影,任何深度都成立。由於 K1,K2,R 都可逆,此矩陣也可逆。這解釋了為何理想情況下繞相機中心旋轉拍攝的全景,可以使用一個投影映射,而不要求場景平坦。
例題 14.1.5
(純旋轉:有限、在相機後方、在無窮遠)
取 K1=K2=I、t=0,並繞鉛直軸轉四分之一圈:
R=00−1010100,H=K2RK1−1=R,所以 RTR=I、detR=1。三個來源像素表現各不相同。
- p1=(−1,0,1)T 給出 Hp1=(1,0,1)T,目標像素為 (1,0)。每個場景點 λ(−1,0,1)T(λ>0)經 R 變成 λ(1,0,1)T,深度 λ>0,像素不變,沒有視差。
- p1=(1,0,1)T 給出 Hp1=(1,0,−1)T∼(−1,0,1)T,目標像素為 (−1,0)。但 Rλ(1,0,1)T=λ(1,0,−1)T 的相機 2 深度是 −λ<0。代數給出有限像素,這些點卻在相機 2 後方,不是物理上的對應。
- p1=(0,0,1)T 給出 Hp1=(1,0,0)T。第三座標為零,沒有有限的目標像素:這條射線與相機 2 的像平面平行。
三種情況下矩陣都可逆;可逆性並不能說明會出現哪一種表現。
如果實際移動同時平移了相機中心,深度依賴便會重現。對主要牆面或足夠遠的場景,平面模型仍可能有用,但那是場景假設或近似,不能與精確的純旋轉結果混為一談。
分開幾何映射與影像取樣
給定像素 p1,先算 r=Hp1。只有 r=0 才代表有效投影結果;只有 r3=0 才是有限目標像素,須以它除前兩個座標。單應性一般不是仿射映射,因為分母可能隨來源位置改變。
做反向影像重取樣時,若 H 可逆,可以先用 H−1 把目標位置映回來源,再插值。但這仍未決定來源是否在影像內、平面交點是否有正深度,以及有沒有其他表面遮擋。幾何提供座標,邊界規則、可見性及影像重建模型則補足完整渲染或拼接方法的其他部分。
常見錯誤
公式 H=K2(R+tnT/d)K1−1 對應寫成 nTX=d 的平面。若把平面 Z=4 寫成 nTX+d0=0,n=(0,0,1)T,則 d0=−4;繼續使用 +tnT/d0 會得到元素為 +1/2 而非 −1/2 的矩陣。於是上例會預測 P 向右移,與直接投影的結果相反。應先換成 d=−d0,或把 tnT/d0 前面的符號反轉。
常見錯誤
(該用 H−1 的地方用了 H)
以反向重取樣做影像變形時,每個目標像素要問該讀取哪個來源位置。上例中 H 把來源像素向左移 1/2,所以目標像素 (3/2,3/2) 須讀取來源的 (2,3/2),也就是對它施以 H−1。若再用一次 H,會讀到來源的 (1,3/2),方向相反。
練習與解答
快速檢查
(設 K=diag(2,2,1)、R=I,相機中心 C=(1,0,0)。對像素 (1,0),求世界射線及它與 Z=4 的交點,並指出平移列與射線參數的意義。)
解答
世界到相機的平移為 t=−C=(−1,0,0)T。校準方向是 q=(1/2,0,1)T,世界射線為 (1+λ/2,0,λ)T,其中 λ>0。當 Z=4,有 λ=4,交點是 (3,0,4)T。參數是相機深度,不是歐氏距離;從中心到交點的向量長度為 20。
快速檢查
(設 K1=K2=R=I、t=(0,0,1),平面為 X+Z=4。求 H 及來源像素 (u,v) 對應的正規化目標像素。哪些來源像素會在正深度與此平面相交?)
解答
此時 n=(1,0,1)T、d=4,H 第三行是 (1/4,0,5/4),前兩行是 (1,0,0)、(0,1,0)。作用在 (u,v,1)T 後,若 u+5=0,目標座標為 (4u/(u+5),4v/(u+5))。
參考射線的平面交點深度為 λ=4/(u+1),正值條件恰為 u>−1。在這個物理範圍,相機 2 深度 λ+1>0,上面的分母不可能為零。在範圍以外,單靠投影公式不能確立物理可見性。分母依位置而變,亦說明這一般不是仿射平移。
快速檢查
(正規化相機滿足 K1=K2=R=I,平面為 X=1,t=(−1,0,0)。求 H、判斷可逆性,並計算 P=(1,2,2)、Q=(1,4,4) 的兩組影像對應。)
解答
n=(1,0,0)T、d=1,所以 H=diag(0,1,1)。第二相機中心 (1,0,0)T 位於平面,因此矩陣奇異。
相機 1 中,P 位於 (1/2,1),Q 位於 (1/4,1);相機 2 中,兩者都是 (0,1)。因為扣除第二中心後得到 (0,2,2)T、(0,4,4)T,兩向量成比例。平面壓成影像直線 u2=0,不能由共同的目標像素找回兩個不同的來源像素。
快速檢查
(有程式以原像素的第三座標 1,來除 Hp 的前兩項,並在相機平移時用同一個平面單應性處理前景與背景。指出兩個獨立錯誤,並說明何時一個深度無關矩陣是精確的。)
解答
齊次正規化必須除以結果的第三項 (Hp)3,它不一定是 1。略去這一步,就是把投影映射誤當成仿射映射。
平面單應性亦依賴平面的深度與方向,一般不能同時描述平移相機下任意前景與背景。更準確的插值不能修補這種幾何不匹配。若相機中心重合,t=0,則對兩幅影像中都有有效投影的點,K2RK1−1 是精確而深度無關的矩陣;實際平面場景則是本節證明的另一種情況,仍須滿足所列的非退化條件。