為甚麼全景會出現重影
原地轉身拍攝兩張照片時,遠處樓宇也許能很好地對齊,近處欄杆卻出現兩個影像。增加特徵點或擴大混合區域之前,應先問:所有可見點是否真的服從同一個影像變換?單應的八個射影自由度,不能保證它能描述任意三維場景。
本節區分兩個精確模型:相機繞光心旋轉,以及平移相機拍攝同一平面。我們再構造一個無法由單一單應對齊的場景。假設相機為理想針孔模型、鏡頭畸變已校正、內參可逆且已知、場景剛性靜止、曝光瞬時完成,對應點確實來自同一物理點。遮擋會使某些點沒有對應;對齊周圍像素並不會恢復看不見的表面。
先固定座標方向
定義 1.32.1
(相對位姿與校正視線)
設場景點在第一相機座標中的向量為 ,第二相機座標為
所以 將第一相機座標轉成第二相機座標。齊次像素為 ,滿足 ;符號 表示相差一個非零倍數。向量 給出第一條視線的方向,因此 。內參採用通常規範時,,而 就是第一相機深度。可見點須在兩相機前方,且投影座標有限。
將關係代入投影,而不是直接猜測變換:
平移項被深度除,正是問題所在。不同深度通常產生不同影像位移。
定理 1.32.2
(純旋轉的精確單應)
若兩相機中心重合,即上述約定中 ,則每個共同可見場景點都滿足 ,其中 可逆。場景不必共面,也不必具有相同深度。不過,對個別點作非齊次化時,分母仍須非零。
證明
(共同相機中心時深度相消)
寫 ,其中 是第一相機深度。平移為零時 ,故 。齊次等價消去純量 ,得 。各因子皆可逆,故 可逆。
證明透視
未知深度在哪一步消失
關鍵在於 乘在整個向量 上,所以射影等價可以把它捨去。若有平移,向量是 ,只有第一項帶有 ;除去共同深度後留下 ,它隨場景點而變,一般不能放進單一矩陣。因此假設 只用了一次。這個證明對逆命題沒有任何說法:下面的平面情況顯示,平移相機也可以有精確的單應,所以擬合成功的單應不一定來自純旋轉。各因子可逆只給出 可逆;某個點的分母是否非零,是另一個條件。
日常所說「站著不動轉身」只是近似。手持相機在身體前方轉動,光心仍沿圓弧移動;三腳架旋轉軸偏離光心時也會產生平移。滾動快門、畸變、物體運動和曝光變化則是另外的模型誤差。
旋轉產生有理像素映射
例題 1.32.3
(可以逐步核對的 3–4–5 旋轉)
令兩相機 ,主點為零,並取
第一幅影像的像素 被映到齊次向量 。除以第三項後,得到 ,約為 。第一條視線是 ,旋轉後為 ,可獨立核對同一答案。把場景點放在深度 或 ,只會同時縮放三個座標,不改變投影。第三項 也確認第二相機深度為正。
這不表示整幅影像都平移 。分母會隨 改變;即使相機沒有平移,只用影像平移模型仍會漏掉透視效應。
在本例中,第一影像直線 ,即 ,對應的視線在第二相機中深度為零。這些方向位於第二相機通過光心並平行於像平面的主平面, 將來源直線映到無限遠直線;非齊次公式的分母因此為零。射影矩陣可逆,不表示每條視線都落在有限影像矩形內,或都在相機前方。
常見錯誤
(反向映射誤用 R 而非其轉置)
由影像二回到影像一的映射是 。在 3–4–5 例子中,視線 經 回到 ,即第一影像像素 ;若改用 ,它變成 ,對應像素約為 ,與出發點相差很遠。
共面場景為何是另一種精確情況
命題 1.32.4
(平面誘導的單應)
設所觀察的場景點位於第一相機座標中的平面 ,其中 。則每個這樣的點都滿足 ,其中 。
證明
(用平面方程消去深度)
因 ,平面方程給出 ,即 。所以 ,再代入 ,便得所述矩陣。
這個加號由平面方程和姿態方向共同決定。若平面寫成 ,公式的符號便會改變,不能脫離約定背誦。平面不能通過任何一個相機中心,才能得到可逆的平面影像單應。矩陣行列式引理給出 ;此值為零,恰好表示第二相機中心 在平面上。平行於平面的視線也沒有有限交點。
概念視角幾何
旋轉作為遠去平面的極限
固定 、 和單位法向量 ,讓平面遠去,即 。此時 ,故 ,正是純旋轉單應。原因在推導中的 一項:點越遠,深度 越大,平移造成的位移就消失。旋轉情形是平面族的極限成員。
例題 1.32.5
(深度為二的平面與橫向平移)
取 、、,平面為 ,即 、。則
它把 映到 。這與下面反例中 時直接計算的 一致。平移並不為零,但這個平面上仍有一個精確的單應。
例題 1.32.6
(通過第二相機中心的平面)
仍取 、、,但平面取 ,即 、。在第一相機座標中,第二相機中心是 ,正好在這個平面上。矩陣為
它是奇異矩陣,與 相符。平面上每點 都有 、,整個平面投影到直線 之內,因此不存在可逆的平面到平面影像單應。
常見錯誤
(單應擬合得好不證明相機只做了純旋轉)
在上面的平面例子中,相機橫向移動了一個單位,單一單應卻是精確的。僅憑擬合好壞,不能區分旋轉與平移的共面場景;必須由場景假設或更多視圖來判斷。
反例模式
兩種深度要求不同位移
令 、、,即第二相機中心沿第一相機的 軸移一單位;在通常的影像橫軸向右約定下,這就是向右移。點 的正規化影像座標為 、,第二幅影像則為 、。
先在 平面選四個孤立特徵點,點之間沒有填滿空間的實心不透明平面,使第一幅影像座標分別為 。它們任意三點不共線,構成射影標架,精確對應唯一決定單應 。另加點 ,第一幅影像位置為 ,真實第二幅位置為 。前四點決定的單應卻預測 ,水平誤差為 。因此沒有單一單應能滿足這五個對應。第五點的視線與前四點不同,反例不需要兩個可見表面佔據同一來源像素。
這裏的唯一性並非只靠數方程。若兩個可逆單應在射影標架上一致,它們的商便固定該標架。取前三個點向量作基底,固定它們的射影方向後,商矩陣在此基底必為對角矩陣,對角元素記為 ;第四向量在此基底的三個分量皆非零,固定其射影方向便強迫三個對角元素相等。商是純量矩陣,兩個射影映射因而相同。
把幾何判斷放進處理流程
穩健估計可能選擇主要平面,把第五點當成離群值。如果目標確實是該平面,這可以合理;卻不能因此說整個場景已符合模型。應按影像位置和已知場景深度觀察殘差向量。有規律的深度相關誤差,可能表示模型本身有誤,而非優化不夠好。比較轉移誤差時,必須使用一致座標單位,並確認分母有效。
遠景可能讓平移誤差小至可接受。為量化一個精確情況,假設兩相機內參相同、水平像素焦距為 、沒有相對旋轉(),並取 。兩個表面為第一相機座標中正對相機的深度平面 、。若精確對齊 平面,則 上一點的水平殘差,定義為實際位置減預測位置,為 ;比較容許誤差時取絕對值。一般旋轉或沿視軸平移會改變投影分母,不能原封不動套用此式。若 、、、,差異為 像素。因此「足夠遠」取決於基線、焦距及誤差要求,並無通用距離門檻。
圓柱或球面輸出可以改善寬角度純旋轉全景的透視拉伸,卻不能消去平移造成的深度視差。接縫可藏起部分錯位,混合可柔化亮度變化,但都不會建立一致的幾何對應。局部變形、深度重建或多平面方法改變了模型,須另行交代假設。
練習及解答
快速檢查
(求純旋轉情況由影像二到影像一的單應。)
解答 · 答案
逆矩陣按相反次序相乘,。使用 而非 ,會再次施加第一到第二相機的旋轉,而非撤銷它。
快速檢查
(兩個正對相機的表面深度為 、 米, 像素。若相對錯位最多 像素,水平基線最大多少?)
解答 · 答案
,所以 米。此界限依賴上述平移和表面方向假設,不適用於任意運動及斜面。
快速檢查
(已知內參,如何以代數檢查候選 是否相容於純旋轉?)
解答 · 答案
設 。由於 可任意縮放,應要求存在 使 。若成立,將 除以 ,並選射影符號使行列式為 ,便得到旋轉矩陣。仍須核對實際視線的正深度。這表示模型相容,不能證明一個平移的共面場景不可能產生同樣觀測。
快速檢查
(為何排除 ?)
解答 · 答案
此時 無法決定深度。平面上的點全部投影到直線 ,二維平面影像已退化成直線。直接除以 會掩蓋這項幾何資訊損失。