動機
一塊長方形告示板拍進照片後,通常變成一般四邊形。直邊仍然是直線,板上同樣長的線段卻未必在影像中同樣長。要把照片校正,先要知道成像保留甚麼幾何性質。透視投影提供一個清楚的模型,也解釋為何相機換了位置後,同一項平面校正一般不能同時對齊近處樹木與遠處大樓。
計算成像把幾個容易混淆的問題放在一起:一個影像位置應移到哪裏?非整數位置應取甚麼連續強度?輸出網格最後應記錄哪些樣本?第一項是幾何,第二項是由離散樣本重建連續信號,第三項是取樣。第一項即使完全正確,仍未回答其餘兩項。準確估計的幾何變換也可能產生鋸齒或模糊紋理。
本節先建立理想針孔相機,再用齊次座標表達平面映射。真實鏡頭還有畸變、有限孔徑和校準誤差;它們在應用上重要,但不應遮蓋基本透視公式成立的原因。以下每個結論都附有適用條件,讓我們知道模型在哪裏有解釋力,在哪裏需要增加物理或幾何數據。
定義
定義 1.1.1
(透視投影與相機矩陣)
以光心為原點,令虛擬像平面為 ,其中 。相機座標中的場景點 在 時投影為
推導只需把光線 與像平面相交:。實體感光面在針孔後方,會得到倒像;採用前方虛擬像平面,能避免在每一步重複處理符號。像素座標還包含焦距縮放、主點位置以及可能的斜切,齊次形式為
是世界點, 是旋轉矩陣, 是以相機座標表示的平移, 是可逆內部校準矩陣。 表示相差一個非零倍數,並非逐分量相等。若 ,齊次向量 對應有限位置 。
定義 1.1.2
(平面單應變換與齊次直線)
平面單應變換寫成 ,其中 是可逆的 矩陣,整體非零倍數代表同一映射。只有當 的第三分量非零,才有有限輸出座標。非零向量 表示一條齊次直線,其點滿足 。此表示包含無窮遠點;它們用來整理方向,並不是有限感光面上的位置。
定義 1.1.3
(雙線性重建)
數碼影像是一個陣列 。要查詢非整數位置,需要另選重建規則。例如對 ,雙線性插值把 的強度定為
這是四個已有樣本的加權值,並不是新增的實際光線量度。邊界處理與色彩表示也要交代。若要模擬光的物理平均,應使用線性光強,而不是任意非線性顯示編碼。
定理 / 命題
定理 1.1.4
(場景平面為何導出單應變換)
以 參數化一個平面,其中 是 矩陣, 是平面齊次座標。兩部相機矩陣為 。若 和 均可逆,則對應影像點滿足
可逆條件排除了退化觀看情況,例如場景平面包含相機光心。
定理 1.1.5
(單應變換保留直線與交比)
可逆單應變換把射影直線映至射影直線,且 。四個相異共線點若有有限仿射座標 ,則在公式有定義的情況下,交比
保持不變。長度、角度和一般距離比通常不保留。
另一個重要特例是相機繞固定光心純旋轉。採用相容座標,且沒有平移時,相應光線滿足 ,不受場景深度影響。真正需要的是「光心不移動」;手持相機看似只在轉動,仍可能附帶平移並產生視差。
證明思路
證明
(消去平面座標)
對場景平面,第一部相機給出 。由可逆性得 ,代入第二部相機即得公式。這個做法消去平面座標,毋須逐點重建三維位置。若 奇異,相異平面點可能映至同一影像點,便無法由影像唯一反解平面座標。
證明透視
同一矩陣成立的關鍵假設
兩個可逆性假設都有用到,但發揮作用的時刻不同。 只用一次,用來解出 :它讓第一幅影像可以解碼回平面自己的座標。不明顯的一步,是讓論證經過兩部相機共用的 ,而不是經過三維點。 在推出關係時完全沒有用上;它只在之後才重要,因為 可逆當且僅當 可逆,這時映射才是單應變換。論證之所以能收尾,是因為同樣三個齊次座標同時輸入兩部相機。
一般三維場景多出一個深度自由度:四個齊次座標取代了平面的三個。第二個相機位置可以把這個多出的自由度顯示為視差,而單一的像平面單應變換無法對所有點消除它。
證明
(單應變換下的直線與交比)
直線性質則來自 :原來的條件變成 ,所以新直線是 。把射影映射限制在一條直線上,可寫成 ,其中 。兩點差為
把四個差代入交比,行列式及各分母因子全部相消。含無窮遠點的情況可用極限或齊次行列式處理,不能直接在有限公式中除以零。
兩組各四個對應點,在各自沒有三點共線的一般位置下,可以決定單應變換。每組匹配提供兩項獨立齊次線性約束;矩陣九個元素扣除整體尺度,有八個自由度。但自由度數目本身不是證明:重複點或共線點會令約束相依。更多帶雜訊匹配可先經座標正規化,再求代數最小二乘擬合,最後檢查幾何重投影誤差。代數殘差隨座標尺度改變,不等於像素距離。
例題詳解
例題 1.1.6
(深度改變表觀大小)
取焦距 像素。場景點 和 的橫座標分別是 和 。在固定深度四,世界長度一的水平線段佔 像素;同樣長度放在深度八,只佔 像素。焦距沒有改變,改變的是除數深度。若沒有深度或額外幾何條件,單憑像素位移不能推斷世界位移。
例題 1.1.7
(校正一項簡單射影變形)
令
映射為 。正方形頂點 變成 。逆矩陣只把左下元素改為 ,代回可恢復正方形。原直線 映至無窮遠,因此不能在該處使用有限座標公式。實際校正時,輸出範圍應避免跨越這類奇異邊界。
反例模式
中點並不保持
有人或會以為,單應會把線段的中點送到其像線段的中點。對上面的矩陣,從 到 的線段,中點是 ,它被映到 。而像線段由 到 ,中點是 。因為 ,這個說法不成立。能保持的是共線四點的交比,而不是普通的比值。
例題 1.1.8
(逆向變形與插值)
把原圖平移 至輸出。輸出像素 需要查詢來源位置 。在 上的雙線性權重依次為 。若強度依次是 ,結果為 。若反過來把每個來源像素向前映射並四捨五入,可能有輸出空洞,也可能多個來源擠進同一像素。逆向映射讓每個有效輸出位置都有來源查詢,但來源範圍以外仍須另定規則。
以下是另一個縮放例子,所用的來源影像與上面的平移例子不同。來源值分兩行排列,依次為 。水平放大 倍、垂直放大 倍時,輸出點 逆向對應至 。雙線性插值的權重依次為 ,結果是 。比較向前寫入與逆向查詢,再試邊界及碰撞情況。沒有向前寫入,並不等同於寫入數值零。
實作應分清三項工作:輸出有效範圍遮罩、逆幾何映射及重建濾波器。 可逆只保證射影逆映射存在,並不保證每個查詢點都在原照片的長方形內。矩陣可逆與影像有數據是兩個條件。未覆蓋區域應標為未知,直至另一幅影像或明確填補模型提供數據。
概念視角分析
變形同時改變取樣足跡
逆映射的局部 Jacobian 描述一個輸出像素對應來源中的多大鄰域。若一個輸出像素涵蓋許多來源像素,只做一次雙線性點查詢,可能漏掉交替紋理。降取樣前應對適當來源足跡先做平均濾波。插值負責樣本之間如何延伸;抗混疊負責哪些變化可以安全留在較粗網格上。
例如 在整數位置的樣本,與 無法區分。頻率 與 給出相同整數樣本。事後變形不能判斷原本是哪個連續信號。解決方法是在取樣前限制頻寬:攝影時可用光學濾波,重新取樣時可用配合縮小比例的數碼濾波。
常見錯誤
反例模式
單應變換一般不能消除視差
第一部相機光線上的兩點為 和 ,單位焦距下都映至 。第二部相機光心移至 而不旋轉,兩點相機座標成為 和 ,分別投影到 和 。同一輸入必須有兩個不同輸出,所以不存在同時滿足兩者的單值影像變形,更不存在單應變換。被遮擋點未必能同時看見,但此例準確隔離了深度歧義。
常見錯誤
(齊次第三座標不是深度)
經過一般射影變換後, 的第三分量 只是所選表示的除數: 與 是同一個點。深度屬於相機座標下的場景點,不能從 讀出。
常見錯誤
(用可能為零的元素來正規化)
令 是常見約定,但只在 時有效。三行依次為 的可逆矩陣有 :它把 送到 ,因此不能重新縮放成 。應改用另一個元素,或改為把 Frobenius 範數正規化。
常見錯誤
(只憑一小塊吻合就判斷模型正確)
錯誤的模型可以在小區域吻合,卻在其他地方留下系統性誤差。用同一面牆上的點擬合的單應變換,可以把這面牆疊得很準,而牆前的樹這類不在牆上的物體卻會因視差而漂移。應在整幅影像上檢查疊合,特別是沒有參與擬合的點。
多次重複重新取樣會累積濾波。通常先合成幾何映射,最後只取樣一次,比不斷變形已插值影像更能保留細節。但這不會免除抗混疊需求,也不會修正錯誤相機模型。幾何、光度與取樣錯誤應分別診斷,因為補救方法不同。
總結
透視投影把橫向位置除以深度。齊次座標把平面射影映射寫成相差尺度的線性運算,並顯露有限座標失效的位置。平面場景與固定光心純旋轉,在上述理想條件下產生準確單應變換;任意三維場景的平移視角則沒有此保證。實際影像變形還要選有效範圍、插值及抗混疊,幾何準確性不能補回已失去的取樣資訊。
練習
快速檢查
(相機焦距 ,主點 ,方形像素且無斜切。投影相機點 。若只把深度加倍,新像素在哪裏?究竟哪一項位移減半?)
解答 · 答案
像素為 。深度十時為 。相對主點的位移由 變成 ;絕對像素座標不會減半,因為主點沒有移動。
快速檢查
(對例題的 ,映射直線 。求輸出的有限笛卡兒(Cartesian)方程,並用兩個映射點驗證。)
解答 · 答案
來源直線向量為 ,乘 得 ,所以輸出滿足 。 和 映成 及 ,均滿足方程。透視保留直線性,但改變斜率。
快速檢查
(水平的來源行在位置 的樣本為 。向右平移 ,用線性插值求輸出位置二的值。為何輸出位置零需要邊界規則?)
解答 · 答案
輸出二查詢來源 ,對樣本值二及四的權重是 和 ,結果 。輸出零查詢 ,超出來源範圍。補零、鏡像延伸或無效遮罩各有不同結果,並非平移矩陣本身能決定。
快速檢查
(四個來源匹配點為 。說明即使匹配完全準確,也不能唯一決定二維單應變換。構造兩個相異可逆矩陣,在來源直線 上完全一致。)
解答 · 答案
這些匹配只約束變換在一條射影直線上的限制。單位矩陣與 都固定每個 ,卻在直線外作用不同。兩者都可逆,也不相差整體倍數。即使同一條線上有無限多個準確匹配,另一方向仍未被確定。