為何校正不止是一條公式
針孔相機把空間中的直線投影成影像直線;若直線穿過相機中心,則退化為一點,前提是所涉及的點深度非零。真實鏡頭卻可能使影像變彎,在感光元件邊緣尤其明顯。若把這樣的座標原封不動地交給單應或對極線估計,殘差未必只是隨機的失配:幾何模型本身可能就是錯的。因此校正是量測與這些理想幾何計算之間的一個步驟,而不是美化用的拉直濾鏡。
我們使用一個刻意受限的徑向模型。它的中心、內參和參數都必須由標定數據估計;單一徑向係數並不是通用的鏡頭描述。除非有標定板及姿態或其他獨立約束提供,否則理想座標是無法觀測的針孔視線座標。我們假設相機靜止、對焦與解像度固定、使用全域快門,而且模型在指定的圓盤上有效;色差、切向畸變及隨時間變化的效應不在討論之列。在某個圓盤內擬合良好,並不保證在圓盤之外同樣良好。
正規化座標與前向映射
定義 1.34.1
(單係數徑向畸變(圓盤上))
設 是相對畸變中心的理想正規化相機座標,並令 。對實係數 ,畸變座標定義為
當比例因子 在圓盤上為正時,極角方向保持不變,畸變半徑為
這裏的座標沒有量綱。設中心為 ,正焦距尺度 已知,一種可能的零傾斜像素約定是 、。若實際畸變中心不同於主點,應採用相應標定過的變換,而不是悄悄把兩者視為同一點。當 時,兩個方向上相同的像素距離並不對應相同的正規化距離。
定理 1.34.2
(徑向場可逆的充分條件)
若對每個 都有 及 ,則前向映射在半徑為 的閉圓盤上是一對一的,它把該圓盤映到半徑為 的圓盤上,逆映射連續。對非零的畸變點,由 反解其唯一半徑並保留其方向;中心映到自身。
證明
(單調的半徑給出可逆的場)
導數為 。在上述假設下它在整個區間為正,所以 從零到 嚴格遞增,並在其上有唯一的連續逆函數。正的比例因子保持方向;因此兩個相等的非零輸出必有相同方向,再由嚴格單調性,也有相同半徑。半徑為零的輸出只來自中心。由連續性,零與 之間的每個半徑都會出現,這便得到所述的像圓盤。這些是充分條件,並不是說每個可逆的徑向映射都必須在每一點有嚴格為正的導數。
證明透視
把半徑與方向分開
只有先確定比例因子為正,半徑的純量方程才有用。負的比例因子會使方向反轉,若在半徑方程中改用其絕對值,便會掩蓋第二個原像。定義域和符號約定都是反問題的一部分。
估計一個係數
命題 1.34.3
(由二維點對得到的最小二乘徑向係數)
設獨立標定已提供成對的理想與測得正規化點 和 ,中心與內參固定。令 ,模型為 。對實數 最小化二維殘差平方和,得
證明
(展開二次式)
展開二次式 ,令其導數為零,便得上面的值。它的二階導數為 ,所以最小點唯一。
只有中心點時分母為零,對 沒有任何資訊。這個擬合把理想點視為固定,並使用相同的各向同性座標權重;若它們的不確定性或像素雜訊協方差不可忽略,這個目標一般不是最大似然擬合。實際上,姿態、內參與畸變可以用非線性重投影誤差聯合精修;持出的棋盤視圖及視場覆蓋很重要,因為訓練殘差小並不足以確立標定的準確度。
若只保留半徑,令 為理想半徑、 為測得的畸變半徑。最小化 ,只要某個 ,便得 ;對 、,它給出 。把量測壓縮成長度會丟失方向資訊,所以有非徑向殘差或雜訊時,這個估計一般與二維估計不同。兩者都不能單獨證明模型正確。
例題 1.34.4
(一個點、指定的視場,以及校正)
取 、、。則 ,,,畸變半徑為 。若這組理想點與測得點準確已知,最小二乘公式返回 。在整個單位圓盤上,比例因子至少為 ,而 至少為 ,所以定理適用。要校正這個觀測點,在 上解 ; 給出唯一解 ,再配合方向便恢復 。
例題 1.34.5
(反算邊界點,以及其他的根)
取 、,理想點 的比例因子為 ,所以其畸變點為 ,位於像圓盤的邊緣。要反算,解 ,即 。 是 內唯一的根,因為 在其上嚴格遞增。其餘的根 和 在標定視場之外:不受限制的多項式求根器可能返回它們,但它們並不對應模型中的理想點。
例題 1.34.6
(繪製一個輸出像素,以及一個被遮蔽的像素)
取 、、,中心為 。正規化座標為 的理想輸出像素畸變到 ,所以原始影像的查找位置是 、。理想像素 的半徑大於 ,因此要遮蔽。若硬套公式,比例因子為 ,查找位置為 ,它也許落在感光元件上,但模型在這個半徑並未標定。
繪製校正後的影像
概念視角算法
反算一個點與取樣一幅影像
有兩種看似「反向」的操作,不應混淆。要校正一個觀測點,就解純量方程求其理想半徑。要在沒有散射空洞的情況下繪製理想輸出影像,則逐一訪問每個理想輸出像素,把它的正規化座標經畸變模型前向映射,再變換到原始感光元件像素,並在原始影像上插值。這是反向影像變形:查找方向是由輸出到輸入,雖然它計算的是前向的幾何畸變。
理想輸出位置若在已標定的圓盤之外,即使預測的來源位置落在感光元件上,也要遮蔽;落在感光元件之外的查找也要遮蔽。兩種無效像素都不是新量得的黑色像素。
雙線性插值是局部近似,不能恢復未被記錄的資訊。當一個輸出像素在來源影像中覆蓋較大或各向異性的範圍時,需要適當的預濾波來控制混疊。前向映射在不再一對一之前,就可能有條件很差的區域:當 很小時,半徑量測的小誤差可以引起理想半徑的大誤差。在已知單調的區間上用二分法可得到夾界的數值逆;不受限制的多項式求根器可能返回標定視場之外的另一分支。
反例模式
代數公式不是全域的逆
對 ,若把公式延伸到所述單位圓盤之外,則 發生在 ,之後 開始遞減。事實上 與 都映到中心,所以這個公式在整個平面上並非一對一。第二個半徑的比例因子也是零,方向在那裏丟失。這個反例並不推翻單位圓盤上的逆映射;它說明了為何必須註明視場。
殘差與模型的限制
擬合之後,在持出的標定板視圖上畫出觀測位置減預測位置的殘差。一致向外或向內的圖樣可能提示徑向模型失配;偏心圖樣、標定板變形、姿態不準、卷簾快門或特徵定位不精確,同樣可以造成有結構的殘差。僅憑殘差的方向不能判定成因。應納入遍及視場、標定板方向各異的視圖,除了正規化單位外也以像素檢查殘差大小,並在持出的量測上把擬合模型與較簡單的模型比較。更多參數可以降低訓練誤差,卻使外推變差。
常見錯誤
(訓練殘差為零並不能確定係數)
若只有中心處一個對應點,則對所有 都有 ,殘差對每個 都是零,係數卻完全未被確定。即使有非中心的點,也應採集遍及視場及多種標定板方向的數據,並以獨立視圖檢驗,而不是只報告擬合誤差。
常見錯誤
(把一條被拉直的線當作完整的標定)
被拉直的標定板直線是有用的診斷,卻不是完整的標定證明:錯誤的中心、焦距尺度或三維姿態可能仍然存在,而且在同一條線上調參的方法可能對它過擬合。
相反,正確的幾何映射並不能恢復焦點、去除感光元件雜訊或消除運動模糊。恰當的說法是:指定的模型在所測試的視場內,以所述的準確度預測了量得的標定板位置。
練習與解答
快速檢查
(對 ,求單位圓盤上的最大畸變半徑,並說明該處的逆映射唯一的理由。)
解答 · 答案
。在 上 ,且比例因子為正,所以 中每個半徑在 內恰有一個原像半徑,每個輸出點在單位圓盤內恰有一個原像點。
快速檢查
(一個理想正規化點為 ,測得點為 。計算無約束的單參數估計及殘差。模型能否準確解釋兩個分量?)
解答 · 答案
,所以 。預測值為 ,觀測減預測為 。僅有徑向的校正無法解釋這個點上垂直方向的殘差。
快速檢查
(某點的前向徑向導數為 。一階近似下, 的小徑向量測誤差會使反算半徑改變大約多少?說明這個近似的限制。)
解答 · 答案
把 線性化,得 。這只是局部近似: 的曲率、雜訊大小及定義域邊界,都可能使有限誤差明顯不同,尤其在折返點附近。
快速檢查
(為甚麼把每個原始像素向前散佈到校正位置,在實作上不等同於為每個輸出像素查找原始座標?)
解答 · 答案
前向散佈可能留下空洞,或把幾個樣本放到同一個輸出位置。由輸出到輸入的查找,只要來源座標有效並選定重建規則,就會為每個輸出像素賦值;它仍需要插值、遮蔽,以及在適當時的抗混疊。
快速檢查
(兩個理想半徑都是 ,測得半徑分別為 和 。求僅用半徑的最小二乘估計 及殘差。)
解答 · 答案
分子為 ,分母為 ,所以 。兩個預測半徑都是 ,殘差分別為 和 :兩個量測並未都被準確擬合。
快速檢查
(有人說,校正影像時必須對每個輸出像素解一個三次方程。這是否正確?)
解答 · 答案
不正確。以理想網格為輸出時,對每個輸出像素計算前向映射即得畸變的輸入位置,再插值即可。只有要由測得的畸變點反求理想點時,才須解三次方程 。