為廣視角選擇曲面
透視照片在平面上記錄光線。當光線趨近於平行成像平面的方向,影像座標便無界增長,因此一張平面畫布不易容納很寬的視野。圓柱改以角度記錄水平方向。全景影像仍由輸入照片取樣而成:圓柱只改變座標,並不改變場景或相機運動。
定義 1.31.1
(全景座標系中的像素射線)
假設理想針孔相機、鏡頭畸變已校正,以及靜止場景。全景座標系的 向右、 向下、 向前;相機座標系採用相同手性。正交旋轉矩陣 把相機座標系中的方向轉到全景座標系。要精確地以旋轉配準,所有輸入相機共用光心,並以它作為全景原點。全景 軸是所選的圓柱或旋轉軸,不一定與重力方向一致。像素座標向右、向下遞增;零斜切時令
代表光線方向,不代表物理深度為一的場景點。旋轉方向不可混淆:全景方向要以 轉回相機座標系,不能再用一次 。每張輸入照片應使用自己的 和內參。
從光線到圓柱
定義 1.31.2
(射線的圓柱座標)
以垂直 軸為軸建立單位半徑圓柱。當 ,光線 ()與 相交的唯一正參數是 ,故交點高度為 。由 朝 量度角度,得
選取分支 ,把 的輸出模 化到此區間,包括把接縫處的 (含帶符號零的結果)化為 。選取正比例 (分別以每弧度像素及每單位高度像素計),以及原點 。連續輸出座標為 、。這個映射一般不保持輸入影像面積或立體角,樣本密度隨方向改變。實際全景可只覆蓋座標範圍的一部分。
以反向映射取樣
正向映射告訴我們輸入光線到哪裏;但把每個來源像素的位置四捨五入到輸出像素,可能留下空洞。反向做法是對每個輸出像素中心 計算 和 ,必要時將角度模 化到所選分支,取全景方向的代表向量
若 ,將其投影回輸入照片:
只有 落在有效影像範圍,並包括插值法所需的鄰域時才取樣。若 ,光線平行成像平面;若 ,光線指向相機中心後方。兩種情況均不能由這張向前的針孔影像取樣; 時即使圓柱座標有限,除法亦未定義。可嘗試另一張看見該方向的照片,否則保留為無數據。插值、降取樣前濾波及曝光補償分別處理取樣或外觀,不能保證幾何模型正確。
概念視角分析
把變形看成取樣密度的變化
取 並看 這一行。此時 ,所以 ,,即每弧度含有的輸入像素數。取 時,變形在 處一對一;但在 ,一個輸出列涵蓋 個輸入像素,要減少該處的取樣誤差,便須在降取樣前先濾波。
定理 1.31.3
(在定義域上正反公式互逆)
對任何 的非垂直光線,圓柱構造給出 和 。故 是原光線的正倍數。反過來,任何有限 和角度 所構成的代表向量,其水平半徑為一,圓柱高度為 ,角度與 相差 的整數倍。相機取樣還需要相機座標深度為正,且位置處於有效輸入範圍。
證明
(射線與圓柱座標的往返)
取射線 ,。對任何尺度 ,向量 的水平半徑為 ,所以 ,而 。同一條前向射線上的所有點有相同的圓柱座標,因此圓柱座標描述的是射線,並不帶有深度。
由 的定義,、。於是 ,是 的正倍數。
反過來,設 有限、 為任意角,並令 。它的水平半徑為 ,圓柱高度為 。它的角度 在模 下等於 ;化入所選分支後,得到 在該分支的代表值。
證明透視
往返論證中各假設在哪裏使用
每個假設只在一處使用。條件 在除以 時用到;它排除了垂直射線,因為這類射線沒有 的值。正尺度使往返變成「同一條射線」: 是 的正倍數,而圓柱座標分不出正倍數。負倍數 會給出 ,是另一組座標,因為它是相反方向的射線。
角度只能在模 下復原,所以定理比較的是模 的角度,分支另行選定。定理亦沒有談到相機。正的相機座標深度和有效的影像位置是取樣的額外條件,即使圓柱座標完全有限,這些條件也可能不成立。
數值往返
例題 1.31.4
(45 度光線)
取 、、,輸入像素 。則 、、、。若 、 像素每弧度、 像素每單位高度,連續輸出位置為 ,約 ,不一定恰好是像素中心。
反向時,,深度為正且等於 ;除以深度後得回 。這在離散插值之前驗證幾何。對任意輸出像素,仍須檢查重新投影的位置及插值所需鄰域是否在影像邊界內。
例題 1.31.5
(接受與拒絕輸出像素)
設 、、,輸入影像為 。取 、。四個輸出位置的表現各不相同。
- 給出 、,所以 。於是 ,,在影像內。
- 給出 ,,在影像外:射線在相機前方,卻超出視野。
- 給出 ,所以 ,。除法沒有定義;這條射線與像平面平行。
- 給出 ,所以 。射線指向相機後方。
這幅輸入影像只會取樣第一個位置。其餘三個位置除非另有影像看見,否則保持不支援。
例題 1.31.6
(分支切口兩側的兩條射線)
取 和 ,。因為 ,得 、。兩條射線只相差約 弧度,即約 個像素,但它們的原始輸出列 卻相差約 個像素。若程序把影像範圍當成原始角度的區間,就會聲稱覆蓋了 個像素。把 加到 上得 ,範圍便是 ,這才正確。同樣的展開也告訴混合程序: 的兩列是相鄰的。
接縫、垂直方向與視差
和 表示同一光線。對完整一圈的全景作濾波或融合時,水平兩端應視為相鄰,否則分支的選擇可能造成假接縫。半開區間只記錄該方向一次。照片可能橫跨分支切口,因此計算覆蓋範圍前須一致地展開角度。此座標接縫不同於照片合成時選擇的接縫。
當 ,光線垂直, 未定義。接近垂直方向時 無界,因此有限圓柱畫布不包括兩極。裁剪圓柱是選定有限垂直視野,並非補上極點。球面座標可用緯度 代替 ,把極點壓到有限的極限緯度。由於 向下,正 和正 均指向水平線下方;極點的經度仍未定義,須特別處理。
反例模式
改變座標無法消除視差
取兩台相同相機,、正規化焦距為一,第二相機向右平移一單位。點 分別投影為 和 。取兩個獨立點 和 。相機 1 的方向分別是 和 ,夾角的餘弦為 ;相機 2 的方向是 和 ,夾角的餘弦為 。旋轉保持夾角,故不存在把兩條第一相機光線同時映到第二相機對應光線的單一旋轉。兩點位於不同來源光線,不一定互相遮擋。它們的水平位移分別為 和 ;單靠位移不等不能證明此結論,因為旋轉亦可產生隨位置變化的位移。圓柱提供方便的廣角畫布,卻不能令單一旋轉對齊這個平移、多深度場景。接縫或融合可以掩蓋部分錯位,卻不能恢復缺失的深度幾何。
常見錯誤
常見錯誤
( 才對,卻用了 )
矩陣 把相機方向轉到全景座標系。反向映射從全景射線出發,必須用 回到相機座標系。再用一次 等於同方向轉兩次;只有 是恆等或半圈旋轉時才有 ,所以取樣位置會錯。
常見錯誤
(除以 之前沒有檢查符號)
設 、,代表射線為 。公式 會給出主點 ,好像相機正對這個方向,但 ,射線其實在相機後方。除之前要先檢查 ,並把 當作不可取樣。
練習與解答
快速檢查
(若 把相機光線轉到全景座標系,哪個矩陣可轉回?為甚麼?)
解答 · 答案
,因為旋轉滿足 。連用兩次 通常會繼續旋轉,而非還原。
快速檢查
(設 ,考慮 ;相機能取樣嗎?)
解答 · 答案
代表向量為 (浮點運算的 可有微小誤差),深度為負,因此不能取樣,儘管圓柱座標有限。未包含的端點 代表相同光線。
快速檢查
(若 ,求球面緯度並判斷是否垂直。)
解答 · 答案
,而 時 ,故 ,即水平線下方 。代表向量水平半徑為一,並非垂直;只有 的極限才趨近兩極。
快速檢查
(為何把整數輸入像素正向散佈可能留空?反向映射有何改變?)
解答 · 答案
多個像素可能四捨五入到同一輸出像素,其他像素則無來源。反向映射逐一訪問所選輸出像素,向每張可見輸入照片查詢連續取樣位置;但沒有相機看見該光線時不能憑空產生數據,插值仍需要有效鄰點。