動機
把人物放到新背景,看似只需剪出輪廓;但細看頭髮、玻璃或動態模糊,像素顏色往往已混合多個表面。硬性前景遮罩無法描述這些邊緣。反過來,一張柔和遮罩也未提供前景本身的顏色,因為儲存像素可能已混入原背景。合成把已知圖層結合;摳圖則反過來估計產生觀察的圖層。兩者公式方向相反,所需資訊也大不相同。
全景拼接有相關問題。兩張影像即使幾何對齊,仍可能亮度不一致、有行人移動,或看見物件不同側面。重疊處平均能減輕小幅亮度跳變,也可能產生半透明雙重人物。因此需要分開座標對齊、光度校正、可見來源選擇和混合。把一切都稱為「消除接縫」,會掩蓋方法成功或失敗的原因。
以下採用線性光 RGB,並假設圖層已在同一色彩空間與座標系統中。顯示編碼的逐通道平均,通常不代表同一物理混合。檔案都有三個通道、尺寸相同,也不能保證以上假設成立。先建立一致表示,才有理由比較或結合數值。
定義
定義 1.2.1
(摳圖方程)
單一像素的基本摳圖方程為
其中 分別是觀察、前景及背景的線性色彩。簡單像素模型可把 理解為部分覆蓋率;若把它理解為光學不透明度,還需要關於透射及色彩的額外假設。有色玻璃未必能由一個純量 alpha 準確表示。此式是一種模型,不是所有光學互動的普遍定律。
定義 1.2.2
(預乘圖層與 over 運算)
非關聯色彩或直通色彩儲存 ;預乘色彩則儲存 ,其中 。當 且 有界,預乘色彩必為零,而直通前景色對可見合成沒有作用。對預乘圖層 和 ,定義有次序的 over 運算:
結果仍是預乘圖層。最終不透明背景的 alpha 為一。這條規則表達前方圖層如何衰減後方貢獻。若以子像素覆蓋解釋 alpha,而各層遮罩彼此相關,未覆蓋比例的簡單乘積可能需要更細緻的可見性模型;代數運算本身則有清楚定義。
定義 1.2.3
(羽化混合與接縫選擇)
拼接把來源影像 變形至共同座標域,各有有效遮罩 。羽化混合選非負權重 ,無效區域權重為零,並定義
於分母為正的位置。正規化保留常數影像。接縫選擇則先決定哪個區域採用哪個來源,再混合過渡。當觀察因物件移動而不一致,選擇與平均實際解決不同問題。
定理 / 命題
定理 1.2.4
(預乘 over 有結合律,但有前後次序)
對 alpha 均在 的預乘圖層 ,
共同 alpha 是 。一般沒有交換律:調換前後次序可保持 alpha 不變,卻改變色彩。
定理 1.2.5
(兩個已知背景可以識別遮罩)
假設兩次無雜訊拍攝已對齊,共用相同前景 與 alpha,並採用已知且不同的線性背景色 :
則
若 ,唯一前景色為 。若 ,alpha 可識別,前景色則不可識別。不符合模型的數據未必給出 ,殘差也未必為零。
此結果解釋為何有意更換背景有用,卻沒有保證任意兩張照片足夠。前景移動、照明改變或相機響應不同,都可破壞「相同前景」假設。兩個背景若非常接近,分母很小,估計會對雜訊敏感。精確算術下可識別,不等於數值上穩定。
證明思路
證明
(三層的透射率計算)
寫 為前層透射率。兩層合成的色彩是 ,透射率是 。三層無論如何加括號,均得
結合律來自分配律與純量乘法的結合律。這也說明為何可以把一組圖層快取成單一預乘圖層,再放到其他背景上。但不能任意重排:每個色彩係數取決於前方有哪些圖層。
證明
(把兩次拍攝相減)
摳圖定理則先把兩項觀察相減,前景未知項消失,留下 。與非零背景差取內積,即得 。只有 alpha 非零才能再除以它恢復 。有雜訊時,同一公式最小化 。若限制 ,把純量最小值截至此區間便可。垂直背景差方向的殘差,反映模型不能解釋的不一致。
證明透視
未知數計數提出警告,相消才提供解法
一個 RGB 觀察只有三條純量方程,卻有七個未知量:前景三通道、背景三通道及 alpha。背景已知仍有四個未知量。平滑性、三分圖或學習統計都加入額外假設,並非像素方程自動提供。第二個受控背景之所以有用,是因相減能一次消去三個前景未知量。反問題需要獨立資訊,並非只需更複雜的優化器。
拼接的曝光匹配也有尺度自由度。假設對應正強度滿足 ,其中 是每幅影像增益, 是共同場景值。令 ,便有 。所有 同加常數,差值不變。若重疊圖連通,固定一幅影像增益即可消除此歧義:兩組解之差沿每條邊相同,從固定頂點傳至全圖便只能為零。互不相連的影像群則需要各自錨點或額外觀察。
例題詳解
例題 1.2.6
(圖層次序與預乘色彩)
半不透明紅層為 ,藍層為 。紅在藍上得 ;藍在紅上得 。再置於不透明黑背景,預乘色彩已是最後可見色彩。除以 會得到整組的直通前景色,那是另一個量。兩種次序 alpha 相同,因未覆蓋比例相乘,但色彩不同。
例題 1.2.7
(由受控背景恢復前景)
取 、,觀察為 與 。觀察差 正好是背景差的一半,所以 ,alpha 為 。前景 。改用藍背景 ,預測合成色為 。只把原像素 複製到新背景,會遺失應透出的背景貢獻。
例題 1.2.8
(羽化平均產生鬼影)
同一已對齊位置,在影像一是強度一的移動亮物件,在影像二卻是強度零的暗背景。相等權重得 ,既不是任一觀察中的物件外觀,也不是背景外觀。平滑改變權重,只讓鬼影漸淡,未決定畫面應表現哪個時刻。若接縫能繞過物件而不在別處引入更大跳變,選擇一個一致來源便可避免雙重曝光。幾何對齊本身不能作此時間可見性決策。
濾波是使用預乘色彩的另一理由。在透明邊界插值直通色彩,可能把本來不可見的任意顏色混入可見像素。同時插值 與 alpha,才保持指定模型下的加權圖層貢獻。如之後需要直通色,只能在 alpha 正值處相除;近零位置仍會數值敏感,而其可見貢獻通常很小。
概念視角結構
拼接在成為影像前先是一張約束圖
每幅照片是頂點,可靠重疊是一條帶幾何及光度約束的邊。逐對變換在局部合理,長鏈仍可能累積漂移。閉環提供一致性檢查:沿環走一圈應近似回到原座標框架與曝光。聯合調整利用多餘邊分配誤差。混合發生在約束估計之後,不能反過來證明約束一致。
實際可先估計變換並查看重疊殘差,再補償合理曝光差,繞過不一致區域選接縫,最後混合餘下過渡。多尺度混合可把低頻差異分散至較寬區域,高頻細節則在較窄接縫切換。這能改善外觀,卻不是幾何正確性的證明。強視差可能需要深度感知變形,或改變拍攝方式。
常見錯誤
反例模式
背景已知仍不能由單張觀察決定 alpha
考慮一個純量通道,背景為零,觀察 。 和 都滿足方程,且所有值均在 。因此有效色彩界限加上已知背景,仍不保證唯一摳圖。修正後的說法需要更多資訊,例如已知前景色、額外受控拍攝或有理據的空間約束。
常見錯誤
(分割信心不是 alpha)
不要把分割概率當作物理混合係數。分類器認為某像素屬於人物的信心,描述的是認知不確定性;alpha 描述指定合成模型中的混合貢獻。兩者可能相關,卻不能無條件替換。三分圖把區域標為確定前景、確定背景和未知區,也不會自動補出未知色彩。
常見錯誤
(羽化不能修補幾何或光度問題)
羽化不能修補鏡頭畸變、缺少覆蓋、移動主體,或違反平面模型的視角變化。全圖平均亮度相同,也不代表每處光度吻合;陰影與暗角可以空間變動。增加參數前先觀察殘差形狀,否則靈活曝光模型可能在吸收幾何錯誤或場景變化,而不是描述相機增益。
總結
預乘合成有帶次序的結合代數,讓圖層分組和濾波保持一致。摳圖反解混合方程,在缺少額外資訊時不適定;受控背景變化可提供資訊,但仍受對齊、可見性及穩定性限制。拼接需要分開幾何、光度、來源選擇和混合,並用重疊約束的一致性作證據,而非只依賴平滑外觀。
練習
快速檢查
(合成預乘純量圖層 和 ,求色彩與 alpha,再置於不透明白背景。用三層展開式驗證。)
解答 · 答案
組合色彩為 ,alpha 為 。置於白背景得 。直接展開為 。輸入已預乘,不能再把儲存色彩乘一次 alpha。
快速檢查
(兩次純量拍攝有 、、、。求 alpha 與前景,並預測零背景下的合成。)
解答 · 答案
背景差 ,觀察差 ,所以 ,alpha 為 。前景為 。零背景合成為 ;代入第二幅得 ,核對無誤。
快速檢查
(已知 alpha 和背景,以 恢復前景。觀察誤差 如何傳入 ?取 ,比較 alpha 為 及 。)
解答 · 答案
固定 alpha 和背景後,。兩種誤差幅度分別為 及 。接近透明時,直通前景可非常不確定,即使其可見預乘貢獻仍穩定。若 alpha 也由數據估計,它的誤差還會帶來其他項。
快速檢查
(三幅影像形成連通重疊鏈,精確對數增益差為 、。固定 ,求增益。新增邊 應是多少?不一致究竟證明了甚麼?)
解答 · 答案
,,故增益為 。閉合邊應報告 。若不符,便證明共享增益的精確模型與全部邊量度不能同時成立,但未指出哪條邊錯;雜訊、錯誤匹配與非均勻照明都是不同可能原因。