為甚麼需要不同寬度的過渡?
兩張已對齊的照片重疊時,直接在接縫處切換,可能暴露亮度差異。寬闊的交叉淡化可以分散這個差異,卻也可能在寬區域內疊加兩條位置稍有偏差的邊緣。這些不一致發生在不同的空間尺度上。多尺度混合讓大尺度變化使用較寬的過渡,讓精細細節使用較窄的過渡。它不會估計對齊、曝光或物理上正確的場景,而是在這些選擇之下組合影像。
以下用一個很小的有限例子,讓每個輸出都可以核算。像素值表示單一線性光通道;若把方法逐通道應用,應先確定色彩表示及輸入的有效範圍,並使用同一個空間遮罩。運算亦容許負數,實際顯示時或需進一步處理。
有限的分析和合成算子
定義 1.25.1
(縮減與擴展算子)
令 和 是兩個對齊的四像素信號。定義縮減 與擴展 :
縮減先對每一對像素取平均,再留下每對一個值;擴展則重複每個值。算子已在四個像素上明確定義,沒有隱藏的邊界規則。這個簡單箱形濾波器方便手算,並非高質素攝影的建議:其頻率響應不能消除所有在降取樣時可能混疊的頻率。
定義 1.25.2
(粗尺度影像與殘差頻帶)
令 ,,並類似定義 的量。 是粗尺度影像, 是殘差或細尺度頻帶。殘差有正有負,並非可直接顯示的照片。重建恰為 。這個等式由定義成立,即使縮減捨棄資訊也一樣:被捨棄的資訊保留在 。
定義 1.25.3
(兩個頻帶的遮罩混合)
設細尺度遮罩 滿足 ,取 。每層用遮罩加權 ,用其補數加權 :
表示逐座標相乘, 表示相應維度的全一向量。由於每對取平均保持常數,。遮罩為一時選取該層的 ,為零時選取 ;中間值則作交叉淡化。
定理 1.25.4
(相同影像與常數遮罩)
對以上算子,若 ,任何遮罩都給出 。若遮罩各項均為常數 ,則 。全零及全一遮罩是特例。
證明
(相同影像與常數遮罩的證明)
若 ,則 、。每個座標上,權重 與 之和為一,粗尺度權重 與 之和亦為一。因此由殘差的定義,。
若 ,則 ,因為對兩個相等的項取平均仍得該項。公式化為 ,再利用 的線性性,得
與 就是全零和全一遮罩。
證明透視
何處需要保持常數的縮減
遮罩固定後,混合對兩張影像是線性的,所以兩個結論都是逐頻帶比較權重。第一個結論只用到:相同輸入給出相同頻帶,而且每一層的互補權重之和為一。第二個結論還需要多一項事實 。假設粗尺度遮罩與細尺度遮罩各自獨立選取,例如 而 ,則 。對 、,這等於 ,既不是 也不是 ,儘管細尺度遮罩在每處都選取 。此論證既不需要統計獨立性,也不假設頻帶在頻率上完全分離。
計算接縫
例題 1.25.5
(寬闊的底層與較窄的細節切換)
取 、 和 。兩張影像在每對像素上均為常數,因此 、,且 。粗尺度遮罩為 ,所以 。這些數值恰好令選取的兩半接合時沒有跳變;這不是普遍保證。
例題 1.25.6
(單一亮像素跨過遮罩邊界)
取 、 和 。則 、、。細尺度貢獻為 ,擴展後的粗尺度貢獻為 ,故 。普通逐像素混合則給出 。粗尺度貢獻跨過細遮罩的邊界,這正是該層使用較寬過渡的效果。
例題 1.25.7
(落在一對像素之內的接縫)
令 、,則 ,。取與像素對對齊的遮罩 ,得 ,。這個邊界情況保持硬性跳變:接縫落在兩個像素對之間,粗尺度層沒有加入任何過渡。把接縫移到 ,則 ,,而逐像素混合給出 。含有接縫的那一對像素,兩個像素都得到中間值 ,而不是 與 。
反例模式
金字塔混合未必保持輸入範圍
取 、 和 。則 、、。細尺度項為 ,擴展的粗尺度項為 。因此 ,雖然輸入和遮罩均介乎零與一。每個頻帶用凸權重混合,但有正負號的頻帶之和未必是原像素的凸組合。截斷可移除負值,卻會改變結果及局部對比。
從例子推廣至影像金字塔
對二維影像,每一層須指定模糊濾波器、邊界延拓、抽取相位和擴展規則。定義 、、,其中 。從 開始,以 重建。反向代入可證每一層均有 ,前提是分析和合成時使用相同算子及陣列大小;不需要 是恆等映射。
常見錯誤
(以為準確重建需要無損的縮減)
很容易以為,只有縮減再擴展不損失任何資訊,金字塔才能重建影像。其實不然。每個殘差定義為 ,縮減捨棄的東西全部存放在 。對 ,縮減 不可逆,但 仍然準確成立。有損縮減的代價在於頻帶的詮釋,而不在這個恆等式。
以同一套指定縮減算子建立遮罩金字塔,在每層用遮罩及其補數混合兩個殘差,最粗層混合兩張粗影像,再重建。正規化的非負模糊核可使縮減後的遮罩保持在 ;這也取決於指定的邊界處理。一般平滑濾波器和重疊支撐可避免此玩具例子的成對塊狀邊界。濾波器寬度、層數、對齊和遮罩形狀仍是設計選擇;不同選擇不一定產生相同像素。
完整影像可能有不重疊區域。
常見錯誤
(把未觀測像素當作黑色測量值)
不要把未觀測像素當作普通的黑色測量值:濾波會把它帶入有效區域,形成暗邊。測得的零是數據,未觀測像素則是未知量。
可按明確規則延拓各影像,或使用有效樣本並指定正規化,最後限制在有效支撐的並集。正規化遮罩模糊把影像加權和除以有效性權重的正和;若分母為零,該值便沒有數據支持。這是空間變動的非線性操作,需要另行分析,不能自動繼承以上所有恆等式。
概念視角結構
混合能決定甚麼,不能決定甚麼
遮罩表達偏好哪個已對齊的來源。若兩張照片中的人移動了位置,混合無法決定其真實位置:寬闊的細尺度過渡可能產生兩個半透明人影。應根據實際數據決定配準、考慮運動的來源選擇和接縫位置;多尺度重建處理的是另一個問題。
練習與解答
快速檢查
(對 ,計算 和 ,並重建 。)
解答 · 答案
,,所以 。加回擴展項便恰得 。
快速檢查
(對 ,計算 和 。)
解答 · 答案
兩者均為 。一般而言,由線性性和常數保持性,。若縮減不保持常數,此等式未必成立。
快速檢查
(設 ,遮罩為 。不逐項計算頻帶,求輸出。)
解答 · 答案
由相同影像定理,。遮罩在相同的殘差及相同的粗影像之間選取,而互補權重之和為一。
快速檢查
(上述範圍反例是否表示,只要殘差為負,輸出必定為負?把未觀測輸入當作零,與測得零的意義相同嗎?)
解答 · 答案
兩者都不是。負殘差可被正的粗尺度重建項抵銷,如上面的重建檢查;反例只表明,在頻帶遮罩不相同時,不保證保持範圍。測得的零是數據,未觀測像素則是未知量;擅自填零會改變缺失區附近的濾波值。