動機
一個明亮像素可能來自高反射率表面、合適照明,或兩者兼有。單幅影像通常無法分開這些原因。若相機固定、數個照明方向已知,對同一可見表面點的重複觀察便可約束其法向量與漫反射係數。HDR 章節以照明討論影像形成;本單元在刻意收窄的模型下處理反向問題。
已校準的漫反射模型
定義 8.1.1
(同一固定點的觀察)
令 為未知單位表面法向量, 為未知漫反射係數。對 幅影像,已知單位向量 從表面指向第 個光源。假設相機與表面不移動、所有觀察對應同一點、該點在每幅影像均受光且可見。若已校正已知光源強度與曝光,沒有飽和或鏡面反射項,且 ,線性強度模型為
誤差 包括量度與模型誤差。任何固定的 Lambertian 正規化因子都一致地吸收到已校準係數中;顯示編碼值不一定是線性強度。
正值假設表示對所使用的觀察,一般單面漫反射的截斷並未啟動。投射陰影或表面背向光源可令線性方程失效;必須修改模型或排除這些觀察。不能忽略未知的各光源增益。我們只處理單一純量通道;色彩、相互反射和空間變化的照明需要額外模型。
求解縮放後的法向量
令 ,令 的各行為 ,並寫 。未知量 有三個分量:兩個用於單位法向量的方向,一個用於 。
命題 8.1.2
(由三個光源精確恢復)
設 且 可逆,數據精確,即 ,其中 、。則 、、。若 ,便不能決定單位法向量。
證明
(求逆再正規化)
以 乘 得 。因 為單位向量且 ,,並有 。當 ,正規化會除以零;而且每個單位向量 都滿足 (),所以方程不能選出其中一個。
觀察多於三個時,精確數據未必相容,這時以最小二乘擬合 。
定理 8.1.3
(更多觀察與秩條件)
當 時,無加權最小二乘問題 當且僅當 的秩為三時有唯一最小解。此時解滿足
若 ,可構造 和 。這些是估計,並非全部模型假設成立的證明。
證明
(正規方程與照明的零空間)
目標函數是凸函數,梯度為 ,所以最小解恰是 的解。對任何向量 ,。若 的秩為三,則只有 時 ,所以 正定而可逆,正規方程恰有一個解。若秩較小,便有非零的 使 ;此時 ,每個最小解 都給出另一個最小解 ,唯一性失效。
證明透視
照明必須生成三個方向
秩假設只在一處起作用:把「非零 有 」變成 可逆。數據 從不影響唯一性,只決定最小解落在哪裏。 的零向量 是所有觀察都看不見的方向,因為每個光源都垂直於它,把 加到 上不會改變任何預測強度。滿秩保證有代數解,卻不保證含雜訊的數據符合正值或反射假設;那些是模型的假設,並非定理的結論。
秩條件有直接的幾何意義,因為每個觀察都是關於 的一條線性方程。
概念視角幾何
觀察是縮放法向量空間中的平面
當 ,第 個觀察表示 位於平面 ,其法線方向為 。三個法線線性無關的平面恰交於一點,就是 。若光源共面或重複,平面法線線性相關,於是數據相容時平面交成一條直線或一個整個平面,數據不相容時則可能沒有公共點。相交時,公共點就是 ,其中 屬於 的零空間。
三光源計算
例題 8.1.4
(非座標軸方向的法向量)
取
以及精確觀察
行矩陣的行列式為 ,故三行線性無關。解 得 ,因此 、。與三個光源的內積分別是 、 和 ,均為正;乘上 即得到三個觀察。這些檢查不可省略:矩陣可逆本身不會確立單面照明假設。
例題 8.1.5
(三個光源在同一平面)
取 、、,觀察 。三個光源的 分量都是零,所以 的第二列全為零,即使有三個不同光源, 的秩也只是二。 與 都精確重現 。前者給出 、;後者給出 、,與 、、 的內積均為正,分別是 、 和 。數據看不見 方向,所以無法判斷哪個正確。
例題 8.1.6
(含重複光源的最小二乘)
取四個光源 、、,觀察 。則 、,得 :重複的光源貢獻其兩個觀察的平均 。最後兩個觀察的殘差為 ,前兩個為零。於是 、,與四個光源的內積均為正,依次是 。重複同一光源能平均雜訊,卻不增加新的方向。
反例模式
重複照明不能分開法向量與反射率
假設每個光源都是 ,每個觀察均為 。、 符合數據;、 也符合。兩個法向量都是單位向量,相關內積均為正,卻指向不同方向。重複同一照明方向會增加觀察數,但不增加獨立方向資訊。
常見錯誤
(兩個光源足夠,因為法向量只有兩個自由度)
單位法向量有兩個自由度,但未知量 還包含反射率 ,所以有三個未知數。取 、、,則 與 都精確符合,因為 垂直於兩個光源。它們給出不同的法向量 與 , 分別為 與 。兩幅影像不能同時辨認法向量與反射率。
限制與不確定性
若已校準光源、對應關係或漫反射模型有誤,小量度殘差仍不能保證法向量正確。即使滿秩,近乎線性相關的行也可能使解對雜訊敏感; 的最小奇異值可量化一個受弱約束的方向。可以檢查殘差及條件數,並排除過暗或受陰影影響的樣本,但這本身不證明結果無偏。若擬合得到的 接近零,其正規化方向會不穩定。反射率或單面照明約束需要明確的約束方法,不能假設無約束最小二乘解自動符合。
法向量只是局部方向,不是完整深度圖。把估計法向量場積分成曲面,還需要一致性條件、邊界選擇及積分方法。
習題
快速檢查
(對三光源例子,用 驗證第一及第三個觀察強度。)
取 與 、 的內積。
解答 · 答案
,,與題述一致。
快速檢查
(若三條已校準照明行都是 ,其秩是多少?單靠重複觀察能否決定 的三個分量?)
的哪些分量出現在方程中?
解答 · 答案
行秩是一。這些觀察只約束第三分量,方程不能決定前兩個分量。
快速檢查
(若滿秩精確解為 ,能否除以 求單位法向量?)
這裏的 是多少?
解答 · 答案
不能。其範數為零,正規化沒有定義;模型不能從該縮放向量決定法向量。
快速檢查
(為何投射陰影下拍攝的影像不應自動代入未截斷的線性方程?)
比較模型假設的照明與陰影點實際所受的照明。
解答 · 答案
陰影下直接照明可能少於模型所假設的量。此時未必能按所述的小誤差解讀使用 ;應排除該觀察或擴展照明模型。
延伸學習
未知照明、非 Lambertian 反射、陰影、考慮雜訊的估計及法向量場積分都需要進一步分析。本單元沒有實作光度立體系統,也不保證任何特定重建曲面的準確度。