基于L0矩陣范數正則化的自然圖像去反光算法

丁鳳，夏又生，2

(1.福州大學數學與統計學院，福建 福州 350108；2.南京信息工程大學人工智能學院，江蘇 南京 210044)

0 引言

由于太陽光在大氣中發生反射等光學現象，采集的圖像不可避免地受到逆光現象干擾，產生圖像鏡面反射現象.鏡面反射往往會對視覺質量產生一些負面影響，降低計算機視覺算法性能和圖像識別的準確性，影響圖像分割、顏色識別、目標檢測、視覺跟蹤和車牌自動識別等.因此，有必要對鏡面反射和漫反射進行分離，去除圖像的反光.大多數鏡面反射分離方法都是基于雙色反射模型來分離鏡面反射.這些方法首先在圖像塊中尋找一個近似的漫反射色度，然后將漫反射色度傳播到整個圖像中，并計算鏡面反射分量.由于缺乏全局圖像信息，近似的漫反射色度可能不準確，因而不能完全去除鏡面反射分量.同時，對于復雜的紋理圖像，現有的方法很難將圖像分割成色塊，并且在恢復后的圖像中可能會出現偽影.

在許多真實場景中，反光區域是面積相對較小的連續塊，而漫反射的顏色可以很好地由少量顏色來近似.前一種觀測結果意味著圖像中的反光區域趨于稀疏.后一種觀測結果與非局部圖像去霧觀測相似，表明漫反射顏色在RGB空間中以低秩和稀疏的加權矩陣形成緊密的聚類.基于上述觀測結果，本研究用稀疏和低秩矩陣分解來分離漫反射和鏡面反射，建立稀疏低秩反射模型.該模型假設反光與入射光具有相同的光譜分布，并且反光的光譜分布相當稀疏.

1 相關工作

雙色反射模型是模擬表面復雜反射特性的先驅，它已被廣泛用于分離鏡面反射成分.從輸入圖像的數量來說，該模型可以分為多幅圖像去反光和單幅圖像去反光.

對于多幅圖像去反光，Lin等[1]提出一種基于顏色分析和多基線立體視覺的方法，但該方法可能無法處理由移動攝像機沿非線性路徑獲取的圖像序列.Wang等[2]基于單個偏振濾波器提出關于局部加權系數的能量最小化的方法.Shah等[3]提出一種利用特征對應點對圖像序列進行去反光的方法.

相比之下，單幅圖像去反光只使用一個圖像來分離反射組件.除傳統的顏色直方圖方法外[4]，該類方法可以分為基于雙色反射模型[5-6]、基于修復[7]和基于深度學習的方法[8].近年來，基于雙色反射模型，一些方法利用基于補丁的先驗對單幅圖像的鏡面反射進行局部分離.Yang等[9]觀察到彩色圖像局部斑塊中漫反射色彩成分的最大分數平滑變化.通過直接應用低通濾波器，將最大漫反射色度從漫反射像素傳播到鏡面像素.Yang 等[10]觀察到鏡面像素比漫反射像素具有更低的飽和度.通過將鏡面反射像素的飽和度調整為具有相同漫反射色度的漫反射像素，從而實現漫反射組件.Klinker等[11]將雙色反射模型擴展，提出T形顏色分布，將圖像顏色描述為物體表面顏色和反光顏色的組合.為分析噪聲，有效分離反射分量，Tan等[12]提出一種新的基于最大色度-強度空間中鏡面反射像素和漫反射像素分布的分離方法.Bajcsy等[13]將RGB空間中的顏色像素轉換為S空間，用S空間中定義的亮度、色調、飽和度來分析物體的顏色變化.然而，該算法僅對單色場景照明下的均勻彩色介質表面有效.Mallick等[14]還提出一種變換顏色空間，它是一個旋轉的RGB空間，可恢復圖像的鏡面反射和漫反射成分，在無噪聲情況下適用于均勻表面.

2 圖像去反光優化模型

2.1 雙色反射模型

雙色反射模型被廣泛應用于圖像去反光.根據雙色反射模型，在像素p處觀察到的圖像色度I(p)可以表示為去反光后的圖像Id(p)和反光圖像Is(p)的線性組合：

I(p)=Id(p)+Is(p)=md(p)Λ(p)+ms(p)Γ(p)

(1)

式中:md(p)和ms(p)分別表示漫反射和鏡面反射的系數，分別依賴于圖像像素處的場景幾何；Λ(p)和Γ(p)分別表示漫反射色度和鏡面反射色度(光照色度).

I≈ΦdWd+ΓMs

(2)

式中：I是一個3×N矩陣，每一列代表一個像素顏色,N表示圖像中像素的總數；Wd=[w(1),…,w(N)]，是由所有像素的權重系數組成的K×N矩陣；Ms是1×N的向量.

2.2 顏色字典構造

在圖像的矩陣觀察模型中，構造一個合適的字典很重要.一個簡單的方法是將整個輸入數據作為字典.但是，如此大的字典計算成本很高，會占用太多存儲空間.受自然圖像的非局部先驗[2]的啟發，本研究采用直方圖分類方法[6]來構造顏色字典，具體步驟如下：1) 對于給定彩色圖像，將每個像素的圖像色度I(p)由笛卡爾坐標(RGB空間坐標)轉為球坐標:I(p)=[r(p),θ(p),φ(p)]；2) 由于像素p處的色度僅僅與θ(p)和φ(p)有關，與r(p)無關[2]，故構造二維向量Φ(p)=[θ(p),φ(p)]；3) 利用Φ(p)對圖像像素進行K-means聚類，類簇個數根據慣例定為100；4) 將所有類簇按所含元素個數降序排序，如圖1所示，并選擇前K個矩形，每個矩形中所有元素對應像素的笛卡爾坐標均值認為是字典Φd∈R3×K中的元素ik(k=1,…,K).因為反光區域的密度通常很小，這個操作可以有效地避免選擇到反光顏色.圖1為本研究使用的3幅典型自然圖像的顏色直方圖.顯然，在一幅圖像中只有有限數量的不同顏色.

圖1 3種典型自然圖像的顏色直方圖 Fig.1 Sorted color histograms of three typical natural images

2.3 優化模型

Akashi等[5]利用非負矩陣分解提出一種圖像去反光算法，極小化下列優化模型：

(3)

為簡化計算，Fu等[16]利用顏色字典Φd=[i1,i2,…,iK]來模擬物體表面顏色，提出一種圖像去反光算法，極小化下列優化模型：

(4)

由于L0范數是非凸的，所以Guo等[6]利用L1范數和稀疏低秩矩陣分解提出一種圖像去反光算法，極小化下列優化模型：

(5)

眾所周知，與L1范數相比，L0范數能夠更好地描述稀疏分布的反射光，表征對應顏色系數的稀疏性.因此，基于L0范數的優化模型比基于L1范數的優化模型具有更好的性能.本研究極小化下列L0范數正則優化模型：

(6)

2.4 基于L0范數正則化的圖像去反光算法

為處理L0范數，首先引入兩個輔助矩陣變量J和H，則優化問題(6)可以寫為：

(7)

然后，利用廣泛應用的增廣拉格朗日乘子(ALM)方法計算.該方法由一系列無約束優化問題組成子問題，代替原約束優化問題，問題就可以通過軟閾值或奇異值有效地解決[17].主要分為兩個步驟.第一步，將優化問題(7)轉化為下列增廣拉格朗日函數的極小化問題：

(8)

1) 優化子問題一：計算Ms.

Ms為N維的行向量.假設Γ已知，Ms可估計為：

(10)

公式(10)可以按元素寫為：

(11)

式中：j是矩陣元素的位置.Ms可更新為：

(12)

2) 優化子問題二：計算J.

在保持其他變量不變的情況下，J可估計為：

(13)

對于常規核范數，根據文獻[17],該子問題的解析解為：

(14)

3) 優化子問題三：計算H.

在保持其他變量不變的情況下，H可估計為：

(15)

類似子問題一的求解，問題(15)的解可以進一步表示為：

(16)

它有解析解：

(17)

4) 優化子問題四：計算Wd.

在保持其他變量不變的情況下，Wd可估計為：

在其他變量固定不變的情況下，子問題關于Wd是二次的.因此，這是一個標準的最小二乘回歸問題，具有封閉解.公式(18)對于Wd是可導的，設導數為0，可以得到解為：

(19)

式中：U∈RK×K,為單位矩陣.

Yi=Yi+μEi(i=1,2,3)

(20)

最后，為處理非負約束，采用直接策略，每次迭代期間直接將Wd和Ms中的負條目限制為0，即Wd=max{Wd,0}，Ms=max{Ms,0}.

3 實驗結果

以大量實驗驗證本方法去除反光的有效性.在視覺和定量評價方面，將本方法與近期報道的4種方法相比較，這4種方法分別來自文獻[19]、[16]、[6]和[5].為更好地進行比較，采用留一交叉驗證的方法確定各比較方法的最佳參數設置.從文獻[20]中選擇4張反光圖像(帶有地面真實圖像)來評估本方法.圖2是利用不同的反光去除方法處理4張圖像后得到的結果.

圖2 自然圖像的視覺比較Fig.2 Visual comparison on natural image

表1 自然圖像的定量比較Tab.1 Quantitative comparison of natural images

4 分析與討論

4.1 參數λ，τ，K對結果的影響

如圖3所示，當λ=0.1時，隨著τ的增大，無鏡面反射圖像中的反光殘留逐漸減少，如西瓜的根部.此時，一些紋理會被洗掉，這是由于無鏡面反射圖像過度平滑所造成的.當τ=100時，隨著λ的增加，無鏡面反射圖像只有微小的變化.

圖3 變量λ和τ的影響Fig.3 Effect of different λ and τ

圖4 變量K的影響Fig.4 Effect of different K

4.2 收斂討論

輸入圖像的算法收斂曲線，如圖6所示.可見，漫反射圖像中的反光殘余隨迭代次數的增加而逐漸減小.當迭代次數達到100時，相鄰兩個迭代之間的漫反射圖像無明顯變化.經驗上，200次迭代足以得到較好的結果.

圖5 變量K對方法精度的影響Fig.5 Effect of different K on accuracy

圖6 本方法的收斂性Fig.6 Convergence curve of algorithm in this study

5 結語

本研究提出一種基于L0范數正則化的圖像去反光方法，可以將原始圖像自動分離為漫反射圖像和鏡面反射圖像.該方法建立在稀疏、低秩反射(SLRR)模型上，假設圖像中的反光區域是稀疏的，而漫反射顏色可以由有限數量的不同顏色表示.將反光去除任務轉化為一個約束核范數和L0范數最小化問題，進而用ALM方法有效地求解.與已報道的相關方法對比，本方法不需要無鏡圖像，而是利用L0范數正則化方法得到去除反光后的圖像.為避免色彩飽和度的影響，對SLRR模型參數進行適當設置，并保留圖像細節.最后，實驗結果驗證該方法的準確性和魯棒性.

但本方法也存在一定局限性.與現有方法相比，可能無法恢復反光圖像中包含大量白色反光區域的子紋理.為解決這個問題，后續工作計劃采用基于學習的圖像繪畫技術來處理那些有挑戰性的區域，合成缺失的細節和紋理.此外，本方法目前對優化的實施效率相對較低，未來希望探索圖像處理器加速版本，提升實時性能.