基于熵驅動域適應學習的弱光照圖像陰影去除

李觀發，宋文慧

(贛南師范大學科技學院，江西 贛州 341000)

1 引言

圖像陰影是圖像采集過程中時常出現的一種現象，此現象導致采集的圖像發生色彩改變或亮度不足等問題。對含有陰影的圖像進行處理時，陰影因素的存在對數字圖像處理造成了諸多的干擾。例如，在圖像分割過程中，陰影會導致目標圖像分割不完整[1-2]。因此，在處理圖像陰影問題時，需要增強圖像的可視性，并對陰影圖像進行光照恢復。圖像陰影檢測與去除是目前計算機視覺和圖像處理領域中非常重要的工作之一，其對有效協助現場恢復與目標識別具有重要作用。目前，陰影去除技術研究中已經取得了一定的成果，但由于陰影具有一定隨機性、多樣性與復雜性，現有圖像陰影去除方法在實際應用中具有一定的局限性，難以滿足多種環境條件下應用要求[3]。因此，該領域研究人員對陰影去除方法進行了很多研究，且取得了一定成果。

文獻[4]提出基于衰減式生成對抗網絡的單幅圖像陰影去除方法。該方法針對陰影區域光照衰減程度的蒙版圖像質量較差問題，對單幅圖像的陰影進行有效的去除。通過衰減器對樣本圖像進行訓練，獲取適合的樣本陰影圖像，將生成器與融合感知有機融合在一起，借助判別器獲取最終陰影蒙版，完成圖像陰影的去除。該方法可有效提升圖像陰影區域的光照，獲取的圖像效果較好，但該方法針對真實場景下圖像陰影的去除效果不佳，存在一定局限性。文獻[5]提出設計一種針對多光譜影像的NDVI陰影影響去除模型。該方法針對圖像的光照區和太陽輻射區存在的差異，獲取該圖像的幅亮度；確定圖像陰影對NDVI的影響程度，采用歸一化暗像元指數確定光照區與陰影區的NDVI關系，在此基礎上，構建以光照區植被NDVI為基準的NDVI陰影影響去除模型。該方法有效分析了圖像光照區域特征，可提升圖像質量，但對圖像弱光照條件分析甚少，導致圖像在弱光照條件下陰影去除效果欠佳。

針對上述方法中存在的不足，提出一種新的弱光照圖像陰影去除方法。該方法將熵驅動域適應學習技術引用其中，對弱光照圖像陰影進行去除。與傳統去除方法相比具有一定優勢。

2 弱光照圖像陰影去除方法設計

在弱光照圖像陰影去除中，將熵驅動域適應學習技術融入到弱光照圖像陰影去除方法中，使用此技術對弱光圖像進行預處理，以提升陰影去除過程中的精準度。

2.1 弱光圖像的預處理

在弱光照圖像陰影去除方法中，為提升圖像陰影去除的效果，將通過熵驅動域適應學習技術構建多核分類器，通過此分類器對弱光圖像的種類進行劃分。在適應學習中，關鍵在于減少目標圖像與其它圖像種類之間的數據分布差異。

為了提升圖像分類過程中數據處理能力，應用最大平均差異理論[6]，將弱光圖像中熵函數陰影數據與正常數據投射在一個再生的二維空間中，根據投影后的兩個之間的平均距離比較兩者之間存在的差異。陰影圖像最大平均差異計算公式為：

(1)

當DIST取值結果接近于零時，兩個域在高緯度空間相匹配，即陰影圖像兩組數據分布較為接近，反之，兩組數據匹配度較低。

(2)

其中

(3)

(4)

通過上述獲取的矩陣，可對圖像中需要修復的位置與其它區域進行劃分，實現弱光照圖像的預處理，將處理后的圖像作為此次陰影去除的基礎。

2.2 弱光照圖像的光照分解

根據上述處理結果，在此弱光照圖像中尋找相應圖像像素信息。將圖像光照分解設為圖像分解與重光照。在對應圖像處理過程中，將圖像分解過程設定為反射率圖、光照圖以及深度圖三種方式[7-8]。

將處理后的圖像設定為Q，對圖像的數像素信息進行處理，通過公式的形式對圖像像素信息數據進行展示，則有

j=e+w(v，m)

(5)

式中，e、w、v以及m分別表示輸入圖像Q中反射率層圖像e、深度圖像v以及光照強度m的對數域圖像。

已知光照對數圖像w可由光照強度m和深度信息v獲得，且在上式中僅有j為已知數據，e與w均為未知數據，反射率對數圖像e可通過j與w表示，則有

e=j-w(v，m)

(6)

為降低上述計算難度，通過獲取圖像最小像素值，完成弱光照圖像的分解，即

minimizeg(j-w(v，m))+f(o)+g(l)

(7)

式中，g(*)、f(*)以及s(*)分別表示圖像e、深度v以及光照m的代價函數[9-10]。

在此次研究中，使用g(*)以及f(*)的代價約束函數得到反射率對數圖像e與深度圖像v，利用上述公式，得到光照圖，對此光照圖展開分解可得到反射率圖E與光照圖M。

在此基礎上，根據圖像亮度以及RGB方向相似度[11]建立局部像素在反射率值上的約束，基于局部窗口與全局圖像上的全局色彩稀疏，對圖像亮度分解過程進行約束。在此約束過程中認定分解過程是將圖像反射率的改變作為分解過程的主體，具有相似亮度的像素具有相同的反射率，因此，圖像的本征圖像可表示為

(8)

通過此公式可得到圖像中的亮度估算值，對圖像中陰影部分展開分解，同時將分解后的像素值作為陰影去除過程中數據來源。

2.3 弱光照圖像陰影去除算法設計

在上述弱光照圖像有效分解基礎上，設計圖像的陰影去除。弱光照圖像陰影去除過程如圖1 所示。

圖1 弱光照圖像陰影去除過程

圖1中，在弱光照圖像陰影去除中采用區域生長法[12]。以檢測到的弱光照圖像陰影邊緣作為基準點，在邊緣重合的兩側選擇灰度值較重的部分，作為陰影生長起始點，則此區域的灰度值可表示為

(9)

式中，R表示弱光照圖像陰影區域的灰度值，n表示弱光照圖像陰影區域中的像素點個數，ri表示弱光照圖像陰影區域中第i個像素點的灰度值。

在上述獲取獲取基礎上，可得到陰影區域的紋理特征，即

(10)

式中，S表示陰影區域的紋理特征值，b表示區域中的像素點，ui表示弱光照圖像陰影區域中第i個像素點的紋理特征向量。

將HSV顏色空間中的色相值與陰影區域中的灰度值組合成為陰影區域的紋理特征值，為便于比較，將此向量設定為1，可表示為

(11)

式中，T為陰影區域R的紋理特征向量，G表示陰影的紋理向量分量。

通過上述分析，獲取亮度補償區域，在陰影區域中，直射光被部分遮擋，且反射光不會受到影響，可得到半影區域，則其光照可表示為

Lx=pLb+La

(12)

式中，p表示直射光在半影區域的折減系數。因此，可將像素點x在陰影區域與光照區域的RGB值表示如下

(13)

通過上述公式可知，像素點x在光照區域的RGB值與其在陰影部分的RGB值存在相應的線性關系，即

(14)

式中，β=η(M)-ε(S)，ε(S)表示陰影區域的所有像素點的RGB均值，ε(S)表示對應區域的方差，則此公式可進一步展開為

(15)

將陰影區域中S與其匹配的非陰影區域M利用光照補償方法恢復光照去除陰影。

3 仿真分析

3.1 仿真環境

為驗證所提方法的科學有效性，進行仿真分析。此次仿真在Maltab 平臺上進行，仿真使用的主機配置為Windows XP ，CPU 3.6 GHz、2.8 GHz，8.0 GB 內存，仿真結果數據通過SPSS 13.0 進行統計，對仿真樣本數據進行了預處理。

3.2 仿真參數

仿真用的樣本圖像來自DLL 圖像庫，具體仿真參數如表1 所示。

表1 仿真參數

實驗用樣本圖像如圖2 所示。

圖2 實驗樣本圖像

3.3 仿真方案

根據上述仿真環境與參數設定，采用對比的實驗方法驗證所提方法的有效性。實驗通過對比所提方法、衰減式生成對抗網絡的圖像陰影去除以及多光譜影像NDVI陰影去除方法，以圖像陰影去除的效果以及圖像陰影邊緣提取的精度作為實驗指標，驗證方法的有效性。

3.4 仿真結果分析

3.4.1 弱光照圖像陰影去除效果分析

為驗證所提方法的科學有效性，實驗采用所提方法、衰減式生成對抗網絡的圖像陰影去除以及多光譜影像NDVI陰影去除方法對樣本圖像中的陰影進行去除，去除效果如圖3 所示。

圖3 不同方法圖像陰影去除效果對比

通過上述實驗結果可知，在相同實驗環境下，三種方法對圖像陰影去除的效果存在一定差距。文中設計方法的使用效果在三種方法中陰影的去除效果最佳。其中，衰減式生成對抗網絡的圖像陰影去除和多光譜影像NDVI陰影去除方法在陰影去除后，部分圖像陰影始終存在，且導致亮度異常，在部分細節問題的處理上，對圖像陰影的細節部分的處理存在一定缺陷。相較于這兩種方法，所提方法沒有出現此類問題，陰影去除效果較好，這是由于所提方法通過熵驅動域適應學習技術構建多核分類器，獲取弱光照圖像的最大平均差異值，對弱光照圖像的預處理，并對其特征進行提取，進而提升了陰影去除的效果。

3.4.2 弱光照圖像陰影邊緣檢測精度分析

在弱光照圖像陰影去除中，對圖像陰影的邊緣進行有效的檢測，是準確去除圖像陰影的關鍵。實驗分析了所提方法、衰減式生成對抗網絡的圖像陰影去除以及多光譜影像NDVI陰影去除方法對樣本圖像陰影邊緣進行檢測，檢測精度對比結果如圖4 所示：

圖4 陰影邊緣檢測精度

分析圖4中實驗曲線可以看出，隨著迭代次數的不斷改變，三種方法對樣本圖像陰影的邊緣進行檢測的精度存在一定差別。其中，采用所提方法對弱光照圖像陰影邊緣檢測精度高于其它兩種方法，且最高約為99 %，而其它兩種方法的檢測精度始終低于所提方法。這是由于所提方法將圖像光照分解設定為圖像分解與重光照，獲取圖像最小像素值，根據圖像亮度以及RGB方向相似度建立局部像素的約束，完成弱光照圖像的分解；采用區域生長法，以檢測到的弱光照圖像陰影邊緣作為基準點，選擇灰度值較重部分作為陰影生長起始點，確定弱光照圖像的紋理特征值，利用光照補償方法恢復圖像光照，進而有效提升了圖像陰影邊緣的檢測精度。

4 結束語

針對弱光照圖像陰影去除中存在的不足，通過圖像預處理與增強，獲取圖像中陰影的邊緣并對其展開處理。借助熵驅動域適應學習技術，將弱光照圖像進行有效的預處理，并通過獲取弱光照圖像的灰度值等，完成了弱光照圖像陰影去除。實驗結果表明：采用所提方法對弱光照圖像陰影去除的效果更佳，且對弱光照圖像陰影邊緣檢測的精度更高，具有一定優勢。但在此次研究中還存在相應的問題，例如數據處理部分受限或是場景處理能力較低等問題。在日后研究中還需對上述問題進行處理，以期完善方法中存在的不足。