注意力與多尺度融合的圖像陰影去除算法

曲海成，佟 暢，劉萬軍

遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105

圖像中陰影區域的存在，是一件普遍的現象。但對于計算機的視覺系統來說，對陰影區域的區分卻是一件困難的事情，如圖像分割時，陰影會導致分割區域判別不準確，造成圖像分割的誤差；目標跟蹤時，陰影影響跟蹤框的圈定，造成目標的丟失；智能監控系統中，陰影會干擾監控物的數量判斷、形狀、活動范圍等。因此，對圖像中陰影進行去除是十分必要的。

目前陰影去除算法可分為基于物理模型的方法、基于圖像自身特征的方法、基于機器學習和深度學習等方法?；谖锢砟Ｐ偷姆椒ㄟM行陰影去除，通過對陰影區域的環境特征進行模型構建來實現，主要依靠環境特征，但環境特征所受的影響因素太多且實時變化，不好確定，如太陽偏射角等。Yu[1]、Huang[2]和Finlayson[3]等人從物理模型出發，進行陰影去除，利用光源與障礙物的關系進行建模，具有一定的可行性，但建模過程的計算量大，所需的計算參數精確度欠缺。基于圖像自身特征的方法，通過圖像自身的特征進行陰影去除，如材質、亮度等。但同一幅圖像中，不可能存在完全一樣的材質、亮度等特征，因此此種方法存在固有的誤差。如Guo等人[4]提出區域匹配算法，通過尋找與陰影區域相同材質的無陰影區域進行恢復，但對場景復雜圖片的陰影去除效果不好。Lin 等人[5]通過多尺度和形態學方法進行陰影去除，有效縮減了漏檢率，但對光譜與陰影相近且形狀面積差異不大的地物，陰影去除出現困難。Fan 等人[6]利用圖片的紋理特征，設置紋理置信區間，能夠有效地去除復雜的投射陰影，但半影部分有少量殘留。Jiao[7]和Zhang等人[8]構建陰影去除模型，具有便捷、高效的特點，但需對圖片特定區域進行處理。Wu等人[9]提出生成器結構及多尺度圖像分解法，使復雜背景圖像的細節更加豐富、清晰，但只對特定數據有效，具有局限性?；跈C器學習與深度學習的方法，主要利用大規模的數據進行模型網絡參數的調整，實現陰影的去除，但也存在陰影誤檢和暗區域陰影去除不完全的問題。如Sepideh[10]和Zhang[11]等人使用機器學習的方法，提高了陰影檢測與去除的時效性，但監測效果有待提高。Hu[12]與Fan[13]等人利用深度網絡模型實現陰影去除，但面對復雜照明變化任務陰影去除效果還有待提高。Hu等人[14]提出方向感知與上下文分析的陰影檢測網絡，通過聚集的空間上下文特征建立方向感知注意力機制，恢復陰影圖像，但仍存在可能將黑色的物體誤檢為陰影，或者漏掉一些不太明顯的陰影區域的問題。

無論是基于物理模型的方法、基于圖像自身特征的方法，還是基于機器學習和深度學習的方法，普遍存在兩個問題：一是存在陰影去除算法普適性較差的問題，只針對特定類型的圖像陰影去除效果好，非指定類型圖像陰影去除效果差；二是面對復雜的紋理或與陰影區域相似的暗區域的情況，圖像陰影去除效果不明顯。為了解決上述問題，本文基于生成對抗網絡的思想，利用注意力機制與多尺度特征融合的特點，提出了注意力與多尺度融合的圖像陰影去除算法。該算法提升了不同類型圖片陰影去除的準確率，解決了復雜的紋理或與陰影區域相似的暗區域陰影去除困難的問題。

本文主要工作總結如下：

（1）在生成網絡的注意力形成階段，運用空洞卷積層構造的殘差網絡進行特征提取，增加網絡的感受野，提取的特征信息精確性更高，使編碼階段的輸入特征信息具有更本質的全局特征，增強暗區域或紋理復雜區域的圖像陰影去除效果。

（2）在編碼過程中，引入多尺度的概念，把不同尺度的特征進行融合，兼顧全局語義信息與局部特征，進一步增加了對（1）中注意力機制的關注度，提高編碼器的質量，使生成的圖像更具有騙過判別器的潛質，使網絡面對不同的場景，陰影去除依然可以具有較高的精確性。

（3）在判別網絡中，引入多重注意力機制，通過多個串聯的注意力機制進行引導，增加判別網絡對感興趣區域的關注度，減少關鍵特征信息的損失，提高判別網絡的鑒別能力，調整了判別網絡的步伐，使整個網絡對不同類別以及暗區域或紋理復雜區域的陰影去除，起到了積極的促進作用。

1 算法基礎

1.1 生成對抗網絡

生成對抗網絡（generative adversarial network，GAN）是深度學習領域一項偉大的創新，該網絡基于博弈的思想進行設計[15]。該網絡由生成器網絡與判別器網絡兩部分共同構成，其核心思想是通過兩個子網各自的最優變化，達到全局的最優效果。生成器網絡的核心作用是通過一系列的網絡結構生成可以騙過判別器網絡的數據。判別器網絡的核心作用是通過網絡設計可以不被生成器網絡生成的數據所騙過。生成器網絡與判別器網絡二者互相制約，共同成長，形成表現良好的網絡結構[16]。生成器網絡與判別器網絡共同訓練的過程如圖1所示。

圖1 生成器與判別器對抗圖Fig.1 Antagonism graph between generator and discriminator

生成對抗網絡訓練過程中，只受限于判別器網絡的鑒別能力，因此生成器網絡具有最大限度的“想象”空間，這也是本文選用GAN 作為圖像陰影去除的主框架的原因。

1.2 注意力機制

注意力機制核心思想是讓計算機可以擁有自己的感興趣區域，根據不同的應用場景的需求，對目標數據進行加權變換。注意力機制讓計算機系統可以更多地關注自己感興趣區域，防止關鍵特征的丟失。

注意力在不同的應用場景下或不同的表達方式下可分為多種不同類型。本文注意力機制屬于軟注意力機制，即形成的二維注意力圖的對應權值在0～1 之間，越重要的特征分配的權值越大。注意力機制貫穿了本文的整個算法，在判別網絡中，為防止重點特征的分散，采取乘法注意力機制，引導網絡進行判斷；在編碼階段，因需要長期存儲提取圖像的關鍵特征，選取LSTM（long short-term memory）作為編碼階段注意力的核心單元。LSTM是一種特殊的RNN類型，可以學習長期依賴信息，其由遺忘門、輸入門和輸出門組成，可表示為：

其中，ci表示整體的某一部分，et表示對應ci在t時刻的注意力得分。

注意力機制在本文中的具體應用如圖2所示。圖2為帶干擾的陰影圖像（下水井蓋與陰影區域在光譜特性上有相似之處，去除陰影過程中具有干擾性）及對應的三幅熱力圖。其中圖2（a）為包含井蓋與陰影區域的圖像，陰影區域在整幅圖像的左邊，是由人舉擋板造成的。圖2（b）為第一次的注意力熱力圖，圖2（c）為第三次的注意力熱力圖，圖2（d）為第六次的注意力熱力圖。

圖2 生成注意力圖示例Fig.2 Example of generating attention map

注意力熱力圖中，紅色區域表示圖2（a）中的陰影區域，藍色部分為圖2（a）中非陰影區域，淺藍色為圖2（a）中地面顏色稍微深一些的部分。在圖2（b）到圖2（d）的過程中，淺藍色部分的區域逐漸與圖2（a）中較深色地磚部分的位置對應。熱力圖對圖2（a）的理解在逐步增加，即對圖像色調變化捕捉敏感，對細節關注更為精細。在圖2（d）中紅色區域與圖2（a）中的陰影區域位置對應，可知該注意力機制對陰影區域位置的關注比較精準，注意力的引用有利于提高圖片編碼的質量。

1.3 多尺度特征融合

多尺度即對信號的不同粒度進行采樣，通常在不同的尺度下可以觀察到不同的特征，從而完成不同的任務。通過少量卷積層，得到的特征分辨率高，包含更多位置、細節信息，但其所包含的語義信息少，噪聲多[17]。而通過大量的卷積層，得到的特征分辨率卻偏低，對細節的感知能力差。多尺度特征融合的提出就是為了能夠提取更為全面的信息，兼顧全局語義信息與局部細節信息[18]。為了兼顧圖片陰影區域的位置信息與細節特征，在編碼階段運用多尺度特征融合進行特征的抽取。

不同的尺度具有不同的感受野。圖3為3個不同尺度下的圖像對比圖，直觀地反映不同尺度的作用，其中圖4（a）為640×680，（b）為64×48，（c）為8×6。

圖3 不同尺度對比圖Fig.3 Comparison of different scales

特征融合的兩個經典方法是concat 和add。concat是直接將兩個特征進行連接[19]。兩個輸入特征x和y的維數若為p和q，輸出特征z的維數為p+q。add將這兩個特征向量組合成復向量，具體形式見公式（3），其中i 是虛數單位，本文算法融合時使用add 的方式進行不同層次的特征融合，在不改變通道數的情況下，增加特征信息量。

本文多尺度特征融合采用串行的跳層連接結構實現。串行的跳層連接結構對圖像的邊界信息敏感[20]。在編碼器編碼的過程中，引入對反卷積層的鄰接卷積進行串行的跳層連接，有助于加強編碼器編碼過程中對陰影邊界的關注，提高了無陰影圖像生成的質量。

1.4 損失函數

該算法是基于生成對抗網絡（GAN）的框架下進行的，而在生成對抗網絡中，需要優化目標函數，來達到納什平衡[21]。GAN 網絡的目標函數V(D,G)優化過程表示為：

式中，G代表生成網絡，D代表判別網絡，pdata(x)代表真實分布，pn(z)代表噪聲分布。G(z)表示輸入的噪聲z映射成數據（生成圖片）。D(x)表示x來自于真實數據分布pdata(x)的概率。

在本文中，因注意力機制應用形式的不同，有許多不同的連接方式，但每部分注意力機制的損失計算方式是相同的。注意力機制的損失函數La表示為：

損失的計算是通過比較每次生成的注意力圖(At)與對應圖片陰影掩膜(M)（不提供陰影掩膜的數據集，用數據庫中的陰影圖像與非陰影圖像做差得出）之間的均方誤差(MSE)進行的。超參數的選擇參考文獻[20-21]，N取6，θ取0.8。

在生成器網絡，編碼階段的損失函數Le表示為：

編碼階段損失(Le)由圖片的真實損失(Lr)和模型損失(Lm)兩部分構成，其中Oi為編碼生成的圖片，F為真實圖片。

圖片的真實損失(Lr)通過計算編碼階段生成的無陰影圖片(Oi)與數據庫中真實的無陰影圖片(F)之間的均方誤差（MSE）而得到，參數β的取值參考文獻[22]，分別取0.6，0.8，1.0，對應編碼階段的三個不同的尺度，i對應著編碼生成的無陰影圖像的次數，每生成一次就需要計算一次。圖片的真實損失(Lr)表示為：

模型損失(Lm)為通過VGG 網絡編碼生成的圖片(Oi)與真實圖片(F)的損失的均方誤差，表示為：

2 注意力與多尺度融合的圖像陰影去除算法

2.1 算法框架

為了解決圖像陰影去除算法中存在普適性差、復雜地物及暗區域陰影去除困難等問題，提出了注意力機制與多尺度特征融合相結合的圖像陰影去除算法。該算法運用細節信息提取更精細的VGG-E作為該網絡的預訓練模型。整體思想基于GAN 網絡架構，分成生成器網絡與判別器網絡部分。其中生成器網絡包括注意力編碼和注意力判別網絡，是為了生成無陰影的圖像。判別器網絡是為了判斷生成器網絡生成的無陰影圖像的質量。

生成器網絡部分，對提取的特征進行多尺度的注意力編碼，提高生成器網絡生成無陰影圖像的質量，加速網絡的收斂。在判別器網絡，運用注意力機制，平衡生成器網絡與判別器網絡的步調，加速網絡的收斂，實現良好的圖像陰影去除的效果。該算法整體框架如圖4所示。

圖4 注意力與多尺度融合算法整體框架圖Fig.4 Overall framework of attention and multi-scale fusion algorithm

2.2 CDD殘差塊

CDD殘差塊模塊的提出是為了解決暗區域及紋理復雜地物陰影區域細節信息與輪廓邊界不能很好地兼顧的問題。

該模塊的設計運用了普通卷積與空洞卷積組合的方式，結合了殘差網絡的設計思想。空洞卷積的應用具有更大的感受野，包含更多的上下文信息（細節信息），但空洞卷積的使用也會造成特征信息連續性的欠缺，因此，設計不同的學習率以避免這一問題。圖5 中，第一層為普通卷積，相當于學習率為1的空洞卷積。第二層的空洞卷積的學習率設為2，第三層的空洞卷積的學習率設為3。

為了避免高層語義信息提取時梯度消失的問題，借助了殘差網絡的思想，對上述網絡進行設計。CDD 殘差塊的設計如圖5所示。

圖5 CCD殘差塊設計Fig.5 Design of CCD residual block

2.3 多尺度編碼器

編碼器的輸入由陰影圖片與陰影圖片的注意力圖共同構成。這是一個逐層遞進的過程，每次形成的注意力圖重新與陰影圖片進行下一次的特征提取，形成下一次的注意力圖，其具體結構如圖6所示。

圖6 生成器注意力網絡Fig.6 Generator attention network

為了使網絡面對不同場景的圖像，陰影去除依然可以具有較高的精確性，在編碼器中運用多尺度融合的思想，高層語言特征與底層細節信息的結合，使網絡面對不同類型的圖像，都具有較好的表現。該算法分別結合3種不同的尺度進行特征融合，兼顧全局與局部的特征，提高注意力編碼器生成圖像的精確度。選取融合的層次為Conv_8、Conv_9、Conv_10，它們為反卷積進行還原圖像的臨接卷積層，分別代表特征圖尺寸為1、1/2、1/4時的特征。該實驗編碼階段共由10個卷積層、4個空洞卷積層、2 個反卷積層以及3 個跳躍連接層組成。其中編碼階段的輸入為帶陰影的圖像與注意力圖，每層之間的激活函數為LRelu，輸出結果為不帶陰影的圖片。Conv代表卷積層，Dia_conv代表空洞卷積層，Deconv代表反卷積層，且每個反卷積層包含一個avg_pool層。編碼器內部卷積層的連接如圖7所示。

圖7 編碼器特征融合示意圖Fig.7 Encoder feature fusion diagram

2.4 注意力判別網絡

注意力模型（attention）關注圖像的結構特征，可以靈活地感知到全局與局部的聯系，提升網絡的感知能力，提高輸出的質量，且不需要監督[23]。注意力在判別網絡中的應用，加強了判別網絡對生成器網絡的約束性，調整了判別網絡的步伐，使整個網絡對不同類別以及暗區域或紋理復雜區域的陰影去除，起到了積極的促進作用。

判別網絡設計過程中，在每兩層之間，加入乘法注意力機制，目的是通過注意力機制過濾掉一些無關特征，防止重點內容被分散，為后部分語義特征的提取提供基礎。乘法注意力機制是在加法注意力機制要求編碼與解碼的隱藏層長度必須相同條件下的改進，具有更高的靈活性。判別網絡設計如圖8所示。

圖8中3層的注意力圖分別為第2、4、6層卷積特征的一個加強，為防止多次卷積后特征分散，不利于后三層語義信息的提取。后三層stride取4，每層特征變為原有的1/4，便于提取最本質、最抽象的特征信息。

圖8 判別器設計圖Fig.8 Discriminator design

3 實驗及結果分析

3.1 實驗環境及數據集

實驗環境為ubuntu16.10 系統，GPU 加速卡型號為GeForce GTX 1080Ti。

數據集選取ISTD[24]和SRD[25]。ISTD數據集共1 870對陰影與非陰影數據對，其中訓練集1 330 對，測試集540 對。SRD 數據集共3 088 對陰影與非陰影數據對，其中訓練集2 680對，測試集408對。

3.2 評價指標

實驗的評價主要從視覺效果和當前主流的衡量指標（SSIM、PSNR 和RMSE）兩方面進行評價。SSIM 結構相似性基于圖像亮度、對比度和結構進行評價，可表示為：

式（9）的值越接近1，兩圖片相似性越強。其中x、y代表要比較的兩張圖片，μx為x的均值，μy為y的均值，為x的方差為y的方差，σxy為x和y的協方差，c1=(k1l)2,c2=(k2l)2為兩個常數，l為像素范圍，本次實驗k1為0.01，k2為0.03。

PSNR 為峰值信噪比，單位是dB，數值越大表示效果越好?；趯袼攸c間的誤差，即基于誤差敏感的圖像質量評價。不考慮人眼的視覺特性，會出現評價結果與人的主觀感覺不一致的情況，可表示為：

其中，m、n為圖像的長與寬，I為真實圖像，k為生成圖像。

均方根誤差（RMSE）是一個中間的評價指標，很多評價指標都是基于均方根誤差進行的，是均方誤差(MSE)的開根號數，均方根誤差計算陰影圖與非陰影圖像素級的誤差，可表示為：

3.3 實驗結果與分析

生成器網絡與判別網絡具有不同的結構，因此生成器網絡與判別器網絡進行了不同的學習率設置。其中生成器網絡學習率為0.002[26]，判別器網絡學習率為0.001[26]，且每進行10 000次訓練，學習率縮小10%。

實驗在ISTD 數據集與SRD 數據集上選取不同場景且地物相對復雜或具有與陰影區域相近的暗區域的圖像進行測試，經過100 000次訓練的網絡，實驗最佳結果SSIM可達到0.978，PSNR為32.23 dB，RMSE為6.23?，F隨機選取6幅測試圖片的值進行展示，不同數據集效果對比見表1。

表1 不同數據集效果對比表Table 1 Effect comparison of different datasets

該算法分別在ISTD 和SRD 選取不同場景且地物相對復雜或具有與陰影區域相近的暗區域的3 幅圖片進行展示，可見該算法對不同場景下圖像的陰影去除具有很好的表現，對相對復雜地物、暗區域的陰影去除效果也表現良好。不同數據集實驗效果如圖9所示。圖9共6 組圖片，前3 組為ISTD 數據集的測試圖片，后3 組為SRD 數據集的測試圖片，其中圖9（a）為帶陰影的圖片，圖9（b）為實驗結果圖片，圖9（c）為數據集中給出的真實無陰影圖片。

圖9 不同數據集實驗效果圖Fig.9 Experimental renderings of different datasets

為了驗證多尺度融合、注意力機制、CDD殘差塊對該算法的影響，設計了逐步改進實驗。實驗1為去除多尺度算法的實驗，實驗2為去除CDD 殘差塊的實驗，實驗3 為去除注意力機制的實驗，實驗4 為所有模塊綜合的實驗。逐步改進實驗的實驗效果見表2。圖像為隨機選取的一幅圖像，逐步改進實驗視覺效果如圖10所示。

表2 逐步改進實驗效果比較Table 2 Effect comparison of gradually improving experiment

圖10 逐步改進實驗視覺效果圖Fig.10 Visual effect of gradually improving experiment

圖10（a）為帶陰影的原圖片，圖10（b）為實驗1的測試效果圖，圖10（c）為實驗2 的測試效果圖，圖10（d）為實驗3 的測試效果圖，圖10（e）為實驗4 的測試效果圖，圖10（f）為SRD數據集中給出的無陰影的真實圖像。

綜合表2與圖10的實驗結果，多尺度特征融合可以明顯提高圖像陰影去除的質量，無論從視覺角度還是測量指標上，都有顯著提升，CDD殘差塊與注意力機制也在一定程度上，改善了該算法的陰影去除能力。因此，進一步把三者結合，進行實驗驗證，發現在視覺效果與圖像測試指標上，都比其他組單獨實驗效果要好，證明了三者結合為該算法陰影去除能力最強的組合。

為了證明算法的有效性，用該算法與參考文獻[9，14，24]進行對比，視覺效果如圖11所示。其中圖11（a）為原始帶陰影圖像，圖11（b）為數據集中對應無陰影圖片，圖11（c）為文獻[9]的結果，圖11（d）為文獻[14]的結果，圖11（e）為文獻[24]的結果，圖11（f）為本文算法。圖像測試指標對比見表3所示。

圖11 算法視覺效果對比圖Fig.11 Visual effect comparison of algorithms

表3 算法測量指標對比Table 3 Comparison of algorithm measurement indexes

4 結論

本文針對圖像陰影去除算法中復雜地物或與陰影區域紋理相似的暗區域陰影去除不完全的問題，提出注意力與多尺度融合的圖像陰影去除算法。該算法的無陰影圖像是由生成器在注意力與多尺度融合的引導下，由判別器監督而生成的最接近真實的無陰影圖像。利用新型的空洞殘差塊（CDD）進行特征提取，在增大感受野的同時減少了計算量，加強了特征感知的強度。多尺度的特征融合，兼顧了全局語義與局部特征，增強了編碼器生成圖像的質量。注意力機制的引入，調整了判別網絡的步伐，加強了網絡對全局與部分的把控。該算法無論從定量指標還是視覺感受，都達到了較為理想的陰影去除效果。

該算法也可以遷移到其他同類型的監督學習的應用中，比如去雨、去馬賽克等。當然該算法也存在一些不足之處，生成的圖像與原圖可能會存在一些細微誤差，特別是灰色背景的圖片，且對具有紅色信息的圖像，陰影去除效果較差。