一種基于生成對抗網絡的單幅圖像去霧算法

李莎，柯文馳，李科，程鵬

（1.四川大學計算機學院，成都610065；2.四川大學空天科學與工程學院，成都610065）

0 引言

圖像去霧作為一種自適應恢復問題，是一項非常具有挑戰性的任務。早期的圖像去霧方法假設同一場景中有多個圖像可用。而在實際情況中，單幅圖像的去霧更加真實、流行[1]。因此，本文主要研究單圖像去霧問題。已有很多圖像去霧方法基于大氣散射模型，該模型可以描述為：

其中I(x)表示霧天的成像圖像，J(x)表示清晰圖像，t(x)表示傳播介質透射率，α 為大氣光值，其中大氣光值反應了全局大氣光的散射導致場景顏色的偏移。傳播介質透射率描述的是光線通過大氣媒介傳播到達成像設備的過程中沒有被散射的部分，它能反映圖像上目標場景的遠近層次。當大氣同質時，傳播介質透射率可以定義為t(x)=e-βd(x)，0 ≤t(x)≤1 其中，β 表示散射率，當大氣均勻時，在一定時刻對于整幅圖像來說散射率是一個定值，d(x)為場景對象到傳感器的距離，即場景深度。去霧的關鍵是估計大氣光值α 和傳播介質透射率t(x)。除了一些專注于估計大氣光[2]的方法，大多數算法更側重于精確估計傳輸函數t(x)。Fattal[1]提出了一種場景反射率的估計方法。Tan[3]利用最大化復原圖像的局部對比度來去霧，He 等人[4]提出了基于暗原色先驗（DCP）去霧算法，Zhu 等人[5]提出了一個可訓練的線性模型，稱為顏色衰減先驗（CAP），在監督的方式下學習模型參數。Berman 等人[12]利用全局像素的霧線來估計透射率圖（NCP）。隨著深度學習理論的完善和發展，一些研究者將深度學習引入到去霧中，并取得了良好的效果。Cai 等人[6]提出了DehazeNet，從霧天圖像中訓練預測的介質傳輸圖。Ren W 等人[7]利用多尺度卷積神經網絡（MSCNN）生成了粗略的場景透射率。Zhang H 等人[8]提出了DCPDN，能夠級聯地學習傳輸圖、大氣光、去霧圖像之間的關系。這些方法已取得了巨大的進步，然而仍有一些因素影響了其去霧效果，一方面，對傳輸圖的估計不準確，另一方面，非端到端的方法無法捕捉到介質傳輸圖，大氣光和去霧圖像之間的內在關系。Li 等人提出的AOD-Net[9]是第一個可訓練的端到端的去霧模型。它基于大氣散射模型，做了改進，描述如下：

K(x)為與輸入無關的傳輸函數，其用一個輕量級的卷積網絡去評估K(x)，然后級聯的訓練網絡以最小化輸出圖像與清晰圖像之間的重構誤差。考慮觀測到的霧天圖像與清晰圖像之間的關系為J(x)=Φ(I(x);θ)，Φ(*)即是潛在的高度非線性變換函數，θ 為參數，AOD-Net 所代表的關系可以看作是一個具體的關系Φ的通用函數。基于該思想，本文構建了一個完全基于神經網絡學習其非線性關系的端到端的算法。并引入判別網絡進一步提高所恢復圖像的質量。

1 生成對抗網絡設計模型圖

1.1 生成網絡設計模型圖

自編碼器在數據去噪，和可視化降維方面已得到廣泛的應用。文中采用上下文自編碼網絡學習霧霾圖像與清晰圖像之間的函數關系。網絡結構如圖1 所示，參數設置如表1-3。

編碼器主要功能是輸入霧天圖像通過生成網絡盡可能恢復出清晰無霧圖像，本文先使用了4 個卷積層作為編碼部分，提取圖像特征信息。由于擴張卷積支持感知域的指數擴展，并且能夠不丟失分辨率和覆蓋范圍。本文使用了擴張卷積模塊增加圖像的感知域，聚合多尺度上下文信息，增強網絡的學習能力。解碼器部分使用兩個ConvTranspose2d-Average Pooling 結構對圖像執行與下采樣相反的兩次上采樣操作，并在其間使用3×3 的卷積恢復圖像，加入2 個跳躍連接，將淺層特征信息傳遞給解碼器，加快網絡訓練過程。

表1 Encoding Layer

圖1 生成網絡結構

表2 Dilation Convolutions Module

表3 Decoding Layer

1.2 判別網絡設計模型圖

判別網絡為一個全卷積網絡，由5 個卷積層構成，網絡結構如圖2，卷積層參數設置如表4，這里除了最后一個卷積層，每層都采用Conv-Relu 的方式，并在網絡最后加入了Sigmoid，將判別結果歸一化到[0，1]之間。輸入生成器生成的圖，判斷真假。

表4 Structure and parameter setting of discriminator

圖2 判別網絡結構

1.3 損失函數

基于生成對抗網絡的思想，給定一個霧天圖像，生成器嘗試產生盡可能真實的無霧圖像，判別器驗證生成的圖像看起來是否真實。設H 為霧天模糊圖像集的一個樣本，R 為清晰圖像集中相應的清晰圖像。文中的生成對抗網絡的損失使用原始Gan 的損失，描述如式（3）。其中D 表示判別網絡，G 表示生成網絡。判別器從全局的角度，驗證圖像，找到生成效果最好的那個。在生成網絡中，使用L2 損失，在像素級別學習生成清晰圖像。并引入感知損失的思想，使用在ImageNet 數據集上預訓練的VGG16 模型的relu1_1，relu1_2，relu2_1，relu2_1 層提取特征，描述如式（4）。為了利用圖像的多尺度信息，在生成網絡的解碼器中使用卷積塊提取不同尺度的特征。描述如式（5），其中Di是解碼器提取的不同尺度的特征，Gi是不同尺度的對應清晰圖像。αi表示各個尺度代表的權重。從解碼器提取的特征分別對應1/4，1/2，1 倍原尺度，越接近原始分辨率的圖像，在恢復中所占權重越大。本文的權重取值分別為1/4，1/2，1，通過使用多尺度損失，可以更好地捕獲圖像特征，恢復圖像的細節信息。

2 訓練實驗

2.1 數據集

由于光照等條件的變化，分別記錄霧天圖像和其對應的清晰圖像，是難以做到的。因此本文選用去霧公開數據集D-HAZY[10]，該數據是通過合成復雜場景的真實圖像中的霧度而建立的。其包含NYU-Depth和Middelbury 兩個部分。NYU-Depth 數據集由1449對相同場景下的合成的有霧圖像和對應清晰圖像組成。也包含每個場景下的深度圖，文中并沒有使用深度圖。Middelbury 包含23 個相同場景下的清晰和合成的有霧圖像。

2.2 數據處理

從NYU-Depth 里取1000 張圖片，將其裁取為128×128 尺寸的小塊，每隔64 個像素截取一張，并將截取的圖像采用隨機翻轉，旋轉90 度的方式，增加訓練的數據量，以提高模型的泛化性，裁取后共得到54000對有霧與對應清晰的訓練圖像。并取與訓練集不同的400 張圖像作為測試集C。為和其他一些算法相比較，文中分別在NYU-Depth 與Middelbury 數據上做了測試，記為測試集A、測試集B。為了測試算法的實用性，在一些真實霧天圖像上也做了測試。

2.3 實驗設置

有霧圖像作為生成網絡的輸入，生成網絡輸出的圖像送入判別網絡，判斷真假。網絡學習率使用兩個時間尺度更新規則，生成器和判別器的學習率分別設置為0.0001，0.0004，更新比例為1。采用Adam 優化，優化器參數的設置采取默認值，批大小為8。算法運行在GeForce GTX 1080 GPU 計算機的PyTorch 上。

3 分析討論

3.1 定量分析

本文采用PSNR、SSIM 評估去霧后的圖像質量，PSNR 表示峰值信噪比。基于像素點間的誤差評價圖像質量，能夠在像素級別評估圖像，顯示去霧的有效性。SSIM 表示結構相似性，與人類感知一致，它分別從亮度、對比度、結構三方面度量圖像相似性。測試結果如表5。

表5 測試結果

取其中的一張圖片，去霧效果如圖3。為了證明生成對抗網絡結構的有效性，在僅僅使用自編碼結構的網絡上也做了實驗，在相同的訓練測試集上，測試結果如表6。可看出，判別網絡的引入，顯著提高了相關指標的值。實驗也比較了損失函數的影響，在相同的參數設置下，加入感知損失可以加快網絡的訓練，使得網絡收斂速度更快。并在結構相似性SSIM 上有細微的提高。

表6 自編碼網絡上測試結果

圖3 測試集B、測試集C、真實霧天圖像的去霧效果

3.2 結果比較

為評估本文算法，將其與一些先進的單幅圖像去霧算法比較，一方面在PSNR、SSIM 上分析，另一方面在一些真實霧天圖像的去霧效果上做了對比。結果見表7-8，圖4。

表7 在測試集A 上的量化結果

表8 在測試集B 上的量化結果

表7 和表8 的部分數據來源于參考文獻[11]。

3.3 結果分析

可以看出本文的算法在PSNR、SSIM 上取得了更高的值，在對真實自然圖像去霧上也有一定的效果，對于近處的圖，算法恢復的細節，清晰度較好。對于較遠處的景色，仍有一定的霧殘留。其他算法中，都取得了較好的視覺效果。然而，仔細觀察會發現，NCP 恢復的圖像細節最清晰，而亮度與色彩上增強了。CAP 有時會模糊圖像的紋理，如第2 幅圖中綠色樹葉部分，DehazeNet 使一些區域變暗，MSCNN 引入了過度增強的圖像偽影，如第4 幅圖球場場景中。

4 結語

本文提出了一個有效的可訓練的端到端的網絡，該網絡不需要評估大氣散射模型里的參數，利用生成對抗網絡生成更加清晰逼真的圖像，并訓練和評估了所提出的算法，取得了較好的效果。雖然算法基于合成室內圖像訓練的，但在對真實場景下的圖像去霧有一定的效果，對于高級計算機視覺任務中的霧天圖像預處理有一定的參考作用。然而文中對于場景深度較大，霧濃度較高處，去霧效果不夠明顯，后續需改進。并且實驗在合成數據集上進行，而真實情況可能場景更復雜，應該進一步探索在真實去霧數據集上去霧，使得去霧更加適用，效果更好。