基于增強生成器條件生成對抗網絡的單幅圖像去霧

趙 揚，李 波

（武漢科技大學計算機科學與技術學院，武漢 430065）

（?通信作者電子郵箱liberol@126.com）

0 引言

霧霾是由于大氣中的粒子吸收散射光而引發的一種自然現象，易導致圖像質量下降。霧圖像通常表現為喪失對比度、顏色衰退和邊緣信息缺失，降低人們的視覺感知場景信息的能力；同時，霧還能影響計算機視覺算法的相關應用，比如分類任務，尤其是自動駕駛。因此，圖像去霧是一項必需的預處理任務。

霧霾圖像的形成被廣泛近似參數化為大氣散射模型［1］，其模型公式如下所示：

其中：x是圖像中的像素坐標位置，I(x)代表觀測到的霧霾圖像，J(x)是對應的無霧圖，t(x)是透射率，A是全球大氣光。透射率t(x)可以由如下公式表示：

其中：d(x)代表場景深度，β表示散射系數。僅僅通過給定的圖像I(x)，要恢復無霧圖像是極其困難的。

近年來，單幅圖像去霧一直是一個富有挑戰力的問題。對于去霧的研究大致可分為基于先驗的方法以及基于學習的方法。在基于先驗的方法中，通過大氣散射模型利用相關霧霾特征進行透射率t(x)和大氣光A的估計，以恢復清晰無霧圖像；但這些方法的性能取決于其先驗的準確性，在特殊的場景中這些方法往往會失效。現在，部分基于學習的方法使用訓練過的深度神經網絡來預測中間參數，盡管這些方法取得了較為顯著的結果，但由于缺乏真實的訓練數據和有效的先驗，很難估計這些中間參數，不準確的估計也會進一步降低去霧的性能。此外，一些算法直接或間接基于深度卷積神經網絡（Convolutional Neural Network，CNN）來恢復無霧圖像，以端到端的方式，忽略中間參數估計，直接從霧圖像恢復出無霧圖像。這些方法主要采用通用的網絡結構，如：U-Net［2］具有編碼器-解碼器體系結構，主要用于圖像分割；DenseNet［3］減緩了梯度消失問題，增強了特征傳播，但會產生特征冗余；Dilated Network［4］廣泛運用于聚合上下文信息的有效性，但去霧時容易產生網格偽影。與傳統的先驗方法相比，這些方法的去霧能力得到了提升，但這些結構對于去霧沒有很好的優化。

最近，基于生成對抗網絡（Generative Adversarial Network，GAN）的單幅圖像去霧在去霧領域占據了一席之地。GAN 以其特殊的抵抗性訓練的理念，在圖像轉換、圖像生成等領域已取得了顯著的成就。本文提出了一種完全端到端的增強生成器的GAN 去霧網絡，它以模糊圖像作為輸入，直接生成無霧圖像，不需要中間參數的估計。不同于其他GAN 去霧網絡，在生成器方面，使用了用于圖像去噪的增強策略（Strengthen-Operate-Subtract，SOS）模塊［5］和用于超分辨率細節恢復的密集特征融合（Dense Feature Fusion，DFF）模塊［5］作為生成器的一部分，增強圖像的特征恢復，同時保存特征提取時的空間信息。實驗結果驗證了該方法在去霧任務上的優越性。同時在傳統GAN 的損失函數基礎上，新引入了一個多尺度結構相似性（Multi-Scale Structural SIMilarity，MS-SSIM）損失函數，它是對圖像進行多個尺度下的結構相似性（Structural SIMilarity，SSIM）的評估，很好地解決了邊緣噪聲的問題，對于生成的圖像，更貼近于地面真相。

1 相關工作

1.1 單幅圖像去霧

近十年來，大量的去霧方法被提出，這些方法可粗略地劃分為兩類：基于先驗的方法以及基于學習的方法。基于先驗的方法使用的是手工設計的先驗或猜想來進行圖像去霧。He 等［6］對無霧圖像進行大量統計發現了暗通道先驗（Dark Channel Prior，DCP），其工作原理是在戶外拍攝的干凈圖像中，至少一個RGB 顏色通道的強度值在某些像素上接近于0。基于DCP 的假設，可以估計透射率和全球大氣光。目前在此假設下已經出現各種改進方法，如Zhu 等［7］提出了一個將深度作為亮度和飽和度的線性函數模型，并通過訓練學習了參數。總的來說，基于DCP 的方法一定條件下對去霧有很好的效果，但缺點是自然具有高亮度的區域（天空）中容易出錯。

為了解決這些問題，在基于學習的方法中，CNN在目標檢測［8］和分類任務上取得了巨大的成功，并成功運用于除霧應用中。Li 等［9］提出了一種一體化除霧網絡AOD-Net（All-in-One Dehazing Network），它是基于重新配置的大氣散射模型設計的，通過輕量級的CNN 以端到端的方式直接生成清晰圖像；Mei 等［10］介紹了一種通過漸進特征融合的U-Net 編碼器/解碼器深度網絡（Progressive Feature Fusion Network，PFFNet），以直接學習從觀察到的模糊圖像到無霧的地面真相的高度非線性變換函數；Ebenezer 等［11］提出的圖像去霧網絡CWGAN（Conditional Wasserstein Generative Adversarial Network）是數據自適應的，結合Wasserstein 損失函數［12］，使用梯度懲罰來執行拉普拉斯約束學習霧圖像為條件的清晰圖像的概率分布。但是，這些方法主要基于通用的網絡體系結構，對于圖像去霧問題效率不高。

1.2 有條件的生成對抗網絡（CGAN）

Goodfellow 等［13］提出的GAN 是從隨機噪聲樣本中生成圖像或文本。一個GAN 中包含兩個相互競爭的神經網絡模型：一個網絡稱為生成器，能將噪聲作為輸入并生成樣本；另一個網絡稱為鑒別器，能接收生成器數據和真實訓練數據，訓練得到能正確區分數據類型的分類器。這兩個網絡互相對抗。

其中，生成器通過學習來產生更逼近真實數據的新樣本，用于愚弄鑒別器，反之鑒別器也需要更好地區分生成數據與真實數據。GAN 的學習過程可能發生模式崩潰問題，生成器開始退化，總是生成同樣的樣本點，無法繼續學習。當生成模型崩潰時，判別模型也會對相似的樣本點指向相似的方向，訓練無法繼續進行。為了改善這個問題，通過給GAN 增加一些約束，條件生成對抗網絡（Conditional Generative Adversarial Network，CGAN）［14］便自然而然地誕生了。CGAN 在圖像生成領域有巨大的潛力，并且已被引入各種視覺任務中，例如超分辨率［15］、去雨［16］。

2 本文模型結構

2.1 增強生成器

生成器需要從一張有霧圖像中生成一張清晰無霧的圖像。與傳統去霧的GAN 的生成器直接使用U-Net 不同，本文選擇基于U-Net 的增強生成器，它接受一個霧霾圖像作為輸入，訓練以生成清晰的圖像。如圖1 所示，它由編碼器、增強解碼器和特征恢復模塊三部分組成。本文網絡包含四個階梯型的卷積層和四個階梯型反卷積層。殘差組［17］由三個殘差塊組成，在Gres模塊共有18 個殘差塊。編碼器中的殘差塊過濾器數目依次為16、32、64、256，相對應的解碼器中的增強模塊過濾器數目為256、64、32、16。在編碼器中的第一個卷積層的卷積核大小被設定為11×11，其余所有的卷積和反卷積層相應過濾器尺寸為3×3。為了逐步完善特征恢復模塊Gres模塊中的特征jL，將SOS 增強策略［18］嵌入網絡的解碼器中，且SOS 增強模塊的結構如圖2 所示。在第n層的SOS 增強模塊中，從上一級上采樣的特征jn+1，用編碼器的潛在特征in來增強它，并且通過精化單元生成增強的特征jn，如下所示：

圖1 生成器的結構Fig.1 Structure of generator

圖2 SOS增強模塊Fig.2 SOS boosted module

2.2 鑒別器

使用pix2pix 網絡［19］的中的鑒別器來判斷生成器的輸出是否為真實圖像，它是一個70×70的patchGAN，如圖3所示。

圖3 鑒別器的結構Fig.3 Structure of discriminator

此網絡是對生成圖像和目標圖像的逐塊比較，而不是像素級的比較。一般的鑒別器輸出的是一個正確或錯誤的矢量，但patchaGAN 輸出的是一個n×n的矩陣，其中的每一個元素，實際上代表著原圖中的一個比較大的感受野，也就是說對應著原圖中的一個patch。

2.3 損失函數

L1 loss：給定輸入模糊圖像I，生成器的輸出是G(I)，地面真實圖像是J。目標圖像J與生成的圖像G(I)之間的L1損失計算如下：

它測量了去霧圖像和地面真相在圖像像素空間中的保真度。

Perceptual loss：使用Ledig 等［15］定義的VGG 損失。VGG損失由ImageNet 上預先訓練的VGG-19 網絡中的ReLU 激活層定義，當對VGG 輸入I時，對應于VGG 第11 層的特征映射由φ(I)表示，則該GAN的VGG損失函數可以定義為：

MS-SSIM loss：結構相似性（SSIM）用來測量兩幅圖像之間的相似度。G(I)和兩幅圖像之間的SSIM可由下式給出：

其中：l(G(I)，J)是亮度對比因子，c(G(I)，J)是對比度因子，s(G(I)，J)是結構對比因子；α、β、γ為三個成分的相關重要參數。

單尺度的結構相似性受限于圖像細節及觀測者距離的限制，多尺度結構相似性方法［20］是在不同分辨率下融合圖像細節的一種方便的方法。可以表示為：

其中：指數αM、βj、γj用于調整不同分量的相對重要性，并且αM=βj=γj。M表示縮放因子，圖像以寬高2M-1 為因子進行縮小：當M=1時，表示原始圖像大小；當M=2時，表示圖像縮小一半；以此類推。

因此，MS-SSIM損失函數可以定義為：

Adversarial loss：定義標準的CGAN 的目標函數來訓練生成器和鑒別器為：

其中：D代表的是鑒別器，G表示的是生成器。當訓練CGAN時，生成器嘗試最小化結果，鑒別器嘗試最大化它。因此，綜合以上結果，對于生成器，總的損失函數為最小化：

其中：λ1、λ2、λ3分別為相應損失函數的權重。另一方面，鑒別器被訓練最大化以下目標函數：

3 實驗與分析

3.1 數據集

訓練集里包含了室內和室外的圖像。對于室內圖像，選擇了合成的NYU 數據集［21］，包含1 449 幅室內場景無霧圖像及相應數量的合成朦朧圖像。對于室外圖像，使用了RESIDE［22］中的OTS 數據集，共包含500 張模糊/真實圖像對。最后，一共得到了1 949 對圖像。測試集選用了SOTS 室內數據集和NTIRE18 的室內外數據集來進行定量及定性的評價，同時還使用了一些來自AOD-Net中沒有參考圖像的真實朦朧圖像。

3.2 實驗設置

在本文實驗中，當λ1、λ2、λ3分別設置為100、1 000、100時，對測試集的測試結果最好。在MS-SSIM 損失函數中，將M設為3，對應的參數β1=γ1=0.044 8，β2=γ2=0.285 6，β3=γ3=0.300 1。網絡中，輸入圖片的尺寸為256×256×3。初始學習率為2 × 10-4，使用了Adam優化器。訓練過程中，在訓練100 周期后，學習率以線性衰減率β=0.5 開始遞減。網絡在訓練集上訓練了250 個周期。生成器和判別器交替訓練，并在pytorch上實現。

3.3 實驗分析

一個除霧算法的性能可以從幾個因素進行評估，其中兩個最常用的為峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和SSIM。PSNR 衡量算法從噪聲中去除噪聲的能力，SSIM 度量兩個圖像的相似程度，這兩個評價指標的值越高，表示去霧算法的性能更好。為了驗證本文增強生成器及MS-SSIM損失函數的有效性，分別與原始U-Net 生成器及SSIM 損失函數進行了對比分析，同時和如今一些先進的方法進行了比較，包括DCP［6］、AOD-Net［9］、PFFNet［10］、CWGAN［11］；同時運行了這些方法已發布代碼，在測試集上做了相關評價。相關結果見表1～2所示。

在合成數據集上，對測試集SOTS 和NTIRE18 進行測試，通過定量評估來比較各方法的性能。從表1 可看出：在其他條件不變的情況下，使用SOS 增強生成器的除霧網絡在SOTS及NTIRE18 上PSNR 與SSIM 均有提高，且在SOTS 上的PSNR值提高了約0.9。由于原始U-Net 編碼器下采樣操作后，無法進行有效的空間壓縮，且不同層之間只是進行簡單的級聯操作，容易造成特征丟失。而增強生成器通過建立非相鄰層的連接，利用去噪殘差塊融合不同層中的特征，減少特征丟失。同時，在使用全新的MS-SSIM損失函數后，本文方法在兩個數據集上的PSNR 和SSIM 均有細微增長，且在NTIRE18 數據集上的SSIM值增加了約0.04。跟SSIM損失函數相比，MS-SSIM損失函數是在不同尺度下對生成圖像與真實圖像對比，解決了邊緣噪聲問題，更多地保留了高頻信息，能在邊緣及細節上產生更好的無霧圖。

表1 在合成數據集改進前后U-Net以及損失函數的比較Tab.1 Comparison of U-Net and loss function before and after improvement on synthetic datasets

與其他方法的對比結果如表2 所示。顯而易見，本文方法在兩個指標PSNR 和SSIM 都取得了最高的數值，在室內數據集SOTS上分別為23.860 6及0.917 3，比傳統的DCP、AODNet利用大氣散射模型估計中間參數的方法在SSIM 上高了接近0.1。而以端到端模式的PFFNet 僅僅采用了簡單的U-Net結構，在對特征提取與恢復時有較大的信息損失。本文與同樣以GAN 來進行圖像去霧的CWGAN 相比，在生成器端通過增強的特征提取DFF 模塊以及特征恢復的SOS 模塊，使得訓練時生成的圖像細節更為還原，同時選擇MS-SSIM 損失函數替代了SSIM 損失函數，加強了對生成的無霧圖片邊緣的細化，SSIM 數值更高。由于室外光照等環境的影響，PSNR 和SSIM 的值普遍比較低，但該模型在NTIRE18 上同樣取得了最高的指標值。這說明本文方法在不同環境下優于對比方法。對其中部分圖片的定量及定性評價如圖4 所示。由圖4 可以看出，DCP沒有保留圖像的原始顏色和對比度，圖像變得更加灰暗。在霧比較濃的情況下，DCP、AOD-Net、PFFNet 仍有殘留的霧沒有完全去除，而CWGAN 在一些圖像的細節上恢復得比較低。相對而言，本文所方法不僅很好地去除了霧霾，且較大程度地保留了原圖像的細節，恢復效果相對較好，在PSNR和SSIM上都獲得了最大的數據值。

圖4 合成數據集上本文方法與其他方法的定量對比結果圖Fig.4 Result images of quantitative comparison of the proposed method and other methods on synthetic datasets

在真實的數據集上，由于沒有相對應的無霧場景圖像，因此僅對現實世界的霧圖像進行定性評價，結果可由圖5 所示，同時還選擇了一些常用的自然霧圖像進行比較。從圖5 可以明顯觀察到，AOD-Net 和PFFNet 有些許的煙霧殘留和顏色失真，DCP 留下了少許陰霾，圖像更傾向于變暗，而CWGAN 在霧濃度較大的室外圖像中會增大對比度。與上述方法相比，本文的模型不僅較徹底地去除了霧霾，在重度霧區也表現出了更多清晰的細節與更少的偽影。這是由于生成圖片時DFF模塊有效彌補了高分辨率特征中缺失的空間信息，并利用非相鄰的特征融合，特征損失較少，更易于在除霧的同時保留圖像細節，訓練也越快達到收斂。但是在霧濃度較深的室外環境下，仍然不能去除大量的煙霧。

圖5 真實數據集上本文方法與其他方法的定性對比結果圖Fig.5 Result images of qualitative comparison of the proposed method and other methods on real datasets

4 結語

本文提出了一種端到端的增強型CGAN 進行單幅圖像去霧，其中，在生成器端采用了SOS增強解碼器以及DFF模塊進行特征融合，同時引進了MS-SSIM 損失函數與標準的CGAN去霧損失函數相結合，進行對抗訓練，從有霧圖像中直接生成無霧圖像。分別在合成數據集和真實數據集上進行對比實驗，實驗結果表明，本文模型相比幾種最先進的方法，在評價指標PSNR 和SSIM 上都取得了更優的數據結果，且真實數據集上的視覺表現更好。在未來，這項工作可以擴展到其他計算機視覺任務中，如圖像去雨、圖像增強等。