融合估計與評估網絡的去霧算法研究

蔡夢姚，王鵬，李曉艷，吳嬌，呂志剛

摘? 要： 針對由于霧霾天氣影響造成拍攝的圖像出現模糊不清、低對比度和色彩暗淡等問題，提出一種融合估計與評估網絡的去霧算法。根據大氣退化模型將霧霾圖像輸入到兩個聯合且獨立的估計網絡模型中，分別得到透射圖與大氣光圖的估計值;將估計得到的透射圖與大氣光值輸入到霧圖成像公式中，得到去霧圖像;通過生成式對抗GAN網絡中的鑒別器來聯合鑒別，生成更好的透射圖與大氣光值;最后，通過霧圖成像公式反演恢復出清晰的無霧圖像。實驗結果表明，該算法去霧后的圖像變得清晰，對比度得到提高，且圖像質量評價指標峰值信噪比和結構相似性指數分別達到了22.14dB，75.3%。

關鍵詞： 低對比度; 估計與評估網絡; 大氣退化模型; 透射率; 大氣光值; 生成式對抗網絡

中圖分類號：TP751? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-22-06

Research on de-haze algorithm with estimation and evaluation network fuse

Cai Mengyao， Wang Peng， Li Xiaoyan， Wu Jiao， Lv Zhigang

（School of Electronics and Information Engineering， Xi'an Technological University， Xi'an， Shaanxi 710021， China）

Abstract： Aiming at the problems of blurred images， low contrast and dim color caused by haze weather， a de-haze algorithm with estimation and evaluation network fuse is proposed. According to the atmospheric degradation model， the hazing image is input into two joint and independent estimation network models to obtain the estimated values of transmission image and atmospheric light image respectively; the estimated transmission image and atmospheric light value are input into the hazing image formula to get the de-haze image; the discriminator in GAN network is used to generate better transmission image and atmospheric light image; Finally， a clear haze free image is recovered by inversion of haze imaging formula. The experiment results show that the image becomes clearer， its contrast is improved and the PSNR and structure similarity index of image quality evaluation index are up to 22.14db and 75.3% respectively.

Key words： low contrast; estimation and evaluation network; atmospheric degradation model; transmission map; atmospheric light value; GAN

0 引言

霧天拍攝的室外圖像質量嚴重下降，很大程度上限制了圖像的使用價值。為了降低霧霾環境對圖像質量的影響，增加圖像的可視性，必須對原始霧霾圖像進行去霧處理[1]。

目前提出了一些基于圖像復原的去霧方法[2]，例如，Tan等人的最大對比度方法假設獲得的大氣信息比場景深度更準確，可以比較容易地進行霧圖的恢復，但在實際條件下，先驗知識并不是在任何條件下都滿足，這使得霧圖的恢復由于缺乏已知信息而具有很大的不確定性;Li等人提出直接端到端去霧網絡模型，通過未知變量K（x）將透射圖t（x）與大氣光值A（x）統一，基于K（x）能夠完成對清晰圖像的恢復，但該類方法并沒有進行透射圖t（x）和大氣光值A（x）的單獨估計，估計參數使得誤差相互放大，從而影響最終的去霧效果;Cai[3]等人提出一種名為DehazeNet的間接端到端去霧網絡系統，該端到端系統對原始圖像與傳輸圖之間的映射關系進行直接學習和估計，通過其深層架構的特殊性設計來實現去霧，該算法數據集由室內場景圖片進行人工加霧處理形成，這與自然霧場景下所拍攝的原始霧圖存在一定誤差，所以該算法在自然場景中的應用效果不佳。

為了解決以上存在的問題，本文提出了一種稱為融合估計與評估網絡（Estimation and evaluation of demisting network，EAEDN）的圖像去霧算法。主要貢獻如下。

⑴ 提出了一種端到端聯合優化去霧網絡。不依賴于大氣散射模型，避免了由于缺乏先驗知識而導致去霧效果不好的問題。

⑵ 提出了聯合且獨立的估計網絡框架。利用粗估計與細優化網絡進行透射圖t（x）的估計，同時利用卷積-反卷積網絡精確估計大氣光值A（x）。

⑶ 采用對稱的GAN鑒別評估網絡模型聯合判別透射圖t（x）、大氣光值A（x）與去霧后的圖像是否為最優估計，從而得到效果更好的去霧后的圖像。

1 融合估計與評估網絡的端到端去霧算法

1.1 融合估計與評估的端到端去霧算法模型

本文提出了一種有效的端到端的融合估計與評估網絡的去霧算法，整體算法模型如圖1所示。

第一階段，將霧霾圖像輸入到兩個聯合且獨立的網絡估計模型中。利用粗估計-細優化網絡進行透射圖t（x）的估計;同時利用卷積-反卷積網絡進行大氣光值A（x）的估計。

第二階段，將在網絡訓練階段獲得的透射圖t（x）和大氣光值A（x）代入霧圖成像模型中，結合深度學習框架提供的數學運算模塊進行反演，從而恢復去霧后的圖像。

第三階段，利用對稱的GAN鑒別評估網絡模型來聯合鑒別生成更好的透射圖t（x）與大氣光值A（x），從而得到效果更好的去霧后的圖像。

1.2 去霧參數估計網絡模型

McCartney[4]等人在霧散射原理的基礎上提出了大氣散射模型，該模型認為到達圖像采集設備的光線由兩部分組成。一部分是由于大氣中懸浮微粒的散射作用使得一部分反射光線受到衰減，剩余的部分光線進入成像設備;另一部分是由于場景中的其他光線在大氣粒子的散射作用下被成像設備接收并附加在目標圖像上。一般情況下，最終進入成像設備的光線由這兩部分疊加而成。因此，霧天條件下成像模型的表達式如下所示：

[I（x）=J（x）t（x）+A（1-t（x））]? ⑴

其中x表示圖像中任意像素的位置，I（x）表示成像設備采集的霧天圖像;J（x）表示去霧后的圖像;t（x）表示透射圖;A（x）代表大氣光值;J（x）t（x）對應入射光的衰減模型，A（1-t（x））對應混合大氣光圖模型。

從式⑴可以看出，去霧過程中有兩個重要參數的估計：①透射圖t（x）準確估計;②大氣光值A（x）準確估計，一旦估計得到透射圖和大氣光值，代入式⑵從而生成去霧后的圖像。

[J（x）=I（x）-A（x）（1-t（x）t（x）]? ⑵

⑴ 透射圖估計網絡

圖2所示為用于估計透射圖的端到端回歸網絡，該網絡由粗估計和細優化網絡兩部分組成。粗估計網絡和細優化網絡結構相似，以粗估計網絡為例說明，粗估計網絡主要由：卷積層、池化層、上采樣層、線性合并層組成，其中上采樣層主要作用是讓輸出的透射圖和輸入的霧圖尺寸一致。

上采樣層的計算公式為：

[nl+1（2x-1：2x，2y-1：2y）=nl（x，y）]? ⑶

其中[l]表示層的序號，[（x，y）]表示圖像的二維空間坐標。

為了滿足尺度一致性，將粗估計網絡的輸出與細優化網絡第二個卷積層的輸入相結合。粗估計網絡的底層和中間層通過最大池化層來連接圖像的不同部分，使網絡能夠整合對全局場景的理解來預測網絡深度，在獲得全局深度圖后，利用細優化網絡進行局部改進。

⑵ 大氣光值估計網絡

在大氣光值估計網絡中，對于給定的圖像，預測的大氣光值A（x）是均勻的，即其中每個像素A（z）具有相同的值（例如，A（z）=c，c為常數）。大氣光值A（x）具有與輸入圖像相同的特征尺寸，為了估算大氣光值，采用如圖3所示的卷積-反卷積網絡結構。

1.3 GAN鑒別評估網絡模型

從式⑵可以看出，透射圖t（x）、大氣光值A（x）與去霧后的圖像[J]密切相關。因此，令[Gt]和[Gd]分別表示生成的透射圖和去霧后的圖像，為了優化輸出并確保估計的透射圖和去霧后的圖像分別與它們對應的地面真相t和實際去霧后的圖像[J]為最優估計，使用GAN網絡中的鑒別器進行評估;對于給定的圖像，預測的大氣光線A是均勻的，同樣進行判別優化。

將在估計階段獲取的透射圖t（x）、大氣光值A（x）輸入到GAN網絡的生成器中，一個新的數據分布G（x）被映射到生成器的多層感知器中。將處理后的圖像以G（x）形式輸入到判別器中，對輸入的兩個數據分別進行判斷。如果判別的輸出與先驗假設方向一致，即真實數據的概率值接近1，生成數據值的概率接近0，此時對透射圖和大氣光圖進行重新估計，再次代入到式⑵中進行反演，得到去霧后的圖像。通過該評估方法優化估計網絡的網絡模型，獲得效果較好的去霧后的圖像。

2 實驗與分析

2.1 實驗數據集介紹

實驗數據采用包含室內帶霧圖片集（ITS）和室外帶霧圖片集（OTS）的RESIDE數據集和根據經典大氣光散射模型公式，設置不同的大氣光強度后得到的人工合成帶霧圖像的NYU2數據集[5]。選取室內、外混合圖片集（HSTS）中10張人工合成霧圖像和10張真實生活圖像作為測試集。在實驗中，將兩部分數據集對應的訓練集和測試集分別集合在一起，總訓練集數據近38390張，訓練集占70%，測試集30%，部分數據集圖片如圖4所示。

2.2 實驗設置

本文算法采用Ubuntu 16.04操作系統和深度學習框架Pytorch，實現了集估計階段、模型計算以及鑒別評估于一體的霧圖恢復算法。CPU （Central Processing Unit）為Intel（R） Core（TM） i5-8600，主頻3.10GHz;內存：16G;GPU（Graphics Processing Unit）：NVIDIA GTX 1080Ti。

2.3 實驗分析

2.3.1 定量分析

為了驗證本文算法的有效性和優越性，我們的實驗對比了直方圖均衡化去霧算法（HE）[6]、單尺度同態濾波去霧算法（SHF）[7]、多尺度同態濾波去霧算法（MHF）[8]、卷積神經網絡去霧算法（CNN）[9]、AOD-Net去霧算法（AOD）[10]以及本文算法（EAEDN）等多種算法在測試集上的去霧效果。其中包括平均PSNR值、平均SSIM值等圖像質量評價指標，如表1所示;處理單張圖片的耗時結果如表2所示。

PSNR的計算定義為給定一個m×n的干凈圖像I和噪聲圖像K，其均方誤差（MSE）定義為：

[MSE=1mni=0m-1j=0n-1[I（i，j）-K（i，j）]2]? ⑷

則PSNR（dB）定義為：

PSNR=10?[log10（MAX2IMSE）]? ⑸

像素i的SSIM值由定義計算得出：

[SSIM（i）=2μxμy+C1μ2x+μ2y+C1?2δxy+C2δ2x+δ2y+C2]? ⑹

SSIM值在（0，1）范圍內，當兩個圖像完全相同時，SSIM=1。因此，使用[1-SSIM（i）]來計算像素的損失，SSIM損失函數定義如下：

[lssim=1Ni∈I1-SSIM（i）]? ⑺

表1的對比數據說明了本文所提EAEDN去霧模型的平均PSNR、SSIM指標相對其他算法都取得了更好的表現。這是因為，一方面EAEDN網絡在透射圖t（x）與大氣光值A（x）估計階段分別采用了不同的網絡模型進行圖像去霧特征的提取，這使得EAEDN模型能夠學習到相對更好的圖像去霧特征;另外一方面與GAN鑒別評估網絡存在密切關系。表2中記錄了是否利用GPU處理分辨率1024×768圖片的耗時對比。結果表明，在利用GPU處理的情況下，EAEDN網絡模型相比于其他算法可以更快速有效地處理帶霧圖片。

2.3.2 定性分析

圖5包括了室內和室外場景下的去霧效果對比圖。從圖像細節來看，前四幅圖像是對真實生活中拍攝的帶霧圖片進行去霧處理并做出相應比對;后四幅圖像是將清晰圖像通過大氣散射模型加霧后進行處理的效果對比。可以觀察到，即使先前的方法能夠消除輸入圖像中的霧，但它們傾向于使圖像過度模糊或模糊不足，從而使結果變暗或模糊。

對比結果表明，EAEDN對于諸如包含天空白云、霧霾集中區域去霧效果較好。從視覺感官上來看，經過EAEDN模型去霧后，圖像在清晰度、亮度、色彩飽和度及圖像對比度上都有了更高的優越性。無論是從客觀角度分析還是主觀對比層次，從最終的結果可以看出，本文所采用的EAEDN模型保留了更清晰的輪廓，同時減少了顏色失真，并且在視覺上更接近于真實環境，本文所提去霧算法能夠實現更好的去霧效果，并具有視覺吸引力。

3 結束語

本文針對霧霾天氣下圖像去霧問題，運用深度學習方法，提出融合估計與評估網絡的去霧算法。通過神經網絡進行特征提取，獲得參數估值，結合霧圖成像模型進行反演從而實現端到端網絡的圖像去霧，智能化實現霧霾圖像增強技術，并運用對稱的GAN網絡鑒別器進行博弈鑒別去霧后的圖像是否為最優估計。仿真結果表明，該算法在定量、定性的評價指標上均優于傳統算法。后期可以通過優化網絡模型，減少網絡參數實現輕量化網絡，以便于在嵌入式終端進行移植實現。

參考文獻（References）：

[1] 宋佳怡，謝維信，王鑫.融合暗通道濾波和空間金字塔的圖像去霧算法[J].信號處理，2019（5）：816-824

[2] 溫立民，巨永鋒，王會峰，等.基于雙邊濾波暗原色透射率細化的圖像去霧算法[J].測控技術，2020，338（4）：67-70

[3] Cai B， Xu X， Jia K， et al. DehazeNet： An End-to-End System for Single Image Haze Removal[J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198

[4] Zhu H， Xi P， Chandrasekhar V， et al. DehazeGAN： When Image Dehazing Meets Differential Programming[C]// Twenty-Seventh International Joint Conference on Artificial Intelligence IJCAI-18，2018

[5] 賀薪宇，王橙橙，魏強，等.一種基于暗原色先驗模型的混合濾波圖像去霧算法[J].北華大學學報，2020（4）

[6] 李慶玄，王麗豐，靳濟方.基于巴特沃斯低通濾波的直方圖均衡化去霧算法[J].北京電子科技學院學報，2019，3：7

[7] 郭瑞，黨建武，沈瑜，等.改進的單尺度Retinex圖像去霧算法[J].蘭州交通大學學報，2018，37（6）：75-81

[8] 肖勝筆，李燕.具有顏色保真性的快速多尺度Retinex去霧算法[J].計算機工程與應用，2015，51（6）：176-180

[9] 徐巖，孫美雙.基于多特征融合的卷積神經網絡圖像去霧算法[J].激光與光電子學進展，2018，55（3）：254-263

[10] 陳瓊紅，冀杰，種一帆，等.基于AOD-Net和SSD的霧天車輛和行人檢測[J].重慶理工大學學報：自然科學，2021，35（5）：10