基于多尺度卷積網絡的快速圖像去霧算法

寇大磊，錢 敏 ，權冀川，劉佳洛，張仲偉，4

1.陸軍工程大學 指揮控制工程學院，南京 210007

2.中國人民解放軍68023部隊

3.上海警備區 數據信息室，上海 200040

4.中國人民解放軍73671部隊

1 引言

霧或霧霾是由空氣中的懸浮粒子（水汽、灰塵和煙霧）吸收物體本身的反射光，并散射大氣光而產生的一種常見大氣現象。霧天或霧霾天對拍攝圖像的主要影響是圖像顏色偏灰白、對比度下降，物體特征難以辨別。如圖1 所示，在霧或霧霾的影響下，采集的圖像不僅視覺效果差，還會對很多高級計算機視覺任務（圖像分類、目標檢測和無人駕駛等）造成嚴重的干擾。因此，研究圖像去霧技術可以改善圖像質量，提升高級計算機視覺任務的性能。

圖1 真實霧圖示例

目前圖像去霧技術可分為基于圖像增強的去霧算法和基于大氣散射模型的去霧算法兩類[1]。

基于圖像增強的去霧算法主要通過去除圖像的噪聲、提高圖像的對比度等圖像增強技術，恢復出無霧清晰圖像。代表性的圖像增強去霧算法有直方圖均衡化（Histogram Equalization，HE）、Retinex 算法、小波變換、同態濾波等。但嚴格地說，基于圖像增強的去霧算法并不是通過霧氣的形成原理來去除霧對圖像的影響，而是通過常規的圖像增強技術，增強圖像的對比度、清晰度等以提升圖像的視覺效果和后期對圖像處理和分析的效果，是圖像去霧領域早期常用的去霧方法[1]。

近年來，以大氣散射模型[2-3]作為先驗知識，通過逆向求解進行單幅圖像去霧的技術取得了重大突破。如Fattal[4]通過估計透射率實現去霧。He 等[5]在大量統計的基礎上，提出了基于暗原色先驗（Dark Channel Prior，DCP）理論的去霧方法。Meng等[6]將去霧問題作為一個基于邊界對比度和正則化的優化問題。由于僅從單張圖像進行參數估計誤差較大，一些學者開始將卷積網絡引入圖像去霧領域并取得了一定的效果。如Cai等[7]提出的DehazeNet 通過卷積網絡從霧天圖像中預測介質傳輸圖。Ren 等[8]提出的MSCNN 通過多尺度卷積神經網絡生成了粗略的場景透射率。隨后多尺度卷積被廣泛應用于圖像去霧領域。文獻[9]通過將原始有霧圖像與三個不同尺度的卷積核進行卷積，經過一系列特征學習后得到粗略的透射率圖。文獻[10]提出的MSDN 通過兩個端到端的多尺度全卷積神經網絡然后將淺層特征和深層特征進行跳躍連接融合，實現圖像去霧。但目前的去霧算法在實際應用中仍然面臨很多問題。

2 面臨的問題

2.1 使用場景有限

在實際圖像采集時，受光照強度、采集距離、場景色彩度等因素作用，圖像中霧的影響不盡相同。

圖2為4種經典去霧算法對4種不同類型圖像的去霧效果：圖（a）為淡霧圖，圖像色彩鮮艷，圖中物體細節清晰；大部分去霧算法可得到很好的去霧效果。圖（b）為光線偏暗的霧圖，圖像整體亮度偏低；經去霧算法處理后，會產生圖像亮度變低、部分細節丟失等副作用。圖（c）為濃霧圖，霧氣濃度大，能見度極低；對于該類霧圖，目前所有的去霧算法的去霧效果都不理想，會產生圖像亮度變低、部分細節丟失等副作用。通過上述對比可以發現，基于大氣散射模型在處理色彩較為鮮艷的圖像時，效果較好，而對圖像整體偏暗或部分偏暗時，去霧后會更暗，會影響圖像的質量，由于霧、霧霾會影響光照強度，因此在很多真實的霧圖都會出現局部光線偏暗的問題。

圖2 不同類型霧圖示例

在實際應用環境中，如果無霧圖像存在光線偏暗的問題，去霧算法處理后會有副作用。而在一些使用場景中同時存在無霧和有霧圖像，必須提前對有霧圖像和無霧圖像進行判定，但由于有霧圖像和無霧圖像并沒有一個明顯的分界，目前沒有十分有效的分類方法，因此在對圖像批量去霧時，就需要人工判斷是否需要去霧。

同時由于基于卷積網絡的算法，對訓練數據集有很大的依賴性，而目前常用的訓練集Middlebury Stereo Dataset、RESIDE 數據集等都是以室內或室外無霧圖像為基礎合成有霧圖像。合成霧圖只能反映部分場景下真正霧圖的部分特性，這也在一定程度限制了基于深度學習去霧算法的應用場景。

2.2 算法速度慢

目前學術界對去霧算法性能的驗證大都是建立在TitanX、2080ti等強大的獨立顯卡基礎上，因此大部分去霧算法可以實現實時去霧。但實際的應用場景，例如無人機、移動終端、視頻監控等嵌入式設備，通常不具備這樣的條件；同時，圖像去霧常被稱為低級視覺任務，在實際應用中通常作為高級視覺任務的預處理步驟[11]。其提升高級視覺任務效果的同時，算法處理時間和計算量也將附加到后續的高級視覺任務中。如文獻[9]、文獻[10]、文獻[12]等采用復雜的多尺度卷積網絡的去霧算法在結合了高級計算機視覺任務后，會影響整體任務的實時性。

圖3 算法結構圖

目前也出現了例如文獻[13-16]等快速去霧算法，但去霧效果有一定的下降。因此對算法計算量的壓縮和處理速度的提升的研究也是很有必要的。

2.3 效果評判難

去霧效果評判常采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、結構相似度（Structural Similarity Index，SSIM）等需要參考清晰圖像的指標或主觀的視覺效果對比兩種方式。主觀評判沒有固定標準，評判的誤差較大。PSNR、SSIM等指標需要與無霧參考圖像進行對比，只能用于合成霧圖去霧效果的評判。而真實有霧圖與合成霧圖存在很大區別。因此，未來還需提出更直觀、更有說服力的評判方法。去霧技術作為高級視覺任務的輔助技術，將其與圖像分類、目標檢測、圖像分割等高級任務相結合，通過其對高級視覺任務的提升效果進行評判更貼近實際、更有說服力。

針對以上問題，本文提出一種基于多尺度卷積網絡的快速圖像去霧方法。

3 基于多尺度卷積網絡的快速圖像去霧算法

算法結構由去霧模塊和修復模塊組成，如圖3 所示。去霧模塊通過卷積網絡和變形后的大氣散射模型從輸入圖像中得到去霧圖像。修復模塊通過對比度受限自適應直方圖均衡（CLAHE）[17]技術對去霧模塊得到的圖像進行修復，消除去霧模塊對圖像造成的負作用，還原出符合人類正常視覺效果的清晰圖像，提升算法的魯棒性。

3.1 去霧模塊

近兩年，在去雨、去噪、去模糊等研究方向出現了很多端到端的模型，甚至有學者通過卷積網絡直接實現端到端的圖像去霧。雖然也取得了不錯的去霧效果，但是由于放棄了基于物理模型的去霧思路，完全依賴神經網絡進行處理，導致算法擬合較慢，對訓練集的依賴程度較大，泛化能力較差。因此，本文提出的去霧算法還是以大氣散射模型為基礎，借鑒了AOD-Net[14]的思想，通過變形后的大氣散射模型實現去霧處理。

3.1.1 大氣散射模型及變形公式

目前的計算機視覺領域，常通過改進后的大氣散射模型來描述霧天圖像的形成過程。該模型被廣泛用于圖像和視頻去霧技術研究，其空間模型如圖4所示。

圖4 大氣散射模型示意圖

用公式可表達為：

其中，I(X)為有霧圖像，J(X)為清晰圖像。兩個關鍵參數：t(x)為介質傳輸圖，A為大氣光值。介質傳輸圖是光線經大氣媒介傳播到達相機的過程中沒有被散射的部分，它能反映圖像中目標場景的遠近層次。可以定義為：

公式（1）等號右邊第一項為光線直接衰減值，是場景反射光通過空氣中介質傳播后衰減后的值；第二項為大氣光照，大氣光照是全局大氣光經空氣中介質散射后進入到相機的光線。

目前大部分去霧方法通過復雜的卷積網絡從有霧圖像I(X)估計介質傳輸圖t(x)；再通過人工經驗估計A值；最后利用公式（1）估計清晰圖像J(X)。這種分步驟估計t(x)和A值的方式，在估計t(x)和A值時均會產生誤差，這會導致最終結果中誤差疊加甚至變大，同時以往通過人工經驗估計A值的方法受主觀因素影響多，這些都將會影響最終的去霧效果。

為此，將公式（1）重新表示為下述形式：

其中：

將t(x) 和A值集成到新變量K(X) 中，K(X) 依賴于I(X)。因此可以通過構建卷積網絡直接學習K(X)，這樣通過卷積神經網絡一步實現K(X)的預測，相比以往的方法不僅能夠減小從而最小化輸出J(X)和I(X)清晰圖像之間的重建誤差，而且將兩步變一步，壓縮了處理流程和計算量，一定程度上提升算法的速度。確保在增加了修復模塊后，算法還能有一個較快的處理速度。

3.1.2 卷積網絡結構

如圖5所示，有霧圖像通過卷積網絡求出K(X)，再利用變形后的大氣散射模型求出清晰圖像I(X)。卷積網絡通過特征提取和特征融合達到準確地估計K(X)的目的。

圖像分類等問題只需要提取圖像關鍵特征，而圖像恢復要求圖像的細節在網絡傳播中不能丟失，過多的下采樣過程會丟失很多的圖像細節[18]。通過實驗對比不同數量卷積核數目和下采樣數目后，發現壓縮后的網絡，去霧模塊處理后的圖像在視覺效果方面整體會更暗。SSIM、PSNR、FSIM等指標有一定下降。但隨后的修復算法可以在一定程度上彌補壓縮網絡結構后帶來的問題。并且網絡層數較淺，能夠加快網絡訓練速度，防止網絡陷入局部最優，同時保證圖像細節信息的有效傳遞。由于本文算法相比其他基于卷積網絡算法增加了修復模塊，算法的計算量也會隨之增加。綜合考慮算法的速度和去霧效果。只采用了1次下采樣，并且每個卷積層僅采用3個卷積核，以確保算法的速度。

為實現快速圖像去霧，在網絡設計時，最大可能地壓縮了去霧模塊中網絡的層數和卷積核的數量。這樣相比MSCNN 等多尺度算法網絡捕捉到信息的能力會有一定下降，但速度得到很大提升。而修復模塊中的對比度受限自適應直方圖均勻化是一種基于圖像增強的去霧算法，在對去霧模塊輸出的圖像進行修復的同時，會對圖像進行二次去霧，進一步提升模型的去霧效果。

有霧圖像作為卷積網絡的輸入，首先通過2 層卷積，對霧圖進行特征提取，第1 層為步長為1 的3 個3×3的卷積核。3×3 的卷積核是目前特征提取性能最好的卷積核。第2層為步長為3的3個3×3的卷積核。在卷積過程中，當步長s和濾波器尺寸k相等時，卷積將輸入圖像縮小k倍。因此第2 層卷積對特征圖的尺寸進行了壓縮，降低了去霧計算復雜度，提升了算法的速度，同時可以提升后續卷積核的感受野。激活函數采用參數修正線性單元（PReLU），在ReLU 的基礎上增加了極少量的參數可以加快網絡的收斂速度。

由于有霧圖像恢復通常依賴于短尺度和長尺度的紋理信息，使用不同尺度的濾波器能更好地提取圖像的特征，提高捕獲圖像內部信息的魯棒性和有效性[19]。如表1所示，在網絡結構的第3層采用多尺度卷積，提取多尺度規模結構信息，通過1×1、3×3、5×5、7×7這4種大小的卷積核進行特征提取。

表1 多尺度卷積參數

4種卷積核是平行的，每個輸出3張特征圖，然后進行concat拼接，得到12張特征圖。

圖5 卷積網絡結構圖

反卷積層可以增加圖像的空間維度，實現重建，相當于上采樣。第4層通過3個3×3的反卷積核恢復特征圖的尺寸，實現重建。淺層網絡恢復出的圖像較為粗糙，缺少高頻細節；深度網絡可以更精確地恢復高頻細節，但算法不容易收斂；因此第5層將第1層的特征圖與第4 層的反卷積后的特征圖進行concat 拼接，可以在刪除特征圖中偽像素的同時減少細節信息的損失。通過3 個3×3 的卷積核進行卷積，得到K(X)。最后通過公式（2）得到去霧后的清晰圖像。

3.2 修復模塊

為消除算法對部分無霧圖像、偏暗圖像的副作用，進一步提升算法的魯棒性。修復模塊利用基于圖像增強的去霧算法的特點，有針對性地對去霧后的圖像進行修復。由于去霧后圖像的副作用主要是圖像偏暗。因此在修復模塊需要能提升去霧模塊輸出的圖像的亮度、對比度，盡可能地消除去霧模塊對部分圖像產生的副作用，同時圖像增強算法也有一定的去霧效果，能彌補壓縮多尺度卷積網絡帶來的去霧效果下降的問題[20]。

提升圖像對比度和亮度常用的圖像增強方法有Retinex、HE兩種。目前采用較多的有Retinex算法還有單尺度 Retinex（Single Scale Retinex，SSR）和多尺度Retinex（Multiple Scale Retinex，MSR）算法。但該類方法進行圖像增強時，存在參數調整困難且算法復雜度較高的問題。如果采用該類方法將嚴重影響算法的去霧速度[21]。

HE 通過圖像的灰度分布直方圖得到一條映射曲線，用來對圖像進行灰度變換，以達到提高圖像對比度的目的。HE 只能對圖像全局進行調整，不能有針對性地提高局部對比度，會出現過度放大噪聲的問題而且算法復雜度較高，運算量大。在HE的基礎上出現的CLAHE方法相比Retinex、HE 在運算速度有大幅度提高，可以確保在添加了修復模塊后，還能實現快速的圖像去霧。因此在修復模塊采用直方圖均衡化對圖像進行二次處理。

如圖6 所示，CLAHE 方法通過限定局部對比度的強度，剪裁直方圖的值，剪輯超出限制的直方圖部分，將裁剪掉的部分均勻分配到直方圖的其他部分，可以避免噪聲放大的問題。CLAHE算法流程如下：

（1）對圖像進行劃分，分為M×N個不重疊的子區域。

（2）計算所有子區域的灰度直方圖。

其中，Hmax、T、L三者關系為Hmax=L+T,L的取值為：其中，Ng為子區域灰度級數量，N∑陰影為陰影部分總像素數目。

（4）對所有子區域進行直方圖均衡化。

圖6 CLAHE裁剪分配示意圖

CLAHE處理后的圖像，細節更明顯，更符合人眼視覺感受。如圖7所示，雖然經去霧模塊處理后的圖像確實去除了霧的影響，但整體色調偏暗，部分細節不明顯。而經過CLAHE算法處理后，圖像對比度得到了提升。

圖7 CLAHE前后對比圖

4 實驗分析

4.1 實驗方案

（1）數據集

目前基于卷積網絡的去霧算法，常采用室內數據集進行模型訓練。室內圖像沒有天空，顏色一般色彩豐富。而真實的有霧圖像往往在室外。室外圖像大都以天空為背景，色彩、亮度和室內圖像有一定區別。因此，采用RESIDE[22]合成霧圖數據集進行訓練。RESIDE 數據集包含72 135 張合成模糊圖像，是使用2 061 張清晰室外圖像生成，每張清晰圖像合成35 張模糊圖像。設置每個通道大氣光A值在[0.7，1.0]區間，均勻地隨機選擇beta值在[0.6，1.8]區間。

（2）實驗環境

硬件環境為GPU GTX 1080，處理器為Intel?CoreTMi5-8300H CPU@2.30 GHz，內存為8 GB，操作系統為Ubuntu 18.04，深度學習框架為PyTorch，編程語言為Python。

（3）參數設置

使用高斯隨機變量初始化權重值，動量和衰減參數分別設置為0.9和0.000 1，學習率為0.001。采用均方誤差損失函數。利用隨機梯度下降算法和反向傳播算法進行網絡優化，完成網絡算法的訓練與收斂，迭代次數50次。

(4) 微電網運營相對困難。微電網的能量平衡依賴于大電網,若沒有大電網作為支持,其經濟性和可靠性無法保證;同時運行也難以取得規模效應。

（4）去霧效果評判

與下述幾種經典的去霧方法進行比較：暗通道先驗（DCP）[5]、DehazeNet[7]、MSCNN[8]和 AOD-Net[14]、MSDN[10]。后三種為基于多尺度卷積網絡的去霧算法。

4.2 魯棒性驗證

通過對比合成霧圖、真實霧圖（包括淡霧、濃霧、偏暗霧圖）無霧圖像等不同場景的去霧效果。并針對目前常用的幾種去霧效果評判指標說服力不強的問題，將去霧算法與YOLOv3目標檢測算法結合，通過測試對高級計算機視覺任務的輔助效果，對比在輔助高級計算機視覺任務中方面的能力。通過以上方式對算法的魯棒性進行驗證。

4.2.1 合成霧圖像實驗分析

對RESIDE數據集中合成霧圖的去霧效果對比，如圖8所示。與其他去霧算法相比，本文算法得到的去霧圖像、大樓的整體細節更加清晰，樓前物體更加清楚，在視覺效果上明顯優于其他算法，并且與原無霧圖像非常接近。但對天空的處理效果相比其他幾種算法要差一些，這也是本文后續研究中的主要改進方向。

圖8 合成霧圖像去霧效果對比

為客觀對比各算法的去霧效果，本文選取了SSIM、PSNR、FSIM 三種常用的圖像質量評價指標進行分析，其中指標數越高表示算法越好，如表2所示。

表2 不同算法去霧后指標評價

由表2 可知，與 DCP、DehazeNet、AOD-Net 相比在客觀數據上更加優異，同樣采用多尺度去霧的方法的MSCNN、MSDN 三種指標比較相近。由于這三種指標是需要無霧參考圖像進行對比，只能用于合成霧圖去霧效果的比較。因此這三類指標只能反映算法對合成霧圖的去霧效果。而真實有霧圖與合成霧圖是存在一定區別的。因此只通過這三種指標評判算法說服力有限。下文會從多個方面對幾種算法進行更全面的對比，以驗證本文算法在速度方面和對真實霧圖去霧效果等方面的優勢。

4.2.2 自然霧圖像實驗分析

由于霧區和霧濃度不是均勻分布的，自然霧圖像的去霧難度往往比合成霧圖更大。為驗證本文算法對自然霧圖的去霧效果，分別對濃霧、淡霧、低照度等幾種不同類型的霧圖進行了去霧效果對比實驗。

圖9中的霧圖，霧濃度小，圖像色彩鮮艷，這類霧圖去霧難度小，從去霧效果可以看出，基于深度學習的去霧算法整體去霧效果要好于傳統算法，而本文算法對圖像下方樹木的細節恢復得更加清晰。圖10 中的霧圖，霧濃度較大，去霧效果都不明顯；相對于其他算法，本文算法處理后的圖像中的大樓更清晰一些。圖11中的霧圖，受霧影響的同時，圖像整體亮度偏暗。從處理效果來看，其他幾種算法處理后的圖像中原本偏暗的地方更暗了，而本文算法處理后的圖像細節清晰，更符合人眼的視覺效果。

圖9 淡霧圖去霧效果對比

圖10 濃霧圖去霧效果對比

圖11 偏暗霧圖去霧效果對比

4.2.3 無霧圖像實驗分析

圖12 中的圖像為無霧圖像，且圖像整體色調偏灰白，從去霧效果可以看出，其他去霧算法處理后，圖像對比度有所增強，但整體色調偏黑，影響視覺效果。本文算法處理后，圖像對比度增強的同時，圖像的整體視覺效果更好了。

圖12 無霧圖去霧效果對比

4.2.4 對目標檢測任務的提升效果分析

通過與經典的目標檢測算法YOLOv3[23]相結合，進行測試實驗，觀察對比目標檢測的綜合效果。針對濃霧、淡霧、遠景霧圖3 種類型，對比了相關算法對YOLOv3檢測的提升效果。

從圖13～圖15 的檢測效果來看，對于濃霧圖像，對圖中每個個體的檢測概率值已經明確標出，相比于DCP和AOD-Net，本文算法檢測的概率值更大。對于淡霧圖，在原始霧圖中，綠色箭頭指向的地方有兩個車輛目標，經DCP、AOD-Net處理后，遠方的更小車輛目標沒有被檢測出來。但本文算法能夠檢測出兩個車輛目標，說明本文算法對原圖的細節保留得更好。對于遠景霧圖，從檢測出的車輛目標的數量可以看出，本文算法對圖像細節的修復效果更好。綜上，本文算法適用的去霧場景更多，能更好地滿足實際去霧要求。

圖13 濃霧圖目標檢測效果對比

圖15 遠景霧圖目標檢測效果對比

圖14 淡霧圖目標檢測效果對比

4.3 實時性驗證

在同一臺計算機上對RESIDE 數據集中選取的50張大小為480×640的霧圖進行去霧處理，統計平均處理時間，如表3所示。早期的經典去霧算法通過Matlab實現，DehazeNet（Pytorch 版本）、AOD-Net 和本文算法都是基于pytorch 框架的。結果表明，例如，比DehazeNet（Matlab 版本）、MSCNN、MSDN 算法快 1 倍以上，比DehazeNet（Pytorch版本）、FVP算法快6～7倍，比DCP算法快10倍以上。AOD-Net也是一個快速的圖像去霧算法，本文的算法要比AOD-Net算法慢一些，但本文在魯棒性方面要好于AOD-Net。

表3 算法時間對比表

5 結語

針對目前大多數去霧算法去霧魯棒性差、處理速度慢等問題，本文提出一種基于多尺度卷積網絡的快速圖像去霧算法，選取常用的客觀標準和主觀標準與經典去霧算法進行了對比。實驗結果證實基于多尺度卷積網絡的快速圖像去霧算法在魯棒性、處理速度上具有一定的優勢。此外，與YOLOv3 算法的結合測試，也驗證了本文算法在實際應用中的有效性。