一種基于深度學習的兩階段圖像去霧網(wǎng)絡

吳嘉煒 余兆釵* 李佐勇* 劉維娜 張祖昌

1(閩江學院計算機與控制工程學院 福建 福州 350121)2(福建省信息處理與智能控制重點實驗室(閩江學院) 福建 福州 350121)3(福建信息職業(yè)技術學院計算機工程系 福建 福州 350003)

0 引 言

大氣中存在渾濁的介質(zhì)(如霧霾、灰塵等顆粒)，這些渾濁介質(zhì)會導致拍攝的圖像出現(xiàn)明顯的質(zhì)量下降，如對比度和飽和度損失等，造成圖像偏灰白，從而難以辨別圖像中的物體。許多計算機視覺任務(如交通監(jiān)控知[1]、自動駕駛[2]等)，最初設計時假定捕獲環(huán)境是干凈的，如果將這些退化的圖像作為輸入，很容易出現(xiàn)性能急劇下降的問題。圖像去霧技術可以作為上述視覺系統(tǒng)的預處理步驟，具有重要的實際意義。

目前，圖像去霧方法可以大致被分為兩類:第一種是基于先驗知識的傳統(tǒng)圖像去霧方法；另一種是基于深度學習的現(xiàn)代圖像去霧方法。近年來，這兩種方法均取得了較大的進展。大氣散射模型由McCartney首次提出，并由Narasimhan和McCartney進行了詳細的推導與描述[3-4]。最終，大氣散射模型可以被描述為：

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=eθD(x)

(2)

式中：I(x)代表采集有霧圖像；J(x)代表求得的無霧圖像；t(x)代表透射率；A是大氣光值；θ代表大氣散射系數(shù)；D(x)表示景物深度。

由式(1)可以看出，估算出透射率t(x)和大氣光值A之后，可以從有霧圖像反推出無霧圖像。因此大多數(shù)傳統(tǒng)的圖像去霧算法致力于準確地估算透射率t(x)和大氣光值A。其中最具有代表性的是He等[5]提出的暗通道先驗去霧算法(DCP)和Zhu等[7]提出的顏色衰減先驗去霧算法(CAP)。He等[5]通過暗通道先驗的方法估計出透射率圖和大氣光值，然后根據(jù)大氣散射模型反演出無霧圖像，但是由于其暗通道先驗方法自身的問題，導致去霧后的圖像整體亮度變暗[6]。Zhu等[7]提出了一個可訓練的顏色衰減先驗模型，用來對有霧圖像的場景深度進行建模，然后在監(jiān)督學習的模式下對模型中的參數(shù)進行訓練，得到景深圖，最后用大氣模型進行無霧圖像的恢復。雖然上述基于手工特征的方法取得了很大的進步，但仍然受到各種先驗或依賴的約束，通用性不能得到保證。

最近幾年，深度學習理論在計算機視覺領域的研究取得了重大進展，一些學者結合深度學習理論和先驗知識提出了圖像去霧的新方法，獲得了較好的效果。如Cai等[8]將傳統(tǒng)的圖像去霧算法和深度學習的方法建立了聯(lián)系，通過深度學習的方法估算出有霧圖像的透射率t，一定程度上解決了傳統(tǒng)圖像去霧方法中普適性差的這一問題。Ren等[9]提出多尺度深度去霧網(wǎng)絡(MSCNN)直接學習并估計透射率與有霧圖像的關系，解決了人工特征的缺陷，進一步改進了基于物理模型的去霧方法，但是求解物理模型的過程導致是次優(yōu)解方案，不能直接最小化圖像重建誤差，模型參數(shù)的單獨估計會導致誤差累計甚至放大。這兩種方法雖然在一定程度上彌補了傳統(tǒng)的圖像去霧方法的缺陷，但本質(zhì)上還是基于大氣散射模型的圖像去霧算法。因此，基于大氣散射模型的圖像去霧算法存在的缺陷也存在于這兩種方法中。

最近，Li等[10]對大氣散射模型進行優(yōu)化，將大氣散射模型參數(shù)統(tǒng)一為一個公式，直接最小化圖像重建誤差，提出一種端到端的非線性去霧模型(AOD-Net)回歸有霧圖像和無霧圖像之間的關系，這種方法協(xié)同估計去霧模型參數(shù)，直接獲得有霧圖像和無霧圖像的非線性關系，避免了單獨估計參數(shù)導致誤差累計甚至放大。但是由于有霧圖像和無霧圖像間非線性關系比較復雜，模型受到速度和空間的約束，所以去霧效果受到一定限制。近期，Liu等[11]擺脫了先驗約束，提出一種端到端的全卷積神經(jīng)網(wǎng)絡模型(GMAN)，利用編碼器-解碼器結構直接將有霧圖像恢復成無霧圖像，去霧效果較好，但由于模型中未考慮圖像細節(jié)恢復處理，恢復出的無霧圖像細節(jié)不夠完整。Zhu等[12]創(chuàng)新性地探究圖像去霧、生成式對抗網(wǎng)絡和可微設計的聯(lián)系，提出了DehazeGAN，獲得了很好的去霧效果，也為圖像去霧領域提供了另一種思路。

在上述網(wǎng)絡的優(yōu)缺點啟發(fā)下，基于深度學習理論，提出一種端到端的兩階段去霧網(wǎng)絡。第一階段用編碼器-解碼器結構學習低分辨率霧霾殘留圖，第二階段通過超分辨率重建恢復原始分辨率霧霾殘留圖，最后預測出無霧圖像。提出的網(wǎng)絡通過學習低分辨率霧霾殘留圖能降低網(wǎng)絡學習非線性關系難度，且通過超分辨率重建有助于恢復原始分辨率霧霾殘留圖像細節(jié)。本文提出的兩階段去霧網(wǎng)絡沒有先驗條件的約束，創(chuàng)新性地將超分辨率重建任務融合進圖像去霧任務，能夠端到端地預測具有完整細節(jié)的霧霾殘留圖像從而恢復具有完整細節(jié)的無霧圖像，且速度較快，有良好的去霧效果。

1 算法設計

圖像去霧屬于圖像處理領域中重要的任務，對圖像原始信息的保留要求很高，為了更好地保留原始信息恢復清晰圖像細節(jié)，提出了端到端的二階段去霧網(wǎng)絡。首先對訓練數(shù)據(jù)進行預處理，用鏡像操作保留圖像更多邊界原始信息，再將預處理后的數(shù)據(jù)送進提出的去霧網(wǎng)絡預測出霧霾殘留圖像從而恢復出無霧圖像。端到端兩階段去霧網(wǎng)絡的學習目標為有霧圖像的霧霾殘留圖，第一階段用編碼器-解碼器結構學習低分辨率霧霾殘留圖，第二階段將任務遷移至超分辨率重建任務，用亞像素卷積和殘差結構恢復原始分辨率霧霾殘留圖，最后直接輸出無霧圖像。

1.1 數(shù)據(jù)預處理

圖像去霧作為視覺領域中低等級的任務，對圖像高層語義信息的依賴程度較小，但是對圖像原始信息完整性要求很高，更完整的圖像原始信息有助于卷積神經(jīng)網(wǎng)絡更好地恢復出無霧圖像的細節(jié)。因此，我們采用鏡像操作對稱復制圖像上下邊緣對訓練數(shù)據(jù)進行增強。如圖1所示，增強后為方形圖像數(shù)據(jù)，有助于保持卷積過程中特征圖橫向和縱向尺寸計算的一致性，不會造成圖像四周信息丟失。

(a) 原圖 (b) 鏡像結果圖1 圖像的鏡像操作

1.2 網(wǎng)絡模型結構

本文提出的兩階段去霧網(wǎng)絡結構如圖2所示。第一階段用編碼器-解碼器結構預測出尺寸為原圖一半的低分辨率霧霾殘留圖，從而恢復出低分辨率無霧圖像；第二階段將去霧任務遷移到超分辨率重建任務上，將低分辨率霧霾殘留圖像作為輸入，采用亞像素卷積[13]和殘差結構[14]預測出原始分辨率霧霾殘留圖，最后恢復出和原圖大小一致的無霧圖像。

圖2 本文去霧網(wǎng)絡結構圖

本文采用GN[15]作為歸一化層、PReLU[16]作為激活函數(shù)，作用于每一層卷積層后。GN[15]是將通道分為組，并在每組內(nèi)計算歸一化的均值和方差，從而解決BN[17]訓練階段和測試階段數(shù)據(jù)分布不一致問題。PReLU[16]激活函數(shù)讓神經(jīng)網(wǎng)絡對ReLU[18]激活函數(shù)負信號區(qū)域進行自適應偏移，從而避免神經(jīng)元壞死，且讓神經(jīng)網(wǎng)絡達到最優(yōu)狀態(tài)。

整個網(wǎng)絡的學習目標為有霧圖像的霧霾殘留圖，相比直接學習無霧圖像，降低了網(wǎng)絡的學習難度，并且將超分辨率重建任務融合進去霧任務中，恢復出來的無霧圖像細節(jié)信息更加完整，并且是端到端的無先驗約束的網(wǎng)絡結構。

1.2.1殘差結構

殘差網(wǎng)絡[14]由He等提出，他們證明在淺層網(wǎng)絡上疊加恒等映射層可以讓網(wǎng)絡隨深度增加而不退化，但是直接學習一個映射函數(shù)難以訓練，因此提出了殘差結構。殘差結構的簡單描述如下：

H(x)=F(x)+x

(3)

式中：H(x)為殘差結構輸出；F(x)為學習的目標殘差；x為上層輸入。圖3為本文殘差結構圖，圖中的捷徑連接將期望學習目標從復雜潛在映射轉(zhuǎn)換為對恒等映射的擾動，沒有引入額外的參數(shù)和計算復雜度。因為學習找到對恒等映射的擾動會比重新學習映射函數(shù)容易，同時殘差對網(wǎng)絡的輸出變化更加敏感，所以殘差結構效果更好。

圖3 殘差結構圖

1.2.2亞像素卷積

由于相機成像能力限制，成像面上每個像素僅代表附近顏色，雖然宏觀上兩個像素是連在一起的，但是在微觀上它們之間還有無數(shù)微小的東西存在，代表更多細節(jié)，這些微小的東西稱為亞像素。如圖4所示，其中大點為實際像素點，小點為亞像素點。

圖4 亞像素表示圖

為了恢復圖像更多細節(jié)，并且考慮到在轉(zhuǎn)置卷積中可能存在大量補0的區(qū)域?qū)Y果有害，因此通過亞像素卷積[13]的方式，實現(xiàn)從低分辨圖到高分辨圖的重構。亞像素卷積過程描述如下：

IHR=fL(ILR)=PS(WL×fL-1(ILR)+bL)

(4)

式中：IHR為高分辨率圖；ILR為低分辨率圖；f為卷積操作；WL為卷積核權重；bL為偏置項；PS為像素重組操作。

亞像素卷積實際上是在普通卷積的基礎上再進行周期性像素重組，最終將H×W×C×r2的特征圖轉(zhuǎn)換為rH×rW×C的特征圖，r為縮放倍數(shù)。像素重組過程如圖5所示(channels為高分辨率特征圖通道數(shù))。一個周期具體過程為從多通道特征圖的每個通道各取一個元素，組合成新的特征圖上的一個方形單位，原特征圖上的像素就相當于新的特征圖上的亞像素。

圖5 亞像素卷積像素重組示例圖[13]

亞像素卷積可以恢復更多高分辨率圖像細節(jié)，在超分辨率重建任務上已經(jīng)證明了它的有效性[13]，并且在速度上也能夠達到視頻實時處理的要求，很適合將低分辨率霧霾殘留圖恢復成原始分辨率霧霾殘留圖。

1.2.3編碼器-解碼器結構

U-Net[19]網(wǎng)絡提出編碼器-解碼器的網(wǎng)絡結構，在高層隱空間中對高維特征圖進行變換，再逐層結合對應編碼層解碼至低層空間，有效降低網(wǎng)絡學習難度和增加網(wǎng)絡性能。

受到U-Net[19]網(wǎng)絡啟發(fā)，第一階段我們采用解碼器-編碼器結構實現(xiàn)低分辨率霧霾殘留圖的預測，如圖2上半部分網(wǎng)絡結構所示，整個編碼器-解碼器的目的在于學習霧霾殘留圖，因為霧霾殘留圖的稀疏性能夠有效降低網(wǎng)絡學習難度。為了保留圖像原始信息，我們先用尺寸為1的卷積核將有霧圖像映射到高維空間；用2層尺寸為3的卷積核在高維空間提取特征圖高層特征進行編碼；用3層殘差塊[14]對高層特征圖進行非線性變換，目的在于從高層隱空間有霧特征圖預測出高層隱空間霧霾殘留圖；最后用亞像素卷積[13]對層隱空間霧霾殘留圖上采樣和降維進行解碼。同時因為編碼部分包含較多圖像原始信息，比如邊緣信息和空間信息，所以對解碼部分具有指導意義，因此，將解碼后的特征圖和編碼部分第一層特征圖進行疊加，再用尺寸為1的卷積核將特征圖映射回低維空間，最后得到低分辨率霧霾殘留圖。我們將霧霾殘留圖和雙線性插值下采樣后的有霧圖像進行相加，得到了效果良好的低分辨率無霧圖像。

1.2.4霧霾殘留圖超分辨率重建

傳統(tǒng)算法中，從低分辨率圖像變換到高分辨率圖像采用插值算法，效果并不理想，插值后的高分辨率圖像容易失真模糊。最近，基于深度學習的超分辨率圖像重建方法[13]取得了很大的進步，恢復出的高分辨率圖像具有良好的細節(jié)信息。

我們將網(wǎng)絡的第二階段設計為超分辨率重建任務，如圖2下半部分網(wǎng)絡結構所示，將低分辨率霧霾殘留圖用尺寸為1的卷積核擴充維度信息，再用3層殘差塊進行非線性變換，目的是獲得上采樣所需隱空間特征信息。之后用亞像素卷積進行上采樣，恢復出原始分辨率霧霾殘留圖特征，最后再用尺寸為1的卷積核映射為原維度空間得到原始分辨率霧霾殘留圖。由于霧霾殘留圖可視化過程有霧圖像比無霧圖像大多數(shù)像素點灰度值較高，預測出來的霧霾殘留圖負數(shù)比重大，因此按式(5)對霧霾殘留圖變換進行可視化，變換后的霧霾殘留圖中灰度值越大，去除的霧量也越大。

IV=min{0,(-2.0×IR)}

(5)

式中：IV為可視化結果；IR為預測霧霾殘留圖。圖6為霧霾殘留圖超分辨率重建可視化結果，可以看出，可視化霧霾殘留圖中灰度值越高，去除的霧氣量越大。

(a) 有霧圖像(b) 可視化霧霾殘留圖(c) 去霧結果圖6 霧霾殘留圖可視化結果

1.3 損失函數(shù)

為了訓練本文提出的網(wǎng)絡，定義了一個雙分量損失函數(shù)，第一項用均方誤差度量預測圖像和真實圖像相似性，第二項用感知損失[20]幫助構建更符合視覺的圖像，兩者以某種平衡協(xié)同作用于網(wǎng)絡中低分辨率部分和原始分辨率部分。

1) 均方誤差損失(MSE)：使用PSNR來衡量預測圖像與真實圖像之間的差值，是一種最常用的顯示算法有效性的方法。因此，選擇MSE作為損失函數(shù)的第一個分量，即LMSE。通過在像素級最小化MSE，可以得到PSNR的最優(yōu)值，只衡量殘差之間的MSE以降低網(wǎng)絡學習難度，表示為：

(6)

式中：r′為預測霧霾殘留圖輸出；r為真實霧霾殘留圖。

2) 感知損失(Perceptual Loss)：在許多經(jīng)典的圖像恢復問題中，輸出圖像的質(zhì)量完全是由MSE損失所決定。然而，MSE損失屬于L2型損失函數(shù)，具有不確定性，不一定是好的視覺效果指標。Johnson等[20]證明，從預先訓練好的神經(jīng)網(wǎng)絡的特定層中提取高等級特征，有利于內(nèi)容重建，高階特征得到的感知損失比像素級損失更能魯棒地描述兩幅圖像之間的差異。我們選用VGG19[21]作為損失網(wǎng)絡，前3層作為感知損失衡量層，定義如下：

(7)

式中：fi為VGG19網(wǎng)絡第i層的輸出；r′為預測霧霾殘留圖輸出；r為真實霧霾殘留圖像，真實霧霾殘留圖像為真實無霧圖像減去有霧圖像所得。

3) 總損失：總損失綜合MSE和感知缺失兩種成分，我們對低分辨率霧霾殘留圖像和原始分辨率霧霾殘留圖像同時約束，產(chǎn)生以下表達式：

(8)

2 實驗及分析

我們使用大型公開數(shù)據(jù)集RESIDE[22]中的ITS數(shù)據(jù)集作為訓練數(shù)據(jù)。ITS是室內(nèi)真實圖像進行人工加霧的合成數(shù)據(jù)集，包括13 990幅訓練數(shù)據(jù)，在GPU上進行訓練，Batch Size為2，學習率設為0.000 1，一共迭代100個epoch。實驗運行在1 080 Ti GPU、8 GB RAM、Windows 7操作系統(tǒng)的軟硬件環(huán)境下，使用Tensorflow框架構建模型，測試時僅使用一個線程。

因為RESIDE中的SOTS室外合成數(shù)據(jù)集中一些真實圖像仍然為有霧圖，去霧結果評價不具有準確性，所以，我們用RESIDE中的SOTS室內(nèi)合成有霧數(shù)據(jù)集進行定量評價，用真實有霧數(shù)據(jù)進行定性評價。對比算法包括目前效果較好的傳統(tǒng)去霧算法DCP、CAP和基于深度學習的AOD-Net和DehazeNet去霧算法。

2.1 合成數(shù)據(jù)集定量評價及分析

雖然文獻[22]中提出了各種指標來衡量去霧效果，但是我們只采用PSNR和SSIM作為衡量指標，這是之前去霧算法中使用最廣泛的指標。如表1所示，在SOTS室內(nèi)合成圖像測試集上，本文算法優(yōu)于目前較好的方法，PSNR和SSIM相對經(jīng)典去霧算法DCP有較大的提升，表明了本文算法的有效性。

表1 不同算法SOTS測試集去霧結果指標

圖7為SOTS合成圖像室內(nèi)數(shù)據(jù)集部分去霧結果對比圖，PSNR作為衡量指標，在前兩幅室內(nèi)合成圖像中，DCP和CAP在為去霧模型建模時錯估了模型參數(shù)，造成光線較暗。而AODNet因為其本身的模型結構不能很好地擬合有霧圖像和無霧圖像的映射關系，所以去霧效果受到限制。DehazeNet同樣依賴于手工特征，每個像素透射率的準確估計較為困難，造成一些像素去霧不干凈。本文算法通過兩階段組合任務，去霧徹底，并且恢復了更多的細節(jié)，指標優(yōu)于其他對比算法，證明了算法的有效性。在后兩幅室外合成圖像中，本文算法與其他對比算法相比依然具有很強的競爭力，證明提出的算法具有良好的泛化能力。

圖7 SOTS去霧PSNR值對比結果

對SOTS合成數(shù)據(jù)集的定量評價分析可以得出，所提出的去霧網(wǎng)絡具有有效性并且具有良好的泛化能力，但是在戶外去霧任務中，本文算法仍然有較大的改進空間。戶外去霧能力的不足和訓練數(shù)據(jù)具有正相關關系，室內(nèi)圖像訓練集數(shù)據(jù)分布和室外圖像數(shù)據(jù)分布存在差異，所以造成泛化能力受到限制。

2.2 真實有霧數(shù)據(jù)定性評價及分析

將RESIDE[22]中真實有霧數(shù)據(jù)集HSTS和真實交通數(shù)據(jù)集中真實有霧的數(shù)據(jù)作為測試集進行實驗，將本文算法和對比算法上在同一條件進行定性評估。

在真實有霧圖像上對比結果如圖8所示，DCP從5幅圖像結果可以看出，在濃霧去除上相比其他算法更有效，但是在5幅圖上都出現(xiàn)不同程度的變色或者光暈，這是大氣模型參數(shù)估計不夠準確所導致的；由于濃霧區(qū)域顏色信息較少，CAP去除濃霧效果差，且在部分測試數(shù)據(jù)中丟失了圖像原本的顏色；AOD-Net雖然比較穩(wěn)定，但是受到模型的限制，去霧效果不夠理想；DehazeNet在第一幅圖將樹林恢復成了黑色，丟失了樹林原始信息，在第三幅圖也將路面恢復成了黑色；本文算法未出現(xiàn)變色或者光暈現(xiàn)象，并且大多數(shù)區(qū)域去霧效果良好，恢復出原始信息，在去霧穩(wěn)定性上優(yōu)于其他兩種對比算法。實驗表明，本文算法去霧效果良好且穩(wěn)定性高。

(a) Hazy (b) DCP (c) CAP (d) AOD-Net (e) DehazeNet (f) 本文圖8 真實有霧圖像去霧對比結果

3 結 語

本文提出的基于深度學習的兩階段端到端去霧網(wǎng)絡，將圖像去霧任務和圖像超分辨率重建任務相結合，通過學習霧霾殘留圖降低網(wǎng)絡學習任務難度。在對比實驗的定量和定性分析中表明，本文算法恢復出的無霧圖像細節(jié)更好，并且網(wǎng)絡性能更加穩(wěn)定，不易出現(xiàn)圖像變色和光暈的現(xiàn)象。但是實驗發(fā)現(xiàn)，本文算法去除濃霧效果不夠理想，是因為濃霧區(qū)域保留原始信息較少，預測恢復原始信息難度大。考慮到合成濃霧圖訓練集和真實濃霧圖片數(shù)據(jù)分布較近，可能可以改善去除濃霧效果，拓展訓練數(shù)據(jù)集從而優(yōu)化去除濃霧效果是以后需要繼續(xù)研究的方向，同時考慮將所提出的去霧網(wǎng)絡拓展于視頻去霧領域。