密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧

劉廣洲，李金寶+，任東東，舒明雷

1.齊魯工業(yè)大學（山東省科學院）山東省人工智能研究院，濟南250014

2.黑龍江大學計算機科學技術(shù)學院，哈爾濱150080

霧是一種常見的大氣現(xiàn)象，它是由空氣中的水汽凝結(jié)物、灰塵、煙霧等微小的懸浮顆粒產(chǎn)生。由于光線在傳播過程中與大量懸浮顆粒發(fā)生交互作用，光能被重新分布，使得霧天圖像通常呈現(xiàn)模糊泛白、色彩飽和度下降、觀測目標嚴重退化的現(xiàn)象，導致許多基于視覺的系統(tǒng)和任務(wù)性能急劇下降。

圖像去霧是一種不適定逆問題，其目的是從退化圖像中恢復高質(zhì)量的無霧圖像。盡管經(jīng)過幾十年的研究，但由于霧傳播的位置變化和未知深度，使得圖像去霧仍然是一個非常具有挑戰(zhàn)性的任務(wù)。許多單圖像去霧方法是基于經(jīng)典的大氣散射模型[1]。

其中，I(x)為退化的有霧圖像；J(x)為無霧圖像；A為全局大氣光；t(x)為透射圖；x為像素位置。

由式（1）可以看出，無霧圖像的求解取決于透射圖和大氣光的估計。人們提出了許多方法來解決透射圖和大氣光的估計問題，主要分為基于手工先驗的方法和基于學習先驗的方法?；谑止は闰灥姆椒ㄍㄟ^利用不同的先驗知識來估計透射圖，如暗通道先驗、對比度先驗和模糊先驗等?；趯W習先驗的方法則是以數(shù)據(jù)驅(qū)動的方式對透射圖和大氣光進行估計。但這些方法都需要依賴于大氣散射模型，透射圖和大氣光的估計精度對去霧圖像的質(zhì)量影響很大。

最近，一些基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）的端到端去霧方法被提出，這種方式直接通過CNN 恢復出干凈的無霧圖像，擺脫了大氣散射模型的約束，從而獲得更好的性能和魯棒性。然而，目前的端到端去霧網(wǎng)絡(luò)在以下幾個方面還存在一定的局限性。

（1）空間上下文信息聚合：在圖像去霧任務(wù)中，更大的感受野可以聚合更多的上下文信息，從而收集和分析更多的鄰近像素間關(guān)系，有利于網(wǎng)絡(luò)對圖像內(nèi)容的預測。增加感受野的經(jīng)典方法是對圖像或特征圖進行下采樣，進而獲得多尺度信息。然而，下采樣可能會丟失一些有用的細節(jié)信息，而上采樣方法無法完全恢復這些細節(jié)。使用更大的卷積核或更多的卷積層也可以增加感受野，但會大大增加參數(shù)量和計算成本。擴張卷積同樣也是一種常用的增加感受野的方法，可以在不需要增加計算成本的情況下聚合更多的上下文信息，并且不會損失空間分辨率。但當擴張率較大時，由于卷積核相鄰兩個單元的信息差異較大，會使去霧結(jié)果產(chǎn)生網(wǎng)格偽影，降低了擴張卷積的性能。因此，目前的去霧方法受自身方法的局限性，有效聚合多尺度特征信息的能力依然較弱。

（2）多階段圖像修復：由于自然場景下的環(huán)境復雜多變，導致霧的不均勻性和深度未知性，尤其當霧對圖像的損壞程度嚴重時，去霧將變得更加困難，很難一次將霧去除干凈，需要進一步將圖像去霧分解為多個階段。然而，現(xiàn)有的圖像去霧方法多以并行或串行的方式堆疊多個卷積操作，層與層之間的特征傳遞是微弱的，忽略了各個特征圖之間的特征聯(lián)系，降低了復雜有霧場景下的去霧效果。

本文采用端到端的卷積神經(jīng)網(wǎng)絡(luò)直接恢復無霧圖像，擺脫了大氣散射模型的約束，從而獲得更好的性能和魯棒性。并針對目前卷積神經(jīng)網(wǎng)絡(luò)方法在圖像去霧任務(wù)上的局限性，提出了一個密集連接擴張卷積網(wǎng)絡(luò)（densely connected dilated convolutional neural network，DCDN）模型。首先，DCDN 通過密集連接不同擴張率的擴張卷積來聚合多尺度空間上下文信息，使網(wǎng)絡(luò)在不增加參數(shù)量且不損失空間分辨率的情況下，增加網(wǎng)絡(luò)的感受野，并且避免了擴張卷積帶來的網(wǎng)格偽影。其次，由于霧分布的不均勻性，在一個階段不容易完全去除霧，因此進一步將去霧網(wǎng)絡(luò)分解為多個階段，并在每個階段都設(shè)計了一個可調(diào)節(jié)的損失約束，從而獲得更精確的特征信息。圖1 是本文方法對圖像去霧的一個例子。

本文主要貢獻如下：

（1）提出了一個端到端的圖像去霧卷積神經(jīng)網(wǎng)絡(luò)，通過使用密集連接的擴張卷積，有效克服了目前方法在空間上下文信息聚合上存在的局限性，增強了網(wǎng)絡(luò)對大尺度特征信息的聚合能力。

Fig.1 Example of image dehazing圖1 圖像去霧的一個樣例

（2）將圖像去霧過程分解為多個階段，并在每個階段使用側(cè)輸出來近距離約束損失，克服了霧從本質(zhì)上帶來的不均勻、深度未知的噪聲對圖像的影響。

（3）與已有方法相比，本文提出的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)，在合成數(shù)據(jù)集和真實數(shù)據(jù)集上都取得了良好的去霧效果。

1 相關(guān)工作

1.1 基于物理模型去霧

現(xiàn)有依賴于物理模型的去霧方法，主要分為基于手工先驗和基于學習先驗兩類。這兩類方法之間最顯著的區(qū)別是，前一種類型的圖像先驗需手工制作，后一種類型的圖像先驗可以自動學習。

基于手工先驗的方法：Tan[2]觀察到無霧圖像比有霧圖像的對比度更高，從而設(shè)計了一個模型來最大化圖像的對比度，用于圖像去霧。He 等人[3]提出了一種用于估計透射圖的暗信道先驗方法，該先驗認為無霧圖像暗通道的局部最小值接近于零。Tang 等人[4]在一個回歸框架中系統(tǒng)地研究了各種與霧相關(guān)的先驗，以尋找用于圖像去霧的最佳先驗組合。Berman 等人[5]發(fā)現(xiàn)一個無霧圖像的顏色可以很好地近似幾百種不同的顏色，然后提出了一個基于此先驗的去霧算法。雖然基于手工先驗的去霧方法取得了良好的效果，但手工先驗對室外無約束環(huán)境的魯棒性較差，往往會向去霧圖像中引入大面積偽影。

基于學習先驗的方法：與基于手工先驗的方法不同，基于學習先驗的方法直接估計透射圖或大氣光，而不是依賴先驗知識。Cai等人[6]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的端到端去霧模型DehazeNet，用于透射圖的估計。Ren 等人[7]提出了一種多尺度深度模型來估計透射圖。Zhang 等人[8]提出了一個單一的去霧網(wǎng)絡(luò)DCPDN（densely connected pyramid dehazing network），共同學習傳輸圖、大氣光和無霧圖像，捕捉它們之間的關(guān)系。然而，由于對透射圖估計的不準確，這些方法往往會導致低質(zhì)量的去霧結(jié)果。

1.2 基于端到端的去霧

近年來，端到端CNN 被用來直接從輸入霧圖像中學習無霧圖像進行除霧。Yang 等人[9]將霧成像模型約束和圖像先驗學習集成到一個單獨的除霧網(wǎng)絡(luò)中進行無霧圖像預測。Li 等人[10]將VGG（visual geometry group）特征和l1 正則化梯度引入條件生成對抗網(wǎng)絡(luò)（conditional generative adversarial nets，CGAN）中進行無霧圖像重建。Ren 等人[11]設(shè)計了一個編碼-解碼器網(wǎng)絡(luò)GFN（gated fusion network for single image dehazing），從三個由不同物理模型生成的霧圖像中學習置信度圖，并將它們?nèi)诤系阶罱K的去霧結(jié)果中來增強去霧效果。Liu 等人[12]將語義分割任務(wù)中的GridNet 網(wǎng)絡(luò)引入到圖像任務(wù)上，提出了一個Grid-DehazeNet 用于端到端圖像去霧。Qu 等人[13]提出了一個增強型Pix2Pix 去霧網(wǎng)絡(luò)，通過分階段的去霧模塊來增強去霧效果。Deng 等人[14]提出了一種深度多模型融合網(wǎng)絡(luò)，通過將多個物理模型得到的結(jié)果融合到不同的層中，提高圖像去霧的性能。

雖然上述端到端的去霧方法比基于物理模型具有更好的去霧效果和魯棒性，然而，這些方法在聚合多尺度空間上下文信息上依然采用圖像或特征圖池化下采樣的方式，導致圖像的高頻細節(jié)信息容易丟失。此外，這些網(wǎng)絡(luò)模型多為線性拓撲結(jié)構(gòu)，忽略了淺層與深層特征之間復雜的非線性關(guān)系。雖然文獻[12]采用格子網(wǎng)絡(luò)結(jié)構(gòu)來提取霧圖像的特征信息，但并未考慮重霧場景下的有效去霧，在緩解霧與信號之間糾纏方面的能力依然較弱。

2 本文方法

本文提出的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)（DCDN）主要分為3 個模塊：預處理模塊、密集擴張模塊和側(cè)輸出模塊。DCDN 以密集塊為基礎(chǔ)，可以保持特征的有效傳遞。在密集塊中逐步加入不同擴張率的擴張卷積，有效聚合空間上下文信息，并避免了網(wǎng)格偽影的產(chǎn)生。為了充分利用各層的特征，通過引入側(cè)輸出模塊，保證中間特征層的信息不丟失。圖2 給出了該網(wǎng)絡(luò)的整體框架。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

預處理模塊首先使用一個卷積操作從有霧圖像中提取相關(guān)特征。輸入的特征通道數(shù)為3，使用3×3的卷積核，輸出的特征通道16。預處理模塊輸出的特征作為密集擴張模塊的輸入。

密集擴張模塊的目的是從網(wǎng)絡(luò)的淺層開始有效利用各層的特征，經(jīng)過多層的傳遞后依然能夠保持學習過程中細節(jié)信息的完整性。該模塊中共串聯(lián)了16 個密集塊，每4 個密集塊后面做一個輸出，其中前三個為側(cè)輸出，第四個為最終輸出。這里每個密集塊的輸入特征通道數(shù)為16，卷積核大小為3×3，增長率為16，輸出的特征通道數(shù)也為16。

側(cè)輸出模塊是對密集擴張模塊提取的特征進行融合，得到恢復后的無霧圖像。在側(cè)輸出模塊把密集擴張模塊輸出的16 個特征通道進行融合得到3 個特征通道，其中選取了3×3 的卷積核，采用ReLU[15]作為激活函數(shù)。

2.2 密集擴張模塊

本文使用的密集塊[16]如圖3 所示。每個密集塊包括5 層，前4 層中的每一層都是接收前面所有層的信息，輸出作為下一層的輸入。其中第一層卷積的擴張率為1，第二層卷積的擴張率為5，第三層卷積的擴張率為9，第四層卷積的擴張率為13。第五層把前4 層以通道拼接方式得到的特征圖，通過1×1 的卷積操作，降低輸出信息的冗余，把前4 層提取出來的特征通道降低到初始輸入密集塊的通道數(shù)。然后以當前密集塊輸出的信息作為下一個密集塊的輸入，依次類推，第d個密集塊的輸出為第d+1 個密集塊的輸入（d=(1,2,…,15)）。

擴張卷積[17]可以增大接收域，降低層內(nèi)空間信息的損失，如圖4 所示。擴張卷積可以通過增加擴張率來聚合大尺度空間上下文信息，能夠在保證網(wǎng)絡(luò)中參數(shù)量不變且不損失細節(jié)信息的前提下，可以獲得更大的感受野。

2.3 損失函數(shù)

Fig.2 Architecture model of densely connected dilated convolutional neural network圖2 密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)的整體框架

Fig.3 Framework flow of dense blocks圖3 密集塊的框架流程

Fig.4 Schematic diagram of reception domain with convolution kernel of 3×3 and expansion rate of 1,2 and 3圖4 3×3 卷積核擴張率為1、2、3 的接收域示意圖

平滑的L1 損失克服了L1 損失的缺點，消除了局部的不穩(wěn)定點，使其梯度更加光滑。本文通過引入平滑的L1 損失，有助于降低不穩(wěn)定點的影響，并有利于優(yōu)化網(wǎng)絡(luò)的性能。感知損失函數(shù)[18]利用前饋卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合預訓練好的網(wǎng)絡(luò)提取高級特征信息，相對單一的前饋卷積神經(jīng)網(wǎng)絡(luò)能更高質(zhì)量地恢復圖像。本文網(wǎng)絡(luò)的3 個側(cè)輸出做平滑L1 損失，最終輸出同時做平滑L1 損失和感知損失。通過聯(lián)合側(cè)輸出和主干網(wǎng)的輸出，同時利用淺層和深層的特征優(yōu)化整個網(wǎng)絡(luò)。平滑L1 損失表示為：

其中，N表示像素的總數(shù)；?是有霧圖像；J是無霧圖像；i表示圖像的通道號；x表示圖像中的像素；(x)(Ji(x))表示像素x在有霧圖像（無霧圖像）中第i個通道的強度值。

為了獲得更加豐富的細節(jié)信息，使用感知損失聯(lián)合優(yōu)化整個網(wǎng)絡(luò)。感知損失表示為：

其中，φ是VGG16[19]基于ImageNet[20]訓練損失網(wǎng)絡(luò)，是有霧圖像，J是無霧圖像。是處理有霧圖像J?時，網(wǎng)絡(luò)φ的第j層的特征圖；φj(J)是處理無霧（標簽）圖像J時，網(wǎng)絡(luò)φ的第j層的特征圖；Cj×Hj×Wj是的三維特征圖，其中j=1,2,3。

總損失由三個側(cè)輸出損失和最終輸出損失組成，總損失表示為：其中，L表示總損失，LO為最終輸出損失，L1、L2、L3為前三個側(cè)輸出損失，λ1、λ2為加權(quán)常數(shù)，λ1為0.7，λ2為0.1，加權(quán)常數(shù)由控制變量實驗產(chǎn)生的最優(yōu)結(jié)果確定。

多階段側(cè)輸出損失的設(shè)計是為了防止圖像在深層網(wǎng)絡(luò)中的特征丟失和梯度消散，從而起到對網(wǎng)絡(luò)中各階段進行中繼監(jiān)督的作用。這種方式不僅適用于圖像去霧，對其他使用深層神經(jīng)網(wǎng)絡(luò)的圖像處理任務(wù)也同樣適用。此外，針對各階段損失函數(shù)比例常數(shù)的設(shè)計思路，由于圖像去霧結(jié)果為網(wǎng)絡(luò)最終輸出的結(jié)果，側(cè)輸出只是對算法的優(yōu)化調(diào)整，因此本文遵循最終輸出比例大、側(cè)輸出比例小的原則。

3 實驗

本章首先介紹實驗的相關(guān)配置，然后在合成數(shù)據(jù)集和真實數(shù)據(jù)集上與已有方法進行對比分析。在合成數(shù)據(jù)集上進行了主觀和客觀評估，在真實數(shù)據(jù)集上，由于沒有無霧參照圖像，故只進行主觀評估。選取峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似性（structural similarity index，SSIM）[21]作為合成數(shù)據(jù)集的客觀評價指標。

3.1 數(shù)據(jù)集

正常情況下很難采集到大量成對的有霧-無霧圖像的數(shù)據(jù)集，通常使用合成數(shù)據(jù)集，即在真實數(shù)據(jù)集上基于大氣散射模型合成有霧的圖像。RESIDE[22]是一個大規(guī)模的合成數(shù)據(jù)集，由5 個子數(shù)據(jù)集組成：室內(nèi)訓練集（ITS）、室外訓練集（OTS）、綜合客觀測試集（SOTS）、真實測試集（RTTS）和混合主觀測試集（HSTS）。其中ITS、OTS、SOTS 為合成數(shù)據(jù)集，ITS和OTS 分別用于室內(nèi)和室外環(huán)境的訓練，SOTS 用于室內(nèi)及室外兩種場景的測試；RTTS 為真實數(shù)據(jù)集，RTTS 用于真實有霧圖像上的測試。ITS 包含1 399張無霧圖像和13 990 張有霧圖像，其中1 張無霧圖像生成10張不同輕重等級的有霧圖像。OTS包含8 477張無霧圖像和296 695 張有霧圖像，其中1 張無霧圖像生成35 張不同輕重等級的有霧圖像。SOTS 包含室內(nèi)有霧圖像500 張和室外有霧圖像500 張。RTTS包含4 322 張真實的有霧圖像。

3.2 實驗細節(jié)

本文的網(wǎng)絡(luò)采用端到端的訓練策略，截取大小為240×240 的圖像塊作為網(wǎng)絡(luò)的輸入。該網(wǎng)絡(luò)基于PyTorch 框架實現(xiàn)，使用ADAM[23]優(yōu)化整個網(wǎng)絡(luò)。在室內(nèi)和室外情況下，網(wǎng)絡(luò)的初始學習率都為0.001。在室內(nèi)的情況下，每20 輪學習率變?yōu)樵瓉淼囊话?，共訓?00 輪（epoch）。室外的情況下，每兩輪學習率減半，共訓練15 輪（epoch）。實驗使用Nvidia GeForce RTX 2080 Ti 訓練整個網(wǎng)絡(luò)，并配置NVIDIA 的深度學習庫提升GPU 運算速度。所有的訓練和測試均在python3.7 上進行，訓練的批次大?。╞atchsize）為8。室內(nèi)的訓練時長約24 h，室外的訓練耗時約65 h。

3.3 對比分析

在合成數(shù)據(jù)集和真實數(shù)據(jù)集上的對比的方法有

DCP（dark channel prior）[3]、DehazeNet[6]、DCPDN[8]、AODNet（all-in-one dehazing network）[24]、GFN[11]、EPDN（enhanced Pix2pix dehazing network）[13]。其中DCP[3]是利用暗通道先驗知識對圖像去霧，其他方法是目前在去霧任務(wù)上經(jīng)典且效果較好的深度學習方法。

3.3.1 合成數(shù)據(jù)集

表1 為不同去霧方法在SOTS 數(shù)據(jù)集上的定量評估?？梢钥闯鯠CP[3]恢復結(jié)果的定量評價指標較低，而DehazeNet[6]、DCPDN[8]、AOD-Net[24]這些深度學習方法的評價指標一定程度上有所改善，GFN[11]的評價指標在室外環(huán)境中相對較高，EPDN[13]的評價指標在室內(nèi)環(huán)境中相對較高。在室外的情況下，本文方法比GFN[11]在PSNR 和SSIM 上分別高出1.66 dB 和0.013 2。在室內(nèi)情況下，本文方法比EPDN[13]的PSNR 和SSIM 分別高出2.26 dB 和0.029 9。綜上所述，本文提出的方法在PSNR 和SSIM 兩個指標上均高于對比方法，說明了本文提出方法對圖像去霧后恢復的圖像質(zhì)量更接近真實的無霧圖像。

Table 1 Quantitative evaluation of different dehazing methods on SOTS data set表1 不同去霧方法在SOTS 數(shù)據(jù)集上的定量評估

圖5為本文方法與已有方法在合成數(shù)據(jù)集（SOTS）上的效果，其中上面四行顯示室內(nèi)圖像的去霧結(jié)果，下面四行顯示室外圖像的去霧結(jié)果，第一行和第五行分別為室內(nèi)和室外的重霧去除結(jié)果。DCP[3]恢復后的圖像色彩偏暗（如圖5（b）的第1、5、7 幅），且有霧圖像中高亮度區(qū)域去霧之后會出現(xiàn)色彩失真現(xiàn)象（如圖5（b）的第6、7、8 幅天空區(qū)域）。DehazeNet[6]網(wǎng)絡(luò)對圖像去霧后個別圖像存在明顯的霧（如圖5（c）的第2、7 幅），且色彩失真現(xiàn)象較嚴重（如圖5（c）的第3、5、8幅）。AOD-Net[24]網(wǎng)絡(luò)對圖像去霧后依然存在較多的霧（如圖5（d）的第2、3、5 幅）。EPDN[13]方法去霧的效果較好，但去霧后依然存在一些霧（如圖5（e）的第1、3、5幅），且第4幅中墻體的顏色和第8幅中樓體顏色恢復的顏色偏差較大（如圖5（e）的第8 幅）。當EPDN[13]方法和本文方法同時和真實無霧圖像比對時，可以明顯看出本文提出的方法在去除霧的同時色彩方面恢復得更自然（如圖5（f）的第7 幅柳樹及湖面區(qū)域）。從定量的指標到主觀的評價，可以看出本文恢復的效果較好，相對其他方法更加接近真實的無霧圖像。

值得注意的是，本文方法在室外數(shù)據(jù)集上的去霧效果要略優(yōu)于室內(nèi)數(shù)據(jù)集上的去霧效果。主要原因是合成數(shù)據(jù)集的生成是以大氣散射模型為基礎(chǔ)，如式（1），然而室內(nèi)受干擾光線的影響，全局大氣光的估計并不準確，因此造成室內(nèi)合成的霧圖像沒有室外合成的霧圖像真實，影響了算法的性能。此外，由于室內(nèi)圖像內(nèi)容的相對距離較小，導致透射圖具有更高的靈敏度，使得合成的霧圖像空間受損差異更小，這也是導致室內(nèi)去霧效果相對較差的一個原因。

Fig.5 Comparison of different image dehazing methods on synthetic data sets圖5 不同圖像去霧方法在合成數(shù)據(jù)集上的比較

3.3.2 真實數(shù)據(jù)集

相對于合成數(shù)據(jù)集，真實數(shù)據(jù)集是在有霧天氣情況下進行采集的，更具真實性和實用性。然而，同一場景下有霧與無霧的采集需要十分昂貴的成本。因此，目前的端到端圖像去霧方法都是在合成數(shù)據(jù)集上進行訓練和算法驗證，在真實數(shù)據(jù)集上進行主觀評估。

圖6 為本文方法與已有方法在真實數(shù)據(jù)集（RTTS）上的測試效果。DCP[3]恢復的圖像整體偏暗（如圖6（b）的第2、4 幅），且個別圖像出現(xiàn)色彩失真現(xiàn)象（如圖6（b）的第2、3 幅）。DehazeNet[6]網(wǎng)絡(luò)對圖像去霧后依然存在較多的霧（如圖6（c）的第2、5、6 幅），且出現(xiàn)了色彩失真現(xiàn)象（如圖6（c）第1、4 幅）。AODNet[24]網(wǎng)絡(luò)對圖像去霧后的效果相對較好，但色彩上相對偏暗（如圖6（d）的第1、2、4 幅），且個別圖像恢復后的色彩偏差較大（如圖6（d）的第3、5 幅）。EPDN[13]方法去霧的效果較好，但去霧后圖像的色彩偏差依然較明顯（如圖6（e）的第2、4、5 幅）。與上述方法相比，本文方法在有效降低霧氣，同時恢復后的圖像在色彩上更自然。綜上所述，本文提出的方法無論是在合成數(shù)據(jù)集上還是在真實數(shù)據(jù)集上，都取得了較好的去霧效果。

Fig.6 Comparison of different image dehazing methods on real data sets圖6 不同圖像去霧方法在真實數(shù)據(jù)集上的對比

真實環(huán)境下拍攝的有霧圖像具有更大的復雜性和不確定性，這給圖像任務(wù)帶來了更大的挑戰(zhàn)。本文提出的多階段去霧方法通過分解問題空間，分階段逐步去除圖像中的霧，因此相對于其他方法在真實環(huán)境下具有更優(yōu)的去霧效果。

4 消融實驗

4.1 網(wǎng)絡(luò)參數(shù)量

為了進一步證實DCDN 高效的特征利用率，比較了不同方法的參數(shù)量和定量去霧結(jié)果。如圖7 所示，相比于目前的圖像去霧算法，本文提出的DCDN網(wǎng)絡(luò)不僅參數(shù)量小，而且去霧圖像的峰值信噪比（PSNR）達到了最優(yōu)效果。與最近提出的EPDN[13]網(wǎng)絡(luò)相比，DCDN 的參數(shù)量僅為其3%左右，但PSNR 卻高出了2.26 dB。

4.2 密集網(wǎng)絡(luò)擴張率設(shè)置

Fig.7 Comparison of parameters and peak signal-to-noise ratio of different methods圖7 不同方法的參數(shù)量和峰值信噪比對比

其次，為了證實擴張卷積對網(wǎng)絡(luò)性能的影響。分別評估了DCDN 網(wǎng)絡(luò)中正常卷積和擴張卷積的去霧效果，以及不同的擴張率對網(wǎng)絡(luò)性能的影響。如表2 所示，由于正常卷積（R1）僅在一個小區(qū)域內(nèi)獲取圖像信息，其去霧效果較差。擴張卷積（R2,R3,R4,R5）則在不增加參數(shù)量，且不損失空間分辨率的情況下，充分聚合了上下文信息，因此其去霧效果要優(yōu)于正常卷積。此外，為了確定密集擴張塊中不同層的擴張系數(shù)，分別實驗了不同的擴張率組合。如表2 所示，隨著擴張率的增加，去霧結(jié)果的PSNR 和SSIM 也在提升，當擴張率超過R4=1,5,9,13 后，由于上下文信息關(guān)聯(lián)性減弱，去霧結(jié)果也降低，因此本文將每個密集擴張塊的擴張率設(shè)置為1,5,9,13。

Table 2 Impact of different dilated rates on network performance表2 不同擴張率對網(wǎng)絡(luò)性能的影響

4.3 側(cè)輸出模塊對網(wǎng)絡(luò)性能的影響

為了驗證每個階段均引入側(cè)輸出模塊的必要性，實驗了側(cè)輸出模塊對網(wǎng)絡(luò)去霧性能的影響。如表3 所示，其中S1、S2、S3分別代表各階段的側(cè)輸出模塊，隨著側(cè)輸出模塊的增加，去霧結(jié)果的PSNR 和SSIM 也在提升。此外，由于側(cè)輸出模塊只作為網(wǎng)絡(luò)各階段的中間特征監(jiān)督，因此只在訓練時產(chǎn)生少量參數(shù)；而在應用測試時不再使用側(cè)輸出模塊，因此不會增加額外的計算成本。

Table 3 Impact of side output module on network dehazing performance表3 側(cè)輸出模塊對網(wǎng)絡(luò)去霧性能的影響

4.4 階段數(shù)量設(shè)置

表4 為不同階段數(shù)量的參數(shù)量、PSNR 和SSIM，如表所示，隨著網(wǎng)絡(luò)階段的增加，參數(shù)量、PSNR 和SSIM 都在逐步增加。然而，當網(wǎng)絡(luò)為5 個階段時，PSNR 和SSIM 僅比4 個階段提高了0.04 dB 和0.000 6，但參數(shù)量依然增加了11 萬。因此，為了權(quán)衡參數(shù)量和去霧效果，本文將網(wǎng)絡(luò)階段數(shù)量設(shè)置為4 個。

Table 4 Parameters and quantitative dehazing results in different number of stages表4 不同階段數(shù)量的參數(shù)量和定量去霧結(jié)果

5 結(jié)束語

本文提出了一種用于圖像去霧的密集連接擴張卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)使用密集擴張模塊來增強特征利用率，通過密集擴張卷積克服了目前神經(jīng)網(wǎng)絡(luò)在聚合上下文信息上遇到的瓶頸問題，通過多階段的側(cè)輸出模塊增強網(wǎng)絡(luò)去霧的魯棒性。實驗表明，本文方法擺脫了大氣散射模型參數(shù)的影響，對比合成數(shù)據(jù)集和真實數(shù)據(jù)集上去霧的效果可以發(fā)現(xiàn)，本文方法恢復的圖像更加接近無霧圖像，并且恢復后的圖像色彩更自然。在客觀指標上也證明了本文方法圖像恢復的質(zhì)量較優(yōu)。在接下來的工作中，將進一步提高算法在真實場景上去霧能力。