適用于多場景的ResNet單幅圖像去霧算法*

姜冰 陸健強 王衛星 李旺枝 黃德威 林佳翰

?

適用于多場景的ResNet單幅圖像去霧算法*

姜冰 陸健強 王衛星 李旺枝 黃德威 林佳翰

（華南農業大學電子工程學院）

針對傳統去霧算法需要人工提取特征，無法在不同應用場景中保證穩定的去霧效果，適用性不足的問題，提出一種基于殘差網絡的去霧算法。利用卷積神經網絡自動提取圖像特征；設計多種損失函數和激活函數；加入GANs網絡恢復圖像的紋理信息；擬合同一場景有霧圖像和清晰圖像的映射關系，訓練網絡參數，輸出去霧后清晰圖像。實驗表明：本文算法在農田、山間、校園、城市和果園等多個場景去霧性能和適用性較好。

多場景；去霧算法；神經網絡；殘差網絡

0 　引言

霧是一種常見的自然天氣現象。霧霾天氣拍攝的圖像色彩衰減，可視效果較差。在視頻監控、自動駕駛以及目標檢測等應用中，霧霾天氣拍攝的圖像會使圖像處理系統的性能急劇降低。因此，對霧霾天氣拍攝的圖像進行有效去霧和還原具有重要意義[1-4]。

He等人通過對大量戶外無霧清晰圖像的統計得到暗通道先驗法，其假設圖像中不存在大面積亮域，如天空或白色場景，某些像素至少一個顏色通道具有較低的值，該方法對有天空區域和大面積白色區域的圖像去霧適用性較差[5-6]。Tarel等人在假設大氣光幕局部變化平緩的情況下，提出大氣光幕散射模型，利用模型實現圖像去霧，該方法采用中值濾波器復原圖像，圖像的邊緣信息不能很好保留[7]。

本文基于殘差網絡（residual networks, ResNet）提出一種適用于多場景的去霧算法。利用卷積神經網絡（convolutional neural networks, CNN）提取圖像特征，優化損失函數和激活函數；加入生成式對抗網絡（generative adversarial networks, GANs）保持圖像的紋理。圖像近景處去霧干凈，遠景處天空區域無光暈效應。

1 　基于ResNet單幅圖像去霧模型

1.1　模型設計

圖1 　基于ResNet單幅圖像去霧模型結構

圖2 　ResNet模塊結構

1.2 　損失函數與激活函數設計

1.2.1均方誤差

本文采用均方誤差（mean squared error, MSE）函數作為網絡損失函數，MSE函數為

MSE函數只能整體衡量2幅圖像之間的差異，無法確保其具有相似性。如圖3所示，不同的像素值有相同的均方誤差，其中圖3(b)、圖3(c)相對于圖3(a)具有相同的MSE，但圖像內容卻不一致，因此網絡需要增加其他損失函數以確保圖像的相似性。

圖3　 相同均方誤差不同像素

1.2.2色彩損失函數

在圖像像素具有相似性時，MSE會造成色彩失真，且輸入的有霧圖像自身也存在色彩失真，因此需要設計用于矯正色彩失真的損失函數。本文采用巴氏距離來衡量2個圖像直方圖的相似性。直方圖相似度定義為

當2個直方圖一致時，直方圖相似度值為1，但不代表2個圖像的內容一致。如圖4所示，圖4(a)和圖4(b)的直方圖相似度為1，圖像內容卻不同。

圖4　 不同像素相同圖像直方圖

1.2.3紋理損失函數

通過GANs衡量去霧后圖像與清晰圖像之間的紋理關系。GANs的輸入為去霧后圖像和清晰圖像，訓練目的是判別輸入圖像是去霧后圖像還是清晰圖像，并使去霧后圖像紋理特性趨近于清晰圖像的紋理。紋理判別器網絡結構如圖5所示。

圖5　 紋理判別器網絡結構

GANs通過優化去霧后圖像和清晰圖像的交叉熵進行訓練，其損失函數為

1.2.4結構相似性損失函數

圖6　 多尺度結構相似性損失框架

1.2.5總損失函數

GANs的紋理損失函數結合MSE、色彩和結構損失函數構成整體損失函數。本文算法總損失函數為

1.2.6激活函數

神經網絡中有多種激活函數，選取合適的激活函數對訓練網絡至關重要。Sigmoid激活函數飽和區會發生梯度彌散現象且近飽和區域收斂速度慢。ReLU激活函數在正半軸能夠保證梯度，在負半軸梯度為0，具有稀疏性，且不能保證圖像像素值位于[0,1]區間內。為更好地結合Sigmoid和ReLU激活函數的特性，本文采用截斷ReLU激活函數如式(6)所示。

1.3 　訓練神經網絡數據獲取

本文網絡訓練使用NYU Depth數據集[12]；采用大氣散射模型合成部分有霧圖像，實際拍攝有霧圖像和合成有霧圖像數據集共47351張，實際有霧圖像與其對應的清晰圖像1364組；采用角點匹配算法對拍攝圖像進行校正和裁剪。

2　實驗結果與分析

本實驗的電腦操作系統采用Ubuntu14.04；軟件平臺Tensorflow和Matlab2014Ra；處理器Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz ×16；內存64 G；GPU為GTX TIAN X。

2.1　定性分析

將本文算法與Tarel算法和He算法進行對比，并進行定性定量分析。圖7從上到下分別為農田、山間、校園、城市和果園5個不同場景的圖像；從左到右依次為原圖、Tarel算法、He算法和本文算法對比圖。

由圖7可以看出：采用Tarel算法和He算法的農田、山間、城市和果園圖像天空區域出現光暈效應和塊狀效應；校園圖像邊緣出現殘霧，且圖像整體色彩偏暗；采用本文算法的農田、山間和果園天空區域平滑，近景區域去霧較為徹底；校園樹葉邊緣殘霧較少，顏色較為自然；城市和果園遠景區域色彩協調、顏色自然，近景去霧干凈。

由此說明：本文算法能夠有效解決天空域出現明顯失真及圖像亮域復原時容易出現光暈效應的問題，同時對不同場景具有很好的適應性，復原圖邊緣不會出現殘霧和色彩失真。

2.2　定量分析

采用MSE[13]對上述實驗圖像進行定量分析。MSE數學定義為

表1　 3種去霧算法的MSE

表2　 3種去霧算法的綜合客觀評價值

表3 　3種去霧算法的盲評指標

1）由表1可以看出：本文算法去霧后的圖像與原圖像的像素顏色MSE最小，Tarel算法和He算法比本文算法的MSE高10%以上；Tarel算法和He算法去霧后圖像與原圖像的像素顏色偏差較大。

2）由表2可以看出：本文算法綜合評價指標的數值比Tarel算法平均高37.35%、比He算法平均高45.91%。

綜合表1、表2和表3的實驗結果，本文算法在MSE指標、綜合評價指標和盲評指標3個評價中都比He算法和Tarel算法取得更好的效果，因此可認為本文算法在多個場景中的單幅圖像去霧效果更佳。

3　結論

本文基于ResNet單幅圖像去霧算法解決了局限于特定應用場景的去霧問題，對農田、山間、校園、城市和果園等不同場景均表現較好的去霧效果，且具有較好的適應性，同時解決了天空區域出現的光暈效應和塊狀效應。但是由于霧天圖像較為模糊，近景處去霧后效果邊緣信息清晰，遠景處去霧后的圖像邊緣信息損失較多，不能完全復原圖像。另外，基于深度神經網絡的圖像去霧算法，參數和計算量存在著較多的冗余，模型有一定的壓縮空間。

[1] 胡子昂,王衛星,陸健強,等.視頻圖像去霧霾技術研究綜述與展望[J].電子技術與軟件工程,2015(22):94-95.

[2] 南棟,畢篤彥,許悅雷,等.基于暗原色先驗的圖像去霧算法[J]. 中南大學學報(自然科學版),2013(10):4101-4108.

[3] 涂雅瑗.霧天降質圖像的對比度增強方法研究[D].大連:大連海事大學,2009.

[4] 周雪智.圖像增強算法研究及其在圖像去霧中的應用[D].長沙:湖南師范大學,2015.

[5] He Kaiming, Sun J, Tang Xia. Single image haze removal using dark channel prior[C]. Computer Vision and Pattern Recognition, 2009:1956-1963.

[6] He Kaiming, Sun J, Tang X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12):2341-2353.

[7] Tarel J P, Hautière N. Fast visibility restoration from a single color or gray level image[C]. IEEE, International Conference on Computer Vision, 2009:2201-2208.

[8] Zhang K, Zuo W, Chen Y,et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing, 2017,26; 26(7):3142-3155.

[9] Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[J]. Computer Science, 2016:2818-2826.

[10] Ioffe S , Szegedy C . Batch normalization: accelerating deep network training by reducing internal covariate shift[C]. International Conference on International Conference on Machine Learning. JMLR.org, 2015, 37: 448-456.

[11] 姜中敏,周穎梅.基于多尺度結構相似度的印刷圖像質量評價研究[J].包裝工程,2016,37(9):134-137.

[12] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from RGBD images[C]. European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2012:746-760.

[13] 麥嘉銘,王美華,梁云,等.特征學習的單幅圖像去霧算法[J]. 中國圖象圖形學報,2016,21(4):464-474.

[14] 胡子昂,王衛星,陸健強,等.視覺信息損失先驗的圖像分層去霧方法[J].中國圖象圖形學報,2016,21(6):711-722.

[15] 黃德威,陸健強,陳可昕,等.基于大氣光值圖的自適應去霧算法[J].計算機工程與設計,2018,39(4):1130-1135.

[16] He Kaiming, Sun J, Tang X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409.

[17] Hautiere N, Labayrade R, Aubert D. Real-time disparity contrast combination for onboard estimation of the visibility distance[J]. IEEE Transactions on Intelligent Transportation Systems, 2006, 7(2):201-212.

ResNet Single Image Defogging Algorithm for Multiple Scenes

Jiang Bing Lu Jianqiang Wang Weixing Li Wangzhi Huang Dewei Lin Jiahan

(School of Electronic Engineering, South China Agricultural University)

The traditional defogging algorithm requires manual extraction of features, and it is impossible to ensure a stable defogging effect in different application scenarios, and the applicability is insufficient. This paper proposes a neural network image dehazing algorithm based on neural network to automatically extract image features, design various loss functions and activation functions, join GANs network to recover image texture information, and fit the fog map and clear image mapping of the same scene. Relationship, training network parameters, output clear image after defogging. Experiments show that the algorithm has good applicability to fogging in farmland, mountain, campus, city and orchard. The fogging performance of fog images in different scenes is good, and it can be applied to multi-scene fogging.

Multiple Scenes; Defogging Algorithm; Neural Network; Residual Network

姜冰，男，1994年生，碩士研究生，主要研究方向：圖像處理。E-mail: bing9783@163.com

陸健強（通信作者），男，1980年生，高級實驗師，碩士生導師，主要研究方向：圖像處理。E-mail: 646346@qq.com

廣西科技計劃重點研發計劃項目（桂科AB16380286）；2018年省級鄉村振興戰略專項資金（2018LM2163）；廣州市科技計劃項目創新平臺建設與共享專項（201605030013）。