霧塵條件下糧庫圖像去霧算法研究

桂便 祝玉華 甄彤

（河南工業大學 信息科學與工程學院， 河南 鄭州? 450001）

摘? 要： 針對現有去霧方法在含有大面積亮白區域的圖像中，傳統方法有可能導致大氣光值估計不準確，提出基于四叉樹分解的方法，避免亮白區域對大氣光估計的影響，在天空區域內對大氣光進行準確估計;同時，為避免手工特征提取及假設條件的限制，利用三個不同尺度的卷積核對原始霧圖進行卷積操作，經過網絡的一系列特征學習之后得到待細化傳播圖;然后使用圖像融合方法對其進行細化;最后，將估計的參數代入大氣散射模型從而反演出清晰圖像。合成和真實世界的糧庫霧塵圖像的定量和定性實驗結果表明，該算法對于圖像紋理細節以及天空區域的處理上有較好效果，且魯棒性高，普適性強。

關鍵詞： 糧庫圖像; 圖像去霧; 四叉樹分解; 光值估計; 卷積網絡; 圖像融合

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）14?0121?04

Research on Grain Depot Image defogging Algorithm in Hazy Environment

GUI Bian， ZHU Yuhua， ZHEN Tong

（College of Information Science and Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract： As the traditional defogging method could cause the inaccurate estimation of atmospheric light value in the images containing large areas of bright white， a method based on Quadtree decomposition is proposed， which avoids the effect of bright white areas on the atmospheric light estimate， and accurately estimates the atmosphere light in the sky area. In order to avoid the limitation of handwork feature extraction and assumed condition， the convolution operation of the original fog map is conducted by means of the three different?scale convolution kernels， the diffusion map to be refined is obtained by a series of feature learning of the network， and then the image fusion method is used to refine it. The estimated parameters are incorporated into the atmospheric scattering model to produce a clear image. The experimental results of quantitative and qualitative of the synthetic and real?world grain depot fog image demonstrate that the algorithm has better effect on image texture details and the processing of sky area， and has high robustness and strong universality.

Keywords： grain image; image fogging; Quadtree decomposition; light value estimation; convolution network; image fusion

單幅有霧圖像去霧算法一般需要估計霧圖像形成模型中的透射率和天空亮度參數這兩個關鍵部分。為了完成這兩部分的估計，傳統基于先驗的方法發現各種各樣新的霧相關先驗或者通過提出新的方法來使用它們。但是，對于現實生活中各種各樣不同的場景，霧相關先驗可能會失效。相比之下，基于學習的方法通過數據驅動的方式來探索霧圖及其對應透射圖之間的映射模型，改進了傳統基于假設的方法，得到更加準確的透射圖。然而，該類方法仍采用傳統方法對天空亮度參數進行估計，導致對明暗變化強烈的圖像處理時圖像暗部細節丟失，引入了色偏、過增強等一系列的負面效應。故本文提出基于四叉樹分解的方法。

1? 本文算法實現

1.1? 獲取大氣光

大量實驗證明，天空區域在視覺效果表現上其亮度值明顯高于非天空區域，局部區域相對平滑，即像素強度較大，像素值之間差值較小，標準差較小[1]。因此，基于這兩種特性，本文具體實現算法如下：

1） 設定閾值X值為100，劃分子像素塊長寬方向像素值乘積（Wn×Hn）小于100作為分解的終止條件。

2） 將輸入圖像平均劃分為4個象限，即[Pin]，n為劃分的迭代次數，i[∈][1，2，3，4]，分別代表左上限、右上限、左下限、右下限。

3） 對每一個象限，分別計算像素強度平均值和標準差，分別定義為Avg（[Pin]）和Std（[Pin]）。

4） 計算每個象限的最終結果Total（[Pin]），表達公式為：

[Total（Pin）=Avg（Pin）-Std（Pin）] （1）

5） 將Total（[Pin]）最大的象限分解為4個子象限，重復步驟3）、步驟4），直至滿足迭代終止條件：Wn×Hn<100。

6） 當迭代終止時，將Total最高區域[Totalhighn]內的亮度強度平均值作為大氣光[2]A，表示為：

[A=1Wn×Hnx∈TotalhighnI（x）] （2）

圖1選擇一幅有霧圖像進行測試，并與現有方法（He方法、Shwartz方法以及Tan方法）進行試驗對比。從圖中很明顯看出，本文方法準確定位出了大氣光位置（如圖1b）中方框圈出的區域），相比之下，對比方法將大氣光都定位在了干擾物上。

1.2? 透射率估計

為估計出精確的傳輸圖，建立霧塵圖像及其傳輸圖之間的映射關系，本文提出了MS_CNN，一個可訓練的端到端系統[3]，通過有監督學習方式準確地學習有霧圖像及其對應傳輸圖之間的映射關系。

1.2.1? 網絡設計

1） 多尺度特征提取。在霧圖像輸入到模型之前先對圖像做預處理，預處理階段首先將原始的RGB有霧圖像歸一化到320×240，同時由于圖像灰度圖含有豐富的圖像邊緣信息，在細化傳輸圖時能起到很大作用，但是實際操作中運算會比較復雜。因此，需要對歸一化之后的RGB圖像進行下采樣處理，下采樣率設置為1.05，縮短網絡訓練時的運行時間，分別保留下采樣之后的RGB圖像并將其轉換為灰度圖像。經過預處理之后的RGB圖像大小為304×228作為網絡第一層的輸入[4]。

采用3個不同尺度的卷積核對輸入圖像提取不同尺度的霧相關特征，用96個大小分別為11×11，9×9，7×7的卷積核，卷積跨步設為4，經過卷積之后特征圖大小為74×55，基于Maxout激活函數強大的擬合能力，能夠擬合任意凸函數的特性，本文在多尺度特征提取階段的卷積層使用Maxout激活函數，取每張特征圖的最大值作為輸出結果，將3種尺度卷積得到的結果經過Maxout激活層后獲得霧相關特征圖。最后將獲得的霧相關特征圖按通道疊加以便之后的特征學習[5]。每個卷積核對有霧圖像進行特征提取并將其表示為高維向量的過程定義為F1，具體表示如下：

[F1=max（0，W1x+b1）]? ? ? （3）

2） 特征學習。由于進行非線性變換前的激活輸入值（y=wx+b，x為輸入）隨著網絡深度不斷加深或對網絡進行訓練時，其分布不斷發生偏移，整體分布向非線性函數取值區間的極限飽和區靠攏，導致網絡收斂速度越來越慢，出現梯度消失的問題[6]，因此，本文在第3層、第4層、第5層的卷積層之后引入批標準化（Batch Normalization，BN），通過一定的標準化手段，將每個隱含層神經元的輸入值x的分布強制拉回到正態分布，均值為0，方差為1，以此避免梯度消失的問題。其計算公式如下：

[BNδ，β（x）=y=δx-μσ2+φ+β]? ?（4）

式中：[μ]為x的均值;[σ2]為方差。在批標準化層之后采用ReLu作為激活函數。該激活函數在特征提取中對特征的平移、縮放和旋轉具有不變性，相比其他激活函數，省去了復雜的運算，收斂速度較快。其定義如下：

[F（x）=max（0，x）] （5）

第6層為池化層以下采樣的方式，適當地保持特征信息，降低特征維度，本文采用最大池化，Padding為0，Stride為1。為了保持輸出的傳輸圖大小與輸入圖像大小一致，本文在網絡的第8層增加了一個上采樣層，由于上采樣會將圖像線性放大，若上采樣率過大輸出圖像將會變得模糊，而且在一定程度上限制了圖像特征[7]。因此，本文將上采樣率設置為4.2，最后輸出圖像大小為73×54。

3） 非線性回歸。由于網絡提取到的特征在輸出前的上采樣層有多個通道，因此，本文采用一個非線性結合器在上采樣層之后結合特征通道。

1.2.2? 網絡訓練

1） 數據集。本文選擇2 000幅與糧庫場景大致相同的清晰圖像及其對應的深度圖，之后基于式（2）和大氣散射模型生成傳輸圖像及其對應的霧霾圖像。利用式（2）生成傳輸圖像時，散射系數[β]取值區間為[0.75，1.5]。[β]值過小，合成圖像中霧濃度太薄且有噪點產生;[β]值過大，透射率值t（x）超于0?；诖髿馍⑸淠Ｐ蜕伸F霾圖像時，光照強度A=（k，k，k），k[∈][0.7，1.0]。在合成圖像時，[β]在[0.75，1.5]隨機取4個值，最終在合成圖像中獲得8 000幅霧霾圖像和傳輸圖像數據集[8]。同理，利用Middlebury立體數據集生成40幅圖像作為驗證集。

2） 網絡訓練。先對所有權重[Wni，j]和偏置[bni，j]參數進行初始化，初始偏置設為0。初始化完成后，本文利用隨機梯度下降法更新權重[Wni，j]和偏置[bni，j]，更新規則為：

[Wni，j=Wni，j-α??Wni，jJW，b] （6）

[bni，j=bni，j-α??bni，jJW，b] （7）

式中，[α]表示學習率，初始[α]為0.001，迭代次數每增加20次，學習率下降0.1，迭代值為70。采用式（8） 作為所提網絡模型的損失函數，來比較真實傳輸圖[tix]與預測傳輸圖[t*ix]之間的差值。

[Ltix，t*ix=1mi=1m（Δti）2]? （8）

式中：[Δti=tix-t*ix];i是像素點;m是訓練集中有霧圖像的數量。本文所提模型的具體網絡結構如圖2所示。

1.2.3? 傳輸圖的細化

考慮到圖像灰度圖含有豐富的圖像邊緣信息，因此本文在經過多尺度卷積神經網絡獲取到圖像的粗略傳輸圖之后，采用圖像融合的方法，將灰度圖像和粗略傳輸圖像融合成高質量的傳輸圖像。圖像融合能夠將灰度圖像和粗略傳輸圖像中對同一對象的有力信息結合起來[9]，對圖像的可靠信息充分利用，改善目標圖像的清晰度。本文采用加權平均融合，可以最大限度地保留原始圖像中的細節信息。加權方法公式為：

[I（x，y）=θ1·i1（x，y）+θ2·i2（x，y）] （9）

式中：[θ1]和[θ2]為加權系數，滿足[θ1]+[θ2]=1;[（x，y）]為像素的坐標位置;[i1（x，y）]為灰度圖像;[i2（x，y）]為粗略傳輸圖像，經過實驗，選定加權系數[θ1]為0.4，[θ2]為0.6。

1.2.4? 復原無霧圖像

利用所提算法獲得A和t（x）的估計值之后，開始復原清晰圖像。但是當傳輸t（x）的值趨近于0時，J（x）值偏大，容易出現噪點[10]，因此本文對于t（x）的值設定一個下限值0.1，最終的去霧公式如下：

[J（x）=I（x）-Amax{0.1，t（x）}+A]? （10）

2? 實驗結果與分析

為驗證本文所提方法的有效性，在真實和合成霧霾圖像上進行了幾組實驗。將實驗結果與先進算法（He方法、Tarel方法、Meng方法、DehazeNet方法）等作對比，同時進行定性和定量分析。實驗平臺為Matlab 2016a，運行環境為64位Windows 7，計算機配置為Intel[?]Core（TM） i5?3470 CPU @3.20 GHz，內存8 GB。

2.1? 合成圖像對比實驗

本文使用4個例子：車輛、道路、庫區、門口。同時，為公平起見，本實驗圖像尺寸均為304×228，在同一臺PC機，同一環境運行。圖3展示了不同算法的去霧結果。從圖3可以看出，He方法和DehazeNet方法結果更接近于地面清晰圖像，但He方法基于無霧圖像的暗通道圖像往往趨于0，傾向于高估霧厚度，最終導致去霧后圖像顏色偏暗;Meng方法過度去霧，導致去霧結果顏色偏深;Tarel去霧效果較差，去霧結果上下對比明顯，下半部分沒有實現去霧[11];DehazeNet方法去霧結果有一些殘余的霧度，去霧結果偏暗。相比之下，本文所提算法從視覺效果上看更舒適，顏色較亮，對于天空區域的處理也較為自然，且對于較遠處的物體，能較好地去除霧氣。

2.2? 真實圖像對比實驗

圖4為真實圖像上不同算法去霧后各個指標的結果。

相比He算法，本文算法運行時間明顯縮短。所有算法中本文算法的MSE值是最低的，說明本文算法去霧結果失真差異較小，圖像內容更接近于原圖像。

總體上來說，本文算法的PSNR指標占有優勢，說明該算法的去霧結果受噪聲影響較小，結果比較清晰;同時，在SSIM指標上，本文算法結果明顯高于Meng算法和Tarel算法，與He方法和DehazeNet方法結果大致相當，說明所提算法在圖像邊緣細節處處理結果較好。

3? 結? 語

針對基于學習的方法在進行圖像復原時，往往采用傳統方法估計大氣光，造成圖像暗部細節丟失，同時為克服亮白區域對大氣光值估計的影響，本文首先采用四叉樹分解的方法對大氣光進行準確估計;然后利用多尺度卷積神經網絡通過學習的方式獲得粗略傳輸圖，避免了傳統手工特征提取以及先驗條件的限制;之后基于灰度圖像含有豐富的邊緣信息，采用圖像融合的方法對傳輸圖進行細化。

對于含有亮白區域和天空區域的有霧圖像，獲取大氣光和傳輸圖的準確值，能夠保持較高的魯棒性，經大氣散射模型復原的清晰圖像視覺效果上更為自然，細節信息突出，沒有出現光暈或偽影現象，表現出較好的去霧效果。

注：本文通訊作者為甄彤。

參考文獻

[1] 向文鼎，楊平，許冰.基于自適應閾值分割和融合透射率的圖像去霧算法[J].計算機工程，2019（5）：1?8.

[2] 趙建堂.基于深度學習的單幅圖像去霧算法[J].激光與光電子學進展，2019（31）：1?13.

[3] 于平平，徐建格，劉學孔，等.基于明亮區域和天空識別的圖像去霧算法[J].河北工業科技，2019（3）：1?6.

[4] 雎青青，李朝鋒，桑慶兵.改進多尺度卷積神經網絡的單幅圖像去霧方法[J].計算機工程與應用，2019，55（10）：179?185.

[5] JIANG Y T， SUN C M， ZHAO Y， et al. Image dehazing using adaptive bi?channel priors on super?pixels [J]. Computer vision & image understanding， 2017， 165： 17?32.

[6] SINGH Dilbag， KUMAR Vijay. Image dehazing using Moore neighborhood?based gradient profile prior [J]. Image communication， 2019， 70： 131?144.

[7] LIU T， SONG W， DU C， et al. Fast single image defogging method based on physical model [C]// Eighth International Conference on Digital Image Processing. Chengdu： IEEE， 2016： 101?113.

[8] HE X Y， MAO J X， LIU Z W， et al. A fast algorithm for image defogging [C]// Chinese Conference on Pattern Recognition. Heidelberg： Springer， 2014： 149?158.

[9] MAKOVETSKII A， VORONIN S， KOBER V. Image dehazing using total variation regularization [M]// Rohit M Thanki， Ashish M Kothari. Applications of digital image processing XLI. Ontario： Springer， 2018： 143?150.

[10] LIU Qi， GAO Xinbo， HE Lihuo. Single image dehazing with depth?aware non?local total variation regularization [J]. IEEE transactions on image processing， 2018（7）： 202?212.

[11] KAPLAN N H， AYTEN K K， DUMLU A. Single image dehazing based on multiscale product prior and application to vision control [J]. Signal image video process， 2017，11（8）： 1389.