基于深度細節加強網絡模型的去雨方法研究

焦爽 范亞冰 孫立群 丁小龍

摘要：在有雨的天氣下，攝像機捕獲的雨天圖像通常成像模糊不清，能見度降低，在很大程度上干擾了計算機自動檢測、識別還有目標跟蹤的能力。例如，在交通事故中的責任劃分和警察對犯罪分子的跟蹤定位上，因為雨線對重要地理位置攝像頭的干擾，導致攝像頭沒有辦法提供清晰的圖像作為證據，就會產生不良的影響。基于殘差ResNet能通過改變映射范圍加強深度學習、把輸入分為高頻細節層和基礎層、通過輸入的直接映射到輸出加強圖像特征等操作構建網絡：通過頻域變換來分離圖像使得操作目標進一步稀疏化，把圖像分成高頻部分和低頻部分，因為雨線幾乎只存在于高頻部分，所以在這里筆者只對高頻部分做去除雨線的操作。筆者用壓縮懲罰Squeeze-and-Excitation（SE）網絡層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網絡層加入殘差網絡中，這樣一來可以使算法操作的圖像目標值域縮小，稀疏性增強。為了驗證本文方法的有效性和可行性，本文在數據集上做了大量的實驗，實驗結果證明了本文實現的模型去除雨線效果良好，解決了雨線殘留明顯或背景模糊化的不足，在實驗運行速度上也超過了很多單幅圖像雨線去除的算法。

關鍵詞：干擾;深度學習;壓縮懲罰網絡;殘差網絡

中圖分類號：TP311 ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）35-0080-05

Research on Rain Removal Method Based on Strengthening Network Model of Deep Details

JIAO Shuang1，FAN Ya-bing2，SUN Li-qun3，DING Xiao-long4

（1.Changchun Institute of Education，Changchun 130033， China;2.Tongliao Education Enrollment Examination Management Center， Tongliao 028000， China; 3.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China; 4.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China）

Abstract： In rainy weather， the image captured by the camera on rainy days is usually blurred and less visible， which greatly interferes with the ability of the computer to detect， identify and track objects automatically. For example， in terms of the division of responsibility in traffic accidents and the tracking and location of criminals by the police， the interference of the rain streaks to the cameras in important geographical locations leads to the failure of the cameras to provide clear images as evidence， which will have adverse effects. ?Based on the residual ResNet can strengthen the deep learning by changing the mapping range， the input is divided into high frequency detail layer and base layer， through a direct mapping of input to output to strengthen the image features such as network operating building： by frequency domain transformation to separate image makes the operation objectives further thinning， the image is divided into high frequency part and low frequency part， because of the rain streaks almost only exists in the high frequency part， so here we only to the operation of the high frequency part to remove the rain streaks. We use Squeeze-and-Excitation （SE） network layer replace batch normalized （BN）， the Squeeze-and-Excitation （SE） network layer added to the residue in the network， in this way can make the operation of image target range narrowed， sparse sexual enhancement.

Key words： interference;deep learning;squeeze-and-excitation（SE）;residual network

在天氣惡劣的條件下所拍攝的視頻或者圖像被雨線覆蓋，導致成像模糊，這不但讓人們對圖像的觀察受到了影響，還損耗了圖像信息的使用價值，對圖像的研究工作帶來了很多麻煩。因此需要對有雨圖像進行去雨線處理，降低雨線對圖像應用研究所產生的負面影響，這一重大舉措提高了在惡劣條件下所拍攝圖像的應用價值。

在圖像分解的雨線去除方法中，Luo等[1]使用判別性稀疏編碼來分離雨圖像中的雨線和背景圖像，但是這種方法雨線的去除效果并不是很好，而且去除雨線的圖像有一定的色彩失真。Yu[2]實現了基于雨線層圖像塊和背景層圖像塊先驗信息的圖像雨線去除方法。該方法中的先驗信息通過混合高斯模型來獲得，可適應在圖像中隨機分布的雨線，但是主要使用方差來提取雨線圖像塊，不具有較高的可靠性，因此導致去除雨線的效果不理想。Kim等[3]依據雨線的方向主要都是垂直方向，而且雨滴呈現橢圓形這些特征來檢測雨滴，最后通過改良的非均值濾波算法來去除雨線，但是因為雨線在圖像中分布不均沒有規律性，所以雨線檢測的準確性不是很高，導致去除雨線后的圖像依然存留大量的雨痕。QiWu等[4]通過顯著視覺特征來對單幅圖像中雨線進行檢測，檢測包括雨滴的形狀、顏色和紋理等一些物理特征，再利用高斯混合模型來進一步確定雨滴的位置;然后通過圖像修復[5]的方法進行雨線去除。Dereck D.Webster等[6]在此研究的基礎上，通過場景隔離和圖像的顯著視覺特征等方法，使雨滴的位置檢測十分精準。

針對有雨圖像，本文實現了深度細節加強網絡模型進行去雨，在深度細節加強網絡模型的基礎上，用壓縮懲罰網絡Squeeze-and-Excitation（SE）層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網絡層加入殘差網絡[7-10]中，這使得在雨滴比較大和背景圖像紋理信息比較多時候，去除雨紋的同時依然保留下物體的特征。

1 算法描述

1.1 HSV空間變換

在圖像的去噪算法中，從顏色的角度來看，就是對一個圖像的顏色，色差，顏色深度進行分析和去噪的過程。在RGB顏色模型中，三基色加色混合成全部的顏色信息。HSV模型是一種顏色模型，H通道代表色彩，S是深淺，V是明暗，圖1，圖2，圖3，圖4對比了干凈圖像、雨圖像，在HSV模型和RGB模型中的分布直方圖，觀察發現，在RGB模型中，R，G，B這3個通道直方圖分布規律十分相似，但是在HSV模型中，只要一個V分量就能表現出來，更值得一提的是，與RGB模型相比，HSV能直接區分出兩種圖像之間的色調差異還有顏色深淺的差異，所以本文直接對輸入的有雨圖像進行HSV空間轉化。

1.2 深度細節加強網絡模型的建立

初步的模型如圖5所示。雨圖作為輸入A，干凈圖作為輸出B。直觀地可以理解為中間步驟為函數[ha]，則通過以下公式可以算得誤差，F是范數的意思。

中間圖像顯示絕對值，以便更好地可視化：

[L=ihAi-Bi2F] ? ? ? ? ? ? ? ? ? ? ? ?（4）

然后發現直接在原雨圖上訓練的結果并不令人滿意。

為了改善網絡學習過程，重要的是通過壓縮映射范圍來減少解決方案空間[11]。我們可以將殘差引入網絡中來幫助學習映射，把殘差當作參數層的輸出，如圖5所示。這種跳躍連接還可以直接在整個網絡中傳播無損信息，這對于估計最終的去雨圖像是有用的。由于雨水往往以白色條紋的形式出現在圖像中，所以[B-A]的大多數值往往為負值，因此，我們將其稱為“負殘差映射”（簡稱“負映射”）。一個包含這一思想的修正目標可以被寫下來：

[L=ihAi+Ai-Bi2F] ? ? ? ? ? ? ? ? （5）

圖6 （從左到右）直接網絡，Neg映射，ResNet，ResNet + Neg映射以及提供最佳性能的最終深層細節網絡

通過結合Neg-mapping和ResNet殘差網絡，可以使得很好地傳播輸入圖像，并且更深的網絡有助于模型的建立。我們用壓縮懲罰網絡Squeeze-and-Excitation（SE）[12-15]層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網絡層加入到殘差網絡中。在CNN中，去雨線網絡在不同雨線的方向和形狀上對雨線進行去除操作，目的是讓雨線在不同的通道上保持不同的分布，但是通過批量歸一化層卻讓每一個特征層歸一化且使得它們具有相同的分布，這里并不適合使用批量歸一化層，所以替換掉批量歸一化層，利用加入壓縮懲罰網絡層的改進殘差網絡可以放大背景細節信息，并且能夠控制去雨痕跡信息，以此來提高整體的細節信息的功能。但是即使結合了這三個，發現還是有雨紋殘留，于是實現了以下模型：

[A=Adetail+Abase] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

[Abase]基礎層可以通過低通濾波得到。之后細節層[Adetail=A-Abase]，在從圖像中減去基礎層之后，去除了背景的干擾，并且在細節層中僅存在雨條紋和對象結構。細節層比圖像更稀疏，因為細節層中的大多數區域接近于零。根據所得到的結論，實現以下損失函數模型。

[L=Ni=1fAi，detail，M，q+Ai-Ai2F] ? ? ? ? ? ? ? ?（7）

N代表樣本的個數，[f]代表殘差網絡，M和q是需要學習的網絡參數。一個基本網絡塊的操作可表示為：

[A0detail=A-Abase，A1detail=σSEM1?A0detail+q1，A2ldetail=σSEM2l?A2l-1detail+q2l，A2l+1detail=σSEM2l+1?A2ldetail+q2l+1+A2l-1detail，Aapprox=SEML?AL-1detail+qL+A，] ? ? ? ? ? （8）

A的上標代表層數。總共L層。[σ]代表激活函數（RELU），M是權重，q是偏置。

第一層卷積大小：[c?s1?s1?a1]，c是圖片通道數，s1是卷積核尺寸，a1是卷積核的個數，也就是生成feature maps的大小，第二層卷積大小：[a1?s2?s2?a2]，a1是上一層的通道數，即深度，a2是生成下一層的深度，最后一層是：[a2?s3?s3?c]，最后一層生成的是圖片，所以深度變為c。

2 實驗結果及分析

2.1 數據集介紹

本實驗環節采用文獻[1]中公開數據集進行實驗。此數據集中有14000對干凈/雨圖。并且由14000張生成了三百萬張[64?64]的干凈/雨圖;剩下的4900張留作評估模型。

2.2 實驗平臺

為了驗證本文提出方法的實時性和可靠性，本文在3.30GHz Intel的處理器、16GB RAM和Nvidia GTX 1080 顯卡的PC平臺上， 使用 Matlab R2016進行了大量測試。

2.3 合成雨天圖像實驗結果及分析

圖8顯示了用于測試的三幅合成雨圖像的視覺比較。如第三和第四列所示，方法[1]留下顯著的雨痕，方法[2]包含降雨偽影。這是因為方法[1，2]只使用低層次圖像特征來去除雨線。當一個物體的方向和大小與雨帶的方向和大小相似時，方法[1，2]不能有效地區分物體和雨。筆者使用SSIM、PSNR進行定量評估。如表2所示：

2.4 真實雨天圖像實驗結果及分析

圖8和圖9顯示了在逼近不同目標物體的真實圖像上的三個定性結果。從結果表明，基于深度細節加強網絡模型的去雨算法，顯示出了特別好的視覺性能。方法[1]仍然包含雨水條紋，而方法[2]則產生過度平滑的結果。因為沒有無雨的真實圖像作為參考，所以在這里只能展示真實數據的定性結果。

2.5 測試圖像上的運行時間

與其他非深度方法相比，我們實現的基于深度細節加強網絡模型去雨效果明顯，在表2中，展示了在處理不同尺寸測試圖像的平均運行時間，每種圖像尺寸平均超過100個測試圖像。方法[1，2]根據提供的源代碼使用CPU實現，而我們的方法在CPU和GPU上都進行測試。由于方法[1]基于字典學習而方法[2]基于高斯混合模型學習，因此仍需要復雜的優化來對測試圖像進行去除雨線，這導致了較慢的計算時間。我們的方法顯著加快了圖像的運行時間，因為它在網絡訓練后完全前饋。

2.6 網絡深度與寬度對去雨效果的影響

通過適當的網絡設計，可以利用更深層次的結構來提高網絡的建模能力，提高去除雨線的效果。這種增加的容量有兩種形式：一種是通過疊加更多的隱藏層來增加網絡的深度，另一種是通過在每個隱藏層使用更多的過濾器來增加網絡的寬度。在這一部分，我們測試了網絡深度和廣度對100幅合成雨圖像的影響。

具體地說，我們對深度[L∈14，26，50]進行測試，濾波器編號[a1=a2∈16，32，64];我們在表3中顯示了這些結果。很明顯，與增加每層過濾器數量相比，添加更多隱藏層可獲得更好的結果。因此，筆者認為通過適當的網絡設計可以避免梯度消失，更深的結構可以改善建模結果。為了在性能和速度之間取得平衡，筆者在上面的實驗中選擇了深度[L=26]，濾波器編號[a1=a2=16]。

3 結論

本章節針對當前單幅圖像去除雨線任務中存在細節嚴重丟失的問題，實現了一種深度細節加強網絡模型進行雨線去除，通過加入Squeeze-and-Excitation（SE）網絡層的改進型殘差網絡來放大有用的背景細節信息并抑制去除雨線的痕跡信息，從而達到加強整體細節信息的效果。最后，在數據集上與其他去除雨線算法進行實驗對比，實驗證明了所實現方法的有效性。

參考文獻：

[1] Luo Y，Xu Y，Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：3397-3405.

[2] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[3] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[4] Wu Q，Zhang W D，Vijaya Kumar B V K.Raindrop detection and removal using salient visual features[C]//2012 19th IEEE International Conference on Image Processing.September 30 - October 3，2012，Orlando，FL，USA.IEEE，2012：941-944.

[5] Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques - SIGGRAPH '00.Not Known.New York：ACM Press，2000：417-424.

[6] Webster D D，Breckon T P.Improved raindrop detection using combined shape and saliency descriptors with scene context isolation[C]//2015 IEEE International Conference on Image Processing （ICIP）.September 27-30，2015，Quebec City，QC，Canada.IEEE，2015：4376-4380.

[7] Wu Y H，Fang Y Z，Shang S K，et al.A novel framework for detecting social bots with deep neural networks and active learning[J].Knowledge-Based Systems，2021，211：106525.

[8] 陶施帆，李玉峰，黃煜峰，等.基于深度殘差網絡和注意力機制的人臉檢測算法[J/OL].計算機工程：1-9[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059379.

[9] 王軍，趙凱，程勇.基于遮擋感知卷積神經網絡的面部表情識別方法[J/OL].計算機工程：1-11[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059166.

[10] 董猛，吳戈，曹洪玉，等.基于注意力殘差卷積網絡的視頻超分辨率重構[J].長春理工大學學報（自然科學版），2020，43（1）：82-88.

[11] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[12] 賴葉靜，郝珊鋒，黃定江.深度神經網絡模型壓縮方法與進展[J].華東師范大學學報（自然科學版），2020（5）：68-82.

[13] 涂云軒，馮玉田.基于多尺度殘差網絡的全局圖像壓縮感知重構[J].工業控制計算機，2020，33（7）：118-121.

[14] 馮永，張春平，強保華，等.GP-WIRGAN：梯度懲罰優化的Wasserstein圖像循環生成對抗網絡模型[J].計算機學報，2020，43（2）：190-205.

[15] 焦爽.基于機器學習的圖像雨線去除方法研究[D].長春：東北師范大學，2020.

【通聯編輯：唐一東】