基于深度細節(jié)加強網(wǎng)絡(luò)模型的去雨方法研究

焦爽 范亞冰 孫立群 丁小龍

摘要：在有雨的天氣下，攝像機捕獲的雨天圖像通常成像模糊不清，能見度降低，在很大程度上干擾了計算機自動檢測、識別還有目標跟蹤的能力。例如，在交通事故中的責任劃分和警察對犯罪分子的跟蹤定位上，因為雨線對重要地理位置攝像頭的干擾，導致攝像頭沒有辦法提供清晰的圖像作為證據(jù)，就會產(chǎn)生不良的影響?；跉埐頡esNet能通過改變映射范圍加強深度學習、把輸入分為高頻細節(jié)層和基礎(chǔ)層、通過輸入的直接映射到輸出加強圖像特征等操作構(gòu)建網(wǎng)絡(luò)：通過頻域變換來分離圖像使得操作目標進一步稀疏化，把圖像分成高頻部分和低頻部分，因為雨線幾乎只存在于高頻部分，所以在這里筆者只對高頻部分做去除雨線的操作。筆者用壓縮懲罰Squeeze-and-Excitation（SE）網(wǎng)絡(luò)層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網(wǎng)絡(luò)層加入殘差網(wǎng)絡(luò)中，這樣一來可以使算法操作的圖像目標值域縮小，稀疏性增強。為了驗證本文方法的有效性和可行性，本文在數(shù)據(jù)集上做了大量的實驗，實驗結(jié)果證明了本文實現(xiàn)的模型去除雨線效果良好，解決了雨線殘留明顯或背景模糊化的不足，在實驗運行速度上也超過了很多單幅圖像雨線去除的算法。

關(guān)鍵詞：干擾;深度學習;壓縮懲罰網(wǎng)絡(luò);殘差網(wǎng)絡(luò)

中圖分類號：TP311 ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）35-0080-05

Research on Rain Removal Method Based on Strengthening Network Model of Deep Details

JIAO Shuang1，F(xiàn)AN Ya-bing2，SUN Li-qun3，DING Xiao-long4

（1.Changchun Institute of Education，Changchun 130033， China;2.Tongliao Education Enrollment Examination Management Center， Tongliao 028000， China; 3.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China; 4.Vitesco Automotive Changchun Co.， Ltd， Changchun 130033， China）

Abstract： In rainy weather， the image captured by the camera on rainy days is usually blurred and less visible， which greatly interferes with the ability of the computer to detect， identify and track objects automatically. For example， in terms of the division of responsibility in traffic accidents and the tracking and location of criminals by the police， the interference of the rain streaks to the cameras in important geographical locations leads to the failure of the cameras to provide clear images as evidence， which will have adverse effects. ?Based on the residual ResNet can strengthen the deep learning by changing the mapping range， the input is divided into high frequency detail layer and base layer， through a direct mapping of input to output to strengthen the image features such as network operating building： by frequency domain transformation to separate image makes the operation objectives further thinning， the image is divided into high frequency part and low frequency part， because of the rain streaks almost only exists in the high frequency part， so here we only to the operation of the high frequency part to remove the rain streaks. We use Squeeze-and-Excitation （SE） network layer replace batch normalized （BN）， the Squeeze-and-Excitation （SE） network layer added to the residue in the network， in this way can make the operation of image target range narrowed， sparse sexual enhancement.

Key words： interference;deep learning;squeeze-and-excitation（SE）;residual network

在天氣惡劣的條件下所拍攝的視頻或者圖像被雨線覆蓋，導致成像模糊，這不但讓人們對圖像的觀察受到了影響，還損耗了圖像信息的使用價值，對圖像的研究工作帶來了很多麻煩。因此需要對有雨圖像進行去雨線處理，降低雨線對圖像應(yīng)用研究所產(chǎn)生的負面影響，這一重大舉措提高了在惡劣條件下所拍攝圖像的應(yīng)用價值。

在圖像分解的雨線去除方法中，Luo等[1]使用判別性稀疏編碼來分離雨圖像中的雨線和背景圖像，但是這種方法雨線的去除效果并不是很好，而且去除雨線的圖像有一定的色彩失真。Yu[2]實現(xiàn)了基于雨線層圖像塊和背景層圖像塊先驗信息的圖像雨線去除方法。該方法中的先驗信息通過混合高斯模型來獲得，可適應(yīng)在圖像中隨機分布的雨線，但是主要使用方差來提取雨線圖像塊，不具有較高的可靠性，因此導致去除雨線的效果不理想。Kim等[3]依據(jù)雨線的方向主要都是垂直方向，而且雨滴呈現(xiàn)橢圓形這些特征來檢測雨滴，最后通過改良的非均值濾波算法來去除雨線，但是因為雨線在圖像中分布不均沒有規(guī)律性，所以雨線檢測的準確性不是很高，導致去除雨線后的圖像依然存留大量的雨痕。QiWu等[4]通過顯著視覺特征來對單幅圖像中雨線進行檢測，檢測包括雨滴的形狀、顏色和紋理等一些物理特征，再利用高斯混合模型來進一步確定雨滴的位置;然后通過圖像修復[5]的方法進行雨線去除。Dereck D.Webster等[6]在此研究的基礎(chǔ)上，通過場景隔離和圖像的顯著視覺特征等方法，使雨滴的位置檢測十分精準。

針對有雨圖像，本文實現(xiàn)了深度細節(jié)加強網(wǎng)絡(luò)模型進行去雨，在深度細節(jié)加強網(wǎng)絡(luò)模型的基礎(chǔ)上，用壓縮懲罰網(wǎng)絡(luò)Squeeze-and-Excitation（SE）層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網(wǎng)絡(luò)層加入殘差網(wǎng)絡(luò)[7-10]中，這使得在雨滴比較大和背景圖像紋理信息比較多時候，去除雨紋的同時依然保留下物體的特征。

1 算法描述

1.1 HSV空間變換

在圖像的去噪算法中，從顏色的角度來看，就是對一個圖像的顏色，色差，顏色深度進行分析和去噪的過程。在RGB顏色模型中，三基色加色混合成全部的顏色信息。HSV模型是一種顏色模型，H通道代表色彩，S是深淺，V是明暗，圖1，圖2，圖3，圖4對比了干凈圖像、雨圖像，在HSV模型和RGB模型中的分布直方圖，觀察發(fā)現(xiàn)，在RGB模型中，R，G，B這3個通道直方圖分布規(guī)律十分相似，但是在HSV模型中，只要一個V分量就能表現(xiàn)出來，更值得一提的是，與RGB模型相比，HSV能直接區(qū)分出兩種圖像之間的色調(diào)差異還有顏色深淺的差異，所以本文直接對輸入的有雨圖像進行HSV空間轉(zhuǎn)化。

1.2 深度細節(jié)加強網(wǎng)絡(luò)模型的建立

初步的模型如圖5所示。雨圖作為輸入A，干凈圖作為輸出B。直觀地可以理解為中間步驟為函數(shù)[ha]，則通過以下公式可以算得誤差，F(xiàn)是范數(shù)的意思。

中間圖像顯示絕對值，以便更好地可視化：

[L=ihAi-Bi2F] ? ? ? ? ? ? ? ? ? ? ? ?（4）

然后發(fā)現(xiàn)直接在原雨圖上訓練的結(jié)果并不令人滿意。

為了改善網(wǎng)絡(luò)學習過程，重要的是通過壓縮映射范圍來減少解決方案空間[11]。我們可以將殘差引入網(wǎng)絡(luò)中來幫助學習映射，把殘差當作參數(shù)層的輸出，如圖5所示。這種跳躍連接還可以直接在整個網(wǎng)絡(luò)中傳播無損信息，這對于估計最終的去雨圖像是有用的。由于雨水往往以白色條紋的形式出現(xiàn)在圖像中，所以[B-A]的大多數(shù)值往往為負值，因此，我們將其稱為“負殘差映射”（簡稱“負映射”）。一個包含這一思想的修正目標可以被寫下來：

[L=ihAi+Ai-Bi2F] ? ? ? ? ? ? ? ? （5）

圖6 （從左到右）直接網(wǎng)絡(luò)，Neg映射，ResNet，ResNet + Neg映射以及提供最佳性能的最終深層細節(jié)網(wǎng)絡(luò)

通過結(jié)合Neg-mapping和ResNet殘差網(wǎng)絡(luò)，可以使得很好地傳播輸入圖像，并且更深的網(wǎng)絡(luò)有助于模型的建立。我們用壓縮懲罰網(wǎng)絡(luò)Squeeze-and-Excitation（SE）[12-15]層替換掉批量歸一化層（BN），把Squeeze-and-Excitation（SE）網(wǎng)絡(luò)層加入到殘差網(wǎng)絡(luò)中。在CNN中，去雨線網(wǎng)絡(luò)在不同雨線的方向和形狀上對雨線進行去除操作，目的是讓雨線在不同的通道上保持不同的分布，但是通過批量歸一化層卻讓每一個特征層歸一化且使得它們具有相同的分布，這里并不適合使用批量歸一化層，所以替換掉批量歸一化層，利用加入壓縮懲罰網(wǎng)絡(luò)層的改進殘差網(wǎng)絡(luò)可以放大背景細節(jié)信息，并且能夠控制去雨痕跡信息，以此來提高整體的細節(jié)信息的功能。但是即使結(jié)合了這三個，發(fā)現(xiàn)還是有雨紋殘留，于是實現(xiàn)了以下模型：

[A=Adetail+Abase] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（6）

[Abase]基礎(chǔ)層可以通過低通濾波得到。之后細節(jié)層[Adetail=A-Abase]，在從圖像中減去基礎(chǔ)層之后，去除了背景的干擾，并且在細節(jié)層中僅存在雨條紋和對象結(jié)構(gòu)。細節(jié)層比圖像更稀疏，因為細節(jié)層中的大多數(shù)區(qū)域接近于零。根據(jù)所得到的結(jié)論，實現(xiàn)以下?lián)p失函數(shù)模型。

[L=Ni=1fAi，detail，M，q+Ai-Ai2F] ? ? ? ? ? ? ? ?（7）

N代表樣本的個數(shù)，[f]代表殘差網(wǎng)絡(luò)，M和q是需要學習的網(wǎng)絡(luò)參數(shù)。一個基本網(wǎng)絡(luò)塊的操作可表示為：

[A0detail=A-Abase，A1detail=σSEM1?A0detail+q1，A2ldetail=σSEM2l?A2l-1detail+q2l，A2l+1detail=σSEM2l+1?A2ldetail+q2l+1+A2l-1detail，Aapprox=SEML?AL-1detail+qL+A，] ? ? ? ? ? （8）

A的上標代表層數(shù)?？偣睱層。[σ]代表激活函數(shù)（RELU），M是權(quán)重，q是偏置。

第一層卷積大?。篬c?s1?s1?a1]，c是圖片通道數(shù)，s1是卷積核尺寸，a1是卷積核的個數(shù)，也就是生成feature maps的大小，第二層卷積大?。篬a1?s2?s2?a2]，a1是上一層的通道數(shù)，即深度，a2是生成下一層的深度，最后一層是：[a2?s3?s3?c]，最后一層生成的是圖片，所以深度變?yōu)閏。

2 實驗結(jié)果及分析

2.1 數(shù)據(jù)集介紹

本實驗環(huán)節(jié)采用文獻[1]中公開數(shù)據(jù)集進行實驗。此數(shù)據(jù)集中有14000對干凈/雨圖。并且由14000張生成了三百萬張[64?64]的干凈/雨圖;剩下的4900張留作評估模型。

2.2 實驗平臺

為了驗證本文提出方法的實時性和可靠性，本文在3.30GHz Intel的處理器、16GB RAM和Nvidia GTX 1080 顯卡的PC平臺上， 使用 Matlab R2016進行了大量測試。

2.3 合成雨天圖像實驗結(jié)果及分析

圖8顯示了用于測試的三幅合成雨圖像的視覺比較。如第三和第四列所示，方法[1]留下顯著的雨痕，方法[2]包含降雨偽影。這是因為方法[1，2]只使用低層次圖像特征來去除雨線。當一個物體的方向和大小與雨帶的方向和大小相似時，方法[1，2]不能有效地區(qū)分物體和雨。筆者使用SSIM、PSNR進行定量評估。如表2所示：

2.4 真實雨天圖像實驗結(jié)果及分析

圖8和圖9顯示了在逼近不同目標物體的真實圖像上的三個定性結(jié)果。從結(jié)果表明，基于深度細節(jié)加強網(wǎng)絡(luò)模型的去雨算法，顯示出了特別好的視覺性能。方法[1]仍然包含雨水條紋，而方法[2]則產(chǎn)生過度平滑的結(jié)果。因為沒有無雨的真實圖像作為參考，所以在這里只能展示真實數(shù)據(jù)的定性結(jié)果。

2.5 測試圖像上的運行時間

與其他非深度方法相比，我們實現(xiàn)的基于深度細節(jié)加強網(wǎng)絡(luò)模型去雨效果明顯，在表2中，展示了在處理不同尺寸測試圖像的平均運行時間，每種圖像尺寸平均超過100個測試圖像。方法[1，2]根據(jù)提供的源代碼使用CPU實現(xiàn)，而我們的方法在CPU和GPU上都進行測試。由于方法[1]基于字典學習而方法[2]基于高斯混合模型學習，因此仍需要復雜的優(yōu)化來對測試圖像進行去除雨線，這導致了較慢的計算時間。我們的方法顯著加快了圖像的運行時間，因為它在網(wǎng)絡(luò)訓練后完全前饋。

2.6 網(wǎng)絡(luò)深度與寬度對去雨效果的影響

通過適當?shù)木W(wǎng)絡(luò)設(shè)計，可以利用更深層次的結(jié)構(gòu)來提高網(wǎng)絡(luò)的建模能力，提高去除雨線的效果。這種增加的容量有兩種形式：一種是通過疊加更多的隱藏層來增加網(wǎng)絡(luò)的深度，另一種是通過在每個隱藏層使用更多的過濾器來增加網(wǎng)絡(luò)的寬度。在這一部分，我們測試了網(wǎng)絡(luò)深度和廣度對100幅合成雨圖像的影響。

具體地說，我們對深度[L∈14，26，50]進行測試，濾波器編號[a1=a2∈16，32，64];我們在表3中顯示了這些結(jié)果。很明顯，與增加每層過濾器數(shù)量相比，添加更多隱藏層可獲得更好的結(jié)果。因此，筆者認為通過適當?shù)木W(wǎng)絡(luò)設(shè)計可以避免梯度消失，更深的結(jié)構(gòu)可以改善建模結(jié)果。為了在性能和速度之間取得平衡，筆者在上面的實驗中選擇了深度[L=26]，濾波器編號[a1=a2=16]。

3 結(jié)論

本章節(jié)針對當前單幅圖像去除雨線任務(wù)中存在細節(jié)嚴重丟失的問題，實現(xiàn)了一種深度細節(jié)加強網(wǎng)絡(luò)模型進行雨線去除，通過加入Squeeze-and-Excitation（SE）網(wǎng)絡(luò)層的改進型殘差網(wǎng)絡(luò)來放大有用的背景細節(jié)信息并抑制去除雨線的痕跡信息，從而達到加強整體細節(jié)信息的效果。最后，在數(shù)據(jù)集上與其他去除雨線算法進行實驗對比，實驗證明了所實現(xiàn)方法的有效性。

參考文獻：

[1] Luo Y，Xu Y，Ji H.Removing rain from a single image via discriminative sparse coding[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：3397-3405.

[2] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[3] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[4] Wu Q，Zhang W D，Vijaya Kumar B V K.Raindrop detection and removal using salient visual features[C]//2012 19th IEEE International Conference on Image Processing.September 30 - October 3，2012，Orlando，F(xiàn)L，USA.IEEE，2012：941-944.

[5] Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques - SIGGRAPH '00.Not Known.New York：ACM Press，2000：417-424.

[6] Webster D D，Breckon T P.Improved raindrop detection using combined shape and saliency descriptors with scene context isolation[C]//2015 IEEE International Conference on Image Processing （ICIP）.September 27-30，2015，Quebec City，QC，Canada.IEEE，2015：4376-4380.

[7] Wu Y H，F(xiàn)ang Y Z，Shang S K，et al.A novel framework for detecting social bots with deep neural networks and active learning[J].Knowledge-Based Systems，2021，211：106525.

[8] 陶施帆，李玉峰，黃煜峰，等.基于深度殘差網(wǎng)絡(luò)和注意力機制的人臉檢測算法[J/OL].計算機工程：1-9[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059379.

[9] 王軍，趙凱，程勇.基于遮擋感知卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別方法[J/OL].計算機工程：1-11[2020-12-02].https：//doi.org/10.19678/j.issn.1000-3428.0059166.

[10] 董猛，吳戈，曹洪玉，等.基于注意力殘差卷積網(wǎng)絡(luò)的視頻超分辨率重構(gòu)[J].長春理工大學學報（自然科學版），2020，43（1）：82-88.

[11] He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778.

[12] 賴葉靜，郝珊鋒，黃定江.深度神經(jīng)網(wǎng)絡(luò)模型壓縮方法與進展[J].華東師范大學學報（自然科學版），2020（5）：68-82.

[13] 涂云軒，馮玉田.基于多尺度殘差網(wǎng)絡(luò)的全局圖像壓縮感知重構(gòu)[J].工業(yè)控制計算機，2020，33（7）：118-121.

[14] 馮永，張春平，強保華，等.GP-WIRGAN：梯度懲罰優(yōu)化的Wasserstein圖像循環(huán)生成對抗網(wǎng)絡(luò)模型[J].計算機學報，2020，43（2）：190-205.

[15] 焦爽.基于機器學習的圖像雨線去除方法研究[D].長春：東北師范大學，2020.

【通聯(lián)編輯：唐一東】