一種由粗到細(xì)的圖像逐級去雨算法

馬悅

（陜西中醫(yī)藥大學(xué)信息化建設(shè)管理處，陜西咸陽 712046）

雨作為最常見的惡劣天氣狀況，對圖像的影響效果最為復(fù)雜。通過分析可知，如果所得圖像和視頻是在雨天環(huán)境下，則會出現(xiàn)許多大小和方向各不相同的雨線并且其呈現(xiàn)出隨機(jī)分布的特點。而雨線不僅會導(dǎo)致圖像和視頻中的光線發(fā)生折射和反射，從而造成一些區(qū)域的亮度較高，同時也會導(dǎo)致圖像和視頻中的些許紋理和關(guān)鍵細(xì)節(jié)信息丟失造成質(zhì)量退化[1-2]。此外，無論是在過去的經(jīng)典視覺算法還是在當(dāng)下流行的一些視覺算法中,往往都需要輸入質(zhì)量較高的圖像才能確保系統(tǒng)的正常運行工作，例如對物體的檢測與跟蹤,如果開始輸入的圖像是在雨天條件下獲取的，其包含許多類似于雨線的干擾因素，那么最終可能會導(dǎo)致物體檢測與跟蹤算法無法達(dá)到預(yù)定效果和目標(biāo)。如果是在無人機(jī)場景下，就很可能會最終導(dǎo)致事故的發(fā)生。因此綜上所述，研究和設(shè)計出能有效去除圖像中雨線的算法意義較大[3-5]。

目前，圖像去雨的方法可歸納為以下兩大類：第一類是基于先驗知識，如文獻(xiàn)[6]中提出的一種基于圖像斑塊和從背景圖像中分離出雨條紋的判別稀疏編碼框架；第二類是基于深度學(xué)習(xí)，如文獻(xiàn)[7]中提出了一種用于單幅圖像去雨的條件生成對抗網(wǎng)絡(luò)，并利用感知損失來細(xì)化最后的結(jié)果；文獻(xiàn)[8]中提出了利用循環(huán)膨脹卷積神經(jīng)網(wǎng)絡(luò)去雨，并在網(wǎng)絡(luò)中嵌入擠壓和激勵機(jī)制；文獻(xiàn)[9]中提出了一個密度感知的多流連接網(wǎng)絡(luò)，用于聯(lián)合雨密度估計和去耦合來提升去雨效果。然而，以上大多數(shù)方法由于算法的限定只能工作于特定的條件下，因此有進(jìn)一步的改進(jìn)空間。

1 雨痕圖像模型

目前，現(xiàn)有的單幅圖像去雨算法主要基于以下物理模型[10]：

雨痕圖像Is可以看作是無雨背景B和雨痕層S的線性疊加，如圖1 所示。

圖1 雨痕圖像模型分解示意圖

將雨痕層圖像從初始的有雨圖像中剝離出來，便是對圖像去雨本質(zhì)的定義。通過仔細(xì)觀察有雨圖像的細(xì)節(jié)信息，可以發(fā)現(xiàn)對于大多數(shù)背景圖像來說都包含天空、墻壁等這些相對平滑的區(qū)域，而在這些區(qū)域中除了包含些許雨痕以外，其他紋理信息并不明顯甚至沒有，因此將這些區(qū)域定義為純雨區(qū)域。此外對整幅圖像來說，雨痕的外表特性是重復(fù)的，于是通過對部分純雨區(qū)域的特征學(xué)習(xí)來獲得雨痕的相關(guān)特征，從而推動進(jìn)一步有效地檢測出全局圖像所包含的所有雨痕。

此外由于絕大多數(shù)背景信息表現(xiàn)為低頻特征，而雨痕和物體邊緣呈現(xiàn)出高頻的特征，可以將輸入的有雨圖像通過濾波的方法分為高頻部分和低頻部分，然后對高頻部分進(jìn)行雨痕的形態(tài)學(xué)分析，將高頻部分分為無雨和有雨部分，最后將高頻的無雨部分和輸入圖像的低頻部分相結(jié)合得到最終的圖像[11-13]。

2 逐級去雨網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

提出的整體網(wǎng)絡(luò)結(jié)構(gòu)是一個由粗到細(xì)的過程，如圖2 所示。

圖2 整體網(wǎng)絡(luò)結(jié)構(gòu)示意圖

此過程中采取逐步分級進(jìn)行去雨，每個處理階段均由3 個部分組成：特征空間、膨脹卷積塊和雨空間。其中，特征空間的作用是將圖像空間轉(zhuǎn)換為特征空間，對特征空間進(jìn)行處理的是膨脹卷積塊（DCB），其結(jié)構(gòu)如圖3 所示。

圖3 膨脹卷積塊(DCB)結(jié)構(gòu)示意圖

最后，雨空間的作用是將特征空間映射到雨空間，在歷經(jīng)多階段處理后再結(jié)合細(xì)化階段對其結(jié)果進(jìn)行細(xì)化。

2.2 膨脹卷積塊

對于單幅圖像的處理來說，空間的信息非常重要，此外不同尺寸和方向的雨紋更是需要不同的空間信息來匹配處理[14]。為了更好地解決此問題，提出了一個膨脹卷積塊（DCB）方法，它由幾個具有指數(shù)膨脹因子的卷積層組成，該文因子數(shù)分別設(shè)定為1、2、4、8。采用的膨脹卷積不僅可以擴(kuò)大接受域從而獲得更多的空間信息，而且可以同時保持參數(shù)的數(shù)量不變。

膨脹卷積塊可以定義為如下公式：

其中，i=1,2,···,L。L為擴(kuò)張卷積層數(shù)，而Convi為3×3 的卷積核與擴(kuò)張因子2i-1的卷積，Zfusion是最終輸出。這里，令L=4，因為發(fā)現(xiàn)L=4 就足以得到滿意的結(jié)果。

2.3 精細(xì)階段

在最終估計的圖像中存在一些偽影，為了解決這個問題，使用單一卷積網(wǎng)絡(luò)來改進(jìn)最終的結(jié)果。定義如下：

2.4 損失函數(shù)

目前，均方誤差（MSE）是在圖像去雨中采用最多的損失函數(shù)。但是均方誤差會給予擁有較大誤差的區(qū)域更多的權(quán)重，而對那些小誤差區(qū)域往往不能進(jìn)行有效的處理，導(dǎo)致最終輸出圖像效果不太理想[15]。因此文中采用的是平均絕對誤差（MAE），其函數(shù)表示如下：

式中，N為采用的訓(xùn)練樣本總數(shù)量，X^ 為需要進(jìn)行去雨的圖像，X為真實無雨圖像。此損失函數(shù)能夠在對大誤差區(qū)域進(jìn)行懲罰時相對的加大對于誤差區(qū)域懲罰的權(quán)重，從而有利于圖像高頻區(qū)域的處理。

3 實驗過程

3.1 數(shù)據(jù)集

該設(shè)計在訓(xùn)練過程中，需要通過大量的有雨圖像和清晰無雨圖像作為訓(xùn)練樣本。但是在現(xiàn)實條件下很難一次獲得足夠且滿足條件的圖像，因此為了解決此問題，往往會通過人工合成從而產(chǎn)生需要的大量有雨圖像。文中使用的數(shù)據(jù)集中有雨和無雨圖像的圖像對共14 000 對，其中擁有14 種不同類別的雨線其主要呈現(xiàn)出不同的大小與方向。此外，該設(shè)計主要通過谷歌圖像數(shù)據(jù)庫、UCID、BSD 數(shù)據(jù)集來獲取所有高質(zhì)量輸入圖像[16]，而該設(shè)計中所涉及的有雨圖像均由技術(shù)合成所得到。

同時為了將該設(shè)計的結(jié)果和其他算法所得到的結(jié)果進(jìn)行對比分析，該設(shè)計還從BSDS500 數(shù)據(jù)集中獲取了100 張清晰的無雨圖片，并通過利用同樣的技術(shù)合成獲取了100 個有雨和無雨清晰圖像對，并將其作為本設(shè)計的合成雨圖像測試集，稱之為Rain100。同時還確保了該合成雨像測試集與該設(shè)計中的網(wǎng)絡(luò)訓(xùn)練集圖像沒有重復(fù)交集。此外由于在Rain100 測試集的有雨圖像中雨線也依舊呈現(xiàn)著不同大小和方向，因此，該設(shè)計將其分為小雨測試集Rain100L 和大雨測試集Rain100H。

3.2 實驗環(huán)境

文中實驗環(huán)境是Ubuntu16.04 系統(tǒng)，其搭載Inter i7 CPU，通過Nvidia GTX1080 Ti 顯卡對其進(jìn)行加速網(wǎng)絡(luò)訓(xùn)練，采用Python 編程語言并通過Pytorch框架來實現(xiàn)網(wǎng)絡(luò)的搭建。

3.3 實施細(xì)節(jié)

該設(shè)計選擇T=12，而通道的數(shù)量則被設(shè)置為16。從訓(xùn)練圖像數(shù)據(jù)集中隨機(jī)裁剪大小為100×100像素的圖像小塊作為輸入，并將小批量大小設(shè)置為10來訓(xùn)練網(wǎng)絡(luò)。此外，文中使用Adam作為優(yōu)化器，初始化學(xué)習(xí)率為0.001，在240K和320K迭代時除以10。

4 實驗結(jié)果與分析

在測試數(shù)據(jù)集上對文中設(shè)計的網(wǎng)絡(luò)性能進(jìn)行了評估，分別將其與文獻(xiàn)[6]、文獻(xiàn)[7]、文獻(xiàn)[8]和文獻(xiàn)[9]這4種主流去雨方法進(jìn)行了定性和定量的比較。

首先選擇了不同算法在Rain100L 上的對比，結(jié)果如圖4 所示。

從圖4 可以看出，通過文獻(xiàn)[6]算法所得到的最終去雨圖像依然存在著許多雨線；通過文獻(xiàn)[7]算法所得到的去雨圖像雖然殘留的雨線較少但是可以明顯看出圖像較為模糊；文獻(xiàn)[8]算法得到的復(fù)原圖像留下的人工痕跡較為嚴(yán)重，去雨效果也不盡人意；文獻(xiàn)[9]算法得到的圖像去雨效果較好，但是最后得到的圖像色彩飽和度較低，同時發(fā)現(xiàn)一些細(xì)節(jié)的信息存在丟失。而文中算法的輸出不僅較好地去除了雨線，而且將一些細(xì)節(jié)信息保存得相對完整，擁有較高的色彩飽和度。

圖4 不同算法在Rain100L去雨結(jié)果的比較

雖然文獻(xiàn)[9]的輸出圖像在Rain100L 中對于小雨狀態(tài)下的去雨效果比較不錯。為了進(jìn)一步比較和驗證文中算法在大雨中的去雨效果，如圖5 所示，選擇了不同算法在Rain100H 的對比結(jié)果。

圖5 不同算法在Rain100H去雨結(jié)果的比較

通過上圖可以觀察到經(jīng)過文獻(xiàn)[6-9]算法處理得到的輸出圖像在大雨條件下的去雨效果和色彩飽和度和文中算法輸出的圖像相比都要差一些，所以無論是在小雨還是在大雨條件下，文中算法均表現(xiàn)良好。

然而，為了保證評估結(jié)果的可靠性，不僅需要視覺上的定性分析，還需要通過定量分析比較來增添可信度。為了評價這些算法的性能，對于復(fù)原的圖常用的量化標(biāo)準(zhǔn)為峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）。PSNR 是一個絕對誤差，使用像素相對于其最大可能值的均方誤差來計算。在假設(shè)人類的視覺系統(tǒng)高度協(xié)調(diào)的情況下提取結(jié)構(gòu)信息，SSIM試圖通過更緊密地與人類的感知保持一致來改進(jìn)絕對誤差度量。這兩個客觀評價指標(biāo)的值越大，表明圖像處理效果越好，從表1 中看出，文中網(wǎng)絡(luò)表現(xiàn)出最優(yōu)的性能。

表1 不同去雨算法在測試集上的定量比較

文中算法相比于文獻(xiàn)[6]、文獻(xiàn)[7]、文獻(xiàn)[8]、文獻(xiàn)[9]這4 種算法在PSNR 和SSIM 值上都有顯著的提升，由此可見提出的算法擁有更好的去雨效果并且保證了更高的圖像復(fù)原質(zhì)量。

5 結(jié)論

文中提出了一種由粗到細(xì)的逐級去雨方法，它是通過多階段的處理過程來完成去雨的。此方法提出的依據(jù)是一個好的去雨方法應(yīng)該能夠去除所有的雨紋，并且能夠反復(fù)處理，直到雨紋被去除干凈。通過在Rain100L 和Rain100H 數(shù)據(jù)集上定量和定性的實驗結(jié)果表明，文中算法在與現(xiàn)有幾種去雨方法相比，具有優(yōu)越性，同時大大減少了使用參數(shù)的數(shù)量，提升了工作效率。