多尺度密集時序卷積網絡的單幅圖像去雨方法

趙嘉興，王夏黎，王麗紅，曹晨潔

(長安大學 信息工程學院，陜西 西安 710064)

0 引 言

圖像去雨屬于圖像去噪研究范疇，核心工作是從包含噪聲圖像或者殘缺圖像中復原相對干凈圖像，為后續的機器視覺處理工作提供一個干凈的數據源。在雨天拍攝的圖像包含有雨滴或者雨線，由于雨噪聲的存在使圖像模糊，會造成在戶外工作的計算機視覺系統工作異常。

近年來，圖像去雨引起了許多研究者的關注，已有多種圖像去雨方法被提出來，這些方法大致可分為兩類：基于視頻的圖像去雨方法和基于單幅圖像的去雨方法。其中基于視頻的圖像去雨算法在要求目標基本不變，通過大量時空冗余相關特征信息可以去除圖像雨噪聲，因而對雨噪聲的檢測和去除相對較為容易。與之相比，單幅圖像去雨算法的困難在，圖像只包含某一時刻的影像信息，缺少雨噪聲的時空特性，但相較于前者，單幅圖像去雨的應用靈活性更高，也更具有挑戰性，成為當前研究的難點與熱點。

去雨，實際上是把圖像看成是雨水層和無雨層的疊加，然后在含雨噪聲圖像中提取無雨層。現如今，在單幅圖像去雨研究中，效果比較理想的主要有三種方法。

一種是基于稀疏編碼字典學習和分類器的去雨方法[1]。Kang等根據雨噪聲多分布于圖像高頻信息部分，首先通過雙邊濾波器分離圖像高低頻信息，然后在圖像高頻信息中通過字典學習雨噪聲圖和干凈圖像的映射關系，最后將保留的非雨成分和低頻部分綜合，得到去除雨噪聲后的圖像。Huang等[2]在此基礎上利用上下文相似信息親和傳播聚類的方法對雨噪聲進行判別，提升了算法去雨效果。Luo等[3]提出了一種判別性稀疏編碼，用于將雨條紋與圖像背景分開，不足的地方是該方法去完雨后的圖像上仍有雨條紋殘留。第二種是文獻[4]提出的基于圖像處理的去雨霧算法，適合在一些不包含天空的圖像中去霧、去少量雨條紋，但在包含天空或者大量雨條紋的圖像上存在去雨不完全、丟失圖像細節等問題。造成上述狀況的原因是，上述兩類算法只利用圖像的低級特征來分離圖像中的雨條紋和物體，當雨條紋與圖像物體結構的顏色與方向區分度明顯時，效果很好，但是當雨條紋和背景圖像區分度不明顯時，雨噪聲在很難從圖像信息中分離出來的同時保留物體的結構信息。

最后一種是基于卷積神經網絡的去雨算法。近10年硬件發展很快，顯卡運算力也在快速增長，助推深度學習的快速發展，同時COCO，PASCAL VOC與ImageNet等大型圖像數據集也不斷出現。相比于其他方法，卷積網絡在復雜機器視覺任務上取得了優異的效果，例如動作識別[5]、目標檢測[6]等。而應用在圖像去噪[7-8]、圖像復原[9]、圖像去雨霧[10-14]等底層任務上，也取得了很好的效果。

CNN去噪方法[11-14]可以利用大量自主學習的卷積核針對不同情景提取圖像特征，但隨著網絡深度的加深,提取的特征越來越高級，從底層的顏色、邊緣特征等到紋理細節等特征，會逐層丟失大量的低級特征，導致雨條紋在圖像中區分不明顯時，網絡在去雨后會留下微小的雨痕。文中采用多尺度密集卷積網絡塊在網絡傳播過程中將低級特征與高級特征合并。每個密集網絡塊之間進行縱向連接，再用時間傳播序列將每一個密集網絡塊以橫向方式直接連接起來，使低級特征可以直接傳播到深層網絡中，提出了多尺度密集時間卷積(DenseTimeNet)網絡進行圖像去雨。

1 基于DenseTimeNet去雨模型

基于卷積網絡的單幅圖像去雨工作的核心在于設計出一個有雨圖像端到無雨圖像端的復雜映射模型。在深度學習中，越深的網絡越難訓練，同時也會存在著梯度爆炸和消失的問題，最近的工作表明，如CNN(convolutional neural network)在輸入與輸出之間存在更多的連接時，底層特征便能夠直接傳播到深層，可減輕梯度彌散問題，也可以增強特征深度延展，提高特征利用率。ResNet[15]和DenseNet[16]都在網絡輸入輸出之間加入了連接，ResNet按殘差塊為單位添加網絡隱含層的連接，DenseNet在每層添加連接，從特征的角度考慮,通過特征重用和旁路(Bypass)設置,既大幅度減少了網絡的參數量,又在一定程度上緩解了梯度彌散問題的產生。但是帶來的問題是網絡對權重參數很敏感，易引發蝴蝶效應，通常權重一個微小的變化就能引起輸出的巨大變化，且DenseNet由于網絡結構借助于反復的拼接(Concatenation)操作，將之前層的輸出與當前層的輸出拼接在一起，然后傳給下一層，內存利用就很低。

基于ResNet與DenseNet網絡，為了豐富卷積網絡在提取圖像特征信息的能力，降低權重參數靈敏度和提高內存使用，文中設計一種基于DenseTimeNet網絡去雨方法，網絡模型如圖1所示。該方法主要包含HSV顏色空間變化、多尺度擴張卷積技術(Dilated Convolutions)、DenseTimeNetBlock、Neg-mapping、網絡訓練5個部分。

圖1 DenseTimeNet網絡結構模型

1.1 HSV空間變換

圖像去噪算法以顏色領域為視角來看，實際上是對一幅圖像的色彩表示，顏色深淺，色彩明暗進行分析、去噪的一個過程，RGB顏色模型適用于顯示器等發光體顯示，所有的顏色信息由不同明亮的三基色加色混合而來，HSV模型是針對用戶觀感的一種顏色模型，H通道代表色彩，S代表深淺，V代表明暗，相比于RGB模型，在圖像分割作用較大。如圖2所示，分別對比含有大量雨噪聲圖像和干凈圖像在兩個顏色模型的分布直方圖，由圖2(f，g，h)可發現RGB模型的3個通道直方圖分布規律相似，直觀的表現雨圖相比真實圖像更亮一些，而在HSV中，僅一個明暗分量(圖2(d))就能表現。更重要的是相比RGB模型，HSV可以直接表現出有雨圖像和無雨圖像之間色調(圖2(a))與顏色深淺差異(圖2(c))。因此，文中不直接對RGB顏色空間進行分析，為了貼合實際情況，對輸入圖像進行HSV空間轉化。

圖2 有雨和無雨圖像HSV與RGB顏色直方圖

1.2 擴張卷積技術

圖像雨噪聲檢測和修復不僅需要雨區域的特征還需要鄰近區域特征。對圖像上下文信息的相關利用很高。擴張卷積與普通的卷積相比，除了卷積核的大小以外，還有一個擴張因子df(dilated factors)，主要用來表示擴張的大小。擴張卷積與普通卷積在CNN中訓練參數不變，但具有更大的感受視野RF(receptive field)(見圖3)，計算公式如下：

RF=(2df+1-1)*(2df+1-1)

(1)

圖3 感受野范圍大小

1.3 多尺度DenseTimeNetBlock

如圖1可見，DenseTimeNet主要由多個不同尺度DenseTimeNetBlock組成，而每一個DenseTimeNet Block由多個構件網絡(圖4)組成，每一個構件網絡包含一個5層密集卷積網絡塊，一個時間序列層[17-18](TimeDistributed)和一個特征輸出層。

圖4 構件網絡

1.3.1 密集網絡塊

密集卷積網絡塊比傳統卷積神經網絡需要更少的參數，每一卷積層都有從前繼層額外輸入，傳遞自己的feature map的信息，因此，第n層有n個輸入,是所有前驅feature map塊組成，這樣的網絡參數利用效率很高，并且直接刺激了網絡的信息流動和梯度使其變得更容易訓練。使得網絡可以得到更深的監督，對更深網絡的訓練有幫助。進一步說，密集連接具有正則作用，它減緩在更小的訓練數據集上過擬合，使網絡的應用拓展性更高。

1.3.2 時間傳播序列層

原始的高維空間中，深度地隱含大量冗余信息以及噪音信息，將在圖像檢測或者識別應用中造成誤差，降低算法準確率。數據降維，不僅便于計算和可視化，更將數據以原始的組合向高維視角暴露，有利于篩選有效信息。在這一層中，將二維卷積轉化為時域卷積，將二維圖像數據轉為最基本的一維時間序列數據，并在時域卷積上使用時間序列來進行張量操作。在多時域卷積特征進行共享參數。

1.3.3 降采樣層

尺寸特征圖越大，感受野越小，則適合檢測越大尺寸的目標。為適應小雨、大雨等不同的天氣情況，文中設計了多尺度的DenseTimeNetBlock，主要在降采樣層進行尺度控制，3個DenseTimeNetBlock分別進行0次、1次、2次下采樣，卷積核分別使用如圖3(a)、圖3(b)、圖3(c)的膨脹卷積，分別輸出尺寸為輸入圖的1/1、1/2、1/4大小的特征圖。

1.4 Neg-mapping

主要受到ResNet與DenseNet的啟發，圖像特征在經過多尺度DenseTimeNetBlock后，已經從圖像低級特征(如顏色特征、形狀特征等)中提取并組合了圖像高級紋理特征。但是傳播中也降低了圖像的基本特征信息，如色調信息、顏色深淺等，文中使用Neg-mapping(負映射)：通過skip connection把輸入直接加到最后一個隱含卷積層，跳過中間的多尺度卷積時間序列層。通過無損傳播的方式將圖像基本特征與圖像高級紋理特征結合起來。Neg-mapping可以有效降低解空間，實現更好的從有雨圖像到無雨圖像的復原效果，使網絡更容易訓練。

1.5 網絡訓練

通過網絡重建得到的預測圖像和真實圖之間的代價來不斷調整網絡參數。對于一組不含雨滴的理想恢復圖像Y_P，Y_T和一組由網絡重建得到的無雨圖像，使用絕對值方差(mean absolute error，MAE)作為損失函數來估計網絡參數。MAE的形式如下:

MAE(θ)=E(|Y_P-Y_T|)

(2)

優化器使用Adam[19]。

2 實驗結果與分析

實驗環境為Intel core i7 CPU 8750H，64位的Windows 10，內存16 G，顯卡為GTX1050Ti 4 G。

2.1 訓練樣本的預處理及訓練配置

用于訓練的數據是Fu等[10-11]在無雨圖像上進行人工合成生成的有雨圖像。該數據集包含14 000張合成的有雨圖像和1 000張真實的無雨圖像。每張無雨圖像合成14張不同方向、大小的雨條圖像。訓練時，選取數據集中的12 600張有雨圖像作為神經網絡的訓練集，而剩余的1 400張有雨圖像作為測試集，訓練時隨機選取輸入圖像(有雨和無雨圖像)，200×200像素大小的圖像塊作為一對樣本輸入到卷積神經網絡中，batch_size為4，初始學習率大小設定為0.001，迭代64 000次。

2.2 網絡深度的選擇

為了研究網絡深度對圖像去雨效果的影響，在其他參數不變的情況下，設置模型構件網絡數量為9、15、21，迭代次數為100 000，對比來自rainy_image_dataset下100張包含14種不同場景、不同方向、不同雨滴大小的圖像的處理效果，如表1所示，其中評價指標為PSNR(peak signal to noise ratio，平均峰值信噪比)、SSIM(structural similarity index metric，結構相似性度量)和平均修復時間。

表1 不同深度條件下網絡去雨質量評價對比結果

從表1可看出，在其他參數不變的條件下，網絡加深可提升去雨效果，9個構件網絡到17個，提升明顯，且算法處理時間平均僅多了0.025 s，而25個相比于17個，去雨效果提升較小，處理時間幾乎增多一倍。出于算法實時性考慮，文中采用17個構件網絡組成的多尺度DenseTimeNet卷積神經網絡。具體網絡參數設置如圖5所示。

圖5 網絡參數設置

2.3 多尺度與單尺度的對比

為了突出多尺度DenseTimeNet在去雨方面的優勢，對單尺度DenseTimeNet和多尺度DenseTimeNet的網絡進行同等條件下的訓練，發現網絡對在去除雨痕時，使用單尺度網絡相較于多尺度網絡，圖像紋理細節稍微模糊一點。圖6是單尺度網絡與多尺度網絡的去雨效果對比。在表2中，測試了單尺度網絡與多尺度網絡在處理結果圖像的PSNR和SSIM對比。證明了多尺度網絡去除雨噪聲能力與圖像細節保留能力都強于單尺度網絡。

圖6 單尺度與多尺度網絡的去雨效果對比

表2 單尺度網絡與多尺度網絡性能對比

2.4 合成雨圖上的測試

表3和表4列出了文中所提方法與暗通道的去雨霧算法[4]和Fu[10-11]方法在三個數據集的SSIM與PSNR的比較結果。可以看出，文中方法在兩種評價指標上都要略優于暗通道去雨霧算法[4]和Fu[10-11]的方法。

表3 在3個數據集上的PSNR質量評價對比

表4 在3個數據集上的SSIM質量評價對比

圖7 不同方法在合成圖像的去雨效果對比

圖7中，展示了4種方法在3幅合成圖像上的去雨效果。從去雨的視覺效果來看，文獻[4]僅能去除少量的雨噪聲，圖像失真嚴重，文獻[10]保留了大量雨痕，文獻[11]則含有少量雨痕，而文中所提方法去雨能力更強，圖像細節保留更好。為了更清楚地對比不同方法的去雨效果，將圖7第一幅圖局部放大，如圖8所示(白色框為放大區域)，可看出文中方法能夠干凈地去除圖像雨噪聲。

圖8 圖7第一幅圖像的局部放大效果圖

2.5 真實雨景測試

圖9是在真實雨天下拍攝的3組圖像的去雨結果圖，發現對第1,2幅雨量較少的雨景圖去雨后，文獻[11]方法在去除雨滴時，丟失圖像細節，圖像紋理模糊，而在第3幅雨景圖中，文獻[11]方法的去雨能力表現不佳，模型去雨后，還有少量的雨線存在。而從文中方法的處理圖可見，從第1,2幅雨圖對比，該方法在有效去除雨噪聲的同時更好地保留了圖像細節。第3幅雨景圖，文中方法去雨能力更強。

圖9 真實場景的去雨效果圖

3 結束語

提出了一種基于多尺度DenseTimeNet卷積神經網絡的單幅圖像去雨方法。首先將含有雨噪聲的圖像轉化為HSV顏色空間，借助多尺度密集時序卷積神經網絡挖掘不同維度的特征信息關系進行去噪，最后將HSV顏色空間轉化為RGB顏色空間，得到對應的無雨圖像。實驗結果表明，在合成雨圖和真實雨圖的測試中，模型在有效去除雨痕的同時防止了圖像過度平滑、圖像失真等情況，所提方法較現有方法去雨噪聲能力稍強，也能更好地修復圖像殘損部分。