單張圖像去雨的多流細節加強網絡①

安鶴男，涂志偉，張昌林，李 蔚，劉 佳

(深圳大學 電子科學與技術學院，深圳 518061)

雨作為一種常見的氣象現象，不僅影響人類的視覺感知，并且嚴重干擾計算機視覺系統.在諸多經典和當代流行的視覺算法中，需要高質量清晰的圖像作為輸入才能正常工作.例如物體檢測與跟蹤，當輸入的圖像帶有雨線、雪和霧等，那么物體檢測與跟蹤算法很可能達不到預期的效果，如果是無人駕駛汽車場景，很可能導致事故的發生.隨著雨勢增大，雨線密度也急劇增大，因此，設計出能夠有效去除圖像中雨線的算法意義重大，十分必需.

多篇文獻提出的去除雨線的方法，大致可以分為兩類：一類是以傳統的模型為主的去雨思路，另一類是運用深度學習的思想進行去雨.傳統方法致力于用模型來區分雨線層和背景層.Kang 等人[1]把有雨圖像分解為高頻部分和低頻部分，通過稀疏字典學習的方法對高頻部分進行處理，提取出高頻中的雨線并去除.Huang 等人[2]提出一種自我學習的方法去自動區分高頻部分中的雨線部分.Luo 等人[3]提出一種判別稀疏編碼方法，通過使雨層的系數向量變得稀疏，從而達到區分背景和雨線的效果.

而近年來，有許多作者采用深度學習的方法去雨.Shen 等人[4]設計了一個基于小波變換[5]和暗通道原理[6]的卷積神經網絡來提升去雨效果.Li 等人[7]采用循環神經網絡算法來進行去雨操作.Yang 等人[8]提出了一種檢測雨線并去雨的聯合網絡，他們使用多種不同尺度的網絡去捕抓雨圖中的雨線信息，再經過卷積神經網絡，能夠有效的檢測到雨線并去除雨線.

綜合分析以上的算法，不難發現，整體思路都是盡可能的檢測到雨圖中的雨線，并提取出雨線，然后和雨圖做差得出去雨圖，然而去雨圖的一些細節不可避免的會丟失，造成圖像使用效能降低，對此，本文提出一種多流細節加強網絡，通過多條不同尺度和結構的網絡來提取雨線特征，然后融合得到的特征塊傳入到去雨網絡中，得出的初步去雨圖經過隨后的細節加強網絡來提高圖片的質量.

1 圖像去雨方法介紹

本文所提出的去雨網絡如圖1所示，為了更好的細化分析去雨算法，本節主要介紹網絡的基本理論模型，介紹不同尺度和結構的特征提取網絡以及細節加強網絡.

圖1 多流細節加強網絡

1.1 基本理論

傳統的有雨圖的模型[9]主要包含背景層和雨線層兩部分，可以用以下公式表示：

其中，O為輸入的有雨原圖像，B為背景層，R為雨線層.不難發現，大量的方法都是基于這個模型，通過移除有雨圖像中的雨線來獲得純凈的無雨圖.式(1)簡單的把雨線層作為單一層，往往認為雨線只有一種，但在實際生活中，雨線方向是變換多樣的，并且由于雨線在成像鏡頭的焦平面不同，遠處的雨往往比較模糊，所以考慮到雨線的多樣性，Yang 等人[8]提出一種新的擴展雨線模型：

其中，Rt表示不同的雨線層，t表示雨線層索引，S表示雨線層數的最大值，A為全局環境光線，λ為大氣傳播系數，此模型能夠更好地表示真實的雨線特點.

1.2 多流特征提取網絡

采用不同的網絡規模對圖片進行特征提取，并進行特征融合[10]，往往能夠更好的表示圖像中的目標及背景.特征融合的方式有多種，特征圖逐點相加，逐點相乘或者在深度上級聯拼接等.考慮到雨線特征的多樣性，例如，有的雨圖雨點小，有的雨圖會形成明顯的雨線，所以針對小的雨線，采用小的卷積核尺寸(小的感受野)，對于明顯地更長的雨線采用更大的卷積核尺寸(更大的感受野).綜合考慮，本文使用3 條不同尺度與規模的特征提取網絡來提取雨線的特征.

深度卷積編解碼網絡[11]能夠非常有效地處理圖片的噪聲問題，基于此，本文設計的特征提取網絡中，兩條支路采用編解碼方式，并且考慮到深層特征具有較大的感受野，能夠提供上下文信息，所以在單條網絡內部把深層特征與淺層特征相融合，使得網絡能夠更好的區分雨線及背景，達到更加準確地表示雨線特征的效果.

本文設計的特征提取網絡細節如下：(1)第一條支路(圖1左下角)使用尺寸大小為7×7 的卷積核，起始的兩個卷積層并不改變形狀，接下來的兩個卷積層使用平均池化層進行下采樣操作，最后兩個卷積層使用近領域填充方式進行上采樣操作，并且將深層特征與淺層特征相融和.在文章模型的調試過程中，受到Desnet[12](密集神經網絡)的啟發，以及與同樣加入了密集網絡思路的Shen 等人[4]和Zhang 等人[10]去雨效果的對比，發現在上采樣的過程中加入密集網絡思路效果更佳.(2)第二條支路依舊采用編解碼方式進行特征提取，與第一條支路不同的是，使用的卷積核尺寸為5×5.(3)第三條支路并不采用編解碼方式，僅僅使用6 個不改變特征圖尺寸的卷積層，且卷積核的尺寸大小為3×3.具體構造如圖1所示.

1.3 細節加強網絡

對于圖像去雨任務，分析發現，圖像的背景細節在小密度雨線的影響下保留的細節較多，所以大部分的去雨方法都能夠很好的處理此類問題，但對于在大密度的雨線影響下，由于背景細節遮蔽太嚴重，許多去雨方法處理出來的背景圖，細節丟失太嚴重，所以考慮在去雨網絡后面加上一個細節加強的網絡來保證圖片的質量.Pan 等人[13]提出一個對于低層次的計算機視覺任務的基本處理框架思路.圖像可以分為兩部分，整體的圖像結構和細節.原圖經過去雨網絡處理后的去雨圖，可以作為圖像的整體結構估計.

通過卷積操作提取的特征信息一直在局部感受野中，而最近有一些方法通過加強空間編碼的方式提高了網絡的感受能力，例如Squeeze-and-Excitation[7，14，15](壓縮-激勵)網絡層，通過精確的建模通道之間的卷積特征的相互依賴性來提高網絡的表達能力.SE 網絡層能夠讓網絡模型對特征進行校準，使網絡從全局信息出發來選擇性的放大有價值的特征通道并抑制無用的通道特征.SE 網絡層構造如圖2所示.

圖2 SE 層結構

輸入的圖像經過第一個卷積層得到特征圖，傳入SE 層中先進行壓縮操作將特征圖聚合獲得通道描述器，這個通道描述器嵌入了對通道層次的特征表述的全局分布.然后經過激勵操作，通過基于通道依賴性的自選門機制對每個通道進行權值的評比，放大有價值的特征通道信息并抑制無用的特征通道.

本文提出一種新穎的思路，將SE 網絡層嵌入到ResNet[16]網絡中，并替換掉批量歸一化層(BN).在卷積網絡中，BN 層使得每一個特征層能夠歸一化并使得它們具有相同的分布.但由于去雨網絡在不同雨線的形狀和方向上進行去雨操作，希望在不同的通道上保持分布的不同，所以替換BN 層，并且通過加入SE 網絡層的改進型ResNet 網絡能夠放大有用的背景細節信息并抑制去雨痕跡信息，從而達到加強整體的細節信息的效果.細節網絡如圖1右下角所示.

1.4 損失函數

如圖1所示，本文的多流支路細節加強網絡主要由兩部分組成：特征提取網絡和細節加強網絡.為了更好的訓練每個網絡，所采用的網絡模型需要分開計算每個網絡的損失函數.特征提取網絡及細節加強網絡的損失函數如下：

其中，N為一次程序處理圖片的數量，||?||F為弗羅貝尼烏斯范數(Frobenius norm)，Xi表示第i次輸入的有雨圖像，Yi為其對應的標簽(無雨圖)，fs代表特征提取網絡，fd表示細節加強網絡，Si為經過雨線特征提取網絡后得出的初步去雨圖.故整體的損失函數為：

其中，α，β為各個損失函數權重比例.

2 實驗分析與結果

為了更好得評估所提出的多流細節加強網絡的去雨性能，在本節會介紹網絡模型的細節參數部分，并且和當前一些流行的去雨方法進行了比較，例如DJRHRNet[4]，JORDER[8]，RESCAN[7]，使用的測試集包含合成的圖片以及真實雨圖.去雨的性能還可以從峰值信噪比(PSNR[17])和結構相似度(SSIM[18])的數據量化體現出來.PSNR 是最普遍和使用最為廣泛的一種圖像客觀評價指標，衡量圖像失真或是噪聲水品的客觀標準，數值越大表示失真越小.SSIM 是衡量兩幅圖像相似度的指標，是一種全參考的圖像質量評價指標，分別從亮度、對比度、結構3 方面度量圖像相似性，數值越大表示失真越小.

2.1 數據集

圖3 不同方法在相同的合成測試集上的去雨效果對比

由于從現實世界中獲取比較好的有雨圖，無雨圖相對應的數據是非常難的，所以訓練所使用的數據集都是來自合成的.Li 等人[7]和Zhang 等人[10]提供了大量的合成數據集，并且雨線密度覆蓋非常廣，所以本文采用他們的數據集.由于本文側重體現在高密度雨線圖的細節加強，所以訓練時所使用的圖片為Zhang 等人[10]數據集中大雨部分的4000 張圖片作為訓練集.200 張左右的圖片作為本文的測試集.Li 等人[7]和Zhang 等人[10]也提供了真實雨圖集，并且這些雨圖包含復雜的雨線，故采用他們提供的真實雨圖集進行測試.

2.2 訓練配置

本文使用4000 張配好對的512×512 的圖片進行訓練，使用的服務器配置含有4 張1080Ti 顯卡，采用Pytorch 框架.設置的最大迭代次數為400 000，特征提取網絡的卷積核數量由64-32-64 個數變換，細節加強網絡的卷積核數量固定為64 個，梯度下降的優化算法使用ADAM[19]，其中基礎學習率設置為0.001，且每經過40 000 次迭代，學習率降為原來的0.1 倍.

2.3 合成數據集上的測試結果

如圖3所示為本文在合成測試集上的去雨效果圖，并與當前一流的去雨方法進行了比較，并且為了量化去雨的性能，還進行了結構相似度(SSIM)與峰值信噪比(PSNR)的數據比較，如表1所示.從表1中的數據可以看出，本文的方法基本上處于領先的位置.從圖3中可以看出，這些目前一流的去雨方法不能完全的去除雨線甚至還會模糊圖片，而本文提出的方法能夠在幾乎去除雨線的情況下還能保證一定的圖像細節.

表1 不同去雨算法在測試集上的PSNR 與SSIM 平均值比較

2.4 真實雨圖的測試結果

為了測試這些去雨方法的實用性，本文也測試了真實雨圖集，如圖4所示為真實雨圖的測試結果.從中可以看出，DJRHR-Net[4]沒有很好的去除雨線，JORDER[8]似乎過處理了雨圖，而本文提出的方法做到去除大部分的雨線并且盡可能的保留了細節.

3 結論

本文提出的多流細節加強網絡，對于單張的雨圖有很好的去雨效果.多流的特征提取網絡，每條支路使用不同的規模尺寸，能夠很好的提取出復雜多向的雨線特征并進行特征融合.而對于高密度雨線的雨圖，由于細節遮蔽太多，經過去雨網絡后往往會損失很多細節，基于此，提出的細節加強網絡是一個很好的補償措施.加入壓縮激勵[15](SE)的思路，采用SE 層替換批量歸一化(BN)層的改進型ResNet[16]網絡，能夠得出更高質量的去雨圖.在與當前流行的去雨方法進行比較的過程中，發現本文的方法，無論是在去雨圖像的視覺感觀上，還是在PSNR 和SSIM 數據量化上，都處于領先的地位.本文主要針對的是大密度的雨線圖，所以設計的分支網絡較多，導致訓練參數的上升，這需要有較強計算性能的計算機進行處理.進一步改進網絡，簡化網絡，并且使得模型泛化能力更強，是今后的主要研究方向.

圖4 不同去雨算法在真實雨集上的去雨效果圖