基于半監督學習的單幅圖像去雨算法

邱永茹，姚光樂，馮杰，崔昊宇

（成都理工大學 計算機與網絡安全學院（牛津布魯克斯學院），成都 610059）（?通信作者電子郵箱yaoguangle19@cdut.edu.cn）

基于半監督學習的單幅圖像去雨算法

邱永茹，姚光樂*，馮杰，崔昊宇

（成都理工大學 計算機與網絡安全學院（牛津布魯克斯學院），成都 610059）（?通信作者電子郵箱yaoguangle19@cdut.edu.cn）

在雨天采集的圖像通常存在背景物體被雨紋遮擋、圖像變形等影響圖像質量的現象，對后續圖像分析及應用造成嚴重影響。近年來，已經提出了許多基于深度學習的去雨算法并獲得了較好的效果。由于真實雨圖的無雨紋干凈背景圖采集非常困難，大多數算法都采用監督學習即在含有配對標簽的合成雨圖數據集上進行模型訓練。由于合成雨圖和真實雨圖中雨紋的亮度、透明度、形狀等存在巨大差異，基于監督學習的去雨算法對真實雨圖的泛化能力普遍較差。為提高去雨模型對真實雨圖的去雨效果，提出了一種基于半監督學習的單幅圖像去雨算法。該算法在模型訓練過程中加入合成雨圖和真實雨圖并最小化兩個輸入圖像轉換成的特征向量的一階信息和二階統計信息差異，使兩者特征分布一致。同時，針對雨紋復雜多樣的特點，引入多尺度網絡以獲取更豐富的圖像特征，并提高模型性能。實驗結果表明，所提算法在Rain100H合成雨圖測試集上相較JDNet、Syn2Real等算法在峰值信噪比（PSNR）和結構相似度（SSIM）上分別至少提升了0.66 dB、0.01，在去除雨紋的同時能最大限度保留圖像細節和顏色信息；并且由于減少了分布差異，該算法在真實雨圖測試集上的去雨效果明顯優于現有的JDNet、Syn2Real等去雨算法，具有較強的泛化能力。所提算法可以應用于現有的基于監督學習的去雨算法并顯著提高其去雨效果，擁有較高的獨立性。

單幅圖像去雨；半監督學習；多尺度網絡；深度學習；密集殘差連接

0 引言

雨天是自然界常見天氣之一，該天氣下在戶外采集的圖像時常受到雨水折射和背景圖像被遮擋的影響，造成圖像模糊、形變、細節丟失等質量問題。這將導致后續對圖像進行處理和分析的計算機視覺系統如無人駕駛、道路監控等實際應用系統，性能下降。因此，圖像去雨算法的研究受到了國內外科研工作者的重視［1-4］。

近年來，單幅圖像的去雨算法大致可分為基于模型驅動和基于數據驅動兩類。在2017年以前，典型的圖像去雨算法是受圖像分解、稀疏編碼和基于先驗的高斯混合模型影響的基于模型驅動的算法（非深度學習算法）。自2017以后，受深度卷積網絡、生成對抗網絡和半/無監督算法的影響，圖像去雨算法進入了數據驅動算法（深度學習算法）時期。

典型的基于模型驅動的去雨算法中，Kang等［1］通過雙邊濾波器將雨圖分解為高頻圖和低頻圖后使用字典學習和稀疏編碼去除高頻圖中的雨紋，最后與低頻信息結合得到去雨圖像，但其過于依賴雙邊過濾器的預處理，因此會產生模糊的背景細節。Li等［2］利用高斯混合模型（Gaussian Mixed Model， GMM）通過計算不同角度和形狀的雨紋分布對雨水層和背景層建模，進而實現去雨，但該算法只能有效去除小雨的雨紋，難以處理大雨或驟雨的雨紋。基于數據驅動的去雨算法中，Fu等［5-6］提出了基于卷積神經網絡的DerainNet來提取特征實現去雨，并參考殘差網絡（Residual Network， ResNet）［7］進一步提出深度細節網絡（Deep Detail Network， DDN），以減小從輸入到輸出的映射范圍使學習過程變得更加容易。Li等［8］通過遞歸上下文擴張網絡利用不同階段之間的去雨相關性逐階段去除雨紋得到干凈背景圖。Zhang等［9-10］將條件生成對抗網絡（Generative Adversarial Network， GAN）［11-12］應用于圖像去雨，為更好地學習訓練樣本的所有模式，使用集成殘差感知分類器自適應地適應雨水密度信息（重/中/輕）。然而，盡管以上基于數據驅動的去雨算法因采用了更先進的網絡架構從而取得了更好的結果，但由于它們都是只在合成雨圖數據集上訓練學習的完全監督算法，這些去雨算法應用于真實雨圖去雨時會出現一定的性能偏差。為解決以上問題，Wei等［13］提出了一種基于半監督的去雨算法，以DDN作為網絡主干將雨水層和背景層分離后，使用GMM對合成雨圖和真實雨圖雨水層進行建模并最小化K-L（Kullback-Leibl）散度以讓去雨模型更適用于處理真實雨圖。但該算法并沒有對真實雨圖顯示出有效的去雨結果，這可能是因為其在去雨后再進行合成雨紋和真實雨紋差異的最小化，使模型在學習過程中偏離了目標。Yasarla等［14］提出了基于半監督學習的去雨算法利用高斯過程對未標記的數據生成偽GT（Ground-Truth），再用偽GT對標記數據進行監督學習，但由于該算法在建模過程中沒有考慮各特征圖彼此獨立，使用了相同權重對未標記和標記的數據進行加權組合時，使模型在真實雨圖的去雨效果并沒有改善。

針對上述單幅圖像去雨算法存在的問題，本文提出了一種新的基于半監督學習的單幅圖像去雨算法，在進行去除雨紋操作前，將標記的合成雨圖與未標記的真實雨圖輸入網絡，對二者特征圖的一階和二階統計信息精確建模，通過最小化二者的均值向量和協方差矩陣的歐幾里得距離，使合成雨圖和真實雨圖的特征分布一致，以提升去雨模型在真實雨天圖像的去雨性能。

1 基于半監督學習的多尺度去雨網絡

如圖1所示，基于半監督學習的單幅圖像去雨算法相應操作如下：1）在特征轉換空間，將輸入雨天圖像轉換為特征向量；2）在半監督匹配網絡，最小化合成雨圖和真實雨圖特征向量的一階和二階統計信息差異，使兩者分布一致；3）在多尺度去雨網絡，通過多個多尺度去雨單元實現去除雨紋得到干凈背景特征圖；4）在圖像轉換空間，將去雨后的干凈背景特征向量轉換為圖像表示。

圖1 基于半監督學習的多尺度網絡結構Fig. 1 Multi-scale network structure based on semi-supervised learning

1.1 半監督匹配網絡

為解決純監督學習去雨模型在真實世界雨天圖像泛化性較差的問題，Wei等［13］提出了一種基于半監督的去雨算法，但實際上該去雨算法并沒有改善在真實雨圖的去雨效果，原因可能是該算法是在去雨后再對合成雨圖雨紋和真實雨圖雨紋進行差異最小化，這就使模型在學習過程中偏離了目標。因此，本文提出了基于半監督的學習算法，將在去雨步驟前于半監督匹配網絡中最小化合成雨圖和真實雨圖的一階和二階統計信息差異，使合成雨圖雨紋特征分布與真實雨紋一致，提高模型對真實世界雨天圖像的去雨能力。

由圖2可觀察到，合成雨紋與真實雨紋在顏色、亮度、形狀等都存在著巨大差異。為最小化合成雨圖和真實雨圖的差別，本文設計了圖3的半監督匹配網絡結構，并從數據分布和特征對齊兩個角度出發，根據合成雨圖和真實雨圖的概率分布距離以及二階統計特征距離信息提出損失值函數為：

圖2 合成雨圖和真實雨圖的差異Fig. 2 Difference between synthetic and real-world rainy images

圖3 半監督匹配網絡的詳細結構Fig. 3 Detailed structure of semi-supervised matching network

根據最大均值差異（Maximum Mean Discrepancy， MMD）理論，兩個樣本均值差異等于零則兩個樣本分布相同，本文提出損失函數用于最小化合成雨圖和真實雨圖的一階信息均值向量的距離：

圖4 半監督匹配網絡中的特征分布對齊Fig. 4 Feature distribution alignment in semi-supervised matching network

1.2 多尺度去雨網絡

不同尺度的網絡訓練過程中可以獲得相互補充的信息，其中低分辨率網絡可以捕獲給定雨天圖像的外觀細節，高分辨率網絡可以保留給定雨天圖像的語義信息，因此本文引入了多尺度去雨網絡，網絡結構如圖5所示。

圖5 多尺度去雨網絡的詳細結構Fig. 5 Detailed structure of multi-scale de-raining network

多尺度去雨網絡包含多個多尺度去雨單元，每個多尺度去雨單元之間使用殘差連接［7］和密集連接［15］，其中殘差連接能更有效地將特征信息傳遞給更深網絡信息，而密集連接則可以把網絡中任意兩層連接，使網絡中每一層都能接收到前面所有層的特征輸入，最大化網絡信息接收的同時有效抑制訓練過程會出現的梯度消散問題。

在多尺度去雨單元中，首先使用具有不同內核和步長的池化操下采樣獲得多尺度特征：

隨后在每個尺度上使用卷積級聯模塊對每個尺度進行特征提取并實現去雨：

1.3 損失函數

為實現多尺度去雨網絡的去雨功能，本文先計算去雨后圖像和真實對照圖像的結構相似性，然后對取負值作為去雨網絡的損失函數值，最后通過反向傳播調整網絡參數優化去雨網絡。的計算式為：

2 實驗與結果分析

2.1 實驗配置及數據集

本文提出的完整網絡結構運行在GeForce RTX 3090顯卡，Ubuntu 18.04.5 LTS系統的Pytorch框架下。訓練過程中，從訓練數據集中隨機裁剪100個大小為的圖像對作為輸入，采用ADAM優化，初始學習率為，匹配損失函數權重為1，Batch size為16，尺度數為3，特征向量通道數為32。

本文采用經典的2個合成數據集Rain100L［16］、Rain100H［16］和收集的一個真實雨圖數據集進行模型訓練。最后，在上述2個經典合成數據集、泛化測試數據集Rain12［2］以及Yang等［16］、Zhang等［11］和Wang等［17］提出的3個真實雨圖數據集進行模型測試。

2.2 合成雨圖去雨實驗與分析

為客觀評估本文提出的基于半監督學習的去雨算法，選用結構相似度（Structural SIMilarity， SSIM）［18］和峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［11］作為評價指標，與當前的先進算法RESCAN（REcurrent Squeeze-and-excitation Context Aggregation Net）［8］、PreNet（Progressive image deraining Network）［19］、SSIR（Semi-Supervised transfer learning for Image Rain Removal）［13］以及JDNet（Joint Deraining Network）［20］在2個經典合成數據集Rain100H、Rain100L和泛化測試數據集Rain12上進行測試，結果如表1所示，本文算法的結果做了加粗顯示。

表1 不同去雨算法在測試數據集上的圖像質量評估指標（PSNR/SSIM）對比Tab. 1 Comparison of image quality evaluation indicators （PSNR/SSIM） among different de-raining algorithms on test datasets

通過分析表1可知：本文算法的峰值信噪比（PSNR）和結構相似度（SSIM）在數據集Rain100H、Rain100L上都優于其他算法；在數據集Rain100H上，本文算法在PSNR值上相較RESCAN算法、PreNet算法、SSIR算法、JDNet算法分別提高了4.76 dB、2.79 dB、8.21 dB、0.66 dB；本文算法在SSIM值上相較RESCAN算法、PreNet算法、SSIR算法、JDNet算法分別提高了0.09、0.04、0.22、0.01。綜上得出，本文算法在去除雨線和還原細節特征方面的性能都有很大的提高。雖然本文算法在合成數據集Rain12上的PSNR評價指標略低于JDNet，但是后續的實驗結果表明本文提出的半監督去雨算法在真實雨圖上的去雨效果明顯優于JDNet。

2.3 真實雨圖去雨實驗與分析

為了驗證本文提出的基于半監督的去雨算法在真實雨圖上的泛化能力，在Yang等［16］、Zhang等［11］和Wang等［17］提出的真實雨圖數據集進行測試，并且與RESCAN、JDNet兩個基于監督學習去雨算法以及SIRR和Syn2Real（Synthetic-to-Real transfer learning）兩個基于半監督學習去雨算法的去雨結果進行對比。由于真實雨圖沒有標簽圖像，只能通過視覺觀察圖像結果來評估性能，本文挑選了部分的測試結果，如圖6所示。

從去雨結果可觀察到，相較圖6（b）、（c）中的兩個基于監督學習的算法，本文提出的基于半監督學習的去雨算法能夠更好地去除真實雨天圖像中大部分雨線，同時擁有較少的細節丟失和顏色失真；而且相較圖6（d）、（e）中的兩個基于半監督學習的去雨算法，本文提出的基于半監督學習的算法在真實雨圖上的去雨效果有著較大的提升，并在雨線去除和背景保留上都表現出明顯優勢。

盡管本文提出的半監督去雨算法在上述真實雨圖數據集上取得了突出的去雨效果，但因為雨天圖像背景構成非常復雜，不同場景下的雨天圖像差別往往很大，如在鄉村田野與城市街道拍攝的雨天圖像在背景和雨紋的構成上都有著巨大的差異，這將導致真實雨圖訓練集的選擇會影響最終模型在不同場景下的去雨性能。但是，由于半監督真實雨圖訓練集的采集成本較低，無需相應的標簽背景圖，因此可在模型訓練時針對不同場景改變半監督真實雨圖訓練集的類型以提高不同場景下的去雨性能。

2.4 半監督匹配網絡應用實驗與分析

上述實驗結果表明本文提出的半監督算法在真實雨圖上的去雨效果都優于對比算法。為驗證本文提出的半監督算法中的核心半監督匹配網絡擁有較高的獨立性并同樣適用于其他去雨算法，且可以改善其他去雨算法在真實雨圖上泛化性差的問題，本文選取了2個基于監督學習的去雨算法RESCAN、JDNet，在其原有網絡基礎上加上本文提出的半監督匹配網絡，并在合成數據集Rain100H和本文收集的真實雨圖訓練集上進行訓練，最后在上述3個真實雨圖測試集上進行測試，測試結果如圖7所示。

從圖7結果可以看出，純監督學習的RESCAN和純監督學習的JDNet都存在著大量雨線殘留、部分區域紋理失真和圖像模糊等影響圖像質量的問題。在兩個網絡中分別添加半監督匹配網絡后，可以觀察到，基于半監督學習的RESCAN和JDNet可以更有效地去除雨痕并且保留背景圖像的細節信息，得到了更好的視覺性能。上述結果表明，本文提出的半監督算法的核心半監督匹配網絡擁有較高的獨立性，可以提升現有基于監督學習的去雨模型在真實雨天圖像上的去雨性能，使真實雨天圖像去雨后更接近真實的背景圖像。

圖6 不同算法在真實雨圖上的視覺比較Fig. 6 Visual comparison of different algorithms on real-world rainy images

圖7 RESCAN和JDNet應用半監督匹配網絡的去雨實驗結果Fig. 7 Experimental results of de-raining by RESCAN and JDNet using semi-supervised matching network

3 結語

本文針對單幅圖像去雨任務建立了一個基于半監督學習的端到端神經網絡。在實現去雨前，通過半監督匹配網絡利用合成雨圖和真實雨圖的一階均值向量信息以及二階協方差統計信息，最小化合成雨圖和真實雨圖的特征分布差異，提高去雨模型在真實世界雨圖上的泛化性。同時，本文提出了一個多尺度去雨網絡，通過殘差密集連接把多個去雨單元連接起來，充分提取多個尺度中的有效互補特征，實現了高效去雨。通過在數據集上的訓練與測試結果分析可得，本文算法不僅在合成數據集的PSNR和SSIM兩個評價指標上獲得了較高分值，而且對真實雨圖的去雨視覺效果相較其他算法得到了較大的提升。實驗也驗證了本文提出的半監督網絡具有較高的獨立性，可應用于現有其他監督去雨網絡，并能較大幅度改善該網絡在真實雨圖數據集上的去雨效果。

[1] KANG L W， LIN C W， FU Y H. Automatic single-image-based rain streaks removal via image decomposition ［J］. IEEE Transactions on Image Processing， 2012， 21（4）： 1742-1755.

[2] LI Y， TAN R T， GUO X J， et al. Rain streak removal using layer priors ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2736-2744.

[3] 黃靖，姜文，肖長詩，等.一種深度學習的單幅圖像去霧方法［J］.小型微型計算機系統，2018，39（8）：1882-1888.（HUANG J， JIANG W，XIAO C S， et al. Single image haze removal algorithm based on deep learning ［J］. Journal of Chinese Computer Systems， 2018， 39（8）： 1882-1888.）

[4] 徐愛生，唐麗娟，陳冠楠.注意力殘差網絡的單圖像去雨方法研究［J］.小型微型計算機系統，2020，41（6）：1281-1285.（XU A S， TANG L J，CHEN G N. Single image rain removal method based on attention mechanism ［J］. Journal of Chinese Computer Systems， 2020， 41（6）： 1281-1285.）

[5] FU X Y， HUANG J B， DING X H， et al. Clearing the skies： a deep network architecture for single-image rain removal ［J］. IEEE Transactions on Image Processing， 2017， 26（6）： 2944-2956.

[6] FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1715-1723.

[7] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2016： 770-778.

[8] LI X， WU J L， LIN Z C， et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 262-277.

[9] ZHANG H， PATEL V M. Convolutional sparse and low-rank coding-based rain streak removal ［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2017：1259-1267.

[10] ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：695-704.

[11] ZHANG H， SINDAGI V A， PATEL V M. Image de-raining using a conditional generative adversarial network ［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2020， 30（11）： 3943-3956.

[12] 李燁，許乾坤，李克東.面向圖像復原的殘差密集生成對抗網絡新方法［J］.小型微型計算機系統，2020，41（4）：830-836.（LI Y， XU Q K， LI K D. New method of residual dense generative adversarial networks for image restoration ［J］. Journal of Chinese Computer Systems， 2020，41（4）： 830-836.）

[13] WEI W， MENG D Y， ZHAO Q， et al. Semi-supervised transfer learning for image rain removal ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 3872-3881.

[14] YASARLA R， SINDAGI V A， PATEL V M. Syn2Real transfer learning for image deraining using Gaussian processes ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2020： 2723-2733.

[15] HUANG G， LIU Z， MAATEN L van der， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 2261-2269.

[16] YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1685-1694.

[17] WANG T Y， YANG X， XU K， et al. Spatial attentive single-image deraining with a high quality real rain dataset ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12262-12271.

[18] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[19] REN D W， ZUO W M， HU Q H， et al. Progressive image deraining networks： a better and simpler baseline ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：3937-3946.

[20] WANG C， WU Y T， SU Z X， et al. Joint self-attention and scale-aggregation for self-calibrated deraining network ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 2517-2525.

Single image de-raining algorithm based on semi-supervised learning

QIU Yongru， YAO Guangle*， FENG Jie， CUI Haoyu

（College of Computer Science and Cyber Security（Oxford Brookes College），Chengdu University of Technology，Chengdu Sichuan610059，China）

The images collected in rainy days usually have some phenomena that affect the image quality， such as the background object blocked by rain streaks and the image deformation， which have serious impact on the subsequent image analysis and application. Recently，numerous de-raining algorithms based on deep learning have been proposed and achieve good results. Most algorithms adopt supervised learning， that is， training the model on the synthetic rainy image dataset with paired labels due to the difficulty in acquiring clean background images without rain streaks from real-world rainy images. However， there are differences between synthetic and real-world rainy images on brightness， transparency， and shape of rain streaks. Thus， most de-raining algorithms based on supervised learning have poor generalization ability to real-world rainy images. Therefore， in order to improve the rain removal effect of de-raining models on the real-world rainy images， a single image de-raining algorithm based on semi-supervised learning was proposed. In the model training process of the proposed algorithm， the synthetic and real-world rainy images were added， and the difference of the first-order and second-order statistic information of feature vectors converted from the both input images were minimized to make the features of the both have same distribution. Meanwhile， in view of the complex and diverse characteristics of rain streaks， a multi-scale network was introduced to obtain richer image features and improve the performance of model. Experimental results show that， on the Rain100H dataset of synthetic rainy images， compared with Joint Deraining Network （JDNet）， Synthetic-to-Real transfer learning （Syn2Real）， the proposed algorithm improves the Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） by at least 0.66 dB and 0.01 respectively. While removing rain streaks， the proposed algorithm can retain image details and color information to the greatest extent. At the same time， with the reduction of distribution discrepancy， the proposed algorithm achieves better performance on the real-world rainy images with strong generalization ability， compared with the de-raining algorithms such as JDNet and Syn2Real. The proposed algorithm is highly independent， can be applied to the existing de-raining algorithms based on supervised learning and significantly improve their de-raining effects.

single image de-raining; semi-supervised learning; multi-scale network; deep learning; dense residual connection

TP391.41

A

1001-9081（2022）05-1577-06

10.11772/j.issn.1001-9081.2021030492

2021?04?02；

2021?06?08；

2021?06?08。

四川省重點研發計劃項目（2020YFG0169）。

邱永茹（1998—），女，廣東湛江人，主要研究方向：圖像復原、深度學習網絡結構； 姚光樂（1985—），男，河南三門峽人，副教授，博士，主要研究方向：人工智能，計算機視覺； 馮杰（1995—），男，四川南充人，碩士研究生，主要研究方向：圖像去雨、遙感圖像處理、半監督學習； 崔昊宇（2000—），男，吉林伊通人，主要研究方向：計算機視覺、人工智能。

This work is partially supported by Key Science and Technology Program of Sichuan Province （2020YFG0169）.

QIU Yongru， born in 1998. Her research interests include image restoration， deep learning network structure.

YAO Guangle， born in 1985， Ph. D.， associate professor. His research interests include artificial intelligence， computer vision.

FENG Jie， born in 1995， M. S. candidate. His research interests include image de-raining， remote sensing image processing， semi-supervised learning.

CUI Haoyu， born in 2000. His research interests include computer vision， artificial intelligence.