單幅圖像去雨算法研究現狀及展望

摘 要： 圖像去雨算法通過對有雨圖像進行分析和處理從而去除雨水條紋，恢復干凈的背景場景，有助于提升計算機視覺任務識別精度，因此成為當下的研究熱點。為系統地了解該領域的研究現狀和發展趨勢，首先介紹了典型的雨水合成模型，其次從基于模型驅動和基于數據驅動兩個方面重點分析了典型圖像去雨算法模型和方法；之后比較了去雨圖像質量評價指標及雨水數據集；最后，對單幅圖像去雨算法未來發展趨勢進行了展望。

關鍵詞： 圖像去雨； 圖像復原； 深度學習； 卷積神經網絡

中圖分類號： TP391.41"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-002-0009-09

doi：10.19734/j.issn.1001-3695.2021.05.0209

Research status and prospect of single image rain removal algorithm

Chen Shuman， Chen Wei， Yin Zhong

（School of Optical-Electrical amp; Computer Engineering， University of Shanghai for Science amp; Technology， Shanghai 200093， China）

Abstract： The image rain removal algorithm analyzes and processes rain images to remove rain streaks and restore clean background scenes，which helps to improve the recognition accuracy of computer vision task，so that it becomes a hot spot in current research.In order to systematically understand the current research status and development trends in this field.Firstly，this paper introduced some typical synthetic rain models.Secondly，it analyzed typical image rain removal algorithm models and methods from two aspects，such as model-driven and data-driven.Then it compared the algorithm evaluation metrics and public rain datasets respectively.Finally，this paper prospected the future development trend of single image rain removal algorithms.

Key words： image deraining； image restoration； deep learning； convolutional neural networks

0 引言

根據人類對圖像的主觀視覺效果，惡劣天氣一般可分為如雨、雪、冰雹的動態天氣和包括霧、霾等的靜態天氣。戶外拍攝的圖像大多會受到天氣的影響，而圖像質量將會影響計算機視覺系統性能，例如行人檢測、路標識別、視覺跟蹤、自動駕駛等。雨水天氣下，雨條紋會造成背景圖像的細節被覆蓋或者丟失，而在大雨中，遠處的雨水條紋積累形成雨水聚集，其效果類似霧或霾，會對光線產生散射，導致場景對比度及能見度顯著降低，圖像質量明顯退化。因此需要去雨算法對圖像進行預處理，確保計算機視覺系統的運行。圖像去雨算法旨在從因雨水條紋和雨水聚集等退化因子影響而退化的圖像中恢復干凈的背景場景。

2012年，單幅圖像去雨算法首次被提出［1］，早期圖像去雨算法主要采用稀疏編碼和字典學習去除圖像中的雨水條紋；近年來，隨著深度學習理論和技術的發展，針對底層視覺任務，如超分辨率、圖片去噪、去霧的卷積神經網絡也不斷被提出；2017年后，基于深度學習的圖像去雨方法迅速發展。這些方法利用深度網絡自動提取層次特征，因此能夠模擬從有雨圖像到干凈背景圖像的更復雜的映射。單幅圖像去雨算法主要可分為以下兩類［2］：

a）基于模型驅動的圖像去雨算法。該類方法利用圖像的先驗知識，如雨條紋的方向、密度和尺寸等約束去雨問題及去雨模型，再通過設計優化算法進行求解，從而獲得干凈無雨的圖像。具體的算法有基于圖像分解的算法［1］、判別性稀疏編碼算法［3］、聯合雙層優化算法［4］、定向全局稀疏模型［5］、高斯混合模型［6］等。

b）基于數據驅動的圖像去雨算法。以深度學習為代表，通過構建神經網絡，利用成對的雨條紋標簽和干凈無雨圖像來學習有雨到無雨的非線性映射。具體的算法有JORDER［7］、DetailNet［8，9］、Scale-Aware［10］、RESCAN［11］、DID-MDN［12］、PyramidDerain［13］、UMRL［14］等。但其全監督的訓練方式依賴于成對的帶標簽的數據集，而真實成對的有雨/無雨圖像則難以獲取，人工合成的降雨圖像與實際降雨圖像之間的差別會導致模型去雨效果不理想，因此引入了生成對抗網絡［15］，如基于AttGAN［16］、CGAN［17］、HeavyRainRestorer［18］模型，以及一些半監督/無監督的方法，如semi-supervised CNN［19］、UD-GAN［20］等。在這類算法的基礎上出現了眾多的基于深度學習的改進算法。

圖1按提出時間順序給出了單幅圖像去雨算法的發展歷程。

5 討論與展望

雨天拍攝的圖像出現的質量退化現象制約了戶外計算機視覺系統與算法的應用，如自動駕駛、視頻監控、賽事轉播等。因此雨天降質圖像的去雨處理是計算機視覺領域中的重要問題與研究熱點。從視頻去雨到單幅圖像去雨，從基于模型驅動到基于數據驅動，圖像去雨算法取得了極大的發展。

一般來說，基于模型驅動的單幅圖像去雨算法利用多種方法提取有雨/無雨圖像先驗知識以提高去雨性能，對成對數據集的依賴性較小，無須預處理過程，適用于任何類型的有雨圖像，但合適的先驗知識較難獲取，且該類方法一般未考慮雨霧等因素的影響。基于數據驅動的去雨方法通過構建深度學習網絡結構，直接學習有雨圖像到無雨圖像的映射，更有效地利用了圖像的深層特征，通過注入降雨相關的先驗知識，該類方法可以同時處理雨水條紋、雨水聚集等雨天圖像問題，從而獲得更好的去雨效果，但該類方法對數據集的依賴程度較高。

盡管近年來單幅圖像去雨研究領域取得了極大的進步，但由于去雨問題自身的特殊性，無論是基于模型驅動還是數據驅動的方法都容易出現背景過于平滑或雨條紋殘留問題。在未來的研究中，以下幾點仍有可能是今后圖像去雨領域的研究重點和難點：

a）更加精確的雨水模型?，F有的雨水模型只能覆蓋有限尺度、形狀、方向的雨條紋，而在實際中，環境、距離、風向等因素對雨條紋都將產生影響，因此實際中雨條紋的出現是多樣的。在訓練過程中，當雨條紋與雨水模型不一致時，去雨算法往往不能很好地去除雨水條紋。

b）更加真實的雨天圖像數據集。與基于模型驅動的去雨算法相比，基于數據驅動的算法能夠取得更好的效果，但由于在實際應用中很難拍攝到一組相同背景的有雨圖像和無雨圖像，目前許多基于深度學習的方法都依賴于人工合成的降雨圖像來訓練網絡，雖然合成圖像在一定程度上能夠擬合自然環境，但仍存在差異。

c）減少數據依賴性。目前單幅圖像去雨算法大多數依賴于監督學習，極大程度上依賴于訓練數據，但成對的真實有雨/無雨圖像難以獲得，合成雨天圖像與真實降雨圖像存在差別。因此未來單幅圖像去雨算法應減少對數據集的依賴，更多利用半監督或無監督學習來增強算法的泛化能力。

d）更加準確的度量方法?，F有的圖像質量評價方法還不能捕捉到人類的真實視覺感受，去雨算法的客觀評價方法仍需要進一步建立和完善。對于人類視覺而言，應該設計度量方法來模擬降雨圖像與去雨圖像之間的差異，并描述人類對于不同去雨結果的偏好；對于機器視覺而言，應該考慮在雨天條件下高級視覺任務的性能。

e）更加簡便、魯棒性更強的算法框架。目前，圖像去雨各類算法運行時間大多數不足以滿足實時處理（30 fps）的要求，如何加速現有方法也是一大挑戰。目前去雨算法利用合成雨水圖像，忽略了訓練樣本與測試樣本之間的偏差，從而只對白天圖像上存在的均勻分布的雨條紋有較好的去雨效果，真實世界中雨條紋可能分布不均，或為夜間降雨圖像，因此找到一種適用范圍更廣的去雨算法將是一個具有挑戰性的課題。

6 結束語

本文介紹了幾種典型的雨水合成模型，詳細分析了目前應用最為廣泛的兩類單幅圖像去雨算法的框架，即基于模型驅動的去雨算法和基于數據驅動的去雨算法框架，并介紹了圖像去雨算法的度量方法及公開數據集。通過對單幅圖像去雨算法進行廣泛研究和分析比較，旨在全面介紹單幅圖像去雨算法自提出以來的研究發展情況，分析提出單幅圖像去雨的研究重點和發展方向。

參考文獻：

［1］Kang Liwei，Lin C W，Fu Y H.Automatic single-image-based rain streaks removal via image decomposition［J］.IEEE Trans on Image Processing，2012，21（4）：1742-1755.

［2］Yang Wenhan，Tan R T，Wang Shiqi，et al.Single image deraining：from model-based to data-driven and beyond［J/OL］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020.http：//doi.org/10.1109/tpami.2020.2995190.

［3］Luo Yu，Xu Yong，Ji Hui.Removing rain from a single image via discriminative sparse coding［C］//Proc of IEEE International Confe-rence on Computer Vision.Washington DC：IEEE Computer Society，2015：3397-3405.

［4］Zhu Lei，Fu C W，Lischinski D，et al.Joint bi-layer optimization for single-image rain streak removal［C］//Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer Society，2017：2545-2553.

［5］Deng Liangjian，Huang Tingzhu，Zhao Xile，et al.A directional global sparse model for single image rain removal［J］.Applied Mathematical Modelling，2018，59（7）：662-679.

［6］Li Yu，Tan R T，Guo Xiaojie，et al.Rain streak removal using layer priors［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：2736-2744.

［7］Yang Wenhan，Tan R T，Feng Jiashi，et al.Deep joint rain detection and removal from a single image［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.2017：1685-1694.

［8］Fu Xueyang，Huang Jiabin，Zeng Delu，et al.Removing rain from single images via a deep detail network［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：1715-1723.

［9］Fu Xueyang，Huang Jiabin，Ding Xinghao，et al.Clearing the skies：a deep network architecture for single-image rain removal［J］.IEEE Trans on Image Processing，2017，26（6）：2944-2956.

［10］Li Ruoteng，Cheong L F，Tan R T.Single image deraining using scale-aware multi-stage recurrent network［EB/OL］. （2017-12-19）.https：//arxiv.org/pdf/1712.06830.pdf.

［11］Li Xia，Wu Jianlong，Lin Zhouchen，et al.Recurrent squeeze-and-excitation context aggregation net for single image deraining［C］//Proc of the 15th European Conference on Computer Vision.Cham：Springer，2018：262-277.

［12］Zhang He，Patel V M.Density-aware single image de-raining using a multi-stream dense network［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：695-704.

［13］Fu Xueyang，Liang Borong，Huang Yue，et al.Lightweight pyramid networks for image deraining［J］.IEEE Trans on Neural Networks and Learning Systems，2020，31（6）：1794-1807.

［14］Yasarla R，Patel V M.Uncertainty guided multi-scale residual lear-ning-using a cycle spinning CNN for single image de-raining［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2019：8397-8406.

［15］Goodfellow I，Pouget-Abadie J，Mirza M，et al.Generative adversarial nets［C］//Proc of the 27th International Conference on Neural Information Processing Systems.Cambridge，MA：MIT Press，2014：2672-2680.

［16］Qian Rui，Tan R T，Yang Wenhan，et al.Attentive generative adversa-rial network for raindrop removal from a single image［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：2482-2491.

［17］Zhang He，Sindagi V，Patel V M.Image de-raining using a conditional generative adversarial network［J］.IEEE Trans on Circuits and Systems for Video Technology，2020，30（11）：3943-3956.

［18］Li Ruoteng，Cheong L F，Tan R T.Heavy rain image restoration：integrating physics model and conditional adversarial learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2019：1633-1642.

［19］Wei Wei，Meng Deyu，Zhao Qian，et al.Semi-supervised transfer learning for image rain removal［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3872-3881.

［20］Jin Xin，Chen Zhibo，Lin Jianxin，et al.Unsupervised single image deraining with self-supervised constraints［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2019：2761-2765.

［21］Garg K，Nayar S K.Vision and rain［J］.International Journal of Computer Vision，2007，75（1）：3-27.

［22］Liu Jiaying，Yang Wenhan，Yang Shuai，et al.Erase or fill？ Deep joint recurrent rain removal and reconstruction in videos［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3233-3242.

［23］Yang Wenhan，Liu Jiaying，Feng Jiashi.Frame-consistent recurrent video deraining with dual-level flow［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：1661-1670.

［24］Hu Xiaowei，Fu C W，Zhu Lei，et al.Depth-attentional features for single-image rain removal［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：8014-8023.

［25］Elad M，Aharon M.Image denoising via learned dictionaries and sparse representation［C］//Proc of IEEE Computer Society Confe-rence on Computer Vision amp; Pattern Recognition.Washington DC：IEEE Computer Society，2006：895-900.

［26］Huang Dean，Kang Liwei，Yang Minchun，et al.Context-aware single image rain removal［C］//Proc of IEEE International Conference on Multimedia and Expo.Piscataway，NJ：IEEE Press，2012：164-169.

［27］Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter［C］//Proc of IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2013：914-917.

［28］Chen Duanyu，Chen Chiencheng，Kang Liwei.Visual depth guided color image rain streaks removal using sparse coding［J］.IEEE Trans on Circuits and Systems for Video Technology，2014，24（8）：1430-1455.

［29］肖進勝，王文，鄒文濤，等.基于景深和稀疏編碼的圖像去雨算法［J］.計算機學報，2019，42（9）：2024-2034. （Xiao Jinsheng，Wang Wen，Zou Wentao，et al.An image rain removal algorithm via depth of field and sparse coding［J］.Chinese Journal of Computers，2019，42（9）：2024-2034.）

［30］Son C H，Zhang Xiaoping.Rain detection and removal via shrinkage-based sparse coding and learned rain dictionary［J］.Journal of Imaging Science and Technology，2020，64（3）：30501.

［31］湯紅忠，劉婷，曾淑英，等.群稀疏殘差約束的引導字典學習算法及其單幅圖像去雨［J］.計算機輔助設計與圖形學學報，2020，32（8）：1267-1277. （Tang Hongzhong，Liu Ting，Zeng Shuying，et al.Guided dictionary learning algorithm with group sparse residual constraints for single image deraining［J］.Journal of Computer-Aided Design amp; Computer Graphics，2020，32（8）：1267-1277.）

［32］Luo Yu，Ling Jie.Single-image de-raining using low-rank matrix approximation［J］.Neural Computing and Applications，2020，32（11）：7503-7514.

［33］Wang Hong，Xie Qi，Zhao Qian，et al.A model-driven deep neural network for single image rain removal［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3100-3109.

［34］LeCun Y，Bengio Y，Hinton G.Deep learning［J］.Nature，2015，521（7553）：436-444.

［35］Eigen D，Krishnan D，Fergus R.Restoring an image taken through a window covered with dirt or rain［C］//Proc of IEEE International Conference on Computer Vision.Washington DC：IEEE Computer Society，2013：633-640.

［36］Fan Zhiwen，Wu Huafeng，Fu Xueyang，et al.Residual-guide network for single image deraining［C］//Proc of the 26th ACM International Conference on Multimedia.New York：ACM Press，2018：1751-1759.

［37］Ren Dongwei，Zuo Wangmeng，Hu Qinghua，et al.Progressive image deraining networks：a better and simpler baseline［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：3932-3941.

［38］Li Guanbin，He Xiang，Zhang Wei，et al.Non-locally enhanced encoder-decoder network for single image de-raining［C］//Proc of the 26th ACM International Conference on Multimedia.New York：ACM Press，2018：1056-1064.

［39］Hu Jie，Shen Li，Albanie S，et al.Squeeze-and-excitation networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

［40］Mirza M，Osindero S.Conditional generative adversarial nets［EB/OL］. （2014-11-06）.https：//arxiv.org/pdf/1411.1784.pdf.

［41］Pan Jinshan，Liu Sifei，Sun Deqing，et al.Learning dual convolutional neural networks for low-level vision［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：3070-3079.

［42］Wang Tianyu，Yang Xin，Xu Ke，et al.Spatial attentive single-image deraining with a high quality real rain dataset［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：12262-12271.

［43］Yang Wenhan，Tan R T，Feng Jiashi，et al.Joint rain detection and removal from a single image with contextualized deep networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（6）：1377-1393.

［44］王美華，何海君，李超.自適應卷積的殘差修正單幅圖像去雨［J］.中國圖象圖形學報，2020，25（12）：2484-2493. （Wang Meihua，He Haijun，Li Chao.Single image rain removal based on selective kernel convolution using a residual refine factor［J］.Journal of Image and Graphics，2020，25（12）：2484-2493.）

［45］Shi Zhenghao，Feng Y，Zhao Minghua， et al.A joint deep neural networks-based method for single nighttime rainy image enhancement［J］.Neural Computing and Applications，2020，32（7）：1913-1926.

［46］張焱，張娟，方志軍.基于通道注意力和門控循環單元的圖像去雨算法［J］.計算機應用研究，2021，38（8）：2505-2509. （Zhang Yan，Zhang Juan，Fang Zhijun.Image rain removal algorithm based on channel attention and gated recurrent unit［J］.Application Research of Computers，2021，38（8）：2505-2509.）

［47］Bi Xiaojun，Xing Junyao.Multi-scale weighted fusion attentive generative adversarial network for single image de-raining［J］.IEEE Access，2020，8：69838-69848.

［48］Chen Kaizheng，Dai Yaping，Jia Zhiyang，et al.Single image de-raining using spinning detail perceptual generative adversarial networks［J］.Journal of Advanced Computational Intelligence and Intelligent Informatics，2020，24（7）：811-819.

［49］Jin Xin，Chen Zhibo，Li Weiping.AI-GAN：asynchronous interactive generative adversarial network for single image rain removal［J］.Pattern Recognition，2019，100（4）：107143.

［50］Mi Ying，Yuan Shihua，Li Xueyuan，et al.Dense residual generative adversarial network for rapid rain removal［J］.IEEE Access，2021，9：24848-24858.

［51］Wang Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13（4）：600-612.

［52］Welstead S.Fractal and wavelet image compression techniques［M］//Storage amp; Retrieval for Image amp; Video Databases.Bellingham，WA：Society of Photo-Optical Instrumentation Engineers，1999.

［53］Sheikh H R，Bovik A C.Image information and visual quality［J］.IEEE Trans on Image Processing，2006，15（2）：430-444.

［54］Zhang Lin，Zhang Lei，Mou Xuanqin，et al.FSIM：a feature similarity index for image quality assessment［J］.IEEE Trans on Image Processing，2011，20（8）：2378-2386.

［55］Mittal A，Soundararajan R，Bovik A C，et al.Making a “completely blind” image quality analyzer［J］.IEEE Signal Processing Letters，2013，20（3）：209-212.

［56］Venkatanath N，Praneeth D，Bh Chandrasekhar M，et al.Blind image quality evaluation using perception based features［C］//Proc of the 21st National Conference on Communications.Piscataway，NJ：IEEE Press，2015：1-6.

［57］Mittal A，Moorthy A K，Bovik A C.Blind/referenceless image spatial quality evaluator［C］//Proc of the 45th Asilomar Conference on Signals，Systems and Computers.Piscataway，NJ：IEEE Press，2011：723-727.

［58］Zhang Lin，Zhang Lei，Bovik A C.A feature-enriched completely blind image quality evaluator［J］.IEEE Trans on Image Processing，2015，24（8）：2579-2591.

［59］Liu Lixiong，Liu Bao，Huang Hua， et al.No-reference image quality assessment based on spatial and spectral entropies［J］.Signal Processing：Image Communication，2014，29（8）：856-863.

［60］Ma Chao，Yang C Y，Yang Xiaokang，et al.Learning a no-reference quality metric for single-image super-resolution［J］.Computer Vision and Image Understanding，2017，158（5）：1-16.

［61］Chen Xiaoqiao，Zhang Qingyi，Lin Manhui， et al.No-reference color image quality assessment：from entropy to perceptual quality［J］.EURASIP Journal on Image and Video Processing，2019，2019（9）：article No.77.

［62］Gabarda S，G Cristóbal.Blind image quality assessment through anisotropy［J］.Journal of the Optical Society of America A，2007，24（12）：42-51.

［63］Zhang Lin，Zhang Lei，Bovik A C.A feature-enriched completely blind image quality evaluator［J］.IEEE Trans on Image Processing，2015，24（8）：2579-2591.

［64］Saad M A，Bovik A C，Charrier C.A DCT statistics-based blind image quality index［J］.IEEE Signal Processing Letters，2010，17（6）：583-586.

［65］Schaefer G，Stich M.UCID：an uncompressed color image database［C］//Proc of SPIE 5307，Storage and Retrieval Methods and Applications for Multimedia.2004：472-480.

［66］Li Siyuan，Araujo I B，Ren Wenqi，et al.Single image deraining：a comprehensive benchmark analysis［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3833-3842.

［67］Godard C，Aodha O M，Brostow G J.Unsupervised monocular depth estimation with left-right consistency［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：6602-6611.