基于多特征交互和密集殘差的圖像去雨

摘要 針對雨天環境下獲取圖像質量差，導致后續機器視覺任務效率低下的問題，提出一種基于多特征交互和密集殘差的圖像去雨算法．首先，提出多重特征交互卷積模塊提取不同空間下雨線的語義特征，增強信息利用程度;其次，構建多維空間權重注意模塊，將不同空間信息權重初步融合并增強雨線特征;然后，結合密集連接和殘差網絡的優點，設計一種密集殘差融合模塊，在提高網絡學習能力的同時實現對信息的重復利用，進一步校正雨紋信息;最后，通過將多種損失函數線性組合，并結合雨天成像模型提高輸出圖像質量．在多個公開數據集上的實驗結果表明，本文所提算法的主客觀評價指標均優于所對比的經典及新穎算法，在去除雨紋的同時能更有效地保留圖像背景細節信息．關鍵詞圖像去雨;機器視覺;密集殘差;深度學習

中圖分類號TP391.41文獻標志碼A

0引言

雨天是一種常見的惡劣天氣［1］．在雨天拍攝的圖像通常會出現模糊、變形、對比度差等圖像質量問題，這不僅嚴重影響人類的視覺感知，還會降低目標檢測［2］、車輛識別［3］等基于機器視覺系統任務的穩定性和準確性，從而影響工作效率．因此，研究圖像去雨技術具有重要現實意義．

圖像去雨任務作為計算機視覺領域的上游任務，得到國內外很多學者的關注與研究，并取得較為顯著的進展．單幅圖像去雨算法可分為兩類，即基于傳統的算法和基于深度學習的算法．傳統算法大多將去雨看作圖像分解問題，例如：Kim等［4］提出一種針對單幅圖像的自適應雨紋去除算法，首先檢測雨痕區域，然后對該區域執行非局部均值濾波進而實現雨水去除;Luo等［5］提出一種單圖像去雨算法，即通過強互斥性的字典學習逼近雨層和背景層，使用高判別性的稀疏編碼準確地分離出雨層和背景層;Li等［6］提出基于高斯混合模型的去雨算法，使用圖像的先驗信息去雨，可以適應圖像中多種類型和方向的雨紋;Chang等［7］提出一種用于去除線性噪聲的新型變換低秩圖像分解框架，用來分離圖像背景層和雨紋層，實現單幅圖像去雨．基于傳統的算法可以去除圖像中的細微雨痕和方向、形狀等較為規則的雨線，對于密集雨紋圖像效果不佳，同時，由于算法設計過于復雜，模型運算時間冗長，難以應用于實際雨天環境中．

近年來，深度學習在圖像處理領域被廣泛應用，基于深度學習的圖像去雨算法興起并迅速發展，其模型性能和效果都表現得比較理想．Deng等［8］構建由殘差網絡和細節修復網絡組成的雙分支并行網絡，前者去除雨痕，后者進行圖像細節恢復，同時引入了兩個具有綜合損失函數的并行子網絡進行協同去雨并恢復去雨時丟失的細節信息;Jiang等［9］提出多尺度漸進融合網絡用于圖像雨痕的去除，構建了多尺度金字塔結構，并進一步引入注意力機制來指導這些來自不同尺度的相關信息的精細融合;Zhang等［10］基于條件式生成對抗的去雨網絡，設計密集連接的生成器子網絡實現圖像雨水去除，提出一種多尺度鑒別器利用局部和全局信息來確定相應的去雨圖像的真偽;Huang等［11］提出一種面向內存的半監督方法來獲取清晰圖像；Zhou等［12］提出一種參數重要度引導的權重修正方法，在解決傳統深度卷積神經網絡災難性遺忘的同時，獲得清晰的去雨圖像;Zheng等［13］提出一種基于對比學習的分段感知漸進網絡用于單幅圖像去雨，該方法可以顯著擴展圖像的感受域并保留圖像的語義信息．

雖然上述深度學習算法在一定程度上可以去除雨紋并輸出清晰圖像，但是就背景細節及紋理信息的完整性方面仍有較大提升空間．鑒于此，本文提出一種基于多特征交互和密集殘差的圖像去雨算法，旨在有效去除雨條紋的同時更好地保留圖像的紋理細節信息．本文主要貢獻如下：

1）提出一種多重特征交互卷積模塊，使用多種卷積分支提取不同空間下雨線的語義特征，提高信息利用程度;

2）構建一種多維空間權重注意模塊，通過權重轉移的方式提升網絡對雨線與背景層的辨識度，達到初步分離背景層和增強雨紋特征的目的．

3）設計一種密集殘差融合模塊來融合雨紋層相關特征信息，兼顧了網絡深度和信息利用程度，提高獲取的雨層圖像的完整性．此外，構建多個損失函數的線性組合來約束網絡，并結合雨天成像模型，提高輸出圖像質量．

1相關理論

1.1雨天成像模型

雨天成像模型如圖1所示，即將雨天圖像O（x）看作為干凈的圖像背景層B（x）和雨紋層R（x）的疊加，通過將有雨圖像中干凈的背景層分離出來實現圖像去雨．

1.2殘差網絡

模型精度會隨著網絡加深而提高，然而當層級越來越高時，訓練與測試精度會迅速下滑，導致網絡性能嚴重下降［15］．為此，文獻［16］提出殘差網絡（Residual Networks，ResNets），將殘差連接應用于深度網絡時，可較好地改善訓練過程中因梯度消失而導致的網絡性能下降問題．如圖2所示，將輸入直接添加到輸出中，使高層專注于殘差的學習，避免低層特征丟失導致模型退化．圖2殘差模塊

1.3密集連接卷積網絡

相較于殘差網絡，密集連接卷積網絡［17］（Dense Connected Convolutional Networks，DenseNets）可以最大化層與層之間的信息傳輸．如圖3所示，將模塊中前層輸出的特征傳遞給之后的所有層，將信息重復利用致使少量卷積核仍可處理大量特征信息，緩解梯度消失等問題．

2本文方法

本文設計了一種基于多特征交互和密集殘差的圖像去雨算法，通過兼顧深度學習網絡的特征提取能力與信息間關聯程度的方式來提高算法在圖像去雨任務中的準確度與魯棒性，并提高圖像信息對后續任務的利用率，進而提高工作效率．

2.1網絡結構

本文所提網絡結構如圖4所示，包括多重特征交互卷積模塊（Multi-feature Interactive Convolution Module，MICM）、多維空間權重注意模塊（Multidimensional Space Weight Attention Module，MSWAM）和密集殘差融合模塊（Dense Residual Fusion Module，DRFM）．首先，通過多重特征交互卷積模塊提取輸入雨圖的淺層空間特征信息;其次，利用多維空間權重注意模塊對圖像雨紋層信息進行增強，對已提取的空間特征信息進行更高層語義特征學習進而獲得不同形狀、尺寸的雨紋多維度特征，以確保提取完整的雨紋特征信息;然后，結合殘差連接與密集連接的優點，提出密集殘差融合模塊，在增加網絡深度的同時實現對信息重復利用，對多分支特征進行深層融合;最后，通過下采樣對雨紋層圖像實現特征重構，結合雨天線性成像模型，得到去除雨紋的清晰圖像．下面將詳細介紹各模塊

2.2多維空間權重注意模塊

為確保在提取雨紋不同尺度特征信息的同時抑制無用信息進一步傳遞，提出多維空間權重注意模塊MSWAM，模塊組成如圖5所示．

該模塊包括3條分支，每條分支主要由卷積（Conv）和Sigmoid激活函數組成．經過圖像淺層特征提取后，將特征圖輸入到3條分支，即分別使用1×1、3×3、5×5大小的卷積來收集不同尺度的多維空間特征信息．其中，1×1卷積單元用于提取圖像的細微特征、5×5卷積單元用于擴大感受野、3×3卷積單元則作為該模塊的主干分支，用于傳輸完整的空間特征信息．最后使用Sigmoid激活函數輸出．其公式如下：

為避免特征信息的丟失，使用元素相乘操作將大尺度特征結合到鄰級小尺度中，在提高信息關聯程度的同時進一步擴大小尺度特征的感受野，利用卷積操作提取輸入圖像的不同特征信息.但由于使用單一激活函數會出現訓練緩慢甚至梯度消失等現象，由式（2）可知，ReLU激活函數是非線性函數，當輸入大于零時，函數可有效維持原有輸出;當輸入小于零時，輸出為零．因此，該函數在一定程度上可抑制無效特征．卷積層后使用該激活函數可以幫助網絡更好地學習和捕獲圖像特征，即在Conv3×3支路中加入Conv-ReLU組合，以降低維度，緩解學習壓力，提高網絡性能和可靠性．

使用與主干分支大小相等的卷積單元提高相應分支的特征維度，最后，將ReLU和Sigmoid激活函數結合，不僅可以抑制無用信息，還可以利用Sigmoid激活函數特征轉移權重．公式為

2.3密集殘差融合模塊

為了解決隨著網絡深度增加導致的梯度消失或淺層信息丟失等問題，有效提高圖像去雨性能，深度學習網絡通常會引入殘差模塊改進網絡結構．

傳統殘差塊雖然可以解決深層網絡梯度消失或梯度爆炸等問題，但由于連接單一，無法充分連接內部卷積，從而降低卷積間特征利用率．因此，本文設計了密集殘差融合模塊DRFM，如圖6所示．該模塊由4個Block組合塊和1個3×3卷積單元組成，其中，4個Block組合塊通過密集連接操作將其內部的所有卷積單元進行連接，在保證模塊內層與層之間可以最大程度傳輸特征信息的同時，又解決了因網絡深度過大引起的特征信息丟失問題．同時考慮到網絡速度問題，在網絡中添加全局跳躍連接使得網絡更容易訓練．

Block組合塊由BN層、卷積核（Conv）、ReLU激活函數組成．其中：BN層主要用于將輸入雨圖的特征值調整到相近范圍，防止因特征值差距過大導致梯度消失問題，提高信息表征能力［18］;1×1卷積單元用于降維操作，緩解網絡學習壓力;3×3卷積單元則用于實現特征信息融合．利用密集殘差融合模塊來提取深度特征，通過密集連接將低層的輸出直接傳輸到后續層，實現特征重復利用．

2.4損失函數采用多種損失函數的線性組合來訓練網絡，具體如下：

3實驗結果與分析

為驗證本文方法的效果，使用主觀和客觀評價2種方式對比分析，以保證測評的真實性與準確性．

3.1數據集與訓練準備

實驗環境如表1所示，優化器為Adam，批量大小（Batch Size）設置為4，共訓練60個epoch，前40 epoch的學習率為10-3，后20 epoch的學習率降為10-5．

選擇最近的公開源代碼的去雨算法進行對比試驗，其中包括經典的去雨算法DiG-CoM［22］和基于深度學習的去雨算法GCANet［23］、RESCAN［24］、PReNet［25］，BRN［26］以及SAPNet［13］．對于沒有提供訓練代碼的方法，直接采用提供的預訓練模型進行測試．由于實際中難以獲得同一狀態下完全一致的有雨及無雨的真實圖像，基于深度學習網絡的圖像去雨算法大多使用合成數據提升網絡去雨能力．本文使用4個合成雨天圖像數據集Rain200H［27］、Rain200L［27］、Rain800［28］和Rain12［6］來訓練和測試網絡．Rain200H包含1 800對大雨訓練圖像和200對測試圖像，Rain200L包含1 800對小雨訓練圖像和200對測試圖像，Rain800包含700對訓練圖像和100對測試圖像，而Rain12包含12對有雨和無雨圖像，僅作為測試圖像．使用Yang等［27］提供的真實雨天環境數據集驗證算法在實際應用中針對圖像的去雨能力．通過對每個數據集中的所有測試圖像的評價指標取平均值得到實驗數據［29］．

3.2主觀評價

由于Rain200H雨線密集，因此更加具有挑戰性．為了直觀展示所提算法性能，從中選擇6張圖像進行主觀效果評價，結果如圖7所示．

由圖7可以看出：GCANet和DiG-CoM算法去除雨紋不徹底，仍有大量雨紋殘留;雖然PReNet、RESCAN、BRN、SAPNet算法均可以輸出清晰圖像，但是PReNet和RESCAN結果的天空區域出現明顯的偽影光暈現象，而BRN和SAPNet算法天空區域模糊，同時丟失部分背景細節信息，降低了圖像信息的利用程度；本文的算法不僅有效地去除雨紋，而且保留較多結構紋理和背景細節信息，整體圖像與相應的清晰圖像結構更相似．為了觀察圖像的細節表現，還隨機挑選一組圖像來對比本文方法的細節保留幅度，結果如圖8所示．由圖8可以看出，本文算法的去雨圖像在細節上更加清晰且紋理明顯，均優于對比算法，得到的去雨圖像更貼近清晰圖像．

為了驗證本文算法的穩定性，圖9展示了不同去雨算法處理真實降雨圖像的結果．由圖9可以看出：前2組圖像中，GCANet處理后依然存在大量雨紋殘留，其他對比算法雖去除較多雨紋，但圖像的細節信息不能得到很好保留，輸出圖像質量較低；第3組圖像中，GCANet、DiG-CMom和RESCAN算法處理后均存在不同程度的雨痕和偽影，另外3種對比算法雖有較好的去雨效果，但丟失部分背景細節，視覺感受欠佳；得益于提出的多維空間權重注意模塊能夠提取雨紋的多維度特征以及密集殘差融合模塊可以最大化利用提取的特征信息，本文算法在去除雨紋的同時更好地保留圖像背景細節和紋理結構．通過3組真實去雨圖像對比，驗證了所提算法在去除雨紋和恢復背景細節方面具有更優效果．

3.3客觀評價

不同算法在合成數據集上的定量對比結果如表2所示．實驗結果表明，本文所提算法在Rain200H、Rain200L、Rain800和Rain12數據集上的PSNR較次優值分別提高0.053、0.471、0.182和0.333 dB，SSIM較次優值分別提高0.01、0.002、0.049和0.014，均優于對比的經典及新穎算法．此外，2項評價指標在4個數據集上的平均值也取得最優成績．證明所提去雨算法在去雨性能上較其他算法有更好的效果，更適用于大部分雨天環境．

由于真實環境中很難獲得對應的有雨和無雨圖像對，因此沒有任何無雨圖像可以作為參考圖像，無法使用PSNR和SSIM做評估指標.本文采用自然圖像質量評價指標［32］（Natural Image Quality Evaluator，NIQE）進行客觀評估，其值越小表明輸出圖像的質量越高．

不同算法在真實雨圖上的定量結果如表3所示，表中數據為75張真實雨圖的NIQE平均值．實驗結果表明，本文算法的NIQE值為2.918，是所有數據中的最小值，進一步驗證了本文算法的去雨性能．

3.4消融實驗

為驗證所提網絡結構的有效性，消融實驗針對不同網絡組成在Rain200H上的去雨結果進行分析，如表4所示．本次消融實驗設計了4種不同的網絡組

合方式，分別為本文原網絡，在原網絡基礎上剔除Conv5×5、3×3、1×1組成的多重特征交互卷積模塊MICM（Net1），在原網絡基礎上剔除MSWAM（Net2）和在原網絡基礎上剔除DRFM（Net3）．

實驗結果表明，在未剔除任何網絡模塊的情況下，本文算法在Rain200H上的PSNR和SSIM值均高于其他網絡組成模型，表明去雨效果最好，能有效地保留圖像細節和邊緣信息．

3.5在目標檢測上的應用

為了驗證所提去雨算法在后續計算機視覺下游任務中的實用價值，使用YOLOv5目標檢測算法［33］對雨天圖像和經本文算法處理后的圖像進行測試，結果如圖10所示．圖10顯示，在退化圖像中，被雨線所遮擋的圖像在目標檢測中的精度大幅下降，且存在識別物的漏檢問題，而去除雨線后的圖像檢測精度和檢測數量都有了明顯提高，且能實現對圖中目標的檢測，克服了誤檢和漏檢問題，說明本文所提算法適用于室外系統雨天場景下的目標檢測等計算機視覺下游任務，并提高其準確度和工作效率．

4結束語

為提高雨天退化圖像在機器視覺任務中的利用程度，本文提出一種基于多特征交互和密集殘差的圖像去雨方法．實驗結果表明：提出的多重特征交互卷積模塊可以有效提取雨天圖像的空間特征，降低后續網絡的學習難度;多維空間權重注意模塊可以進一步通過信息權重轉移的方式增強雨紋特征，并有效降低網絡復雜度;密集殘差融合模塊充分結合密集和殘差網絡的優勢，確保信息完整性的同時融合雨紋的空間特征．本文方法不僅在主觀視覺上優于其他算法，而且在客觀數據評價指標上較其他算法也更加出色．同時，YOLOv5目標檢測實驗表明，經所提算法處理后的圖像可以提高目標物的檢測精度，證明所提去雨方法可應用于其他計算機視覺任務，從而提高算法的實用價值．后續，將進一步提高所提算法的處理效率和準確度．

參考文獻References

［1］張俊，江凡，彭德猛，等.雨天環境下的交通流影響研究［J］.中國安全科學學報，2023，33（5）：134-143ZHANG Jun，JIANG Fan，PENG Demeng，et al.Research on impact of traffic flow in rainy environments［J］.China Safety Science Journal，2023，33（5）：134-143

［2]施賽楠，姜麗，曹鼎，等.基于頻域相對樣本熵的海面小目標特征檢測［J］.南京信息工程大學學報（自然科學版），2023，15（4）：429-438SHI Sainan，JIANG Li，CAO Ding，et al.Feature detection of sea-surface small targets via relative sample entropy in frequency domain［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2023，15（4）：429-438

［3]方莉娜，王康.基于車載激光點云的道路交叉口檢測與識別［J］.南京信息工程大學學報（自然科學版），2021，13（6）：635-644FANG Lina，WANG Kang.Road intersection detection and recognition based on mobile laser scanning［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2021，13（6）：635-644

［4]Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter［C］／／2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2014：914-917

［5]Luo Y，Xu Y，Ji H.Removing rain from a single image via discriminative sparse coding［C］／／2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2016：3397-3405

［6]Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744

［7]Chang Y，Yan L X，Zhong S.Transformed low-rank model for line pattern noise removal［C］／／2017 IEEE International Conference on Computer Vision （ICCV）.October 22-29，2017，Venice，Italy.IEEE，2017：1735-1743

［8]Deng S，Wei M Q，Wang J，et al.Detail-recovery image deraining via context aggregation networks［C］／／2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：14548-14557

［9]Jiang K，Wang Z Y，Yi P，et al.Multi-scale progressive fusion network for single image deraining［C］／／2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：8343-8352

［10]Zhang H，Sindagi V，Patel V M.Image de-raining using a conditional generative adversarial network［J］.IEEE Transactions on Circuits and Systems for Video Technology，2020，30（11）：3943-3956

［11]Huang H B，Yu A J，He R.Memory oriented transfer learning for semi-supervised image deraining［C］／／2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 20-25，2021，Nashville，TN，USA.IEEE，2021：7728-7737

［12]Zhou M，Xiao J，Chang Y F，et al.Image de-raining via continual learning［C］／／2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 20-25，2021，Nashville，TN，USA.IEEE，2021：4905-4914

［13]Zheng S，Lu C J，Wu Y X，et al.SAPNet：segmentation-aware progressive network for perceptual contrastive deraining［C］／／2022 IEEE／CVF Winter Conference on Applications of Computer Vision Workshops （WACVW）.January 4-8，2022，Waikoloa，HI，USA.IEEE，2022：52-62

［14]秦曉琪，劉小勤，馬浩東.多尺度生成對抗網絡單幅圖像去雨方法研究［J］.儀表技術，2021（4）：47-50

QIN Xiaoqi，LIU Xiaoqin，MA Haodong.Research on rain removal method for single image of multi-scale generative adversarial network［J］.Instrumentation Technology，2021（4）：47-50

［15]劉西寧.基于深度殘差網絡的紅外熱波圖像去模糊［D］.成都：電子科技大學，2021LIU Xining.Infrared thermal wave image deblurring based on depth residual network［D］.Chengdu：University of Electronic Science and Technology of China，2021

［16]He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［17]Huang G，Liu Z，Maaten L V D，et al.Densely connected convolutional networks［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：2261-2269

［18]Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［J］.Proceedings of the 32nd International Conference on Machine Learning，2015，37：448-456

［19]Zhao H，Gallo O，Frosio I，et al.Loss functions for image restoration with neural networks［J］.IEEE Transactions on Computational Imaging，2017，3（1）：47-57

［20]徐景秀，張青.改進小波軟閾值函數在圖像去噪中的研究應用［J］.計算機工程與科學，2022，44（1）：92-101

XU Jingxiu，ZHANG Qing.Research and application of an improved wavelet soft threshold function in image denoising［J］.Computer Engineering and Science，2022，44（1）：92-101

［21]王海濤，林森，陶志勇.雙注意力機制與改進U-Net的水下圖像增強［J］.電子測量技術，2023，46（1）：181-187

WANG Haitao，LIN Sen，TAO Zhiyong.Underwater image enhancement based on dual attention mechanism and improved U-Net［J］.Electronic Measurement Technology，2023，46（1）：181-187

［22]Ran W，Yang Y Z，Lu H.Single image rain removal boosting via directional gradient［C］／／2020 IEEE International Conference on Multimedia and Expo （ICME）.July 6-10，2020，London，UK.IEEE，2020：1-6

［23]Chen D D，He M M，Fan Q N，et al.Gated context aggregation network for image dehazing and deraining［C］／／2019 IEEE Winter Conference on Applications of Computer Vision （WACV）.January 7-11，2019，Waikoloa，HI，USA.IEEE，2019：1375-1383

［24]Li X A，Wu J L，Lin Z C，et al.Recurrent squeeze-and-excitation context aggregation net for single image deraining［M］／／Computer Vision-ECCV 2018.Cham：Springer International Publishing，2018：262-277

［25]Ren D W，Zuo W M，Hu Q H，et al.Progressive image deraining networks：a better and simpler baseline［C］／／2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 15-20，2019，Long Beach，CA，USA.IEEE，2020：3932-3941

［26]Shang W，Zhu P F，Ren D W，et al.Bilateral recurrent network for single image deraining［C］／／2020 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.May 4-8，2020，Barcelona，Spain.IEEE，2020：2503-2507

［27]Yang W H，Tan R T，Feng J S，et al.Deep joint rain detection and removal from a single image［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：1685-1694

［28]Yasarla R，Valanarasu J M J，Patel V M.Exploring overcomplete representations for single image deraining using CNNs［J］.IEEE Journal of Selected Topics in Signal Processing，2021，15（2）：229-239

［29]柳長源，王琪，畢曉君.基于多通道多尺度卷積神經網絡的單幅圖像去雨方法［J］.電子與信息學報，2020，42（9）：2285-2292

LIU Changyuan，WANG Qi，BI Xiaojun.Research on rain removal method for single image based on multi-channel and multi-scale CNN［J］.Journal of Electronics ＆ Information Technology，2020，42（9）：2285-2292

［30]Huynh-Thu Q，Ghanbari M.Scope of validity of PSNR in image／video quality assessment［J］.Electronics Letters，2008，44（13）：800-801

［31]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity［J］.IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2004，13（4）：600-612

［32]Mittal A，Soundararajan R，Bovik A C.Making a “completely blind” image quality analyzer［J］.IEEE Signal Processing Letters，2013，20（3）：209-212

［33]Wang J F，Chen Y，Dong Z K，et al.Improved YOLOv5 network for real-time multi-scale traffic sign detection［J］.Neural Computing and Applications，2023，35（10）：7853-7865

Image rain removal based on multi-feature interaction and dense residualLIN Sen1QIU Qingao11School of Automation and Electrical Engineering，Shenyang Ligong University，Shenyang 110159，China

AbstractTo solve the poor image quality and subsequent low efficiency of machine vision tasks on rainy days，an image rain removal algorithm based on multi-feature interaction and dense residual is proposed.First，a multi-feature interactive convolution module is proposed to extract the semantic features of rain streaks in different spaces to enhance information utilization.Second，a multidimensional space weight attention module is constructed，and the weights of different spatial information are preliminarily integrated to enhance the characteristics of rain streaks.Then combining the advantages of dense connection and residual network，a dense residual fusion module is designed，which improves the learning ability of the network，realizes the reuse of information，and further corrects the rain information.Finally，the output image quality is improved through the linear combination of various loss functions as well as the rainy day imaging model.Experiments on several public datasets show that the subjective and objective evaluation indexes of the proposed algorithm outperform those of the classical algorithm and novel algorithms，and the detailed background information of the images can be better preserved while removing the rain streaks.Key wordsimage rain removal;machine vision;dense residual;deep learning