多階段漸進處理的圖像去雨方法

摘要 針對現有圖像去雨方法中存在雨紋去除不徹底、紋理信息丟失等問題，提出一種多階段漸進式處理的圖像去雨算法，可以同時將上下階段的特征融合，使去雨算法的性能有很大的提高。該去雨網絡模型由3個階段構成。前2個階段采用改進后的U-Net編碼器解碼器結構學習多尺度上下文特征信息，特征提取部分采用有效通道注意力機制（efficient channel attention network，ECANet），使網絡模型參數變小，更加輕量級；第3階段加入并行注意力機制（parallel attention subnetwork，PASNet），在學習上下文信息和空間細節特征的同時還能生成高分辨率特征，更好地保留圖像的輸出細節。此外，還引入監督注意力模塊（supervised attention module，SAM）以加強特征學習。實驗結果表明，在數據集Rain100H上PSNR達到29.37 dB，SSIM為0.88;在Test1200上PSNR達到32.50 dB，SSIM為0.93，驗證了所提方法在圖像去雨任務上的有效性。

關鍵詞 圖像去雨;特征提取;監督注意力;并行注意力機制;空間細節

中圖分類號：TP391.4" DOI：10.16152/j.cnki.xdxbzr.2025-02-007

The image rain removal method based on multi-stageprogressive processing

LIAN Jihong， WANG Ping， LI Ying， LI Yunhong

（School of Electronics and Information， Xi’an Polytechnic University， Xi’an 710048， China）

Abstract Aiming at the problems of incomplete rain pattern removal and texture information loss in the existing image rain removal methods， this paper proposes a multi-stage progressive image rain removal algorithm， which can simultaneously fuse the features of the upper and lower stages and greatly improve the performance of the rain removal algorithm. The rain removal network model consists of three stages. In the first two stages， the improved U-Net coder-decoder structure is used to learn multi-scale context information， and the efficient channel attention network （ECANet） is used for feature extraction， which can reduce the parameters of the network model. In the third stage of becoming lighter， parallel attention subnet （PASNet） is added， which can generate high-resolution features while learning contextual information and spatial details， and can better preserve the output details of images. At the same time， supervised attention module （SAM） is introduced to strengthen feature learning. The experimental results show that the PSNR is 29.37 dB and SSIM is 0.88 on the data set Rain100H; The PSNR is 32.50 dB and SSIM is 0.93 on Test1200， which verifies the effectiveness of the proposed method in the task of image rain removal.

Keywords image deraining; feature extraction; supervise attention; parallel attention mechanism; spatial details

雨天是我們日常生活中常見的天氣現象，交通監控、人物識別和跟蹤等其他計算機視覺應用系統都需要在這種天氣中運行。由于雨線的阻礙，雨天拍攝的圖像往往模糊不清，丟失了背景信息，導致無法完成預期目標。大多實際問題中，我們需要有清晰、質量高的圖像來處理與分析后續的工作^［1］。作為目前計算機視覺研究領域的重點之一^［2］，單幅圖像去雨技術的研究和應用對目標檢測^［3-4］、目標追蹤^［5-6］等具有重要意義。

目前常用的雨圖像去除方法主要使用深度學習技術^［7-9］，基于深度學習的方法包括卷積神經網絡（CNN）^［10］、殘差網絡（ResNet）、注意力機制（attention）^［11］、生成對抗網絡（GAN）^［12］、循環神經網絡（RNN）等。基于深度學習的去雨技術通常依賴于大量的圖像數據進行訓練，以構建有效的去雨模型，從而達到良好的去雨效果。一些研究提出了逐步去雨網絡結構^［13］，采用殘差網絡實現圖像的雨紋去除任務，并在網絡的不同階段使用長短時記憶模塊進行遞歸連接。盡管可以實現逐步去雨，但由于降雨的多尺度特性，這種方法無法完全去除不同尺度下的雨紋痕跡。另外一些研究提出了多尺度逐步融合去雨網絡^［14］，通過金字塔結構消除多尺度的雨紋痕跡，但生成的圖像背景會變得模糊。隨著網絡層數的增加，尤其是在圖像處理和去雨算法的應用中，計算工作量呈現逐漸增多的趨勢。為解決這一難題，學者們推崇輕量級圖像去雨網絡^［15］的構建，通過借助高斯拉普拉斯金字塔技術實現了輕量級圖像雨紋剔除。然而，隨著網絡深度的減少，去雨效果也明顯下降。文獻［16］通過縮小輸入圖像和輸出圖像之間的映射范圍，加入深度置信網絡，并利用圖像處理中先驗知識完成雨水去除任務。盡管這種方法可以有效去除雨圖像中大部分雨水痕跡，但同時也會造成圖像局部背景細節損失的現象。文獻［17］采用一種新穎簡潔的循環網絡，逐步消除圖像中積聚的雨水條紋。文獻［18］提出的去雨網絡是基于一種多階段協同處理的圖像去雨網絡，該網絡利用遞歸計算的方式完成多階段協同處理的去雨任務，取得了良好效果。然而，該方法處理完的圖像仍然存在雨紋去除不夠徹底、圖像背景區域模糊的問題。

為了解決上述去雨方法中所面臨的問題，本文提出一種多階段逐步處理的去雨網絡算法，網絡架構基于MPRNet去雨算法進行設計與優化。該網絡模型由3個階段逐步完成去雨任務，最初2個階段采用改進后的U-Net作為編碼器解碼器網絡，由于編碼器結構感受野比較大，可以更全面學習到圖像的前后背景信息。在特征提取部分使用ECANet網絡，使網絡模型參數變小，更加輕量級。在網絡第3階段引入PASNet，該模塊關注圖像的雨紋特性和圖像的顏色信息，并且能保留圖像的更多輸出細節，從而生成高質量的圖像。由于在編碼器解碼器中重復使用上采樣和下采樣操作，引入CSFF模塊使網絡不易受到信息丟失的影響，并且網絡優化過程簡化了信息流，從而使整體網絡變得更加穩定。通過與7種經典的圖像去雨方法進行對比實驗，驗證了本文網絡在圖像去雨任務上的準確性和有效性。

1 網絡模型設計

本文提出的圖像去雨網絡模型由3個階段構成，圖1為改進后的MPRNet網絡總框架圖。在該網絡每2個階段之間用一個監督注意力模塊進行操作，使參考圖像的監督效果得到增強。每階段網絡的第1部分是相同的，都是先經過卷積層，然后再到ECANet模塊提取輸入圖像的初始特征，接著通過改進的U-Net編碼器解碼器提取圖像細節特征，再由SAM得到該階段的輸出圖像。第3階段則采用并行注意子網進行操作，使得最終的輸出圖像能更好地保留所需的空間細節。本文網絡模型第1階段和第2階段的輸入信息分別為4個圖像塊和2個圖像塊的特征信息，第3階段輸入信息則是原圖像。

1.1 有效通道注意力模塊

ECANet對SENet進行了改進，文獻［19］對比了這2種注意力機制方法，ECANet通過低模型復雜度實現更優越的性能表現，同時能夠減小網絡模型的參數規模，從而明顯提升特征提取的效果。圖2為有效通道注意力模塊的網絡結構，W、H、C分別表示特征映射的寬度、高度、通道數;加權特征為，GAP為全局平均池化運算;K不僅為部分跨信道之間交互的頻率，其卷積核大小也用K表示。

對于輸入特征U∈R^W×H×C，每個通道空間對應的信息是由ECANet模塊經過全局平均池化操作來聚集。平均池化計算公式如下，

PGA（U）=[SX（]1[]W×H[SX）]∑[DD（]W，H[]i=1，j=1[DD）]Ui，j" [JY]（1）

PGA（U）經過K大小的卷積核進行一維卷積操作，使得部分K個大小的信息特征關系能被快速提取。一維卷積通過Sigmoid函數計算得到其激活值，由此獲得通道特征的ω∈R^1×1×C權重值以及部分特征表示關系。

Sigmoid（x）=[SX（]1[]1+e^-x[SX）]" [JY]（2）

ω=Sigmoid｛C1DK［PGA（U）］｝" [JY]（3）

式中：C1D表示一維卷積操作；K表示卷積核大小。

為了重新進行編碼每個U中的通道特征信息，將ω與U進行逐一相乘操作，獲得加權特征。賦予有用的特征較大的權值有助于實現增強的效果，賦予不需要的特征較小的權值以利于實現抑制的作用。

1.2 編碼解碼模塊

本文使用經過改進的U-Net^［20］網絡作為本文編碼解碼器結構。圖3展示了在傳統U-Net網絡結構中引入了通道注意力模塊，上述模塊的作用是從各種尺度中提取特征，并通過通道塊關注處理U-Net的跳躍連接位置的特征圖。相較于普通卷積層，通道塊能更有效地關注關鍵特征信息，顯著提升模型的特征提取能力。為了增強解碼器特性的空間分辨率，在第3步驟中引入雙線性上采樣，并結合卷積操作，避免使用轉置卷積，因為轉置卷積操作可能導致輸出圖像中出現不必要的棋盤狀偽影問題。

1.3 并行注意子網模塊

本文網絡最后階段引入PASNet模塊，可以更好保留圖像輸出時的細節信息，該模塊生成的高分辨率特征包含豐富的空間細節，卻不需要降采樣操作。該模塊是多個混合注意力模塊（hybrid attention module， HAM）進行串聯組成，每個HAM模塊由8個并行注意力模塊（parallel attention module， PAM）連接而成，HAM模塊結構如圖4所示。

1.3.1 像素注意塊

像素注意力（pixel attention， PA）更關注圖像中物體的邊緣和紋理，能更好關注像素特征，因此加入像素注意力可以提高去雨后圖像的細節恢復性能。如圖5所示，C為輸出特性的通道數，定義為64個。在PA模塊中，經過2層卷積運算學習各像素特征后，會將特征維度由C×H×W調整為1×H×W。將PA的輸入注意力特征與生成的注意力特征逐像素相乘，為該模塊最后的輸出。

1.3.2 通道注意塊

通道注意力（channel attention， CA）不僅能夠有效地捕捉各通道之間的依賴關系，并能利用獨特的位置信息編碼增強模型對空間細節的敏感性，做到平衡雨紋信息，實現更精準的視覺識別和分析。如圖6所示，模塊在通過全局平均池化操作后，會將特征信息轉變為信道納入，特征維度的大小將從C×H×W調整為C×1×1；接著，通過2個卷積操作學習相應的權值信息；然后，將前面學習得到的權重值與CA輸入初始的特征相乘，作為該模塊最后的輸出。

PAM模塊的優勢是在關注圖像雨紋特征的同時，還可以關注圖像的顏色特征。如圖7所示，PAM模塊是由像素注意塊和通道注意塊以并聯的方式連接組成。該模塊首先通過降采樣操作提取簡單特征；然后通過PA和CA并行模塊同時學習這些特征信息；隨后將學習到的特征相加。為了圖像雨紋特征和顏色信息之間的平衡，加入一個卷積層可以很好地解決這個問題。模塊最后加入局部殘差連接，可以更加關注實際信息。

1.4 監督注意力模塊

監督注意力模塊結構如圖8所示。Fin∈R^H×W×C為上一階段的輸出特征，經過SAM中的1×1卷積運算，可以從SAM模型中獲得殘差圖像，其中，空間維度用H和W表示，通道數用C表示。去雨圖像是殘差圖像與原始輸入圖像之和XS∈R^H×W×3。針對已知的XS圖像預測，該模塊使用預定義的非雨天標簽進行監督，接著經過Sigmoid函數和1×1卷積的處理，生成XS圖像并創建逐像素的注意掩碼。隨后，局部特征Fin經過這些掩碼對其進行重新調整轉換，由此生成的特征是經注意力所引導的，SAM模塊最后得到的注意力增強特征Fout將會傳遞給下一階段進行操作處理。

1.5 損失函數

構建出一個良好的算法模型并不只是需要設計出合適的網絡架構以及相應的網絡模塊，選擇合適的訓練方式和相應的損失函數約束是尤為重要的。在進行網絡訓練的過程中，不僅要考慮到圖像模糊或者過度平滑的視覺現象，還得考慮到可能會存在部分高頻紋理信息損失的問題。

為了更好逼近真實雨線分布Iderain，在Charbonnier懲罰函數指導下，我們采取逐步接近的方法，這種函數具有更強的容錯性和訓練的收斂性，表達式為

Lchar=[KF（]（Iderain-Irain）2+ε2[KF）]" [JY]（4）

式中：Lchar為Charbonnie損失函數;Iderain為無雨圖像（對去雨操作后的預測）;Irain為真實圖像中雨紋理分布；ε為懲罰系數，其值設置為0.001。

為了在去除雨紋的同時更好保留高頻細節信息，本文還采用文獻［21］提出的邊緣損失來約束參考圖像（ground truth image）Iclean和預測的無雨圖像Iderain之間的高頻分量。本文的邊緣損失定義為

Ledge=[KF（]（Lap（Iclean）-Lap（Iderain））2+ε2[KF）]" [JY]（5）

式中：Lap（Iclean）為經過拉普拉斯算子計算后，從Iclean中提取出的邊緣圖；同理，Lap（Iderain）是經過拉普拉斯算子后，從Iderain中提取出的邊緣圖。

本文將邊緣損失函數Ledge與Charbonnier損失函數Lchar的和作為本文所使用的總損失函數L，表達式為

L=Lchar+λLedge" [JY]（6）

式中：λ為權重的參數，根據經驗將λ設置為0.05，能更好地平衡每個損失項。

2 實驗結果及分析

2.1 實驗設置

本文具體實驗平臺為3090Ti GPU*1，所需搭建環境：CUDA 11.3、CUDNN 8.2、Pytorch 1.11.0，數據集圖像尺寸裁剪為256×256，在編碼器解碼器的每個尺度上使用了2個CAB，下采樣用大小為2×2的最大池化操作，步長為2。在最后階段，使用了PASNet，其中包含3個HAM，每個HAM進一步使用8個PAM。在網絡訓練過程中，使用 Adam 優化器進行優化，整體實驗初始學習率設置為2×10^-4，使用余弦退火策略，逐步降低到1×10^-6。批量處理尺寸（batchsize）設置為16，訓練周期（epoch）為250。另外，在訓練過程中隨機利用水平翻轉和垂直翻轉增強訓練數據集。

2.2 數據集

現有去雨算法都沒有統一的訓練集，所以在訓練階段釆用MSPFN^［22］中的13 712對合成雨圖像作為本文訓練集。選用Rainl00H^［17］、Test1200^［23］合成數據集作為本文測試集。Rain100H數據集中的雨圖雨線密集并且包含的雨紋形狀最多，雨紋去除是難度最大的，被視為圖像去雨問題中最具代表性和挑戰性的數據集，所以這種情況更能檢驗圖像去雨算法的性能。Test1200數據集中包含來自不同方向和不同密度大小的雨紋，其共有1 498對測試圖像。為了驗證本文去雨網絡在真實雨圖上同樣具有出色的去雨效果，選用真實雨圖RealRain300數據集進行實驗。RealRain300包含300張真實雨圖像，涵蓋了多種現實場景，以及不同形狀和大小密度的雨紋。由于是真實雨圖數據集，所以沒有與其對應的無雨圖像。

2.3 評價指標

本文采用峰值信噪比（peak signal to noise ratio， PSNR）和結構相似度（structural similarity index measure， SSIM）衡量去雨后圖像的質量，作為去雨后圖像的評價指標。

2.3.1 峰值信噪比

峰值信噪比（PSNR）是描述信號最大可能能量和噪聲之間關系的指標，通常以分貝（dB）為單位計量，數值范圍為20～40 dB。PSNR值高于40 dB說明去雨后圖像非常接近原始圖像，去雨效果極好;在30～40 dB通常表示去雨圖像失真可以察覺，去雨效果相對較好；在20～30 dB說明去雨圖像有一定失真，去雨效果一般;PSNR低于20 dB，去圖像嚴重失真不可接受，去雨圖像效果最差。

計算PSNR時，首要步驟是計算均方誤差（mean square error， MSE），即求取2幅圖像每個像素值之間的差的平方，然后再對這些平方差值求平均。計算公式如下，

MSE=[SX（]1[]MN[SX）]∑[DD（]M[]i=1[DD）]∑[DD（]N[]j=1[DD）][JBlt;2|]X（i，j）-Y（i，j）[JBlt;2|]2" [JY]（7）

式中：M、N為雨圖像對中有雨圖像的高和無雨圖像的寬；X（i，j）、Y（i，j）為雨圖像的像素值。PSNR的計算公式如下，

PSNR=10×lg[SX（]MAX21 []MSE[SX）]" [JY]（8）

式中：MAX1為圖像點中像素最大的值，一般地，大多時候用相機采集到的圖像中每個像素單通道數值的大小表示用8位數據，因此公式中MAX1的值為255。

2.3.2 結構相似度

2幅圖像之間存在的相似性即為結構相似度。圖像的亮度、對比度和結構3方面是SSIM評估2幅圖像之間相似度的指標。

SSIM能考慮到特征信息，這些特征信息是來自圖像的結構鄰域，計算公式如下，

SSIM（x，y）=[SX（]（2μxμy+c）（2σxy+c2）[]（μ2x+μ2y+c1）（σ2x）[SX）]" [JY]（9）

式中：x為原圖像中提取出的像素值；y則是在去雨后的圖像中提取出的像素值；μx、μy分別表示x、y的平均值;σ2x、σ2y分別表示x、y的方差;σx，y為變量x和y之間的協方差。為了避免公式中出現分母為0的情況，在公式中引入常數c1和c2。c1=（K1×L）2，c2=（K2×L）2，K1、K2的值分別為0.01、0.03。像素值范圍L一般取值為255。結構相似度SSIM的范圍為［0，1］，SSIM值越接近1時，表示處理后的圖像相比原始圖像更不失真。

2.4 實驗結果分析

2.4.1 定量結果與分析

為了證明本文提出的算法有較好的性能，實驗選取了7種基于深度學習的單幅圖像去雨算法：UMRL^［24］、DIDMDN^［9］、RESCAN^［25］、PReNet^［17］、MSPFN^［22］、Uformer-B^［26］和MPRNet^［27］，用定性和定量的實驗結果進行對比，分別在合成數據集Rainl00H、Test1200上進行對比實驗，隨后在真實雨圖RealRain300數據集上觀察分析去雨效果。本文研究的訓練和測試都使用相同的數據集，以確保實驗對比的公正性。

表1為對比實驗的實驗結果，本文算法在合成數據集Rainl00H上PSNR值為29.37 dB，SSIM為0.875；在合成數據集Test1200上PSNR值為32.95 dB，SSIM為0.930。PSNR平均值比對比算法中最優的MPRNet模型提高了0.23 dB，SSIM平均值比對比算法中最優的Uformer-B模型提高了0.002，充分驗證了本文提出的模型在去雨任務中具有良好的性能。

在Rainl00H數據集上，經本文算法所得PSNR值相比對比算法中最優模型Uformer-B相差0.94 dB，SSIM值相差0.025；在Test1200數據集上，經本文算法所得PSNR值均達到最優值，比對比實驗中最優模型MSPFN算法高出0.13 dB，比SSIM高出0.003。說明本文算法在雨紋形狀復雜、雨線密集的情況下，圖像去雨任務仍然能有良好的表現。

為了全面驗證本文所提算法在性能上的提升，將其與原始的MPRNet網絡模型進行對比。該對比主要評估了網絡參數量和訓練時間2個關鍵方面，測試數據集使用Rain100H和Test1200。Original代表原始的3階段MPRNet算法，而Stage1、Stage1＆2和FullECA則表示在3個階段中依次加入ECANet模塊的網絡模型。其中，Stage1指的是僅在第1個階段加入ECANet模塊的網絡，Stage1＆2表示在第1個和第2個階段都加入了ECANet模塊，而FullECA則是在3個階段的網絡中都加入了ECANet后的網絡模型。

算法性能對比實驗如表2所示，Parameters為在原網絡模型和各階段依次加入ECANet后，參數量的對比結果。可以清楚地觀察到隨著3個階段依次加入ECANet模塊，網絡整體的參數量逐漸減少，原始網絡的參數量值最大，當3個階段都加入ECANet網絡時，參數量值達到最低。

Training Speed為在原網絡模型和各階段依次加入ECANet后，訓練速度的對比結果。可以清楚地觀察到隨著3個階段依次加入ECANet模塊，網絡每輪訓練所花費的時間逐漸減少，說明訓練速度在逐漸提升。原始網絡的訓練時間最長，速度最慢，當3個階段都加入ECANet網絡時，訓練時間值最低，速度達到最快。

在原網絡模型加入ECANet模塊后，有效降低了網絡的參數量，使得整體網絡框架更加輕量化。且由表1對比實驗的結果可知，本文方法在數據集Rain100H和Test1200上取得較高的PSNR和SSIM值，更加充分驗證本文所提方法的可行性。

2.4.2 定性結果與分析

圖9展示了在合成數據集Rain100H上不同算法的處理結果。UMRL算法在處理雨紋密集的有雨圖像時，去除雨水的效果有限，導致大量雨紋仍然存在，去雨效果不佳；相比之下，盡管DIDMDN和RESCAN算法可以有效減少雨紋數量，但仍然有大量雨紋存在，去雨效果一般；PReNet算法整體去雨效果較好，但在圖像中的標記廣告牌區域圖像模糊度較高；MSPFN算法雖能夠消除大部分雨紋，但同樣在圖像中標記的廣告牌以及車身數字區域仍存在模糊的問題，對細節的恢復效果較差；Uformer-B算法有效去除了雨紋，但是圖像標記區域的字母以及數字的背景信息仍沒得到有效的恢復;MPRNet算法處理完的圖像仍有少數雨紋殘留，并且標記區域背景信息也很模糊;經本文的方法處理后，消除雨紋的效果更加完善，同時還能夠保留大部分原圖的結構和紋理特征，標記區域車身數字背景信息得到較好的恢復，處理后的圖像更加接近原始無雨圖像。因此，在數據集Rain100H上，本文方法不僅在能有效去除復雜雨圖中所包含的各種形狀雨紋的同時，還能更好地保留原圖像的色彩信息和細節紋理特征，表明本文算法在除去大雨的能力上表現優異。

圖10展示了在合成數據集Test1200上不同算法的處理結果。UMRL算法生成的無雨圖像中仍存在殘留的大量雨紋，去雨能力一般；DIDMDN算法仍有大量雨紋殘留，同時生成的圖像整體色調過亮；RESCAN算法處理完雨圖中雨紋時，有少量雨紋殘留，且圖像背景標記區域出現模糊問題；PReNet算法去雨整體效果較好，但處理完的圖像標記區域同樣出現了較輕的偽影以及模糊問題；MSPFN算法在整體上去除了大部分雨水痕跡，但圖像對比度有所增強，使得圖像視覺效果呈現泛白現象，從而導致生成的圖像質量下降；Uformer-B算法有效去除了雨紋，但是在去雨后的背景區域能看到明顯的白影，圖像背景信息沒有得到很好的恢復;MPRNet算法整體去雨效果較好，但處理完的圖像丟失了部分細節信息，如圖像標記區域的飛機機翼部分。相比在合成數據集Test1200中，本文所提算法不僅有效地去除了雨水痕跡，還更好地保留了圖像中的邊緣紋理以及細節信息。與未處理的雨圖相比，本文算法處理后的結果更接近原圖像。

圖11展示了不同算法在真實雨圖RealRain300數據集上的處理結果。因為拍攝的真實雨圖沒有與之相對應的無雨圖，所以只能對去雨后的無雨圖進行視覺觀測，通過主觀觀測分析真實雨圖下的對比實驗結果。UMRL和DIDMDN算法雖去除了部分雨線，但在3幅示例圖像標記區域仍存在較多細小的雨線；RESCAN算法在3幅示例圖像中同樣未能有效去除雨紋，存在少部分雨紋，并且從第2幅標記區域看出紋理細節沒有很好地恢復；MSPFN和PReNet算法去雨效果相對較好，紋理細節相對有好的恢復，但第3幅示例圖像左邊密集雨線區域雨水殘留太多，部分區域產生些許模糊，導致整體質量偏差，視覺效果欠佳；Uformer-B和MPRNet算法處理完的圖像，相比前面5種算法的去雨能力有很大的提升，但在標記區域仍有背景模糊和雨紋殘留的問題。經本文算法處理過的圖像不僅能有效消除密集的雨線，還能很好地保留輸出圖像的細節信息，說明本文所提算法可以更有效地處理真實環境中的雨紋，圖像細節處理效果更出色。

2.5 消融實驗

為了更深入地評估本文算法的可靠性以及ECANet和PASNet模塊作為模型組成部分的重要性，進行了消融實驗。在模型消融實驗中，從MSPFN中選取13 712組無雨／有雨圖像作為訓練數據集。而用于測試的數據集為Rain100H，因為該數據集中包含了不同方向的雨紋、各種形狀和大小的密集雨紋，能夠展示本研究算法在處理復雜雨線圖像時的出色表現和有效性。同時，仍采用PSNR和SSIM這2個指標對去雨結果進行對比分析。

2.5.1 定量結果與分析

為了展示ECANet和PASNet這2個關鍵模塊的作用，研究建立了4種網絡模型，在同一數據集進行實驗，驗證本文方法具有合理性和有效性。4個網絡分別為L1、L2、L3和L4，其中L1為MPRNet去雨網絡，L2、L3為分別使用ECANet和PASNet模塊后的網絡，L4是本文算法網絡。表3為4個網絡模型通過消融實驗在數據集Rain100H上的測試結果。

由表3可以看出，相較于L1網絡，L2網絡加入ECANet模塊使得網絡整體的PSNR和SSIM值分別提高了0.05 dB和0.04;L3網絡加入PASNet模塊后，網絡整體的PSNR和SSIM值分別提高了0.02 dB和0.02;然而，只有當這2模塊均存在時，也就是L4網絡模型，該網絡的PSNR和SSIM表現達到最佳，分別提高了0.23 dB和0.12。充分說明了本文所提網絡模塊組合的合理性和有效性。

2.5.2 定性結果與分析

圖12展示了4個網絡在Rain100H數據集上的處理結果實例圖。從圖中用紅色框標記的區域可以看出，經L1網絡處理完的圖像，在雨紋去除后的區域有背景模糊的問題;L2網絡處理完的圖像雖能明顯去除掉絕大部分雨紋，但去除雨紋后的圖像背景區域恢復較差;L3網絡處理完的圖像在標記區域有白影，但在圖像色彩和動物身體邊緣信息恢復較好;本文提出的L4網絡去除雨紋效果都更接近原始干凈圖像，幾乎沒有雨紋殘留，圖像細節和紋理信息保留比較完整。再次驗證了本文網絡模塊組合的有效性，展現出本文網絡在圖像去雨任務上具有較出色的效果。

3 結語

本文提出的圖像去雨模型采取分階段逐步處理的策略，融合經過優化的U-Net編碼解碼網絡和并行注意力網絡PASNet。模型不僅能學習到圖像空間細節，還可以學習上下文特征信息，并生成高分辨率的特征。特征提取部分使用ECANet，以更低的模型復雜度獲得了更好的性能，模型參數變小，更加輕量級，速度得到很好提升。為使模型的效果整體提升，在每2個網絡階段之間加入SAM模塊。本文提出的網絡模型在處理雨紋的同時，也考慮到本身圖像質量的優化，以此確保去雨紋后的圖像不會丟失重要細節信息。實驗結果顯示，在Rain100H和Test1200數據集上均達到了高PSNR和SSIM值，在真實的雨天圖像處理中也取得了優異的效果。本文所提的去雨算法不僅有效去除了雨紋，還成功保留和恢復了圖像的細節紋理信息，泛化性能較好。采用多階段漸進的去雨網絡結構就會導致整體模型規格較大，因此如何在網絡模型更輕量化的同時保持去雨效果的穩定是接下來的主要研究方向。

參考文獻

［1］ 彭進業，余喆，屈書毅，等.基于深度學習的圖像修復方法研究綜述［J］.西北大學學報（自然科學版），2023，53（6）：943-963.

PENG J Y， YU Z， QU S Y， et al. A review of image restoration methods based on deep learning［J］. Journal of Northwest University （Natural Science Edition）， 2023， 53（6）： 943-963.

［2］ 陳舒曼，陳瑋，尹鐘. 單幅圖像去雨算法研究現狀及展望［J］. 計算機應用研究， 2022， 39（1）： 9-17.

CHEN S M， CHEN W， YIN Z， Research status and prospect of single image ram removal algorithm ［J］. Application Research of Computers， 2022， 39（1）： 9-17.

［3］ SUN P Z， ZHANG R F， JIANG Y， et al. Sparse R-CNN： End-to-end object detection with learnable proposals［C］∥2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville， TN： IEEE， 2021： 14449-14458.

［4］ CARION N， MASSA F， SYNNAEVE G， et al. End-to-end object detection with transformers［M］∥Computer Vision-ECCV 2020. Cham： Springer International Publishing， 2020： 213-229.

［5］ FU Zhihong， FU Zehua， LIU Q J， et al. SparseTT： Visual tracking with sparse transformers［EB／OL］.（2022-05-08）［2024-09-20］.https：∥arxiv.org／abs／2205.03776.

［6］ SONG Z K， YU J Q， CHEN Y P， et al. Transformer tracking with cyclic shifting window attention［C］∥2022 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA： IEEE， 2022： 8781-8790.

［7］ YAN W D， TAN R T， YANG W H， et al. Self-aligned video deraining with transmission-depth consistency［C］∥2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN： IEEE， 2021： 11966-11976.

［8］ YUE Z S， XIE J W， ZHAO Q， et al. Semi-supervised video deraining with dynamical rain generator［C］∥2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN： IEEE， 2021： 642-652.

［9］ JIANG T X， HUANG T Z， ZHAO X L， et al. A novel tensor-based video rain streaks removal approach via utilizing discriminatively intrinsic priors［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE， 2017： 2818-2827.

［10］ZHANG H， PATEL V M. Density-aware single image de-raining using a multi-stream dense network［C］∥2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT： IEEE， 2018： 695-704.

［11］QIAN R， TAN R T， YANG W H， et al. Attentive generative adversarial network for raindrop removal from a single image［C］∥2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT： IEEE， 2018： 2482-2491.

［12］WEI Y Y， ZHANG Z， WANG Y， et al. DerainCycleGAN： Rain attentive CycleGAN for single image deraining and rainmaking［J］. IEEE Transactions on Image Processing， 2021， 30： 4788-4801.

［13］FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE， 2017： 1715-1723.

［14］ZHENG X H， LIAO Y H， GUO W， et al. Single-image-based rain and snow removal using multi-guided filter［M］∥Neural Information Processing. Berlin， Heidelberg： Springer Berlin Heidelberg， 2013： 258-265.

［15］FU X Y， LIANG B R， HUANG Y， et al. Lightweight pyramid networks for image deraining［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 31（6）： 1794-1807.

［16］FU X Y， HUANG J B， ZENG D L， et al. Removing rain from single images via a deep detail network［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE， 2017： 1715-1723.

［17］YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu， HI： IEEE， 2017： 1685-1694.

［18］REN D W， ZUO W M， HU Q H， et al. Progressive image deraining networks： A better and simpler baseline［C］∥2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， CA： IEEE， 2019： 3937-3946.

［19］WANG Q L， WU B G， ZHU P F， et al. ECA-Net： Efficient channel attention for deep convolutional neural networks［C］∥2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA： IEEE， 2020： 11531-11539.

［20］RONNEBERGER O， FISCHER P， BROX T. U-Net： Convolutional networks for biomedical image segmentation［EB／OL］.（2015-05-18）［2024-09-20］. https：∥arxiv.org／abs／1505.04597.

［21］LAI W S， HUANG J B， AHUJA N， et al. Deep Laplacian pyramid networks for fast and accurate super-resolution［C］∥2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE， 2017： 5835-5843.

［22］JIANG K， WANG Z Y， YI P， et al. Multi-scale progressive fusion network for single image deraining［C］∥2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA： IEEE， 2020： 8343-8352.

［23］YI Z L， ZHANG H， TAN P， et al. DualGAN： Unsupervised dual learning for image-to-image translation［C］∥2017 IEEE International Conference on Computer Vision （ICCV）. Venice： IEEE， 2017： 2868-2876.

［24］YASARLA R， PATEL V M. Uncertainty guided multi-scale residual learning-using a cycle spinning CNN for single image de-raining［C］∥2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， CA： IEEE， 2019： 8397-8406.

［25］LI X， WU J L， LIN Z C， et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining［C］∥Computer Vision-ECCV 2018. Cham： Springer International Publishing， 2018： 262-277.

［26］WANG Z D， CUN X D， BAO J M， et al. Uformer： A general U-shaped transformer for image restoration［C］∥2022 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA： IEEE， 2022： 17662-17672.

［27］ZAMIR S W， ARORA A， KHAN S， et al. Multi-stage progressive image restoration［C］∥2021 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Nashville， TN： IEEE， 2021： 14821-14831.

（編 輯 李 靜）

基金項目：陜西省科技計劃項目（2022GY-053）;陜西省自然科學基礎研究重點項目（2022JZ-35）。

第一作者：廉繼紅，男，副教授，從事工業信號信息處理、計算機控制系統研究，lianjihong@163.com。