基于窗口自注意力網(wǎng)絡(luò)的單圖像去雨算法

高 濤, 文淵博, 陳 婷, 張 靜

(1. 長(zhǎng)安大學(xué) 信息工程學(xué)院,西安 710064; 2. 澳大利亞國(guó)立大學(xué)工程與計(jì)算機(jī)學(xué)院,澳大利亞 堪培拉 2600)

雨天場(chǎng)景下獲取到的圖像會(huì)由于雨痕的存在造成目標(biāo)遮擋、細(xì)節(jié)模糊和對(duì)比度下降等退化問題[1],嚴(yán)重影響后續(xù)的計(jì)算機(jī)視覺任務(wù),如目標(biāo)檢測(cè)[2]和語義分割[3]等.同時(shí),雨圖中雨痕的分布往往不盡相同,加之單圖像是時(shí)空靜止的[4],這進(jìn)一步增加單圖像去雨的難度.因此,單圖像去雨研究具有極大的現(xiàn)實(shí)意義.

目前已有的單圖像去雨算法主要分為模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)兩類[5].在基于模型驅(qū)動(dòng)的算法中,傳統(tǒng)的濾波器[6]、字典學(xué)習(xí)[7]、稀疏編碼[8]和高斯混合模型[9]等算法無法適應(yīng)雨痕的多樣性,從而導(dǎo)致去雨后的圖像中殘留大量雨痕.隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于數(shù)據(jù)驅(qū)動(dòng)的單圖像去雨方法相比傳統(tǒng)方法表現(xiàn)出更大優(yōu)勢(shì).Fu等[10]將雨圖分解為基礎(chǔ)層和細(xì)節(jié)層,利用卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network, CNN) 去除細(xì)節(jié)層的雨痕,最后與增強(qiáng)后的基礎(chǔ)層相加得到去雨圖像.Wei等[11]利用有監(jiān)督的合成雨圖訓(xùn)練網(wǎng)絡(luò)的同時(shí)加入無監(jiān)督的自然雨圖,從而提升網(wǎng)絡(luò)在自然雨圖上的泛化性能.Zhang等[12]基于雨痕的密度信息提出一種多流密集連接網(wǎng)絡(luò)對(duì)雨痕進(jìn)行去除.Yasarla等[13]利用不確定性引導(dǎo)的多尺度殘差網(wǎng)絡(luò)檢測(cè)雨痕,再通過循環(huán)旋轉(zhuǎn)機(jī)制得到去雨圖像.Li等[14]將壓縮激勵(lì)機(jī)制和空洞卷積引入圖像去雨網(wǎng)絡(luò),利用雨圖的上下文信息去除雨痕.Ren等[15]提出一種循環(huán)漸進(jìn)的單圖像去雨基線網(wǎng)絡(luò),該網(wǎng)絡(luò)在減小模型參數(shù)的同時(shí)能夠提高去雨圖像的質(zhì)量.Jiang等[16]將不同分辨率尺度的雨圖送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并提出一種多尺度特征融合策略來得到去雨圖像.Zamir等[17]將圖像去雨分為多個(gè)階段的子任務(wù),利用編解碼器網(wǎng)絡(luò)學(xué)習(xí)特征,最后通過專門的恢復(fù)網(wǎng)絡(luò)輸出去雨圖像.但是,現(xiàn)有的深度學(xué)習(xí)單圖像去雨算法多是基于具有平移不變性和局部敏感性的CNN實(shí)現(xiàn),并未有效利用雨圖的全局性信息和像素間的長(zhǎng)距離依賴關(guān)系,從而導(dǎo)致去雨后的圖像損失部分細(xì)節(jié)和結(jié)構(gòu)信息.

為有效解決上述問題以及充分利用雨圖的全局性信息,受自注意力網(wǎng)絡(luò)Transformer[18]的啟發(fā),本文提出一種基于窗口自注意力網(wǎng)絡(luò) (Swin Transformer) 的單圖像去雨算法.該算法的網(wǎng)絡(luò)輸入層是一個(gè)上下文信息聚合塊 (Context aGgregating Block, CGB),其采用并行多尺度空洞卷積來融合多個(gè)感受野的信息,從而在初始階段使算法適應(yīng)雨痕分布的多樣性.深度特征提取網(wǎng)絡(luò)利用CNN學(xué)習(xí)雨圖的局部特征,同時(shí)利用Transformer學(xué)習(xí)全局性特征和像素點(diǎn)間的長(zhǎng)距離依賴關(guān)系,從而獲得更加準(zhǔn)確的語義表達(dá).此外,為保證去雨圖像更加接近無雨圖像和人眼的視覺特點(diǎn),提出一種同時(shí)約束圖像邊緣和區(qū)域相似度的綜合損失函數(shù).

1 自注意力網(wǎng)絡(luò)

Transformer是一種由編碼器和解碼器組成的深度神經(jīng)網(wǎng)絡(luò),主要由多頭自注意力機(jī)制 (Multi-head Self-Attention, MSA) 和多層感知機(jī) (Multi-Layer Perceptron, MLP) 組成,其輸入與輸出都是向量.對(duì)于輸入向量X0∈RN×D,其中N代表向量的個(gè)數(shù),D代表向量的維度.在自然語言處理中,X0是句中單詞的詞符或字符序列.在計(jì)算機(jī)視覺中,X0則是圖像的像素點(diǎn)序列.Transformer的關(guān)鍵在于自注意力機(jī)制強(qiáng)化特征學(xué)習(xí),可以表示為

(1)

式中:Q,K,V分別為查詢向量、鍵向量和值向量;dK為K的維度;B為可學(xué)習(xí)位置編碼;SoftMax為激活函數(shù);SA為單頭自注意力計(jì)算結(jié)果.同時(shí)Q,K,V滿足:

Q=X0PQ,K=X0PK,V=X0PV

(2)

式中:PQ,PK,PV分別為Q,K,V的權(quán)重矩陣.Transformer利用MSA將多個(gè)自注意力的結(jié)果進(jìn)行拼接,

MSA(Q,K,V)=

Concat(SA1, SA2, …, SAn)W0

(3)

式中:W0為權(quán)重矩陣;n為MSA自注意力頭的個(gè)數(shù);Concat代表按通道維度拼接特征圖.之后,引入殘差連接并進(jìn)行標(biāo)準(zhǔn)化,

(4)

(5)

式中:X1為Transformer層的輸出.

近年來Transformer在目標(biāo)檢測(cè)和圖像分類等領(lǐng)域表現(xiàn)出巨大優(yōu)勢(shì)[19].相比CNN,Transformer能夠有效提取圖像全局性信息和建立像素點(diǎn)間長(zhǎng)距離依賴關(guān)系,從而可利用較小的網(wǎng)絡(luò)參數(shù)媲美甚至超越CNN的表現(xiàn).但由于單圖像去雨問題輸入的分辨率往往很高,而經(jīng)典Transformer中MSA的計(jì)算復(fù)雜度與分辨率呈平方關(guān)系,嚴(yán)重限制其在單圖像去雨這類像素級(jí)計(jì)算機(jī)視覺任務(wù)中的應(yīng)用.

2 本文算法

本文提出的基于窗口自注意力網(wǎng)絡(luò)的單圖像去雨算法的主要結(jié)構(gòu)如圖1所示.圖中:RSTB為殘差窗口自注意力網(wǎng)絡(luò)塊 (Residual Swin Transformer Block, RSTB);Conv為卷積層;D1、D2、D5分別表示該卷積層的擴(kuò)張因子設(shè)置為1、2、5;?表示Concat操作;STL為窗口自注意力網(wǎng)絡(luò)層 (Swin Transformer Layer, STL).該算法的主要流程為:雨圖首先通過適應(yīng)雨痕分布多樣性的CGB進(jìn)入網(wǎng)絡(luò),再通過由CNN和Transformer構(gòu)成的密集殘差窗口自注意力網(wǎng)絡(luò) (Dense Residual Swin Transformer, DRST) 來提取深度特征, 最后通過一個(gè)引入全局殘差的卷積層輸出去雨圖像.

圖1 基于窗口自注意力網(wǎng)絡(luò)的單圖像去雨網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Single image deraining network based on Swin Transformer

2.1 上下文信息聚合塊

文獻(xiàn)[20]中表明,卷積適合Transformer的早期視覺處理,同時(shí)有助于穩(wěn)化訓(xùn)練過程和提高性能,因此本文算法利用卷積將雨圖映射到高維特征空間從而提取雨圖的淺層特征.但是,由于不同雨圖中雨痕的分布存在差異,而普通卷積核要擴(kuò)大感受野來提取更大范圍的雨痕分布信息必須通過增大卷積核、增加步長(zhǎng)或池化操作來實(shí)現(xiàn).但增大卷積核會(huì)增加網(wǎng)絡(luò)計(jì)算量,增加步長(zhǎng)和池化操作會(huì)損失雨圖的分辨率信息.空洞卷積[21]可以在擴(kuò)大感受野的同時(shí)不損失分辨率信息,其感受野大小r可以表示為

(6)

式中:k為卷積核的大小;d為擴(kuò)張因子.

本文算法在網(wǎng)絡(luò)輸入層設(shè)計(jì)一種上下文信息聚合模塊CGB,該模塊利用空洞卷積擴(kuò)大感受野來提取不同范圍的雨痕分布信息.CGB根據(jù)文獻(xiàn)[22]中采用擴(kuò)張因子分別為1,2,5的并行空洞卷積,并將得到的雨圖特征進(jìn)行拼接,最后經(jīng)過一個(gè)1×1卷積來融合特征,從而令算法具有適應(yīng)不同雨痕分布的能力.因此,CGB一方面將輸入雨圖映射到高維空間,穩(wěn)化網(wǎng)絡(luò)訓(xùn)練過程的同時(shí)提高去雨效果;另一方面利用不同擴(kuò)張因子的空洞卷積來自適應(yīng)雨痕分布信息,提高網(wǎng)絡(luò)對(duì)雨痕的泛化能力.CGB可以表示為

CGB(x)=W1×1(Concat(W3×3, 1(x)+

W3×3, 2(x)+W3×3, 5(x)))

(7)

式中:x為輸入雨圖;Wk×k, d表示該層卷積核大小為k,擴(kuò)張因子為d.

2.2 深度特征提取網(wǎng)絡(luò)

圖2 窗口自注意力網(wǎng)絡(luò)的主要層結(jié)構(gòu)Fig.2 Main layer of Swin Transformer

W-MSA存在的問題是其只在每個(gè)分割開的窗口內(nèi)計(jì)算自注意力,不同窗口間未進(jìn)行信息融合和傳遞.因此,在W-MSA之后使用移位窗口自注意力 (Shifted Window based on Multi-head Self-Attention, SW-MSA),即將原W-MSA中分割的窗口分別沿直角坐標(biāo)的兩個(gè)方向移動(dòng)半個(gè)窗口大小的距離,從而實(shí)現(xiàn)相鄰窗口間的信息交互.在實(shí)際操作中,SW-MSA是將前述窗口移位后得到的大小不一致的分割窗口進(jìn)行重組,從而保證每個(gè)窗口的大小與原W-MSA窗口的大小一致,最后再使用掩膜隔絕不相鄰區(qū)域來避免特征混淆.SW-MSA對(duì)移位窗口的重組示意圖如圖3所示.

W-MSA的特征圖經(jīng)SW-MSA移位由原來的4個(gè)窗口變?yōu)?個(gè)窗口,且9個(gè)窗口的大小不完全一致,不利于后續(xù)計(jì)算.因此,SW-MSA繼續(xù)將編號(hào)分別為 (6, 4),(8, 2) 和 (7, 9, 3, 1) 的小窗口合并,從而得到新的4個(gè)與W-MSA大小一致的窗口,再分別在每個(gè)窗口中計(jì)算自注意力即可實(shí)現(xiàn)不同窗口間信息的交互.因此,STL必須成對(duì)存在,可以表示為

(8)

2.2.2密集殘差窗口自注意力網(wǎng)絡(luò) 本文算法在STL末端引入殘差卷積來構(gòu)建DRST的核心模塊RSTB.其中,殘差連接可以進(jìn)行雨圖高低級(jí)特征的融合,確保網(wǎng)絡(luò)習(xí)得特征的準(zhǔn)確性和避免梯度彌散問題[24],這符合單圖像去雨網(wǎng)絡(luò)保護(hù)分辨率信息的要求.此外,由于Swin Transformer每次移位半個(gè)窗口,這嚴(yán)重限制網(wǎng)絡(luò)中不同窗口間信息的充分交互,在STL末端引入卷積操作可以強(qiáng)化特征學(xué)習(xí).同時(shí)根據(jù)文獻(xiàn)[23]可知,將卷積的歸納偏置引入Swin Transformer便于后續(xù)不同級(jí)別特征的融合.RSTB可以表示為

Xi+1=

Conv(STLm(…STL2(STL1(Xi))))+Xi

(9)

式中:Xi為RSTB的輸入;Xi+1為RSTB的輸出;m為RSTB中STL的個(gè)數(shù).但是由于多個(gè)串聯(lián)的RSTB無法促進(jìn)特征信息在不同網(wǎng)絡(luò)層間的流動(dòng),因此本文算法在多個(gè)串聯(lián)的RSTB之間間隔地引入密集連接[25]構(gòu)建密集殘差窗口自注意力網(wǎng)絡(luò)塊 (Dense Residual Swin Transformer Block, DRSTB) 來充分融合不同深度的高低級(jí)特征,DRSTB中某一階段的輸出可以表示為

Xi=

RSTBi-1(RSTBi-2(Xi-2))+Xi-2+Xi-4+…

(10)

DRSTB的末端引入殘差卷積來強(qiáng)化特征學(xué)習(xí)構(gòu)成密集殘差窗口自注意力網(wǎng)絡(luò)DRST,從而DRST的末端可以表示為

Xout=Conv(DRSTB(Xin))+Xin

(11)

式中:Xin為DRST中最后一個(gè)DRSTB的輸入;Xout為DRST的輸出.最后通過全局殘差卷積輸出去雨圖像,則本文算法的整體可以表示如下:

y=Conv(DRST(CGB(x)))+x

(12)

式中:y為輸出去雨圖像.

2.3 損失函數(shù)

圖像可以分為高頻和低頻分量,低頻分量主要是圖像中平滑無突變的區(qū)域,高頻分量主要是圖像中邊緣突變的部分,因此圖像同時(shí)具有邊緣性和區(qū)域性特點(diǎn).然而,常用的損失函數(shù)如均方誤差 (Mean Square Error, MSE) 會(huì)模糊去雨圖像的邊緣細(xì)節(jié).本文提出一種同時(shí)約束去雨圖像y與無雨圖像ygt間邊緣和區(qū)域相似性的綜合損失函數(shù),該函數(shù)由邊緣Edge損失[16]和結(jié)構(gòu)相似性 (Structural SIMilarity, SSIM) 損失[26]兩部分組成,其中Edge損失賦予圖像邊緣的像素點(diǎn)較大權(quán)值后再計(jì)算MSE,其數(shù)學(xué)形式為

(13)

式中:Δ(·)為拉普拉斯濾波操作[27];ε=0.001,為維穩(wěn)常數(shù).

SSIM損失利用圖像的區(qū)域性特點(diǎn),分別從亮度、對(duì)比度和結(jié)構(gòu)3個(gè)角度來綜合評(píng)價(jià)兩幅圖像的相似程度,其數(shù)學(xué)形式為

(14)

式中:μy,μygt分別為去雨圖像和無雨圖像的灰度均值;σy,σygt分別為去雨圖像和無雨圖像的灰度方差;σyygt為去雨圖像和無雨圖像的灰度協(xié)方差;C1和C2為常數(shù),滿足:

C1=(K1L)2,C2=(K2L)2

(15)

根據(jù)文獻(xiàn)[26]中K1=0.01,K2=0.03;L為圖像像素點(diǎn)的灰度范圍,一般取值1或255.由于SSIM的值越大表明兩圖像的相似度越高,所以在訓(xùn)練網(wǎng)絡(luò)時(shí)將最大化SSIM轉(zhuǎn)換為最小化SSIM損失:

LSSIM=1-SSIM(y,ygt)

(16)

進(jìn)而本文提出的綜合損失函數(shù)Loss可以表示為

Loss=LEdge+βLSSIM

(17)

式中:根據(jù)文獻(xiàn)[16]中β的值取0.05.

3 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法的有效性,實(shí)驗(yàn)在6個(gè)合成雨圖數(shù)據(jù)集和1個(gè)自然雨圖數(shù)據(jù)集上進(jìn)行.合成雨圖數(shù)據(jù)集分別為:文獻(xiàn)[10]中提供的Rain14000,其中存在14種不同大小和方向的雨痕,分為 12 600 對(duì)訓(xùn)練圖像和 1 400 對(duì)測(cè)試圖像;文獻(xiàn)[28]中提供的數(shù)據(jù)集Rain800,其中包括700對(duì)訓(xùn)練圖像和100對(duì)測(cè)試圖像;文獻(xiàn)[29]中提供的兩個(gè)數(shù)據(jù)集Rain100H和Rain100L,前者包括5種不同的雨痕,訓(xùn)練圖像對(duì)和測(cè)試圖像對(duì)分別為 1 800 和100,而后者僅存在一種雨痕,訓(xùn)練圖像和測(cè)試圖像對(duì)分別為200和100;文獻(xiàn)[12]中提供的Rain1200,其中包括3種雨密度不同的雨痕,分為 12 000 對(duì)訓(xùn)練圖像和 1 200 對(duì)測(cè)試圖像;文獻(xiàn)[9]中提供的Rain12,其中包含12對(duì)雨圖和無雨圖像.自然雨圖數(shù)據(jù)集由文獻(xiàn)[30]提供,其中包括300張自然雨圖.

3.1 數(shù)據(jù)集設(shè)置

現(xiàn)有的單圖像去雨算法大多是在單一數(shù)據(jù)集上分別進(jìn)行訓(xùn)練與測(cè)試,不利于去雨效果和算法泛化性能的對(duì)比.本文依據(jù)文獻(xiàn)[16]中對(duì)6個(gè)合成雨圖數(shù)據(jù)集的訓(xùn)練樣本和測(cè)試樣本進(jìn)行重新劃分,進(jìn)而將訓(xùn)練樣本組合成一個(gè)統(tǒng)一的融合訓(xùn)練數(shù)據(jù)集,具體的數(shù)據(jù)集設(shè)置如表1所示.因此,實(shí)驗(yàn)使用的訓(xùn)練集包括13 712對(duì)雨圖像和無雨圖像,測(cè)試集分為5部分,分別是Test2800[10],Test100[28],Rain100H[29],Rain100L[29]和Test1200[12].

表1 單圖像去雨數(shù)據(jù)集的劃分與重命名

3.2 實(shí)驗(yàn)環(huán)境與訓(xùn)練設(shè)置

本文所有的實(shí)驗(yàn)均在Windows操作系統(tǒng)下進(jìn)行,CPU為Intel(R) Xeon(R) Gold 5218,GPU為雙NVDIA Quadro RTX 4000,深度學(xué)習(xí)框架為Pytorch 1.7.上下文信息聚合輸入塊CGB輸入卷積核大小為3×3,空洞率分別為1, 2, 5,特征圖的通道數(shù)為32.深度特征提取網(wǎng)絡(luò)DRST包含3個(gè)DRSTB和一個(gè)殘差卷積,每一個(gè)DRSTB包括2個(gè)RSTB,每個(gè)RSTB包括4個(gè)STL和一個(gè)殘差卷積.其中卷積核的大小為3×3,W-MSA和SW-MSA的自注意力窗口大小為8×8,自注意力頭的個(gè)數(shù)為6,中間特征圖的通道數(shù)為96,激活函數(shù)LeakyReLU的泄漏值設(shè)為0.2.本文算法的訓(xùn)練次數(shù)為200,每次參與訓(xùn)練的圖像為16對(duì),大小為64像素×64像素.梯度優(yōu)化算法AdamW的初始學(xué)習(xí)率為0.001,在訓(xùn)練過程中當(dāng)訓(xùn)練次數(shù)為90, 130和160時(shí)學(xué)習(xí)率分別降為之前的20%.

3.3 消融實(shí)驗(yàn)

3.3.1網(wǎng)絡(luò)組成 為驗(yàn)證本文算法相比其他網(wǎng)絡(luò)組成進(jìn)行單圖像去雨的優(yōu)勢(shì),消融實(shí)驗(yàn)針對(duì)不同網(wǎng)絡(luò)組成的去雨結(jié)果進(jìn)行分析.主要包括:淺層特征提取模塊選用CGB與單卷積;深度特征提取網(wǎng)絡(luò)部分首先選用骨干網(wǎng)絡(luò)殘差網(wǎng)絡(luò) (Residual Network, ResNet)[24]與Swin Transformer;其次選用在成對(duì)的STL末端引入殘差卷積的RSTB與未引入的STB;之后選用在間隔的RSTB引入密集連接的的DRSTB與未引入的RSTB;最后對(duì)比在DRSTB末端是否引入全局殘差卷積對(duì)最終去雨圖像質(zhì)量的影響.網(wǎng)絡(luò)組成消融實(shí)驗(yàn)的對(duì)比結(jié)果如表2所示,圖像質(zhì)量評(píng)價(jià)指標(biāo)選擇峰值信噪比 (Peak Signal of Noise Ratio, PSNR)[31]和SSIM,其值越大表明去雨圖像質(zhì)量越高.

由表2可知,在同一訓(xùn)練條件下,骨干網(wǎng)絡(luò)Swin Transformer相比ResNet在PSNR和SSIM上分別提升1.94 dB和4.26%,這表明Swin Transformer相比ResNet能更好地去除雨痕.當(dāng)在STB和DRSTB末端引入殘差卷積后,網(wǎng)絡(luò)的去雨圖質(zhì)量在PSNR上分別提升1.59 dB和1.88 dB,這證明本文利用Swin Transformer和CNN結(jié)合學(xué)習(xí)雨圖全局性特征和局部特征相比Swin Transformer單獨(dú)使用更加具有優(yōu)勢(shì).本文算法在深度特征提取網(wǎng)絡(luò)中引入密集連接,實(shí)驗(yàn)表明密集連接使網(wǎng)絡(luò)去雨圖像質(zhì)量在PSNR和SSIM上分別提升1.33 dB和2.03%.在網(wǎng)絡(luò)輸入層,實(shí)驗(yàn)表明CGB相比單卷積能使網(wǎng)絡(luò)產(chǎn)生更好的表現(xiàn),具體在PSNR上提升2.68 dB,在SSIM上提升1.32%.因此,實(shí)驗(yàn)證明本文算法網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)是合理的.

3.3.2損失函數(shù) 為驗(yàn)證所提綜合損失函數(shù)的有效性,實(shí)驗(yàn)將本文的單圖像去雨網(wǎng)絡(luò)分別由MSE損失、Edge損失[16]、SSIM損失[26]、MSE損失與SSIM的組合 (MSE, SSIM)以及Edge損失與SSIM的組合 (Edge, SSIM) 訓(xùn)練得到的去雨圖像質(zhì)量進(jìn)行對(duì)比.損失函數(shù)消融實(shí)驗(yàn)的對(duì)比結(jié)果如表3所示.

表3 測(cè)試數(shù)據(jù)集Test1200[12]上的損失函數(shù)消融實(shí)驗(yàn)對(duì)比結(jié)果

實(shí)驗(yàn)表明,由Edge和SSIM綜合損失訓(xùn)練的網(wǎng)絡(luò)性能與單獨(dú)使用MSE, Edge和SSIM相比,在PSNR指標(biāo)上分別上升5.26,5.59,4.15 dB,在SSIM指標(biāo)上分別上升4.52%,3.70%,2.33%.同時(shí)比現(xiàn)有算法常用的MSE與SSIM綜合損失在PSNR和SSIM指標(biāo)上分別提升2.04 dB和0.87%.因此,本文提出的綜合損失函數(shù)能夠很好地保持圖像細(xì)節(jié)和結(jié)構(gòu)信息,相比其他常用損失函數(shù)具有更好的表現(xiàn).

3.4 算法性能對(duì)比

3.4.1合成雨圖 為驗(yàn)證本文算法在合成雨圖去雨上的優(yōu)勢(shì),實(shí)驗(yàn)將DerainNet[10],SEMI[11],DIDMDN[12],UMRL[13],RESCAN[14],PReNet[15],MSPFN[16],MPRNet[17]與本文算法的去雨性能進(jìn)行比較.不同算法在合成雨圖上的定量對(duì)比結(jié)果如表4所示.表中:在各測(cè)試數(shù)據(jù)集上指標(biāo)最高的數(shù)據(jù)加粗表示;排名第2的數(shù)據(jù)加下劃線表示;G為本文算法與其他算法相比所得去雨圖像在當(dāng)前指標(biāo)上提升的比例.

表4 不同算法在合成雨圖測(cè)試數(shù)據(jù)集[28-29, 10, 12]上的定量對(duì)比結(jié)果Tab.4 Comparative results of different methods on synthetic datasets[28-29, 10, 12]

實(shí)驗(yàn)表明,本文算法相比其他8個(gè)算法在測(cè)試數(shù)據(jù)集Test100[28],Rain100H[29],Rain100L[29],Test2800[10]和Test1200[12]上的平均PSNR和SSIM分別提高0.19～10.44 dB,1.41%～25.5%.具體而言,本文算法在5個(gè)測(cè)試數(shù)據(jù)集上的PSNR均獲得提升或接近最好,尤其是SSIM均獲得明顯提升,分別為1.71%～12.7%,1.57%～52.7%,1.45%～10.7%,1.49%～10.6%和0.87%～12.4%.同時(shí),本文算法的合成雨圖去雨效果與RESCAN[14],PReNet[15],MSPFN[16]和MPRNet[17]算法的視覺對(duì)比結(jié)果如圖4所示.從圖中可以發(fā)現(xiàn),本文算法在雨痕分布密集的第2幅和分布稀疏的第3幅雨圖上都有良好的表現(xiàn),而其他算法如PReNet[15]無法有效適應(yīng)分布不同的雨痕.進(jìn)一步發(fā)現(xiàn),本文算法在第7幅雨圖上準(zhǔn)確區(qū)分雨痕和背景信息,相比其他算法更加徹底地去除雨痕.另外,其他算法在第2幅雨圖上使馬腿產(chǎn)生不同程度的虛化,而本文算法可以很好地保持圖像細(xì)節(jié)信息,從而令去雨圖像更加接近無雨圖像.因此,本文算法相比其他算法能徹底去除分布不同的雨痕,得到的去雨圖像細(xì)節(jié)更加豐富.

圖4 其他算法[14-17]與本文算法在合成雨圖[10,12,27-28]上的視覺對(duì)比結(jié)果Fig.4 Visual comparative results of other methods[14-17] and proposed method on synthetic rainy images[10,12,27-28]

3.4.2自然雨圖 為進(jìn)一步驗(yàn)證算法在自然雨圖去雨效果中的泛化性能,實(shí)驗(yàn)將RESCAN[14],PReNet[15],MSPFN[16],MPRNet[17]和本文算法的去雨表現(xiàn)進(jìn)行對(duì)比.去雨圖質(zhì)量評(píng)價(jià)指標(biāo)采用自然度圖像質(zhì)量評(píng)估器(Naturalness Image Quality Evaluator, NIQE)[32]和空間-光譜熵質(zhì)量 (Spatial-Spectral Entropy-based Quality, SSEQ)[33],其值越小表明去雨圖像的質(zhì)量越高.不同算法在自然雨圖上的定量分析對(duì)比結(jié)果如表5所示.

表5 不同算法在自然雨圖數(shù)據(jù)集[30]上的定量對(duì)比結(jié)果

實(shí)驗(yàn)表明,相比RESCAN[14],PReNet[15],MSPFN[16]和MPRNet[17]算法,本文算法去除自然雨圖雨痕的效果在NIQE和SSEQ指標(biāo)上均達(dá)到最小,分別為4.946和18.93.不同算法的自然去雨圖像的視覺對(duì)比如圖5所示.從圖中可以發(fā)現(xiàn),相比其他算法,本文算法在雨痕分布稀疏的第1, 5, 6, 7幅自然雨圖上和雨痕分布密集的第2, 3, 4, 8幅自然雨圖上得到的去雨圖像分別在雨痕去除效果和細(xì)節(jié)保持兩方面都表現(xiàn)最佳.因此,本文算法在自然雨圖上具有更好的泛化性能.

3.4.3算法效率 為進(jìn)一步驗(yàn)證本文算法的效率,實(shí)驗(yàn)將目前單圖像去雨表現(xiàn)優(yōu)秀的MSPFN[16],MPRNet[17]和本文算法的參數(shù)量、浮點(diǎn)運(yùn)算次數(shù)與前向傳播平均耗時(shí)進(jìn)行對(duì)比,輸入選用100張大小均為64像素×64像素的雨圖.不同算法處理雨圖的效率對(duì)比結(jié)果如表6所示.

表6 不同算法處理圖像的效率對(duì)比結(jié)果

由表6可知,本文算法的參數(shù)量為2.381×106,相比MSPFN[16]下降84.95%,相比MPRNet[17]下降34.53%.浮點(diǎn)運(yùn)算次數(shù)略高于MPRNet[17],但前向傳播平均耗時(shí)減少31.25%. 因此本文算法的效率優(yōu)于其他兩種算法.

4 結(jié)語

針對(duì)現(xiàn)有的單圖像去雨算法未有效利用雨圖的全局性信息,進(jìn)而導(dǎo)致去雨圖像損失部分細(xì)節(jié)和結(jié)構(gòu)信息的問題,提出一種基于Swin Transformer的單圖像去雨算法.首先,該算法利用并行多尺度空洞卷積作為輸入層來適應(yīng)不同雨痕的分布多樣性.其次,將Swin Transformer引入單圖像去雨研究,并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)來提取局部信息和全局性信息,進(jìn)而強(qiáng)化特征學(xué)習(xí).此外,在深度特征提取網(wǎng)絡(luò)中引入密集連接和全局殘差卷積,從而實(shí)現(xiàn)不同抽象級(jí)特征的充分融合與信息交流.最后,提出一種新的綜合損失函數(shù),其可以同時(shí)約束去雨圖像與無雨圖像間的邊緣和區(qū)域相似性,從而進(jìn)一步提高去雨圖像的質(zhì)量.在未來研究中,本文作者將繼續(xù)深入研究雨圖局部信息與全局性信息的特點(diǎn),從而進(jìn)一步設(shè)計(jì)出更高效的單圖像去雨網(wǎng)絡(luò).