基于輕量級神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨滴模型

陳崢， 畢曉君

(1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001； 2.中央民族大學(xué) 信息工程學(xué)院， 北京 100081)

下雨是最為常見的自然現(xiàn)象之一。下雨時(shí)不同大小形狀的雨滴往往會(huì)附著在玻璃窗或相機(jī)鏡頭上，導(dǎo)致一些戶外智能設(shè)備所采集到的圖像存在遮擋以及模糊的現(xiàn)象[1]。這些不清晰的圖像將直接影響各種后續(xù)的目標(biāo)檢測，語義分割和場景解析等計(jì)算機(jī)視覺任務(wù)。因此，近年來圖像去雨滴任務(wù)受到學(xué)者們的廣泛關(guān)注，成為研究熱點(diǎn)[1-9]。

目前去雨滴方法可以被大致歸為2類：第1類是基于先驗(yàn)知識的傳統(tǒng)算法[1-2]，第2類是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法[3-9]。第1類方法通常需要手工設(shè)計(jì)或者估計(jì)雨滴的退化模型，并利用主觀的先驗(yàn)知識進(jìn)行建模。由于存在泛化能力差和計(jì)算時(shí)間多等缺點(diǎn)，近年來已逐漸被第2類方法所代替。Fu等[3]提出搭建深度細(xì)節(jié)網(wǎng)絡(luò)(DDN)直接學(xué)習(xí)有雨圖和干凈背景之間的映射。將殘差網(wǎng)絡(luò)作為主要結(jié)構(gòu)，以獲得有雨圖深層的圖像特征。盡管其過于單一的網(wǎng)絡(luò)結(jié)構(gòu)導(dǎo)致這種模型的性能有限，無法很好地處理下雨天的各種復(fù)雜場景，但是該模型的出現(xiàn)卻引發(fā)了深度學(xué)習(xí)方法在圖像去雨滴領(lǐng)域的研究熱潮。特別是近兩年，更多結(jié)構(gòu)復(fù)雜且設(shè)計(jì)精巧的神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，去雨滴模型的性能有了很大的提高。具有代表性的有Shao等[6]提出了軟掩碼的新思路，用[-1,1]的值表示雨滴對背景圖像的模糊程度，并構(gòu)建一種多尺度金字塔網(wǎng)絡(luò)來移除雨滴。該方法在模型的精度方面確實(shí)取得了非常優(yōu)異的性能。然而，它的模型尺寸越來越大，推理速度也越來越慢。為了解決這一問題，Guo等[7]又設(shè)計(jì)了一種快速高效的網(wǎng)絡(luò)模型。該模型最重要的思想是把圖像去雨問題看成圖像的逐像素濾波問題。由于濾波操作是高度優(yōu)化的操作，因此該模型在GPU上的推理速度比較快，性能得到了很大提高。但是，該模型的部署和使用仍然需要較多的計(jì)算資源和內(nèi)存消耗。而對于像無人機(jī)、自動(dòng)駕駛汽車或者AI芯片這些存儲(chǔ)空間十分受限的移動(dòng)終端或者嵌入式設(shè)備而言，該模型的參數(shù)量仍無法滿足實(shí)際應(yīng)用的需求。因?yàn)橐惶壮墒斓膱D像處理系統(tǒng)需要配備多個(gè)不同任務(wù)的圖像處理模型。去雨滴作為一種前端任務(wù)，如果能夠在保證性能的前提下盡量地減少內(nèi)存消耗，就會(huì)為其他更復(fù)雜的任務(wù)節(jié)省寶貴的存儲(chǔ)資源，從而使整個(gè)系統(tǒng)實(shí)現(xiàn)更有效的運(yùn)轉(zhuǎn)。

基于以上分析，本文提出一種基于輕量級神經(jīng)網(wǎng)絡(luò)的單幅圖像去雨滴模型。首先，采用一種幻像特征生成殘差塊。通過結(jié)合逐點(diǎn)卷積[10]、分組卷積[11]以及通道注意力機(jī)制[12]，解決現(xiàn)有去雨滴模型存在高相似性和高冗余性特征圖的問題，從根本上減少參數(shù)量。然而，隨著參數(shù)的大幅減少，去雨滴模型的性能必然會(huì)下降。為此，進(jìn)一步設(shè)計(jì)了一種復(fù)合折疊式重用機(jī)制，分別在內(nèi)部模塊及網(wǎng)絡(luò)整體結(jié)構(gòu)對有限數(shù)量的特征進(jìn)行回顧式利用，一定程度上彌補(bǔ)了參數(shù)較少帶來的性能下降。最后，又提出一種輕量級門控循環(huán)單元。目的在于將輕量級去雨滴模型折疊計(jì)算前后的深層特征建立聯(lián)系，強(qiáng)化信息的交互，進(jìn)一步提高輕量級去雨滴模型的性能。

1 單幅圖像去雨滴任務(wù)

目前，單幅圖像去雨滴已成為近年來圖像處理領(lǐng)域的研究熱點(diǎn)，其目的在于將被雨滴污染的模糊圖像復(fù)原為清晰的干凈背景，從而降低對后續(xù)計(jì)算機(jī)視覺任務(wù)的不利影響，圖1給出了去雨滴任務(wù)的示意圖。雨滴圖像的退化模型可以表示為：

圖1 單幅圖像去雨滴任務(wù)Fig.1 The raindrop removal task of single image

I(x)=(1-M(x))⊙B(x)+R(x)

(1)

式中：I(x)表示含雨滴的待恢復(fù)圖像；B(x)表示不含雨滴的干凈背景圖像，也就是監(jiān)督網(wǎng)絡(luò)訓(xùn)練時(shí)的正確標(biāo)簽；M(x)表示一組二進(jìn)制掩碼。M(x)=1時(shí)表示在像素點(diǎn)x的位置上包含雨滴區(qū)域，M(x)=0則表示該點(diǎn)位置為清晰背景區(qū)域；R(x)表示背景圖像與雨滴所反射光線的復(fù)雜混合。

現(xiàn)有的去雨滴深度卷積神經(jīng)網(wǎng)絡(luò)普遍包含大量的常規(guī)卷積操作。通常情況下，當(dāng)網(wǎng)絡(luò)中輸入特征圖為X∈Rc×h×w，其中c為輸入通道數(shù)，h和w分別為輸入數(shù)據(jù)的高和寬時(shí)，如果希望生成n張輸出特征圖，則任意卷積層的計(jì)算可以被表示為：

Y=X*f+b

(2)

式中：b是偏置；Y∈Rh′×w′×n表示n通道的輸出特征圖；f∈Rc×k×k×n表示這一層的卷積核；h′和w′分別為輸出特征圖的高和寬；k表示卷積核的尺寸。經(jīng)計(jì)算，上述卷積操作所需要的參數(shù)量為n·c·k·k?？梢钥闯?，模型的參數(shù)量取決于輸入和輸出特征圖的維度。而目前去雨滴神經(jīng)網(wǎng)絡(luò)每一層的卷積核數(shù)量n以及通道數(shù)c的值都較大，最常見的為128或者256等[6]。這使得現(xiàn)有的去雨滴模型普遍具有大量的參數(shù)量，導(dǎo)致巨大的計(jì)算消耗和內(nèi)存占用。通過分析發(fā)現(xiàn)，現(xiàn)有去雨滴模型在卷積操作時(shí)會(huì)產(chǎn)生大量的特征圖，而這些特征圖的樣式有很多類似之處，存在較高的冗余性。為了減少模型的參數(shù)量，可考慮不再使用傳統(tǒng)卷積方式來逐一生成大量相似的特征圖，而是設(shè)計(jì)輕量級去雨滴網(wǎng)絡(luò)，通過對一部分已經(jīng)生成的特征圖進(jìn)行特定的通道變換，直接完成一種圖到圖之間的線性映射，由此較好地解決現(xiàn)有去雨滴網(wǎng)絡(luò)模型特征圖存在高相似性和冗余性特征的問題，從根本上減少模型的參數(shù)量。但是，存在的問題是會(huì)導(dǎo)致模型的性能有所下降，為此需要通過進(jìn)一步的模型改進(jìn)以保證輕量級模型能夠接近目前深度模型的性能，滿足實(shí)際應(yīng)用的部署需求。

2 輕量級單幅圖像去雨滴模型構(gòu)建

本文設(shè)計(jì)了一種端到端的輕量級單幅圖像去雨滴模型，整體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)的核心結(jié)構(gòu)由3部分構(gòu)成：1)幻像特征生成殘差塊；2)復(fù)合折疊式重用機(jī)制；3)輕量級門控循環(huán)單元。其中，幻像特征生成殘差塊用于減少模型的參數(shù)量，而復(fù)合折疊式重用機(jī)制和輕量級門控循環(huán)單元用于提高模型的性能。

圖2 輕量級單幅圖像去雨滴模型Fig.2 The lightweight model for single image raindrop removal

2.1 幻像特征生成殘差塊

幻像特征生成殘差塊是本文實(shí)現(xiàn)輕量級去雨滴網(wǎng)絡(luò)的核心輕量級組件，包括3部分結(jié)構(gòu)：1)幻像特征生成模塊；2)SE注意力機(jī)制[12]；3)殘差支路[13]，如圖3所示。其中，幻像特征生成模塊在模塊內(nèi)部對一部分已經(jīng)生成的特征圖進(jìn)行特定的通道變換，以線性操作代替?zhèn)鹘y(tǒng)卷積操作。SE注意力機(jī)制可以為幻像特征生成模塊中的獨(dú)立通道賦予不同的權(quán)重因子，很好地?cái)M合通道之間復(fù)雜的空間相關(guān)性。而殘差支路又能夠改善模塊中信息的流通，一定程度上降低了在反向傳播時(shí)模型發(fā)生梯度消失的概率。

圖3 幻像特征生成殘差塊Fig.3 The ghost feature generation residual block

圖4 幻像特征生成模塊Fig.4 The ghost feature generation block

作為幻像特征生成模塊的重點(diǎn)和難點(diǎn)，上述3種操作的特征圖通道數(shù)的選擇非常重要，將直接影響模塊中組卷積的具體分組機(jī)制，進(jìn)而影響模塊的輕量級效果?？紤]到當(dāng)輸出特征圖Y與最初的輸入特征圖X尺寸不一致時(shí)，需要引入額外的逐點(diǎn)卷積來調(diào)整不同模塊間的通道數(shù)，以保證正確構(gòu)建模型結(jié)構(gòu)。雖然這更有利于模塊內(nèi)部實(shí)現(xiàn)更好的信息融合，但不可避免地帶來更多的參數(shù)量以及更大的計(jì)算資源消耗，不利于模型的實(shí)際應(yīng)用。因此，本文選擇輸出特征圖Y與輸入特征圖X尺寸一致的情況，這樣將無需使用額外操作調(diào)整不同模塊間的通道數(shù)，可以使模塊的參數(shù)量達(dá)到最優(yōu)，也更利于模型在實(shí)際應(yīng)用中硬件的部署[15]。由此雖然將缺乏逐點(diǎn)卷積對模塊內(nèi)部信息的融合，但是可以通過后續(xù)對模型整體結(jié)構(gòu)的進(jìn)一步改進(jìn)彌補(bǔ)性能的少量損失。

假設(shè)幻像特征生成模塊的輸入特征圖X和最終的輸出特征圖Y尺寸一致，均為c個(gè)通道。若3種操作中逐點(diǎn)卷積f1×1的卷積核個(gè)數(shù)設(shè)為s，則生成的Y1具有s個(gè)通道。又因?yàn)閅2是由分離Y1所得到，所以Y2和Y1的尺寸相同。而由于Y1與Y存在部分恒等映射關(guān)系，所以Y3的通道數(shù)必須為c-s。這里需要討論c和s的關(guān)系，存在以下3種情況：1)當(dāng)s/(c-s)>1，即Y1的通道數(shù)大于Y3的通道數(shù)時(shí)，此情況下需要由f1×1產(chǎn)生的較多數(shù)量的特征生成較少數(shù)量的幻像特征。這將無法發(fā)揮組卷積計(jì)算高效的優(yōu)勢，從而產(chǎn)生更大的計(jì)算消耗。同時(shí)也無法直接完成圖到圖之間的線性映射，所以此情況不符合設(shè)計(jì)本模塊的初衷。2)當(dāng)s/(c-s)<1，即Y1的通道數(shù)小于Y3的通道數(shù)時(shí)，此情況下需要由f1×1產(chǎn)生的較少數(shù)量的特征直接生成較多數(shù)量的幻像特征。此情況下每一張?jiān)继卣鲌D將生成多張新的幻像特征圖，是一種一對多的映射。但是Y2中的每張?zhí)卣鲌D都會(huì)因此被分配多個(gè)卷積核，從而需要更多的參數(shù)量；3)當(dāng)s/(c-s)=1，即Y1或Y2與Y3的通道數(shù)相等時(shí)，此情況下Y2中的分組卷積則自動(dòng)變?yōu)橹鹕疃染矸e，即每一張?jiān)继卣鲌D將會(huì)對應(yīng)生成一張新的幻像特征圖，是一種一對一的映射。此時(shí)Y2中的每張?zhí)卣鲌D都只會(huì)被分配一個(gè)卷積核，從而達(dá)到參數(shù)量的最優(yōu)。綜上，幻像特征生成模塊將選擇s為c的一半，即Y1、Y2與Y3的通道數(shù)相同，將作為最終組卷積的分組機(jī)制，組卷積核的尺寸大小則成為進(jìn)一步研究的對象，其設(shè)置需要通過實(shí)驗(yàn)驗(yàn)證達(dá)到最優(yōu)。

對于SE注意力機(jī)制和殘差支路，它們是構(gòu)建輕量級模塊的常用結(jié)構(gòu)。其中SE注意力機(jī)制對特征圖的寬度和高度進(jìn)行了全局平均池化，然后使用了2個(gè)全連接層和非線性激活函數(shù)去建立通道間的連接，從而獲取幻像特征生成模塊通道維度上的相關(guān)性。而殘差連接則是將模塊的輸入和輸出直接進(jìn)行線性相加，使信息的前后傳播更加順暢，最終使網(wǎng)絡(luò)的訓(xùn)練更加穩(wěn)定。

2.2 復(fù)合折疊式重用機(jī)制

上述幻像特征生成殘差塊較好解決了去雨滴網(wǎng)絡(luò)普遍存在參數(shù)量大的問題。然而由于其可學(xué)習(xí)的參數(shù)大幅減少，必然會(huì)導(dǎo)致輕量級模型的性能有所下降。這里專門設(shè)計(jì)了復(fù)合折疊式重用機(jī)制，可提高輕量級模型的性能，具體操作如圖2中折疊箭頭所示。

復(fù)合折疊式重用機(jī)制的設(shè)計(jì)受到了行為分割任務(wù)中多階段模型[16]的啟發(fā)，本質(zhì)上是對特征實(shí)現(xiàn)回顧式重用，也就是讓輕量級模型對有限數(shù)量的特征進(jìn)行多次學(xué)習(xí)，能夠使特征以循環(huán)的方式重復(fù)通過網(wǎng)絡(luò)。而將此循環(huán)展開，就等效于特征被同一組參數(shù)的多個(gè)串聯(lián)的網(wǎng)絡(luò)模塊所提取，因此復(fù)合折疊式重用機(jī)制相當(dāng)于將一個(gè)普通直筒式深度網(wǎng)絡(luò)折疊起來，實(shí)現(xiàn)了模型尺寸上的壓縮。而其學(xué)習(xí)特征的方式和深度模型幾乎一致，所以能夠使輕量級網(wǎng)絡(luò)實(shí)現(xiàn)接近于深度網(wǎng)絡(luò)的性能。主要的差異在于復(fù)合折疊式重用機(jī)制提取的特征多樣性稍弱，這源于輕量級模型本身的可學(xué)習(xí)參數(shù)較少。但這一不足可通過后續(xù)設(shè)計(jì)輕量級記憶單元很好地彌補(bǔ)。

具體而言，復(fù)合折疊式重用機(jī)制包括內(nèi)折疊和外折疊2部分操作。其中，內(nèi)折疊是網(wǎng)絡(luò)在前向傳播時(shí)對內(nèi)部的特征提取模塊進(jìn)行操作。當(dāng)模型在訓(xùn)練或者測試時(shí)，內(nèi)折疊操作將位置最后的特征提取模塊的輸出特征重新傳遞給位置最前的特征提取模塊作為輸入特征。此時(shí)特征在特征提取模塊的內(nèi)部進(jìn)行循環(huán)和重用，是一種局部操作和局部的信息傳遞。外折疊是網(wǎng)絡(luò)在前向傳播時(shí)對模型的整體結(jié)構(gòu)進(jìn)行操作。它是將模型位置最后的3×3卷積層的輸出特征重新傳遞給模型最初的3×3卷積層，并對整個(gè)網(wǎng)絡(luò)重復(fù)完成一次完整的前向傳播過程。此時(shí)特征在網(wǎng)絡(luò)整體結(jié)構(gòu)上進(jìn)行循環(huán)和重用操作，是一種全局操作和全局的信息傳遞。通過內(nèi)折疊和外折疊的融合操作，可實(shí)現(xiàn)模型從局部到整體對特征的多次學(xué)習(xí)過程，最終能夠提高輕量級模型的性能。

2.3 輕量級門控循環(huán)單元

復(fù)合折疊式重用機(jī)制能夠通過特征重用在一定程度上提高輕量級模型的性能。但通過分析發(fā)現(xiàn)，其執(zhí)行折疊操作時(shí)生成的多組特征之間并沒有很好地建立聯(lián)系，缺少了模型內(nèi)部的信息交互過程，從而影響了模型的性能。因此可以在網(wǎng)絡(luò)中引入強(qiáng)化信息交互的模塊進(jìn)一步提高輕量級模型的性能。這就類似于人腦對事物的感知和分析過程。當(dāng)人腦中的信息越全面，且信息之間的聯(lián)系越清晰，則會(huì)有更大概率對某件事物做出正確判斷。常用的卷積門控循環(huán)單元(ConvGRU)[17]雖然能夠?qū)崿F(xiàn)上述需求，但仍存在結(jié)構(gòu)復(fù)雜，參數(shù)量大的缺點(diǎn)。對其直接使用不符合設(shè)計(jì)輕量級去雨滴模型的原則和初衷。所以需要設(shè)計(jì)一種新的輕量級門控循環(huán)單元?？紤]到2.1節(jié)幻像特征生成模塊自身的輕量級屬性，本文的輕量級門控循環(huán)單元選擇對ConvGRU的輸入Xt和隱藏狀態(tài)Ht-1引入幻像特征生成模塊。這既可以實(shí)現(xiàn)對門控循環(huán)單元的輕量化，同時(shí)也能夠使網(wǎng)絡(luò)模型保持結(jié)構(gòu)的一致性，更有利于模型的訓(xùn)練。

整體結(jié)構(gòu)如圖5所示，其更新門Zt、重置門Rt、候選隱藏狀態(tài)H′t以及隱藏狀態(tài)Ht可以被分別表示為：

圖5 輕量級門控循環(huán)單元Fig.5 The lightweight gated recurrent unit

Zt=σ(Wxz*Xt+Whz*Ht-1)

(3)

Rt=σ(Wxr*Xt+Whr*Ht-1)

(4)

H′t=tanh(Wxh*Xt+Rt°(Whh*Ht-1))

(5)

Ht=(1-Zt)°H′t+Zt°Ht-1

(6)

式中：σ表示sigmoid激活函數(shù)；W**表示對應(yīng)的權(quán)重張量。

由于復(fù)合折疊式重用機(jī)制包含了內(nèi)折疊和外折疊2種操作，所以分別將輕量級門控循環(huán)單元嵌入到內(nèi)、外折疊操作所在位置，如圖2所示。位于內(nèi)折疊操作所在位置的輕量級門控循環(huán)單元的作用在于整合特征提取模塊所產(chǎn)生的多組深層特征，實(shí)現(xiàn)了局部的信息交互。位于外折疊操作所在位置的輕量級門控循環(huán)單元?jiǎng)t致力于對網(wǎng)絡(luò)學(xué)習(xí)到的全局特征進(jìn)行融合和傳遞，實(shí)現(xiàn)了全局的信息交互。這二者的結(jié)合對模型學(xué)到的特征從局部到整體均建立了聯(lián)系，從而提高了輕量級模型最終的性能。

3 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證本文輕量級去雨滴模型的有效性，將進(jìn)行以下3方面實(shí)驗(yàn)：1)驗(yàn)證不同結(jié)構(gòu)下幻像特征生成殘差塊的有效性；2)驗(yàn)證提出的復(fù)合折疊式重用機(jī)制的有效性；3)驗(yàn)證輕量級門控循環(huán)單元的有效性。為了驗(yàn)證本文輕量級去雨滴模型的先進(jìn)性，將與目前效果較好，具有代表性的5種不同類別的深度神經(jīng)網(wǎng)絡(luò)分別進(jìn)行定量以及定性對比。

3.1 數(shù)據(jù)集的選取

本文所有實(shí)驗(yàn)采用文獻(xiàn)[4]所提出的去雨滴數(shù)據(jù)集“Deraindrop”，因?yàn)樵摂?shù)據(jù)集在目前圖像去雨滴任務(wù)中最權(quán)威且最常用。它的訓(xùn)練集共有861組圖像對，每組圖像對包含一張雨滴圖像以及對應(yīng)的干凈背景。測試集分為2部分。測試集a有58張圖像，測試集b有249張圖像。測試集b比測試集a的場景更豐富，雨滴的多樣性更強(qiáng)，恢復(fù)的難度更大。

3.2 損失函數(shù)

為了保證本文輕量級網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，本文采用平均絕對誤差(MAE)和結(jié)構(gòu)相似度(SSIM)[18]來共同監(jiān)督模型。MAE是2張圖像像素級別上的L1范數(shù)，因此可評價(jià)像素間的差距；SSIM則從亮度、對比度以及結(jié)構(gòu)來評價(jià)2張圖像的相似性。設(shè)計(jì)的整體損失函數(shù)為：

L=α·MAE(y,ygt)+(1-α)·(1-SSIM(y,ygt))(7)

式中：y表示網(wǎng)絡(luò)預(yù)測得到的無雨滴圖像；ygt表示真實(shí)的無雨滴圖像；α是2種損失之間的權(quán)重，經(jīng)實(shí)驗(yàn)驗(yàn)證，本文在網(wǎng)絡(luò)訓(xùn)練中將其固定設(shè)置為0.4。

3.3 實(shí)驗(yàn)設(shè)置

本文模型以端到端的方式進(jìn)行訓(xùn)練，沒有任何預(yù)訓(xùn)練及微調(diào)操作。使用圖像恢復(fù)領(lǐng)域中最權(quán)威最常用的峰值信噪比(PSNR)[19]和結(jié)構(gòu)相似度(SSIM)[18]作為客觀評價(jià)指標(biāo)。其中，PSNR的值能夠反映恢復(fù)的圖像與原圖像二者之間像素值的差異，值越高表示恢復(fù)的效果越好。SSIM值的范圍在[-1,1]，越接近1表示2幅圖像在亮度，對比度和結(jié)構(gòu)上越相近。

本文所有實(shí)驗(yàn)基于PyTorch1.6框架[20]，使用英偉達(dá)2080Ti GPU(11 G)進(jìn)行計(jì)算加速。使用Adam優(yōu)化器更新模型參數(shù)。batch size設(shè)置為8，epoch設(shè)置為80。初始學(xué)習(xí)率設(shè)置為10-3，并在第20、40和60個(gè)epoch的時(shí)候減小5倍。

3.4 模型的有效性驗(yàn)證

3.4.1 幻像特征生成殘差塊

本節(jié)實(shí)驗(yàn)對組卷積核的尺寸設(shè)置進(jìn)行討論。為了探索不同尺寸的組卷積核對幻像特征生成殘差塊性能的影響，選擇尺寸為1×1、3×3和5×5的常見卷積核來遍歷模塊中的線性操作φ1j和φ2j。實(shí)驗(yàn)結(jié)果如表1所示?？梢钥吹?，單獨(dú)使用1×1卷積核會(huì)產(chǎn)生明顯的性能下降。這是因?yàn)?×1卷積核往往只會(huì)聚焦于逐個(gè)像素之間的聯(lián)系，而忽略了特征圖中的有效空間信息。此外，隨著卷積核尺寸的增加，模型的性能逐漸改善。當(dāng)卷積核尺寸為3×3和5×5的組合時(shí)，達(dá)到了最優(yōu)效果。這是因?yàn)?×3和5×5的組合會(huì)為網(wǎng)絡(luò)提供更多不同范圍大小的感受野，從而網(wǎng)絡(luò)能夠更好更全面地感知和提取雨滴圖像的有效特征，最終使模型針對不同測試集均具有更優(yōu)秀的魯棒性和泛化能力。

表1 不同結(jié)構(gòu)幻像特征生成殘差塊的實(shí)驗(yàn)結(jié)果Table 1 The experimental results of ghost feature generation residual modules with different structures

3.4.2 復(fù)合折疊式重用機(jī)制

本節(jié)實(shí)驗(yàn)驗(yàn)證復(fù)合折疊式重用機(jī)制的有效性，設(shè)計(jì)了4種實(shí)驗(yàn)作為對比。分別為：無折疊操作、僅內(nèi)折疊、僅外折疊以及最終的復(fù)合折疊。其中，無折疊操作即表示直筒式網(wǎng)絡(luò)結(jié)構(gòu)。僅內(nèi)折疊表示模型只對幻像特征生成殘差塊實(shí)現(xiàn)局部的特征重用。僅外折疊表示模型只在全局結(jié)構(gòu)上實(shí)現(xiàn)特征重用。而最終的復(fù)合折疊則融合了上述內(nèi)外折疊2種操作。因?yàn)檎郫B操作并不會(huì)引入額外的卷積層，所以這4種架構(gòu)下的參數(shù)量始終保持一致。實(shí)驗(yàn)結(jié)果如表2所示?？梢钥吹剑啾扔跓o折疊操作，不論何種單獨(dú)的折疊操作均會(huì)帶來明顯的性能增益，而復(fù)合折疊式重用機(jī)制則取得了最優(yōu)的定量結(jié)果。上述結(jié)果表明，在設(shè)計(jì)輕量級去雨滴網(wǎng)絡(luò)時(shí)，常見的直筒式網(wǎng)絡(luò)并非最佳選擇，因?yàn)槠渚哂刑卣骼萌醯墓逃腥秉c(diǎn)。在參數(shù)量有限的情況下，復(fù)合折疊式重用機(jī)制可以彌補(bǔ)由參數(shù)較少帶來的性能下降，從而提高輕量級模型的表現(xiàn)能力。

表2 不同折疊操作下的實(shí)驗(yàn)結(jié)果Table 2 The experimental results of different folding operations

3.4.3 輕量級門控循環(huán)單元

本節(jié)實(shí)驗(yàn)驗(yàn)證輕量級門控循環(huán)單元的有效性，共有4組對比實(shí)驗(yàn)。分別為：無門控循環(huán)單元、門控內(nèi)循環(huán)單元、門控外循環(huán)單元以及門控內(nèi)/外循環(huán)單元。其中，無門控循環(huán)單元表示網(wǎng)絡(luò)中沒有記憶模塊。門控內(nèi)循環(huán)單元表示只對內(nèi)折疊操作所在位置引入輕量級門控循環(huán)單元。門控外循環(huán)單元表示只對外折疊操作所在位置引入輕量級門控循環(huán)單元。門控內(nèi)/外循環(huán)單元?jiǎng)t表示模型對內(nèi)折疊以及外折疊操作所在位置均引入了輕量級門控循環(huán)單元。實(shí)驗(yàn)結(jié)果如表3所示。對于本文復(fù)合折疊式的輕量級去雨滴網(wǎng)絡(luò)而言，即使在內(nèi)折疊操作或外折疊操作處單獨(dú)引入輕量級門控循環(huán)單元，也會(huì)帶來一定的性能提升。這說明輕量級門控循環(huán)單元能夠建立局部或全局特征之間的聯(lián)系。而復(fù)合折疊循環(huán)單元相比于無門控循環(huán)單元在測試集a中實(shí)現(xiàn)了接近1 dB的性能提高。這說明復(fù)合折疊循環(huán)單元能夠使輕量級模型在參數(shù)量一定的情況下，實(shí)現(xiàn)了信息從局部到整體的完整交互過程，最終最大化提高了模型的性能表現(xiàn)。

表3 輕量級門控循環(huán)單元的有效性驗(yàn)證Table 3 Validation of lightweight gated recurrent units

3.5 模型的先進(jìn)性驗(yàn)證

為了驗(yàn)證本文模型的先進(jìn)性，選擇了5種最具代表性的先進(jìn)模型作為對比。對這5種網(wǎng)絡(luò)的描述如下：

1)DDN[3](CVPR-17)：第1個(gè)基于神經(jīng)網(wǎng)絡(luò)的圖像去雨模型；

2)AttGAN[4](CVPR-18)：融合了注意力機(jī)制的生成對抗網(wǎng)絡(luò)；

3)DURN[5](CVPR-19)：以對偶?xì)埐钸B接方式構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)；

4)UMAN[6](TIP-21)：結(jié)合軟掩碼編碼的多尺度金字塔網(wǎng)絡(luò)；

5)EfDerain[7](AAAI-21)：推理速度全面占優(yōu)的高效去雨模型。

表4展示了6種去雨滴算法的圖像復(fù)原結(jié)果，最優(yōu)和次優(yōu)結(jié)果分別以加粗和下劃線表示。從表4可以看出，本文在雨滴較稀疏的測試集a上取得了最好的定量結(jié)果。PSNR和SSIM指標(biāo)分別比第2名的AttGAN和DURN高出0.15 dB和0.012。在場景更為復(fù)雜，恢復(fù)難度更大的測試集b上，本文取得了最好的PSNR指標(biāo)以及第2名的SSIM結(jié)果。其中SSIM指標(biāo)與第1名EfDerain只相差0.008 9。然而，本文輕量級模型的總參數(shù)量比目前效果較好且時(shí)間較新的算法降低了2個(gè)量級，即107～105。具體而言，本文模型相比于DURN節(jié)省了18倍的參數(shù)，相比于UMAN節(jié)省了37倍，以及比EfDerain節(jié)省了51倍。上述定量結(jié)果體現(xiàn)了本文輕量級模型的先進(jìn)性。此外，圖6、7展示了在公開數(shù)據(jù)集上不同算法復(fù)原圖像的定性對比?？梢钥吹?，本文模型雖然減少了大量的參數(shù)，卻依然可以保證復(fù)原圖像的整體視覺效果。而且圖像的紋理細(xì)節(jié)也沒有因參數(shù)量的大幅減少而變得模糊或者丟失。綜上所述，本文輕量級去雨滴模型很好地實(shí)現(xiàn)了性能和參數(shù)量的平衡，較好地解決了深度學(xué)習(xí)去雨滴網(wǎng)絡(luò)在移動(dòng)端或嵌入式設(shè)備中難部署的問題，從而充分體現(xiàn)了其潛在的實(shí)際應(yīng)用價(jià)值。

表4 不同算法去雨滴結(jié)果的定量對比Table 4 Quantitative comparison of raindrop removal results of different algorithms

圖6 背景目標(biāo)復(fù)雜時(shí)的定性比較Fig.6 Qualitative comparison when the background target is complicated

圖7 在真實(shí)街道場景的去雨滴定性比較Fig.7 Qualitative comparison of raindrop removal in real street scenes

4 結(jié)論

1)本文面向圖像去雨滴任務(wù)提出了一種新穎的輕量級神經(jīng)網(wǎng)絡(luò)。解決了現(xiàn)有深度網(wǎng)絡(luò)由于特征圖具有高相似性和冗余性所帶來的參數(shù)量大，不利于實(shí)際應(yīng)用的問題。

2)本文提出一種幻像特征生成殘差塊，實(shí)現(xiàn)了模型參數(shù)量的大幅減少；同時(shí)提出復(fù)合折疊式重用機(jī)制以及輕量級門控循環(huán)單元，有效改善了輕量級去雨滴模型的性能。

3)在公開的基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型在性能持平或略高于現(xiàn)有先進(jìn)方法的前提下，實(shí)現(xiàn)了參數(shù)量2個(gè)量級的壓縮，達(dá)到了實(shí)際應(yīng)用部署的模型要求。

4)本文模型的思路為今后設(shè)計(jì)新的輕量級去雨滴模型具有一定的指導(dǎo)意義。未來將會(huì)嘗試結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)進(jìn)一步實(shí)現(xiàn)去雨滴網(wǎng)絡(luò)的更輕量化。