基于殘差注意力機(jī)制的圖像去霧算法

楊振艦, 尚佳美, 張眾維, 張艷, 劉樹東

(天津城建大學(xué) 計(jì)算機(jī)與信息工程學(xué)院, 天津 300384)

在霧霾天氣下，由于大氣中存在渾濁的介質(zhì)，導(dǎo)致采集到的圖像具有對比度低、整體顏色偏灰暗，物體特征不明顯、圖像細(xì)節(jié)模糊等現(xiàn)象，這嚴(yán)重影響了基于圖像的智能信息處理系統(tǒng)的魯棒性和有效性[1]。因此圖像去霧成為諸如圖像分類、檢測、分割等高級視覺任務(wù)的前提，如何提高圖像去霧的效果也成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要問題。

圖像去霧方法包括基于圖像增強(qiáng)的方法、基于圖像復(fù)原的方法和基于深度學(xué)習(xí)的方法。基于圖像增強(qiáng)的方法，如直方圖均衡化[2]、Retinex理論[3]等，直接對低質(zhì)量的圖像做增強(qiáng)處理，可能會(huì)造成圖像信息損失和失真；基于圖像復(fù)原的方法，如暗通道先驗(yàn)(dark channel prior,DCP)[4]、顏色衰減先驗(yàn)(color attenuation prior,CAP)[5]等，利用先驗(yàn)知識和假設(shè)并基于物理模型來對圖像進(jìn)行恢復(fù)，恢復(fù)效果自然，其中最具代表性的是He等人提出的暗通道先驗(yàn)方法，但該方法過高估計(jì)霧的濃度，導(dǎo)致去霧后圖像整體亮度偏暗，且天空區(qū)域常出現(xiàn)顏色失真現(xiàn)象。盡管上述算法取得了較大的進(jìn)步，但它們?nèi)砸蕾囅闰?yàn)知識，具有一定的局限性。

基于深度學(xué)習(xí)的方法可分為間接去霧方法和直接去霧方法。間接去霧方法首先需要估計(jì)大氣光值、透射率或者其他中間變量，然后根據(jù)大氣散射模型恢復(fù)無霧圖像。Cai等[6]首次使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)來估計(jì)霧圖透射率，提出了DehazeNet網(wǎng)絡(luò)。Ren等[7]提出了多尺度的深層卷積神經(jīng)網(wǎng)絡(luò)(multi-scale convolutional neural networks,MSCNN)來學(xué)習(xí)霧圖到透射率之間的映射關(guān)系，該網(wǎng)絡(luò)分2個(gè)階段來訓(xùn)練霧圖粗糙和細(xì)化的透射率，并使用跳躍連接進(jìn)行相連。Li 等[8]對大氣散射模型進(jìn)行變換，將透射率和大氣光值統(tǒng)一表示為參數(shù)K，并借鑒了文獻(xiàn)[6-7]的多尺度和跳躍連接，提出了一種通過估計(jì)參數(shù)K來恢復(fù)無霧圖像的卷積神經(jīng)網(wǎng)絡(luò)(all-in-one dehazing network,AOD-Net)。上述間接去霧方法取得了不錯(cuò)的去霧效果，但過于依賴大氣散射模型，往往出現(xiàn)對透射率過度估計(jì)，且大多數(shù)方法將大氣光值設(shè)置為全局常量，導(dǎo)致去霧后的圖像容易出現(xiàn)顏色失真現(xiàn)象。直接去霧方法不依賴大氣散射模型，端到端地學(xué)習(xí)霧圖到無霧圖像之間的映射關(guān)系。Li 等[9]提出基于條件生成對抗(conditional generative adversarial networks,CGAN)的可訓(xùn)練去霧網(wǎng)絡(luò)，并引入VGG特征和L1正則化梯度先驗(yàn)構(gòu)建損失函數(shù)。Chen等[10]提出門控上下文聚合去霧網(wǎng)絡(luò)(gated context aggregation network,GCANet)，引入平滑空洞卷積并設(shè)計(jì)了門控融合網(wǎng)絡(luò)。Qu等[11]提出了一個(gè)增強(qiáng)的pix2pix去霧網(wǎng)絡(luò)(enhanced pix2pix dehazing network,EPDN)，直接學(xué)習(xí)有霧圖像和無霧圖像之間的映射關(guān)系。Shao等[12]提出一種域適應(yīng)(domain adaptation)去霧網(wǎng)絡(luò)，采用雙向變換網(wǎng)絡(luò)，將圖像從一個(gè)域變換到另一個(gè)域，以彌補(bǔ)合成域和真實(shí)域之間的差距，并使用變換前、后的圖像來訓(xùn)練所提出的去霧網(wǎng)絡(luò)。上述直接去霧方法在一定程度上提高了所恢復(fù)無霧圖像的質(zhì)量，但依然存在部分區(qū)域去霧不徹底或過度去霧的現(xiàn)象。受注意力機(jī)制的啟發(fā)，Tian等[13]提出一種注意力引導(dǎo)的卷積神經(jīng)網(wǎng)絡(luò)用于圖像去噪，使用注意力模塊來指導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行去噪訓(xùn)練，提高了效率并降低了模型的復(fù)雜性。Chen等[14]提出了一種基于特征注意力機(jī)制的超分辨率重建網(wǎng)絡(luò)，將特征提取模塊與注意力機(jī)制相結(jié)合，以便從低分辨率圖像中提取有用的特征，重建的圖像取得了更好的視覺效果。上述算法使用注意力機(jī)制，通過快速瀏覽全局信息來選擇對象區(qū)域，并賦予關(guān)注對象區(qū)域較大的權(quán)重，以抑制其他無用信息，能夠有效提高網(wǎng)絡(luò)的性能和效率。因此，為了更加關(guān)注霧圖的有用信息，本文所設(shè)計(jì)的去霧網(wǎng)絡(luò)引入了注意力機(jī)制。

針對顏色失真和去霧不徹底的問題，本文提出基于殘差注意力機(jī)制的圖像去霧算法，端到端地預(yù)測霧霾密度圖像，實(shí)現(xiàn)無霧圖像的恢復(fù)。為了在不降低分辨率的情況下獲取多尺度信息，提出了包含殘差平滑空洞卷積的多尺度特征提取模塊；設(shè)計(jì)了特征融合模塊實(shí)現(xiàn)多尺度特征有效融合，提高了網(wǎng)絡(luò)的效率和性能。實(shí)驗(yàn)結(jié)果表明本文算法無論在定性還是定量上都具有一定的優(yōu)勢，并通過消融實(shí)驗(yàn)驗(yàn)證了本文所提主要模塊的有效性。本文主要?jiǎng)?chuàng)新點(diǎn)如下：

1) 提出基于殘差注意力機(jī)制的圖像去霧算法，不依賴大氣散射模型端到端地預(yù)測霧霾密度圖像，從而實(shí)現(xiàn)了無需計(jì)算透射率和大氣光值即可恢復(fù)無霧圖像，避免了估計(jì)大氣光值帶來的顏色失真現(xiàn)象，同時(shí)減少了計(jì)算成本。

2) 提出多尺度特征提取模塊。利用平滑空洞卷積，通過設(shè)置不同空洞率來提取特征圖的不同感受野信息，從而提取多尺度特征，并在擴(kuò)大感受野的同時(shí)避免了網(wǎng)格偽影現(xiàn)象；利用高效通道注意力機(jī)制(efficient channel attention,ECA)，通過加權(quán)篩選不同尺度的顯著特征并替換原來特征向后傳播，提高了網(wǎng)絡(luò)的效率和性能；利用跳躍連接在保證網(wǎng)絡(luò)加深的同時(shí)減少梯度消失。

3) 設(shè)計(jì)特征融合模塊，堆疊壓縮不同尺度特征后利用高效通道注意力機(jī)制，動(dòng)態(tài)地調(diào)整其通道權(quán)重，學(xué)習(xí)豐富的上下文信息并抑制冗余信息，增強(qiáng)網(wǎng)絡(luò)提取霧霾密度圖像的能力從而使去霧更加徹底。

1 相關(guān)理論

1.1 大氣散射模型

大多數(shù)圖像去霧方法都采用大氣散射模型來表示退化的圖像，可以簡化表示為：

I(x)=J(x)t(x)+A(1-t(x))

(1)

式中：x表示圖像中的像素；I(x)表示輸入的有霧圖像；J(x)表示恢復(fù)的無霧圖像；t(x)表示透射率；A表示大氣光值。

基于先驗(yàn)的方法[4-5]和基于深度學(xué)習(xí)的方法[6-7],均通過估計(jì)(1)式中的透射率t(x)和大氣光值A(chǔ)來恢復(fù)無霧圖像。但是對于大氣光值A(chǔ)的估計(jì)一般采用經(jīng)驗(yàn)方法,從而容易導(dǎo)致恢復(fù)的無霧圖像顏色失真,因此基于大氣散射模型進(jìn)行圖像去霧具有一定的局限性。

1.2 霧霾密度圖像預(yù)測模型

為解決大氣光值A(chǔ)估計(jì)不準(zhǔn)確的問題,HDP-Net[15]根據(jù)霧圖組成原理,將大氣散射模型重新定義為

I(x)=J(x)+Ih(x)

(2)

式中，Ih(x)表示霧霾密度圖像。并提出了霧霾密度圖像預(yù)測模型,該模型表示為

Ih(x)=P(I(x))

(3)

式中,P(·)表霧霾密度圖像預(yù)測網(wǎng)絡(luò)。則恢復(fù)的無霧圖像可以表示為

J(x)=I(x)-P(I(x))=I(x)-Ih(x)

(4)

通過(4)式可知,只需獲得霧霾密度圖像Ih(x),便可從輸入的有霧圖像I(x)中恢復(fù)無霧圖像J(x),因此本文提出基于殘差注意力機(jī)制的圖像去霧算法端到端地預(yù)測霧霾密度圖像Ih(x),實(shí)現(xiàn)無霧圖像恢復(fù)。

2 基于殘差注意力機(jī)制的圖像去霧算法

本文借鑒編碼-解碼結(jié)構(gòu)[16]設(shè)計(jì)了基于殘差注意力機(jī)制的圖像去霧算法,該算法的網(wǎng)絡(luò)模型包括編碼、多尺度特征提取、特征融合和解碼4個(gè)模塊。通過該網(wǎng)絡(luò)預(yù)測霧霾密度圖像Ih(x),進(jìn)而將輸入的霧圖I(x)與其相減獲得最終的無霧圖像J(x),本文提出的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于殘差注意力機(jī)制的圖像去霧算法網(wǎng)絡(luò)模型

2.1 編碼模塊

編碼模塊將輸入的霧圖轉(zhuǎn)化為特征圖像,如圖1所示,由2個(gè)卷積塊(Conv1、Conv2)和一個(gè)下采樣卷積塊(Conv3) 組成,卷積核大小均為3×3;卷積層的步長為1,填充設(shè)置為1,輸入通道數(shù)為4。下采樣卷積塊的步長為2,輸出通道數(shù)為64。編碼模塊表示為

F0(x)=Conv3(Conv2(Conv1(I(x))))

(5)

式中,F0(x)表示編碼的特征圖像。

2.2 多尺度特征提取模塊

為了在不降低分辨率的情況下擴(kuò)大感受野并提取不同尺度的特征,本文設(shè)計(jì)了多尺度特征提取模塊。如圖1所示,該模塊利用3組不同空洞率的特征提取模塊(FEB1～FEB3),通過提取特征圖不同的感受野信息,從而獲得不同尺度的特征圖。多尺度特征提取模塊表示為

(6)

式中,F1(x),F2(x),F3(x)分別表示提取的不同尺度特征。每個(gè)特征提取模塊(FEBi,i=1,2,3)均包含1個(gè)殘差平滑空洞卷積模塊(SDRBi)、2個(gè)結(jié)構(gòu)相同的殘差塊(RB1i,RB2i)和1個(gè)高效通道注意力機(jī)制(ECAi)。特征提取模塊FEBi(x)表示為

(7)

式中，F(xiàn)i-1(x)表示當(dāng)前輸入的特征。

殘差平滑空洞卷積模塊如圖2所示,包含2個(gè)平滑空洞卷積模塊和跳躍連接。首先利用一個(gè)卷積核大小為(2r-1)×(2r-1),步長為1，輸出通道為64的分離共享卷積層[17]增強(qiáng)輸入單元之間的依賴關(guān)系,避免產(chǎn)生網(wǎng)格偽影現(xiàn)象;然后利用一個(gè)卷積核大小為3×3,步長為1,輸出通道為64的空洞卷積層擴(kuò)大感受野;最后利用實(shí)例歸一化層和ReLU激活函數(shù)層加速模型收斂。同時(shí)利用跳躍連接避免梯度消失現(xiàn)象。SDRBi的空洞率r分別為2,3,4。殘差平滑空洞卷積模塊SDRBi(x)表示為

SDRBi(x)=SDC2i(SDC1i(Fi-1(x)))+Fi-1(x)

(8)

式中，SDCni(·),n=1,2表示平滑空洞卷積函數(shù)。

圖2 殘差平滑空洞卷積模塊SDRB結(jié)構(gòu)圖

殘差塊如圖3所示,采用跳躍連接的方式,提高了網(wǎng)絡(luò)的學(xué)習(xí)能力。殘差塊包含2個(gè)卷積塊和局部跳躍連接,其中卷積塊包含1個(gè)卷積核大小為3×3,步長為1,輸出通道為64的卷積層,1個(gè)實(shí)例歸一化層和ReLU激活函數(shù)層。為了進(jìn)一步提取當(dāng)前尺度的特征,殘差平滑空洞卷積(SDRBi)后接兩個(gè)殘差塊(RB1i和RB2i)來保證提取當(dāng)前尺度特征的完整性。殘差塊RBi(x)表示為

RBi(x)=CB2i(CB1i(Fi-1(x)))+Fi-1(x)

(9)

式中，CBni(·)表示卷積函數(shù)。

圖3 殘差塊RB結(jié)構(gòu)圖

高效通道注意力機(jī)制[18]如圖4所示。首先進(jìn)行不降維的全局平均池化;其次自適應(yīng)的確定一個(gè)卷積核大小為k×k的卷積層,實(shí)現(xiàn)跨通道信息交互;接著使用Sigmoid函數(shù)得到特征圖的權(quán)重值;最后使用特征圖權(quán)重值調(diào)整輸入特征圖,輸出帶權(quán)重的特征圖。在每個(gè)特征提取模塊(FEBi)中均使用高效通道注意力機(jī)制,通過加權(quán)篩選出當(dāng)前尺度的顯著特征代替原來的特征向后傳播,提高了網(wǎng)絡(luò)的效率和性能。高效通道注意力機(jī)制ECAi(x)表示為

ECAi(x)=δ(Convki(gi(Fi-1(x))))?Fi-1(x)

(10)

式中：gi(·)表示全局平均池化函數(shù)；Convki(·)表示卷積核大小為k×k的卷積函數(shù)；δ表示Sigmoid函數(shù)。

圖4 高效通道注意力機(jī)制ECA結(jié)構(gòu)圖

2.3 特征融合模塊

為了將多尺度特征進(jìn)行有效融合。如圖1所示,特征融合模塊首先將不同尺度的特征進(jìn)行堆疊(Concat),然后通過一個(gè)卷積核大小為3×3的卷積層將堆疊后的多尺度特征進(jìn)行壓縮,其輸入通道數(shù)為192,輸出通道數(shù)為64。堆疊并壓縮后的特征Fcat(x)表示為

Fcat(x)=Convcat(cat(F1(x),F2(x),F3(x)))

(11)

式中：Convcat(·)表示壓縮的卷積函數(shù)；cat(·)表示拼接函數(shù)。不同尺度的特征堆疊壓縮后再次使用高效通道注意力機(jī)制(ECA4),動(dòng)態(tài)調(diào)整其通道權(quán)重,學(xué)習(xí)豐富的上下文信息并抑制冗余信息,增強(qiáng)網(wǎng)絡(luò)提取霧霾密度圖像的能力從而使去霧更加徹底。特征融合模塊Fc(x)表示為

Fc(x)=ECA4(Fcat(x))

(12)

2.4 解碼模塊

解碼模塊與編碼模塊對稱,如圖1所示,解碼模塊包含1個(gè)反卷積塊(DeConv)和2個(gè)卷積塊(Conv4、Conv5),填充均設(shè)置為1。反卷積塊的卷積核大小為4×4,步長為2,輸入通道數(shù)為64;一個(gè)卷積塊的卷積核大小為3×3,步長為1;另一個(gè)卷積塊的卷積核大小為1×1輸出通道為3。解碼模塊將融合后的特征進(jìn)行非線性映射得到霧霾密度圖像,解碼模塊表示為

Ih(x)=Conv5(Conv4(DeConv(Fc(x))))

(13)

最終,恢復(fù)的無霧圖像J(x)表示為

J(x)=I(x)-Ih(x)

(14)

2.5 損失函數(shù)

大多數(shù)基于學(xué)習(xí)的圖像去霧方法使用均方差損失(MSE)進(jìn)行訓(xùn)練,本文采用均方差損失函數(shù)來衡量網(wǎng)絡(luò)預(yù)測的霧霾密度圖像與真正霧霾密度圖像之間的差異。均方差損失Lmse(x)表示為

(15)

式中：h(x)為真正霧霾密度圖像；G(x)為清晰圖像；RA(·)為本文提出的殘差注意力機(jī)制網(wǎng)絡(luò)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置與數(shù)據(jù)集

實(shí)驗(yàn)環(huán)境為Win10操作系統(tǒng),Intel(R)i7-7700CPU@3.60GHz處理器,內(nèi)存為16.0 GB,顯卡為NVIDIA GeForce GTX 1080。利用pytorch框架實(shí)現(xiàn)網(wǎng)絡(luò),使用Adam對網(wǎng)絡(luò)進(jìn)行優(yōu)化,訓(xùn)練的批量大小為12,初始學(xué)習(xí)率為0.01且每40次迭代學(xué)習(xí)率衰減為原來的0.1倍,迭代次數(shù)為100次。

數(shù)據(jù)集采用公開的圖像去霧RESIDE[19]數(shù)據(jù)集,包括5個(gè)子集,其中2個(gè)訓(xùn)練集分別為室內(nèi)訓(xùn)練集(indoor training set,ITS)和室外訓(xùn)練集(outdoor training set,OTS);3個(gè)測試集分別為綜合客觀測試集(synthetic objective testing set,SOTS)、混合主觀測試集(hybrid subjective testing set,HSTS)和真實(shí)有霧圖像測試集(real-world task-driven testing set,RTTS)。實(shí)驗(yàn)選取ITS作為訓(xùn)練集,將本文算法與近些年具有優(yōu)勢的算法進(jìn)行對比,包括DCP[4]、CAP[5]、AOD-Net[8]、DehazeNet[6]和GCANet[10]。

3.2 在合成數(shù)據(jù)上實(shí)驗(yàn)

本實(shí)驗(yàn)對合成數(shù)據(jù)集進(jìn)行測試,并與經(jīng)典方法進(jìn)行定量和定性的比較。選用峰值信噪比和結(jié)構(gòu)相似度[19]來評估去霧結(jié)果的好壞,值越高代表去霧的效果越好。

各方法的峰值信噪比和結(jié)構(gòu)相似度如表1所示。

表1 在SOTS室內(nèi)數(shù)據(jù)集上峰值信噪比和結(jié)構(gòu)相似度

對于峰值信噪比,DCP方法、CAP方法和AOD-Net方法都在20.00以下,DehazeNet方法比AOD-Net方法提高了2.08,GCANet方法的峰值信噪比達(dá)到30.23,較前4種方法有很大提升,本文方法的峰值信噪比較GCANet方法提高了4.28。對于結(jié)構(gòu)相似度,前4種方法均未達(dá)到0.900 0,GCANet方法的結(jié)構(gòu)相似度最高,本文方法的結(jié)構(gòu)相似度較GCANet方法略低0.004 6,但相較于其他算法,仍有較高的提升。

另外，在SOTS室內(nèi)測試集中選擇4張不同濃度的霧圖，進(jìn)行主觀質(zhì)量的評價(jià)。各方法的去霧效果以及對應(yīng)的峰值信噪比如圖5所示。DCP方法恢復(fù)的圖像出現(xiàn)了顏色失真的現(xiàn)象，整體顏色較深，且不適合高亮度區(qū)域的恢復(fù)(見圖5b)中的透光區(qū)域)。CAP方法恢復(fù)的圖像顏色偏深(見圖5c)中的桌面區(qū)域)，并且在濃霧的情況下，圖像出現(xiàn)去霧不徹底的現(xiàn)象(見圖5c)中后3幅圖遠(yuǎn)景處)。AOD-Net方法恢復(fù)的圖像出現(xiàn)顏色失真(見圖5d)中的桌面區(qū)域顏色偏深)和去霧不徹底的現(xiàn)象(見圖5d)中的濃霧區(qū)域)。DehazeNet方法恢復(fù)的圖像能保持原來的色彩，但是在去除濃霧時(shí)容易出現(xiàn)去霧不徹底的現(xiàn)象(見圖5e)中的濃霧區(qū)域)。GCANet方法去霧效果不錯(cuò)，但在某些區(qū)域仍出現(xiàn)顏色失真(見圖5f)中的窗簾和柜子區(qū)域)。本文的去霧方法，表現(xiàn)出了較好的去霧效果，未出現(xiàn)可見顏色失真現(xiàn)象，對于濃霧圖像去霧較為徹底，并且恢復(fù)的圖像細(xì)節(jié)和色彩更接近原始清晰圖像。

圖5 SOTS室內(nèi)合成有霧圖像的實(shí)驗(yàn)結(jié)果

3.3 在真實(shí)數(shù)據(jù)上實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文提出的基于殘差注意力機(jī)制的圖像去霧算法的有效性，選取RESIDE中的RTTS真實(shí)有霧數(shù)據(jù)集和網(wǎng)絡(luò)上常見的現(xiàn)實(shí)世界霧天圖像作為自然霧圖測試集，將本文算法與對比算法在上述自然霧圖測試集上進(jìn)行比較。去霧結(jié)果如圖6所示。對于前3幅薄霧圖，DCP方法恢復(fù)的圖像顏色失真，如圖6b)中第二、三幅圖中建筑物的顏色偏深；另外，該方法恢復(fù)天空區(qū)域容易出現(xiàn)失真現(xiàn)象，如圖6b)中第一幅圖天空區(qū)域出現(xiàn)黃色，第二幅圖天空區(qū)域出現(xiàn)黑色。CAP方法恢復(fù)的圖像顏色過深，如圖6c)中第二幅圖近景處出現(xiàn)黑色；另外，該方法恢復(fù)的圖像出現(xiàn)了去霧不徹底現(xiàn)象，如圖6c)中第一、三幅圖的遠(yuǎn)景處。AOD-Net方法雖然可以去除部分霧，但恢復(fù)的圖像缺少細(xì)節(jié)，如圖6d)中第二幅圖遠(yuǎn)處的建筑物細(xì)節(jié)模糊不清，第一、三幅圖均存在去霧不徹底現(xiàn)象；另外，該方法恢復(fù)的圖像容易出現(xiàn)顏色失真現(xiàn)象，如圖6d)中第二幅圖近處的建筑物區(qū)域顏色過深。DehazeNet方法對于遠(yuǎn)景處的霧去除效果不佳，如圖6e)中第二幅圖遠(yuǎn)處的霧仍有殘余；第一、三幅圖也出現(xiàn)了去霧不徹底的現(xiàn)象。GCANet方法雖然取得了較好的去霧效果，但存在去霧不均勻的現(xiàn)象，如圖6f)中第一幅圖天空區(qū)域出現(xiàn)不均勻色塊，第二幅圖最遠(yuǎn)處的高樓區(qū)域比較模糊。本文算法得到的圖像去霧效果優(yōu)于上述算法，既能較為徹底的去霧，又能恢復(fù)視覺效果較好的清晰圖像。對于最后一幅濃霧圖像，所有的方法均未能徹底的去霧，但本文算法能夠恢復(fù)出遠(yuǎn)處建筑輪廓，對比其他算法在去除濃霧方面有一定進(jìn)步，但也出現(xiàn)了部分區(qū)域顏色失真現(xiàn)象。

圖6 真實(shí)場景有霧圖像實(shí)驗(yàn)結(jié)果

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提多尺度特征提取和特征融合模塊的有效性，在SOTS室內(nèi)測試集上進(jìn)行如下消融實(shí)驗(yàn)：①特征提取模塊使用普通卷積層替換SDRB中的空洞卷積層，僅提取相同尺度的特征，并且特征融合模塊不使用ECA模塊；②特征提取模塊使用普通卷積層，特征融合模塊使用ECA模塊；③特征提取模塊使用空洞卷積，特征融合模塊不使用ECA模塊。上述實(shí)驗(yàn)的峰值信噪比和結(jié)構(gòu)相似度如表2所示。從表2可以看出，僅使用特征融合模塊(實(shí)驗(yàn)2)和僅使用多尺度特征提取模塊(實(shí)驗(yàn)3)比二者均不使用(實(shí)驗(yàn)1)的峰值信噪比分別提升了0.62和0.94；同時(shí)利用2個(gè)模塊(本文算法)比實(shí)驗(yàn)2和實(shí)驗(yàn)3的峰值信噪比分別提升了1.65和1.33；并且本文算法的結(jié)構(gòu)相似度較其他3組實(shí)驗(yàn)均有提升。因此本文提出的多尺度特征提取模塊和包含ECA的特征融合模塊具有實(shí)際的有效性。

表2 在SOTS室內(nèi)數(shù)據(jù)集上峰值信噪比和結(jié)構(gòu)相似度比較

4 結(jié) 論

本文提出了基于殘差注意力機(jī)制的圖像去霧算法，端到端地預(yù)測霧霾密度圖像進(jìn)行去霧。網(wǎng)絡(luò)設(shè)計(jì)基于編碼-解碼結(jié)構(gòu)，方便后續(xù)特征提取并且減少內(nèi)存占用；利用多尺度特征提取和特征融合模塊對不同尺度特征進(jìn)行有效提取和融合，在其每個(gè)模塊末尾均使用了高效通道注意力機(jī)制，自適應(yīng)地使顯著特征具有較大權(quán)重，抑制了冗余信息，增強(qiáng)了網(wǎng)絡(luò)恢復(fù)霧霾密度圖像的性能從而令去霧更加徹底。本文方法不依賴大氣散射模型，有效地改善了顏色失真和去霧不徹底的現(xiàn)象，提高了網(wǎng)絡(luò)性能，針對合成圖像和現(xiàn)實(shí)場景中的霧圖均表現(xiàn)出了良好的去霧效果。