基于雙重注意力機(jī)制的圖像超分辨重建算法

李 彬，王 平，趙思逸

基于雙重注意力機(jī)制的圖像超分辨重建算法

李 彬1，王 平1，趙思逸2

(1. 國(guó)防科技大學(xué)電子科學(xué)學(xué)院，湖南 長(zhǎng)沙 410072； 2. 國(guó)防科技大學(xué)計(jì)算機(jī)學(xué)院，湖南 長(zhǎng)沙 410072)

近年來，卷積神經(jīng)網(wǎng)絡(luò)(CNN)在單幅圖像超分辨率重建領(lǐng)域(SISR)展現(xiàn)出良好效果。深度網(wǎng)絡(luò)可以在低分辨率圖像和高分辨率圖像之間建立復(fù)雜的映射，使得重建圖像質(zhì)量相對(duì)傳統(tǒng)的方法取得巨大提升。由于現(xiàn)有SISR方法通過加深和加寬網(wǎng)絡(luò)結(jié)構(gòu)以增大卷積核的感受野，在具有不同重要性的空間域和通道域采用均等處理的方法，因此會(huì)導(dǎo)致大量的計(jì)算資源浪費(fèi)在不重要的特征上。為了解決此問題，算法通過雙重注意力模塊捕捉通道域與空間域隱含的權(quán)重信息，以更加高效的分配計(jì)算資源，加快網(wǎng)絡(luò)收斂，在網(wǎng)絡(luò)中通過殘差連接融合全局特征，不僅使得主干網(wǎng)絡(luò)可以集中學(xué)習(xí)圖像丟失的高頻信息流，同時(shí)可以通過有效的特征監(jiān)督加快網(wǎng)絡(luò)收斂，為緩解MAE損失函數(shù)存在的缺陷，在算法中引入了一種特殊的Huber loss函數(shù)。在主流數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該算法相對(duì)現(xiàn)有的SISR算法在圖像重建精度上有了明顯的提高。

單幅圖像超分辨；特征監(jiān)督；殘差連接；通道注意力機(jī)制；空間注意力機(jī)制

單幅圖像超分辨率重建(single image super- resolution，SISR)是一個(gè)低水平的計(jì)算機(jī)視覺任務(wù)，其目標(biāo)是利用低分辨率(low-resolution，LR)圖像，恢復(fù)出對(duì)應(yīng)的高分辨率(high-resolution，HR)圖像。由于硬件設(shè)備和信息傳輸條件的限制，通常獲取到的多為L(zhǎng)R圖像。SISR技術(shù)在不增加硬件成本的同時(shí)能有效提升圖像的成像質(zhì)量，因而已經(jīng)在社會(huì)安全[1]、醫(yī)學(xué)成像[2]、軍事遙感[3]等領(lǐng)域取得廣泛應(yīng)用。但由于LR圖像丟失了大量的高頻紋理信息，導(dǎo)致同一幅LR圖像，可能存在多個(gè)HR圖像與之對(duì)應(yīng)，因而SISR是一個(gè)不適定的問題。目前已經(jīng)提出的超分辨算法主要有3類：基于插值的算法、基于重建的算法和基于學(xué)習(xí)的算法。基于深度學(xué)習(xí)的圖像超分辨率重建算法是基于學(xué)習(xí)算法的一種，該算法以機(jī)器學(xué)習(xí)算法理論為基礎(chǔ)，通過建立輸入的LR圖像和對(duì)應(yīng)的HR圖像的樣本數(shù)據(jù)庫(kù)，學(xué)習(xí)LR圖像與HR圖像之間對(duì)應(yīng)的映射函數(shù)從而獲得有效的重建模型。DONG等[4]第一次將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)引入圖像超分辨率重建領(lǐng)域，提出了SRCNN網(wǎng)絡(luò)算法，由于SRCNN算法建立了一種端對(duì)端模型，同時(shí)也展現(xiàn)出良好的重建效果，因而引起極大關(guān)注，目前已涌現(xiàn)出如VDSR[5]，DRCN[6]，DRRN[7]等網(wǎng)絡(luò)結(jié)構(gòu)算法，已逐步發(fā)展成為該領(lǐng)域的主流算法。

雖然深度網(wǎng)絡(luò)模型在圖像超分辨率重建領(lǐng)域取得了非常好的效果，但其仍然暴露出許多問題，制約著模型效果的提升：①大部分的CNN網(wǎng)絡(luò)模型主要通過加深網(wǎng)絡(luò)結(jié)構(gòu)的深度，通過重復(fù)的卷積操作，增大卷積核感受野以捕捉長(zhǎng)距離鄰域信息，使得圖像重建質(zhì)量有較大提升。但是加深網(wǎng)絡(luò)結(jié)構(gòu)往往會(huì)帶來較大的計(jì)算量，同時(shí)使得網(wǎng)絡(luò)優(yōu)化訓(xùn)練難度加大；②現(xiàn)有的CNN網(wǎng)絡(luò)多是通過卷積操作提取圖像信號(hào)特征，對(duì)于各通道、位置特征采用均等處理辦法，但實(shí)際上各特征有不同的重要程度，均等處理使得網(wǎng)絡(luò)花費(fèi)很多的計(jì)算資源在不重要的特征上；③隨著CNN網(wǎng)絡(luò)深度增加，不同的卷積層有不同大小的感受野，因而獲取到的特征信息存在差異性，僅利用最后卷積層輸出的特征映射實(shí)現(xiàn)重建任務(wù)，導(dǎo)致一部分可用信息被浪費(fèi)。

Senet[8]網(wǎng)絡(luò)將通道注意力機(jī)制引入深度神經(jīng)網(wǎng)絡(luò)，在卷積操作中輸出每個(gè)通道的特征由一個(gè)卷積核與輸入特征計(jì)算獲得，因而不同卷積核提取的特征重要性不盡相同，Senet構(gòu)建了Squeeze和Excitation結(jié)構(gòu)學(xué)習(xí)代表各通道重要性的權(quán)重值，通過學(xué)習(xí)到的權(quán)重值自適應(yīng)地增強(qiáng)對(duì)重建任務(wù)有用的特征并抑制用處不大的特征。由于Senet結(jié)構(gòu)可以將有限的計(jì)算資源合理地分配到更需要的運(yùn)算中，因而可以在有限計(jì)算資源條件下有效提升網(wǎng)絡(luò)算法的學(xué)習(xí)能力，同時(shí)也適合構(gòu)建輕量的網(wǎng)絡(luò)架構(gòu)，因而獲得廣泛地應(yīng)用。Non-local[9]也是一種構(gòu)建注意力機(jī)制的方法，但在實(shí)際應(yīng)用中，由于需要對(duì)兩兩像素點(diǎn)之間進(jìn)行權(quán)重計(jì)算，因而帶來的大量的計(jì)算量，難以大規(guī)模在網(wǎng)絡(luò)結(jié)構(gòu)中采用。RCAN[10]第一次將通道注意力機(jī)制引入到圖像超分辨率重建領(lǐng)域，使該算法展現(xiàn)出良好的重建效果。針對(duì)前面提到現(xiàn)有深度模型存在的一些缺陷，受RCAN算法的啟發(fā)，本文提出了一個(gè)新穎的網(wǎng)絡(luò)結(jié)構(gòu)算法，以解決現(xiàn)有網(wǎng)絡(luò)模型存在的問題。該算法通過構(gòu)建一個(gè)基于通道注意力和空間注意力[11]的雙重注意力機(jī)制模塊(dual attention module，DAM)，該模塊通過捕捉不同通道或空間位置特征重要性以獲取對(duì)應(yīng)位置的權(quán)重參數(shù)，從而自適應(yīng)地根據(jù)通道內(nèi)特征的重要程度分配計(jì)算資源以增強(qiáng)有用特征抑制無用特征，同時(shí)算法中通過長(zhǎng)跳躍連接[12]構(gòu)建特征監(jiān)督，將每個(gè)模塊輸出都自適應(yīng)的用于圖像重建，既有效監(jiān)督每級(jí)模塊輸出，加快網(wǎng)絡(luò)收斂，也充分利用各級(jí)特征進(jìn)行圖像重建，使得各分層特征能夠得到有效利用。本文的主要工作包括：

(1) 提出一個(gè)新穎的基于雙重注意力機(jī)制的深度網(wǎng)絡(luò)算法實(shí)現(xiàn)圖像超分辨率重建。通過在基準(zhǔn)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了該算法相對(duì)目前最先進(jìn)的SISR算法有了明顯的效果提升。

(2) 構(gòu)建了包含DAM的殘差網(wǎng)絡(luò)塊。其包括2個(gè)基本的殘差塊和1個(gè)DAM。DAM模塊包括空間注意力機(jī)制和通道注意力機(jī)制。空間注意力機(jī)制是通過自適應(yīng)地學(xué)習(xí)不同空間位置像素的權(quán)重從而自適應(yīng)地強(qiáng)化重要位置的特征，以對(duì)空間位置特征進(jìn)行建模，通道注意力機(jī)制能夠自適應(yīng)學(xué)習(xí)調(diào)整中間通道內(nèi)重要特征而抑制無用特征，從而更加高效地利用計(jì)算資源進(jìn)行有效計(jì)算，提高模型的有效性。

(3) 構(gòu)建了全局特征融合模塊，通過跳躍連接將各分層提取到的特征直接送入全局特征融合模塊。分層特征的引入使得本文模型能夠從淺層就加強(qiáng)特征監(jiān)督，促進(jìn)網(wǎng)絡(luò)收斂，同時(shí)淺層信息也可以有效加強(qiáng)圖像重建效果，從而進(jìn)一步強(qiáng)化圖像重建質(zhì)量。

1 殘差雙重注意力網(wǎng)絡(luò)(RDAN)

1.1 網(wǎng)絡(luò)基本結(jié)構(gòu)

受RCAN算法的啟發(fā)，本文提出了一個(gè)新穎的深度網(wǎng)絡(luò)算法稱為殘差雙重注意力網(wǎng)絡(luò)(residual dual attention network，RDAN)，該網(wǎng)絡(luò)結(jié)構(gòu)主要包括淺層特征提取模塊、基于雙重注意力機(jī)制的特征融合模塊、上采樣模塊和圖像重建模塊。用I表示網(wǎng)絡(luò)輸入，用I表示網(wǎng)絡(luò)輸出，在淺層特征提取模塊，網(wǎng)絡(luò)用一個(gè)卷積層提取輸入圖像I的特征，即

其中，H(·)為簡(jiǎn)單的單層卷積映射實(shí)現(xiàn)淺層特征提取。然后將淺層卷積提取到的特征作為基于雙重注意力機(jī)制特征融合模塊的輸入，通過基于雙重注意力機(jī)制特征融合模塊得到特征映射后的高維特征，即

其中，H(·)為雙重注意力機(jī)制的特征融合模塊映射關(guān)系。該模塊通過對(duì)每個(gè)子模塊的特征進(jìn)行融合得到新的高維特征，與現(xiàn)有的SISR方法相比，本文提出的雙重注意力機(jī)制的特征融合模塊使得網(wǎng)絡(luò)可以更加有效地利用所提取到的有用特征，抑制無用特征，從而使得網(wǎng)絡(luò)在不增加算力的同時(shí)能夠有效加深網(wǎng)絡(luò)的深度，從而增大卷積核的感受野。融合轉(zhuǎn)變后的特征作為上采樣模塊的輸入，通過亞像素卷積[13]的方法對(duì)輸入特征進(jìn)行上采樣，得到尺度增大的特征映射，上采樣后的特征為

其中，H(·)為上采樣操作；F為上采樣后輸出特征。目前在超分辨率重建領(lǐng)域常用的上采樣方式有插值操作[14]、反卷積操作[15]和亞像素卷積操作。亞像素卷積操作是一種像素重排的方式實(shí)現(xiàn)上采樣，這種重排像素的方式使得其相對(duì)反卷積操作，減少了需要學(xué)習(xí)的參數(shù)。因而為了使網(wǎng)絡(luò)在重建速率和精度方面達(dá)到較好結(jié)果，本文選擇通過亞像素卷積操作實(shí)現(xiàn)上采樣。最后通過一個(gè)簡(jiǎn)單的卷積層將輸入特征轉(zhuǎn)化為彩色圖像對(duì)應(yīng)的三通道的輸出圖像，即

其中，H(·)為圖像重建模塊的映射函數(shù)；H(·)為I到I的映射函數(shù)。

1.2 雙重注意力機(jī)制的全局特征融合模塊

在本文的網(wǎng)絡(luò)算法設(shè)計(jì)中，基于殘差雙重注意力機(jī)制特征融合的模塊(residual dual attention block，RDAB)是網(wǎng)絡(luò)中實(shí)現(xiàn)特征映射的主要結(jié)構(gòu)。該模塊構(gòu)建了殘差雙重注意力機(jī)制的全局特征融合結(jié)構(gòu)，包括個(gè)雙重注意力組(dual attention group，DAG)和個(gè)跳躍結(jié)構(gòu)，如圖1所示。每個(gè)DAG模塊的輸入經(jīng)過特征拼接后由瓶頸層(1×1卷積實(shí)現(xiàn))進(jìn)行特征融合，有助于加強(qiáng)信息的流動(dòng)，在有效降低特征通道數(shù)的同時(shí)也有助于提升重建圖像效果，每個(gè)DAG模塊包括個(gè)DAM和1個(gè)局部殘差結(jié)構(gòu)，在DAG模塊中，殘差結(jié)構(gòu)有效加強(qiáng)了低頻信息的傳遞。雙重注意力、跳躍連接以及特征融合的機(jī)制使得本文的網(wǎng)絡(luò)算法能夠在不引入更多參數(shù)時(shí)，可進(jìn)一步提高網(wǎng)絡(luò)學(xué)習(xí)非線性映射的能力，從而獲得更佳的重建效果。

為了更加充分地利用各分層提取到的特征，將每個(gè)DAG模塊的輸出進(jìn)行融合，使得網(wǎng)絡(luò)能夠提取到更充分的特征信息以獲得更佳的重建效果。網(wǎng)絡(luò)模塊中第個(gè)DAG塊的輸出特征可表示為

圖1 殘差雙重注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)

其中，F和F-1分別為第和第-1個(gè)DAG模塊的輸出映射，同時(shí)F-1也是第個(gè)DAG模塊的輸入；(·)為網(wǎng)絡(luò)中第個(gè)DAG模塊對(duì)應(yīng)的函數(shù)映射。為了強(qiáng)化信息的流動(dòng)，網(wǎng)絡(luò)中有效利用跳躍連接對(duì)分層特征進(jìn)行拼接，通過瓶頸層實(shí)現(xiàn)特征融合，使得網(wǎng)絡(luò)能夠充分利用分層特征，實(shí)現(xiàn)更佳的重建效果。具體RDAB特征映射可表達(dá)為

其中，(·)為將各DAG模塊輸出的特征映射進(jìn)行拼接；(·)為將拼接后的特征融合壓縮，通過長(zhǎng)跳躍連接將融合后的殘差特征與輸入特征F進(jìn)行合并，使網(wǎng)絡(luò)更加關(guān)注殘差細(xì)節(jié)的學(xué)習(xí)。

由于超分辨(super-resolution，SR)圖像與LR圖像在低頻信息方面基本一致，因而超分辨網(wǎng)絡(luò)更加關(guān)注恢復(fù)圖像的高頻細(xì)節(jié)和紋理部分。為了更好地利用LR圖像淺層特征包含的豐富的低頻圖像信息，在DAG模塊內(nèi)部也構(gòu)建了局部跳躍連接，使得低頻信號(hào)可以直接通過跳躍連接傳遞到模塊尾端，每個(gè)DAG模塊需堆疊了個(gè)DAM，第個(gè)DAG中的第個(gè)DAM可表達(dá)為

其中，F,n和F,n-1分別為第個(gè)DAG模塊中的第個(gè)DAM塊和第-1個(gè)DAM塊的輸出映射，同時(shí)F,n-1也是該DAG模塊中第個(gè)DAM塊的輸入；,n(·)為第個(gè)DAG模塊中的第個(gè)DAM塊的映射函數(shù)。同樣為了加快信息的傳遞，網(wǎng)絡(luò)中構(gòu)建了局部殘差連接。則第個(gè)DAG模塊可表達(dá)為

其中，W為第個(gè)DAG模塊中最后一個(gè)卷積核的參數(shù)，其余參數(shù)含義與前面保持一致，本文構(gòu)建的每個(gè)DAM中都包含雙重注意力機(jī)制。

1.3 雙重注意力機(jī)制

早期的基于CNN的超分辨網(wǎng)絡(luò)結(jié)構(gòu)主要關(guān)注點(diǎn)在提高網(wǎng)絡(luò)深度和寬度，對(duì)于網(wǎng)絡(luò)提取的特征在空間和通道間內(nèi)采用的是均等的處理辦法。該方法使得對(duì)于不同的特征映射網(wǎng)絡(luò)缺乏必要的靈活性，因而實(shí)際工程任務(wù)中，極大地浪費(fèi)了計(jì)算資源。注意力機(jī)制的提出，使得網(wǎng)絡(luò)能夠更多地關(guān)注對(duì)目標(biāo)任務(wù)更加有用的信息特征，抑制無用的特征。從而使得計(jì)算資源可以更加科學(xué)地分配到特征映射過程中，因而可以在不增大計(jì)算量的同時(shí)進(jìn)一步加深網(wǎng)絡(luò)深度。

將注意力機(jī)制應(yīng)用于SISR任務(wù)，目前已有部分網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了探索，例如RCAN，SAN[16]等網(wǎng)絡(luò)結(jié)構(gòu)通過注意力機(jī)制的應(yīng)用使得SISR效果有了較大的提升。本文通過將空間注意力機(jī)制和通道注意力機(jī)制融合構(gòu)建一個(gè)新的模塊，并將其命名為雙重注意力機(jī)制(dual attention，DA)，進(jìn)一步強(qiáng)化了SISR的效果，在基準(zhǔn)數(shù)據(jù)集上與目前現(xiàn)有的SISR算法相比取得了更佳的重建質(zhì)量。

1.3.1 通道注意力機(jī)制

為構(gòu)建通道注意力機(jī)制，SE(squeeze-excitation)塊通過聚合通道內(nèi)的特征映射獲得其描述，并利用通道全局描述有選擇地加強(qiáng)有用特征抑制無用特征。圖2(a)為Senet的通道注意力結(jié)構(gòu)圖，圖2(b)為本文提出的通道注意力結(jié)構(gòu)圖，在圖2(a)中，通過對(duì)輸入特征的每一個(gè)通道進(jìn)行平均池化操作，假設(shè)輸入特征維度為××，則第個(gè)通道特征池化公式為

通過觀察可以發(fā)現(xiàn)，不同通道包含的特征信息存在差異性，因而具有不同的重要性，通過全局平均池化獲得每個(gè)特征圖對(duì)應(yīng)的均值，及計(jì)算每幅特征圖的標(biāo)準(zhǔn)差。圖3通過4幅特征圖對(duì)比發(fā)現(xiàn)，其對(duì)應(yīng)的最大均值僅為最小均值的1.04倍，最大方差是最小方差的7倍，標(biāo)準(zhǔn)差也有2.6倍。由此認(rèn)為標(biāo)準(zhǔn)差池化能為通道權(quán)重學(xué)習(xí)提供更加有效的信息。其表達(dá)式為

其中，y為第個(gè)通道的標(biāo)準(zhǔn)差；(·)為全局標(biāo)準(zhǔn)差；z為第個(gè)通道的平均池化結(jié)果。為充分利用其信息，在圖2(b)中將全局平均池化和全局標(biāo)準(zhǔn)差池化的2個(gè)一維向量(C×1)，通過特征拼接為二維矩陣(C×2)，通過一個(gè)一維卷積操作將二維矩陣壓縮成一維向量，為進(jìn)一步捕捉基于通道的依賴關(guān)系及對(duì)應(yīng)的權(quán)重值，需要構(gòu)建學(xué)習(xí)各通道間的非線性關(guān)系的網(wǎng)絡(luò)架構(gòu)，以確保多個(gè)通道能被強(qiáng)化激活，從而有效學(xué)習(xí)非互斥的關(guān)系，因而本文采用了全連接的方式，并通過一個(gè)Sigmod[17]激活函數(shù)對(duì)權(quán)重值進(jìn)行歸一化后將權(quán)重作用到輸入特征中。圖2(b)包括注意力機(jī)制部分和一個(gè)殘差結(jié)構(gòu)，其注意力機(jī)制部分輸出特征可表示為

其中，為通道注意力結(jié)構(gòu)的輸出特征；和分別為經(jīng)過平均池化和標(biāo)準(zhǔn)差池化后的結(jié)果；(·)為特征拼接；(·)和(·)為RELU[18]函數(shù)和Sigmod激活函數(shù)；W為一個(gè)一維卷積參數(shù)，將通道池化后拼接的二維向量壓縮成一維；W和W為卷積核的權(quán)重參數(shù)，其表示對(duì)特征通道按衰減尺度進(jìn)行壓縮和擴(kuò)增。

圖2 Senet和本文的通道注意力結(jié)構(gòu)圖((a) Senet的通道注意力結(jié)構(gòu)圖；(b)本文的通道注意力結(jié)構(gòu)圖)

圖3 卷積通道可視化結(jié)果

1.3.2 空間注意力機(jī)制

受Senet的啟發(fā)，結(jié)合圖3可以發(fā)現(xiàn)，不同通道之間存在不同的重要性，同樣空間上不同位置的紋理細(xì)節(jié)也各異，因而其具有不同的重要性，由此在網(wǎng)絡(luò)中構(gòu)建和計(jì)算空間注意力機(jī)制時(shí)，需在網(wǎng)絡(luò)結(jié)構(gòu)中分別沿通道軸進(jìn)行平均池化和標(biāo)準(zhǔn)差池化，即

本文將池化后的特征拼接經(jīng)二維卷積將通道數(shù)目壓縮為1，為了進(jìn)一步減少計(jì)算量同時(shí)保證多個(gè)空間位置信息能夠被強(qiáng)化，本文通過卷積操作來實(shí)現(xiàn)空間權(quán)重信息的非線性映射，同時(shí)也使用Sigmod函數(shù)對(duì)計(jì)算的空間權(quán)重特征圖進(jìn)行歸一化。圖4(a)為本文提出的空間注意力機(jī)制，包括注意力機(jī)制部分和一個(gè)殘差結(jié)構(gòu)，注意力結(jié)構(gòu)的輸出特征可表達(dá)為

圖4 本文提出的空間和全局注意力結(jié)構(gòu)圖((a)本文提出的空間注意力結(jié)構(gòu)圖；(b)本文提出的全局注意力結(jié)構(gòu)圖)

最終，通過通道注意力和空間注意力機(jī)制的組合，構(gòu)建了具有雙重注意力的網(wǎng)絡(luò)結(jié)構(gòu)，如圖4(b)所示。空間注意力和通道注意力機(jī)制分別對(duì)空間位置像素和通道權(quán)重進(jìn)行建模，將其組合對(duì)每個(gè)像素的位置權(quán)重進(jìn)行建模，最后通過對(duì)應(yīng)位置相乘將學(xué)習(xí)的權(quán)重值疊加到每一個(gè)對(duì)應(yīng)的特征點(diǎn)位置，表達(dá)式為

與結(jié)構(gòu)層透水混凝土施工間隔超過10h，攤鋪前應(yīng)對(duì)基層透水混凝土表面使用無機(jī)復(fù)合固化劑50倍加入稀釋噴涂基層透水混凝土表面。

圖5為本文構(gòu)建的雙重注意力模塊(DAM)的主體網(wǎng)絡(luò)結(jié)構(gòu)，其包括卷積操作、雙重注意力結(jié)構(gòu)和殘差連接，對(duì)于第個(gè)DAG中的第個(gè)DAM，其計(jì)算過程為

其中，DAm,n(·)為映射函數(shù)；Fm,n和Fm,n-1分別為模塊的輸出和輸入；和分別為前后2個(gè)卷積操作的參數(shù)；s(·)為RELU激活函數(shù)；Rm,n(·)為雙重注意力機(jī)制的映射函數(shù)；Xm,n為網(wǎng)絡(luò)中間輸出。

1.4 損失函數(shù)

超分辨率重建的目的是使重建后的SR圖像I與真實(shí)圖像I盡可能接近，其為回歸問題，常用的損失函數(shù)有MAE(mean-absolute error)[19]、感知損失[20]、MSE(mean-square error)[19]等，基于MSE的損失函數(shù)對(duì)誤差進(jìn)行平方操作，如果數(shù)據(jù)中存在離群點(diǎn)，將被賦予更大的權(quán)重值，而離群點(diǎn)往往為噪聲信息，因而犧牲了其他正常數(shù)據(jù)點(diǎn)的預(yù)測(cè)效果，降低了模型的魯棒性。Lapsrn[21]和IDN[22]的實(shí)驗(yàn)證明了基于MAE的損失函數(shù)相對(duì)于基于MSE損失函數(shù)有更好的圖像重建效果。由于MAE損失函數(shù)中的梯度信息為一個(gè)固定值，當(dāng)模型計(jì)算的損失較低時(shí)，其梯度值較大，模型易在一個(gè)區(qū)間振蕩，不利于網(wǎng)絡(luò)收斂，在損失為0時(shí)，損失函數(shù)無法求解梯度。為應(yīng)對(duì)MAE損失函數(shù)存在的缺陷，本文利用特殊的Huber loss[23]損失函數(shù)來保持MAE損失函數(shù)的魯棒性，其可表示為

本文網(wǎng)絡(luò)算法的損失函數(shù)為

2 實(shí)驗(yàn)設(shè)置及結(jié)果分析

2.1 訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)

本文采用與RCAN，RDN，IDN等相同的訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集進(jìn)行比較。訓(xùn)練數(shù)據(jù)采用DIV2K[24]數(shù)據(jù)集，其包含了豐富的場(chǎng)景和邊緣及紋理細(xì)節(jié)的800幅訓(xùn)練圖像、100幅驗(yàn)證圖像和100幅測(cè)試圖像。在訓(xùn)練模型時(shí)，本文使用該數(shù)據(jù)集的800幅訓(xùn)練圖像，為了避免在訓(xùn)練過程中出現(xiàn)欠擬合現(xiàn)象[25]，通過隨機(jī)旋轉(zhuǎn)90°，180°，270°和水平翻轉(zhuǎn)，進(jìn)行了數(shù)據(jù)擴(kuò)增[26]，使其擴(kuò)充為原來的8倍，以保證足夠的訓(xùn)練數(shù)據(jù)，同時(shí)解決不同傾斜角度的圖像重建問題。訓(xùn)練數(shù)據(jù)中的LR圖像為通過雙三次插值下采樣的LR圖像。設(shè)置mini-batch為16，即每次訓(xùn)練中，抽取16幅48×48的LR圖像的子圖及對(duì)應(yīng)標(biāo)簽圖像進(jìn)行訓(xùn)練。另采用常用基準(zhǔn)數(shù)據(jù)集Set5[27]和Set14[28]作為測(cè)試數(shù)據(jù)集，其中Set5包含5幅不同風(fēng)格類型的圖像，Set14包含14幅圖像。

2.2 網(wǎng)絡(luò)超參數(shù)設(shè)置

實(shí)驗(yàn)的軟硬件條件見表1，在網(wǎng)絡(luò)結(jié)構(gòu)中設(shè)置=10，=20，即主體的RDAN算法框架包括10個(gè)DAG模塊，而每個(gè)DAG模塊內(nèi)又包含20個(gè)DAM模塊，從而構(gòu)成了一個(gè)復(fù)雜的深度網(wǎng)絡(luò)算法結(jié)構(gòu)。除了在通道注意力機(jī)制內(nèi)通道壓縮和擴(kuò)增及特征融合的瓶頸層采用1×1的卷積核，其余卷積核大小均為3×3，在空間注意力機(jī)制采用的卷積和反卷積的卷積核大小也為3×3，其步長(zhǎng)為3。在網(wǎng)絡(luò)訓(xùn)練過程，為使得中間特征映射的大小保持一致，網(wǎng)絡(luò)中應(yīng)用了補(bǔ)0策略。除了空間注意力機(jī)制中使用1個(gè)卷積核濾波器，如圖4(a)所示，輸出特征為單通道特征映射，通道注意力機(jī)制中通道壓縮層采用了通道壓縮策略，壓縮倍數(shù)為=16，即采用/=4個(gè)卷積核，如圖2(b)所示，為確保最后一層輸出為彩色圖像，網(wǎng)絡(luò)輸出使用3個(gè)卷積核，其余結(jié)構(gòu)均采用=64個(gè)卷積核，在上采樣結(jié)構(gòu)中，與ESPCN一致，采用亞像素卷積層結(jié)構(gòu)實(shí)現(xiàn)特征上采樣，從而獲得HR的彩色圖像。

表1 實(shí)驗(yàn)的軟硬件平臺(tái)

網(wǎng)絡(luò)使用ADAM[29]優(yōu)化器，優(yōu)化參數(shù)為1=0.9，2=0.999，=10-8設(shè)置初始學(xué)習(xí)率為10-4，每2×105次迭代后學(xué)習(xí)率下降一半，每1 000次迭代后在Set5數(shù)據(jù)集上做一次測(cè)試，以直觀反映網(wǎng)絡(luò)的訓(xùn)練效果，從而可以引導(dǎo)調(diào)整網(wǎng)絡(luò)超參數(shù)。實(shí)驗(yàn)采用PSNR和SSIM[30]進(jìn)行重建圖像的質(zhì)量方法的比較，本文需將重建圖像轉(zhuǎn)換到Y(jié)CbCr空間，并在Y通道進(jìn)行評(píng)價(jià)對(duì)比。

2.3 消融實(shí)驗(yàn)

對(duì)本文提出的幾個(gè)改進(jìn)點(diǎn)進(jìn)行消融實(shí)驗(yàn)對(duì)比，以驗(yàn)證本文方法的有效性及可行性。

2.3.1 全局標(biāo)準(zhǔn)差池化及空間注意力機(jī)制的影響

本文在未設(shè)置空間注意力機(jī)制，使用MAE損失函數(shù)，無全局特征融合的基礎(chǔ)網(wǎng)絡(luò)框架上進(jìn)行如下對(duì)比實(shí)驗(yàn)：①網(wǎng)絡(luò)中只包括全局平均池化的通道注意力機(jī)制；②網(wǎng)絡(luò)中只包括全局標(biāo)準(zhǔn)差池化的通道注意力機(jī)制；③在①的基礎(chǔ)上繼續(xù)引入全局標(biāo)準(zhǔn)差池化，消融實(shí)驗(yàn)結(jié)構(gòu)見表2。

表2 通道注意力中不同池化方式在Set5數(shù)據(jù)集4倍放大的比較

注：√表示網(wǎng)絡(luò)算法中包括該模塊；×表示不包括該模塊。

表2為Set5數(shù)據(jù)集4倍放大的評(píng)測(cè)指標(biāo)對(duì)比，可以發(fā)現(xiàn)使用全局標(biāo)準(zhǔn)差池化相對(duì)于全局平均池化在PSNR指標(biāo)上有0.02 dB的提升，說明本文提出的全局標(biāo)準(zhǔn)差池化相對(duì)于平均池化對(duì)通道權(quán)重學(xué)習(xí)具有更好的效果，通過自適應(yīng)地將平均池化和標(biāo)準(zhǔn)差池化合并，網(wǎng)絡(luò)算法相對(duì)于僅有平均池化的算法有0.05 dB的提升，同時(shí)與僅有平均池化的算法需要的參數(shù)(16 M)相比僅僅增加0.4 M的參數(shù)。因而該結(jié)構(gòu)的改進(jìn)說明構(gòu)建標(biāo)準(zhǔn)差池化有利于提升圖像重建質(zhì)量。

最后在Set5數(shù)據(jù)集上比較了構(gòu)建雙重注意力機(jī)制的網(wǎng)絡(luò)算法與僅有通道注意力機(jī)制的算法和僅有空間注意力機(jī)制的算法進(jìn)行實(shí)驗(yàn)對(duì)比(表3)，可以看到雙重注意力機(jī)制相對(duì)僅有空間或者通道注意力機(jī)制的算法均有0.04~0.07 dB的提升，也說明雙重注意力機(jī)制對(duì)于圖像超分辨率重建具有更好的效果。

表3 雙重注意力機(jī)制與部分注意力機(jī)制在Set5數(shù)據(jù)集4倍放大的比較

2.3.2 Huber loss損失函數(shù)和全局特征融合的影響

為了證明提出的基于Huber loss的損失函數(shù)和全局特征融合對(duì)于圖像超分辨率重建具有更好的效果，算法與基于MAE的損失函數(shù)的模型和無全局特征融合的模型進(jìn)行了比較。

實(shí)驗(yàn)結(jié)果見表4，可以看到損失函數(shù)相對(duì)于MAE損失函數(shù)在PSNR指標(biāo)上有0.02 dB的提升；增加全局特征融合相對(duì)于無全局特征融合算法也有0.02 dB提升；本文提出的模型在Set5數(shù)據(jù)集4倍放大條件下可以獲得32.76 dB的峰值信噪比。

表4 不同損失函數(shù)和特征融合在Set5數(shù)據(jù)集4倍放大的比較

2.4 實(shí)驗(yàn)結(jié)果

為了說明本文方法的有效性，特與VDSR、EDSR[31]，RDN[32]，RCAN等算法在Set5和Set14數(shù)據(jù)集不同尺度(×2, ×3, ×4)超分辨率重建結(jié)果在PSNR和SSIM評(píng)測(cè)指標(biāo)上進(jìn)行比較，見表5，最優(yōu)結(jié)果加粗顯示。從表5結(jié)果可以看出，本文提出的超分辨率算法在Set5和Set14數(shù)據(jù)集上，不同尺度的超分辨結(jié)果在PSNR和SSIM評(píng)測(cè)指標(biāo)上均優(yōu)于其他算法(PSNR和SSIM值越大，圖像重建效果越好)。為了進(jìn)一步說明本文提出的算法在實(shí)際SR重建圖像具有好的效果，本文對(duì)Set5、Set14和Urban100的部分圖像進(jìn)行了可視化的重建，挑選了Urban100數(shù)據(jù)集中的天花板(img_073)和Set5數(shù)據(jù)集中的蝴蝶(butterfly)的進(jìn)行了4倍尺度SR重建圖像可視化，Urban100數(shù)據(jù)集中的高樓(img_062)和Set14數(shù)據(jù)集中書房(barbara)的進(jìn)行了3倍尺度SR重建圖像可視化，并與目前現(xiàn)有的Bicubic, VDSR, RCAN等重建圖像進(jìn)行比較，圖6為4倍SR重建結(jié)果，在img_073圖像中，對(duì)天花板重建細(xì)節(jié)進(jìn)行比較，大多數(shù)的重建算法天花板的孔洞基本模糊，相對(duì)較好的RCAN算法的結(jié)果孔洞接近矩形，而實(shí)際孔洞應(yīng)當(dāng)為橢圓形，本文的重建結(jié)果不僅孔洞顯示較清晰，形狀也更接近橢圓。在butterfly圖像中大部分重建算法的結(jié)果均丟失了右上角一條淺白色向上的紋理，RCAN雖然恢復(fù)了一部分，但是也非常模糊，本文算法基本恢復(fù)出該細(xì)節(jié)紋理。圖7為3倍SR重建結(jié)果，本文對(duì)barbara中桌布的細(xì)節(jié)進(jìn)行了對(duì)比，可以看到方格網(wǎng)狀的桌布在絕大多數(shù)的SR重建模型(如RCAN，RDN)中重建為線狀，EDSR雖然能保留一些方格狀的信息，但非常模糊，而本文算法能較好地恢復(fù)出桌布的網(wǎng)格信息，同時(shí)可清晰地展現(xiàn)。在img_062圖像的高樓重建細(xì)節(jié)中，大部分的算法未恢復(fù)出線狀的高樓細(xì)節(jié)紋理，同時(shí)產(chǎn)生了橫線的錯(cuò)誤信息，而本文算法能較好地恢復(fù)出細(xì)節(jié)信息且不存在錯(cuò)誤信息。通過定量和可視化的結(jié)果比較可知，本文提出的算法相對(duì)現(xiàn)有的超分辨率重建算法有了一定的提高。

表5 不同超分辨率模型重建效果比較

圖6 在Urban100和Set5數(shù)據(jù)集4倍超分辨重建可視化比較

圖7 在Urban100和Set14數(shù)據(jù)集3倍超分辨重建可視化比較

3 結(jié)束語(yǔ)

本文針對(duì)現(xiàn)有的基于深度學(xué)習(xí)的圖像超分辨率重建算法中網(wǎng)絡(luò)特征由于對(duì)不同位置、不同通道的特征采用均等處理的方法，從而使得網(wǎng)絡(luò)將大量的計(jì)算資源浪費(fèi)在不重要的特征上，受Senet結(jié)構(gòu)啟發(fā)，本文提出了基于雙重注意力機(jī)制的深度網(wǎng)絡(luò)超分辨算法，該算法構(gòu)建并融合了通道注意力機(jī)制和空間注意力機(jī)制，從而可以有效獲取不同特征的權(quán)重值，使得網(wǎng)絡(luò)可以根據(jù)權(quán)重精準(zhǔn)分配計(jì)算資源，在僅僅引入極少參數(shù)的同時(shí)有效提升了超分辨率重建的質(zhì)量。特征監(jiān)督的引入使得網(wǎng)絡(luò)能夠?qū)Φ途S特征有效監(jiān)督，加快網(wǎng)絡(luò)收斂，針對(duì)MAE損失函數(shù)存在的局限性，引入一種特殊的Huber loss損失函數(shù)，該損失函數(shù)可以實(shí)現(xiàn)在損失值較低時(shí)梯度遞減，從而提高網(wǎng)絡(luò)重建質(zhì)量。實(shí)驗(yàn)證明本文提出的超分辨率重建算法不僅在評(píng)價(jià)指標(biāo)上有所提高，同時(shí)在視覺上也有較好的結(jié)果。

[1] ZHANG L P, ZHANG H Y, SHEN H F, et al. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Processing, 2010, 90(3): 848-859.

[2] PELED S, YESHURUN Y. Superresolution in MRI: Application to human white matter fiber tract visualization by diffusion tensor imaging[J]. Magnetic Resonance in Medicine, 2001, 45(1): 29-35.

[3] THORNTON M W, ATKINSON P M, HOLLAND D A. Sub-pixel mapping of rural land cover objects from fine spatial resolution satellite sensor imagery using super-resolution pixel-swapping[J]. International Journal of Remote Sensing, 2006, 27(3): 473-491.

[4] DONG C, LOY C C, HE K M, et al. Learning a deep convolutional network for image super-resolution[M]// Computer Vision – ECCV 2014. Cham: Springer International Publishing, 2014: 184-199.

[5] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 1646-1654.

[6] KIM J, LEE J K, LEE K M. Deeply-recursive convolutional network for image super-resolution[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 1637-1645.

[7] TAI Y, YANG J, LIU X M. Image super-resolution via deep recursive residual network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 2790-2798.

[8] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. New York: IEEE Press, 2019: 2011-2023.

[9] WANG X L, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7794-7803.

[10] ZHANG Y L, LI K P, LI K, et al. Image super-resolution using very deep residual channel attention networks[M]//Computer Vision – ECCV 2018. Cham: Springer International Publishing, 2018: 294-310.

[11] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[M]//Computer Vision – ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.

[12] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778.

[13] SHI W Z, CABALLERO J, HUSZáR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 1874-1883.

[14] FADNAVIS S. Image interpolation techniques in digital image processing: an overview[J]. International Journal of Engineering Research and Applications, 2014, 4(10): 70-73.

[15] ZEILER M D, KRISHNAN D, TAYLOR G W, et al. Deconvolutional networks[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2010: 2528-2535.

[16] DAI T, CAI J R, ZHANG Y B, et al. Second-order attention network for single image super-resolution[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2019: 11057-11066.

[17] HAN J, MORAGA C. The influence of the sigmoid function parameters on the speed of backpropagation learning[M]// Lecture Notes in Computer Science. Heidelberg: Springer, 1995: 195-201.

[18] GLOROT X, BORDES A, BENGIO Y. Deep sparse rectifier neural networks[C]//Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Heidelberg: Springer, 2011: 315-323.

[19] WILLMOTT C J, MATSUURA K. Advantages of the mean absolute error (MAE) over the root mean square error (RMSE) in assessing average model performance[J]. Climate Research, 2005, 30: 79-82.

[20] JOHNSON J, ALAHI A, FEI-FEI L. Perceptual losses for real-time style transfer and super-resolution[C]//European Conference on Computer Vision. Heidelberg: Springer, 2016: 694-711.

[21] LAI W S, HUANG J B, AHUJA N, et al. Deep Laplacian pyramid networks for fast and accurate super-resolution[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 5835-5843.

[22] HUI Z, WANG X M, GAO X B. Fast and accurate single image super-resolution via information distillation network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 723-731.

[23] ONARAN I, INCE N F, CETIN A E. Sparse spatial filter via a novel objective function minimization with smooth ?1 regularization[J]. Biomedical Signal Processing and Control, 2013, 8(3): 282-288.

[24] TIMOFTE R, AGUSTSSON E, GOOL L V, et al. NTIRE 2017 challenge on single image super-resolution: methods and results[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Washington, DC: IEEE Computer Society Press, 2017: 114-125.

[25] AALST W M P, RUBIN V, VERBEEK H M W, et al. Process mining: a two-step approach to balance between underfitting and overfitting[J]. Software & Systems Modeling, 2008, 9(1): 87-111.

[26] SHORTEN C, KHOSHGOFTAAR T M. A survey on image data augmentation for deep learning[J]. Journal of Big Data, 2019, 6(1): 1-48.

[27] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Procedings of the British Machine Vision Conference 2012. British Machine Vision Association, 2012: 132-143.

[28] ZEYDE R, ELAD M, PROTTER M. On single image scale-up using sparse-representations[M]//Curves and Surfaces. Heidelberg: Springer, 2012: 711-730.

[29] KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. [2021-03-12]. https://xueshu.baidu.com/ usercenter/paper/show?paperid=37a73866f09edd03830b234716447e4f&site=xueshu_se.

[30] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[31] LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New York: IEEE Press, 2017: 1132-1140.

[32] ZHANG Y L, TIAN Y P, KONG Y, et al. Residual dense network for image super-resolution[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 2472-2481.

Image super-resolution reconstruction based on dual attention mechanism

LI Bin1, WANG Ping1, ZHAO Si-yi2

(1. College of Electronic Science and Technology, National University of Defense Technology, Changsha Hunan 410072, China; 2. College of Computer Science and Technology, National University of Defense Technology, Changsha Hunan 410072, China)

In recent years, the convolutional neural network (CNN) has achieved desired results in the field of single image super-resolution (SISR). Deep networks can establish complex mapping between low-resolution and high-resolution images, considerably enhancing the quality of reconstructed images, compared with the traditional methods. Since the existing SISR methods mainly increase the receptive field of convolution kernels by deepening and widening the network structure, and employ equal processing methods in spatial domains and channel domains of varying importance, a large number of computing resources are wasted on unimportant features. In order to address the realistic problems of the existing models, the algorithm proposed in this paper captured implicit weight information in channel and space domains through dual attention modules, so as to allocate computing resources more effectively and speed up the network convergence. The fusion of global features through residual connections in this network not only focused on learning the high-frequency information of images that had been lost, but also accelerated the network convergence through effective feature supervision. In order to alleviate the defects of the MAE loss function, a special Huber loss function was introduced in the algorithm. The experimental results on benchmark show that the proposed algorithm can significantly improve the image reconstruction accuracy compared with the existent SISR methods.

single image super-resolution; feature supervision; residual connection; channel attention; spatial attention

TP 399

10.11996/JG.j.2095-302X.2021020206

A

2095-302X(2021)02-0206-10

2020-08-25；

25 August，2020；

2020-10-19

19 October，2020

李 彬(1991-)，男，陜西渭南人，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)視覺。E-mail：libin10@nudt.edu.cn

LI Bin (1991-), male, master student. His main research interest covers computer vision. E-mail：libin10@nudt.edu.cn

王 平(1976-)，男，湖北公安人，研究員，博士，碩士生導(dǎo)師。主要研究方向?yàn)橹悄苣繕?biāo)識(shí)別。E-mail：wangping@nudt.edu.cn

WANG Ping (1976-), male, researcher, Ph.D. His main research interest covers intelligent target recognition. E-mail：wangping@nudt.edu.cn