基于多通道注意力機(jī)制的圖像超分辨率重建網(wǎng)絡(luò)

張曄，劉蓉，劉明，陳明

（1.華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，武漢 430079； 2.華中師范大學(xué) 計(jì)算機(jī)學(xué)院，武漢 430079）（?通信作者電子郵箱lium@mail.ccnu.edu.cn）

基于多通道注意力機(jī)制的圖像超分辨率重建網(wǎng)絡(luò)

張曄1，劉蓉1，劉明2*，陳明1

（1.華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，武漢 430079； 2.華中師范大學(xué) 計(jì)算機(jī)學(xué)院，武漢 430079）（?通信作者電子郵箱lium@mail.ccnu.edu.cn）

針對(duì)現(xiàn)有的圖像超分辨率重建方法存在生成圖像紋理扭曲、細(xì)節(jié)模糊等問題，提出了一種基于多通道注意力機(jī)制的圖像超分辨率重建網(wǎng)絡(luò)。首先，該網(wǎng)絡(luò)中的紋理提取模塊通過設(shè)計(jì)多通道注意力機(jī)制并結(jié)合一維卷積實(shí)現(xiàn)跨通道的信息交互，以關(guān)注重要特征信息；然后，該網(wǎng)絡(luò)中的紋理恢復(fù)模塊引入密集殘差塊來盡可能恢復(fù)部分高頻紋理細(xì)節(jié)，從而提升模型性能并產(chǎn)生優(yōu)質(zhì)重建圖像。所提網(wǎng)絡(luò)不僅能夠有效提升圖像的視覺效果，而且在基準(zhǔn)數(shù)據(jù)集CUFED5上的結(jié)果表明所提網(wǎng)絡(luò)與經(jīng)典的基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建（SRCNN）方法相比，峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）分別提升了1.76 dB和0.062。實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)可提高紋理遷移的準(zhǔn)確性，并有效提升生成圖像的質(zhì)量。

圖像超分辨率重建；紋理遷移；注意力機(jī)制；一維卷積；密集殘差塊

0 引言

圖像超分辨率（Super-Resolution， SR）［1］重建是利用一組低質(zhì)量、低分辨率（Low-Resolution， LR）圖像來產(chǎn)生單幅高質(zhì)量、高分辨率（High-Resolution， HR）且擁有自然和逼真紋理的圖像，在監(jiān)控設(shè)備、衛(wèi)星圖像和醫(yī)學(xué)影像等領(lǐng)域都有著重要的應(yīng)用價(jià)值。圖像SR研究通常以兩種模式進(jìn)行，包括單圖像超分辨率（Single Image Super-Resolution， SISR）［2］和基于參考的圖像超分辨率（Reference-based image Super-Resolution，RefSR）［3］。隨著深度學(xué)習(xí)的快速發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為代表的學(xué)習(xí)法已經(jīng)被廣泛應(yīng)用于圖像超分辨中來構(gòu)造高分辨率圖像。Dong等［4］首先將三層卷積神經(jīng)網(wǎng)絡(luò)引入到圖像SR中，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建（Super-Resolution using Convolutional Neural Network， SRCNN）方法，該網(wǎng)絡(luò)通過非線性映射直接學(xué)習(xí)低分辨率圖像與高分辨率圖像間的關(guān)系，相較傳統(tǒng)方法改進(jìn)效果顯著。Kim等［5］提出了一種通過遞歸監(jiān)督和跳躍連接的深度遞歸卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型使用遞歸神經(jīng)網(wǎng)絡(luò)，并用更多的卷積層增加網(wǎng)絡(luò)感受野。與此同時(shí)，由于注意力機(jī)制［6］在建模全局依賴關(guān)系以及降低無關(guān)圖像域特征信息上表現(xiàn)出良好性能，注意力機(jī)制逐漸進(jìn)入大眾視野：Wang等［7］提出了一種殘差注意力網(wǎng)絡(luò)，使不同層注意力模塊可以充分學(xué)習(xí)；Hu等［8］對(duì)特征通道間的相關(guān)性進(jìn)行建模來強(qiáng)化重要特征；Lu等［9］通過通道注意機(jī)制自適應(yīng)地調(diào)整通道特征。但傳統(tǒng)SISR方法在HR圖像降級(jí)到LR圖像的過程中紋理遭到破壞，從而導(dǎo)致恢復(fù)出的圖像模糊。

與傳統(tǒng)SISR不同，RefSR通過提取參考（Reference， Ref）圖像的紋理來補(bǔ)償LR圖像中丟失的細(xì)節(jié)，從而使生成的HR圖像擁有更詳細(xì)和逼真的紋理。例如，Zhang等［10］提出了一種基于神經(jīng)紋理轉(zhuǎn)移的超分辨率（Super-Resolution by Neural Texture Transfer， SRNTT）模型，SRNTT在特征空間中進(jìn)行局部紋理匹配，然后通過深度模型將匹配的紋理轉(zhuǎn)移到最終輸出；Yang等［11］提出一種用于圖像超分辨率的紋理遷移網(wǎng)絡(luò)（Texture Transformer network for image Super-Resolution， TTSR），TTSR鼓勵(lì)通過LR圖像和Ref圖像進(jìn)行聯(lián)合特征學(xué)習(xí)，通過注意力機(jī)制發(fā)現(xiàn)深層特征對(duì)應(yīng)關(guān)系，以傳遞準(zhǔn)確的紋理特征。然而，這些模型在恢復(fù)紋理過程中，會(huì)出現(xiàn)人臉扭曲、紋理恢復(fù)不真實(shí)等問題。

為解決上述問題，受文獻(xiàn)［12］中的ECA（Efficient Channel Attention）注意力機(jī)制思想啟發(fā)，本文提出了一種基于多通道注意力機(jī)制的圖像超分辨網(wǎng)絡(luò)（image Super-Resolution network by multi-Channel Attention，SRCA）。與當(dāng)前大多數(shù)RefSR方法相比，SRCA可以更好地恢復(fù)圖像細(xì)節(jié)。

本文的主要工作包括：

1）將多通道注意力機(jī)制與紋理搜索模塊相結(jié)合，通過一維卷積實(shí)現(xiàn)局部跨通道的信息交互，對(duì)輸入圖像的每一個(gè)特征通道賦予不同的權(quán)重，關(guān)注提取更重要的特征信息，以利于特征重用。

2）紋理恢復(fù)模塊引入密集殘差塊來提升模型的結(jié)構(gòu)，去除密集殘差塊中的批量歸一化層，并使用了殘差縮放來恢復(fù)部分高頻細(xì)節(jié)，產(chǎn)生優(yōu)質(zhì)的重建圖像。

1 本文方法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文SRCA模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，由紋理提取模塊、紋理搜索模塊、紋理遷移模塊、紋理恢復(fù)模塊四部分構(gòu)成。F（特征）表示提取特征圖，Q（查詢）、K（鍵）和V（值）表示紋理遷移網(wǎng)絡(luò)內(nèi)部注意力機(jī)制的三個(gè)基本元素，LR為輸入圖像，Ref、Ref↑↓分別為參考圖像以及參考圖像經(jīng)過4倍雙三次插值上下采樣的圖像，LR↑為輸入圖像經(jīng)過4倍雙三次插值上采樣后的圖像。Ref、Ref↑↓、LR↑三種圖像作為輸入，經(jīng)過紋理提取模塊進(jìn)行特征提取［13］，然后紋理搜索模塊將提取出的圖像特征進(jìn)行定位，使參考圖像紋理特征可以更精確地轉(zhuǎn)移至輸入圖像中。定位后的紋理、分布位置與輸入圖像特征圖一同輸入至紋理遷移模塊進(jìn)行紋理整合形成紋理分布圖，最終與紋理恢復(fù)模塊的輸出圖像結(jié)合生成高分辨率圖像。

圖1 SRCA模型的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Network structure of SRCA model

1.2 紋理提取模塊

紋理提取模塊所提取出的特征質(zhì)量對(duì)模型泛化能力有至關(guān)重要的影響。本文模型在VGG19網(wǎng)絡(luò)［14］中加入多通道注意力機(jī)制（Efficient Channel Attention， ECA）來提升特征提取的效率與質(zhì)量。在預(yù)先訓(xùn)練VGG19網(wǎng)絡(luò)進(jìn)行特征提取前添加多通道注意力機(jī)制，可以對(duì)每一個(gè)特征通道賦予不同權(quán)重來提升特征提取效果、增強(qiáng)表現(xiàn)力。

圖2 多通道注意力機(jī)制結(jié)構(gòu)Fig. 2 Multi-channel attention mechanism structure

VGG19網(wǎng)絡(luò)中運(yùn)用relu1_1、relu2_1和relu3_1作為多個(gè)比例的紋理編碼器。為了加快匹配過程，本文僅在relu3_1層上進(jìn)行匹配并將對(duì)應(yīng)關(guān)系投影到relu2_1和relu1_1，這樣可以在減小計(jì)算量的同時(shí)保證紋理遷移的準(zhǔn)確性。K與Q表示僅提取Ref↑↓與LR↑圖像的relu3_1層特征，V表示提取Ref圖像relu1_1、relu2_1和relu3_1三個(gè)層上的特征。

1.3 紋理搜索模塊

紋理搜索模塊通過比對(duì)K、Q之間relu3_1層特征來確定輸入圖像與參考圖像之間紋理的相關(guān)性。首先，將K、Q的輸出作為輸入，通過歸一化內(nèi)積來計(jì)算它們的相似性，如式（1）所示：

1.4 紋理遷移模塊

紋理遷移模塊將參考圖像的HR紋理特征轉(zhuǎn)換為LR圖像的特征，提高紋理生成過程的準(zhǔn)確性。該模塊使用跨尺度集成方式進(jìn)一步對(duì)紋理進(jìn)行堆疊融合，將relu1_1、relu2_1和relu3_1三個(gè)層上對(duì)應(yīng)的三種縮放比例（1×、2×、4×）紋理特征進(jìn)行跨尺度特征融合，從而改善紋理扭曲等問題。利用為索引，針對(duì)提取轉(zhuǎn)移HR紋理特征，如式（3）所示。表示每個(gè)位置的已轉(zhuǎn)移紋理特征的置信度，最后將LR圖像的HR紋理特征和LR特征進(jìn)行合成，并將這些特征進(jìn)一步按元素分別乘，以獲得紋理遷移模塊的輸出。

1.5 紋理恢復(fù)模塊

圖3 紋理恢復(fù)模塊Fig. 3 Texture recovery module

RRDB采用比SRGAN（Super-Resolution Generative Adversarial Network）原始?xì)埐顗K更深層和更復(fù)雜的結(jié)構(gòu)。RRDB結(jié)構(gòu)如圖4所示，殘余縮放參數(shù)為0.2。紋理恢復(fù)模塊通過調(diào)整殘余縮放參數(shù)，自適應(yīng)調(diào)整融合紋理信息，使本文模型在紋理細(xì)節(jié)轉(zhuǎn)移與高頻細(xì)節(jié)生成方面得到有效改善。

圖4 RRDB模塊Fig. 4 RRDB module

紋理恢復(fù)模塊輸出圖像與紋理遷移模塊輸出圖像相加即為本文模型最終輸出圖像，如式（4）所示：

1.6 損失函數(shù)

損失函數(shù)可以起到衡量模型性能優(yōu)劣的作用。為了保留LR圖像的空間結(jié)構(gòu)、改善生成圖像的視覺質(zhì)量以及充分利用Ref圖像的豐富紋理，本文用到重建損失、對(duì)抗損失與感性損失三種損失函數(shù)。重建損失在大多數(shù)的SR方法中都有用到，對(duì)抗損失與感性損失可以提升生成圖像的視覺質(zhì)量。

重建損失通常以均方誤差（Mean Squared Error， MSE）衡量來提高峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）。本文采用L1范數(shù)，與L2范數(shù)相比，L1范數(shù)可以使權(quán)值稀疏，方便特征提取，性能更敏銳，收斂快速。重建損失可以用式（5）表示：

其中：（C，H，W）是HR圖像的大小；表示HR圖像；表示生成的SR圖像。

對(duì)抗損失可以顯著提高生成圖像的清晰度以及視覺質(zhì)量，本文采用WGAN-GP（Wasserstein Generative Adversarial Network with Gradient Penalty）。WGAN-GP提出了梯度懲罰來解決訓(xùn)練過程中的梯度消失和梯度爆炸問題，并且比WGAN（Wasserstein Generative Adversarial Network）更快地收斂，能生成更高質(zhì)量樣本。對(duì)抗損失可以用式（6）～（7）表示：

感知損失已經(jīng)被證明能夠顯著改善視覺質(zhì)量，它通過比較對(duì)原始圖像的卷積輸出和生成圖像的卷積輸出來計(jì)算損失。本文的感知損失可以用式（8）表示：

2 實(shí)驗(yàn)與結(jié)果分析

本文所使用的平臺(tái)是CentOS 7.4操作系統(tǒng)，雙核Intel 2.2 GHz CPU，64 GB內(nèi)存，Tesla V100 GPU，32 GB內(nèi)存和4 TB硬盤，并在基于GPU版本的Pytorch 1.1.0深度學(xué)習(xí)框架下訓(xùn)練本文模型。在訓(xùn)練過程中，的權(quán)重系數(shù)分別設(shè)置為1、1E、1E，并采用Adam［15］對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化，設(shè)置批量數(shù)大小是9，設(shè)置學(xué)習(xí)率為1E。首先對(duì)網(wǎng)絡(luò)進(jìn)行了兩輪預(yù)訓(xùn)練，其中僅應(yīng)用了；然后，所有損失都需要再訓(xùn)練200輪。

2.1 數(shù)據(jù)集

為了測試本文模型是否具有可行性，在最近提出的RefSR數(shù)據(jù)集CUFED5［10］上訓(xùn)練與測試模型，其中：訓(xùn)練集包含了11 842對(duì)圖片，每對(duì)分別由一張輸入圖像與一張參考圖像組成；測試集包含126組圖片，每組分別由一張HR圖像和四張參考圖像組成。為了對(duì)網(wǎng)絡(luò)進(jìn)行充分訓(xùn)練，本文用三種方式對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行增強(qiáng)：1）將圖片旋轉(zhuǎn)90°、180°和270°； 2）將圖片水平、垂直翻轉(zhuǎn)；3）將LR圖像處理為像素，將Ref圖像處理為像素。

為了評(píng)估SRCA在CUFED5數(shù)據(jù)集上的泛化能力，本文在CUFED5［10］、Sun80［16］、Urban100［17］和Manga109［18］數(shù)據(jù)集上均進(jìn)行了模型測試。其中：Sun80數(shù)據(jù)集包含80個(gè)自然圖像，每個(gè)圖像都包含了多個(gè)參考圖像與之配對(duì)；Urban100數(shù)據(jù)集包含了100張不帶參考的建筑圖像，由于建筑圖像相似度較高，因此設(shè)置LR圖像作為參考圖像，以便進(jìn)行紋理的搜索與轉(zhuǎn)移；Manga109包含109張沒有參考圖像的漫畫圖像，所以在此數(shù)據(jù)集中隨機(jī)抽取HR圖像作為參考圖像。

2.2 結(jié)果分析

為了評(píng)估本文模型的有效性，將本文的SRCA模型與其他最新的SISR和RefSR方法進(jìn)行比較。SISR方法包括近年來在PSNR和結(jié)構(gòu)相似度（Structural SIMilarity， SSIM）上均取得了最先進(jìn)性能的SRCNN［4］、MDSR（Multi-scale Deep Super-Resolution system）［19］、RDN （Residual Dense Network）［20］、RCAN（Residual Channel Attention Network）［21］、SRGAN［22］、ENet（Efficient neural Network）［23］、ESRGAN（Enhanced SRGAN）［24］、RSRGAN（RankSRGAN）［25］。RefSR方法采用目前最先進(jìn)的三種方法：CrossNet［26］、SRNTT［10］、TTSR［11］，其性能遠(yuǎn)優(yōu)于以前的RefSR方法。所有實(shí)驗(yàn)均按4倍比例放大系數(shù)來對(duì)LR和HR圖像進(jìn)行定量評(píng)估。為了公平比較每個(gè)模型性能的優(yōu)劣，按照TTSR中的設(shè)置來訓(xùn)練所有方法。在測試過程中，對(duì)抗訓(xùn)練在SR方法中可以獲得更好的視覺質(zhì)量，但是相對(duì)來說會(huì)減小PSNR和SSIM。針對(duì)此問題，本文中訓(xùn)練了另外一個(gè)僅針對(duì)重建損耗進(jìn)行優(yōu)化的模型版本SRCA_rec，以更公平地比較PSNR和SSIM。

對(duì)SRCA進(jìn)行了定量評(píng)估與定性評(píng)估，結(jié)果如表1所示。通過表1可以看出，SRCA在Urban100和Manga109數(shù)據(jù)集上具有最佳性能，在CUFED5、Sun80上SRCA可實(shí)現(xiàn)與最新模型相當(dāng)?shù)男阅堋Ｔ诨鶞?zhǔn)數(shù)據(jù)集CUFED5上的結(jié)果表明所提網(wǎng)絡(luò)與經(jīng)典的SRCNN方法相比，PSNR和SSIM分別提升了1.76 dB和0.062。

表1 在四個(gè)不同數(shù)據(jù)集上不同算法的PSNR/SSIM比較Tab. 1 PSNR/SSIM comparison of different algorithms on four different datasets

注：帶“*”表示最高分，帶“**”表示第二高分。

接下來，分別用SRCA、雙三次插值法（Bicubic）、RDN、RCAN、SRNTT和TTSR對(duì)實(shí)際圖片進(jìn)行超分辨重建，結(jié)果如圖5～6所示。

由圖5～６可知，大多數(shù)重建方法容易出現(xiàn)偽影，如：圖5（c）、圖5（d）和圖5（e）重建出的人臉圖像很模糊，圖5（f）與圖5（g）重建出的人臉圖像有嚴(yán)重偽影，紋理轉(zhuǎn)移時(shí)定位不準(zhǔn)確，圖5（h）中本文模型重建出的圖像細(xì)節(jié)紋理更真實(shí)，人臉輪廓更清晰。圖6（d）、圖6（e）和圖6（f）重建出的圖像很模糊，圖6（g）重建出的效果優(yōu)于前三者，但重建出的數(shù)字3邊緣輪廓不清晰，細(xì)節(jié)恢復(fù)不真實(shí)。而本文模型重建圖6（h）在線條細(xì)節(jié)上恢復(fù)真實(shí)度高，邊緣輪廓更清晰自然。

SRCA恢復(fù)出的圖片也具有較高的視覺質(zhì)量，在Ref圖像紋理搜索與轉(zhuǎn)移方面可以更加準(zhǔn)確，當(dāng)Ref圖像與LR圖像的相似度不高時(shí)，SRCA模型仍然可以搜索出相對(duì)應(yīng)的紋理并轉(zhuǎn)移到SR圖像中，從而使恢復(fù)出的圖像更生動(dòng)，如圖7～8所示。

圖5 在CUFED5：00004圖像上放大4倍后不同模型重建結(jié)果對(duì)比Fig. 5 Reconstructed result comparison of different models on CUFED5：00004 image with magnification 4

圖6 在CUFED5：00064圖像上放大4倍后不同模型重建結(jié)果對(duì)比Fig. 6 Reconstructed result comparison of different models on CUFED5：00064 image with magnification 4

圖7 在Sun80圖像上放大4倍后不同模型重建結(jié)果對(duì)比Fig. 7 Reconstructed result comparison of different models on Sun80 image with magnification 4

圖8 在Manga109圖像上放大4倍后不同模型重建結(jié)果對(duì)比Fig. 8 Reconstructed result comparison of different models on Manga109 images with magnification 4

在圖7中，圖7（d）、圖7（f）和圖7（g）重建出的窗戶線條模糊，圖7（e）重建出的圖像在視覺上有提升但是放大后的窗戶玻璃邊緣不清晰；本文模型重建的圖7（h）窗戶玻璃邊緣清晰，觀賞性強(qiáng)。在圖8中，在人臉恢復(fù)方面，漫畫中人臉眼睛部分細(xì)節(jié)較多，所以針對(duì)重建后的人臉圖像右眼部分進(jìn)行對(duì)比，相較于基準(zhǔn)圖片如圖8（a）而言，圖8（d）和圖8（f）重建出的視覺效果不好，圖8（e）放大后的眼睛輪廓不清晰，圖8（g）恢復(fù)出的人眼中輪廓相較于基準(zhǔn)圖片而言不圓潤且多出一塊白斑。本文模型重建的圖8（f）不僅在視覺上比其他模型重建效果好，而且放大后的人眼具有較為清晰的紋理且邊緣銳利。

在模型訓(xùn)練性能方面將本文模型與TTSR進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果如圖9所示。圖9展示的是兩個(gè)網(wǎng)絡(luò)訓(xùn)練200輪期間在的CUFED5驗(yàn)證集上的PSNR和SSIM比較，可以看出兩個(gè)網(wǎng)絡(luò)都呈現(xiàn)出增長趨勢，但SRCA整體增長在TTSR之上，SRCA的平均PNSR與平均SSMI相較TTSR大約提升了0.12 dB與0.003 5，表明在訓(xùn)練次數(shù)相等的情況下SRCA具有更好的性能。

圖9 SRCA與TTSR的訓(xùn)練結(jié)果對(duì)比Fig. 9 Training result comparison of SRCA and TTSR

3 結(jié)語

本文提出了一種新的基于參考的圖像超分辨率重建網(wǎng)絡(luò)來生成高質(zhì)量圖像。本文模型中多通道注意力的紋理提取模塊通過對(duì)圖像特征多通道關(guān)注并進(jìn)行高頻信息定位，提升模塊對(duì)高頻特征信息的選擇能力；紋理遷移模塊通過利用低分辨率圖像與參考圖像之間紋理的相關(guān)度，來對(duì)紋理進(jìn)行高質(zhì)量整合與遷移。實(shí)驗(yàn)結(jié)果表明，所提SRCA提高了紋理遷移的準(zhǔn)確性與有效性，在定量評(píng)價(jià)與視覺質(zhì)量上都有所優(yōu)化，性能良好。

[1] FREEMAN W T， PASZTOR E C. Learning low-level vision ［C］// Proceedings of the 1999 7th IEEE International Conference on Computer Vision. Piscataway： IEEE， 1999： 1182-1189.

[2] 蘇秉華，金偉其，牛麗紅，等.超分辨率圖像復(fù)原及其進(jìn)展［J］.光學(xué)技術(shù)，2001，27（1）：6-9.（SU B H， JIN W Q， NIU L H， et al. Super-resolution image restoration and progress ［J］. Optical Technique， 2001， 27（1）： 6-9.）

[3] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution ［J］. IEEE Computer Graphics and Applications， 2002， 22（2）： 56-65.

[4] DONG C， LOY C C， HE K M， et al. Learning a deep convolutional network for image super-resolution ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8692. Cham： Springer， 2014： 184-199.

[5] KIM J， LEE J K， LEE K M. Deeply-recursive convolutional network for image super-resolution ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1637-1645.

[6] CAO C S， LIU X M， YANG Y， et al. Look and think twice： capturing top-down visual attention with feedback convolutional neural networks ［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 2956-2964.

[7] WANG F， JIANG M Q， QIAN C， et al. Residual attention network for image classification ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2017： 6450-6458.

[8] HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.

[9] LU Y， ZHOU Y， JIANG Z Q， et al. Channel attention and multi-level features fusion for single image super-resolution ［C］// Proceedings of the 2018 IEEE International Conference on Visual Communications and Image Processing. Piscataway： IEEE， 2018： 1-4.

[10] ZHANG Z F， WANG Z W， LIN Z， et al. Image super-resolution by neural texture transfer ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2019： 7974-7983.

[11] YANG F Z， YANG H， FU J L， et al. Learning texture transformer network for image super-resolution ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5790-5799.

[12] WANG Q L， WU B G， ZHU P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：11531-11539.

[13] 趙榮椿，趙忠明，趙歆波.數(shù)字圖像處理與分析［M］.北京：清華大學(xué)出版社，2013：36-40.（ZHAO R C， ZHAO Z M， ZHAO X B. Digital Image Processing and Analysis ［M］. Beijing：Tsinghua University Press， 2013： 36-40.）

[14] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. ［2021-02-23］.https：//arxiv.org/pdf/1409.1556.pdf.

[15] KINGMA D P， BA J L. Adam： a method for stochastic optimization ［EB/OL］. ［2021-02-23］. https：//arxiv.org/pdf/1412.6980.pdf.

[16] SUN L B， HAYS J. Super-resolution from internet-scale scene matching ［C］// Proceedings of the 2012 IEEE International Conference on Computational Photography. Piscataway： IEEE， 2012： 1-12.

[17] HUANG J B， SINGH A， AHUJA N. Single image super-resolution from transformed self-exemplars ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 5197-5206.

[18] MATSUI Y， ITO K， ARAMAKI Y， et al. Sketch-based manga retrieval using Manga109 dataset ［J］. Multimedia Tools and Applications， 2017， 76（20）：21811-21838.

[19] LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway： IEEE， 2017： 1132-1140.

[20] ZHANG Y L， TIAN Y P， KONG Y， et al. Residual dense network for image super-resolution ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2018： 2472-2481.

[21] ZHANG Y L， LI K P， LI K， et al. Image super-resolution using very deep residual channel attention networks ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 294-310.

[22] LEDIG C， THEIS L， HUSZáR F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition， Piscataway： IEEE， 2017：105-114.

[23] PASZKE A， CHAURASIA A， KIM S， et al. ENet：a deep neural network architecture for real-time semantic segmentation ［EB/OL］. ［2021-02-23］. https：//arxiv.org/pdf/1606.02147.pdf.

[24] WANG X T， YU K， WU S X， et al. ESRGAN： enhanced super-resolution generative adversarial networks ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11133. Cham： Springer， 2018：63-79.

[25] ZHANG W L， LIU Y H， DONG C， et al. RankSRGAN： generative adversarial networks with ranker for image super-resolution ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3096-3105.

[26] ZHENG H T， JI M Q， WANG H Q， et al. CrossNet： an end-to-end reference-based super resolution network using cross-scale warping ［C］// Proceedings of the2018 European Conference on Computer Vision， LNCS 11210. Cham： Springer， 2018： 87-104.

Image super-resolution reconstruction network based on multi-channel attention mechanism

ZHANG Ye1， LIU Rong1， LIU Ming2*， CHEN Ming1

（1.College of Physical Science and Technology，Central China Normal University，Wuhan Hubei430079，China；2.School of Computer Science，Central China Normal University，Wuhan Hubei430079，China）

The existing image super-resolution reconstruction methods are affected by texture distortion and details blurring of generated images. To address these problems， a new image super-resolution reconstruction network based on multi-channel attention mechanism was proposed. Firstly， in the texture extraction module of the proposed network， a multi-channel attention mechanism was designed to realize the cross-channel information interaction by combining one-dimensional convolution， thereby achieving the purpose of paying attention to important feature information. Then， in the texture recovery module of the proposed network， the dense residual blocks were introduced to recover part of high-frequency texture details as many as possible to improve the performance of model and generate high-quality reconstructed images. The proposed network is able to improve visual effects of reconstructed images effectively. Besides， the results on benchmark dataset CUFED5 show that the proposed network has achieved the 1.76 dB and 0.062 higher in Peak Signal-to-Noise Ratio （PSNR） and Structural SIMilarity （SSIM） compared with the classic Super-Resolution using Convolutional Neural Network （SRCNN） method. Experimental results show that the proposed network can increase the accuracy of texture migration， and effectively improve the quality of generated images.

image super-resolution reconstruction; texture transfer; attention mechanism; one-dimensional convolution; dense residual block

TP391.4

A

1001-9081（2022）05-1563-07

10.11772/j.issn.1001-9081.2021030498

2021?04?02；

2021?06?28；

2021?07?01。

國家社會(huì)科學(xué)基金資助項(xiàng)目（19BTQ005） 。

張曄（1997—），女，河北石家莊人，碩士研究生，主要研究方向：模式識(shí)別、智能信息處理； 劉蓉（1969—），女，湖南安化人，副教授，博士，主要研究方向：智能信息處理、模式識(shí)別； 劉明（1967—），男，湖北仙桃人，教授，博士，CCF會(huì)員，主要研究方向：物聯(lián)網(wǎng)、計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)、智能信息處理及可視化； 陳明（1995—），男，湖北十堰人，碩士研究生，主要研究方向：模式識(shí)別、智能信息處理。

This work is partially supported by National Social Science Fund of China （19BTQ005）.

ZHANG Ye， born in 1997， M. S. candidate. Her research interests include pattern recognition， intelligent information processing.

LIU Rong， born in 1969， Ph. D.， associate professor. Her research interests include intelligent information processing， pattern recognition.

LIU Ming， born in 1967， Ph. D.， professor. His research interests include internet of things， computer system structure， intelligent information processing and visualization.

CHEN Ming， born in 1995， M. S. candidate. His research interests include pattern recognition，intelligent information processing.