基于特征融合和注意力機制的圖像超分辨率模型

摘 要：現有的基于深度學習的單張圖像超分辨率（single image super-resolution，SISR）模型通常是通過加深網絡層數來提升模型的擬合能力，沒有充分提取和復用特征，導致重建圖像的質量較低。針對該問題，提出了基于特征融合和注意力機制的圖像超分辨率模型。該模型在特征提取模塊使用殘差中嵌入殘差（residual in residual，RIR）的結構，該網絡的特征提取模塊由包含多個殘差塊的殘差組構成，并且在每個殘差組內進行局部特征融合，在每個組之間進行全局特征融合。此外，在每一個殘差塊中引入坐標注意力模塊，在每一個殘差組中引入空間注意力模塊。經驗證，該模型能充分提取特征并且復用特征。實驗最終結果表明，該模型在客觀評價指標和主觀視覺效果上都優于現有的模型。

關鍵詞：超分辨率；深度學習；特征融合；注意力機制

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2022）03-042-0884-05

doi：10.19734/j.issn.1001-3695.2021.07.0288

基金項目：國家自然科學基金資助項目（61502109，61672502，61702112）；廣東省自然科學基金資助項目（2016A030310342）；廣東省信息物理融合系統重點實驗室開放課題（2016B030301008）；NSFC-廣東聯合基金資助項目（U1501254）；廣東省科技計劃項目（2016A040403078，2017B010110015，2017B010110007）；廣州市珠江科技新星資助項目（201610010101）；廣州市科技計劃項目（201604016075，202007040005）

作者簡介：盤展鴻（1997-），男，廣東云浮人，碩士研究生，主要研究方向為深度學習、超分辨率；朱鑒（1982-），男（通信作者），湖南邵陽人，副教授，碩導，博士，主要研究方向為機器學習、計算機視覺（rockeyzhu@163.com）；遲小羽（1980-），男，北京人，博士，主要研究方向為機器學習、計算機視覺；蔡瑞初（1983-），男，浙江溫州人，教授，博導，博士，主要研究方向為數據挖掘、高性能計算；陳炳豐（1983-），男，廣東汕頭人，博士，主要研究方向為計算機圖形學、高性能計算．

Image super-resolution model based on feature fusion and attention mechanism

Pan Zhanhong¹，Zhu Jian^1?，Chi Xiaoyu²，Cai Ruichu¹，Chen Bingfeng¹

（1.School of Computers，Guangdong University of Technology，Guangzhou 510006，China；2.Qingdao Research Institute of Beihang University，Qingdao Shandong 266000，China）

Abstract：Existing deep learning based single image super-resolution（SISR） models usually improve the fitting ability of the model by increasing the number of network layers，but fail to fully extract and reuse features，leading low quality of reconstructed images.To solve this problem，this paper proposed an image super-resolution model based on feature fusion and attention mechanism.This model used residual in residual（RIR） structure in feature extraction module.The feature extraction module of the network consisted of several residual groups.Each residual group consisted of several residual block.This module implemented local feature fusion in each residual group and global feature fusion between each group.In addition，this model introduced coordinate attention module into each residual block and spatial attention module into each residual group.It verifies that the model is able to fully extract features and reuse features.The final experimental results show that the model is superior to the existing models in objective evaluation indexes and subjective visual effect.

Key words：super-resolution；deep learning；feature fusion；attention mechanism

0 引言

圖片的超分辨率（super resolution，SR）是從低分辨率（low resolution，LR）圖像中恢復高分辨率（high resolution，HR）圖像的過程，是計算機視覺和圖像處理中一類重要圖像處理技術。它具有廣泛的現實應用，如醫學成像^[1，2]、監控和安全領域^[3，4]等。除了提高圖像的感知質量，它還有助于提高其他計算機任務的性能^[5]。圖像超分辨率是一個具有挑戰性且不適定的問題，因為對于一張低分辨率圖像，通常有多張高分辨率圖像與之對應。得益于深度學習的發展，近年來，基于深度學習的超分辨率模型在圖像重建領域相比于傳統方法展現出了更明顯的優勢，因此本文研究的是基于深度學習的超分辨率模型。

Dong等人^[6]首先提出了一種三層卷積神經網絡，稱為SRCNN（super-resolution convolutional neural network）。SRCNN采用雙三次插值對LR圖像放大到目標倍數，然后再輸入三層卷積神經網絡學習LR和HR圖像之間的映射關系。Kim等人^[7]提出了VDSR（super resolution using very deep convolutional networks），VDSR增加了網絡的深度，并利用殘差學習來進行穩定訓練。Kim等人^[8]首次在單幅圖像超分辨率任務引入遞歸學習，提出了DRCN（deep recursive convolutional network），通過引入共享參數的遞歸塊來保證訓練的穩定。Tai等人^[9]引入名為MemNet（memory network）的記憶網絡，記憶單元利用門控機制建立長期記憶。但是，這些網絡的輸入與最終的高分辨率圖像大小相同，且比較耗時。

Caballero等人^[10]提出了亞像素卷積層，首次提出了實時超分辨率算法ESPCN（efficient sub-pixel convolutional neural network），ESPCN對網絡末端的圖像進行了放大以減少計算量。Lim等人^[11]使用了更深更廣的殘差網絡EDSR（enhanced deep networks for super-resolution），EDSR去掉了批規范化層，利用殘差縮放來加速訓練。Zhang等人^[12]提出了一種殘差密集網絡RDN（residual dense network），它結合了殘差塊和密集連接塊的優點。Zhang等人^[13]在SR框架中引入了殘差通道注意力，提出了RCAN（residual channel attention network），通過挖掘特征通道之間的聯系來提升重建性能。文獻[14]提出了重建注意力，為不同的特征層分配權重來進行圖像重建。文獻[15]提出了深度殘差反投影注意力來挖掘高頻信息和學習特征圖各通道之間的依賴關系。

盡管RCAN已經在單張圖像超分辨率任務上取得了良好的性能，但其還有不足之處。首先，RCAN組內的殘差塊僅作為下一個殘差塊的輸入，沒有充分復用特征；其次，RCAN在計算通道注意力的時候使用了全局平均池化，沒有充分利用特征圖的信息。針對上述問題，本文提出了一個基于特征融合和注意力機制的超分辨率模型（image super-resolution model based on feature fusion and attention mechanism，FFAMSR），其主要貢獻點包括：

a）提出了基于全局特征融合和局部特征融合的圖像超分辨率模型，該模型能充分復用特征信息，提高圖像重建能力。

b）在殘差塊內引入了輕量的坐標注意力模塊，將位置信息嵌入通道注意力中，提升了計算注意力的能力。

c）在殘差組內引入了空間注意力模塊，空間注意力模塊能捕捉輸入特征的重要部分，分配更多的注意力使得網絡能恢復更清晰的高頻細節。

1 網絡結構

1.1 基于全局特征融合的超分辨率模型

如圖1所示，基于特征融合的超分辨率模型主要由四個部分組成：淺層特征提取模塊、深層特征提取模塊、上采樣模塊和重建模塊。定義輸入圖像為ILR，輸出圖像為IHR。

特征融合模塊通過復用特征提高了圖像重建能力；然后，全局特征融合的結果還會輸入一個空間注意力模塊（空間注意力模塊的結構將在2.2節中詳細闡述）；最后淺層特征模塊的輸出和深層特征模塊的輸出相加，構成殘差中嵌入殘差（residual in residual，RIR）結構中的外層殘差結構，通過由亞像素卷積層構成的上采樣模塊進行上采樣，再通過一個卷積層得到輸出圖片IHR。

1.2 基于局部特征融合的殘差組

本節將介紹基于局部特征融合的殘差組的結構，其結構如圖2所示。

基于局部特征融合的殘差組包含N個殘差塊，每一個殘差塊包含兩個卷積層，卷積層間有一個ReLU激活函數，最后由坐標注意力塊挖掘通道和空間層面的信息，并對特征圖不同空間和通道賦予不同權重。坐標注意力模塊的結構將在2.1節中詳細闡述。定義Bi為第i個殘差塊的輸出，則上述殘差塊的結構可以由式（3）表示。

2 注意力機制

2.1 坐標注意力

坐標注意力（coordinate attention，CA）模塊是一種輕量型的注意力模塊，在圖像分類、圖像分割領域取得了良好的效果^[16]。坐標注意力模塊的結構如圖3所示。

坐標注意力模塊首先對特征圖進行坐標信息嵌入。具體而言，對于輸入X，設其長為H、寬為W、通道數為C分別沿著水平坐標方向和垂直方向對每個通道使用平均池化進行編碼。因此，高度為h的第c個通道的輸出表述如式（6）所示。

其中：xc（h，i）表示輸入特征圖中坐標為（h，i），通道為c的分量；z^h表示經X軸平均池化后的輸出；z^hc（h）表示長為h的第c個通道的分量。

同理可知，寬度為w的第c個通道的輸出表述如式（7）所示。

其中：xc（j，w）表示輸入特征圖中坐標為（j，w）、通道為c的分量；z^w表示經Y軸平均池化后的輸出；z^wc（w）表示寬為w的第c個通道的分量。

而后，將兩個池化操作得到的特征圖進行級聯，使用一個共享的1×1卷積F₁進行變換來對通道降維，并通過一個非線性激活層δ，使用h-swish函數^[17]，得到中間結果m，以上過程如式（8）所示。

接著，沿著空間維度將其切分為兩個單獨的張量m^h和m^w，再利用兩個1×1卷積Fh和Fw將特征圖m^h和m^w變換到和輸入X同樣的通道數，并用sigmoid激活函數σ（·）激活，其結果如式（9）和（10）所示。

2.2 空間注意力

為增強特征的空間信息，提高模型恢復輸入圖像高頻細節的能力，FFAMSR在每一個殘差組內的局部特征融合操作后與殘差組間的全局特征融合操作后都引入一個空間注意力模塊，其目的是給輸入特征圖的重要空間位置分配更高的注意力。空間注意力模塊的結構如圖4所示。

空間注意力模塊首先使用1×1的卷積Fdown（·）進行變換來對通道降維，其表述如式（12）所示。

其中：X表示輸入特征；X′表示降維后的特征。

接著使用一個大小為7×7、步長為3的最大池化層Fpool（·）來縮小特征圖，然后經過兩個3×3卷積層i（·）（i=1，2）進行進一步特征提取，兩個卷積層之間有一個ReLU激活函數，接著使用一個線性插值操作Flinear（·）將特征圖的長寬恢復至原有大小。然后，將該結果與最開始降維的特征相加，得到中間特征Xmid，如式（13）所示。

最后，通過一個1×1的卷積Fup（·）將通道升維至和原始通道數相同，將得到的注意力值通過sigmoid激活函數σ（·）激活，并與輸入特征圖X對應位置相乘，相乘操作表示為⊙，得到最終的輸出特征圖Y，如式（14）所示。

3 實驗結果和分析

3.1 實驗設置

a）網絡參數。網絡中基本塊的卷積層大小均為3×3，通道數為64，步長為1，對邊緣進行補零填充以保證輸入和輸出大小一致。特別地，在通道降維的卷積層中，卷積核大小均為1×1，通道數減少為原來的1/4。網絡的殘差組數設置為10，每個組內的殘差塊數為20。

b）訓練設置。選用DIV2K^[19]數據集進行訓練，該數據集包含800張訓練圖像、100張驗證圖像和100張測試圖像。為擴充訓練集，本文隨機地對訓練圖像進行90°、180°、270°的旋轉或者水平翻轉，并使用雙三次下采樣獲得低分辨率的圖片。損失函數為L₁損失函數，初始學習率為5×10^-5，優化器為Adam（設置參數β₁=0.9，β₂=0.999，ε=10^-8），參數為每輪訓練迭代1 000次，每次迭代使用16個48×48的塊作為輸入，每200輪訓練學習率減半，共訓練1 000輪。訓練的系統環境為Ubuntu18.04，使用PyTorch 1.7.1搭建模型，顯卡為NVIDIA GeForce RTX 3070（8 GB）。

c）測試設置。實驗使用標準的測試集Set5^[20]、Set14^[21]、BSD100^[22]和Urban100^[23]測試。在輸出圖像的YCbCr空間的Y通道上評估峰值信噪比（peak signal-to-noise ratio，PSNR）和結構相似度（structural similarity，SSIM）^[24]。

3.2 超參數實驗

本節比較兩個重要超參數（包括網絡層數和通道降維時的縮放比例）在不同取值下的性能，以驗證本文參數選擇的合理性。

a）網絡層數研究。

保持其他參數不變，研究不同網絡層數下的模型性能。設置放大倍數為2，在訓練集上迭代10⁵次后在Set5測試集上的PSNR值如表1所示。

由表1可知，當殘差組數和組內的殘差塊數都為10時候，模型在測試集上的PSNR值只有37.84 dB。當分別增加殘差組數或組內殘差塊數的時候，可以發現在測試集上的PSNR值都有不同程度的提升，從表1的第2～4行可見，增加組內的殘差塊數相比于增加殘差組數對提升模型性能的效果更明顯。結果表明在殘差組數為10，組內殘差塊數為20的時候模型性能最好，PSNR值達到了37.95 dB。如果在此基礎上繼續增加殘差塊數至40，會導致模型的性能變差，原因是局部特征融合的能力達到飽和，但是全局特征融合能利用的信息變少。本文最多研究了層數為200層的模型，繼續增加深度會占用較大的顯存并且難以訓練。

b）通道降維時的縮放比例研究。

FFAMSR在計算坐標注意力和空間注意力的時候都用到了更小通道數的卷積層，本節研究不同通道縮放比例對模型的性能影響。保持其他參數不變，設置放大倍數為2，在訓練集上迭代10⁵次后在Set5測試集上測試，其結果如表2所示。

由表2可見，縮放比例越大，計算坐標注意力和空間注意力的中間通道數就會越多，計算注意力的能力就越強，模型性能越高。當中間通道數從8分別增加到16和32時，PSNR值分別增加了0.03 dB和0.04 dB，但是縮放比例從1/4增加到1/2時，參數量增加了2.5 M。綜合考慮模型的參數量和性能，本文認為通道縮放比例為1/4時最佳。

3.3 消融實驗

為驗證模型各個模塊的作用，實驗中把RCAN^[13]的SE（squeeze and excitation）^[16]模塊去除所得的模型作為Base模型，分別在Base模型上引入局部特征融合（local feature fusion，LFF）、全局特征融合（global feature fusion，GFF）、坐標注意力（coordinate attention，CA）、空間注意力（spatial attention，SA）。此外，整合了LFF、GFF、CA和SA的完整模型記為FFAMSR。設置放大倍數為2，在訓練集上迭代訓練10⁵次后，在Set5測試集上的PSNR值如表3所示。

由表3第1、3～5行可見，引入局部特征融合和全局特征融合機制，對Base模型在PSNR值上分別有0.05 dB和0.02 dB的提升，同時引入兩種特征融合機制，PSNR值提升了0.07 dB。由第1、2、6行可見，對Base模型的殘差塊內分別引入SE和CA模塊，PSNR值分別提升了0.08 dB和0.10 dB，可見注意力模塊對殘差塊性能提升比較大。SA模塊對Base模型也有0.06 dB的提升，但相對于CA模塊提升較小，原因是FFAMSR只在每個殘差組內使用一個SA模塊，而在每個殘差塊內使用一個CA模塊，在數量上CA模塊多于SA模塊，所以對Base模型的提升更大。由表3最后一行可見，整合了局部特征融合、全局特征融合、坐標注意力和空間注意力模塊的完整模型性能達到最大值，相比于Base模型和RCAN分別高出0.13 dB和0.05 dB，證實了本文提出模型的優越性。

3.4 對比現有先進模型

a）定量比較。

本節按照3.1節中的實驗設置訓練完整模型，在四個標準測試集下不同放大倍數的測試結果如表4～ 6所示。

由表4～6可知，傳統的圖像插值算法Bicubic的性能遠低于基于深度學習的方法，基于深度學習的模型顯現出優秀的圖像重建性能。深度學習早期的超分辨率模型如SRCNN、VDSR、DRCN和MemNet，由于先對輸入圖片進行預先插值再輸入模型中，沒有學習到圖像低維空間到高維空間的映射關系，導致圖像修復效果不理想。EDSR、RDN等都使用了亞像素卷積學習到圖像低維到高維的映射從而提升重建性能，但沒有使用注意力機制，其性能不如RCAN。FFAMSR在RCAN模型的基礎上融入局部特征融合和全局特征融合機制，使用坐標注意力代替通道注意力，并且引入額外的空間注意力，從而提升了模型的重建能力。比如，在×4倍的超分辨率任務中，本文提出的模型在Set5、BSD100和Urban100數據集上的PSNR值分別有0.02 dB、0.02 dB和0.03 dB的提升，在Set14數據集上，雖然不如RCAN，但也達到了次大值，并且，本文模型在BSD100和Urban100兩個圖片數比較大的數據集上的SSIM值優于次優模型RCAN，分別是0.000 7和0.001 2。

b）視覺效果。

比較分析本文模型和各先進模型在測試數據集上的視覺效果。如圖5所示，由BSD100數據集中img_007圖像的測試結果可知，傳統插值算法Bicubic幾乎無法重建出老虎身上的花紋輪廓邊界。早期深度學習模型SRCNN、VDSR相較于傳統插值方法有了明顯的提升，花紋輪廓更加明顯。EDSR、RDN、RCAN等模型在紋理細節上提升較大。本文模型不僅輪廓重建的效果優于其他模型，并且高頻細節相較于其他模型更加豐富。

如圖6和7所示，本文比較了各模型在建筑物圖片的重建效果。由圖6可見，基于深度學習的VDSR、EDSR、RDN等模型都能恢復建筑近處的輪廓信息，但在遠處的輪廓都發生了不同程度的扭曲，而本文模型較完整地恢復出建筑的輪廓信息。由圖7可見，SRCNN、VDSR、EDSR模型對建筑物窗戶的重建圖中都發生了不同程度的扭曲，RDN、RCAN和本文模型較好地重建了窗戶的輪廓，而本文模型在紋理細節上相比于RDN和RCAN更加優秀。

4 結束語

本文針對現有超分辨率模型存在特征復用不充分的問題提出了基于特征融合和注意力的超分辨率模型FFAMSR。該模型使用了全局特征融合和局部特征融合機制，將淺層的殘差組或殘差塊進行特征融合作為后續網絡的輸入，以此來充分復用特征。同時在殘差組內引入坐標注意力，使得計算通道注意力時引入了額外的坐標信息；在殘差組內引入空間注意力機制為不同的空間位置分配不同的權重，以此來提升模型特征提取的能力。實驗結果表明，本文模型在各數據集上的定量比較和視覺效果上都優于現有的模型。

雖然FFAMSR在現有模型基礎上改進了特征復用和特征提取的能力，但沒有利用到圖像內部的自相似性特征，未來工作將在本文基礎上進一步研究圖像內部的自相似性特征的提取和融合。此外，未來工作中也計劃將FFAMSR與文獻[15]中的反投影網絡結合，使模型充分學習高低分辨率圖像之間的映射關系。

參考文獻：

[1]Greenspan H.Super-resolution in medical imaging[J].The Compu-ter Journal，2009，52（1）：43-63.

[2]Isaac J S，Kulkarni R.Super resolution techniques for medical image processing[C]//Proc of International Conference on Technologies for Sustainable Development .Piscataway，NJ：IEEE Press，2015：1-6.

[3]Zhang Liangpei，Zhang Hongyan，Shen Huanfeng，et al.A super-resolution reconstruction algorithm for surveillance images[J].Signal Processing，2010，90（3）：848-859.

[4]Rasti P，Uiboupin T，Escalera S，et al.Convolutional neural network super resolution for face recognition in surveillance monitoring[C]//Proc of International Conference on Articulated Motion and Deformable Objects.Cham：Springer，2016：175-184.

[5]Bai Yancheng，Zhang Yongqiang，Ding Mingli，et al.SOD-MTGAN：small object detection via multi-task generative adversarial network[C]//Proc of European Conference on Computer Vision.cham：Sprin-ger，2018：206-221.

[6]Dong Chao，Loy C C，He Kaiming，et al.Learning a deep convolutional network for image super-resolution[C]//Proc of European Conference on Computer Vision.Cham：Springer，2014：184-199.

[7]Kim J，Lee J K，Lee K M.Accurate image super-resolution using very deep convolutional networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：1646-1654.

[8]Kim J，Lee J K，Lee K M.Deeply-recursive convolutional network for image super-resolution[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：1637-1645.

[9]Tai Ying，Yang Jian，Liu Xiaoming，et al.MemNet：a persistent memory network for image restoration[C]//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：4539-4547.

[10]Caballero J，Ledig C，Aitken A，et al.Real-time video super-resolution with spatio-temporal networks and motion compensation[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2017：4778-4787.

[11]Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2017：136-144.

[12]Zhang Yulun，Tian Yapeng，Kong Yu，et al.Residual dense network for image super-resolution[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：2472-2481.

[13]Zhang Yulun，Li Kunpeng，Li Kai，et al.Image super-resolution using very deep residual channel attention networks[C]//Proc of European on ECCV.2018：286-301.

[14]項軍，周正華，趙建偉.基于重建注意力深度網絡的超分辨率圖像重建[J].計算機應用研究，2020，37（S1）：377-379，411.（Xiang Jun，Zhou Zhenghua，Zhao Jianwei.Reconstruction attention network based super resolution reconstruction[J].Application Research of Computers，2020，37（S1）：377-379，411.）

[15]胡高鵬，陳子鎏，王曉明，等.基于深度殘差反投影注意力網絡的圖像超分辨率[J].計算機應用研究，2021，38（4）：1271-1276.（Hu Gaopeng，Chen Ziliu，Wang Xiaoming，et al.Image super-resolution based on depth residual back projection attention network[J].Application Research of Computers，2021，38（4）：1271-1276.）

[16]Hou Qibin，Zhou Daquan，Feng Jiashi.Coordinate attention for efficient mobile network design[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：13713-13722.

[17]Howard A，Sandler M，Chu G，et al.Searching for MobileNetv3[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1314-1324.

[18]Hu Jie，Shen Li，Sun Gang.Squeeze-and-excitation networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7132-7141.

[19]Agustsson E，Timofte R.NTIRE 2017 challenge on single image super-resolution：dataset and study[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition Workshops.2017：126-135.

[20]Bevilacqua M，Roumy A，Guillemot C，et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proc of British Machine Vision Conference.2012：1-10.

[21]Zeyde R，Elad M，Protter M.On single image scale-up using sparse-representations[C]//Proc of International Conference on Curves and Surfaces.Berlin：Springer，2010：711-730.

[22]Martin D，Fowlkes C，Tal D，et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proc of the 8th IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2001：416-423.

[23]Huang Jiabin，Singh A，Ahuja N.Single image super-resolution from transformed self-exemplars[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：5197-5206.

[24]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans on Image Processing，2004，13（4）：600-612.