基于多尺度自適應注意力的圖像超分辨率網絡

周穎， 裴盛虎， 陳海永，2， 許士博

（1.河北工業大學 人工智能與數據科學學院，天津 300130；2.河北省控制工程技術研究中心，天津 300130）

1 引 言

單幅圖像超分辨率（Single Image Super-Resolution，SISR）是圖像處理中的關鍵技術之一，其目的是通過低分辨率（Low-Resolution，LR）圖像重建高分辨率（High-Resolution，HR）圖像，在視頻監測［1］、衛星遙感［2］和醫學成像［3］等不同領域有強烈的需求。傳統SISR方法主要有基于插值的方法、基于重建的方法和基于學習的方法，但這些方法重建的超分辨率圖像質量較低。隨著深度學習的到來，卷積神經網絡（Convolutional Neural Networks， CNNs）因其顯著的特征表達能力受到了越來越多的關注。卷積超分辨率網絡（Super-Resolution Convolutional Neural Network，SRCNN）［4］首次將深度學習應用于SISR任務，促進了大量基于CNNs的SISR研究的涌現，但因其輸入為LR圖像上采樣后的圖像導致網絡仍具有較高的計算復雜度。為實現更快的運行速度，Shi等［5］提出了一種快速卷積超分辨率網絡，通過在LR圖像空間中提取特征來減少計算量，并使用反卷積作為網絡最后的上采樣操作。然而，淺層的網絡由于存在嚴重的梯度消失問題，早期基于CNNs的SISR方法的性能無法得到進一步提升。

深度卷積神經網絡因其高級特征中包含更多的信息量進一步提高了SISR任務的重建性能。Kim等［6］提出深度卷積超分辨率網絡（Super-Resolution Using Very Deep Convolutional Network，VDSR），通過在網絡中引入殘差學習，解決了梯度消失問題，相較于早期的淺層網絡其性能得到了顯著提升；Tai等［7］提出深度遞歸殘差網絡（Deep Recursive Residual Network，DRRN），利用全局跳躍連接和局部殘差學習減少了參數量，并表現出良好的性能；Lim等［8］提出增強型深度超分辨率網絡 （Enhanced Deep Super-Resolution Network，EDSR），通過去除網絡中的批量歸一化（Batch Normalization， BN）層，進一步提高了模型的性能。但上述方法均使用單尺度卷積進行特征提取，難免會造成重要信息的丟失，程德強等［9］將多尺度特征融合并采用密集連接以恢復圖像的高頻細節；Cai等［10］將多感受野分支的特征進行通道拼接以學習局部區域特征；Liu等［11］采用遞歸多尺度網絡將不同尺度分支的輸出作為其他尺度分支的輸入；許嬌等［12］將多尺度特征與殘差網絡結合以實現圖像的重建過程。

隨著網絡深度與寬度的增加，特征圖的維數也在增加，注意力機制的引入提高了網絡處理更多特征信息的能力。Niu等［13］在殘差塊中同時加入了層注意力與通道空間注意力，大大提高了SISR性能；王杰等［14］將空間注意力與空間金字塔網絡相結合以增強重建圖像過程中的特征表達能力；Su等［15］提出全局可學習注意力以修復重建圖像中受損的非局部紋理細節；Behjati等［16］引入方向方差注意力來提高LR特征在長距離空間中的依賴性以提高特征的鑒別性。然而，上述注意力忽略了通道與空間維度信息的相關性和跨維度注意力之間的交互作用而難以鑒別重要特征。

本文在上述研究的基礎上提出了一種基于多尺度自適應注意力的圖像超分辨率重建網絡（Imageresolution network based on multi-scale adaptive attention， MAAN）。MAAN使用多尺度特征融合塊（Multi-scale Feature Fusion Block， MFFB）作為特征提取的基本層，交叉學習特征提取中的多尺度信息，并將每個MFFB的輸出進行密集連接以充分融合淺層特征與深層特征。MFFB的基本單元（Basic Unit， BU）由自適應雙尺度塊（Adaptive Dual-scale Block，ADB）、多路徑漸進式交互塊（Multi-path Progressive Interactive Block， MPIB）和自適應雙維度注意力（Adaptive Dual-dimensional Attention，ADA）串聯組成。其中，ADB獲得了豐富的上下文特征；MPIB提高了ADB的輸出中上下文特征之間的關聯性；ADA將一維注意力與二維注意力相結合，并自主選擇跨維度之間的信息進行交互，進一步提高了特征的鑒別力。

2 網絡模型

MAAN結構如圖1所示，在淺層特征提取部分，給定輸入LR圖像ILR∈R3×H×W，使用3×3卷積提取ILR中的淺層特征F0∈RC×H×W：

圖1 MAAN網絡架構Fig. 1 Network architecture of MAAN

其中：C3×3(?)為3×3卷積操作，φ(?)表示參數整流線性單元（Parametric Rectified Linear Unit，PReLU）激活函數。

在深層多尺度特征提取與融合部分，將F0輸入到多個堆疊的MFFB中，使輸出特征更具上下文信息：

其中：Mi(?)和Fi∈RC×H×W分別代表第i∈[1，8]個MFFB和第i個MFFB的輸出特征。為提高輸出特征中上下文信息的關聯性，將每個Fi在通道維度上進行級聯并通過1×1卷積處理獲得不同層次之間的融合特征：

式中：C1×1(?)為1×1卷積操作，[?]代表在通道維度上進行級聯操作。利用全局殘差學習將淺層特征F0與深層特征Ffuse融合：

在高分辨率圖像重建部分，利用上采樣因子將F重建為高分辨率圖像ISR∈R3×H×W：

其中，ps表示pixel-shuffle上采樣因子。

2.1 多尺度特征融合模塊（MFFB）

在MAAN中，設計了MFFB作為深層特征提取的基本傳遞塊，MFFB的結構如圖1左下部分所示，第一行是LR特征流，第二行是倍LR特征流，第三行是倍LR特征流。3個特征流通過上采樣和下采樣操作交叉學習LR空間不同尺度特征的信息。MFFB中2次交叉學習的使用充分提取了每個層次特征包含的上下文信息，將3個特征流分別定義為H0，H1，H2，M0，M1，M2和S0，S1，傳遞過程如下：

其中：fBU(?)為MFFB的基本單元，fdown(?)和fup(?)分別為下采樣和上采樣操作，具體操作和維度變化如圖1右下部分所示。最后，將交叉融合后的多尺度特征進行相加得到輸出特征：

MFFB的基本單元BU如圖2所示，BU由自適應雙尺度塊ADB、多路徑漸進式交互塊MPIB和自適應雙維度注意力ADA串聯組成，利用ADB實現不同尺度的自適應融合，將融合特征通過MPIB進一步加強后，采用ADA找出應該強調突出的區域；為加快模型的收斂速度，引入了殘差學習。

圖2 BU結構圖Fig.2 Architecture of BU

2.2 自適應雙尺度塊（ADB）

2.2.1 ADB結構

現有的多尺度SR方法雖然在網絡架構上有所不同，但只是以線性的方式簡單地疊加或拼接多個尺度的特征，導致特征信息的冗余與模型參數量的加大。為此，本文設計了ADB以自適應地給兩個尺度的特征分配權重，實現雙尺度特征的自適應融合。

ADB結構如圖3所示，給定輸入特征圖X∈RC×H×W，首先對X分別執行兩次卷積核為3×3，5×5的卷積處理得到2個特征圖，獲得2個不同尺度的特征X1，X2∈R2C×H×W：

圖3 ADB結構圖Fig.3 Architecture of ADB

其中：f1(?)包含3×3卷積和PReLU激活函數，f2(?)包含5×5卷積和PReLU激活函數。

然后將X1和X2輸入到自適應權重單元（Adaptive Weights Unit， AWU）獲得各自的權重值λ1，λ2，最后利用λ1，λ2實現雙尺度特征的自適應融合：

2.2.2 AWU結構

AWU采用加權映射策略，為降低計算復雜度，用全局平均池化充當降維算子，將不同尺度的特征轉換為具有全局感受野的統計量，各統計量通過關鍵信息篩選與Softmax加權映射后獲得不同尺度特征的權重。

AWU結構如圖4所示，不同輸入xi，i∈[1，n]，利用全局平均池化壓縮輸入特征的空間維度信息后，得到全局代表特征向量，將每個特征向量在通道維度上進行拼接并經過1×1卷積后，得到融合特征：

圖4 AWU結構圖Fig.4 Architecture of AWU

其中，GAP(?)表示全局平均池化操作。

融合特征經過第1個全連接層（Fully Connected Layer， FC）、整流線性單元（Rectified Linear Unit， ReLU）激活函數和第2個FC后，得到由n個元素組成的初始向量，該初始向量中元素值的變化范圍較大，因此將該向量經過Sigmoid激活函數處理后，得到各元素值均位于［0，1］之間的簡化向量ε，εi的大小映射了Sigmoid權重參數的大小，ε經過Softmax處理后得到各輸入特征的最終權重ωi：

其中：σ(?)表示Sigmoid激活函數，δ(?)表示ReLU激活函數，W1(?)和W2(?)表示兩個FC層，εi表示ε中的第i個元素。

2.3 多路徑漸進式交互塊（MPIB）

MPIB將輸入特征f∈RC×H×W在通道維度上均分為4組并輸入到不同的路徑進行處理，與現有的分組卷積相比，MPIB不僅減少了因所有通道進行相同處理而造成的特征冗余，而且增強了處理不同尺度特征的能力。此外，MPIB將不同路徑的輸出特征以漸進的方式交互空間信息，并通過通道混洗（Channel Shuffle， CS）交互通道信息，具體細節如圖5所示。

圖5 MPIB結構圖Fig. 5 Architecture of MPIB

MPIB首先將4個子特征分別經過不同數量的3×3卷積（卷積數量越多，感受野越大，處理大尺度特征的能力越強）處理后得到然后，F1僅進行1×1卷積處理，對于i≥2的特征Fi與相鄰路徑的特征F(i-1)′交互特征在不同通道間的空間信息后采用1×1卷積進一步整合特征并調整通道數，該過程可以描述為：

最后，為提高特征的表達能力，將不同路徑下的輸出特征在通道維度上進行拼接并進行CS處理，交互不同路徑的輸出特征的通道信息，進一步增強特征在通道之間的相互作用：

其中，cs(?)表示Channel Shuffle操作。

2.4 自適應雙維度注意力（ADA）

ADA通過串聯一維注意力和二維注意力對不同維度的相互依賴性進行建模，突出上下文特征中應該強調的區域。兩個維度的注意力均由3條分支組成，分別用于捕捉在(H，W)，(C，W)和(H，C)維度之間的跨維度信息；并利用AWU實現跨維度信息的自主融合。ADA通過利用通道維度和空間維度之間的相互依賴性，可以有效地關注上下文特征。具體細節如圖6所示。

圖6 ADA結構圖Fig.6 Architecture of ADA

然后將F分別與相乘得到細化特征

在二維注意力中，同樣以(H，W)維度為例，首先對F1在通道軸上分別使用平均值和最大值得到2個特征，將其進行通道拼接并經過7×7卷積和Sigmoid后得到以類似的方式可以獲得

式中：A(?)和M(?)分別為平均值和最大值，C7×7(?)為核為7×7卷積操作。

然后F1分別與所有二維注意力相乘得到細化特征

最后利用AWU獲得二維注意力細化特征圖的權重值以獲得自主融合特征F2：

3 實驗結果與分析

3.1 數據集與評價指標

為方便與最先進的方法進行公平對比，本文采用DIV2K［17］數據集中的800張高質量的HR圖像作為MAAN的訓練數據集，LR圖像是對相應的HR圖像進行雙三次線性下采樣得到的。采用4個常見的基準數據集：Set5［18］，Set14［19］，BSD100［20］和Urban100［21］作為測試集，在比例因子分別為×2，×3，×4上使用峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）［22］和結構相似性指數（Structure Similarity Index Measure， SSIM）［23］評價指標進行測試。

3.2 實施細節

每個MFFB中包含8個BU，模型中所有中間特征圖的通道數均為C=64。訓練前，通過隨機角度旋轉或翻轉增加訓練數據的多樣性，并隨機裁剪48×48的補丁作為網絡的輸入LR圖像；訓練時，批尺寸大小設置為16，初始學習率為lr=10-4并在每200個迭代后減半，采用自適應力矩估計（Adaptive Moment Estimation， Adam）［24］優化器對網絡進行1000個迭代訓練，其中β1=0.9，β2=0.999，ε=10-8。本文網絡在Py-Torch框架上實現，并在計算機系統配置：Windows10 64-bit，12th Gen Intel Core i5-12490F CPU，NVIDA RTX 3090 GPU上利用均方誤差（Mean Squared Error， MSE）損失進行訓練。

3.3 消融實驗

3.3.1 MFFB數量消融實驗

為實現模型參數量（M：百萬）與重建性能的均衡，本文首先探索了MFFB的數量對整個網絡的影響，表1為Set5數據集在比例因子為×2時網絡中含有不同數量MFFB時PSNR的測試結果與模型參數量的變化。可以看出，MFFB=7比MFFB=6的PSNR值增加了0.19 dB，繼續增加MFFB的數量，MFFB=8比MFFB=7的PSNR值增加了0.17 dB，參數量增加了1.09 M，而MFFB=9比MFFB=8的PSNR值僅增加了0.03 dB，但參數量卻增加了1.22 M。為在重建性能與模型復雜度之間取得平衡，選用8個MFFB作為最終網絡構成。

表1 MFFB數量消融實驗Tab.1 Ablation experiments of the numbers of MFFB

3.3.2 BU結構消融實驗

本節通過BU結構的消融實驗證明BU中ADB，MPIB和ADA三個模塊的有效性，分別刪除BU中的ADB（結構1）、MPIB（結構2）和ADA（結構3），與完整的BU結構進行實驗對比，由表2上半部分的測試結果可以看出，結構1、結構2和結構3的PSNR/SSIM評價指標均低于完整的BU結構，證明了BU中包含的ADB，MPIB和ADA三個模塊的有效性。

表2 BU結構消融實驗結果Tab.2 Results of ablation experiments of the structure of BU

為證明AWU在ADB和ADA中均發揮了作用，進行了AWU的消融實驗，由表2下半部分的測試結果可以看出，同時刪除ADA和ADB中的AWU（結構4），PSNR/SSIM評價指標在4個基準數據集上均為最低值，而僅刪除ADA中的AWU（結構5）或僅刪除ADB中的AWU（結構6）與結構4相比，PSNR/SSIM評價指標均有所上升，證明AWU分別提升了ADA和ADB的性能；而ADB和ADA中均不刪除AWU（完整的BU）與結構5或結構6相比，PSNR/SSIM評價指標為最優值，說明在ADB和ADA中同時加入AWU進一步提高了模型的性能。

3.3.3 ADB結構消融實驗

本文通過消融實驗證明ADB中各尺度分支的有效性，其中3×3，5×5和7×7分別表示ADB中只含有3×3，5×5或7×7卷積1條分支，3×3+5×5表示含有3×3卷積和5×5卷積（空洞率為2的3×3卷積代替）2條分支，3×3+5×5+7×7表示含有3條分支（5×5卷積由空洞率為2的3×3卷積代替，7×7卷積由空洞率為3的3×3卷積代替）。

表3為Set5數據集在比例因子為×3時PSNR值的測試結果，可以看出，與單尺度分支中性能最好的7×7相比，雙尺度分支3×3+5×5在參數量僅增加了0.97 M的情況下，PSNR值卻增加了0.38 dB；然而，三尺度分支3×3+5×5+7×7比3×3+5×5的參數量增加了10.49 M，但PSNR值卻只增加了0.14 dB。綜合考慮模型大小與實驗性能，本文ADB選擇使用雙尺度分支3×3+5×5，此外，在3×3+5×5的基礎上加入AWU，即3×3+5×5+AWU，與3×3+5×5相比，參數量在略微增加0.19 M的情況下，重建性能卻可以達到與3×3+5×5+7×7相近的效果。

表3 ADB結構消融實驗結果Tab.3 Results of ablation experiments of the structure of ADB

3.3.4 MPIB結構消融實驗

本文通過消融實驗證明將MPIB的輸入特征分為4組是平衡模型復雜度與重建性能的最佳選擇。考慮到中間特征的通道數均為C=64，為確保分組后各子特征的通道數一致，將分組數量分別設置為2，4，8，表4為Set5數據集在比例因子為×2時，對于MPIB包含不同分組數量的PSNR的測試結果與模型參數量的變化。可以看出，分組數為4相較于分組數為2，在參數量僅增加1.82 M的情況下，PSNR值增加了0.55 dB；而分組數為8相較于分組數為4，參數量增加了4.94 M，但PSNR值僅增加了0.16 dB。綜合考慮模型的復雜度與重建性能，將MPIB的輸入特征分為4組作為最佳選擇。

表4 MPIB分組數量消融實驗Tab.4 Ablation experiments of the groups of MPIB

3.4 對比實驗

3.4.1 不同注意力對比實驗

為證明本文提出的ADA的有效性，用高效通道注意力（Efficient Channel Attention，ECA）［25］，卷積塊注意力模塊（Convolutional Block Attention Module， CBAM）［26］和平衡注意力機制（Balanced Attention Mechanism，BAM）［27］替換MAAN中的ADA進行對比。

表5為4個基準數據集在比例因子為×3時的實驗結果，可以看出，在沒有注意力的基本網絡中加入通道注意力（+ECA），參數量增加了0.02 M，4個基準數據集的PSNR/SSIM評價指標增加的均值為0.10 dB/0.000 8；+CBAM和+BAM與基礎網絡相比，雖參數量分別增加了0.08 M和0.13 M，但PSNR/SSIM評價指標的均值分別增加了0.16 dB/0.001 3和0.17 dB/0.001 5，說明CBAM和BAM中通道注意力與空間注意力結合的有效性；+ADA與基礎網絡相比，參數量僅增加了0.04 M，但PSNR/SSIM評價指標的均值卻增加了0.32 dB/0.003 3，證明了ADA通過結合一維注意力與二維注意力和自適應地交互跨維度信息，不僅比通道-空間注意力具有更少的參數量，而且表現出了更好的性能，使網絡關注更多的盲區信息。圖7展示了網絡中加入不同注意力時的視覺效果比較，其中參考圖像（Ground Truth， GT）為真實高分辨率圖像中紅色框內區域的放大表示，可以看出，本文提出的ADA獲得了最好的視覺效果，重建的高分辨率圖像具有更多的紋理細節。

表5 不同注意力的評價指標對比Tab.5 Comparison of the evaluation metrics of different attention

3.4.2 不同算法對比實驗

本文在Set5，Set14，BSD100和Urban100數據集上將MAAN與10個代表方法進行比較，包括Bicubic，SRCNN［4］，VDSR［6］，DRRN［7］、注意力輔助特征學習網絡（Attentive Auxiliary Feature Learning， A2F-L）［28］，EDSR［8］、殘差密集網絡（Residual Dense Network， RDN）［29］、高效分組跳躍網絡（Efficient Group Skip Connecting Network， E-GSCN）［30］、密集殘差拉普拉斯網絡（Densely Residual Laplacian Network， DRLN）［31］、Swin重建網絡（Image Restoration Using Swin Transformer， SwinIR）［32］和聯合三邊特征濾波網絡（Single Image Super-Resolution Based on Joint Trilateral Feature Filtering， JTF-SISR）［33］。

表6為各方法在4個基準數據集上比例因子分別為×2，×3，×4的定量評估結果，其中最優值和次最優值分別用粗體和下劃線標記。可以看出，本文算法MAAN在3個不同放大比例任務上均取得了較好的定量數據。在Set5數據集的3個放大比例任務中，MAAN相較于次最優算法SwinIR，PSNR/SSIM評價指標分別增加了0.02 dB/0.000 6，0.04 dB/0.000 5和0.04 dB/0.000 2；對于Set14數據集，在×2放大比例任務中，MAAN比次最優算法DRLN的PSNR值減少了0.02 dB，但SSIM值卻增加了0.000 7，在×3和×4比例任務中，MAAN相較于次最優算法SwinIR，PSNR/SSIM評價指標分別增加了0.03 dB/0.000 6和0.21 dB/0.021 4；對于包含更多復雜紋理細節的BSD100和Urban100數據集，本文算法MAAN在3個放大比例任務中的PSNR值與SSIM值均為最優值，尤其是在×4放大比例任務中，MAAN比次最優算法SwinIR的PSNR/SSIM評價指標分別增加了0.04 dB/0.001 4和0.05 dB/0.004 5，體現了本文方法在恢復高頻紋理細節方面的優勢。定量數據結果表明，本文算法與不同比例任務中的次最優算法相比，不僅減少了模型的參數量，而且進一步提升了模型的重建性能。

表6 比例因子為×2， ×3， ×4時各方法的評價指標對比Tab.6 Comparison of evaluation metrics of each method with scale factors of ×2， ×3， ×4

為進一步說明MAAN在恢復紋理細節方面的優勢，本文將MAAN和Bicubic，SRCNN，VDSR，RDN，DRLN和SwinIR 6個代表性方法在較小數據集Set14、較大數據集BSD100和Ur-ban100上的重建視覺效果進行比較。由于放大倍數越大，重建圖像中的紋理細節越難恢復，因此為了進一步說明在重建紋理細節方面的優勢，本文重點展示各方法在×4比例因子上的視覺效果圖。

如圖8所示，對于較小數據集Set14的重建結果，可以看出，當img014中斑馬前肢上有細小的條紋時，Bicubic， SRCNN和VDSR等參數量較少的方法重建后的斑馬前肢不僅丟失了條紋細節，而且具有嚴重的模糊偽影問題；RDN，DRLN和SwinIR等參數量較大的方法，雖然較好地消除了重建圖像中的模糊偽影，但仍存在缺失條紋細節的問題；而本文方法MAAN與上述方法相比，更好地緩解了偽影問題，重建了更多紋理細節。對于較大數據集BSD100和Urban100的重建結果，現有方法重建的img096中花池地板的模糊感較重，而本文方法重建的圖像可以清晰的觀察到地板中的紋路信息；現有方法在重建img044中天花板時，產生了泛白的背景信息，而本文方法不僅還原了真實的背景，而且準確重建了天花板中的細小柵線；現有方法重建的img076中投影塊的結構細節模糊不清，而本文算法準確重建了各個投影塊的紋理細節與相鄰投影塊之間的邊緣信息。視覺效果對比表明，本文MAAN不僅減輕了模糊偽影問題，而且使重建圖像的內容信息更清晰，紋理細節和邊緣輪廓更細膩。

圖8 比例因子為×4時各方法的視覺效果對比Fig. 8 Comparison of visual effect of each method with a scale factor of ×4

3.4.3 模型復雜度對比實驗

為全面衡量不同方法的重建性能，將本文方法MAAN與非輕量化模型EDSR，RDN，EGSCN，DRLN和SwinIR在BSD100數據集上比例因子為×4時的模型參數量、計算量和平均推理時間進行比較。由表7可知，與重建性能最優的SwinIR相比，MAAN在保證重建性能的前提下，模型參數量、計算量和平均每張圖像的處理時間分別減少了18.3%，38.3%和24.1%，在模型參數量、計算復雜度與重建性能之間實現了更好的權衡。

表7 3種方法的復雜度對比Tab.7 Complexity comparison of the 3 methods

4 結 論

為使重建圖像中包含更多的上下文信息，本文提出了一種多尺度自適應漸進式注意力網絡MAAN。提出的多尺度特征融合塊MFFB，利用由自適應雙尺度塊ADB、多路徑漸進式交互塊MPIB和自適應雙維度注意力串聯組成的基本單元BU交叉學習多尺度的層次特征。其中，ADB豐富了上下文特征，MPIB增強了上下文特征之間的關聯性，ADA提高了特征的鑒別性。定量指標與視覺效果的對比結果顯示，本文方法在不同比例的超分辨率重建任務中，與其他主流方法相比效果均有提升，尤其在Set14測試集的×4比例任務上，本文方法與現有最優方法SwinIR相比，PSNR和SSIM指標分別提升了0.21 dB和0.0214；并且本文方法重建的圖像具有更多的紋理細節與邊緣信息。然而，MAAN與輕量化模型相比，仍具有較大的參數量，在未來的工作中，在確保重建性能的前提下，將進一步減少模型的復雜度。