采用感受野優(yōu)化與漸進(jìn)特征融合的圖像超分辨率算法

摘要：針對現(xiàn)有基于深度學(xué)習(xí)的超分辨率方法存在參數(shù)冗余以及難以學(xué)習(xí)到全局上下文信息、重建圖像高頻特征能力欠佳的問題，提出一種基于感受野優(yōu)化與漸進(jìn)特征融合的超分辨率網(wǎng)絡(luò)（RPSRnet），其在單幅圖像重建方面實(shí)現(xiàn)了較高的性能。該網(wǎng)絡(luò)采用像素注意力機(jī)制與大感受野卷積相結(jié)合的方式，設(shè)計(jì)兩條漸進(jìn)路徑將輸入表征為不同層次的特征抽象，增強(qiáng)網(wǎng)絡(luò)捕獲上下文信息的能力，同時減少了網(wǎng)絡(luò)參數(shù)冗余。通過分層卷積和多重感受野分支，在保持輕量卷積的前提下，于分層的多路徑上學(xué)習(xí)不同尺度的融合特征，增強(qiáng)網(wǎng)絡(luò)重建邊緣細(xì)節(jié)和復(fù)雜紋理特征的能力。實(shí)驗(yàn)結(jié)果表明：相比于先進(jìn)算法，所提算法在基準(zhǔn)測試集Set5上的峰值信噪比達(dá)到32.47dB，在測試集Set14上達(dá)到28.81dB，優(yōu)于現(xiàn)有的先進(jìn)算法，且網(wǎng)絡(luò)參數(shù)更少，實(shí)現(xiàn)了9%的參數(shù)縮減，從而驗(yàn)證了算法的有效性。

關(guān)鍵詞：超分辨率；注意力機(jī)制；感受野優(yōu)化；特征融合

中圖分類號：TP391"文獻(xiàn)標(biāo)志碼：A

DOI：10.7652/xjtuxb202501013"文章編號：0253-987X（2025）01-0136-12

Image Super Resolution Algorithm Based on Receptive Field Optimization

and Progressive Feature Fusion

WU Hongwu^1，2， GAI Shaoyan^1，2， DA Feipeng^1，2

（1. School of Automation， Southeast University， Nanjing 210096， China; 2. Key Laboratory of Measurement and

Control of Complex Systems of Engineering， Ministry of Education， Southeast University， Nanjing 210096， China）

Abstract：To tackle the issue of parameter redundancy and the challenge of learning comprehensive global contextual information in current deep learning-based super-resolution methods， as well as the limited capacity to reconstruct high-frequency image features， a super-resolution network （RPSRnet） based on receptive field optimization and progressive feature fusion is proposed， delivering exceptional performance in single image reconstruction. By integrating pixel attention mechanisms and large receptive field convolutions， two progressive pathways are devised to interpret inputs as features at varying levels of abstraction. This design enriches the network’s capability to grasp contextual information while streamlining parameter redundancy. Through the utilization of hierarchical convolutions and multiple receptive field branches， the network sustains lightweight convolutions and acquires fused features from diverse scales on hierarchical pathways. This process enhances the network’s proficiency in reconstructing edge details and intricate texture features. The experimental results reveal that the proposed algorithm achieves a peak signal-to-noise ratio of 32.47 dB on the Set5 benchmark test set and 28.81 dB on the Set14 test set. The algorithm surpasses existing advanced algorithms， utilizing fewer parameters and resulting in a 9% reduction in parameters， effectively validating the algorithm’s efficacy.

Keywords：image super resolution; attention mechanism; receptive field optimization; feature fusion

單圖像的超分辨率是一項(xiàng)經(jīng)典的計(jì)算機(jī)視覺任務(wù)，目標(biāo)是從低分辨率圖像中重建出視覺質(zhì)量更高的高分辨率圖像。它在公共安全、目標(biāo)檢測和醫(yī)療診斷等圖像分析領(lǐng)域有著廣泛的應(yīng)用^［1-4］。通常，可以對高分辨率圖像添加退化類型以獲得相應(yīng)的低分辨率圖像。然而，這一過程是不可逆的，高分辨率圖像與低分辨率圖像之間并非一一對應(yīng)關(guān)系。現(xiàn)有的超分辨率方法從低分辨率圖像中恢復(fù)對應(yīng)的高分辨率圖像時仍然受到阻礙，因此，圖像超分辨率技術(shù)具有一定的研究價值。傳統(tǒng)的超分辨率方法包括機(jī)器學(xué)習(xí)和插值算法。

與傳統(tǒng)算法相比，卷積神經(jīng)網(wǎng)絡(luò)在單圖像超分辨率視覺任務(wù)中表現(xiàn)出優(yōu)良的性能，歸因于卷積網(wǎng)絡(luò)擬合復(fù)雜非線性函數(shù)的強(qiáng)大能力^［5-7］。Dong等^［8］提出的超分辨率卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）是卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率領(lǐng)域的首個應(yīng)用。該網(wǎng)絡(luò)先通過插值算法將輸入的低分辨率圖像上采樣至目標(biāo)分辨率，再利用三層卷積提取特征圖以提升圖像重建質(zhì)量。作為改進(jìn)，加速超分辨率卷積神經(jīng)網(wǎng)絡(luò)（FSRCNN）^［9］將特征圖的上采樣操作移至網(wǎng)絡(luò)末端而非網(wǎng)絡(luò)入口，并采用轉(zhuǎn)置卷積調(diào)整特征圖的大小，以此降低計(jì)算開銷。為提取更深層的高頻特征，增加卷積層數(shù)的方法得到廣泛采用。Kim等^［10］利用殘差連接構(gòu)建了一個含20個卷積層的深度網(wǎng)絡(luò)。盡管眾多研究結(jié)果表明，增加網(wǎng)絡(luò)深度能夠提升性能，然而深層網(wǎng)絡(luò)和類似遞歸結(jié)構(gòu)會引入大量參數(shù)和龐大的計(jì)算需求，這促使研究人員去設(shè)計(jì)更為輕量化的網(wǎng)絡(luò)。

近年來，針對便攜設(shè)備以及需要實(shí)時反饋結(jié)果的場景，提出了許多輕量級的算法。這些算法的特點(diǎn)是輕量、高效。級聯(lián)殘差網(wǎng)絡(luò)（CARN）^［11］通過在殘差結(jié)構(gòu)中采用級聯(lián)的方式實(shí)現(xiàn)輕量化。一些方法^［12-13］通過改進(jìn)多重蒸餾網(wǎng)絡(luò)在性能和參數(shù)平衡方面取得了更優(yōu)的效果。然而在這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法中，僅是捕捉單一尺度內(nèi)的高頻細(xì)節(jié)。此外，這些方法很少利用大的感受野來捕捉上下文內(nèi)容，單一尺度特征提取或僅使用堆疊的注意力塊會導(dǎo)致在恢復(fù)高頻圖像細(xì)節(jié)方面表現(xiàn)不佳。

為了解決上述問題，本文提出了一種基于感受野優(yōu)化與漸進(jìn)特征融合的圖像超分辨率網(wǎng)絡(luò)（RPSRnet），該網(wǎng)絡(luò)能夠有效地跨不同尺度提取豐富的上下文信息。所提出的RPSRnet網(wǎng)絡(luò)中，設(shè)計(jì)了一個局部多尺度特征提取模塊（LMFE），增強(qiáng)網(wǎng)絡(luò)的多尺度特征提取?；谧⒁饬C(jī)制和感受野優(yōu)化，提出了一個漸進(jìn)式的像素注意力模塊（PPAB），通過漸進(jìn)式的分層提取，結(jié)合感受野優(yōu)化有效地提升網(wǎng)絡(luò)對上下文信息的理解，加強(qiáng)對高頻特征的捕獲能力。與先前的方法相比，本文提出的算法主要有以下改進(jìn)：①設(shè)計(jì)了漸進(jìn)式的像素注意力模塊，基于感受野優(yōu)化和漸進(jìn)式的特征提取提升網(wǎng)絡(luò)對特征長程關(guān)系的理解能力，更有效地捕獲圖像的高頻細(xì)節(jié)；②提出的局部多尺度特征提取塊，能夠從多路徑獲取不同感受野范圍的特征信息，增強(qiáng)網(wǎng)絡(luò)對圖像更大范圍特征的提取能力，提升網(wǎng)絡(luò)的性能；③在性能和參數(shù)方面，所提網(wǎng)絡(luò)以更少的參數(shù)實(shí)現(xiàn)了最優(yōu)的性能。在對4個基準(zhǔn)數(shù)據(jù)集進(jìn)行評估的結(jié)果中，RPSRnet獲得了相比于先進(jìn)算法更優(yōu)的性能，涵蓋峰值信噪比、結(jié)構(gòu)相似性、網(wǎng)絡(luò)尺寸和主觀視覺質(zhì)量。

1"超分辨率相關(guān)研究

1.1"基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer的超分辨率

卷積神經(jīng)網(wǎng)絡(luò)（CNN）在各類計(jì)算機(jī)視覺任務(wù)中已取得顯著進(jìn)展^［14-15］，近期許多方法嘗試構(gòu)建深層卷積網(wǎng)絡(luò)以提升重建性能。文獻(xiàn)［10］中的甚深超分辨率神經(jīng)網(wǎng)絡(luò)（VDSR）采用20層卷積來提取深層高頻特征。文獻(xiàn)［16］中的增強(qiáng)超分辨率神經(jīng)網(wǎng)絡(luò)（EDSR）通過引入殘差縮放并改進(jìn)深度殘差模塊，提出一個包含32個殘差模塊的深度網(wǎng)絡(luò)。為使超分辨率網(wǎng)絡(luò)實(shí)現(xiàn)輕量化，信息蒸餾神經(jīng)網(wǎng)絡(luò)（IMDN）^［17］提出了信息多重蒸餾方案，結(jié)合通道拆分以減少參數(shù)的使用。特征蒸餾神經(jīng)網(wǎng)絡(luò)（RFDN）^［12］改進(jìn)了多重蒸餾，提出了特征蒸餾連接方案，特征殘差蒸餾神經(jīng)網(wǎng)絡(luò)（RLFN）^［13］在特征蒸餾基礎(chǔ)上提出了殘差特征蒸餾，性能和參數(shù)得到進(jìn)一步優(yōu)化。晶格神經(jīng)網(wǎng)絡(luò)（LatticeNet）^［18］利用格子塊和反向特征融合來平衡性能和參數(shù)。藍(lán)圖可分離神經(jīng)網(wǎng)絡(luò)（BSRN）^［19］引入了藍(lán)圖可分離卷積，分離逐通道和逐點(diǎn)卷積以提高參數(shù)利用率。

Liang等^［20］在超分辨率任務(wù)中引入視覺滑動窗口變換器（Swin Transformer），借助移位窗口機(jī)制進(jìn)行長距離依賴建模以提升性能。Lu等^［21］將CNN與Transformer相結(jié)合，提出一種高效的超分辨率變換器，利用圖像內(nèi)部的自相似性建立長程依賴關(guān)系。Chen等^［22］在連續(xù)的Transformer塊中交替運(yùn)用空間和通道自注意力，聚合塊間特征以提升高頻細(xì)節(jié)的提取能力。Wang等^［23］對視覺Transformer進(jìn)行改進(jìn)，提出了多維聚合網(wǎng)絡(luò)以及同質(zhì)聚合方案，能夠在不同維度上聚合多層次信息。Chen等^［24］改進(jìn)了基于窗口的自注意力并結(jié)合通道注意力，引入交叉注意力模塊增強(qiáng)窗口特征間的交互。

1.2"基于感受野優(yōu)化的卷積方法

近年來，Transformer在視覺任務(wù)中表現(xiàn)卓越，其出色的性能得益于Transformer所提供的廣闊感受野。擴(kuò)大感受野的一種替代方法是采用更大的卷積核，這個特性啟發(fā)了研究人員利用大卷積核設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。新一代卷積神經(jīng)網(wǎng)絡(luò)（ConvNeXt）^［25］通過運(yùn)用大卷積核來提升更廣闊的感受野，從而達(dá)到了與基于Transformer的方法具有相同競爭力的性能。Hesse等^［26］設(shè)計(jì)了新的自適應(yīng)下采樣策略，通過增加感受野來提升采樣的性能。視覺注意力網(wǎng)絡(luò)（VAN）^［27］探究了大卷積核注意力在視覺任務(wù)中的性能，提出了大卷積核注意力模塊。大感受野神經(jīng)網(wǎng)絡(luò)（VapSR）^［28］拓展了此項(xiàng)工作，提出了一個具有大感受野的像素注意力模塊。基于此理論基礎(chǔ)，本文提出了一個基于感受野優(yōu)化的漸進(jìn)式注意力模塊。

2"RPSRnet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

在本節(jié)中，首先闡述了如圖1所示的RPSRnet網(wǎng)絡(luò)結(jié)構(gòu)，接著詳細(xì)闡釋網(wǎng)絡(luò)內(nèi)部的細(xì)節(jié)。

2.1"主體網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的RPSRnet由3個主要部分組成：淺層特征提取、基于漸進(jìn)局部多尺度注意力塊 （PLMA）的深層特征提取以及圖像重建層。由圖1可以看出，初始階段將輸入的低分辨圖像I_LR轉(zhuǎn)換為淺層特征，以便為后續(xù)的深層特征提取作準(zhǔn)備。然后，提取出的淺層特征被輸送到堆疊的PLMA中，用于提取并融合更深層次的特征。最后，利用像素清洗層將圖像大小調(diào)整至預(yù)定分辨率并生成重建圖像。設(shè)計(jì)的PLMA包括4個部分：通道注意力模塊（CAB）、局部多尺度特征提取模塊、漸進(jìn)式的像素注意力模塊和增強(qiáng)型空間注意力模塊（ESA）。

下面對RPSRnet的工作流程進(jìn)行解釋。首先，

在淺層特征提取階段，輸入圖像I_LR經(jīng)過卷積層被提取為高維度的淺層特征，如下所示

X₀=f_3×3（I_LR）（1）

式中：f_3×3表示3×3的卷積層；X₀表示提取到的淺層特征。在深層特征提取階段，將獲得的高維度淺層特征輸送到連續(xù)堆疊的PLMA中進(jìn)行深層特征提取

X_k=f^k_PLMA（f^k－1_PLMA（…f¹_PLMA（X₀）…）（2）

X_ko=f^k_ESA（f^k_PPAB（f^k_LMFE（f^k_CAB（X_ki）））+X_ki）

（3）

式中：f_PLMA表示漸進(jìn)式的局部特征提取模塊；X_k表示第k個PLMA輸出的特征圖；在PLMA中，通過級聯(lián)4個模塊來實(shí)現(xiàn)特征提取和融合，其中X_ko、X_ki分別為第k個PLMA內(nèi)的輸出特征和輸入特征，f^k_ESA、f^k_PPAB、f^k_LMFE、f^k_CAB分別為第k個PLMA內(nèi)的ESA、PPAB、LMFE和CAB，在這之后，通過殘差連接將特征X_k和X₀加和，并使用像素清洗層將特征圖調(diào)整為高分辨率圖像的像素尺寸

I_SR=f_rec（X_k+X₀）（4）

式中：I_SR是超分辨率網(wǎng)絡(luò)最終生成的重建圖像；f_rec是上采樣層。特別地，此處采用了兩個2倍縮放因子的像素清洗操作來實(shí)現(xiàn)4倍或3倍的上采樣。

關(guān)于損失函數(shù)的選擇，由于L1目標(biāo)函數(shù)具有傾向于逼近真值圖像的參考像素值的特性，有助于網(wǎng)絡(luò)的特征選擇并提高網(wǎng)絡(luò)可解釋性，此外，L1目標(biāo)函數(shù)針對絕對值施加懲罰，減少了異常量的影響從而增強(qiáng)所訓(xùn)練網(wǎng)絡(luò)的魯棒性。預(yù)處理的數(shù)據(jù)集{Iⁱ_LR，Iⁱ_HR}^N_i=1中{Iⁱ_LR，Iⁱ_HR}為第i對低分辨率圖像和高分辨率圖像，Iⁱ_LR、Iⁱ_HR分別為數(shù)據(jù)集中第i幅低、高分辨率圖像。最小化L1目標(biāo)函數(shù)訓(xùn)練RPSRnet，其目標(biāo)函數(shù)如下式

L（θ）=∑Ni=1Iⁱ_SR－Iⁱ_HR（5）

式中：θ是網(wǎng)絡(luò)學(xué)習(xí)到的參數(shù)；Iⁱ_SR為從第i幅低分辨率圖像Iⁱ_LR中復(fù)原得到的超分辨率圖像。

2.2"局部多尺度特征提取模塊

在PLMA中，設(shè)計(jì)了兩個模塊，分別為LMFE和PPAB。

首先，介紹局部多尺度特征提取塊LMFE，如圖2所示。為了減少參數(shù)并提高參數(shù)采用效率，LMFE采用具有不同感受野的卷積層從不同通道提取特征。與之前的方法不同，該多尺度特征提取器采用1×1卷積、3×3卷積和帶有擴(kuò)張度的3×3卷積來捕獲不同尺度的特征。擴(kuò)張卷積采用組卷積，組數(shù)等于輸入通道數(shù)，擴(kuò)張值設(shè)置為3。通過3種不同感受野的并行特征提取結(jié)構(gòu)，LMFE有效地利用參數(shù)并擴(kuò)展感受野。與僅使用3×3卷積進(jìn)行多尺度特征提取相比，分層的多路徑提取方式可有效融合來自不同層次的特征。在提取各種尺度的特征之后，采用級聯(lián)融合和壓縮多尺度特征，再使用大感受野注意力卷積模塊VAB從融合特征中進(jìn)一步逐像素分配權(quán)重。LMFE的工作流程如下

X_Lm=fC（f_1×1（X_Li），f_3×3（X_Li），f_3×3dil（X_Li））

（6）

X_Lo=f_VAB（f_1×1（X_Lm））（7）

式中：f_1×1、f_3×3、f_3×3dil分別是1×1、3×3及擴(kuò)張值為3的3×3卷積層運(yùn)算；fC是對卷積的通道進(jìn)行拼接運(yùn)算；X_Li、X_Lm、X_Lo分別是LMFE的輸入特征、分層融合特征和輸出特征；f_VAB是大感受野像素注意力模塊。

2.3"漸進(jìn)式像素注意力模塊

像素注意力神經(jīng)網(wǎng)絡(luò)（PAN）^［29］中提出的像素注意力模塊，可以生成比普通注意力更高維的注意力圖，相比于其他的注意力模塊，它能夠?qū)D像的細(xì)粒度特征進(jìn)行精細(xì)的學(xué)習(xí)與調(diào)整，有效幫助網(wǎng)絡(luò)理解圖像的局部信息，而更大的感受野有助于網(wǎng)絡(luò)理解圖像的長程關(guān)系，這對于恢復(fù)圖像的高頻細(xì)節(jié)十分重要。PPAB是RPSRnet中設(shè)計(jì)的第二個模塊，相比于VapSR，PPAB為了改進(jìn)VAB中的像素注意力，采用了漸進(jìn)式的特征提取方案。通過設(shè)置兩個不同路徑的注意力分支，在不同層次上逐步對輸入提取特征，幫助模型理解圖像長程關(guān)系。此外，漸進(jìn)式的特征提取將輸入表征為不同層次的特征抽象，每個路徑上提取的特征代表不同級別的語義信息，有利于網(wǎng)絡(luò)對高頻特征的提取。

PPAB的內(nèi)部細(xì)節(jié)如圖3所示，PPAB首先對輸入進(jìn)行一次點(diǎn)卷積（Point-wise）和深度卷積（Depth-wise）組合的藍(lán)圖卷積，并在點(diǎn)卷積時調(diào)整特征通道數(shù)，隨后將大卷積核像素注意力模塊獨(dú)立應(yīng)用于兩條不同路徑上。在第一條路徑中，通過一個像素注意力分支提取特征的高頻信息，在另一條路徑上，采取先前Point-wise卷積和Depth-wise卷積級聯(lián)的藍(lán)圖卷積與像素注意力模塊組合。之后將兩個分支的輸出結(jié)果相加融合，使用1×1的卷積調(diào)整特征通道數(shù)后與最初的輸入執(zhí)行殘差相加，特別的是，在每個大感受野卷積塊之后，對輸出進(jìn)行了像素歸一化。具體地，首先將特征圖大小B×C×H×W轉(zhuǎn)換到B×H×W×C維度，對特征圖執(zhí)行卷積層歸一化后，再次轉(zhuǎn)換回原來的特征圖大小B×C×H×W，這樣就可以對每個像素值在通道維度上進(jìn)行歸一化，從而加速訓(xùn)練并提升性能。PPAB的工作流程如下

X_mid=f_bs（X_Pin）（8）

X_1st=f_VAB（X_mid）（9）

X_2nd=f_VAB（f_bs（X_mid））（10）

式中：X_Pin、X_mid、X_1st、X_2nd分別表示PPAB的輸入特征、中間特征、第一條路徑的輸出特征以及第二條路徑的輸出特征；f_bs是藍(lán)圖可分離卷積運(yùn)算。VAB內(nèi)的運(yùn)算如下

X_Vo=X_Vif_5×5dil（f_5×5（f_1×1（X_Vi）））（11）

式中：X_Vi、X_Vo、表示VAB的輸入和輸出以及按像素作乘法運(yùn)算；f_5×5dil和f_5×5為含擴(kuò)張值的5×5卷積層和不含擴(kuò)張值的5×5卷積運(yùn)算。運(yùn)算得到兩個不同層次的輸出特征圖之后，調(diào)整特征圖通道并輸出結(jié)果

X_Pout=Norm（X_Pin+f_1×1（X_1st+X_2nd））（12）

式中：X_Pout是PPAB的輸出；Norm（·）表示像素歸一化運(yùn)算。

2.4"通道注意力模塊和增強(qiáng)型空間注意力模塊

通道注意力模塊在卷積神經(jīng)網(wǎng)絡(luò)中的有效性已經(jīng)在之前的研究中得到證實(shí)^［30-31］。在本文提出的網(wǎng)絡(luò)中，將通道注意力模塊融入到PLMA的前端，如圖4（a）所示。與普通的通道注意力不同的是，該網(wǎng)絡(luò)在通道注意力層之前使用了藍(lán)圖可分離卷積（BSConv），取代了3×3卷積。

除了通道注意力模塊以外，空間注意力模塊^［32-33］可以顯著提高網(wǎng)絡(luò)對輸入特征圖中不同位置關(guān)系的捕捉能力。經(jīng)過多次局部特征提取，網(wǎng)絡(luò)在重建高頻特征細(xì)節(jié)方面表現(xiàn)了足夠的性能，但多次的殘差連接會導(dǎo)致網(wǎng)絡(luò)分層特征的利用率下降。將ESA置于PLMA的殘差連接之后，聚合先前級聯(lián)模塊輸出的殘差特征，使網(wǎng)絡(luò)更加關(guān)注空間維度上的關(guān)鍵內(nèi)容，提高RPSRnet的分層特征利用率。ESA的網(wǎng)絡(luò)結(jié)構(gòu)如圖4（b）所示。

3"實(shí)驗(yàn)結(jié)果與分析

本節(jié)介紹一系列用于驗(yàn)證所提出RPSRnet網(wǎng)絡(luò)有效性的實(shí)驗(yàn)。

3.1"數(shù)據(jù)集與評價指標(biāo)

所提出的RPSRnet網(wǎng)絡(luò)使用DIV2K數(shù)據(jù)集進(jìn)行訓(xùn)練和驗(yàn)證，該數(shù)據(jù)集包括800張訓(xùn)練圖像對和100張驗(yàn)證圖像對。同時在4個廣泛使用的基準(zhǔn)數(shù)據(jù)集Set5、Set14、BSD100和Urban100上進(jìn)行測試。在評估過程中，采用了常規(guī)數(shù)據(jù)增強(qiáng)技術(shù)，包括隨機(jī)水平翻轉(zhuǎn)和90°/270°旋轉(zhuǎn)。低分辨率圖像是通過對原始圖像進(jìn)行雙三次插值下采樣得到的。此外，這些用于訓(xùn)練的圖像在進(jìn)行數(shù)據(jù)增強(qiáng)之前被轉(zhuǎn)換為lmdb格式，以加速設(shè)備的讀取和模型的訓(xùn)練。需要指出的是，輸出圖像的RGB通道被轉(zhuǎn)換為YCbCr通道。評估指標(biāo)包括圖像的峰值信噪比（PSNR，設(shè)為P_SNR）和結(jié)構(gòu)相似度（SSIM，設(shè)為S_SIM），在圖像通道Y上計(jì)算這些評估指標(biāo)。

峰值信噪比基于均方誤差計(jì)算復(fù)原圖像與原圖像之間在像素級別上的差異，衡量了兩者之間的像素相近程度；結(jié)構(gòu)相似度不同于前者的像素級比較，它更注重人眼對圖像結(jié)構(gòu)和細(xì)節(jié)的感知，通過計(jì)算圖像的亮度相似度、對比度相似度、結(jié)構(gòu)相似度得到評估結(jié)果。利用峰值信噪比和結(jié)構(gòu)相似度可以客觀地對比不同方法復(fù)原出的圖像的質(zhì)量。

3.2"實(shí)驗(yàn)細(xì)節(jié)

關(guān)于實(shí)驗(yàn)的各項(xiàng)配置列舉在表1中，此外，在制作lmdb格式數(shù)據(jù)前，訓(xùn)練數(shù)據(jù)集還被裁剪成480×480像素的子圖像，需要指出的是，所有實(shí)驗(yàn)訓(xùn)練時不使用任何預(yù)訓(xùn)練模型和熱啟動策略。

3.3"與先進(jìn)方法的對比實(shí)驗(yàn)

在本小節(jié)中，為了驗(yàn)證所提RPSRnet重建算法的有效性，在4個廣泛使用的基準(zhǔn)數(shù)據(jù)集上將RPSRnet與近年來主流的先進(jìn)方法進(jìn)行了對比，這些方法都在一定的參數(shù)量級之內(nèi)有著優(yōu)秀的性能。對比實(shí)驗(yàn)所采用的放大因子為2、3、4，由于上采樣的差異，同一模型在不同放大比例下參數(shù)略有不同。這些方法已經(jīng)在互聯(lián)網(wǎng)上公開共享了實(shí)驗(yàn)結(jié)果以及開源代碼，方便在相同的評估數(shù)據(jù)集上進(jìn)行公正的比較。

表2列舉了各種先進(jìn)方法以及所提RPSRnet網(wǎng)絡(luò)在4個數(shù)據(jù)集上的定量評估和參數(shù)量。以4倍放大因子為例，RPSRnet以更少的參數(shù)取得了優(yōu)越的性能，對比結(jié)果表明，所提出的方法在綜合性能上更出色，VDSR在重建性能方面表現(xiàn)較差，像EDSR這種與RPSRnet參數(shù)相當(dāng)或更多的方法重建性能也只是次優(yōu)，VapSR、BSRN的重建性能更低。值得注意的是，相比于基于Transformer的重建方法SwinIR，所提方法不僅在性能上表現(xiàn)更好（Set5、Set14數(shù)據(jù)集中達(dá)到了0.03、0.04dB的提升），而且使用的參數(shù)縮減了19.28%，這主要是因?yàn)橄袼刈⒁饬δK內(nèi)的大感受野以及漸進(jìn)式的特征提取，增強(qiáng)了網(wǎng)絡(luò)對長程上下文關(guān)系的理解，有效地幫助網(wǎng)絡(luò)恢復(fù)圖像的高頻細(xì)節(jié)，這也表明在純卷積神經(jīng)網(wǎng)絡(luò)中使用大感受野的機(jī)制可提升性能。此外，與最新發(fā)表的CVPR2023論文中的Omni-SR方法相比，RPSRnet同樣具備很強(qiáng)的競爭力，特別是在Set14和BSD100數(shù)據(jù)集上，取得了更優(yōu)秀的評估結(jié)果。盡管在Urban100數(shù)據(jù)集上，RPSRnet的重建性能低于Omni-SR，這是由于Urban100中存在大量相似的斑塊，而Omni-SR中的全尺度聚合模塊引入的長程依賴可以很好地恢復(fù)這些細(xì)節(jié)。盡管如此，RPSRnet仍然優(yōu)于其他方法，且參數(shù)更少（相比Omni-SR，參數(shù)縮減了約9%），網(wǎng)絡(luò)更加緊湊。此外，對于2倍和3倍的放大實(shí)驗(yàn)，RPSRnet在評估指標(biāo)以及參數(shù)量方面也表現(xiàn)優(yōu)秀。綜上所述，RPSRnet的有效性以及重建性能得到了充分驗(yàn)證，尤其適用于4倍分辨率放大的任務(wù)。

除了對不同方法的定量評估分析，在運(yùn)行效率上，以4倍放大因子為例，還進(jìn)一步評估了RPSRnet以及VDSR、EDSR實(shí)現(xiàn)分辨率放大所需的平均運(yùn)行時間，如表3所示，這3個方法都屬于輕量模型，所提方法在運(yùn)行效率上表現(xiàn)更出色，不論是參數(shù)量較多的EDSR，還是參數(shù)量較少的VDSR，其推理速度都更慢，且實(shí)驗(yàn)平臺使用了高性能CPU以及圖形處理器，運(yùn)行時間的差異仍然明顯，充分證明了RPSRnet方法的高效性。

在主觀視覺效果上，采用本文RPSRnet方法及其他超分辨率方法（Bicubic、SRCNN、FSRCNN、VDSR、IMDN、RLFN）進(jìn)行對比，選取2個數(shù)據(jù)集中4幅圖像進(jìn)行重建，并將局部放大圖進(jìn)行對比，實(shí)驗(yàn)結(jié)果如圖5所示。由圖5可見，所選擇的圖像有明顯的共同特點(diǎn)：圖像中存在許多邊緣或非光滑的紋理，此類區(qū)域包含灰度值變化劇烈的圖像結(jié)構(gòu)，在復(fù)原過程中的難度包含這類區(qū)域的圖像相對于圖像

平滑區(qū)域大得多，8幅低分辨率的復(fù)原圖是不同超分辨率方法在同一幅圖像上的復(fù)原結(jié)果，為了便于呈現(xiàn)復(fù)原的結(jié)果，這里僅截取復(fù)原圖像中的一部分區(qū)域作展示，截取的真值圖像區(qū)域與原圖中黃色矩形框內(nèi)的部分相對應(yīng)。就恢復(fù)的圖像細(xì)節(jié)而言，Bicubic的復(fù)原結(jié)果相比于深度學(xué)習(xí)方法遜色得多，而SRCNN與FSRCNN的效果相對較好，能夠恢復(fù)一定的圖像細(xì)節(jié)和紋理，如圖5（a），視覺效果有明顯改善，但在圖5（b）中則出現(xiàn)了嚴(yán)重的模糊并且發(fā)生結(jié)構(gòu)偏移，VDSR在這些圖像上的模糊效果相對少了許多，表現(xiàn)出更好的重建效果，但仍然存在結(jié)構(gòu)偏移，IMDN和RLFN在處理模糊和結(jié)構(gòu)偏移方面表現(xiàn)更優(yōu)，例如圖5（b）和圖5（d），視覺效果比VDSR好很多，也不會發(fā)生太嚴(yán)重的結(jié)構(gòu)偏移，但在復(fù)原圖5（c）上出現(xiàn)了嚴(yán)重的偏移，特別是遇到像素灰度值發(fā)生劇烈變化的圖像邊緣時，其重建結(jié)果發(fā)生了畸變并伴隨嚴(yán)重的模糊，可以明顯看到的是，在這幅圖像上，所提出的RPSRnet能夠精準(zhǔn)地恢復(fù)其中的邊緣細(xì)節(jié)，尤其是黑白相間的過渡區(qū)域，復(fù)原圖像的這部分區(qū)域沒有出現(xiàn)明顯的模糊和偏移，對于其他圖像也是如此，在圖5（d）中，對于橫線和縱線密集分布的區(qū)域，能夠更好地修正橫線的彎曲程度，而圖5（b）圖像中，欄桿與背景的分離區(qū)域也能恢復(fù)得很好，沒有造成結(jié)構(gòu)偏移。

通過主觀視覺分析得出，經(jīng)過RPSRnet復(fù)原的圖像呈現(xiàn)出更令人滿意的視覺效果，包括圖像的邊緣紋理、圖像辨識度等，從而表明了所提方法對高頻細(xì)節(jié)有更高敏感性以及對復(fù)雜邊緣有精細(xì)恢復(fù)能力，證明了所提方法不僅在參數(shù)上足夠輕量，復(fù)原的圖像整體視覺效果也更好。

3.4"不同像素注意力模塊的對比實(shí)驗(yàn)

為了驗(yàn)證所提出的漸進(jìn)式注意力模塊PPAB的有效性，進(jìn)一步設(shè)置了像素注意力模塊的對比實(shí)驗(yàn)，比較PPAB與VapSR中提出的單分支像素注意力模塊VAB的復(fù)原性能。在該實(shí)驗(yàn)中，為了盡可能保持公平，以RPSRnet為主體網(wǎng)絡(luò)結(jié)構(gòu)，將PPAB的內(nèi)部從漸進(jìn)式的注意力模塊修改為僅含單像素注意力模塊的級聯(lián)形式。同時為了盡可能保持參數(shù)一致，實(shí)驗(yàn)中保持了PLMA數(shù)量相同，并微調(diào)PPAB的結(jié)構(gòu)和卷積層，以確保它們都只在像素注意力模塊部分有所不同。準(zhǔn)確地說，將單分支的像素注意力模塊與1×1卷積層結(jié)合起來，并通過卷積內(nèi)的通道數(shù)增加以實(shí)現(xiàn)參數(shù)調(diào)整，對比結(jié)果見表4，可以看出，在提出的RPSRnet中，PPAB對性能的改善的貢獻(xiàn)更加顯著，而使用VAB的RPSRnet雖然相比于同量級的其他方法也表現(xiàn)出了更優(yōu)秀的性能，但是相較于使用PPAB仍然有一定性能劣勢，這也驗(yàn)證了在像素注意力模塊中，使用漸進(jìn)式結(jié)構(gòu)逐漸提取多尺度特征是有效的。

3.5"不同數(shù)量的PLMA對比實(shí)驗(yàn)

針對不同數(shù)量的深度特征提取模塊PLMA進(jìn)行了探討。由于增加模塊數(shù)可以幫助網(wǎng)絡(luò)提升對不同數(shù)據(jù)分布的泛化能力，在一定程度上增加模塊可以有效減少欠擬合現(xiàn)象，也可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)復(fù)雜的特征和模式；然而模塊過多會伴隨一定的風(fēng)險，過度添加模塊會增加梯度消失和梯度爆炸的可能性。此外，層數(shù)的增加不僅導(dǎo)致訓(xùn)練時的難度加大，也會增加實(shí)際部署時計(jì)算量和內(nèi)存消耗，在內(nèi)存和計(jì)算資源受限的便攜設(shè)備上表現(xiàn)得尤為明顯。所以，合理選擇網(wǎng)絡(luò)的模塊數(shù)有助于平衡性能和計(jì)算需求，這也與RPSRnet更側(cè)重于輕量化網(wǎng)絡(luò)的設(shè)計(jì)初衷相符。為了和近期提出的輕量化方案在相似的參數(shù)量級作比較，對不同數(shù)量的PLMA模塊進(jìn)行了評估實(shí)驗(yàn)，相應(yīng)的結(jié)果見表5。從表5中可以看出，當(dāng)PLMA的數(shù)量K設(shè)置為8時，所提方法在性能和參數(shù)量之間實(shí)現(xiàn)了最合適的平衡，雖然模塊數(shù)量更少時也能實(shí)現(xiàn)近似的平衡，但會損失更多的復(fù)原精度。此外，在K=9時模型的性能相比于Omni-SR有所提升，但是提升并不明顯，在Set5數(shù)據(jù)集中，當(dāng)K=9時RPSRnet額外使用的8.5×10⁴參數(shù)量相比于Omni-SR僅帶來了0.03dB性能的提升，相比于使用8個PLMA，增加模塊所提升的性能無法很好地平衡額外參數(shù)的引入，因此，考慮到模型輕量化的需求，所提方法將K=8作為最終的配置。

3.6"不同結(jié)構(gòu)的LMFE對比實(shí)驗(yàn)

除了對所提出的PPAB進(jìn)行對比外，本小節(jié)針對提出的局部多尺度特征提取模塊LMFE設(shè)計(jì)了對比實(shí)驗(yàn)，驗(yàn)證該模塊的性能提升效果。在該實(shí)驗(yàn)中，額外訓(xùn)練了僅含擴(kuò)張卷積的多尺度分支對比模塊（稱為基礎(chǔ)塊basic block），其結(jié)構(gòu)如圖6所示，對比模塊使用的擴(kuò)張卷積與LMFE內(nèi)的擴(kuò)張卷積配置相同，由于3個路徑的卷積層都一致，感受野一致，這有利于在保持參數(shù)量級近似的實(shí)驗(yàn)條件下對比不同感受野的多尺度特征提取模塊的性能提升，同之前的對比實(shí)驗(yàn)類似，為了保持相近的參數(shù)量級，采取了級聯(lián)1×1卷積層，并在卷積層上調(diào)整通道數(shù)的方法微調(diào)對比模塊，除了該模塊有所不同，其他訓(xùn)練配置均保持一致。

圖7給出了兩種不同多尺度特征提取模塊結(jié)構(gòu)的RPSRnet訓(xùn)練軌跡對比（在DIV2K的驗(yàn)證數(shù)據(jù)集上進(jìn)行驗(yàn)證，包含100張圖片，實(shí)驗(yàn)使用tensorboard庫記錄實(shí)驗(yàn)結(jié)果），和所提出的原始LMFE對比，可以明顯看到，所提出的LMFE在各個訓(xùn)練階段的峰值信噪比相比基礎(chǔ)模塊都有顯著提升，驗(yàn)證了對于混合不同感受野的多尺度特征提取方法可以提升性能。

4"結(jié)"論

本文提出了一種基于感受野優(yōu)化和漸進(jìn)特征融合的輕量化單圖像超分辨率網(wǎng)絡(luò)。提出了局部多尺度特征提取塊LMFE，它通過多尺度的分層特征提取，有效融合了來自不同感受野范圍內(nèi)的特征信息，同時重新審視并分析了大感受野在注意力機(jī)制下的表現(xiàn)，提出了漸進(jìn)式的像素注意力模塊PPAB，改進(jìn)了像素注意力的性能。實(shí)驗(yàn)結(jié)果表明，漸進(jìn)式的大卷積核注意力模塊增強(qiáng)了網(wǎng)絡(luò)捕捉高頻細(xì)節(jié)的能力，漸進(jìn)式特征提取的設(shè)計(jì)與大感受野相結(jié)合，使提出的方法能夠有效地利用更廣泛的圖像上下文信息。大量實(shí)驗(yàn)結(jié)果表明，本文的方法相對于現(xiàn)有方法取得了更好的性能。

同時，從實(shí)驗(yàn)結(jié)果可知，在Set5、Set14數(shù)據(jù)集上RPSRnet與最新的方法相比性能更好，但在BSD100、Urban數(shù)據(jù)集上有些差距，RPSRnet在重建圖像時并沒有考慮到不同復(fù)雜退化的影響，導(dǎo)致網(wǎng)絡(luò)在部分測試集圖像上的重建性能受限，這也是目前超分辨率領(lǐng)域內(nèi)亟待解決的問題，還需要更有效的解決方案。

參考文獻(xiàn)：

［1］AAKERBERG A， NASROLLAHI K， MOESLUND T B. Real-world super-resolution of face-images from surveillance cameras ［J］. IET Image Processing， 2022， 16（2）： 442-452.

［2］HARIS M， SHAKHNAROVICH G， UKITA N. Task-driven super resolution： object detection in low-resolution images ［C］//Neural Information Processing. Cham， Switzerland： Springer International Publishing， 2021： 387-395.

［3］李嫣， 任文琦， 張長青， 等. 基于真實(shí)退化估計(jì)與高頻引導(dǎo)的內(nèi)窺鏡圖像超分辨率重建 ［J］. 自動化學(xué)報(bào)， 2024， 50（2）： 334-347.

LI Yan， REN Wenqi， ZHANG Changqing， et al. Super-resolution of endoscopic images based on real degradation estimation and high-frequency guidance ［J］. Acta Automatica Sinica， 2024， 50（2）： 334-347.

［4］徐勝軍， 杜淼， 段中興， 等. 多尺度區(qū)域注意力InfoGAN車牌識別網(wǎng)絡(luò) ［J］. 西安交通大學(xué)學(xué)報(bào)， 2023， 57（8）： 206-218.

XU Shengjun， DU Miao， DUAN Zhongxing， et al. Multi-scale regional attention InfoGAN license plate recognition network ［J］. Journal of Xi’an Jiaotong University， 2023， 57（8）： 206-218.

［5］CHEN Wenlong， YAO Pengcheng， GAI Shaoyan， et al. Multi-scale feature aggregation network for image super-resolution ［J］. Applied Intelligence， 2022， 52（4）： 3577-3586.

［6］韓玉蘭， 顧琴， 崔玉杰， 等. 基于樹狀多分支殘差注意力網(wǎng)絡(luò)的真實(shí)場景圖像超分辨率重構(gòu) ［J］. 控制與決策， 2024， 39（10）： 3442-3450.

HAN Yulan， GU Qin， CUI Yujie， et al. Real-world super-resolution based on residual attention network with tree based multi-branch structure ［J］. Control and Decision，2024， 39（10）： 3442-3450.

［7］KIM J H， CHOI J H， CHEON M， et al. MAMNet： multi-path adaptive modulation network for image super-resolution ［J］. Neurocomputing， 2020， 402： 38-49.

［8］DONG Chao， LOY C C， HE Kaiming， et al. Learning a deep convolutional network for image super-resolution ［C］//Computer Vision-ECCV 2014. Cham， Switzerland： Springer International Publishing， 2014： 184-199.

［9］DONG Chao， LOY C C， TANG Xiaoou. Accelerating the super-resolution convolutional neural network ［C］//Computer Vision-ECCV 2016. Cham， Switzerland： Springer International Publishing， 2016： 391-407.

［10］KIM J， LEE J K， LEE K M. Accurate image super-resolution using very deep convolutional networks ［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2016： 1646-1654.

［11］AHN N， KANG B， SOHN K A. Fast， accurate， and lightweight super-resolution with cascading residual network ［C］//Computer Vision-ECCV 2018. Cham， Switzerland： Springer International Publishing， 2018： 256-272.

［12］LIU Jie， TANG Jie， WU Gangshan. Residual feature distillation network for lightweight image super-resolution ［C］//Computer Vision-ECCV 2020 Workshops. Cham， Switzerland： Springer International Publishing， 2020： 41-55.

［13］KONG Fangyuan， LI Mingxi， LIU Songwei， et al. Residual local feature network for efficient super-resolution ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2022： 765-775.

［14］梁敏， 汪西莉. 結(jié)合超分辨率和域適應(yīng)的遙感圖像語義分割方法 ［J］. 計(jì)算機(jī)學(xué)報(bào)， 2022， 45（12）： 2619-2636.

LIANG Min， WANG Xili. Semantic segmentation model for remote sensing images combining super resolution and domain adaption ［J］. Chinese Journal of Computers， 2022， 45（12）： 2619-2636.

［15］CHEN Haoyu， GU Jinjin， LIU Yihao， et al. Masked image training for generalizable deep image denoising ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2023： 1692-1703.

［16］LIM B， SON S， KIM H， et al. Enhanced deep residual networks for single image super-resolution ［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2017： 1132-1140.

［17］HUI Zheng， GAO Xinbo， YANG Yunchu， et al. Lightweight image super-resolution with information multi-distillation network ［C］//Proceedings of the 27th ACM International Conference on Multimedia. New York， NY， USA：ACM， 2019： 2024-2032.

［18］LUO Xiaotong， XIE Yuan， ZHANG Yulun， et al. LatticeNet： towards lightweight image super-resolution with lattice block ［C］//Computer Vision-ECCV 2020. Cham， Switzerland： Springer International Publishing， 2020： 272-289.

［19］LI Zheyuan， LIU Yingqi， CHEN Xiangyu， et al. Blueprint separable residual network for efficient image super-resolution ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2022： 832-842.

［20］LIANG Jingyun， CAO Jiezhang， SUN Guolei， et al. SwinIR： image restoration using Swin transformer ［C］//2021 IEEE/CVF International Conference on Computer Vision Workshops （ICCVW）. Piscataway， NJ， USA： IEEE， 2021： 1833-1844.

［21］LU Zhisheng， LI Juncheng， LIU Hong， et al. Transformer for single image super-resolution ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2022： 456-465.

［22］CHEN Zheng， ZHANG Yulun， GU Jinjin， et al. Dual aggregation transformer for image super-resolution ［C］//2023 IEEE/CVF International Conference on Computer Vision （ICCV）. Piscataway， NJ， USA： IEEE， 2023： 12278-12287.

［23］WANG Hang， CHEN Xuanhong， NI Bingbing， et al. Omni aggregation networks for lightweight image super-resolution ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2023： 22378-22387.

［24］CHEN Xiangyu， WANG Xintao， ZHOU Jiantao， et al. Activating more pixels in image super-resolution transformer ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2023： 22367-22377.

［25］LIU Zhuang， MAO Hanzi， WU Chaoyuan， et al. A ConvNet for the 2020s ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2022： 11966-11976.

［26］HESSE R， SCHAUB-MEYER S， ROTHS. Content-adaptive downsampling in convolutional neural networks ［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2023： 4544-4553.

［27］GUO Menghao， LU Chengze， LIU Zhengning， et al. Visual attention network ［J］. Computational Visual Media， 2023， 9（4）： 733-752.

［28］ZHOU Lin， CAI Haoming， GU Jinjin， et al. Efficient image super-resolution using vast-receptive-field attention ［C］//Computer Vision-ECCV 2022 Workshops. Cham， Switzerland： Springer Nature Switzerland， 2023： 256-272.

［29］ZHAO Hengyuan， KONG Xiangtao， HE Jingwen， et al. Efficient image super-resolution using pixel attention ［C］//Computer Vision-ECCV 2020 Workshops. Cham， Switzerland： Springer International Publishing， 2020： 56-72.

［30］HU Jie， SHEN Li， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

［31］SHANG Jianrun， ZHANG Xue， ZHANG Guisheng， et al. Gated multi-attention feedback network for medical image super-resolution ［J］. Electronics， 2022， 11（21）： 3554.

［32］ZONG Zhikai， ZHA Lin， JIANG Jiande， et al. Asymmetric information distillation network for lightweight super resolution ［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Piscataway， NJ， USA： IEEE， 2022： 1248-1257.

［33］LIU Jie， ZHANG Wenjie， TANG Yuting， et al. Residual feature aggregation network for image super-resolution ［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， NJ， USA： IEEE， 2020： 2356-2365.

（編輯"武紅江）