基于多級殘差跳躍連接網(wǎng)絡(luò)的圖像超分辨率重建

關(guān)鍵詞：圖像超分辨率重建；SRGAN；坐標(biāo)注意力機(jī)制；多級殘差跳躍連接網(wǎng)絡(luò)；PatchGANDOI：10.15938/j. jhust.2025.02.008中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1007-2683（2025）02-0073-09

Abstract：Imagesuper-resolutionreconstructiontechnologycanconvertlow-resolutionimagesintohigh-resolutionimageswith higherpixeldensityndclearedetailsandplaysanimportantoleiniliaryandmedicalfields.imingatteproblemofisfiient processingoftexturedetailsandcolorrestorationdegreeinexistingimagesuper-resolutionreconstructionalgorithms，amulti-level residualskipcoectionetwork（MRSCN）basedoncordinateatentionmechanismisproposedandapliedtothe SRGANmodel to realizefullutilizatiooflow-resolutionimagefeatures.Itisusedtorecoverthedetailsoftheimageandtooptimizetheperceivedloss using Charbonnier loss and TVloss.This algorithm is tested on Set5，Set14，Bsd100 and Urban100 data sets for 4x super-resolution reconstruction.Compared withothercommonlyusedsuper-resolutionalgorithms，thisalgorithmcanbeterretaintexturedetailsduring imagereconstruction，esultinginclearerimagedetails，etervisualfectsandetivereductionofteumberofparametersnth network.Intermsofobjectiveevaluationindicators，theaveragevalueofPSNRandSIMincreasedbyO.503dBand0.0076 respectively compared with the original SRGAN.

Keywords;image super resolution reconstruction；SRGAN；coordinate atention mechanism；multi-level residual skipcoectior network；PatchGAN

0引言

圖像超分辨率重建（image super-resolution re-construction，SR）技術(shù)是指將低分辨率（lowresolution，LR）圖像通過特定的算法恢復(fù)成具有更好的視覺效果和更清晰細(xì)節(jié)的高分辨率（highresolution，HR）圖像[1]，目前已被廣泛應(yīng)用于人臉識別、醫(yī)學(xué)成像[2]、軍事遙感[3]和圖像視頻處理[4]等領(lǐng)域

傳統(tǒng)的圖像超分辨率重建算法以基于機(jī)器學(xué)習(xí)方法為主，常見的重建方法可以分為以下3類：基于插值[5]、基于重建[和基于學(xué)習(xí)的方法。基于插值的超分辨率重建主要包括最鄰近插值、雙線性插值和雙三次插值等。這些方法存在很大的局限性，基于插值的方法實(shí)現(xiàn)簡單，但得到的重建圖像邊緣容易出現(xiàn)模糊現(xiàn)象，基于重建的方法只能處理結(jié)構(gòu)比較簡單的圖像，效果并不理想。近年來，深度學(xué)習(xí)在超分辨率研究中得到了廣泛的應(yīng)用和探索，Dong等[8]最早將深度學(xué)習(xí)應(yīng)用于圖像超分辨率重建，在2014年提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的SRCNN算法模型，取得了優(yōu)于傳統(tǒng)算法的重建結(jié)果。之后又繼續(xù)對SRCNN 進(jìn)行改進(jìn)，提出了FSRCNN[9]，通過重新設(shè)計(jì)SRCNN網(wǎng)絡(luò)的結(jié)構(gòu)，去除了一些不必要的計(jì)算，從而加快了網(wǎng)絡(luò)的訓(xùn)練速度。2016年，Kim等[°提出VDSR 模型，首次將VGG[\"]網(wǎng)絡(luò)應(yīng)用在圖像超分辨領(lǐng)域，實(shí)驗(yàn)發(fā)現(xiàn)隨著卷積層數(shù)的增加，重建之后的圖像質(zhì)量也隨之提高，但仍存在收斂速度慢、信息傳遞艱難、圖像邊緣模糊等問題[2。直到2017年，Ledig等[3提出了一種基于生成對抗網(wǎng)絡(luò)的SRGAN算法，用于圖像超分辨率重建，它是目前較為先進(jìn)的一種基于深度學(xué)習(xí)的超分辨率重建算法，SRGAN生成的圖像在4倍超分辨率重建任務(wù)中，首次能夠恢復(fù)出清晰的紋理細(xì)節(jié)，這解決了其他方法經(jīng)常丟失高頻細(xì)節(jié)的問題。但由于GAN訓(xùn)練不穩(wěn)定[14]，特征的傳播在深層網(wǎng)絡(luò)中失真情況較嚴(yán)重，導(dǎo)致生成的高分辨率圖像未能達(dá)到最佳。超分辨率重建算法還存在如下問題： ① 部分超分辨重建算法在圖像重建時容易丟失一些高頻信息，導(dǎo)致重建后的圖像會出現(xiàn)紋理細(xì)節(jié)丟失、邊緣模糊等問題，影響了算法的重建效果和實(shí)用性； ② 一些超分辨重建算法通過增加網(wǎng)絡(luò)深度來獲得較好的圖像重建效果，但算法的參數(shù)量和計(jì)算量同時也會增加，不利于構(gòu)建實(shí)用的網(wǎng)絡(luò)結(jié)構(gòu)。因此，本文以SRGAN模型為基礎(chǔ)，對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，提出了一種基于坐標(biāo)注意力機(jī)制的多級殘差跳躍連接網(wǎng)絡(luò)（multi-levelresidual skip connection attention network， MR-SCN）[15]，該網(wǎng)絡(luò)能夠在增加網(wǎng)絡(luò)深度的同時，更好地表達(dá)高頻特征，有效提升了網(wǎng)絡(luò)的特征提取能力。同時，判別網(wǎng)絡(luò)引入PatchGAN的思想[16]，以恢復(fù)圖像細(xì)節(jié)，并減少參數(shù)數(shù)量。通過實(shí)驗(yàn)證明，本文模型在圖像超分辨率重建方面取得了更好的效果，有效提高了圖像重建質(zhì)量，

SRGAN網(wǎng)絡(luò)模型

SRGAN由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分組成。其中，生成網(wǎng)絡(luò)通過學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的映射關(guān)系，將低分辨率圖像轉(zhuǎn)換為高分辨率圖像，從而生成高質(zhì)量的圖像。判別網(wǎng)絡(luò)則用于區(qū)分給定的圖像是真實(shí)圖像還是生成網(wǎng)絡(luò)生成的圖像，提供反饋信息，幫助生成網(wǎng)絡(luò)不斷改進(jìn)。兩個網(wǎng)絡(luò)通過相互博弈的方式，不斷提高網(wǎng)絡(luò)性能，最終重建出可以假亂真的高分辨率圖像。SRGAN的網(wǎng)絡(luò)框架如圖1所示。

SRGAN的生成網(wǎng)絡(luò)主要由亞像素層[17]和殘差塊組成，其能夠提高圖像的感知質(zhì)量，但是生成圖像在高特征上的表現(xiàn)并不好。因此，本文在SRGAN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種多級殘差跳躍連接網(wǎng)絡(luò)（multi-level residual skip connection network，MRSCN）并引人坐標(biāo)注意力機(jī)制來代替原來的殘差模塊。坐標(biāo)注意力機(jī)制會根據(jù)特征圖的位置和通道信息靈活調(diào)整權(quán)重，使得MRSCN在提升網(wǎng)絡(luò)特征提取能力的同時，能夠更準(zhǔn)確地捕捉圖像中的關(guān)鍵信息，進(jìn)而獲得更加逼真的重建圖像。實(shí)驗(yàn)證明，本文模型在圖像超分辨率重建方面取得了更好的效果，有效提高了圖像重建質(zhì)量。

2 基于改進(jìn)的SRGAN圖像超分辨率重建算法

2.1 改進(jìn)的生成網(wǎng)絡(luò)結(jié)構(gòu)

本文采用基于坐標(biāo)注意力機(jī)制的多級殘差跳躍連接網(wǎng)絡(luò)（MRSCN）代替原來的殘差模塊，改進(jìn)的生成網(wǎng)絡(luò)模型如圖2所示。ReLU函數(shù)在輸入為負(fù)時會將其值變?yōu)榱悖瑢?dǎo)致梯度消失。而LeakyReLU通過引入一個小的負(fù)斜率，可以保留負(fù)值，從而避免了梯度消失的情況。這種特性使得LeakyReLU能夠更好地處理負(fù)值輸入，提供更豐富的梯度信息，有助于網(wǎng)絡(luò)模型的稀疏梯度學(xué)習(xí)。因此，本文選擇LeakyReLU作為激活函數(shù)，首先輸人一張低分辨率圖像LR，先進(jìn)行一次卷積和激活函數(shù)操作，獲得淺層特征 F₀ ，將得到的淺層特征 F₀ 輸人到殘差模塊

MRSCN中，通過10個殘差模塊進(jìn)行殘差學(xué)習(xí)，得到深層特征 F₁ ，并經(jīng)過一個跳躍連接，將殘差模塊的輸出和淺層特征相加，再通過兩個上采樣層進(jìn)行重建，將圖像放大為原來的4倍，最后輸出超分辨率圖像SR。

2. 1. 1 去除BN層

在深度學(xué)習(xí)模型中，BN層可以顯著提高網(wǎng)絡(luò)的收斂速度[18]，同時能有效防止模型過擬合，因此在許多分類任務(wù)中被廣泛應(yīng)用。然而，針對圖像超分辨任務(wù)，在GAN模型下進(jìn)行訓(xùn)練或者模型網(wǎng)絡(luò)層數(shù)較多時，BN層的加入容易產(chǎn)生偽影問題，從而對模型的泛化能力有一定的限制[19]，而且還會增加計(jì)算的復(fù)雜度，影響網(wǎng)絡(luò)的性能，降低模型的效果。因此，為了保證生成網(wǎng)絡(luò)的穩(wěn)定性和泛化能力，需要移除BN層，移除BN層后，生成的圖像顏色更自然、輪廓更清晰，可以有效提高模型的性能和泛化能力。

2. 1.2 多級殘差跳躍連接網(wǎng)絡(luò)

在簡單場景下的圖像超分辨率任務(wù)中，圖像退化保留了大部分低頻信號卻丟失了高頻信號。模型的性能主要取決于高頻信號的恢復(fù)能力和低頻信號的存儲能力，學(xué)習(xí)高頻信號作為殘差可以促使模型專注于細(xì)節(jié)紋理的恢復(fù)，也可以緩解深度模型中常見的梯度消失問題。同時，圖像中的物體可能具有不同的尺度或角度，不同層次的特征可以為超分辨率重建提供更多的線索[20]。因此，參考ResNet 網(wǎng)絡(luò)[21]和DenseNet網(wǎng)絡(luò)[22]，設(shè)計(jì)了一種基于坐標(biāo)注意力機(jī)制的多級殘差跳躍連接網(wǎng)絡(luò)（MRSCN），如圖3所示，每個MRSCN模塊包含4個卷積層、LeakyReLU激活函數(shù)與1個坐標(biāo)注意力模塊，它同時具有殘差連接和密集連接的優(yōu)勢，為了防止特征在傳播過程中信息發(fā)生丟失，該模塊在原來殘差塊的基礎(chǔ)上，采用一種多級跳躍連接的方式，將前面卷積層的輸出特征通過跳躍連接的方式傳遞給后面的卷積層作為輸人。同時，引人坐標(biāo)注意力機(jī)制以充分利用特征圖在 X，Y 軸上的位置信息，對特征圖各通道加權(quán)，以提高訓(xùn)練的有效性，增強(qiáng)網(wǎng)絡(luò)的信息提取能力，有助于提高網(wǎng)絡(luò)性能和準(zhǔn)確率。將MRSCN殘差模塊表示為 M₁ ，設(shè)其輸入特征圖像為 F₁₁ ，輸出特征圖像為 F₁₂ ，則MRSCN殘差模塊的處理過程可表示為： F₁₂=M₁（F₁₁） 。

2.1.3 注意力機(jī)制模塊

注意力機(jī)制已被證明是有助于各種計(jì)算機(jī)視覺任務(wù)的，本文所采用的是一種輕量型的注意力模塊-坐標(biāo)注意力（coordinateattention，CA）模塊，它在許多任務(wù)中取得了很好的效果，特別是在圖像處理和計(jì)算機(jī)視覺領(lǐng)域，其結(jié)構(gòu)如圖4所示。本文在提出的多級殘差跳躍連接模塊中引人坐標(biāo)注意力機(jī)制，與只關(guān)注不同通道重要性的通道注意（squeeze-and-excitation，SE）不同[23]，坐標(biāo)注意模塊還考慮編碼空間信息，通過融入水平和垂直兩個方向的注意力機(jī)制，以捕獲特征位置的依賴關(guān)系，有助于通過像素級位置信息準(zhǔn)確地重建高分辨率圖像。

坐標(biāo)注意力機(jī)制通過坐標(biāo)信息嵌人和坐標(biāo)注意生成兩個步驟對通道關(guān)系和遠(yuǎn)程依賴進(jìn)行編碼。首先，對輸入的特征圖進(jìn)行坐標(biāo)信息的嵌入，假設(shè)輸人特征圖為 X ，其尺寸為 H×W×C ，其中， H 表示高度， W 表示寬度， C 表示通道數(shù)。沿著水平坐標(biāo)方向和垂直坐標(biāo)方向?qū)γ總€通道進(jìn)行平均池化編碼[24]因此，在高度 h 處的第 c 個通道的輸出可以用式（1）來表示：

式中： X_c（h，i） 表示輸人特征圖中坐標(biāo)為 （h，i） ，通道為 Ψ_c 的分量； z^h 表示經(jīng) X 軸平均池化后的輸出；z_c^h（h） 表示高度為 h 的第 c 個通道的分量

同理，寬度為 w 的第 ∣c∣ 個通道的輸出表達(dá)式如式（2）所示：

式中： X_c（j，w） 表示輸入特征圖中坐標(biāo)為 （j，w） ，通道為 c 的分量； z^w 表示經(jīng) Y 軸平均池化后的輸出；z_c^w（w） 表示寬度為 w 的第 ∣c∣ 個通道的分量[24]

然后，進(jìn)行坐標(biāo)注意力生成，將兩個池化操作得到的特征圖進(jìn)行級聯(lián)，之后將它們送入一個共享的1×1 卷積變換函數(shù)，以降低通道維度，得到的中間結(jié)果 f 如式（3）所示：

f=σ（F₁（[z^h，z^w]））

式中 為一個中間特征映射，它對圖像的空間信息進(jìn)行水平和垂直方向的編碼； r 為下采樣比例，用來控制模塊的大小。

將 f 在空間維度上拆分為兩個獨(dú)立的張量 f∈ R^c/r×H 和 f∈R^C/r×W ，并使用兩個 1×1 卷積進(jìn)行轉(zhuǎn)換，將特征圖 f_h 和 f_w 與輸入 X 的通道數(shù)調(diào)整為同一值，得到式 （4）～（5） ：

g^h=σ（F_h（f^h））

g^w=σ（F_w（f^w））

式中：δ是sigmoid函數(shù); g^h?g^w 分別為 X 軸和 Y 軸上的坐標(biāo)注意力權(quán)重特征。

因此，得到的坐標(biāo)注意力模塊的最終輸出可以用式（6）表示：

y_c（i，j）=x_c（i，j）×g_c^h（i）×g_c^w（j）

2. 2 改進(jìn)的判別器網(wǎng)絡(luò)結(jié)構(gòu)

在圖像超分辨率任務(wù)中，隨著生成網(wǎng)絡(luò)對圖像紋理細(xì)節(jié)學(xué)習(xí)能力的提升，判別網(wǎng)絡(luò)也需要增強(qiáng)對細(xì)節(jié)差異的判別能力，以提高重構(gòu)的效果。本文引入PatchGAN算法的思想，通過基于PatchGAN算法改進(jìn)的判別網(wǎng)絡(luò)，將重建圖像與真實(shí)圖像作為輸入信息映射為一個矩陣 X ，矩陣中的每個元素對應(yīng)輸入大小為 N×N 的patch樣本塊，對其進(jìn)行真假判斷，并輸出一個概率值。將所有概率值組成一個概率矩陣，并對最終得到的概率矩陣求均值，作為判別器的最終輸出。與傳統(tǒng)判別器不同，這種方法可以增強(qiáng)對細(xì)節(jié)差異的判別能力，提高重構(gòu)效果。設(shè)計(jì)的判別網(wǎng)絡(luò)共包含6個卷積層，卷積核大小設(shè)為3×3 ，步長為2。卷積后通過LeakyReLU激活函數(shù)，并連接sigmoid激活函數(shù)，進(jìn)行數(shù)據(jù)歸一化處理。因?yàn)閟igmoid函數(shù)的輸出范圍在0到1之間，可以將輸出解釋為概率值，表示輸人是真實(shí)圖像的概率。此外，sigmoid函數(shù)是一個平滑的非線性函數(shù)，可以幫助判別器更好地學(xué)習(xí)到輸入圖像的特征，并且在反向傳播時可以有效地傳遞梯度，從而加速網(wǎng)絡(luò)的訓(xùn)練過程。因此，選擇sigmoid激活函數(shù)作為判別器的激活函數(shù)，判別器整體結(jié)構(gòu)如圖5所示。

3 損失函數(shù)

SRGAN的特點(diǎn)之一就是引人了感知損失函數(shù)，其由內(nèi)容損失和對抗損失組成。但感知損失函數(shù)需要預(yù)先訓(xùn)練一個較大的卷積神經(jīng)網(wǎng)絡(luò)來提取圖像特征，這些特征會被用來計(jì)算損失函數(shù)，以指導(dǎo)模型的訓(xùn)練。隨著網(wǎng)絡(luò)層數(shù)的增加，激活特征會變得非常稀疏，特別是在深層特征提取時，計(jì)算成本會更加顯著，導(dǎo)致訓(xùn)練時間變長，難以滿足實(shí)時性。因此，網(wǎng)絡(luò)需要更多的訓(xùn)練樣本和更強(qiáng)的監(jiān)督信號來確保有效的學(xué)習(xí)和準(zhǔn)確的圖像重建。為了得到令人滿意的超分辨率重建圖像，本文將像素?fù)p失 l_Charbonnier 、內(nèi)容損失 l_vGG 、對抗損失 l_adv 和TV損失 l_TV 結(jié)合共同約束生成器，提升模型的魯棒性。

SRGAN的內(nèi)容損失由均方誤差（meansquarederror，MSE）損失和VGG損失兩部分組成。MSE損失只關(guān)注像素級別的差異，無法保留圖像的細(xì)節(jié)和紋理信息，在圖像生成和圖像處理任務(wù)中，會導(dǎo)致生成的圖像缺乏細(xì)節(jié)和紋理信息。Charbonnier損失函數(shù)是一種平滑的L1損失函數(shù)，對于噪聲和異常值具有更好的魯棒性，可以保留圖像細(xì)節(jié)和紋理信息。相比于MSE損失函數(shù)，它對異常值不敏感，可以更好地處理包含異常值的數(shù)據(jù)。所以本文采用Charbonnier損失代替MSE損失，以增強(qiáng)SR圖像與HR圖像的一致性。Charbonnier損失函數(shù)表達(dá)式為

式中： 為Charbonnier損失的懲罰函數(shù)， ε 取值為 ε=10Ω^-7

像素?fù)p失只考慮了像素之間的差異，沒有考慮圖像的高級語義信息，而基于VGG網(wǎng)絡(luò)提取特征的損失函數(shù)可以在保留圖像細(xì)節(jié)的同時，考慮圖像的高級語義信息。因此，使用預(yù)訓(xùn)練好的VGG16網(wǎng)絡(luò)提取生成圖像和真實(shí)圖像在不同層的特征，然后計(jì)算兩者之間的差異作為損失值，其表達(dá)式為

?_i，j（I^LR）_x，y）²

式中： W_i，j 和 H_i，j 是VGG網(wǎng)絡(luò)中特征圖的大小; ?_i，j 是VGG網(wǎng)絡(luò)中第 χ_i 個最大池化層之前的第 j 個卷積層激活后得到的特征圖。對抗損失函數(shù) l_adv 與 SRGAN保持一致，表達(dá)式為

式中： D_θG（D_θG（I^LR） ）為生成的圖像與原始高分辨圖像的概率。

在圖像超分辨率重建過程中，圖像中的噪聲會隨著放大因子的增大而增大，這是因?yàn)榉糯蟊稊?shù)越大，需要填充的像素點(diǎn)就越多，而填充的像素點(diǎn)通常是通過插值算法得到的，這會導(dǎo)致圖像出現(xiàn)銳化和偽影等問題。此外，由于低分辨率圖像缺失了細(xì)節(jié)信息，因此，在進(jìn)行超分辨率重建時，生成的高分辨率圖像往往會出現(xiàn)模糊和失真等問題，這也會影響圖像的視覺體驗(yàn)。TV正則項(xiàng)可以保留圖像中像素密集區(qū)域最重要的特征[25]，突出顯示圖像中的紋理和細(xì)節(jié)，使圖像更加豐富。于是引入TV正則項(xiàng)提高圖像質(zhì)量，TV正則項(xiàng)的表達(dá)式為

綜上所述，總的損失函數(shù)為

L=αl_Charbonier+βl_VGG+χl_adv+δl_TV

式中： ;α=1，β=6×10^-3，χ=10^-3 . δ=2×10^-8 。

4 實(shí)驗(yàn)分析

4.1 評價(jià)指標(biāo)

本文采用的客觀評價(jià)指標(biāo)是峰值信噪比（peaksignaltonoiseratio，PSNR）和結(jié)構(gòu)相似性（structuralsimilarity，SSIM）。PSNR和SSIM作為圖像質(zhì)量評價(jià)指標(biāo)被廣泛應(yīng)用于圖像和視頻處理領(lǐng)域，PSNR是通過計(jì)算原始圖像與重建圖像之間的均方誤差來衡量圖像的質(zhì)量，PSNR的數(shù)值越高，表示重建圖像與原始圖像之間的差異越小。SSIM通過比較原始圖像和重建圖像的結(jié)構(gòu)、亮度和對比度等方面的相似性來評估圖像質(zhì)量，其取值范圍在0到1之間，數(shù)值越接近1表示重建圖像與原始圖像的結(jié)構(gòu)和內(nèi)容越相似，質(zhì)量越好。

4.2 實(shí)驗(yàn)設(shè)置

為了保證實(shí)驗(yàn)數(shù)據(jù)的準(zhǔn)確性，得到更好的重建效果，本文實(shí)驗(yàn)的數(shù)據(jù)集使用超分辨領(lǐng)域常用的幾種數(shù)據(jù)集，選用V0C2012作為訓(xùn)練集數(shù)據(jù)，它包含16700張訓(xùn)練集圖像，425張驗(yàn)證集圖像。測試集選用Set5[26] Set14^[27] ） Bsd100^[28] 和 Urban100^[29]4 個數(shù)據(jù)集，實(shí)驗(yàn)環(huán)境如表1所示，采用PyTorch深度學(xué)習(xí)框架。將每個進(jìn)行訓(xùn)練的圖像隨機(jī)裁減為 128× 128尺寸的圖像塊，低分辨率圖像為 32×32 尺寸大小的圖像塊，由雙三次插值得到。實(shí)驗(yàn)過程中使用Adam優(yōu)化器進(jìn)行優(yōu)化，采用小批量的訓(xùn)練方式，batchsize設(shè)置為8，初始學(xué)習(xí)率設(shè)置為 1×10^-4 ，一階動量項(xiàng)設(shè)置為 β₁=0.9 ，二階動量項(xiàng)設(shè)置為 β₂=0.999，每進(jìn)行 10⁵ 次迭代，學(xué)習(xí)率衰減為原來的一半。

4.3 實(shí)驗(yàn)結(jié)果

圖6為在放大因子為4倍的情況下Bicubic[30]SRCNN、VDSR、SRGAN和Ours5種算法下的重建結(jié)果，選取了Set14數(shù)據(jù)集中的一張蝴蝶圖片如圖7所示。

通過對比圖6和圖7可知，經(jīng)過Bicubic算法處理后的重構(gòu)圖像以及其中的人臉圖和蝴蝶局部圖都呈現(xiàn)出較為模糊的效果，細(xì)節(jié)紋理不夠明顯，實(shí)驗(yàn)效果不佳。相較于Bicubic算法，SRCNN算法在圖片清晰度上略有提升，但整體視覺效果仍然較差。使用VDSR算法進(jìn)行處理，與SRCNN相比，斑馬輪廓和蝴蝶翅膀紋理的偽影有所減少，整體視覺效果有所改善，但仍存在模糊問題。進(jìn)一步觀察人臉圖、斑馬腿部輪廓圖以及蝴蝶局部圖，可以發(fā)現(xiàn)SRGAN生成的圖像在視覺效果上更為出色，邊緣偽影減少，更符合人眼感官。然而，在人臉圖中的眼睛部位和蝴蝶條紋處，仍然存在細(xì)節(jié)處理和色彩還原度不足的問題。如圖7（f所示，本文算法重建后生成的圖像能更好地還原原始高分辨率圖像，得到的圖像在清晰度、色彩表現(xiàn)和紋理細(xì)節(jié)方面相比于前幾種算法都得到了較大的提升。

在4倍放大因子下，幾種算法在不同數(shù)據(jù)集上的評價(jià)指標(biāo)PSNR和SSIM的結(jié)果如表2所示。SR-

GAN和基于SRGAN改進(jìn)后的模型（Ours）在Set5（×4） 數(shù)據(jù)集上的參數(shù)量不同，前者為1.6，后者為1.3。由表2數(shù)據(jù)可知，本文提出的算法在各個數(shù)據(jù)集上的PSNR和SSIM評價(jià)指標(biāo)表現(xiàn)均優(yōu)于其他幾種算法，與原來的SRGAN框架相比，本文算法在Set5、Set14、Bsd100和Urban100數(shù)據(jù)集上，4倍放大重建圖像的PSNR平均值提高了0.503dB，SSIM平均值提高了0.0076。

實(shí)驗(yàn)結(jié)果表明，本文提出的算法不僅有效降低了網(wǎng)絡(luò)的參數(shù)量，而且改善了重建圖像的紋理細(xì)節(jié)效果，獲得了更好的圖像質(zhì)量，與幾種現(xiàn)有的圖像超分辨方法相比，具有更好的圖像重建效果。

4.4 消融實(shí)驗(yàn)

為了證明多級殘差跳躍連接網(wǎng)絡(luò)和坐標(biāo)注意力機(jī)制對網(wǎng)絡(luò)模型重建的影響，下面對其分別進(jìn)行消融實(shí)驗(yàn)。表3為不同模塊的組合在Set5、Set14、Bsd100和Urban100數(shù)據(jù)集上放大因子為4的重建評價(jià)指標(biāo)對比。模型A表示未加人坐標(biāo)注意力模塊和多級殘差跳躍連接網(wǎng)絡(luò)；模塊B表示只加入坐標(biāo)注意力模塊；模塊C表示只加人多級殘差跳躍連接網(wǎng)絡(luò)，未加入坐標(biāo)注意力模塊；模塊D表示同時加人坐標(biāo)注意力模塊和多級殘差跳躍連接網(wǎng)絡(luò)。從表中可以得出，引入坐標(biāo)注意力模塊，PSNR和SSIM平均值分別提升了0.128dB和0.0011，引入多級殘差跳躍連接網(wǎng)絡(luò)并去除坐標(biāo)注意力模塊，PSNR和SSIM平均值分別提升了0.405dB和0.004，說明多級跳躍殘差跳躍連接網(wǎng)絡(luò)可以提升網(wǎng)絡(luò)特征提取能力，實(shí)現(xiàn)更好的重建效果。

5結(jié)語

本文為了解決現(xiàn)有的圖像超分辨重建算法在圖像紋理細(xì)節(jié)、色彩亮度等方面處理不足的問題，提出了一種基于多級殘差跳躍連接網(wǎng)絡(luò)與坐標(biāo)注意力的圖像超分辨率重建算法。引入的MRSCN能夠在增加網(wǎng)絡(luò)深度的同時，更好地表達(dá)高頻特征，有效提升了網(wǎng)絡(luò)的特征提取能力。判別模型引入PatchGAN思想，用于恢復(fù)圖像的細(xì)節(jié)并對感知損失函數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，本文所提出的算法客觀評價(jià)指標(biāo)相比于原來的SRGAN模型，PSNR平均值提高了0.503dB，SSIM平均值提高了0.0076，與其他模型相比，PSNR和SSIM也都有一定提高，并有效降低了網(wǎng)絡(luò)的參數(shù)量，同時得到的重建圖像紋理細(xì)節(jié)更清晰，圖像色彩更加生動逼真。然而，本文算法仍存在不足，重建的圖片在一些細(xì)節(jié)上和真實(shí)圖片之間仍有差距，后續(xù)可考慮從減少網(wǎng)絡(luò)層數(shù)堆疊與算法計(jì)算量兩方面進(jìn)行改進(jìn)

參考文獻(xiàn)：

[1] 倪若婷，周蓮英．基于卷積神經(jīng)網(wǎng)絡(luò)的人臉圖像超分 辨率重建方法［J]．計(jì)算機(jī)與數(shù)字工程，2022，50 （1）：195. NI Ruoting，ZHOU Lianying. Superresolution Reconstruction of Face Image Based on Convolutional Neural Network[J].Computer and Digital Engineering，2022， 50（1） ：195.

[2] 左艷，黃鋼，聶生東．深度學(xué)習(xí)在醫(yī)學(xué)影像智能處理 中的應(yīng)用與挑戰(zhàn)［J]．中國圖象圖形學(xué)報(bào)，2021，26 （2）：305. ZUO Yan，HUANG Gang，NIE Shengdong. Application and Challenge of Deep Learning in Intelligent Medical Image Processing[J]. Journal of Image and Graphics， 2021，26（2）：305.

[3] WANG Y，SHAO Z，LU T，et al. Remote Sensing Imagesuper-resolution Via Multiscale Enhancement Network [J]. IEEE Geoscience and Remote Sensing Letters， 2023，20：1.

[4] RAMESHG，LOGESHWARANJ，GOWRI J，et al. The Management and Reduction of Digital Noise in Video Imnation Scheme[J]. ICTACT Journal on Image amp; Video Processing，2022，13（1）.

[5]ZHU S， ZENG B，LIU G，et al. Image Interpolation Based on Non-local Geometric Similarities[C]//2015 IEEE International Conference on Multimedia and Expo （ICME）． IEEE，2015：1.

[6]PAPYAN V，ELAD M. Multi-scale Patch-based Image Restoration[J]. IEEE Transactions on Image Processing，2015，25（1）： 249.

[7]NAYAT U， ZIA M F， MAHMOOD S， et al. LearningBased Methods for Cyber Attacks Detection in Iot Systems：A Survey on Methods，Analysis，and Future Prospects[J].Electronics，2022，11（9）： 1502.

[8]DONG C，LOY C C，HE K，et al. Learning a Deep Convolutional Network for Image Super-resolution[C]//European Conference on Computer Vision，2014： 184.

[9]DONG C，LOY C C， TANG X. Accelerating the Superresolution Convolutional Neural Network[C]// European Conference on Computer Vision， 2016：391.

[10] KIM J，LEE J K，LEE K M. Accurate Image Superresolution Using Very Deep Convolutional Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016： 1646.

[11] SIMONYAN K， ZISSERMAN A. Very Deep Convolutional Networks for Large-scale Image Recognition[J]. arXiv Preprint arXiv，1409.1556，2014.

[12］陳彥彤，李雨陽，陳偉楠，等．基于深度語義分割的 遙感圖像海面艦船檢測研究［J]．儀器儀表學(xué)報(bào)， 2022，41（1） ： 233. CHEN Yantong，LI Yuyang，CHEN Weinan， et al. Research on Ship Detection in Remote Sensing Image Basedon Depth Semantic Segmentation[J]. Chinese Journal of Scientific Instrument，2022，41（1） ： 233.

[13]LEDIG C， THEIS L，HUSZAR F， et al. Photo-realistic Single Image Super-resolution Using a Generative Adversarial Network[C]// Proceedings of the IEEE Conference onComputerVisionandPatternRecognition， 2017 ：4681.

[14] GOODFELLOW I， POUGET-ABADIE J，MIRZA M，et al. Generative Adversarial Nets[J]. Advances in Neural Information Processing Systems，2014，2672.

[15]HOU Q，ZHOU D，F(xiàn)ENG J. Coordinate Attention for Efficient Mobile Network Design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2021： 13713.

[16]ASSENS M， GIRO-I-NIETO X，MCGUINNESS K， et al. PathGAN： Visual Scanpath Prediction with Generative Adversarial Networks[ C]// Proceedings of the European Conference on Computer Vision （ECCV）Workshops， 2018： 406.

[17]ARCHAMBAULT T， CHARANTONIS A，BEREZIAT D， et al.Sea Surface Height Super-resolution Using Highresolution Sea Surface Temperature with a Subpixel Convolutional Residual Network[J]. Environmental Data Science，2022，1：26.

[18］DUAN C，DING J，CHEN S，et al. Temporal Effective Batch Normalization in Spiking Neural Networks[J]. Advances in Neural Information Processing Systems，2022， 35： 34377.

[19］曹建芳，賈一鳴，閆敏敏，等．穩(wěn)定增強(qiáng)生成對抗網(wǎng) 絡(luò)在壁畫的超分辨率重建［J]．系統(tǒng)仿真學(xué)報(bào)，2022， 34（5） ：1076. CAO Jianfang， JIA Yiming，YAN Minmin，et al. Murals Super-resolution Reconstruction with the Stable Enhanced Generative Adversarial Network[J].Journal of System Simulation，2022，34（5） ： 1076.

[20]WEI W，F(xiàn)AN X，SONG H，et al. Video Tamper Detection Based on Multi-scale Mutual Information[J]. Multimedia Tools and Applications，2019，78：27109.

[21]HEK，ZHANGX，RENS，et al.Deep Residual Learning for Image Recognition[ C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770.

[22]HUANG G，LIU Z，VAN DER MAATEN L，et al. Densely-connected Convolutional Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern-recognition，2017 ： 4700.

[23]HU J，SHEN L， SUN G. Squeeze-and-excitation Networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 7132.

[24］盤展鴻，朱鑒，遲小羽，等．基于特征融合和注意力 機(jī)制的圖像超分辨率模型［J]．計(jì)算機(jī)應(yīng)用研究， 2022，39（3）： 5864752. PAN Zhanhong，ZHU Jian，CHI Xiaoyu，et al．Image Super-resolution Model Based on Feature Fusion and Attention Mechanism[J]. Application Research of Computers/Jisuanji Yingyong Yanjiu，2022，39（3） ： 5864752.

[25] WEI W， ZHOU B，POLAP D，et al. A Regional Adaptive Variational PDE Model for Computed Tomography Image Reconstruction［J]. Pattern Recognition，2019， 92 ：64.

[26]LIU J，HUANG H，LI R，et al. Blind Image Super-Resolution by Improved HR-Net with Fused Residual Connections[C]// 2022 4th International Conference on Communications， Information System and Computer Engineering（CISCE）. IEEE，2022：68.

[27］ZHU D，QIU D.Residual Dense Network for Medicalmagnetic Resonance Images Super-resolution[J]. Computer Methods and Programs in Biomedicine，2021，209： 106330.

[28] SHAO J， ZHUANG X，WANG Z， et al. Pixel-level Selfpaced Adversarial Network with Multiple Attention in Single Image Super-resolution[J]. Signal， Image and Video Processing，2023，17（5）：1863.

[29]MARTIND F. Adatabase of Humansegmentednaturalima Gesanditsapplicationto Evaluating Segmentation Algorithms andMeasuring Ecologicalstatistics[J]. IEEE Internation Alconference onComputerVision， 2001， 416： 423.

[30] ZHANG L，WU X. An Edge-guided Image Interpolationalgorithm Via Directional Filtering and Data Fusion[J]. IEEE Transactions on Lmage Processing，2006，15（8） ： 2226.

（編輯：溫澤宇）