融合分層特征與殘差蒸餾連接的圖像超分辨率重建

程德強(qiáng)，朱星光，寇旗旗，陳亮亮，王曉藝，趙佳敏

（1. 中國礦業(yè)大學(xué) 信息與控制工程學(xué)院, 江蘇 徐州 221116; 2. 中國礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 江蘇 徐州 221116）

在計(jì)算機(jī)視覺與圖像處理領(lǐng)域中，圖像的質(zhì)量直接影響到很多應(yīng)用的精度與效果，圖像超分辨率重建技術(shù)可以在不借助外部設(shè)備條件的情況下將低分辨率圖像轉(zhuǎn)換為高分辨率圖像，從而達(dá)到提高圖像質(zhì)量的目的，近年來逐漸成為國內(nèi)外學(xué)者的研究熱點(diǎn)。當(dāng)下圖像超分辨率重建技術(shù)已成功地應(yīng)用到各種領(lǐng)域當(dāng)中，例如最近比較熱門的人臉識(shí)別技術(shù)[1]經(jīng)常被用于學(xué)校、公司、小區(qū)的安防監(jiān)控中。除此之外，此技術(shù)同樣被成功應(yīng)用于醫(yī)療領(lǐng)域[2]、遙感影像領(lǐng)域[3-4]以及智慧礦山領(lǐng)域[5]中，具有非常廣闊的應(yīng)用前景。

目前圖像超分辨率重建技術(shù)由3 類方法組成：基于插值的方法[6]、基于重建的方法[7-8]和基于學(xué)習(xí)[9]的方法。基于插值的方法優(yōu)點(diǎn)是可以快速得到結(jié)果，但重建圖像會(huì)存在邊緣模糊的問題；基于重建的方法優(yōu)點(diǎn)在于計(jì)算量少，但在重建過程中會(huì)忽略掉圖像的高頻細(xì)節(jié)信息，從而導(dǎo)致重建圖片不真實(shí)。

相比較而言，基于學(xué)習(xí)的方法可以提取到更豐富、更具體的圖像細(xì)節(jié)信息，圖像重建效果明顯優(yōu)于傳統(tǒng)插值和重建方法，其主要通過早期的淺層機(jī)器學(xué)習(xí)與當(dāng)下常用的深度學(xué)習(xí)來完成圖像超分辨率重建任務(wù)。例如Yang 等[10]提出基于稀疏編碼理論的重建方法, 該方法主要通過圖像的稀疏表示學(xué)習(xí)獲得高分辨率字典與低分辨率字典，并根據(jù)高低分辨率圖像之間的映射關(guān)系成功對(duì)圖像進(jìn)行了重建。

Dong 等[11]首次將深度學(xué)習(xí)帶入到圖像超分辨率重建領(lǐng)域當(dāng)中，提出了SRCNN（super resolution convolutional neural network）網(wǎng)絡(luò)模型，但是SRCNN 網(wǎng)絡(luò)具有明顯的局限性，其只適用于3 層網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)圖像超分辨率重建的尺度因子為4 倍以上時(shí)，SRCNN 模型重建速度較慢且重建出的圖像視覺效果較差；之后Dong 等[12]針對(duì)SRCNN 網(wǎng)絡(luò)訓(xùn)練速度慢、重建效率低的缺點(diǎn)，在SRCNN 的基礎(chǔ)上進(jìn)而提出了FSRCNN（fast superresolution convolutional neural network）網(wǎng)絡(luò)模型，通過在網(wǎng)絡(luò)結(jié)構(gòu)中引入可以改變特征圖維度的反卷積層，實(shí)現(xiàn)了加速模型訓(xùn)練效率的目的；同年Shi 等[13]提出ESPCN（efficient sub-pixel convolutional neural network）模型，實(shí)現(xiàn)了在網(wǎng)絡(luò)中對(duì)圖像進(jìn)行縮放的目的，但當(dāng)網(wǎng)絡(luò)深度較大時(shí)，訓(xùn)練難度會(huì)增大且重建效果不佳；接著，He 等[14]提出了殘差網(wǎng)絡(luò)ResNet（residual network），用來解決網(wǎng)絡(luò)深度較大時(shí)訓(xùn)練困難的問題，Kim 等[15]首次將殘差網(wǎng)絡(luò)的思想應(yīng)用于圖像超分辨率領(lǐng)域，提出了VDSR（very deep convolution networks for super-resolution）模型，該模型將網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)從3 層增加到20 層，并且證明了殘差結(jié)構(gòu)的確可以有效提升模型的重建性能；Lim 等[16]提出了EDSR（enhanced deep super-resolution network）網(wǎng)絡(luò)簡(jiǎn)化了殘差連接結(jié)構(gòu)，并意識(shí)到了殘差結(jié)構(gòu)的局限性，加入了新的批歸一化層[17]作為非線性映射層的堆疊模塊，從而使EDSR 成功構(gòu)建出更深的網(wǎng)絡(luò)結(jié)構(gòu)，提高了網(wǎng)絡(luò)的整體性能。

隨后Zhang 等[18]在EDSR 網(wǎng)絡(luò)的基礎(chǔ)上提出了基于RIR（residual in residual）結(jié)構(gòu)的RCAN（residual channel attention networks）網(wǎng)絡(luò)模型，其通過引入注意力機(jī)制對(duì)圖像中各部分的特征信息進(jìn)行分類，關(guān)注更加有用的特征信息，提高了網(wǎng)絡(luò)對(duì)于關(guān)鍵特征獲取的效率；隨后Zhang 等[19]繼續(xù)在深層殘差網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行思考，利用密集連接將各層級(jí)之間的特征信息進(jìn)行充分融合，提出了殘差密集網(wǎng)絡(luò)RDN（residual dense network）結(jié)構(gòu)，得到了更好的圖像重建效果。之后Chen 等[20]在殘差密集網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，加深網(wǎng)絡(luò)結(jié)構(gòu)的深度的同時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行內(nèi)容導(dǎo)向化，實(shí)現(xiàn)圖像超分辨率重建。程德強(qiáng)等[21]利用殘差網(wǎng)絡(luò)提出多通道遞歸殘差網(wǎng)絡(luò)的圖像超分辨率重建，將不同層次間的特征信息進(jìn)行跨尺度融合，改變傳統(tǒng)跳躍連接得到了更好的圖像重建效果。

近期Haris 等[22]利用迭代反投影法，有效挖掘圖像特征的先驗(yàn)信息，在8 倍尺度因子下的超分辨率重建中取得了優(yōu)異的效果。Purohit 等[23]提出了一種從混合網(wǎng)絡(luò)派生而來的混合密度連接網(wǎng)路，以最大程度地提高超分辨率網(wǎng)絡(luò)的效率，并從殘余和密集連接中受益。Faramarzi 等[24]將圖像像素信息抽象成空間域的數(shù)值信號(hào)，利用傅里葉變換將信號(hào)轉(zhuǎn)換成頻域，對(duì)頻率雜亂的噪聲進(jìn)行濾波處理，然后再逆變換生成重建圖像，這樣即可達(dá)到去除圖像噪聲的效果。Ahn 等[25]利用層組的跳轉(zhuǎn)連接在處理殘差數(shù)據(jù)時(shí)將神經(jīng)網(wǎng)絡(luò)層劃分為多個(gè)層組，使得隱藏層單元中的處理數(shù)據(jù)分布范圍更廣，有利于輸入數(shù)據(jù)的特征信息能更穩(wěn)健地傳輸?shù)捷敵觥?/p>

研究人員不斷地在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上對(duì)模型進(jìn)行改進(jìn)與創(chuàng)新，使重建出的圖像呈現(xiàn)出更好的效果。雖然以上算法對(duì)于圖像超分辨率重建具有較好的重建性能，但大部分算法仍然存在以下問題：

1）諸多超分辨率重建算法都只采用單一通道的網(wǎng)絡(luò)結(jié)構(gòu)，圖像特征信息在傳輸過程中極易丟失，使模型無法充分利用網(wǎng)絡(luò)所提取到的特征信息，導(dǎo)致模型的重建性能下降。

2）諸多超分辨率重建算法通過不斷堆疊卷積塊的方式來提升模型對(duì)特征信息的獲取能力，但是該方式會(huì)使模型無差別地對(duì)待圖像特征信息，無法對(duì)圖像關(guān)鍵特征信息進(jìn)行有效提取，并且隨著網(wǎng)絡(luò)深度的加深容易出現(xiàn)高頻細(xì)節(jié)信息丟失的問題，導(dǎo)致模型重建性能下降。

針對(duì)上述問題，本文提出一種融合分層特征與殘差蒸餾連接的超分辨率重建模型，本模型首先設(shè)計(jì)了一種將分層特征融合與殘差連接相結(jié)合的連接方式，將圖像的深層特征與淺層特征進(jìn)行充分融合，大幅度提高了模型對(duì)于圖像特征信息的利用率，并且殘差連接的存在可以大大降低網(wǎng)絡(luò)模型的訓(xùn)練難度，有效防止了梯度爆炸、梯度消失、模型退化等問題的出現(xiàn)；其次提出了一種基于增強(qiáng)空間注意力機(jī)制的殘差蒸餾模塊，通過在殘差塊中融入增強(qiáng)空間注意力機(jī)制，分別對(duì)不同空間的特征信息賦予不同的權(quán)重，使模型在訓(xùn)練過程中可以更高效地關(guān)注權(quán)重較高的圖像特征信息，加強(qiáng)了模型對(duì)于圖像關(guān)鍵特征信息的獲取能力，同時(shí)減少了圖像細(xì)節(jié)特征信息在殘差塊中的損失，解決了圖像重建后邊緣模糊的問題，使重建后的圖像細(xì)節(jié)信息更加完善，效果更加清晰。

1 本文方法

1.1 本文整體網(wǎng)絡(luò)結(jié)構(gòu)

為了提高圖像的特征信息在網(wǎng)絡(luò)中的傳遞與提取，同時(shí)為了滿足圖像超分辨率重建任務(wù)的需求，本文對(duì)U-Net 結(jié)構(gòu)進(jìn)行改進(jìn)與創(chuàng)新。首先改進(jìn)U-Net 網(wǎng)絡(luò)的下采樣結(jié)構(gòu)，本文模型去除最大池化層，不再改變特征圖尺寸的大小，最大程度減少圖像分辨率的丟失，只擴(kuò)大提取圖像特征圖的通道數(shù)；其次為了降低模型的訓(xùn)練難度，本文不再使用原U-Net 網(wǎng)絡(luò)的5 層結(jié)構(gòu)，只使用3 層結(jié)構(gòu)，即對(duì)特征圖通道數(shù)只進(jìn)行兩次擴(kuò)張，每一次擴(kuò)張都會(huì)使本層特征圖的通道數(shù)擴(kuò)大為上一層的2 倍；然后在U-Net 上采樣操作中引入殘差蒸餾注意力模塊對(duì)提取到的特征圖進(jìn)行關(guān)鍵特征提取并對(duì)其進(jìn)行優(yōu)化處理；最后通過殘差學(xué)習(xí)與特征融合結(jié)合的方式，利用特征融合操作使深層特征與淺層特征充分融合，利用殘差連接防止梯度爆炸、梯度消失、模型退化等問題的出現(xiàn)，以此來確保獲取到的圖像特征信息被充分利用，最終獲得一個(gè)整體3 層的網(wǎng)絡(luò)結(jié)構(gòu)，如圖1 所示。

圖1 融合分層特征U 型網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Fused hierarchical feature U-shaped network structure

首先向網(wǎng)絡(luò)輸入通道數(shù)為3 的低分辨率RGB圖像，初始卷積由64 個(gè)3×3 大小的卷積核與ReLU函數(shù)組成，目的是為了將RGB 三通道的低分辨率圖像轉(zhuǎn)換成通道數(shù)為64 的特征圖F0，接著進(jìn)入向下卷積模塊中，此模塊由128 個(gè)3×3 大小的卷積核與ReLU 函數(shù)組成，目的是為了在向下卷積的過程中將通道數(shù)擴(kuò)大為原來的2 倍得到新的特征圖F1(128 層)。同樣地，第2 層向下卷積操作通過由256 個(gè)3×3 大小的卷積核與ReLU 函數(shù)組成的卷積塊將特征圖F1擴(kuò)大為2 倍，生成新的特征圖F2(256 層)。具體運(yùn)算如下：

其中fc(convolution block)表示向下卷積塊操作，卷積塊由不同數(shù)量的卷積核與ReLU 函數(shù)組成，其作用是在擴(kuò)大圖像特征通道數(shù)的同時(shí)增強(qiáng)模型的非線性能力。之后將卷積塊特征提取操作得到的特征圖F2送入特征圖融合重建路徑中的殘差特征蒸餾注意力模塊(residual feature fusion attention distillation block, RFAB)中進(jìn)行特征提取。本文模型中，每層RFAB 模塊數(shù)量設(shè)置為4，RFAB 模塊的輸出將繼續(xù)經(jīng)過一個(gè)擁有128 個(gè)卷積核大小3×3 的卷積層將特征圖F2(256 層)融合為128 層的特征圖具體運(yùn)算如下：

式中：f3×3為3×3 卷積層處理特征通道數(shù)的操作，fRFAB為特征圖通過RFAB 模塊的操作。此時(shí)的通道數(shù)與F1相同，方便進(jìn)行特征拼接。為了提高特征圖的利用率，本文模型將通過U 型網(wǎng)絡(luò)對(duì)稱的特點(diǎn)將F1′與F1進(jìn)行特征融合得到F，此時(shí)特征通道數(shù)為兩者之和128 層，同時(shí)利用殘差學(xué)習(xí)的特點(diǎn)，將深層特征F2輸入到融合層之中，與淺層特征進(jìn)行拼接得到這樣可以使網(wǎng)絡(luò)充分地對(duì)深層特征與淺層特征進(jìn)行融合，獲得細(xì)節(jié)特征更具體的特征圖。具體運(yùn)算如下：

式中：F0為低分辨率圖像最開始經(jīng)過卷積處理后的粗特征圖，fPS為亞像素卷積方法中的像素重排操作。重排之后的圖像經(jīng)過3×3 的卷積層將圖像通道數(shù)還原為通道數(shù)為3 的RGB 圖像，得到重建后的圖像為FSR。

其中F1與F2的特征圖通道數(shù)量是F0的2 倍和4 倍，分別為128 層與256 層，與的特征圖通道數(shù)量與F1和F0相同，分別為128 層與64 層；圖中第一層特征融合層中的為F1與融合得到，特征通道數(shù)為256 層，F(xiàn)1′2為F1′1與F2融合得到，特征通道數(shù)為512 層；第二層特征融合層中的為F0與融合得到，特征通道數(shù)為128 層，為與融合得到，特征通道數(shù)為256 層，具體模型中每一功能模塊的輸入輸出特征通道數(shù)如表1 所示。

表1 各功能模塊輸入與輸出通道數(shù)Table 1 Input and output channels of each function module

1.2 殘差蒸餾注意力模塊

在CNN 網(wǎng)絡(luò)中，輸入進(jìn)網(wǎng)絡(luò)的是圖片最基本的特征，網(wǎng)絡(luò)通過卷積層來對(duì)圖像的特征信息進(jìn)行提取，但是過多的卷積層會(huì)導(dǎo)致圖細(xì)節(jié)特征信息的丟失，最終導(dǎo)致重建效果不佳，本文所引用的殘差特征蒸餾連接，是在殘差連接的基礎(chǔ)上進(jìn)行改進(jìn)，可以在防止梯度消失的同時(shí)，提高網(wǎng)絡(luò)的運(yùn)算效率，并且對(duì)殘差塊所引起的圖像細(xì)節(jié)特征丟失進(jìn)行補(bǔ)償。2020 年，Liu 等[26]提出了一種更靈活更快速的殘差蒸餾連接方式，信息蒸餾操作是通過卷積以一定比例壓縮特征通道來實(shí)現(xiàn)的，來達(dá)到降低網(wǎng)絡(luò)訓(xùn)練難度的目的。本文所改進(jìn)后的殘差蒸餾注意力模塊，在殘差蒸餾連接的基礎(chǔ)上，增加了創(chuàng)新的增強(qiáng)空間注意力模塊(enhanced spatial attention block, ESAB)，在引入空間注意力機(jī)制之后，可以使模型在訓(xùn)練過程中獲得更大的感受野，更好地根據(jù)空間上下文內(nèi)容自適應(yīng)地重新分配特征信息，從而著重關(guān)注到關(guān)鍵特征信息，使重建出的圖像細(xì)節(jié)信息更加豐富，邊緣信息更加清晰。此模塊的引入可以保證網(wǎng)絡(luò)能夠有效地學(xué)習(xí)更高級(jí)復(fù)雜地圖像特征，得到區(qū)域相關(guān)性更強(qiáng)的注意力特征圖，有利于提升圖像超分辨率重建質(zhì)量。

圖2 給出了殘差蒸餾注意力模塊（residual feature fusion attention distillation block, RFAB）的整體結(jié)構(gòu)，它包含一個(gè)3×3 的卷積核、一個(gè)恒等連接分支以及一個(gè)激活單元，ESAB 在不引入額外參數(shù)的情況下，還可以從殘差學(xué)習(xí)中獲益。RFAB模塊首先采用通道分離操作將輸入特征圖分為兩部分，一部分特征圖通過1×1 的卷積進(jìn)行降維處理并進(jìn)行保留，另一部分則作為新的輸入融入到下個(gè)階段的蒸餾步驟中。ESAB 是構(gòu)成RFAB 的基礎(chǔ)殘差模塊，ESA(enhanced feature attention)是結(jié)構(gòu)中引進(jìn)的增強(qiáng)空間注意力模塊，具體結(jié)構(gòu)均在圖2 中標(biāo)出。

圖2 殘差蒸餾注意力模塊Fig. 2 Residual feature fusion attention distillation block

然后將各層蒸餾特征操作后保留的特征圖進(jìn)行特征融合，融合后的特征圖送入增強(qiáng)注意力模塊得到最后的輸出特征圖。其具體運(yùn)算可以表示為

其中：Fdis_i(i=1,2,3,4)為每一層蒸餾操作，fESA為增強(qiáng)空間注意力機(jī)制，fc為卷積層操作，Hconcat為特征融合操作。

首先，對(duì)輸入使用1×1 的卷積組進(jìn)行通道數(shù)的降維操作，為了使注意力區(qū)域更好地完成圖像重建目標(biāo)，需要擴(kuò)大感受野的范圍，所以在降維后再通過stride 為2 的卷積、2×2 的最大池化層以及卷積組來達(dá)到目的，其中卷積組是由7×7的最大池化層和stride 為3 的卷積組成。此時(shí)輸出的特征經(jīng)過上采樣得到和輸入尺寸大小相等的特征，經(jīng)過跳躍鏈接后的特征進(jìn)行1×1 卷積和Sigmoid 函數(shù)，與輸入點(diǎn)乘，得到ESA 的輸出特征。此結(jié)構(gòu)保證了圖像中較為平滑的低頻信息在網(wǎng)絡(luò)中可以有效地傳遞，還可以利用注意力機(jī)制對(duì)高頻信息進(jìn)行高效的學(xué)習(xí)，也保證了網(wǎng)絡(luò)的訓(xùn)練效率，有利于提高輸出圖像的重建效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)相關(guān)準(zhǔn)備

本實(shí)驗(yàn)訓(xùn)練測(cè)試的硬件環(huán)境為：Intel(R)Core(TM) i9-10980XE CPU@3. 00 GHz，18 核36 線程；系統(tǒng)內(nèi)存為64 GB；顯卡為NVIDIA RTX 3090，24 GB 顯存容量。軟件環(huán)境為：Ubuntu20.04 系統(tǒng)；Pytorch1.8 深度學(xué)習(xí)框架；cuda11.4 加速學(xué)習(xí)；編程語言為Python3.7。網(wǎng)絡(luò)迭代訓(xùn)練500 次，初始學(xué)習(xí)率設(shè)置為0.000 1，當(dāng)網(wǎng)絡(luò)訓(xùn)練次數(shù)達(dá)到300次時(shí)，學(xué)習(xí)率減半，優(yōu)化方法采用自適應(yīng)矩估計(jì)(adaptive momentum estimation，Adam)優(yōu)化器，其參數(shù)β1=0.9，β2=0.99。損失函數(shù)采用L1 損失函數(shù)。

2.2 實(shí)驗(yàn)數(shù)據(jù)集與性能評(píng)價(jià)指標(biāo)

本文采用的訓(xùn)練數(shù)據(jù)集為公開數(shù)據(jù)集DIV2K，該數(shù)據(jù)集提供了1 000 張不同場(chǎng)景下不同分辨率的圖片。通過雙三次插值下采樣得到輸入的低分辨率(low resolution, LR) 圖像，尺度因子分別為×4 與×8。測(cè)試集上，本文選用Set5[27]、Set14[28]、B100[29]以及Urban100[30]這4 種經(jīng)典數(shù)據(jù)集作為測(cè)試集。

本文在測(cè)試集上的對(duì)比實(shí)驗(yàn)，首先選用峰值信噪比(peak signal to noise ratio, PSNR)來作為客觀評(píng)價(jià)指標(biāo)，PSNR 指標(biāo)值的大小與圖像的質(zhì)量成正比，實(shí)驗(yàn)所得到的值越大，其代表的圖像質(zhì)量就越高，單位為dB；其次本文將選用結(jié)構(gòu)相似度(structural similarity, SSIM)對(duì)圖像質(zhì)量進(jìn)行二次評(píng)價(jià)，SSIM 指標(biāo)與PSNR 值經(jīng)常搭配在一起使用，其值越大，代表所對(duì)應(yīng)圖像質(zhì)量也就越高，并且值越接近1，說明重建后的圖像與原高清圖像越相似。

2.3 實(shí)驗(yàn)對(duì)比模型選取

為了驗(yàn)證本文算法在圖像超分辨率重建任務(wù)中的有效性，在實(shí)驗(yàn)中，對(duì)比模型采用雙三次插值法Bicubic、SRCNN、EDSR、RCAN、DBPN（deep back-projection networks）、CSNLN（cross-scale nonlocal attention networks）[31]、NLSN（non-local sparse attention networks）[32]以及EFDN（edge-enhanced feature distillation network）網(wǎng)絡(luò)模型[33]進(jìn)行對(duì)比，本文所選用的對(duì)比模型在圖像超分辨率重建領(lǐng)域中具有一定的代表性，所運(yùn)用到的技術(shù)對(duì)本文算法有一定的啟示作用。

其中，Bicubic 是傳統(tǒng)插值中最具代表性的經(jīng)典算法；SRCNN 網(wǎng)絡(luò)是在圖像超分辨率重建領(lǐng)域中首次將深度學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)作為研究基礎(chǔ)的算法模型，在圖像超分辨率重建領(lǐng)域中具有開創(chuàng)性的意義；EDSR 網(wǎng)絡(luò)是在VDSR 的基礎(chǔ)上優(yōu)化的深度殘差網(wǎng)絡(luò)；RCAN 網(wǎng)絡(luò)是首次在殘差塊的基礎(chǔ)上引入RIR 結(jié)構(gòu)并利用注意力機(jī)制對(duì)圖像特征信息進(jìn)行選擇獲取的網(wǎng)絡(luò)；DBPN 網(wǎng)絡(luò)則是在上采樣的過程中進(jìn)行創(chuàng)新迭代，在8 倍模型上取得了比以往模型更好的重建效果；CSNLN網(wǎng)絡(luò)則是在RCAN 的基礎(chǔ)上，探索了不同尺度間的特征信息，將不同尺度間的特征信息進(jìn)行部分融合，獲得了更好的重建效果；NLSN 網(wǎng)絡(luò)將非局部的自注意力機(jī)制與稀疏表示相結(jié)合，對(duì)特征信息進(jìn)行分組，使自相關(guān)更加精確；EFDN 網(wǎng)絡(luò)中構(gòu)建了一種更加精細(xì)和有效的重參數(shù)化模塊，通過堆疊更多的邊緣增強(qiáng)模塊，來獲取更多高級(jí)結(jié)構(gòu)信息。通過上述對(duì)比模型與本文模型進(jìn)行對(duì)比實(shí)驗(yàn)，可以更好地對(duì)本文模型的重建性能進(jìn)行評(píng)估。

2.4 模型性能對(duì)比

為了具體地說明本文模型在重建任務(wù)中所帶來的性能提升，下面將通過兩種角度來對(duì)本文模型進(jìn)行分析。首先從客觀評(píng)價(jià)指標(biāo)的角度上，通過重建后的圖像與原始圖像計(jì)算得出的PSNR 值與SSIM 值來評(píng)價(jià)本文模型的重建性能；其次從人體主觀視覺效果角度出發(fā)，將本文模型重建出的圖像與對(duì)比模型重建出的圖像進(jìn)行觀察對(duì)比，比較重建圖像的完整度與清晰度。

2.4.1 不同模型客觀評(píng)價(jià)指標(biāo)對(duì)比

在實(shí)驗(yàn)測(cè)試集上，本文選用4 種完全不同的測(cè)試集分別在×4、×8 兩種尺度因子進(jìn)行測(cè)試，對(duì)比模型選用上文所介紹的8 種代表模型，實(shí)驗(yàn)所得出的PSNR 與SSIM 兩種客觀評(píng)價(jià)指標(biāo)數(shù)據(jù)如表2、3 所示，其中下劃數(shù)值為次優(yōu)結(jié)果，加粗?jǐn)?shù)值為最優(yōu)結(jié)果。

表2 不同算法模型在4 種測(cè)試集上的PSNR 指標(biāo)對(duì)比Table 2 Comparison of PSNR metrics of different algorithmic models on four test setsdB

表3 不同算法模型在4 種測(cè)試集上的SSIM 指標(biāo)對(duì)比Table 3 Comparison of SSIM metrics of different algorithmic models on four test sets

從表2～3 的數(shù)據(jù)可以看出，本文模型在4 種不同測(cè)試集上呈現(xiàn)出比其他對(duì)比模型更優(yōu)異的客觀評(píng)價(jià)指標(biāo)，PSNR 值與SSIM 值均有所提高。以Set14 測(cè)試集為例，將本文網(wǎng)絡(luò)分別8 種對(duì)比模型進(jìn)行客觀評(píng)價(jià)指標(biāo)對(duì)比，可以得出在尺度×4 時(shí)，本文模型PSNR 值提高了3.06、2.84、0.28、0.17、0.29、0.07、0.04、0.02 dB，SSIM 結(jié)構(gòu)相似度則分別提高了0.169 8、0.082 5、0.005 5、0.001 1、0.007 1、0.000 9、0.000 4、0.000 2；在尺度×8 時(shí), PSNR 值分別提高了2.12、1.86、0.29、0.15、0.13、0.09、0.07、0.05 dB, SSIM 結(jié)構(gòu)相似度則分別提高了0.084 6、0.054 7、0.011 3、0.003 7、0.001 8、0.000 5、0.000 3。說明本文模型基于在模型結(jié)構(gòu)上的改進(jìn)與創(chuàng)新分別在×4、×8 兩種尺度因子上均表現(xiàn)出比其他對(duì)比模型更優(yōu)秀的重建性能。

為更加具體地驗(yàn)證本文模型對(duì)于單幅低分辨率圖像的重建性能，本文將對(duì)Set5 數(shù)據(jù)集中的5 幅圖像單獨(dú)進(jìn)行尺度因子為×4 的超分辨率重建，每幅圖像兩種客觀評(píng)價(jià)指標(biāo)值如表4、5 所示，其中下劃數(shù)值為次優(yōu)結(jié)果，加粗?jǐn)?shù)值為最優(yōu)結(jié)果。

表4 不同算法模型在Set5 上的PSNR 指標(biāo)對(duì)比Table 4 Comparison of PSNR metrics of different algorithmic models on Set5dB

表5 不同算法模型在Set5 上的SSIM 指標(biāo)對(duì)比Table 5 Comparison of SSIM metrics of different algorithmic models on Set5

從表4～5 中可以看出，在Set5 中的5 幅圖像上本文模型相對(duì)于其他對(duì)比模型客觀評(píng)價(jià)指標(biāo)上都得到了有效提升，其中PSNR 均值分別提升了4.34、3.42、0.50、0.19、0.36、0.10、0.03、0.01 dB；SSIM均值相對(duì)于其他模型分別提升了0.101 8、0. 0676、0.006 0、0.005 5、0.000 9、0.003 0、0.000 2、0.000 1。可以看出，本文模型在對(duì)Set5 的5 幅圖像進(jìn)行單獨(dú)重建時(shí)，均表現(xiàn)出相對(duì)于對(duì)比模型更加優(yōu)秀的客觀評(píng)價(jià)指標(biāo)。充分說明了本文模型對(duì)于測(cè)試集中的每一幅圖像的超分辨率重建均展現(xiàn)出較好的重建性能。

綜上所述，本文模型在4 種測(cè)試集上均表現(xiàn)出比8 種對(duì)比模型更優(yōu)異的客觀評(píng)價(jià)指標(biāo)，其主要?dú)w功于本文模型對(duì)U 型網(wǎng)絡(luò)結(jié)構(gòu)上的改進(jìn)與創(chuàng)新，通過特征融合層圖像淺層特征信息與深層特征信息進(jìn)行充分融合，提升模型對(duì)于特征信息的利用率；并在模型整體外側(cè)加入殘差連接對(duì)模型進(jìn)行優(yōu)化調(diào)整，防止模型性能退化與梯度爆炸問題的出現(xiàn)，使模型可以更好地進(jìn)行訓(xùn)練；以及本文模型在重建路徑中創(chuàng)新并引入的的RFAB 模塊可以在重建過程中利用增強(qiáng)空間注意力機(jī)制提取到更多的圖像關(guān)鍵特征信息。基于以上3 點(diǎn)，本文模型在客觀評(píng)價(jià)指標(biāo)上呈現(xiàn)出相對(duì)與對(duì)比模型更加優(yōu)秀的結(jié)果。

2.4.2 不同模型主觀視覺效果對(duì)比

在對(duì)模型進(jìn)行客觀評(píng)價(jià)指標(biāo)定性對(duì)比之外，本文還將通過人體主觀視覺效果的角度分別在4 種測(cè)試集中選取一張圖像進(jìn)行主觀視覺效果對(duì)比。在重建效果圖中，為了更好地展示出本文模型對(duì)細(xì)節(jié)特征的恢復(fù)能力，本文對(duì)重建圖像的局部放大圖進(jìn)行對(duì)比。左側(cè)部分為HR(high resolution)高清圖像，圖像中紅框部分為圖像局部區(qū)域放大圖，右側(cè)部分分別展示不同對(duì)比模型以及本文模型對(duì)于該圖像的重建效果圖。

圖3 給出了不同模型對(duì)測(cè)試集Set5 中圖像baby.png 在尺度為×4 時(shí)的重建效果對(duì)比，方框部分為局部放大圖，可以看出本文算法重建出的圖像更加清晰。具體地，Bicubic、SRCNN 只能重建出眼部大概的輪廓；EDSR、RCAN、CSNLN、NLSN模型通過引入不同的注意力機(jī)制，使得模型的重建圖像的細(xì)節(jié)部分得到了部分恢復(fù)，但依然不夠清晰；EFDN 模型重建出的圖像對(duì)細(xì)節(jié)特征處理得較好，但仍存在邊緣模糊的現(xiàn)象；本文模型重建出的圖像對(duì)圖像細(xì)節(jié)特征掌握的更加充分，睫毛部分更加清晰，更加接近于左側(cè)HR 圖像呈現(xiàn)出的效果。

圖3 不同算法對(duì)Set5 中baby.png 在尺度為×4 時(shí)的重建效果對(duì)比Fig. 3 Contrast of reconstruction effects of various algorithms on baby.png in Set5(×4)

圖4 給出了不同模型對(duì)測(cè)試集B100 中的圖像86000.png 在尺度為×4 時(shí)的重建效果對(duì)比，紅框部分為局部放大圖，可以看出本文算法的重建圖像更加清晰。具體地，Bicubic、SRCNN 以及EDSR 3 種模型重建出的圖像出現(xiàn)了偽影現(xiàn)象；而DBPN、RCAN、CSNLN、NLSN 模型重建出的圖像視覺效果比較模糊；EFDN 模型重建出的圖像在邊緣部分仍存在少量殘影，而本文模型重建出的圖像在邊緣信息上基本還原了外立面的像素排列方式，重建效果比較理想，更接近于左側(cè)HR 圖像呈現(xiàn)出的效果。

圖4 不同算法對(duì)B100 中86000.png 在尺度為×4 時(shí)重建效果對(duì)比Fig. 4 Contrast of reconstruction effects of various algorithms on 86000.png in B100(×4)

圖5 給出了不同模型對(duì)測(cè)試集Set14 中的圖像ppt3.png 在尺度為×8 時(shí)的重建效果對(duì)比，紅框部分為局部放大圖，可以看出本文算法重建出的圖像更加清晰。對(duì)比模型中，前6 種模型在重建后的放大圖左側(cè)區(qū)域均出現(xiàn)了黃色邊緣偽影現(xiàn)象；NLSN 模型重建圖像的數(shù)字部分“2002”比較模糊；而EFDN 與本文模型重建出的圖像消除了偽影部分，重建圖像更加清晰，更貼近于左側(cè)HR 圖像呈現(xiàn)出的效果。

圖5 不同算法對(duì)Set14 中ppt3.png 在尺度為×8 時(shí)重建效果對(duì)比Fig. 5 Contrast of reconstruction effects of various algorithms on ppt3.png in Set14(×8)

圖6 給出了不同模型對(duì)測(cè)試集Urban100 中的圖像img062.png 在尺度為×8 時(shí)的重建效果對(duì)比，紅框部分為局部放大圖，可以看出本文模型重建出的圖像對(duì)更加清晰，8 種對(duì)比模型重建圖像的窗框部分細(xì)節(jié)特征恢復(fù)不夠理想；而本文模型相對(duì)于對(duì)比模型，不僅恢復(fù)了圖像的整體結(jié)構(gòu)，而且圖像的邊緣信息與細(xì)節(jié)信息得到了更好的恢復(fù)，重建效果相對(duì)比較理想，更貼近于左側(cè)HR 圖像呈現(xiàn)出的效果。

圖6 不同算法對(duì)Urban100 中img062.png 在尺度為×8 時(shí)重建效果對(duì)比Fig. 6 Contrast of effects of various algorithms on img062.png in Urban100(×8)

以上4 張圖片分別展示了不同模型在×4與×8 兩種尺度因子的重建效果，通過對(duì)比可知本文模型基于結(jié)構(gòu)上的改進(jìn)與創(chuàng)新使重建圖像的細(xì)節(jié)信息更加豐富，呈現(xiàn)出更好的主觀視覺效果。

2.5 本文模型消融實(shí)驗(yàn)

2.5.1 不同組合的RFAB 模塊對(duì)模型重建性能的影響

本文模型的重建路徑由兩組殘差蒸餾注意力模塊構(gòu)成，每一組包含4 個(gè)RFAB 模塊，為了說明本文選取的兩組殘差蒸餾注意力組對(duì)于模型重建性能的提升，接下來以4 倍尺度下的Set14 測(cè)試集為例，分別對(duì)含有不同組合方式的RFAB 模塊的模型進(jìn)行測(cè)試，表6 中G 代表組數(shù)，B 代表每組中的RFAB 模塊數(shù)量，例如G2B1 代表本文模型由兩組RFAB 模塊組成，每組中含有一個(gè)RFAB模塊，實(shí)驗(yàn)結(jié)果如表6 所示，其中下劃數(shù)值為次優(yōu)結(jié)果，加粗?jǐn)?shù)值為最優(yōu)結(jié)果。

表6 含有不同數(shù)量RFAB 模塊的模型的客觀評(píng)價(jià)指標(biāo)Table 6 Objective evaluation index of models with different number of RFAB modules

從表6 可以看出本文模型（G2B4 組合）呈現(xiàn)出的PSNR 值分別比G0B0、G2B1、G2B2、G2B3提升了2.89、1.40、0.58、0.06 dB；SSIM值分別提高了0.090 8、0.048 8、0.013 3、0.001 4。當(dāng)RFAB 模塊組合方式為G2B5 時(shí)，其經(jīng)過測(cè)試后呈現(xiàn)出的PSNR 值雖然比本文模型提升了0.03 dB，但結(jié)構(gòu)相似度SSIM 指標(biāo)卻降低了0.000 2，為了更方便地說明由不同數(shù)量的RFAB 模塊組成的模型PSNR 值與SSIM 值之間的關(guān)系，可以通過坐標(biāo)圖7來進(jìn)行進(jìn)一步分析。

圖7 不同數(shù)量的RFAB 模型客觀評(píng)價(jià)指標(biāo)關(guān)系Fig. 7 Relationship diagram of objective evaluation indexes of different numbers of RFAB

當(dāng)重建模塊沒有嵌入RFAB 模塊時(shí)，本文模型在Set14 數(shù)據(jù)集上所表現(xiàn)出的兩種客觀評(píng)價(jià)指標(biāo)均為最低值，當(dāng)RFAB 模塊組合方式為G2B1、G2B2、G2B3、G2B4（本文模型）時(shí)，其測(cè)試出的PSNR 值與SSIM 值均穩(wěn)步遞增。當(dāng)RFAB 模塊組合方式為G2B5 組時(shí)，其呈現(xiàn)出的PSNR 值雖然比本文模型的組合方式G2B4 略高一些，但其結(jié)構(gòu)相似度SSIM 指標(biāo)反而出現(xiàn)了逆增長現(xiàn)象，說明當(dāng)RFAB 模塊達(dá)到8 個(gè)以上時(shí)，模型性能已趨于飽和，此時(shí)，如果繼續(xù)堆疊RFAB 模塊，會(huì)大大增加網(wǎng)絡(luò)整體的訓(xùn)練難度，而且模型的重建性能也不會(huì)得到有效提升，所以本文選用R2B4 的組合方式嵌入到重建路徑中基本可以達(dá)到本文模型的最佳性能。

2.5.2 不同組合的連接方式對(duì)模型性能的影響

本文模型由兩層深層特征融合層與一層淺層殘差連接組成，以Urban100 測(cè)試集為例，在尺度因子為×4 的基礎(chǔ)上，本文將分別對(duì)不同組合方式進(jìn)行對(duì)比實(shí)驗(yàn)，下表中本文模型第1 層特征融合層簡(jiǎn)稱為融合層A，第2 層特征融合層簡(jiǎn)稱融合層B，實(shí)驗(yàn)結(jié)果如表7 所示，其中下劃數(shù)值為次優(yōu)結(jié)果，加粗?jǐn)?shù)值為最優(yōu)結(jié)果。

表7 含有不同組合方式的模型在Urban100(×4)表現(xiàn)出的客觀評(píng)價(jià)指標(biāo)Table 7 Objective evaluation indexes of models with different combinations in Urban100(×4)

從客觀評(píng)級(jí)指標(biāo)的角度出發(fā)，當(dāng)模型只擁有特征融合層A 或者特征融合層B 時(shí)，其表現(xiàn)出的客觀評(píng)價(jià)指標(biāo)不夠理想，因?yàn)槟Ｐ瞳@取的特征圖較少；當(dāng)分別在融合層A、融合層B 添加殘差連接之后，模型表現(xiàn)出的客觀評(píng)價(jià)指標(biāo)均有明顯提升，殘差連接使模型更好地進(jìn)行訓(xùn)練，防止了一些邊緣信息的丟失；當(dāng)融合層A 與融合層B 組合時(shí)，其表現(xiàn)出的客觀評(píng)價(jià)指標(biāo)并無明顯增長，這是由于在對(duì)模型進(jìn)行卷積堆疊時(shí)，過多的卷積層雖然會(huì)使模型對(duì)于特征信息提取能力增強(qiáng)，但同時(shí)也容易出現(xiàn)高頻細(xì)節(jié)信息丟失的問題；在此基礎(chǔ)上加入殘差連接，即本文模型的連接方式時(shí)，其模型所陳先出的PSNR 值與SSIM 值均得到明顯提升；從主觀視覺效果角度上出發(fā)，分別對(duì)4 種不同組合方式的模型在Urban100 測(cè)試集中進(jìn)行測(cè)試，選取img088 圖像進(jìn)行×4 尺度因子的重建效果對(duì)比，如圖8 所示。

圖8 含有不同組合方式的模型在img088.png 上在尺度為×4 時(shí)的重建效果對(duì)比Fig. 8 Comparison of SR images of models with different combinations in img088.png(×4)

可以看出，當(dāng)模型結(jié)構(gòu)的組合方式為圖8(a)時(shí)，其模型對(duì)圖像特征信息的獲取不夠充分，導(dǎo)致重建圖像過于模糊；當(dāng)模型結(jié)構(gòu)的組合方式為圖8(b) 時(shí)，模型重建出的圖像出現(xiàn)了偽影現(xiàn)象；當(dāng)模型結(jié)構(gòu)的組合方式為圖8(c)時(shí)，重建效果相對(duì)于圖8(b)方式基本沒有發(fā)生變化，這是由于過多的卷積塊的疊加會(huì)造成高頻細(xì)節(jié)信息丟失，從而導(dǎo)致重建效果不佳；當(dāng)模型結(jié)構(gòu)的組合方式為本文模型結(jié)構(gòu)圖8(d)時(shí)，相比前3 種方式，重建出的圖像效果得到明顯提升，基本消除了圖像重建過程中出現(xiàn)的偽影現(xiàn)象。殘差連接的存在可以更好地對(duì)模型進(jìn)行訓(xùn)練，防止模型性能出現(xiàn)退化現(xiàn)象，所以本文模型的組合方式可以充分提高對(duì)于圖像特征信息的利用率，表現(xiàn)出更加優(yōu)秀的重建效果。

3 結(jié)束語

本文提出一種融合分層特征與殘差蒸餾連接的超分辨率重建模型，本模型首先設(shè)計(jì)了一種將分層特征融合與殘差連接相結(jié)合的連接方式，將圖像的深層特征與淺層特征進(jìn)行充分融合，大幅度提高了模型對(duì)于圖像特征信息的利用率；其次提出了一種基于增強(qiáng)空間注意力機(jī)制的殘差蒸餾模塊，通過在殘差塊中融入增強(qiáng)空間注意力機(jī)制，分別對(duì)不同空間的特征信息賦予不同的權(quán)重，加強(qiáng)了模型對(duì)于圖像關(guān)鍵特征信息的獲取能力，同時(shí)減少了圖像細(xì)節(jié)特征信息在殘差塊中的損失，使重建后的圖像細(xì)節(jié)信息更加完善，效果更加清晰。為了驗(yàn)證本文模型的有效性，本文實(shí)驗(yàn)部分選取了8 種具有代表性的超分辨率重建算法在4 種不同的測(cè)試集上進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文模型重建圖像的客觀評(píng)價(jià)指標(biāo)與主觀視覺效果均優(yōu)于8 種對(duì)比模型，充分說明了本算法模型的有效性。雖然本文模型表現(xiàn)出了非常優(yōu)秀的重建性能，但是模型所帶來的參數(shù)量導(dǎo)致模型復(fù)雜度較高的問題有待進(jìn)一步分析與優(yōu)化。在未來工作中，我們將分析多重遞歸連接與多重交叉連接對(duì)模型性能的影響，對(duì)模型探索更科學(xué)有效的連接方式，并分析不同方式對(duì)模型復(fù)雜度的影響，從而根據(jù)分析結(jié)果構(gòu)建出性能更高效且模型復(fù)雜度更低的算法模型。