基于殘差網(wǎng)絡(luò)的圖像超分辨率重建算法

陳 晨，劉明明，劉 兵，3，周 勇

1.中國礦業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州221116

2.江蘇建筑職業(yè)技術(shù)學(xué)院 智能制造學(xué)院，江蘇 徐州221008

3.中國科學(xué)院 航空航天信息研究所，江蘇 徐州221116

1 引言

本文所要研究的超分辨率圖像重建（Super Resolution Image Reconstruction，SRIR 或SR）是一種圖像復(fù)原的方法，是指通過軟件算法的方法，將低分辨率（Low-Resolution，LR）的圖像或者序列轉(zhuǎn)化為高分辨率（High-Resolution，HR）的圖像[1]。實(shí)際生活中，自從有了照相機(jī)、攝像頭，通過不斷的改進(jìn)向世界呈現(xiàn)真實(shí)畫面就成為了人們不斷研究的目標(biāo)，此項(xiàng)圖像超分辨率重建技術(shù)更多的是用來實(shí)現(xiàn)對目標(biāo)物體專注度的分析，來獲得人們感興趣的更高的空間分辨率的圖像，而不需要直接采取數(shù)據(jù)量極大的高空間分辨率圖像的配置。用時間帶寬換取空間分辨率，實(shí)現(xiàn)時間分辨率和空間分辨率之間的轉(zhuǎn)換是超分辨率重建的核心思想。

Harris和Goodman等在1969年時，通過將帶限信號外推的方法來解決了當(dāng)時的光學(xué)圖像超分辨率重建的問題，在此確定了圖像超分辨率重建的數(shù)學(xué)基礎(chǔ)[2-3]。1984 年，Huangi 和Tsa 等提出了頻率域法，核心思想是利用圖像之間傅里葉變換的位移性質(zhì)，將單幅圖像超分辨率重建擴(kuò)展到多幅圖像超分辨率重建，將高低分辨率之間的位移關(guān)系通過傅里葉變換來建立，開啟了多幅圖像超分辨率重建的新篇章[4]。后來，F(xiàn)reeman等在2002年時利用馬爾可夫網(wǎng)絡(luò)提出了一種新的基于樣例學(xué)習(xí)的圖像超分辨率重建算法，通過訓(xùn)練圖像建立一個數(shù)據(jù)庫，學(xué)習(xí)高低分辨率圖像和領(lǐng)域高分辨率圖像的關(guān)系來重建出新的高分辨率圖像[5]。截至目前，通過多位學(xué)者的研究可將圖像重建算法分為以下三大類：基于插值、基于重構(gòu)、基于學(xué)習(xí)。

為了提高圖像超分辨率重建的效果，Yang[5]等人提出了基于稀疏表示的圖像超分辨率重建，此算法的核心內(nèi)容是通過聯(lián)合訓(xùn)練兩個用于高低分辨率圖像塊的字典，這種辦法可以有效增強(qiáng)高低分辨率圖像塊對相對于自身字典的稀疏表示的相似性。在這個前提下，低分辨率的圖像塊的稀疏表示和高分辨率圖像塊的字典產(chǎn)生高分辨率圖像塊，這樣可以有效地降低算法的計算成本。傳統(tǒng)的凸集投影（POCS）算法能夠重建低分辨率（LR）圖像，但在保留圖像細(xì)節(jié)和去噪方面存在矛盾，從而限制了重建圖像的質(zhì)量。為了避免POCS的缺陷，獲得更高的分辨率，Shang 等人[6]將基于稀疏表示的思想用于圖像的去噪。稀疏表示對圖像的數(shù)據(jù)具有自適應(yīng)性，能夠?qū)W習(xí)優(yōu)化圖像過完備稀疏字典，用來描述圖像的本質(zhì)特征，來達(dá)到有效的去噪目的。2016 年，Dong等[7]率先提出基于卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）的方法，核心思想是使用三個卷積層，將圖像特征在低分辨率空間和高分辨率空間建立非線性映射，實(shí)驗(yàn)結(jié)果表明此方法的重建效果優(yōu)于其他傳統(tǒng)方法。

之后，Kim[8]等人受ResNet 的啟發(fā)，在SRCNN 的基礎(chǔ)上提出了超深卷積神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建，引入了20 層卷積層和全局殘差學(xué)習(xí)，得到了非常好的重建效果，但內(nèi)存占用較大且計算復(fù)雜度較高。

同年，RED 網(wǎng)絡(luò)結(jié)構(gòu)被提出，主要特點(diǎn)在于此網(wǎng)絡(luò)引入了反卷積層，卷積層與反卷積層一一對應(yīng)，反卷積層恢復(fù)因經(jīng)過卷積層而減小的圖像尺寸，能夠有效地恢復(fù)圖像細(xì)節(jié)。采取30 層網(wǎng)絡(luò)結(jié)構(gòu)，相對應(yīng)的卷積層與反卷積層跳躍相連，將反向傳播信號直接傳遞到底層，避免梯度消失的同時有效地重建出高質(zhì)量的圖像。

近幾年隨著醫(yī)療事業(yè)的發(fā)展，研究者逐漸開始研究磁共振圖像的重建。劉振圻等[9]于2013 年將重建技術(shù)與現(xiàn)有的去噪技術(shù)相結(jié)合，在重建圖像的同時，達(dá)到去噪的效果，有效地提高了磁共振圖像的分辨率。

近幾年，許多方法[10-15]在圖像超分辨率重建方向都取得了不錯的效果。稀疏分解先于壓縮感知提出，信號稀疏表示是為了在給定的超完備字典中盡可能用少量的原子來表示信號，因此來獲得簡潔的信號表示方式，可以更加容易地從信號中獲取所要蘊(yùn)含的信息，方便對信號進(jìn)行進(jìn)一步加工處理。

2 相關(guān)工作

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一類包含卷積或相關(guān)計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)（deep learning）的代表算法之一[16-17]。在卷積神經(jīng)網(wǎng)絡(luò)中每一個節(jié)點(diǎn)代表的都是一個神經(jīng)元，這點(diǎn)和全連接神經(jīng)網(wǎng)絡(luò)一樣。

卷積層計算公式如下：

其中，ylj表示的是第l 層卷積層中第j 個卷積核的輸出，通常情況下稱作特征圖，它代表的是一個二維向量；代表卷積核，表示的是第l 層卷積層輸入的第i 個特征圖與第l-1 層輸出的第j 個特征圖之間的卷積核；blj表示的是第l 層卷積層的第j 個卷積核的偏置項(xiàng)；Mj表示的是所有特征圖集合，代表的是輸入特征圖要連接到輸出的第j 個特征圖，將卷積操作的符號表示為?。

特征提取是卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)之間最大的區(qū)別，卷積層和子采樣層構(gòu)成了特征提取部分，卷積層中，神經(jīng)元之間并不是完全連接，其中，一個神經(jīng)元只與部分鄰層神經(jīng)元連接。

從低分辨率圖像中有重疊的提取圖像塊并用高維向量表示，相當(dāng)于采用一組濾波器對圖像進(jìn)行卷積操作，圖像重建階段是將重疊的高分辨率圖像塊進(jìn)行平均化操作產(chǎn)生最終的高分辨率圖像，而非線性映射階段是將上一層的特征向量從低分辨率空間變換至高分辨率空間。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建（SRCNN）

首次將深度學(xué)習(xí)應(yīng)用到圖像超分辨率重建中，SRCNN直接學(xué)習(xí)的是高低分辨率圖像之間的端對端映射。映射表現(xiàn)為一個深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）[14]，輸入的是低分辨率圖像，輸出的是高分辨率圖像，如圖1。SRCNN不像傳統(tǒng)的稀疏表示的圖像超分辨率重建分開處理每個部件，此共同優(yōu)化了所有的層，有很好的重建質(zhì)量，在實(shí)際應(yīng)用中也取得了很好的效果。

SRCNN首先做的預(yù)處理是使用雙立方插值的方法來提升到它所需要的尺寸記作Y ，這是SRCNN中唯一執(zhí)行的預(yù)處理，圖像超分辨率重建的目標(biāo)是將Y 恢復(fù)為重建后的圖像F(Y),F(Y)與原始的真實(shí)的高分辨率圖像X 需要盡可能地相似，網(wǎng)絡(luò)結(jié)構(gòu)中學(xué)習(xí)到的映射記作F,F 從概念上由小塊的提取和表示、非線性映射、重建這三個操作組成。分成以下三個操作：

其中，W1代表濾波器，而B1代表偏置，將W1的大小定義為c×f1×f1×n1。輸入圖像中通道的數(shù)量記作c，濾波器的空間大小記作f1，濾波器的數(shù)量記作n1。通俗來講就是，濾波器W1在圖像上進(jìn)行n1次的卷積操作，輸出圖像由n1個特征圖組成。 B1表示的是n1維的向量，B1的每個元素都與一個濾波器相對應(yīng)。本文采用ReLU函數(shù)(max(0,x))[18]在濾波器響應(yīng)上。W2、B2、W3、B3同理。

SRCNN有它獨(dú)特的優(yōu)點(diǎn)。首先，SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)非常簡單，和基于樣本的圖像超分辨率重建方法相比，有著相同的優(yōu)秀的精準(zhǔn)性。其次，這個方法因?yàn)橹械葦?shù)量的過濾器和層數(shù)，所以在實(shí)際在線使用中甚至是CPU 上，也實(shí)現(xiàn)了很快的速度。由于SRCNN 是完全前饋的，因此在訓(xùn)練速度方面比基于樣本的方法要快一點(diǎn)，且不需要解決優(yōu)化問題。最后，當(dāng)數(shù)據(jù)變多，或者使用模型變大的時候，通過實(shí)驗(yàn)證明是可以達(dá)到進(jìn)一步的改善網(wǎng)絡(luò)的修復(fù)質(zhì)量的目的。

2.3 殘差網(wǎng)絡(luò)（ResNet）

圖2 ResNet結(jié)構(gòu)簡圖

網(wǎng)絡(luò)結(jié)構(gòu)的基本要求：（1）輸出特征映射大小相同的網(wǎng)絡(luò)層需要有相同數(shù)量的過濾器，即通道數(shù)相同；（2）當(dāng)特征映射大小減半時（經(jīng)過池化層），通道數(shù)量翻倍。

殘差單元的結(jié)構(gòu)表示為：

σ 為激活函數(shù)，C 為損失函數(shù)：

2.4 Very Deep Convolutional Networks（VDSR）

殘差結(jié)構(gòu)被運(yùn)用到大量的實(shí)際運(yùn)用中，在圖像超分辨率重建領(lǐng)域，表現(xiàn)最直觀的模型是VDSR，在2016 年時提出，通過殘差網(wǎng)絡(luò)來解決加深網(wǎng)絡(luò)而導(dǎo)致的梯度問題[8]。

VDSR將網(wǎng)絡(luò)結(jié)構(gòu)加深到20層，實(shí)驗(yàn)驗(yàn)證在圖像超分辨率重建上達(dá)到了很好的效果，采取了殘差學(xué)習(xí)來提高學(xué)習(xí)率，防止因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)太深對梯度傳輸產(chǎn)生障礙。并且為了防止卷積使得圖像越來越小，在下一次卷積前，對圖像進(jìn)行補(bǔ)0 操作。VDSR 的第三點(diǎn)特別之處在于將不同大小倍數(shù)的圖像混合在一起訓(xùn)練，這樣訓(xùn)練出來的一個模型就可以解決不同倍數(shù)的超分辨率問題。

圖1 SRCNN網(wǎng)絡(luò)結(jié)構(gòu)圖

3 模型設(shè)計及算法流程

為了有效提高圖像超分辨率重建的效果，本文在原始SRCNN 的基礎(chǔ)上加深了網(wǎng)絡(luò)結(jié)構(gòu)，但是伴隨著網(wǎng)絡(luò)結(jié)構(gòu)的增加，網(wǎng)絡(luò)負(fù)重也增加，因此為了解決這個問題提出了本文的網(wǎng)絡(luò)模型。

3.1 模型設(shè)計

在本節(jié)中，將詳細(xì)介紹本文所設(shè)計的ResNet 和SRCNN相結(jié)合的圖像超分辨率重建模型。在VDSR及其他典型深度學(xué)習(xí)的圖像超分辨率重建算法中，皆有提及圖像重建的效果隨著網(wǎng)絡(luò)層次的加深而提高，加深網(wǎng)絡(luò)結(jié)構(gòu)雖然會得到不錯的效果，但隨著深度到達(dá)一定的程度時，繼續(xù)增加深度會導(dǎo)致網(wǎng)絡(luò)模型誤差變大的現(xiàn)象發(fā)生。本文主要采用殘差學(xué)習(xí)來減少網(wǎng)絡(luò)的負(fù)重，簡單來說，網(wǎng)絡(luò)不需要去記憶太多的信息，相較于非殘差模式，非殘差模式隨著網(wǎng)絡(luò)層數(shù)的增多，需要記錄的特征也隨之增多，對于位于深層次的卷積層而言，一些圖像信息特征已經(jīng)丟失（這是由于網(wǎng)絡(luò)負(fù)載過大造成），因此可以采用殘差學(xué)習(xí)一定程度上緩解這個問題。

殘差學(xué)習(xí)的目的類似于ResNet 結(jié)構(gòu)模型中的殘差學(xué)習(xí)單元。輸入低分辨率圖像x，網(wǎng)絡(luò)模型表示為y，當(dāng)傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)到達(dá)一定的深度時，可以使得逼近y，此時繼續(xù)增加網(wǎng)絡(luò)模型的深度可能會造成飽和目標(biāo)函數(shù)的偏移，因此在RDSR-a模型中，采用殘差學(xué)的方法將學(xué)習(xí)目標(biāo)轉(zhuǎn)換成y-x，使得模型達(dá)到繼續(xù)優(yōu)化的效果。在網(wǎng)絡(luò)模型中加入遞歸學(xué)習(xí)的方法，為了達(dá)到不增加參數(shù)的效果，遞歸層的卷積層之間權(quán)值共享，從而提高學(xué)習(xí)率。

如圖3 所示，是簡化的網(wǎng)絡(luò)模型，采取局部殘差學(xué)習(xí)和全局殘差學(xué)習(xí)相結(jié)合的方法，所提出的網(wǎng)絡(luò)模型可以解釋成五個步驟：特征提取、收縮、非線性映射、擴(kuò)張、最后的重建。

圖3 簡化的網(wǎng)絡(luò)模型

第一部分是特征提取階段，傳統(tǒng)SRCNN 僅有三層卷積層，感受野較低，為了增加感受野，采用加深網(wǎng)絡(luò)結(jié)構(gòu)的方法。隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，感受野逐步變大，感受野越大表示其能接觸到的原始圖像范圍就越大，可以根據(jù)更多的像素點(diǎn)去推斷結(jié)果像素點(diǎn)。但是隨之而來的是運(yùn)算復(fù)雜度的提升，因此，第二部分是應(yīng)用1×1 的卷積核進(jìn)行降維，減少網(wǎng)絡(luò)參數(shù)，降低算法的復(fù)雜度。第三部分非線性映射部分考慮到加深的網(wǎng)絡(luò)結(jié)構(gòu)可能會造成學(xué)習(xí)速率降低，或者梯度爆炸、梯度消失的問題，采取殘差學(xué)習(xí)的方法提高學(xué)習(xí)率，并且對梯度進(jìn)行裁剪，提高學(xué)習(xí)率。

可以通過殘差學(xué)習(xí)提高學(xué)習(xí)率的方法來解決網(wǎng)絡(luò)層次加深帶來的梯度消失的問題，梯度爆炸和梯度消失的原因可以理解為信息流的過大或者過小，產(chǎn)生這個問題的原因在于網(wǎng)絡(luò)的負(fù)載過大。在深度網(wǎng)絡(luò)中，圖3（c）紅色部分即為此網(wǎng)絡(luò)結(jié)構(gòu)的深度部分。實(shí)驗(yàn)部分最先采用6 層卷積層，重建效果并不明顯，因此本文采用16層卷積。此外，殘差學(xué)習(xí)在一定程度上加快了算法的收斂速度。

第四部分應(yīng)用1×1的卷積核擴(kuò)維到原始維度，最后反卷積重建，實(shí)現(xiàn)上采樣操作，回復(fù)原始圖像大小，達(dá)到重建后的圖像和原始尺寸相同。

算法描述：

輸入：低分辨率圖像

輸出：高分辨率圖像

步驟1 選取3×3 的卷積核對低分辨率圖像進(jìn)行特征提取；

步驟2 選取1×1的卷積核進(jìn)行降維，減少網(wǎng)絡(luò)參數(shù)；

步驟3 進(jìn)入圖3（c）網(wǎng)絡(luò)結(jié)構(gòu)ResNet 結(jié)構(gòu)中進(jìn)行訓(xùn)練；

步驟4 應(yīng)用1×1的卷積核擴(kuò)維；

步驟5 進(jìn)入反卷積層，上采樣到原始目標(biāo)圖像尺寸；

步驟6 重建出最終的高分辨率圖像。

3.2 損失函數(shù)

考慮到傳統(tǒng)基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨率重建的圖片通過逐步卷積會導(dǎo)致圖片越來越小，不適合一個很深的網(wǎng)絡(luò)。減少SRCNN 中雙三次插值的預(yù)處理，將原始圖像的尺寸作為輸入，直接進(jìn)行卷積操作。考慮到當(dāng)采用傳統(tǒng)卷積操作時，感受野小，邊緣區(qū)域考慮得較少，于是采取對卷積結(jié)果做裁剪的方法，剪去邊界區(qū)域，但是會使得圖像變得更小，因此下一次卷積前，對圖像進(jìn)行補(bǔ)0，將重建圖像恢復(fù)到原始圖像的大小，這樣不僅解決了深度淺的問題，也加深了對圖像邊緣的操作，通過實(shí)驗(yàn)證明了對圖像細(xì)節(jié)處理確實(shí)是有了明顯的改進(jìn)。

損失函數(shù)延用SRCNN中的均方誤差（MSE）：

其中，n 表示的是訓(xùn)練樣本的數(shù)量。使用具有標(biāo)準(zhǔn)反向傳播的隨機(jī)梯度下降法使損失最小化[19]。如果只有損失函數(shù)可推導(dǎo)，CNN 并不排除使用其他類型的損失函數(shù)。如果在訓(xùn)練過程中給出更好的感知度量，它能夠靈活地針對網(wǎng)絡(luò)去適應(yīng)度量。相反，這樣的靈活性通常來說對于傳統(tǒng)的“手工”方法是很難實(shí)現(xiàn)的。

3.3 反卷積重建

在實(shí)際實(shí)驗(yàn)中，卷積操作會使圖像越來越小，考慮到這個影響，采取反卷積操作對圖像進(jìn)行重建，能夠多尺度放大特征映射圖。并沒有像SRCNN采用雙三次插值預(yù)處理是由于雙三次插值的預(yù)處理限制了學(xué)習(xí)速度[20-21]。反卷積（Deconvolution）的概念第一次出現(xiàn)是Zeiler在2010年發(fā)表的論文《Deconvolutional networks》中，但是并沒有指定反卷積這個名字，反卷積這個術(shù)語正式的使用是在其之后的工作中[22]。通過反卷積可以使圖像變大，實(shí)現(xiàn)圖像的上采樣效果得到想要的圖像大小，反卷積的反向傳播即卷積層的前向傳播，卷積層的前向傳播為乘以C，反卷積層的反向傳播為乘以(CT)T。

4 實(shí)驗(yàn)結(jié)果分析

本文所有程序在tensorflow 環(huán)境spyder 編譯器下運(yùn)行，硬件平臺為PC：Inter?CoreTMi7-8750H CPU@2.20 GHz，內(nèi)存為8 GB。交叉驗(yàn)證法采用傳統(tǒng)的留出法，將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集三部分。

在實(shí)驗(yàn)中，訓(xùn)練此次改進(jìn)的殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像集為常用的91 幅自然圖像，采取與VDSR 算法中相同的縮放、旋轉(zhuǎn)的方式進(jìn)行樣本增強(qiáng)。

并且同樣運(yùn)用Set5 和Set14、Urban100 測試集對殘差網(wǎng)絡(luò)進(jìn)行測試。這三個數(shù)據(jù)集為圖像超分辨率重建常用數(shù)據(jù)集，Set5數(shù)據(jù)集包含動植物圖像，Set14包含動植物、景物圖像，細(xì)節(jié)信息比Set5更多，Urban100數(shù)據(jù)集包含的是城市建筑圖像，邊緣信息多，重構(gòu)難度大。

4.1 評價指標(biāo)

本文采取的衡量標(biāo)準(zhǔn)是圖像超分辨率中常用的評價指標(biāo)：峰值信噪比（Peak Signal to Noise Ratio，PSNR）和圖像的結(jié)構(gòu)相似性（Structural Similarity，SSIM）。

通常來講，更高的PSNR 表示了更高分辨率的圖像，一般情況下通過均方誤差（Mean Square Error，MSE）進(jìn)行定義：

峰值信噪比（PSNR）表示為：

其中，I 和K 表示兩個m×n 大小的圖像。規(guī)定PSNR的單位是dB，且數(shù)值越小表示失真越大，即數(shù)值越大失真越小。

結(jié)構(gòu)相似性（SSIM）表示為：

其中，μx表示x 的平均值，μy表示y 的平均值，σx表示x 的方差，σy表示y 的方差，σxy表示x 和y 的協(xié)方差。且規(guī)定結(jié)構(gòu)相似性的范圍是-1 到+1（即SSIM ∈(-1,0]）。

4.2 在數(shù)據(jù)集上的對比

本文算法主要從加深網(wǎng)絡(luò)結(jié)構(gòu)、降低網(wǎng)絡(luò)復(fù)雜度方向進(jìn)行研究。圖4 表示在Set5 測試集上本文提出的超分辨率重建算法和其他算法的對比，Set5中的蝴蝶圖像在放大細(xì)節(jié)后可以觀察到，本文算法的重建效果更好，細(xì)節(jié)紋理更加清晰。圖5是在Set14測試集上本文提出的超分辨率重建算法和其他算法的對比，Set14 中人像圖像在放大帽子邊緣的細(xì)節(jié)后可以看出，本文重建算法的紋理與Bicubic重建的圖像和SRCNN、VDSR重建的圖像對比均更加清晰。圖6是在Urban100測試集上本文提出的超分辨率重建算法和其他算法的對比，Urban100 中圖像在放大左上角的細(xì)節(jié)后可以看出，本文重建算法的紋理與Bicubic、SRCNN、VDSR重建的圖像對比均更加清晰。因此，本文提出的增加網(wǎng)絡(luò)層數(shù)引進(jìn)殘差網(wǎng)絡(luò)的圖像超分辨率重建效果從視覺效果來說是有所改進(jìn)的。

圖4 Set5測試集上的對比

圖5 Set14測試集上的對比

圖6 Urban100測試集上的對比

表1 表示了本文方法和Bicubic、SRCNN、VDSR 在兩個數(shù)據(jù)集上且上采樣因子分別為2、3、4時的對比，可以看出Bicubic、SRCNN、VDSR 三種方法在scale 值為2時PSNR和SSIM的值最大。由于本文采取反卷積擴(kuò)大尺寸，預(yù)處理中并未做上采樣操作，所以本文結(jié)果與其他三種方法最好的情況進(jìn)行對比。本文算法的PSNR與SSIM 值為采取八組實(shí)驗(yàn)后的平均值。Set5 中，本文算法的PSNR 值比VDSR 提高0.07 dB，比SRCNN 提高0.29 dB，比Bicubic提高3.92 dB，本文算法的SSIM值比VDSR提高0.01。Set14中，PSNR值最高的是VDSR，可以看出本文的33.79 dB 比VDSR 的33.03 dB 提高了0.76 dB，本文算法的SSIM 值為0.91 也比SSIM 值為0.90的VDSR和SRCNN算法要高。Urban100中，PSNR值最高的是VDSR，可以看出本文的31.01 dB 比VDSR的30.77 dB 提高了0.24 dB，本文算法的SSIM 值為0.92也比SSIM值為0.91的VDSR算法高。因此可以得出本文算法在數(shù)據(jù)上優(yōu)于其他算法的結(jié)論。

表1 各方法在不同數(shù)據(jù)集下的PSNR、SSIM值對比

4.3 消融法

本文主要從網(wǎng)絡(luò)深度和網(wǎng)絡(luò)結(jié)構(gòu)兩個方面對原有的SRCNN算法進(jìn)行改進(jìn)，提出了兩點(diǎn)改進(jìn)[23]：

（1）采取局部殘差和全局殘差相結(jié)合。

（2）取消雙三次插值，在最后增加反卷積層，且在殘差網(wǎng)絡(luò)結(jié)構(gòu)首尾分別加入1×1的卷積核進(jìn)行降維和擴(kuò)維。

隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，必然會帶來算法復(fù)雜度的提高，采取1×1卷積核降維可以在不增加參數(shù)的情況下降低算法復(fù)雜度，有效地提高算法效率，尾部1×1 擴(kuò)維到原始維度。

為了驗(yàn)證對殘差網(wǎng)絡(luò)進(jìn)行降維和擴(kuò)維的有效性，本文采取消融法，對進(jìn)行降維和擴(kuò)維的算法驗(yàn)證，采取同樣的Set5、Set14、Urban100 數(shù)據(jù)集，訓(xùn)練集也采取相同的訓(xùn)練集，進(jìn)行同樣的縮放操作。采取八組實(shí)驗(yàn)取平均值，在Set5上的PSNR和SSIM值分別為36.03 dB和0.95，在Set14 上的PSNR 和SSIM 值分別為33.41 dB 和0.91。在Urban100 上 的PSNR 和SSIM 值 分 別 為30.89 dB 和0.91。與本文提出的方法對比，本文算法的PSNR 值分別高了0.05 dB、0.38 dB、0.12 dB，而SSIM 值在數(shù)據(jù)集Set5、Urban100上也提升了0.01。

因此，從客觀評價指標(biāo)中，可以得出本文算法的有效性。和SRCNN、VDSR算法相比，本文算法在主觀和客觀評價指標(biāo)上有所提升。

5 結(jié)語

SRCNN 的訓(xùn)練速度較慢且存在網(wǎng)絡(luò)深度的問題，針對這一缺點(diǎn)，本文提出加深卷積層深度，且為了避免深度太深無法訓(xùn)練加入了殘差網(wǎng)絡(luò)ResNet，減少了SRCNN 中Bicubic 步驟，在訓(xùn)練時只fine-tuning 最后的反卷積層，提高了訓(xùn)練速度。引入了全局模式的殘差學(xué)習(xí)和局部模式的殘差學(xué)習(xí)相結(jié)合的方式來降低在深層網(wǎng)絡(luò)中由于網(wǎng)絡(luò)加深造成的訓(xùn)練難度，并且使用由殘差單元組成的遞歸塊來學(xué)習(xí)高分辨率和低分辨率圖像之間的殘差圖像，可以通過增加網(wǎng)絡(luò)深度來提高精度，而不需要添加任何權(quán)重參數(shù)。該算法能夠更好地重建圖像的高頻紋理信息，不論是客觀評價還是視覺效果上都取得了較好的效果[24]。

對于未來的研究方向，觀察到此次的算法主要對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，有一定的改進(jìn)效果，但是距離更好的優(yōu)化還有一定的改進(jìn)空間，因此在接下來的研究工作中，將考慮到改進(jìn)現(xiàn)有的其他算法，例如GAN 網(wǎng)絡(luò)，并考慮圖像超分辨率重建在實(shí)際運(yùn)用中的實(shí)驗(yàn)，例如醫(yī)學(xué)圖像、光學(xué)遙感圖像中的運(yùn)用等[25]。