功能型復(fù)合深度網(wǎng)絡(luò)的圖像超分辨率重建*

唐家軍，劉 輝，胡雪影

1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，昆明 650000

2.中國科學(xué)院 云南天文臺(tái)，昆明 650000

3.河南理工大學(xué) 計(jì)算機(jī)學(xué)院，河南 焦作 454150

1 引言

單圖像超分辨率（single image super resolution，SISR）重建[1-3]旨在將低分辨率（low resolution，LR）圖像在算法層面轉(zhuǎn)換提升為接近高分辨率（high reso-lution，HR）圖像的超分辨率（super-resolution，SR）圖像。相較于低分辨率圖像，高分辨率圖像具有更高像素密度、更多細(xì)節(jié)信息、更細(xì)膩的畫質(zhì)，在醫(yī)療影像、衛(wèi)星遙感、公共安全、視頻監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用需求。獲取高分辨率圖像最直接的方法是采用高分辨率的采像設(shè)備。但實(shí)際應(yīng)用過程中，由于制作工藝和工程成本的制約，很多場景不適宜采用具有高分辨率功能的設(shè)備進(jìn)行圖像信號(hào)的采集。并且圖像感興趣區(qū)域可能很小，放大觀看的過程可能含有干擾噪聲。通過超分辨率重建技術(shù)來獲取HR圖像具有高的研究價(jià)值與應(yīng)用需求。

研究中，一般將低分辨率成像模型表示為：

其中，ILR為低分辨率圖像；IHR為高分辨率圖像；D為下采樣算子；B為模糊算子；n為加性噪聲。圖像超分辨率重建是上式的逆運(yùn)算。

由于D、B、n都為不確定因子，單張LR 圖像可能對(duì)應(yīng)著多種HR 圖像預(yù)測結(jié)果，因此圖像超分辨率重建是不適定的逆問題。SISR 就是要利用一幅圖像中包含的信息以及從樣本圖像中得到的視覺先驗(yàn)，識(shí)別重要的視覺線索，填充細(xì)節(jié)，并盡可能忠實(shí)和美觀地呈現(xiàn)。

為實(shí)現(xiàn)計(jì)算機(jī)視覺技術(shù)自動(dòng)由低分辨率圖像重建出高分辨率圖像，研究者們已經(jīng)提出多種SISR 方法。主要有傳統(tǒng)的SISR 方法[4-7]和深度學(xué)習(xí)方法[8]。雖然傳統(tǒng)的SISR方法及其改進(jìn)方法[9-10]在SR任務(wù)已取得不錯(cuò)的表現(xiàn)，但其主要是基于經(jīng)驗(yàn)算法實(shí)現(xiàn)，在高分辨重建過程中會(huì)遺漏大量的圖像高頻信息且需要一定人為干預(yù)，最終結(jié)果性能與實(shí)際應(yīng)用需求有著較大差距。

由于出色的性能，深度學(xué)習(xí)方法已成為模式識(shí)別與人工智能領(lǐng)域的研究熱點(diǎn)。其中的卷積網(wǎng)絡(luò)（ConvNet）[11]近年來在大規(guī)模圖像和視頻識(shí)別分類[12]等方面取得了巨大的成功。Dong 等人提出的三層神經(jīng)網(wǎng)絡(luò)SRCNN[13]（super-resolution convolutional neural network）成功將卷積神經(jīng)網(wǎng)絡(luò)（CNN）運(yùn)用到SISR 問題中，以端到端的方式學(xué)習(xí)從LR 到HR 的映射，不需要傳統(tǒng)SR 方法使用的任何工程特性，并且獲得比傳統(tǒng)方法更先進(jìn)的性能。Kim 等人結(jié)合遞歸學(xué)習(xí)[14]、殘差學(xué)習(xí)[15]提出的DRCN[16]、VDSR[17]通過增加網(wǎng)絡(luò)深度的方式提升圖像重建性能。Mao 等人提出的具有對(duì)稱結(jié)構(gòu)編解碼網(wǎng)絡(luò)REDNet[18]對(duì)SR 過程產(chǎn)生的噪聲有抑制作用，能恢復(fù)出更加干凈的圖片。對(duì)抗神經(jīng)網(wǎng)絡(luò)[19]的興起使Christian 等人提出的SRGAN[20]（super resolution generative adversarial net-works）及其改進(jìn)型ESRGAN[21]取得了逼真視覺效果。楊娟等人[22]在生成對(duì)抗網(wǎng)絡(luò)為主體框架的網(wǎng)絡(luò)模型中，以融合感知損失的方式提高對(duì)低分辨率圖像的特征重構(gòu)能力，高度還原圖像缺失的高頻語義信息。RCAN[23]（residual channel attention networks）通過在卷積網(wǎng)絡(luò)引入注意力機(jī)制，通過考慮卷積特征通道之間的相互依賴性來自適應(yīng)地重新縮放通道方式的特征。李云飛等人[24]提出一種多通道卷積的圖像超分辨率算法MCSR（multi-channel convolution super resolution）。引入多通道映射提取更加豐富的特征，使用多層3×3 等小卷積核代替單層9×9 等大卷積核，更加有效地利用特征，增強(qiáng)模型的超分辨率重構(gòu)效果。深度SR 方法優(yōu)秀的性能現(xiàn)今也應(yīng)用到了特定的圖像中[25-26]。

然而，上述方法將深度學(xué)習(xí)技術(shù)成功引入到解決SISR 問題中時(shí)，也存在一定的局限性。SRCNN存在著依賴于小圖像區(qū)域上下文，訓(xùn)練收斂慢，網(wǎng)絡(luò)只適用于單尺度的缺陷。DRCN 由于使用遞歸循環(huán)導(dǎo)致網(wǎng)絡(luò)存儲(chǔ)量大，訓(xùn)練時(shí)間長，不便于實(shí)際應(yīng)用。VDSR 切實(shí)解決了SRCNN 存在的問題，效果也較為顯著，但網(wǎng)絡(luò)的簡單鏈?zhǔn)蕉询B在泛化與魯棒性存在風(fēng)險(xiǎn)。REDNet 的卷積與反卷積堆疊會(huì)出現(xiàn)振鈴效應(yīng)與棋盤效應(yīng)。而SRGAN 與ESRGAN 是采用對(duì)抗的方式生成SR圖像，破壞了SR圖像與HR圖像像素間的對(duì)應(yīng)關(guān)系。

針對(duì)上述方法存在的弊端，本文提出了一種用于圖像超分辨率重建的復(fù)合深度網(wǎng)絡(luò)方法，該方法聯(lián)結(jié)兩個(gè)具有輔助功能的不同子網(wǎng)絡(luò)，賦予子網(wǎng)絡(luò)不同的職能：特征細(xì)節(jié)提取、特征去噪。通過結(jié)合兩個(gè)子網(wǎng)絡(luò)的深層特征與LR 圖像的初始特征重建出低噪聲、高視覺效果的SR圖像。

與前述SISR方法相比，本文主要貢獻(xiàn)如下：

（1）提出一種用于圖像超分辨率重建的復(fù)合深度神經(jīng)網(wǎng)絡(luò)。借助輔助子神經(jīng)網(wǎng)絡(luò)解決單圖像超分辨率過程產(chǎn)生的噪聲問題。

（2）通過配置復(fù)合網(wǎng)絡(luò)中子網(wǎng)絡(luò)之間的聯(lián)結(jié)方式、權(quán)值占比，探究發(fā)現(xiàn)單一網(wǎng)絡(luò)對(duì)于圖像超分辨率重建效果的作用。

（3）在訓(xùn)練過程添加用于前向傳導(dǎo)梯度的輔助重建層，避免出現(xiàn)網(wǎng)絡(luò)梯度問題,實(shí)際測試時(shí)，額外的輔助重建層被去掉。

（4）使用遠(yuǎn)程跳躍連接，加速網(wǎng)絡(luò)訓(xùn)練，提升圖像重建效果。

2 相關(guān)工作

本章重點(diǎn)介紹了與本文最相關(guān)的三項(xiàng)工作：子網(wǎng)絡(luò)聯(lián)結(jié)塊、輔助重建層、殘差學(xué)習(xí)。

2.1 子網(wǎng)絡(luò)聯(lián)結(jié)塊

圖1 通過僅具有4 個(gè)卷積層的簡化網(wǎng)絡(luò)結(jié)構(gòu)說明了這些網(wǎng)絡(luò)聯(lián)結(jié)方式。其中為了清晰起見，省略了激活函數(shù)Relu[27]。

圖1（a）聯(lián)結(jié)方式1采用SRResNet（SRGAN的生成網(wǎng)絡(luò)部分）中不同特征處理方式，將不同特征直接累加求和。賦予特征不同權(quán)重，能達(dá)到優(yōu)質(zhì)特征互補(bǔ)，提升重建效果。圖1（b）聯(lián)結(jié)方式2 則是借鑒SRDenseNet[28]，SRDenseNet 在稠密塊中將每一層的特征都輸入給之后的所有層，使所有層的特征通道并聯(lián)疊加，而不是像ResNet[13]直接相加。這樣的結(jié)構(gòu)使整個(gè)網(wǎng)絡(luò)具有減輕梯度消失問題、支持特征復(fù)用的優(yōu)點(diǎn)。

2.2 輔助重建層

輔助層（輸出中間層）是Szegedy 等人在Google-Net[29]中提出的。GoogleNet 考慮到對(duì)于深度相對(duì)較大的網(wǎng)絡(luò)，反向傳播梯度有效通過所有層的能力是一個(gè)挑戰(zhàn)。在這個(gè)任務(wù)上，更淺網(wǎng)絡(luò)的強(qiáng)大性能表明網(wǎng)絡(luò)中部層產(chǎn)生的特征應(yīng)該是非常有識(shí)別力的。

GoogleNet 將輔助分類器添加到網(wǎng)絡(luò)中間層，期望較低階段分類器的判別力。而本文則通過將輔助重建層添加到網(wǎng)絡(luò)中間層，提高較低階段重建器的重建能力，同時(shí)輔助解決梯度問題。

這些輔助重建器采用較小卷積網(wǎng)絡(luò)（1×1 卷積核）的形式，放置在子網(wǎng)絡(luò)尾部。在訓(xùn)練期間，輔助重建層的損失以權(quán)重占比（權(quán)重是0.3）加到網(wǎng)絡(luò)的整體損失上。在測試時(shí)，這些輔助重建網(wǎng)絡(luò)將被丟棄。

Fig.1 Network combination block圖1 網(wǎng)絡(luò)聯(lián)結(jié)塊

2.3 殘差學(xué)習(xí)

對(duì)于SISR 問題，輸入的LR 圖像與輸出的SR 圖像具有密集相關(guān)性。即LR 圖像的低頻信息與HR圖像的低頻信息相近，只是缺乏高頻部分的信息映射。這種映射關(guān)系不僅學(xué)習(xí)困難，而且學(xué)習(xí)效率低。并且輸入圖像在網(wǎng)絡(luò)計(jì)算中攜帶傳輸大量的細(xì)節(jié)信息，如果深層卷積網(wǎng)絡(luò)存在多重卷積遞歸，會(huì)產(chǎn)生嚴(yán)重圖像特征細(xì)節(jié)丟失與訓(xùn)練梯度問題（梯度消失/爆炸等[30]）。鑒于此，本文設(shè)置殘差學(xué)習(xí)快速解決這個(gè)問題。殘差學(xué)習(xí)如圖2所示。

Fig.2 Residual learning：building block圖2 殘差學(xué)習(xí)：殘差塊

殘差學(xué)習(xí)由He 等人[15]提出，通過將圖1 結(jié)構(gòu)疊加在一起構(gòu)建一個(gè)非常深的152 層網(wǎng)絡(luò)ResNet，ResNet 在2015 年 的ILSVRC（imageNet large scale visual recognition challenge）分類比賽中獲得了第一名。由于ResNet 中的殘差學(xué)習(xí)是在每一個(gè)疊層中采用的，其中的殘差單元以鏈?zhǔn)蕉询B，因此該策略是局部殘差學(xué)習(xí)的一種形式。

而全局殘差學(xué)習(xí)策略：輸出的結(jié)果=低分辨率輸入（經(jīng)過插值變成目標(biāo)尺寸的低分辨率圖像）+網(wǎng)絡(luò)學(xué)習(xí)到的殘差。基于全局學(xué)習(xí)策略采用多條非堆疊式的中遠(yuǎn)距跳躍連接可將低維圖像特征直接傳輸?shù)骄W(wǎng)絡(luò)中后層，協(xié)助梯度的反向傳播，加快訓(xùn)練進(jìn)程，提高結(jié)果性能。

3 復(fù)合網(wǎng)絡(luò)的圖像超分辨率重建

在本章中，詳細(xì)介紹了本文提出的網(wǎng)絡(luò)模型體系結(jié)構(gòu)。具體的說，本文在網(wǎng)絡(luò)結(jié)構(gòu)中采用殘差學(xué)習(xí)，通過將全卷積子網(wǎng)絡(luò)與編解碼子網(wǎng)絡(luò)置入網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建復(fù)合網(wǎng)絡(luò)模型。并且在子網(wǎng)絡(luò)尾端引入輔助重建層（圖3 中黑色虛線框），這進(jìn)一步提升了學(xué)習(xí)性能。下面將逐步展示網(wǎng)絡(luò)模型的更多細(xì)節(jié)。

3.1 網(wǎng)絡(luò)架構(gòu)

考慮到模型的輸入與輸出大小不同，本文采用與SRCNN相同的圖像預(yù)處理策略，使用雙三次線性插值下采樣得到網(wǎng)絡(luò)的低分辨率輸入圖像。網(wǎng)絡(luò)架構(gòu)如圖3 所示。模型由三部分組成：初始特征提取、子網(wǎng)絡(luò)結(jié)構(gòu)和重建。

Fig.3 Network architecture圖3 網(wǎng)絡(luò)架構(gòu)

初始特征提取從輸入的低分辨率圖像中提取圖像低級(jí)特征，并將每個(gè)特征表示為高維向量，合并為初始特征圖組；然后將初始特征圖組分別輸入兩個(gè)子網(wǎng)絡(luò)，子網(wǎng)絡(luò)進(jìn)行高維細(xì)節(jié)提取與噪聲的抑制、消除任務(wù)；重建部分中將兩個(gè)子網(wǎng)絡(luò)輸出的高維特征進(jìn)行加權(quán)合并，并在最終的卷積層中結(jié)合初始特征（圖3紫色實(shí)線）重建輸出超分辨率圖像ISR。

3.1.1 初始特征提取

傳統(tǒng)圖像恢復(fù)中，圖像特征提取的一種策略是先將圖像塊進(jìn)行密集提取[31]，之后用一組預(yù)先訓(xùn)練的基底（如PCA（principal component analysis）[32]、DCT（discrete cosine transform）[33]等）來表示。而在卷積神經(jīng)網(wǎng)絡(luò)，此部分基礎(chǔ)功能可納入到網(wǎng)絡(luò)的優(yōu)化中，卷積操作自動(dòng)提取圖像特征并表示。形式上，特征提取網(wǎng)絡(luò)表示為操作F1：

其中，輸入X為經(jīng)過插值變成目標(biāo)尺寸的低分辨率圖像，W1和b1分別表示卷積權(quán)值和偏置，W1表示64 個(gè)大小為3×3×c（c為LR 圖像通道數(shù)）的卷積核。“?”表示卷積運(yùn)算，運(yùn)算添加0 邊界，步長為1，使輸入、輸出特征尺寸保持一致，防止產(chǎn)生邊界降秩。使用Relu（max(0,*)）[27]用于卷積特征激活。

3.1.2 子網(wǎng)絡(luò)結(jié)構(gòu)

該部分結(jié)構(gòu)中，特征提取階段提取到的初始特征被分別送至兩個(gè)子網(wǎng)絡(luò)中進(jìn)行高維特征運(yùn)算與非線性映射。具體地說：在子網(wǎng)絡(luò)1 中，進(jìn)行細(xì)節(jié)學(xué)習(xí)與清晰化重現(xiàn)；在子網(wǎng)絡(luò)2 中，進(jìn)行特征圖像的去噪任務(wù)。

（1）子網(wǎng)絡(luò)1。對(duì)于SR 圖像細(xì)節(jié)學(xué)習(xí)重建，本文受到Kim 等人[17]的啟發(fā)使用非常深的卷積網(wǎng)絡(luò)。配置如圖3 紅色虛線框1 所示。使用N層卷積層（本文N為10），所有卷積層皆是同一類型：64 個(gè)大小為3×3×64 的卷積核，卷積核在3×3 的空間區(qū)域上運(yùn)行，跨越64 個(gè)特征通道，添加0 邊界，卷積步長為1。第一層輸入圖像初始特征，中間層進(jìn)行高維特征提取與非線性映射，最后一層高維特征與初始特征相加輸出。表示為公式：

（2）子網(wǎng)絡(luò)2。該部分網(wǎng)絡(luò)借鑒REDNet[18]卷積與反卷積次第使用，形成一個(gè)對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層都有對(duì)應(yīng)的反卷積層。卷積層用來獲取圖像特征的抽象內(nèi)容，保留了主要的圖像內(nèi)信息；反卷積層則用來放大特征尺寸并且恢復(fù)圖像特征細(xì)節(jié)信息。在達(dá)到良好去噪效果的同時(shí)較好地保留圖像內(nèi)容。配置如圖3 紅色虛線框2 所示。使用M層（本文M為10）的編解碼結(jié)構(gòu)，并使用了殘差學(xué)習(xí)局部跳躍連接加快訓(xùn)練過程并提升訓(xùn)練效果。

為保證兩個(gè)子網(wǎng)絡(luò)輸出特征尺寸相同，子網(wǎng)絡(luò)2 中所有卷積層采用與子網(wǎng)絡(luò)1 相同策略：卷積層統(tǒng)一采用64 個(gè)大小為3×3×64 的卷積核。在式（6）中：輸入為提取的初始特征，W2,m-2和b2,m-2為卷積權(quán)值與偏置大小。不添加0 邊界且卷積步長為2，單卷積層輸出尺寸變?yōu)檩斎氤叽绲囊话搿Ｊ剑?）中W2,m-2和b2,m-2為反卷積權(quán)值與偏置,“⊙”表示反卷積運(yùn)算；式（6）與式（7）互為逆過程。

式（8）則是一個(gè)局部跳躍連接[11]，正如殘差學(xué)習(xí)的設(shè)計(jì)初衷，跳躍連接可以解決網(wǎng)絡(luò)層數(shù)較深的情況下梯度消失的問題，同時(shí)有助于梯度的反向傳播，加快訓(xùn)練過程。式（9）進(jìn)行子網(wǎng)絡(luò)的最終輸出。卷積層逐漸減小特征圖的大小，反卷積層再逐漸增大特征圖的大小，同時(shí)采用跳躍連接加快訓(xùn)練過程，保持子網(wǎng)絡(luò)最終輸入、輸出特征尺寸一致，同時(shí)保證在設(shè)備計(jì)算能力有限情況下的測試效率。獲得去除噪聲的特征圖。

3.1.3 網(wǎng)絡(luò)聯(lián)結(jié)與圖像重建

該部分結(jié)構(gòu)主要功能是輸入特征圖組，輸出目標(biāo)圖像ISR。首先第一層卷積層將前面子網(wǎng)絡(luò)輸出的H1,n與H2,m乘以一定的權(quán)值α、β(α+β=1)直接相加，作為重建部分的輸入。之后通過簡單卷積運(yùn)算，將子網(wǎng)絡(luò)中輔助信息混合，以提升重建效果：

特征圖組重建為高分辨圖像過程可看作特征提取階段的逆運(yùn)算。在傳統(tǒng)的方法中，此過程通常平均化重疊高分辨率特征圖以產(chǎn)生最終的完整圖像。可將輸入特征圖相應(yīng)位置看作高分辨圖像對(duì)應(yīng)像素不同維度的矢量形式。受此啟發(fā)，本文定義了一個(gè)卷積層來生成最終的超分辨率圖像。

式（12）是一個(gè)遠(yuǎn)程跳躍連接，將式（2）得到的初始圖像特征與式（11）子網(wǎng)絡(luò)得到的高維特征相加，加快訓(xùn)練速度；式（13）為重建高分辨率圖像表達(dá)式，Y為輸出的高分辨率目標(biāo)圖像為c個(gè)大小為3×3×64 的卷積核，c代表著圖像通道數(shù)量。b4表示卷積偏置。期望在重建網(wǎng)絡(luò)卷積中，卷積核作為一個(gè)反作用基底，將特征圖投影到圖像域中，重建高分辨率圖像。

上述三種由不同的功能驅(qū)動(dòng)的操作，都與卷積網(wǎng)絡(luò)具有一致的形式。將這三個(gè)操作復(fù)合在一起，構(gòu)建一個(gè)具有細(xì)節(jié)學(xué)習(xí)、噪聲消除功能的復(fù)合深度卷積神經(jīng)網(wǎng)絡(luò)（如圖3），用于圖像超分辨率重建。在此模型中，所有的權(quán)重值和偏置都要進(jìn)行訓(xùn)練優(yōu)化以獲得最優(yōu)值。

3.2 訓(xùn)練

訓(xùn)練的目的是通過優(yōu)化網(wǎng)絡(luò)找到模型的最佳參數(shù)，訓(xùn)練出最優(yōu)網(wǎng)絡(luò)，使獲得的超分辨率圖像無限接近于高分辨率原圖像。

3.2.1 損失函數(shù)（優(yōu)化目標(biāo)）

目前的圖像恢復(fù)任務(wù)中主要使用的還是L2 損失函數(shù)（均方誤差（mean squared error，MSE）），因?yàn)槭褂肔2 損失函數(shù)的網(wǎng)絡(luò)往往對(duì)PSNR 有針對(duì)性的提升。但是L2 指標(biāo)與人類感知的圖像質(zhì)量相關(guān)性較差，例如其假設(shè)噪聲與圖像的局部區(qū)域無關(guān)。而在有些情況下，L1 損失函數(shù)（平均絕對(duì)誤差（mean absolute error，MAE））獲得的圖像質(zhì)量會(huì)更好。式（14）與式（15）分別為L1 損失（MAE）與L2 損失（MSE）的數(shù)學(xué)表達(dá)式。

其中，P、T分別表示預(yù)測圖像與真實(shí)圖像，H、W分別為圖像的高度和寬度。

同L2 損失函數(shù)相比，L1 損失函數(shù)不會(huì)過度懲罰兩張圖的差異，因此它們具有不同的收斂屬性。并且Zhao 等人[36]證明了L1 與L2 切換使用，不僅可以加速訓(xùn)練損失的收斂，還能提升圖像預(yù)測結(jié)果。本文采用相同方式：先使用L1 損失函數(shù)加速訓(xùn)練收斂，防止陷入局部最小；訓(xùn)練后期再使用L2 損失函數(shù)尋找訓(xùn)練最優(yōu)值點(diǎn)，提升預(yù)測結(jié)果穩(wěn)定性。

3.2.2 網(wǎng)絡(luò)參數(shù)設(shè)置

在訓(xùn)練開始之前，需要初始化網(wǎng)絡(luò)參數(shù)以供后續(xù)更新。本文從平均值為0、標(biāo)準(zhǔn)偏差為0.001（偏差為0）的正太分布中隨機(jī)抽取數(shù)值，初始化每層的卷積核權(quán)重W，而偏置b則全部置0。設(shè)置學(xué)習(xí)率為0.000 1。使用Adam優(yōu)化方法[37]更新權(quán)重矩陣，以將損失函數(shù)數(shù)值降至最低。其參數(shù)更新公式為：

其中，β1設(shè)為0.9，β2設(shè)為0.999 9，ε設(shè)為10-8，學(xué)習(xí)率η為0.001。mt為梯度的第一時(shí)刻平均值，vt為梯度的第二時(shí)刻方差值。

使用tensorflow 框架來實(shí)現(xiàn)本文提出的模型，用NVIDIA 1080Ti GPU 加速訓(xùn)練過程并觀察到優(yōu)異的性能。訓(xùn)練所有實(shí)驗(yàn)達(dá)到100 輪次（每輪1 000 次迭代，迭代批次大小64）后停止學(xué)習(xí)。前50 輪使用L1損失函數(shù)，后50輪使用L2 損失函數(shù)。

4 實(shí)驗(yàn)分析與結(jié)果

在本章中，首先描述用于訓(xùn)練和測試本文提出方法的數(shù)據(jù)集；然后對(duì)本文提出方法進(jìn)行定性定量實(shí)驗(yàn)分析，評(píng)估本文所提方法的特性與性能，得到最優(yōu)的SISR 方法；最后在多個(gè)數(shù)據(jù)集上將本文方法與幾種最先進(jìn)的SISR方法進(jìn)行比較分析。

4.1 數(shù)據(jù)集

按照文獻(xiàn)[15,19]中對(duì)SRCNN、VDSR 等實(shí)驗(yàn)數(shù)據(jù)集的設(shè)置，使用相同的含有291 幅圖像的訓(xùn)練集，其中91 幅圖像來自Yang 等人[5]的T91 數(shù)據(jù)集，200幅圖像為公開自然圖像數(shù)據(jù)集BSD200[38]。SRCNN等已證明海量數(shù)據(jù)有益于深度卷積模型的訓(xùn)練，并且由于網(wǎng)絡(luò)采用全卷積結(jié)構(gòu)，輸入圖像的大小可以是任意的。在SRCNN 中訓(xùn)練圖像被裁剪成33×33大小，裁剪步幅為14。而VDSR 則將圖像裁剪的大小設(shè)為41×41，同時(shí)其在文獻(xiàn)中證明了大的裁剪圖可以增大卷積感受野，有助于重建效果的提升。因此，本文將291 幅訓(xùn)練集圖像分別進(jìn)行逆時(shí)針旋轉(zhuǎn)90°、倒置、鏡像翻轉(zhuǎn)操作，從而得到含有1 164 幅圖像的擴(kuò)充訓(xùn)練集。同時(shí)在數(shù)據(jù)集圖像上裁剪64×64大小的子圖，裁剪步長設(shè)為16。

對(duì)于測試數(shù)據(jù)集，本文使用通用的基準(zhǔn)測試[6,13]圖像數(shù)據(jù)集Set5[39]（5 幅圖像）、Set14[40]（14 幅圖像）、BSD100[31]（100 幅圖像），以及由Huang 等人提供的城市圖像Urban100數(shù)據(jù)集[7]（100幅圖像）。

本文中評(píng)價(jià)了3 個(gè)尺度因子，包括X2、X3 和X4。輸入的ILR是先進(jìn)行雙三次下采樣，再對(duì)下采樣圖像進(jìn)行一定比例的雙三次插值上采樣，并添加少量高斯隨機(jī)噪聲獲得的。

4.2 定性與定量分析

4.2.1 復(fù)合網(wǎng)絡(luò)聯(lián)結(jié)方式分析對(duì)比

經(jīng)過探究分析，本文使用簡單子網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)了兩種不同的子網(wǎng)絡(luò)聯(lián)結(jié)方式，即圖1 所示。通過調(diào)整不同聯(lián)結(jié)方式中單個(gè)子網(wǎng)絡(luò)的權(quán)值占比（α為子網(wǎng)絡(luò)1 的權(quán)重值，子網(wǎng)絡(luò)2 的權(quán)重值則為1-α），以PSNR 與SSIM 為分析評(píng)價(jià)指標(biāo)，得到如圖4 所示結(jié)果（指標(biāo)對(duì)比：數(shù)值越高，性能越好）。

由圖4 可以發(fā)現(xiàn)，聯(lián)結(jié)方式1 相比聯(lián)結(jié)方式2 可以獲得更高的PSNR 與SSIM 分?jǐn)?shù)值。而在聯(lián)結(jié)方式1 中：當(dāng)α=0.5，β=1-α=0.5 時(shí)，可以獲得最高的結(jié)果分?jǐn)?shù)。由此本文采用聯(lián)結(jié)方式1,α=0.5,β=0.5的復(fù)合網(wǎng)絡(luò)。

4.2.2 殘差學(xué)習(xí)

網(wǎng)絡(luò)在圖2 基礎(chǔ)上使用殘差學(xué)習(xí)添加兩種跳躍連接[16]。一種為局部特征連接，協(xié)助梯度的反向傳播，加快訓(xùn)練進(jìn)程。另一種則為遠(yuǎn)程跳躍連接，起到加快訓(xùn)練進(jìn)程，提高結(jié)果性能作用。

為探究殘差學(xué)習(xí)在網(wǎng)絡(luò)中的功能作用，本文實(shí)驗(yàn)比較了兩種網(wǎng)絡(luò)：含有遠(yuǎn)程跳躍連接和非遠(yuǎn)程連接網(wǎng)絡(luò)。實(shí)驗(yàn)在Set5 數(shù)據(jù)集上進(jìn)行，放大因子為2。參數(shù)設(shè)置、學(xué)習(xí)速率調(diào)度機(jī)制與前文相同。

在表1 中，對(duì)比了含有遠(yuǎn)程跳躍連接和非遠(yuǎn)程連接網(wǎng)絡(luò)的圖像重建返回結(jié)果性能。從中可以看出：網(wǎng)絡(luò)在收斂時(shí)，含有殘差的網(wǎng)絡(luò)表現(xiàn)出優(yōu)越的性能。當(dāng)訓(xùn)練完成時(shí)，含有遠(yuǎn)程跳躍連接的網(wǎng)絡(luò)獲得了更高的PSNR 與SSIM 分?jǐn)?shù)。證明了含有殘差學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)對(duì)圖像超分辨率重建有益。

Table 1 Residual learning test表1 殘差學(xué)習(xí)實(shí)驗(yàn) dB

Fig.4 Analysis and comparison of combination modes圖4 聯(lián)結(jié)方式分析對(duì)比

4.3 與先進(jìn)方法對(duì)比

4.3.1 客觀對(duì)比

本文采用圖4的網(wǎng)絡(luò)結(jié)構(gòu)，在Set5、Set14、BSD100和Urban100 測試數(shù)據(jù)集上，使用放大因子2、3、4 評(píng)估網(wǎng)絡(luò)的性能，評(píng)測標(biāo)準(zhǔn)使用平均PSNR 和平均SSIM。對(duì)比的先進(jìn)SR方法有：

Bicubic，像素插值方法[4]；

SelfEx，變換自相似圖像超分辨率方法[7]；

SRCNN，簡單的端到端卷積網(wǎng)絡(luò)圖像超分辨率重建方法[13]；

VDSR，帶有殘差學(xué)習(xí)的深度全卷積圖像超分辨率處理網(wǎng)絡(luò)[17]；

REDNet，由卷積層-反卷積層構(gòu)成的對(duì)稱的編解碼框架，對(duì)圖像超分辨與去噪表現(xiàn)出優(yōu)異效果[18]。

在表2 中，顯示了在多個(gè)測試數(shù)據(jù)集上使用不同放大因子基礎(chǔ)下，本文所提方法與先進(jìn)SR方法的比較。通過對(duì)比，本文所提SR方法相較于當(dāng)前各先進(jìn)SR 方法在PSNR 和SSIM 上均有提高。相較于高放大因子的LR圖像，低放大因子下生成的低分辨率圖像重建所需要的特征細(xì)節(jié)與網(wǎng)絡(luò)結(jié)構(gòu)要求稍低，過多的圖像特征細(xì)節(jié)可能反向影響圖像超分辨重建的效果，因此在Set5 與Set14 數(shù)據(jù)集中，放大因子為X2 超分辨結(jié)果稍差。本文所提方法在高放大因子重建的超分辨圖像相對(duì)VDSR、REDNet 等網(wǎng)絡(luò)表現(xiàn)出更加優(yōu)異的性能結(jié)果。

由于網(wǎng)絡(luò)采用了分支子網(wǎng)絡(luò)結(jié)構(gòu)，圖像SR 過程為并行過程。數(shù)據(jù)在兩個(gè)子網(wǎng)絡(luò)中同步運(yùn)行計(jì)算。對(duì)比具有相同層數(shù)的卷積網(wǎng)絡(luò)，如VDSR/REDNet等串式堆疊網(wǎng)絡(luò)能節(jié)省更多時(shí)間。

將本文方法以SRCNN為時(shí)間基準(zhǔn)，在Set5數(shù)據(jù)集上，放大倍率為X2，在AMD 2700X CPU+NVIDIA 1080Ti GPU+32 GB RAM 硬件設(shè)備條件下。與具有相同層數(shù)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行單幅圖像的平均處理運(yùn)行時(shí)間對(duì)比，結(jié)果如表3 所示。從表中結(jié)果可以得出結(jié)論，本文所提方法相比于其他深度網(wǎng)絡(luò)方法取得優(yōu)異重建效果的同時(shí)極大程度上減少了運(yùn)行時(shí)間，更滿足實(shí)時(shí)性要求。

4.3.2 主觀對(duì)比

分別在測試數(shù)據(jù)集Set14、BSD100、Urban100 選取復(fù)雜圖像，分別使用本文提出方法與先進(jìn)SR方法進(jìn)行超分重建，對(duì)比主觀視覺效果。圖像的重建返回結(jié)果如圖5～圖7所示。

在圖5 中，返回的是Set14 數(shù)據(jù)集008 圖像放大因子為4 的超分辨重建結(jié)果，觀測到本文方法在圖像抗鋸齒方面表現(xiàn)出優(yōu)異效果；圖6 中，返回的是BSD100 數(shù)據(jù)集043 圖像在放大因子X4 的超分辨重建結(jié)果，本文方法在船頂部分重構(gòu)出較為明顯的船艙細(xì)節(jié)圖，艙頂區(qū)域表現(xiàn)清晰，沒有模糊感；而在圖7返回了Urban100 數(shù)據(jù)集072 圖像使用放大因子為X4 的超分辨重建結(jié)果，可以看到本文方法相較其他SR方法在線條部分恢復(fù)得更清晰與連續(xù)。

Table 2 Performance evaluation comparison of each advanced SR method表2 各先進(jìn)SR方法測試集性能對(duì)比

Table 3 Comparison of average operation time of different SR methods表3 不同SR方法平均運(yùn)行時(shí)間對(duì)比 ms

在視覺感官對(duì)比上，本文所獲取的重建圖片效果明顯優(yōu)于其他先進(jìn)SR方法。

Fig.5 Comparison of visual effects of different SR methods for img008(Set14)圖5 img008（Set14）不同SR方法重建視覺效果對(duì)比

Fig.6 Comparison of visual effects of different SR methods for img043(BSD100)圖6 img043（BSD100）不同SR方法重建視覺效果對(duì)比

Fig.7 Comparison of visual effects of different SR methods for img072(Urban100)圖7 img072（Urban100）不同SR方法重建視覺效果對(duì)比

5 結(jié)束語

本文為解決簡單采用鏈?zhǔn)蕉询B而成的單一網(wǎng)絡(luò)存在的層間聯(lián)系弱、網(wǎng)絡(luò)關(guān)注點(diǎn)單一以及分層特征不能充分利用等問題，提出了用于圖像超分辨重建的復(fù)合深度神經(jīng)網(wǎng)絡(luò)。對(duì)于超分辨過程的細(xì)節(jié)重建、噪聲抑制等方面都有著非常顯著的效果。本文首先探索了子網(wǎng)絡(luò)不同聯(lián)結(jié)方式對(duì)最終重建效果帶來的影響，并選出最優(yōu)異的聯(lián)結(jié)方式；然后發(fā)現(xiàn)具有殘差學(xué)習(xí)的網(wǎng)絡(luò)比普通卷積網(wǎng)絡(luò)收斂得更快并顯著提升了重建性能；最終證明了本文提出網(wǎng)絡(luò)方法的性能相比當(dāng)前其他幾種先進(jìn)SR 方法具有更加優(yōu)異的性能表現(xiàn)。實(shí)驗(yàn)中，對(duì)同一幅圖像進(jìn)行超分辨率重建時(shí)，與Bicubic、SelfEx 等傳統(tǒng)算法相比，使用本文方法得到的圖像更清晰，細(xì)節(jié)表現(xiàn)得更豐富；而與SRCNN、VDSR 及REDNet 等深度學(xué)習(xí)SR 圖像重建算法相比，在圖像紋理信息豐富的區(qū)域，使用本文方法得到的重建效果更好。