基于可嵌入式網絡結構的圖像超分辨率重建方法

強保華，龐遠超，楊明浩，曾 坤，鄭 虹，謝 武，莫 燁

（1.桂林電子科技大學廣西圖像圖形與智能處理重點實驗室，廣西桂林 541004；2.桂林電子科技大學廣西可信軟件重點實驗室，廣西桂林 541004；3.桂林電子科技大學 廣西云計算與大數據協同創新中心，廣西桂林 541004；4.閩江大學 福建省信息處理與智能控制重點實驗室，福州 350108）

0 概述

圖像超分辨率（Super-Resolution，SR）重建任務是由一幅或多幅低分辨（Low-Resolution，LR）圖像重建出一幅具有高質量的高分辨率（High-Resolution，HR）輸出圖像。圖像超分辨率重建是目前提高圖像分辨率的主要手段，被廣泛應用于視覺成像、監控設備、衛星圖像和醫學影像等領域，也可作為許多圖像算法的前置輸入部分。

圖像超分辨率重建最早的研究工作是由TSAI和HUANG 在1984 年進行的，他們提出了在頻域內提高圖像分辨率的方法，這為推動超分辨率重建算法的研究具有重要作用。之后，很多相關的研究成果也陸續被提出來，圖像超分辨率重建算法得到了快速的發展，但隨著圖像重建的放大倍數越來越高，在傳統方法下重建的圖像質量效果不是很理想，滿足不了人們的要求。近年來，基于深度學習的超分辨率重建方法成為超分辨率算法研究中的熱點。SRCNN［1］是首個使用卷積神經網絡（Convolutional Neural Networks，CNN）結構的超分辨率算法，運用三層網絡結構能夠獲得比其他超分辨率重建算法更好的重建效果，這說明CNN 結構可以用于端到端的訓練方式來建立一個從LR 到HR 的映射圖。在此基礎上，更多的基于深度學習的超分辨率重建算法得到快速發展，超分辨率網絡也由相對較淺的SRCNN、FSRCNN［2］和ESPCN［3］網絡逐步發展為較深的VDSR［4］、SRGAN［5］和EDSR［6］網絡。深度學習逐步領先于早期的插值、鄰域嵌入和稀疏編碼等方法，確定了其在超分辨率重建領域的領先地位，并獲得了較大的成就。

隨著人們對圖像超分辨率重建任務的要求的增加，比如放大倍數的增大，使得采用模型的深度越來越深，這帶來了參數劇增、模型的穩定性不足和難以收斂等問題。研究者針對上述問題對算法進行了改進。如在EDSR 中，通過移除Residual block 中的BN（Batch Normalization，BN）層，并添加層間的放大因子來降低模型整體參數的數量，加快模型的收斂速度，這使得EDSR 得以擴展到了更深的深度。SRDenseNet［7］借鑒DenseNet［8］中稠密跳躍連接思想，將不同層提取出的特征信息直接作為后續層的輸入部分，同時間接壓縮塊之間的特征映射數量，提高模型收斂速度。而EEDS［9］嘗試從另一個角度解決這些問題，提出一個深層和淺層子網絡同步工作的算法，可以使得深層子網絡部分的超分辨率網絡模型更加容易收斂，并且可以達到更好的重建效果。之后，WDSR［10］也采用了類似的深層和淺層子網絡并行工作的框架，通過提高ReLU 層間的特征映射數量和壓縮Residual block 層間的特征映射數量來提高模型的性能與收斂速度。

本文研究深層和淺層子網絡結構的可嵌入性，設計一種可嵌入式的并行網絡結構框架（Embeddable Parallel Network Framework，EPNF）。EPNF 可用于提升當前圖像超分辨率重建算法的性能，而其他超分辨率網絡模型作為框架的深層結構部分嵌入到EPNF 中與淺層結構并行工作，此外，在EPNF 框架的基礎上，構建一種EPNF_DCSR 網絡模型。

1 相關工作

1.1 深度特征提取

超分辨率重建任務需要獲取圖像的高層和淺層特征，然后對圖像進行重建。而提取高層特征的最好方法是使用更深層次的網絡結構，因此重建圖像的卷積神經網絡，向更深層次的網絡結構發展。從LeNet［11］最初的5 層到AlexNet［12］的8 層，再到VGGNet［13］，都使得網絡越來越深。但是網絡越深，計算開銷會越大。2014 年，Google 提出了Inception結構［14］，在層數增加的同時參數數量變少，大幅提高了網絡的性能。隨著神經網絡越來越深，人們在實驗中發現不是越深的網絡效果就越好，當網絡到達一定深度之后會產生梯度消失的現象，這會導致模型的退化，從而影響網絡的性能。2015 年，ResNet［15］引入了跳躍連接結構來防止梯度消失的問題，并且加速了神經網絡的訓練，模型的準確率也有了很大的提升。2017 年，DenseNet 運用稠密連接的思想，把每一層的特征連接起來，進一步減輕了梯度消失問題。在圖像超分辨率任務中，跳躍連接具有更深層次的意義。由于圖像超分辨率本質上是一個圖像重建任務，網絡需要提取圖像的高層和低層特征，使得超分辨率重建模型更加容易產生梯度消失，因此目前主流的超分辨率重建算法都運用了跳躍連接的思想。

1.2 基于CNN 的單幅圖像超分辨率

為解決超分辨率重建問題，早期方法使用頻域法和空域法進行插值，但是這種傳統算法的模型表達能力非常有限，之后人們引入由學習模型獲得的先驗知識，以得到圖像的高頻細節，獲得了較好的圖像重建效果。SRCNN 是將深度學習首先使用在超分辨率重建任務上的模型，其僅使用三層卷積就獲得了當時最先進的圖像重建質量；ESPCN 提出了子像素卷積，直接在低分辨率圖像尺寸上提取特征，計算得到高分辨率圖像；VDSR 引入了殘差結構，加深了網絡結構，并且使網絡的收斂速度加快，它還將不同倍數的圖像混合在一起訓練，解決了用一個模型生成不同倍數的超分辨率圖像的問題；DRRN［16］提出了遞歸殘差模塊，構造了更深層的網絡，獲得了更好的生成效果；SRDenseNet 利用DenseNet 的稠密塊思想，將每一層的特征都輸入到之后的所有層，使所有層的特征都串聯起來，得到的重建網絡性能有了進一步提升；SRGAN 運用生成對抗網絡的思想來解決超分辨率重建的問題，發現用均方差作為損失函數生成圖像容易丟失高頻細節，因此采用感知損失和對抗損失作為損失函數，從而重建出了更為逼真的圖像；EDSR 算法去掉了SRGAN 中多余的BN 層，并且用L1 范式作為網絡的損失函數，得到了更好的生成結果。

目前許多超分辨率重建算法都是由圖像分類網絡進行改進而來。圖像分類網絡中的卷積神經網絡主要承擔高層特征的提取任務，并通過分類層對圖像進行分類，而圖像超分辨率網絡中卷積神經網絡不僅要提取圖形的高層特征，也要提取低層特征，并最終通過上采樣對圖像進行重建。

1.3 上采樣

上采樣結構主要承擔超分辨網絡的放大任務。早期的超分辨率網絡SRCNN、VDSR 直接使用bicubic［17］對LR 圖像進行放大作為輸入，但這被證明是十分低效的。因為直接使用放大后的圖像作為輸入，將會為重建網絡帶來成倍的計算開銷。FSRCNN 以原始LR 圖像作為輸入，在網絡末端添加反卷積層，在不損失精度的情況下減少了網絡的參數，加快了模型的運行速度。因此，當前算法大多采用了網絡末端的上采樣結構作為放大層。然而，上采樣使用反卷積在后來被證明會產生棋盤偽像［18］，嚴重影響網絡的性能，而用子像素卷積進行上采樣操作不但不會產生棋盤偽像，還會加快網絡的運行速度。

2 模型結構

本節描述所提出的模型EPNF_DCSR，模型結構如圖1 所示。

圖1 EPNF_DCSR 模型架構Fig.1 Architecture of EPNF_DCSR model

2.1 架構總體描述

EPNF_DCSR 由重建圖像主體部分的EPNF 框架和重建圖像細節部分的深層嵌入結構組成。其中，EPNF 是一個通用型的網絡框架，可以和其他傳統的端到端結構的網絡模型相結合，從而獲得比原模型更好的性能。改進后的模型僅需要花費極少的參數代價，即可提高模型的穩定性，使模型更加容易收斂。

2.2 EPNF 框架結構

超分辨率重建任務需要重建出放大尺寸的原圖，即需要高級特征也需要低級特征。在SRDenseNet中，把輸入圖像與提取到的深層特征進行短接，這樣可以同時使用圖像的高級特征和低級特征進行重建，而且有助于網絡傳遞信息，使其易于訓練，但是這種短接的方式相當于把輸入原圖當成低級特征與高級特征進行融合，影響最終的重建效果。為此，本文提出EPNF 框架，該框架的淺層結構與深層結構分別提取圖像的底層特征和高層特征，再把特征映射放大為輸出圖像的尺寸，最后將特征映射相加生成HR 圖像，這種深淺層特征分開提取的設計思路可以有效提取并且利用輸入圖像的底層特征，使得網絡更容易傳遞信息，使其易于訓練。

EPNF 框架結構見圖1（a），輸入圖像經過一個5×5 的單層卷積提取圖像底層特征，然后經過上采樣將特征映射尺寸放大成與輸出圖像尺寸一致，最后與深層嵌入結構的輸入相加。在上采樣層的選擇上，反卷積層雖然也可以作為模型的上采樣層放大特征映射，但最新研究表示，使用反卷積作為上采樣容易產生棋盤偽像，因此，本文使用子像素卷積作為模型的上采樣結構。淺層結構的單層卷積使用零填充方法控制生成的特征映射與原圖尺寸一致，再通過子像素卷積層把特征映射放大成HR 圖像大小。而深層嵌入結構的結果，可以看成是對HR 圖像的高頻成分輸出。深淺層網絡結構并行的工作方式，使得框架能夠在付出很小參數代價的條件下，加快所嵌入的超分辨率模型的收斂速度，并在一定程度上提高了模型的準確率。

深層、淺層結構的輸出結果相加產生最終重建的結果，所以要求兩種網絡子結構的輸出尺寸和HR圖像的尺寸一致。EPNF 的卷積層中使用零填充方法控制生成的特征映射與原圖尺寸一致，再通過子像素卷積層把特征映射放大成HR 圖像大小。深層嵌入結構也使用同樣的放大方法把特征映射放大成HR 圖像大小。EPNF 框架的淺層和深層嵌入結構具有各自的獨立性，只要輸出尺寸相同然后相加，就可以完成超分辨重建任務。

此外，本文對EPNF 框架進行可視化分析，將訓練好的EPNF_DCSR 模型用圖像進行測試，并且將其結果可視化，結果如圖2 所示。

圖2 HR 圖像減去淺層結構生成的高頻細節特征Fig.2 HR image minus high-frequency detail features generated by shallow structure

從圖2 可以看出，將HR 圖像減去EPNF 提取圖像的底層特征生成的圖，得到HR 圖像高頻的細節特征，與可視化深層嵌入結構生成的圖很相似，從而可以得出訓練好的模型的EPNF 框架能生成HR 圖像的低頻圖。可視化模型的另外一個優點是：在與EPNF 框架和深層嵌入結構生成的特征相加時，可以根據可視化結果添加權重以適應不同的應用場景。

2.3 深層嵌入結構

許多超分辨率重建算法的特征提取模塊都是由圖像分類網絡進行改進得到。在DenseNet 中，Dense block 通過稠密跳躍連接使層與層之間短接，確保塊間最大的信息流通，能進行特征重用，使網絡易于訓練。但從中可以發現，在圖像超分辨領域中，使用Dense block 的SRDenseNet 和同期使用了Residual block 作為基礎層結構的EDSR［14］相比，SRDenseNet 網絡雖然更深，但在評價指標上卻遜色于EDSR［14］，這主要是因為Dense block 的入口通道數突變導致的。

在Dense block 結構中，第i層接收前面所有層的特征來作為它的輸入，如式（1）所示：

其中，[X1，X2，…，Xi-1]表示在前面的卷積層1，2，…，i-1中輸出的特征，這會導致Dense block 內的卷積輸出特征的通道數成倍增長，最后Dense block 輸出特征的通道數非常大。特征輸入到下一個Dense block之前需要經過卷積處理，把特征的通道數壓縮到非常小，這樣的通道數突變會導致特征損失嚴重。本文的深層網絡結構將稠密跳躍連接使用在了塊之間，這樣既能繼承DenseNet 的優點，又能避免因為特征的通道數突變而造成特征損失。

深層結構使用刪除了shortcut connection 之后的Residual block 作為基礎塊結構，并稱這樣的塊結構為Basic bock，如圖3 所示。Residual block 的原理是塊的輸入和塊的輸出短路連接在一起，連接方式是通過元素級相加，所以塊的輸出通道數需要與輸入通道數一致。DenseNet 每個層都會與前面所有層在通道維度上連接在一起并作為下一層的輸入。在深層結構中，稠密跳躍連接不是使用在塊內，而是使用在塊間，如果稠密跳躍連接和shortcut connection 同時存在，則shortcut connection 會使每個塊的輸出通道等于輸出通道，疊加之后會造成通道數成指數增長，網絡參數也會成指數增長，而且shortcut connection主要是為了防止模型過擬合，稠密跳躍連接也能達到防止過擬合的效果，所以將Residual block 中的shortcut connection 刪除，而用Basic bock 代替。

圖3 Basic bock 示意圖Fig.3 Schematic diagram of Basic bock

深層結構如圖1（b）所示，輸入圖像首先經過一個3×3 的卷積，然后經過塊間使用稠密跳躍連接的16 個Basic bock 的結構，最后是3×3 卷積和sub-pixel convolutional 上采樣結構。Basic bock 中的卷積層都使用3×3 的卷積，在第2 個卷積層中，使用64 個卷積核生成通道數為64 的特征映射。

更深的模型意味著更好的非線性表達能力，在沒有產生模型退化的條件下，越深的模型性能會越好。本文深層結構的參數量主要在16 個Basic bock中，并且Basic bock 相比于當前流行的超分辨率算法中的基礎塊結構要簡單得多，可以在有限的計算資源下構建一個更深的模型，而且通過EPNF 框架的淺層結構和深層嵌入結構分別提取圖像的淺層特征和深層特征，能使模型不容易產生退化。另外，在塊間使用稠密跳躍連接，既能解決卷積通道數驟然變小損失特征信息的問題，又能增加特征重用，并且能很好地抑制過擬合問題的產生。

3 實驗結果與分析

3.1 實驗設置

本文實驗選擇Ubuntu 16.04 操作系統，訓練使用一張NVIDIA Tesla P100 顯卡。

實驗采用DIV2K 數據集［19］。該數據集是用于圖像恢復任務的一個高質量數據集，由800 張訓練圖像、100 張驗證圖像和100 張測試圖像組成。其中，訓練集圖像編號為0001～0800，驗證集圖像編號為0801～0900。DIV2K 數據集最初被用于NTIRE比賽，數據集內的測試圖像的原圖并沒公開發布。因此，在評估各組模型的過程中，使用的測試圖像是DIV2K 編號為0801～0900 的驗證圖像。此外，除了DIV2K 數據集外，還使用了Set5［20］、Set14［21］、B100［22］和Urban100［23］等不同數據集驗證各個模型的性能。

本文評估模型的客觀性能指標采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）。實驗先將圖像轉換為YCbCr 色域，然后使用PSNR 值對Y 通道進行評估。

3.2 實驗參數

在訓練過程中，將尺寸為96×96 的LR 圖像塊作為輸入，并使用與其對應的96r×96r的HR 圖像塊作為目標圖像，其中r為放大因子。另外，使用均方誤差（Mean Squared Error，MSE）作為模型的損失函數，并采用Adam 優化器優化所有的網絡。其中，Adam 優化器的初始參數使用默認值：β1=0.9，β2=0.999，ε=10-8。Batch size 的大小設置為16。

3.3 實驗方案

第1 組實驗主要用于驗證單層卷積是否可以有效提取低級特征。本文分別使用Bicubic、單層CNN將VDSR 嵌入新框架，對所得到的EPNF_VDSR 模型進行實驗。實驗分別比較了不同卷積核大小對基于可嵌入式并行網絡框架的影響。訓練集為DIV2K（0001～0800），測試集為DIV2K（0801～0900）。單層CNN 使用H×W×c大小的LR 圖像作為輸入，輸出為H×W×r2c，其中，H為LR 圖像的高，W為圖像的寬，c為圖像的通道數。最后經由子像素卷積層重建為rH×rW×c大小的HR 圖像，其中放大因子r=2。

第2 組實驗主要用于驗證EPNF 框架的性能。實驗分別對比了兩組不同的模型在DIV2K 訓練集上的模型收斂時間和訓練效果，每組分為原模型（VDSR，EDSR）以及和EPNF 相結合的改進之后的新模型（EPNF_VDSR，EPNF_EDSR），放大因子r=2。這些改良模型在對圖像細節實行修復時，均使用大小為H×W×c的LR 圖像作為輸入，輸出維度為2×2×c，并經子像素混洗層放大為2H×2W×c的HR 圖像。

第3 組實驗是用EPNF_DCSR 和當前主流模型的性能對比。實驗分別對比了傳統算法Bicubic、A+［24］以及基礎深度學習超分辨率算法模型SRCNN、VDSR，最后比較了SRDenseNet 算法和最新的冠軍算法WDSR。其中，SRDenseNet 算法尚無以DIV2K 數據集為訓練樣本的版本，因此本文對其進行了復現。由于SRDenseNet 原模型為×4 放大模型，通過尾部的兩層反卷積層達到放大效果，因此復現×2 模型使用一層反卷積達到放大效果，復現×3 模型不使用反卷積層轉而使用子像素卷積放大3 倍達到復現效果。實驗結果中×4 模型的重建結果在基準數據集上的評價指標均高于對比方法中的結果，因此完成了復現。由于WDSR 中只使用了16 層Residual block 和通道數為64 的塊內特征映射。為了公平起見，本文模型只使用了稠密跳躍連接的16 個Basic block 作為基礎層結構，并且塊內特征映射的通道數也為64，使模型保持相同量級的參數規模進行比較。

3.4 實驗結果

對于第1 組實驗，實驗結果如表1 所示。通過實驗可以發現，即使是單層CNN 結構也具備較強的重建能力。對比Bicubic 算法模型，單層CNN 結構可以通過簡單的訓練后獲得更高的性能，具備可學習能力的單層CNN 結構也更為靈活。

表1 采用單層CNN 重建的評估結果Table 1 Evaluation results with single-layer CNN reconstruction dB

單層卷積的卷積核越大，感受野也越大，提取到的淺層特征用于后續的相加效果就越好。從表1 可以看出，如果僅僅采用單層卷積進行重建，當卷積核大于7×7 時，進一步提升卷積核的大小將不會再帶來重建效果上的明顯提升。而采用EPNF 框架進行圖像重建，將網絡模型嵌入EPNF 框架之后，單層卷積的卷積核為5×5 時，進一步提升卷積核的大小將不會帶來模型效果上的明顯提升。考慮到卷積核增大的同時會帶來模型參數和計算量的提升，因此對于基于EPNF 框架的重建模型，本文統一采用的卷積核大小為5×5。

對于第2 組實驗，網絡的收斂曲線如圖4 所示，最終的訓練結果如表2 所示，其中，訓練集為DIV2K，放大倍數為2，粗體為最優值。

圖4 兩種算法的EPNF 性能曲線Fig.4 EPNF performance curves of the two algorithm

表2 兩種模型及其嵌入EPNF 模型的平均PSNRTable 2 Average PSNR of the two models and its embeddable EPNF model dB

從表2 可以看出，在與EDSR 的對比實驗中，由于EDSR 出于性能上的考慮，移除了普通殘差塊內用于加快收斂及提高模型穩定性的批標準化層，在訓練過程中表現為更欠缺穩定性。在使用嵌入式并行結構后，改進后的EPNF_EDSR 模型表現出了極強的收斂性能。同時，在VDSR 的對比實驗中，由于VDSR 只使用了簡單的堆疊式CNN 結構和全局殘差連接，在訓練過程中表現為模型退化問題嚴重，在運用嵌入式并行結構后，改進后的EPNF_VDSR 帶來了性能上的突破。這意味著主體修復結構可以適用于不同類型的超分辨率網絡，并一定程度上為其帶來效率以及性能上的提升。從實驗結果可以看出，與原模型相比，和EPNF 相結合的改進后的新模型在收斂速度上更具優勢，且訓練中的數值波動更小，并且一定程度上提高了模型的準確率。

對于第3 組實驗，各模型的性能對比結果如表3 所示（粗體為最優值）。第3 組實驗用本文模型EPNF_DCSR 和當前主流的模型做對比，EPNF_DCSR模型的實驗結果達到了當前較高的水準。與WDSR 對比，本文的網絡并沒有使用額外的層與更寬的通道，而是運用了全局的稠密跳躍連接提高了每層的輸入特征數量。這使得本文模型在保持較小的層間特征流動的情況下，加強了層內的特征交互。圖5 為EPNF_DCSR模型與其他模型的對比結果，可以看出，本文模型能夠更準確地重建出圖像的邊緣細節信息。

表3 不同模型在多個數據集上的平均PSNRTable 3 Average PSNR of different models on multiple datasets dB

圖5 不同模型生成效果對比Fig.5 Comparison of generation effect between different models

4 結束語

本文研究了基于嵌入式的深層結構和淺層結構并行工作的SR 框架EPNF，將該模型框架與基于深度學習的圖像超分辨率網絡相結合，使得改進的網絡模型在具有相同級別的參數和復雜度的條件下更加穩定，訓練更容易收斂，且測試的準確率更高。在此基礎上提出了一種基于EPNF 框架的圖像超分辨率算法EPNF_DCSR。實驗結果表明，該算法在多個數據集中具有較高的準確率。下一步將以小尺寸圖像作為輸入驗證模型的生成效果，并將模型應用到小目標識別領域。