基于輕量自動殘差縮放網絡的圖像超分辨率重建

代 強，程 曦，王永梅*，牛子未，劉 飛

（1.安徽農業大學信息與計算機學院，合肥230036； 2.南京理工大學計算機科學與工程學院，南京210094）

（?通信作者電子郵箱wym@ahau.edu.cn）

0 引言

圖像超分辨率重建技術具有非常廣闊的應用前景，在視頻游戲、高清音視頻、醫學成像等許多領域具有很高的實用價值。單幅圖像超分辨重建是一個典型的計算機視覺問題，旨在將低分辨率（Low-Resolution，LR）圖像重建為高分辨率（High-Resolution，HR）圖像。此外，神經元科學領域的信息門控以及注意力機制［1-2］的思想對于構造出更好的單幅圖像的超分辨率重建網絡影響很大。隨著深度學習的不斷發展，深度學習已應用于許多圖像超分辨率重建任務。與早期算法相比，卷積神經網絡具有更高的性能。AlexNet［3］在圖像識別中的出色表現使深度卷積神經網絡成為當今的研究熱點。之后，VGG［4］證明了通過加深卷積神經網絡各層來增強識別性能的方法，但是，隨著網絡的深入，模型的訓練變得越來越困難。為了解決這個問題，Highway Network［5］被提出，隨后的深度殘差網絡（deep Residual Network，ResNet）［6］使極深的網絡模型成為可訓練的。卷積神經網絡在早期只用于識別任務，但是后來發現卷積網絡在許多領域都具有巨大的價值，例如目標檢測［7-8］、圖像語義分割［9-10］和圖像風格遷移［11-12］等。圖像超分辨率重建是計算機視覺領域的重要任務，諸如最近鄰插值、雙線性插值和雙三次插值之類的早期插值方法已在各種軟件中廣泛使用。然而，以上圖像重建方法幾乎不能達到令人滿意的水平。

Yang等［13-14］提出了基于經典稀疏編碼的圖像超分辨率重建方法，并取得了良好的效果；Salvador等［15］提出了貝葉斯方法來完成圖像超分辨率重建任務；Timofte等［16-17］通過錨定鄰域回歸提出了調整后的基于鄰域快速回歸的快速的超分辨率方 法（Adjusted Anchored Neighborhood Regression for Fast Super-Resolution，A+）。這些模型進一步改善了圖像的峰值信噪比。Huang等［18］提出了具有圖像自相似的單幅圖像超分辨率方法（single image Super-Resolution from transformed Self-Exemplars，SelfExSR）模型，針對紋理自相似的圖像具有更好的還原效果。近年來，許多基于深度神經網絡的單幅圖像超分辨率重建模型被提出進一步提高了重建性能。Dong等［19］提出了基于卷積神經網絡的超分辨率方法（Super-Resolution Convolutional Neural Network，SRCNN），SRCNN是深度學習在圖像超分辨率重建上的開山之作，對于一個低分辨率的圖像，SRCNN首先采用雙三次插值（bicubic）將低分辨率圖像放大成目標尺寸，接著通過三層卷積網絡擬合非線性映射，最后輸出高分辨率圖像結果。后來，文獻［20-21］提出用于稀疏先驗的圖像超分辨率的深層網絡（Deep networks for image superresolution with sparse prior，CSCN），且具有更高的重建性能。Shi等［22］通過高效的亞像素卷積神經網絡實現了實時圖像和視頻超分辨率重建，該方法在低分辨率空間中提取特征圖，同時引入了一個有效的子像素卷積層，該層學習了一個升序濾波器陣列，將最終的低分辨率特征圖升級到高分辨率輸出，這樣可以有效更換超分辨率通道中的雙三次插值濾波器，并為每個特征圖進行專門訓練以獲得更復雜的升頻濾波器，同時還降低了整個超分辨率操作的計算復雜度。Lai等［23］提出了一個基于拉普拉斯金字塔網絡的圖像超分辨率重建模型（Laplacian Pyramid Super Resolution Network，LapSRN），該模型的每一級的金字塔都以粗糙分辨率的特征圖為輸入，用解卷積來升采樣得到更精細的特征圖，此外該模型可以通過一次正向計算實現多尺度的超分辨率重建。后來，Ren等［24］提出了一種具有k-均值和卷積神經網絡的單幅圖像超分辨率重建方法，該方法不僅利用卷積神經網絡的深度學習能力，而且使它們適應于描繪紋理多樣性以實現超分辨率重建。Tai等［25］提出了利用局部殘差學習和全局殘差學習的通過深度遞歸殘差網絡實現圖像的超分辨率方法（Image Super-Resolution via Deep Recursive Residual Network，DRRN），該模型中的每個殘差單元都共同擁有一個相同的輸入，該模型中的每個殘差單元都包含2個卷積層，在DRRN中的每一個遞歸塊內，殘差單元內對應位置相同的卷積層參數都共享。Tong等［26］也利用密集連接建立了一個超分辨率重建網絡，該模型引入了一個由遞歸單元和門單元組成的存儲塊，通過自適應學習過程準確地挖掘持久性存儲器。遞歸單元在不同的接收域下學習當前狀態的多級表示，該模型在各層之間密集地連接特征圖，并取得了很高的性能。

本文提出了一個具有自動殘差縮放功能的輕量級網絡（light-weight Network with Automatic Residual Scaling，ARSN），并與加速超分辨率卷積神經網絡（Fast Super-Resolution Convolutional Neural Network，FSRCNN）［27］、使用超深度卷積網絡的精確圖像超分辨率方法（accurate image Super-Resolution using Very Deep convolutional network，VDSR）［28］、用于圖像超分辨率的深度遞歸卷積網絡方法（Deeply-Recursive Convolutional Network for image super-resolution，DRCN）［29］、用于圖像還原的持久性存儲網絡（persistent Memory Network for image restoration，MemNet）［30］等網絡比較了網絡輸入、層數、是否使用殘差學習等參數。如表1所示，這些方法的網絡層數趨于越來越深，而本文方法網絡權重相對較輕，層數少得多。同時，本文方法可以直接輸入低分辨率圖像而無需進行雙三次插值，這可以減少額外的計算。

表1 先進方法概述Tab.1 Overview of state-of-the-art methods

1 本文方法

1.1 模型結構

ARSN的基本結構如圖1所示，該模型包含幾個用于特征提取的特殊殘差塊，殘差塊的數量可以根據實際情況增加或減少，所有殘差塊的輸出通過跳躍連接在級聯層中連接，然后使用重建網絡來重建出高分辨率圖像。

圖1 ARSN的結構Fig.1 Structure of ARSN

1.2 殘差模塊

如圖2所示，每個殘差塊包含兩個卷積層，每個卷積層包含64個具有3×3內核大小的卷積核，以保持輸出特征圖的比例。

圖2 特定殘差塊的結構Fig.2 Structure of a specified residual block

殘差塊中的第一卷積層通過參數整流線性單元（Parametric ReLU，PReLU）［31］激活函數。PReLU的公式如下所示：

pi用式（2）進行權重更新，其中μ是動量，?是迭代的學習率，而ε是損失函數。

與標準殘差網絡和SrResNet中的殘差塊不同，本文提出的模型中的殘差塊會刪除無用的批標準化層。Szegedy等［32］發現添加特征圖將使模型的訓練變得不穩定。因此，按照Szegedy等［32］和Lim等［33］的方法，本文提出的模型在殘差塊的第二個卷積層之后添加殘差門控。

根據最新流行病學資料顯示[7-8]，全球糖尿病患者人數在3.8億左右，是目前最為嚴重的代謝性疾病之一，嚴重影響患者的生活質量和生活健康。糖尿病患者往往存在多飲、多食、多尿以及身體消瘦等臨床癥狀，對糖尿病患者進行中醫護理具有重要意義。中醫認為人體是一個有機的整體，強調人與自然、環境的相互統一，中醫學中，糖尿病（消渴）病機是陰津虧損、稟賦不足以及燥熱偏盛等，所以強調在疾病的治療和康復中保證患者的生活護理質量，從整體的角度出發。其次，中醫特色護理具有個性化特征，針對不同個體患者和患者疾病的不同階段[9]，在中醫辨證的基礎上進行個體化指導，能夠讓治療具有針對性，促進患者的康復。

如圖3所示，本實驗研究了殘差塊的4種不同結構。

圖3 不同殘差塊的結構Fig.3 Structure of different residual blocks

本文提出模型中的殘差塊可以表示為式（3）：

其中：xi是一個殘差塊的輸入；xi+1是輸出；G表示殘差縮放門；W1、W2是每個卷積層的權重；δ表示PReLU激活函數。

1.3 重建網絡模型

本文在重建網絡中利用了全局殘差學習，這可能會導致網絡的主要分支學習或預測圖像的細節。ARSN還使用了亞像素重組（subpixel shuffle）來放大低分辨率圖像，實驗發現與簡單的反卷積層或雙三次插值相比，全局殘差可以更快地收斂并產生更好的質量。主要的重建過程如圖4所示。

圖4 重建網絡的結構Fig.4 Structureof reconstruction network

實驗還使用稱為多重監督的重建網絡監督ARSN的每個輸出。通過最小化模塊的平均L1損失來訓練模型，可以在式（4）中看到：

其中：L表示總損失函數；N表示自動殘差縮放塊的數量；yH和yL表示高分辨率標簽圖像和低分辨率輸入圖像；M代表本文提出的神經網絡從低分辨率到高分辨率的映射；θ代表要優化的網絡參數。

2 實驗過程與結果

2.1 數據集

在實驗中，DIV2K數據集用于訓練模型。將訓練圖像隨機旋轉或翻轉作為數據增強。所有RGB圖像都被轉換到YCbCr色彩空間，在訓練期間僅使用其Y通道。另外，還使用BSD100［34］、Set5［35］、Set14［36］和 Urban100［18］作為測試集來評估模型的性能。

2.2 訓練細節

實驗硬件配置：CPU為Xeon 48 Cores，GPU為NVIDIA Tesla P40，256 GB內存。軟件環境：Ubuntu16.10，CUDA8.0/CUDNN5.1，PyTorch 0.2。本文模型使用PyTorch作為框架來構建超分辨率模型，并使用并行計算機架構（Compute Unified Device Architecture，CUDA）來加快訓練速度。將初始學習率設置為0.000 1，并且在60個epoch后會降低。實驗還使用Adam優化器來最小化損失函數，并訓練了120個epoch。初始殘差比例因子設置為0.25，并將在訓練模型時自動更新。動量設為0.9，權重衰減設為0.001。將256張圖像設置為mini batch，以供輸入模型。

2.3 實驗結果

使用8位圖像，因此n值為8，此外，均方誤差（Mean Squared Error，MSE）可以用式（6）表示：

本文僅使用YCbCr圖像的Y通道，對于單通道輸入，公式中的W和H表示輸入圖像的寬度和高度，X和Y表示原始圖像和生成圖像。

表 2和表 3顯示了 Set5、Set14、BSD100和 Urban100上scale x2和scale x4超分辨率任務的方法的結果，最好的結果用加粗標記，第二好的結果用下劃線標記。

2.4 超分辨率結果的視覺比較

作為比較示例，本文從BSD100數據集中選擇了3個圖像，分別是img_052、img_039和img_084。本文將傳統的重建方法，包括本文將傳統的重建方法，包括雙三次差值、A+、SelfExSR，基于深度學習的方法，包括SRCNN、VDSR、DRCN、LapSRN與本文提出的ARSN進行了比較，如圖5所示。

圖5 本文模型與現有方法的定性比較Fig.5 Qualitativecomparison between ARSNwith existingmethods

從圖5可以看出，ARSN在細節和紋理上都有較好的表現：圖5（a）只有ARSN可以正確重建斑馬線上的紋理，而其他對比方法則會使線條模糊；圖5（b）顯示本文方法在重建一些難以恢復的密集紋理時具有較少的錯誤；圖5（c）的結果表明，與現有方法相比，本文方法在重建圖像細節上的性能更加優異。

表2 數據集Set5、Set14、BSD100和Urban100上的scale x2的PSNR和SSIMTab.2 PSNRand SSIMof scalex2 on Set5，Set14，BSD100 and Urban100 datasets

表3 數據集Set5、Set14、BSD100和Urban100上的scalex4的PSNR和SSIMTab.3 PSNRand SSIMof scalex4 on Set5，Set14，BSD100 and Urban100 datasets

2.5 參數數量與性能比較

模型參數的數量會影響模型的速度和硬件占用率，而較少的參數可以有效地減少計算量。圖6顯示了本文提出的ARSN與其他先進模型參數的比較以及在Set14測試集上的圖像重建性能的比較。

圖6 不同模型參數數量和PSNR值比較Fig.6 Comparison of thenumber of model parametersand PSNR valuesof different methods

圖6包括與DRRN、LapSRN、帶有跳躍連接且可以快速而準確的實現圖像超分辨率方法（Fast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in Network，DCSCN）［37］、VDSR、DRCN、MemNet和使用具有對稱跳躍連接的非常深的卷積編碼器/解碼器網絡進行圖像恢復的方法（image restoration using very deep convolutional encoderdecoder networks with symmetric skip connections，RED30）［38］等網絡模型，可以看出ARSN在Set14測試集上具有更高的PSNR值，并且模型的參數也較少。

3 討論

3.1 殘差塊數

在ARSN模型中，每個殘差塊包含兩個卷積層，殘差塊的數量控制模型的深度。隨著殘差塊數的變化，模型的性能將在一定程度上變化，但是，殘差塊數量的增加將大大增加模型中參數的數量，過多的殘差塊會降低模型的速度。因此，為了使模型具有較高的性能和速度，找到合適數量的殘差塊是非常重要的。實驗在NVIDIA Tesla P40顯卡上進行測試，測試了不同數量的殘差塊的時間和內存消耗，結果顯示見表4。本文使用BSD100測試集測量內存消耗和運行時間，該測試集包含100張分辨率為480×320的圖像。此外，本文使用Python中的時間庫來計算這些圖像之間的平均運行時間。

從表4中可以看出，隨著殘差塊數的增加，模型的性能會更好，但是當殘差塊數的數量超過7時，模型的性能幾乎沒有提升而內存消耗和運行時間卻增加了很多，所以，從實際的角度來看，為了確保模型的實時速度和低內存占用率，應將殘差 塊的數量控制在7個以下。

表4 不同數量的殘差塊的性能比較Tab.4 Performancecomparison of different number of residual blocks

3.2 濾波器個數

每個卷積層中的濾波器數量會影響模型的性能和參數數量。數量太少會導致性能不佳，但是，如果數量太大，模型的訓練將變得不穩定，模型的速度將大大降低，因此有必要找到合適數量的濾波器。表5中顯示了模型性能與每個卷積層中濾波器數量之間的關系。本節以和第3.1節中相同的方式測量GPU內存消耗和運行時間。

從表5中可以看出，當濾波器的數量超過64時，模型的性能會下降，但GPU內存消耗和運行時間卻會增加很多。這是由于當濾波器數量過大時，模型中的參數數量很大，模型的訓練將會變得非常困難，往往會出現過擬合，模型的性能也會降低，所以選擇合適的濾波器數量是非常重要的。

表5 每層中不同數量濾波器的性能比較Tab.5 Performancecomparison of different number of filtersin each layer

3.3 激活函數

本節研究殘差塊中卷積層之間的激活函數。實驗用7個殘差塊固定模型，并將模型性能與Sigmoid、ReLU、PReLU和Swish［39］進行比較，實驗結果見表6。

表6 不同激活函數的模型性能表現Tab.6 Performanceof models with different activation functions

如表6所示，根據PSNR，ReLU和PReLU在Set5中獲得了相似的結果，但是PReLU在Set14和BSD100中更好。Sigmoid的成績最差，僅在Set5中得分37.27。事實證明，Swish在其他任務（如圖像分類）中具有更好的性能，而實驗發現這種方法不適用于超分辨率重建任務。

3.4 殘差縮放

本節主要研究殘差縮放如何影響最終模型的性能。從3.1節的實驗中可以得出，當殘差塊數量為7時，模型的性能最好，所以在本節研究殘差縮放如何影響最終模型的性能的實驗中，用7個殘差塊固定了模型，并比較了有0.5縮放因子的固定縮放（Fixed parameter）、自動殘差縮放（Automatic scaling）以及空間參數縮放（Spatial parametric scaling）等三種縮放對最終模型的性能影響，其中沒有使用縮放的模型（Original residual）用來作實驗對比。

從表7的實驗結果得出使用了縮放的模型在SSIM中獲得了相似的分數，而自動縮放在PSNR的3個測試集中獲得了第一名，然后是固定因子縮放和空間參數縮放，而沒有使用縮放的模型的實驗結果是最差的。

表7 不同殘差縮放的模型性能表現Tab.7 Performanceof modelswith different residual scalings

4 結語

本文提出了一種具有自動殘差縮放而且可用于單幅圖像的超分辨率重建的輕量網絡。與其他對比模型相比，本文提出的模型大幅減少了參數數量，并具有實時重建圖像的能力。本文提出的模型已經在許多標準測試數據集上進行了測試，其性能達到了很高的水平。與之前提出的加深的超分辨率卷積神經網絡模型相比，該模型具有更好的性能以及更高的實時處理能力；此外，該方法大幅減少了模型參數和計算量。因此，該模型具有較高的實用性。將來，它可以在諸如智能電話和物聯網監視系統的終端設備中使用，改善其成像性能。