一種改進殘差網絡的圖像超分辨率重建

李 嵐,張 云,杜 佳，尹 喆

(蘭州文理學院 數字媒體學院，甘肅 蘭州 730010)

0 引言

圖像超分辨率重建(Image Super-resolution Reconstruction，SR)算法的基本思想是利用數字圖像處理、計算機視覺等領域的相關知識，借由特定的算法和處理流程，從給定的低分辨率(Low Resolution，LR)圖像中重建出高分辨率(High Resolution，HR)圖像的過程，其目的是克服或補償由于圖像采集系統或采集環境本身的限制,導致的成像圖像模糊、質量低下、感興趣區域不顯著等問題.該技術對硬件要求較低，不受環境影響，在衛星遙感、醫學成像、公共安全、軍事等領域應用廣泛[1-2].隨著計算機視覺技術的快速發展，促使深度學習的圖像超分辨率重建技術受到廣泛關注，并取得了良好的重建效果.Dong等[3]在傳統方法的基礎上，首次提出將卷積神經網絡(CNN)的方法用于圖像重建，借助了神經網絡的強大學習功能.該方法結構簡單，易于實現，但因層數較少，網絡訓練能力較弱，導致重建性能較差.文獻[4]在殘差網絡的啟發下，將網絡卷積層的深度提升到了20層，增加了卷積層的感受野，提高了網絡的收斂速度.文獻[5]采用深度遞歸卷積網絡，實現網絡參數共享，降低了訓練難度.文獻[4-5]方法取得了較好的重建效果，其缺點是隨著網絡層數的增加，存在梯度消失和網絡訓練難以收斂.Dong等[6]提出的FSRCNN算法在初始階段采用雙三次插值法進行圖像放大，破壞了圖像原有的細節信息.Shi等[7]提出的亞像素卷積方法(ESPCN)主要通過對低分辨率圖像進行特征提取，在網絡末端應用亞像素卷積操作，對特征圖像重新排列，達到提高圖像質量的目的.

上述方法在網絡中主要采用單個尺度的卷積核對LR圖像進行特征提取時沒有充分利用原始LR圖像信息，存在網絡感受野小以及在增加網絡深度的同時導致梯度彌散或者梯度爆炸等問題.針對上述問題，本文提出了一種多尺度融合卷積與空洞殘差相結合的卷積神經網絡.首先在特征提取階段采用多尺度融合卷積操作,獲取原始圖像中更有用的信息；然后，采用空洞殘差單元代替原始殘差網絡進行特征映射，擴大特征圖像的感受野，避免梯度消失，將底層提取的特征圖像作為殘差模塊的輸入；最后將LR特征信息與殘差模塊輸出的特征圖像進行重建，得到最終的HR圖像.

1 相關工作

1.1 空洞殘差網絡

空洞卷積(擴張卷積)在擴大卷積網絡感受野范圍的同時不降低圖像尺寸，從而保留更多的圖像細節信息，不需要引入額外的計算量，就能達到提升網絡性能的目的，許多學者在研究中應用了不同方式的空洞卷積[8-9].普通卷積和空洞卷積擴張率為2的結構如圖1所示.

圖1 普通卷積和空洞卷積示意圖

根據上圖所示，對于一個3×3的卷積核來說，當擴張率d=1時，網絡感受野為3×3，相當于不擴張；當擴張率d=2時，網絡感受野大小為7×7；當擴張率為d=3時，網絡感受野為13×13，感受野計算公式如下：

v=2(d-1)×(k-1)+k，

(1)

其中:v表示當前層的感受野，d表示擴張率;k表示卷積核大小.可以看出空洞卷積在不引入額外參數的情況下擴大感受野，同時保持特征圖像分辨率不變，從而可以在網絡訓練中傳遞更多的細節信息.

1.2 深度殘差網絡

ResNet(Deep Residual Network, ResNet)[10]相對于傳統網絡而言，引入了跳躍連接，即在卷積網絡上每間隔2到3層增加一個跳躍連接，這樣就產生一個殘差單元，該結構使用3×3和1×1的小卷積核，使得網絡更深.通過殘差網絡可以避免簡單堆疊的卷積神經網絡梯度消失或爆炸以及精度退化問題.因為只學習圖像的高頻信息，所以學習量小，有利于網絡性能提升，殘差單元結構如圖2所示.

假設存在一個恒等映射X，一般卷積網絡直接擬合所需函數H(X)=X，在ResNet中，激活函數采用ReLU，將H(X)假設為由幾個堆疊層(殘差網絡采用3個堆疊層)匹配的基礎映射，用X表示第一層的輸入，將原始所需函數H(X)轉換成F(X)+X.即輸出

H(X)=X+F(X).

(2)

如圖2所示，如果前面層達到最優值時，后面層的操作就可以簡化或者去掉，通過這種跳躍結構，將優化目標從一個恒等映射變為逼近零，這樣就可以解決深層網絡難以訓練的問題.

圖2 殘差單元結構

2 改進的空洞殘差卷積網絡

根據以上分析，本文在VDSR網絡的基礎上，結合ResNet思想，構建一個包含20層的網絡框架，整個網絡結構如圖3所示，主要包括3部分.第1部分為改進后的多尺度特征融合卷積層，應用不同大小的卷積核進行LR圖像特征提取，獲得更多的高頻有用信息；第2部分為6個串聯的空洞卷積殘差塊，實現對特征圖像的訓練；第3部分是圖像重建，將學習到的圖像高頻信息與初始LR圖像結合，重建HR圖像.

首先，對LR圖像進行多尺度融合卷積特征提取.其次，網絡結構中間由6個空洞殘差塊組成，每個空洞殘差塊對原始ResNet殘差塊進行改進，移除了BN(Batch Normalization，BN)層，有助于網絡的穩定性，該殘差塊分別由擴張率為1、2、3的殘差單元串聯組成， 經過一個空洞殘差塊之后，每個像素的感受野為13×13，由于使用了不同的擴張率，可以避免單一擴張率帶來的“網格”化現象導致圖像信息不連續的問題.最后，將殘差塊輸出的特征圖像與一個3×3的卷積核進行卷積，得到一個與輸入圖像大小相同的高頻殘差圖像，與輸入圖像殘差融合，重建HR圖像.

圖3 本文網絡結構

2.1 多尺度融合特征提取

不同于SRCNN網絡的初始插值操作，而是直接將從LR圖像進行子塊特征提取.特征融合方式分為相加(add)和拼接(concat)兩種，因為后者在不同特征通道中具有較好的靈活性，所以本文選擇拼接方式.在網絡初始階段應用3個不同大小的卷積核結合跳躍連接構建一種多尺度融合結構(如圖4所示)，實現對輸入圖像的特征提取，從而獲取更多的原始圖像邊緣輪廓和細節特征.

圖4 多尺度特征提取模塊

第1個通道為56個1×1大小的卷積核，第2通道和第3通道分別應用28個5×5和3×3大小的卷積核進行特征提取，具體計算公式為：

F1j(Y)=W1j*ILR+B1j，

(3)

其中：F1j(Y)表示第j通道卷積層輸出的特征圖，j=1,2,3;W1j表示第j通道權重; * 表示卷積操作；B1j表示第j通道偏置項.

將第2通道與第3通道卷積特征信息通過拼接操作，并與第1通道特征數據進行跳躍連接，具體公式如下：

F23(Y)=
F12(Y)+F13(Y)，

(4)

F1(Y)=
W14*(F12(Y)+F13(Y))+B1，

(5)

其中:F23(Y)表示第2通道和第3通道連接后的特征圖;F1(Y)表示融合后的特征圖;W14表示融合層的權重;B1表示該層的偏置項.

2.2 空洞殘差模塊

整個特征訓練過程由6個空洞殘差卷積塊完成，每個殘差塊由擴張率分別為1、2、3的卷積核且大小為3×3的卷積層串聯而成.擴張系數為1時與普通卷積相同，擴張系數為2和3時，表示相鄰卷積核的權值之間分別有1個和2個“補0”像素值，本文設計的空洞殘差塊如圖5所示.

圖5 本文空洞殘差卷積塊

2.3 圖像重建

HR圖像包含高頻信息和低頻信息，而低頻信息均存在于LR圖像和HR圖像中，所以只需要預測圖像的高頻信息，即HR圖像與LR圖像的殘差圖像，本文圖像創建的損失函數表示為：

(6)

卷積操作中使用的函數為帶參數的PReLU[11],能夠取到負值，可以避免ReLU函數中出現梯度為0的缺點，從而提高網絡訓練的精度，PReLU激活函數表達式為：

(7)

其中:xi表示PReLU函數的輸入;f(xi)表示PReLU函數的輸出;λ為參數.

3 實驗與結果分析

3.1 實驗環境

實驗的硬件平臺處理器為Intel(R) Core(TM)i7-1065G7，顯卡為11G GTX1080Ti，內存為32 G，GPU為NVIDIA Titan CUDA .軟件平臺為Windows10操作系統、Python 3.7.0，深度學習框架為Pytorch 1.2.在學習率設置上，本文采用學習率衰減的方法防止訓練時間過長.

3.2 實驗數據

本文借鑒VDSR網路，超分辨率輸入圖像大小為56×56，在訓練放大4倍后，與之對應的HR圖像大小為224×224.訓練集采用總量為800張圖像的DIV2K數據集，在每一張圖片上連續截取56×56的圖像作為輸入.該數據集圖像的細節部分清晰，包括高分辨率的原始圖像和對應的縮放尺度為2、3、4和8的圖像，該操作使得數據擴充數倍，可以有效避免過擬合，本文優化算法采用 Adam來優化損失函數, 學習率設置為 10-4, batchsize設置為 16, 訓練迭代次數設置為 20 次.

3.3 實驗結果分析

使用3個標準測試集Set5、Set14和BSD100進行定量和定性比較.用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結構相似比(Structural Similarity Index，SSIM)衡量算法的定量結果[12].為了驗證本文算法的有效性，當尺度因子為×2倍、×3倍和×4倍時與雙三次插值(Bicubic)、FSRCNN、VDSR、ResNet18算法進行比較，結果如表1所列.

由表1可知，通過客觀評價標準對比不同算法，本文算法的重建質量優于其他幾種算法.相較于VDSR算法，在Set5數據集上進行測試，當放大因子為×2、×3和×4 時,PSNR 值分別提高了0.50 dB、0.28 dB和 0.17 dB；在 Set14測試集上PSNR 值分別提高了 0.47 dB、0.26 dB和0.20 dB；在BSD100測試集上PSNR 值分別提高了0.16 dB、0.12 dB和0.23 dB.在 Set5 測試集上，當放大因子為×2、×3和×4 時，SSIM 值分別提高了0.0 022、0.0 101 和 0.0 050；在 Set14 測試集上，SSIM 值分別提高了0.0 024、0.0 184和0.0 194；在BSD100測試集上，SSIM 值分別提高了0.009、0.0 099和0.0 446.

為了分析不同殘差網絡下模型的特征學習能力，在相同的訓練集和參數條件下，采用不同殘差結構進行訓練.實驗中，兩種方法均采用6個殘差塊在Set14測試集上尺度因子為×3的測試結果.將本文方法與VDSR方法在不同迭代次數對應的PSNR值對比，結果如圖6所示.

表1 不同方法的PSNR和SSIM測試結果(采樣因子=2、3、4)

圖6 Set14測試集上不同方法的PSNR收斂曲線

由圖6可以看出，經過40萬次訓練后，Set14上本文方法的PSNR值更大，表示重建效果更好，并且收斂曲線在10×104次迭代后波動較小，更趨于穩定.

主觀評價標準下當尺度因子為×2倍和×3倍時，在Set5和Set14測試集上使用3種經典方法和本文方法的重建圖像結果對比，對比結果如圖7、圖8所示.

通過圖7、圖8可以看出，本文方法重建后的圖像紋理更清晰，細節更豐富，整體視覺效果更好.Bicbuic算法、FSRCNN算法和VDSR算法在特征提取時采用單一尺度，獲得圖像紋理信息較少，網絡感受野較小，獲得的局部信息過多，導致全局信息的丟失，重建圖像仍然存在邊緣清晰度差的缺點.本文算法相比前3種算法在區分圖像邊緣和改善紋理細節中有較好的效果.

4 結語

本文受FSRCNN和ResNet網絡啟發，在 VDSR 的基礎上進行改進，提出了一種改進的空洞殘差卷積神經網絡的圖像超分辨率重建算法，為了獲得初始圖像的更多信息，在算法的特征提取階段, 設計了多通道多尺度特征提取結構，分別使用不同大小的卷積核，對圖像的不同特征運用不同尺寸的卷積操作；在網絡的非線性映射階段，采用不同擴張率的空洞殘差塊，擴大網絡感受野的同時避免單一擴張率的“網格”化現象.與3種典型算法相比，本文方法結果在峰值信噪比、結構相似性指標上都有提高，在視覺效果上圖像重建質量更好.下一步將研究使用更多高分辨率圖像中的高頻信息和嘗試更多樣的擴張系數及組合，將其應用到更多的網絡框架中，提升圖像重建效果.

圖7 不同算法在Set5測試集上的重建結果

圖8 不同算法在Set14測試集上的重建結果