卷積神經網絡超分辨率圖像重建算法的改進

李超

摘要：隨著時代與科技的進步，人們對圖像分辨率的要求越來越高。提高圖像分辨率成為必須要解決的問題。目前利用深度學習進行超分辨率圖像重建成為提高圖像質量的一種趨勢。深度學習對圖像進行重建可以有效地提高圖像質量。現有的基于卷積神經網絡的超分辨率圖像重建算法有著自身的優勢同時也存在著缺陷。針對算法的缺陷，本文提出一種改進的圖像重建算法。系統地分析了卷積神經網絡在圖像重建時的缺陷，針對重建時的訓練時間長，存在網絡退化現象等缺點。本文利用殘差網絡對傳統的SRCNN進行改進。改進后的算法與傳統的SRCNN算法相比，可以減少訓練時間，同時可以防止網絡退化現象的發生。

關鍵詞：圖像重建；卷積神經網絡；殘差網絡；網絡退化

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2019）04-0163-03

Abstract：With the advancement of the times and technology， people are increasingly demanding image quality. Increasing image resolution has become a problem that must be solved. At present， the use of deep learning for super-resolution image reconstruction has become a trend to improve image quality. Deep learning to reconstruct images can effectively improve image quality. The existing super-resolution image reconstruction algorithms based on convolutional neural networks have their own advantages and defects. Aiming at the defects of the algorithm，this paper proposes an improved image reconstruction algorithm. The system analyzes the defects of convolutional neural network in image reconstruction， and has shortcomings such as long training time and network degradation phenomenon. This paper uses the residual network to improve the traditional SRCNN. Compared with the traditional SRCNN algorithm， the improved algorithm can reduce the training time and prevent network degradation.

Key words：Image reconstruction；Convolutional neural network；Residual network；Network degradation

圖像的分辨率是圖像清晰度以及圖像中所含細節信息多少的一個重要指標。由于獲取圖像的硬件以及其他一些外部因素的影響，這對我們獲取高分辨率圖像產生了一定的干擾。為了減少對于硬件的投資，使用軟件的方式來獲取高分辨率的圖像已經成為圖像處理方面研究的熱點。超分辨圖像重建技術[1-3]是指由一幀或多幀低分辨圖像經過圖像處理算法來重建一幀高分辨率圖像的技術，它不需要改變成像系統的硬件就可獲取我們所需的高分辨圖像。超分辨率重建技術可以提高圖像的分辨率使得模糊的圖像變得清晰，從而推動了圖像處理的發展，而且該技術在醫療診斷，交通監控，軍事偵察等方面有著廣泛的應用。

超分辨率重建技術發展至今，主要算法分為兩個大類，一種是基于重建的算法，另一種是基于學習的算法。基于重建的超分辨率方法是利用低分辨率圖像作為約束的前提下，結合圖像的先驗知識對圖像進行還原。其實質是先對圖像的降質過程進行建模，然后利用觀察到的低分辨率圖像對高分辨率圖像進行約束。其典型算法有：插值法[4-5]、迭代反投影算法[6]（IBP），凸集投影法[7]（POCS），最大似然估計（ML）和最大后驗估計[8]（MAP）。插值法是圖像重建的一種簡單方法。插值法的復雜度較低，重構的圖像邊緣比較模糊，存在明顯的鋸齒效應，對圖像的修復效果不佳很難修復圖像中高頻細節信息。IBP、POCS、MAP這幾種算法是在插值法的基礎上的改進，對圖像的重建效果具有明顯的提高。

隨著深度學習的發展，深度學習被廣泛地運用于超分辨率重建算法中。在基于學習的圖像重建算法中，低分辨率圖像可以預測與之對應的高分辨率圖像的部分細節信息。我們可以通過對大量樣本的學習訓練，得到低分辨率圖像與高分辨率圖像之間的映射關系，從而對圖像進行重建。其典型的基于學習的算法有：Chang等人提出的領域嵌入[9]（neighbor embedding）算法、Yang等人提出的稀疏編碼[10]（sparse coding）算法及Dong等人提出的基于卷積神經網絡[11，12]（CNN）的算法。Dong等人將深度學習應用于圖像重建問題，提出了應用卷積神經網絡的單幀圖像重建算法（SRCNN），避免了人為設計特征提取方式，實現了圖像自身對自身的學習，提高了低分辨率圖像的分辨率。

雖然基于學習的圖像超分辨率算法成為圖像重建的研究熱點，但它并不是完美的，它們也都有著自身的缺點。基于卷積神經網絡的超分辨率圖像重建算法有著傳統算法沒有的優點，同時也有著自身的缺點，例如訓練時間太長，網絡學習的能力較弱等。這些缺點都制約著圖像重建的質量以及效率。

針對SRCNN算法收斂速度慢，前期對圖像的處理的不確定性及多變性。本文提出對卷積神經網絡超分辨率重建算法的一些改進。

1 相關工作

1.1 卷積神經網絡

卷積神經網絡[13]是一種為了處理二維輸入數據而設計的多層人工神經網絡。CNN在圖像處理上有著自己獨特的優勢1）CNN可以直接將輸入網絡的多維數據進行處理；2）局部的權值共享可以減少訓練參數；3）有著強大的學習能力及建模能力。基于CNN的這些優勢Dong等人提出了SRCNN，SRCNN網絡模型分為三層。特征提取層，非線性映射層以及最終的重建層，網絡模型如下圖1：

基于SRCNN網絡模型有著自身的優勢，同時也有著很多的缺點。比如說在特征提取的時候，提取效率較低且提取的特征使用雙三次插值，使得提取的特征不能有效的代表整幅圖片。在對提取的特征進行訓練的時候，訓練時間長，效果差，還會出現退化現象。最后重建的時候不能得到理想的重建圖片。

1.2 殘差網絡

殘差網絡[14]提出的學習模塊，能夠有效地減少網絡的參數數量，同時可以加深網絡，解決梯度彌散的問題，增加網絡的特征提取能力。其思想是將深度網絡后面的層進行恒等映射，使模型退化為一個淺層的網絡，基礎的殘差學習模塊如圖2所示。將網絡設計為H（x）=Y（x）+x，可以轉化為學習一個殘差函數Y（x）=H（x）-x。只要Y（x）=0，就構成了一個恒等映射H（x）=x，這樣轉化使擬合殘差更加容易。雖然包含恒等映射的殘差塊有助于訓練極深層的網絡，但缺點是在梯度反向傳播時，并不能保證能夠流經每一個殘差模塊的weights，因此在整個訓練過程中，只有很少的幾個殘差模塊能夠學到有用的表達，而絕大多數的殘差模塊起到的作用并不大。

基于文獻[15]思想，將殘差網絡進行改進，增加殘差網絡的寬度以及對殘差模塊、輸出尺寸和濾波器的個數的重新設計。改進的殘差網絡結構圖如圖3所示。

本文提出了一種基于卷積神經網絡超分辨率圖像重建的改進算法。 本文的算法是以SRCNN網絡模型為基礎在該網絡模型上進行的改進，針對SRCNN在網絡訓練時，時間較長，收斂較慢，存在的退化現象，本文算法思想是在該網絡模型中加入改進的殘差網絡。

2實驗結果及分析

為了驗證本文提出的圖像重建算法對圖像重建的效果，實驗使用超分辨率重建常用的測試數據集Set5、Set14。

2.1訓練過程

首先將數據集里的低分辨率圖像利用插值法進行特征提取，將提取的圖像特征作為算法的輸入，將特征輸入到網絡中進行訓練，設置網絡的初始學習率為0.0001。在訓練過程中如果在一段時間內不能得到好的訓練效就將學習率下調30%，繼續訓練。網絡訓練迭代次數設定為10000。最終通過重建層得到相應的重建后的圖像。

2.2結果分析

3 總結

本文中提出的算法是在傳統SRCNN算法的基礎上提出的改進，改進的方向主要是針對SRCNN算法中訓練時間過長，存在網絡退化現象。本文提出的算法可以解決訓練時間長，網絡退化等問題。雖然解決的一些問題但是對圖像的特征提取方面還不能有效的解決，所以還需要在特征提取方面進一步改進。

參考文獻：

[1] Tian Y，Yap K. Joint image registration and super-resolution from low-resolution images with zooming motion[J]. IEEE Trans on Circuits and Systems for Video Technology，2013，23（7）：1224-1234.

[2] Yang Min-Chun， Wang Yu-Chiang Frank. A self-learning approach to single image super-resolution[J]. IEEE Trans on Multimedia，2013，15（3）：498-508.

[3] Elad M， Aharon M. Image denoising via sparse and redundant representations over learned dictionaries[J]. IEEE Trans on Image Processing，2006 15（12）：3736-3745.

[4] Hou H，Andrews H. Cubic spline for image interpolation and digital filtering[J]. IEEE Transactions Signal Processing，1978，26（6）：508-517.

[5] KeysR.Cubic convolution interpolation for digital image processing[J]. IEEE Transactions on Acoustics，Speech and Signal Processing，1981，29（6）：1153-1160.

[6] Irani M，Peleg S.Improving resolution by image registration[J].CV-GIP：Graphical Models and Image Processing，1991，53（3）：231-239.

[7] Stark H，Oskoui P.High-resolution image recovery form image-plane arrays，using convex projection[J].Journal of the Opt.Soc.of America，1989，6（11）：1715-1726.

[8] Schultz R，Stevenson R.Bayesian estimation of sub-pixel motion field and high-resolution video stills[C]//IIEEE Int.conf.on Image Processing，1997（3）：62-65.

[9] Fang B，Huang Z，Li Y，Wang Y.v-Support vector machine based on discriminant sparse neighborhood preserving embedding.Pattern Analysis and Applications，2017，20（4）：1077-1089.

[10] Yang J，Wang Z，Lin Z，Huang T.Coupled dictionary training for image super-resolution.IEEE Trans.on Image Processing，2012，21（8）：3467-3478.

[11] Dong C，Loy CC，He K，Tang X.Image super-resolution using deep convolutional networks.IEEE Trans.on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.

[12] Dong C，Loy CC，Tang X.Accelerating the super-resolution convolutional neural network.In：Proc.of the European Conf.on Computer Vision.Springer-Verlag，2016.391-407.

[13] 周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（7）：1-23.

[14] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：770-778.

[15] ZAGORUYKO S， KOMODAKIS N. Wide residual networks [C]. British Machine Vision Conference. 2016：87.

【通聯編輯：唐一東】