基于卷積神經網絡的圖像紋理的超分辨率重建

蔣 雪，韓 芳

(東華大學 信息科學與技術學院，上海 201600)

基于卷積神經網絡的圖像紋理的超分辨率重建

蔣 雪，韓 芳

(東華大學 信息科學與技術學院，上海 201600)

目前，深度學習已經在圖像超分辨率重建上表現出不錯的性能，但是對某些紋理細節還原度不高。針對此問題，提出了基于卷積神經網絡的紋理的超分辨率重建算法。首先用梯度算子提取圖像的紋理特征，再將圖像按照紋理進行分類，最后用卷積神經網絡對同一類別的樣本集進行超分辨率重建。實驗證明，該算法能夠恢復一定的紋理信息，而且對同類紋理的重建結果優于已有算法。

圖像處理；卷積神經網絡；超分辨率重建；紋理特征

0 引言

超分辨率圖像重建(Super-Resolution Image Reconstruction，SRIR或SR)就是圖像復原的一種，它通過信號處理或者圖像處理的方法，將低分辨率(Low-Resolution，LR)圖像或序列轉化為高分辨率(High-Resolution，HR)圖像。圖像分辨率是指單位英寸中所包含的像素點數，是評判圖像質量的一個重要指標。所以較高分辨率的圖像包含更多的信息，能夠提供更豐富的細節。

圖像成像的基本理念是通過圖像重建模型生成的HR圖像與原本的LR輸入圖像盡可能地一致。最初，Harris和Goodman通過對單幅圖像進行線性插值和樣條函數插值實現了單幅圖像超分辨率(Single Image Super-Resolution, SISR)重建。但是圖像插值的方法主要是增強了邊緣信息，而包含的信息量沒有相應地提高。

基于學習的單幀超分辨率問題是近年來研究的一個熱點，又稱為基于樣例(Example-based)的超分辨率。典型的有稀疏表達[1](Sparse Representation)和機器學習的方法。稀疏表達是分別訓練高分辨率和低分辨率圖像塊字典(過完備基)，使得任意的圖像塊都能用此字典線性稀疏地表達，并且同一個圖像塊對應的低分辨率和高分辨率字典的線性表達式一致。機器學習的方法是通過訓練大量的樣本對，建立高低分辨率圖像之間的映射關系。例如，FREEMAN W T[2]的馬爾科夫隨機場(Markov Random Field, MRF)以及Dong Chao[3]等人的超分辨率卷積神經網絡(Super-Resolution Convolutional Neural Network，SRCNN)。

1 本文算法

目前，基于樣例的超分辨率算法都是以各種類型的圖像作為樣例，例如稀疏表達的方法是希望建立一個完備的字典，任意的低分辨率圖像都能通過此字典進行線性的表達而得到高分辨率圖像。基于卷積神經網絡的算法也是將各種類型的圖像作為樣本集，希望任何圖像都能通過此網絡得到超分辨率重建。然而，實際情況是此類算法只能對圖像進行一定程度的還原，或者說只能恢復某些圖像塊。

通過對超分辨率重建算法的研究發現，大部分模型對邊緣的識別度高，能夠恢復一定的邊緣信息，但是對紋理豐富的圖像塊的還原度較差。例如，有連續邊緣的圖像、邊緣不平滑的圖像等。再對這些圖像塊做進一步研究，發現具有同樣紋理特征的HR，其對應的LR的恢復偏差也類似。如圖1所示，圖1(a)是原圖，圖1(b)是用卷積神經網絡重建的HR，圖1(c)是兩圖的恢復偏差。灰色的像素點表示兩圖的像素值基本相等，白色表示重建的像素值偏亮，黑色相反。從圖1可以發現恢復偏差圖像具有明暗線條相間的特征，而且有一部分圖像的恢復偏差都具有此特征。假設具有相同恢復偏差的圖像塊也具有相同的從低分辨率到高分辨率的映射關系。因此，本文的算法是針對具有相同紋理特征的圖像進行超分辨率重建，訓練出的模型只還原此類紋理特征。

圖1 用卷積神經網絡重建后與原始圖像的偏差

本文的算法主要分為兩個步驟：先對圖像樣本進行紋理分類，再用卷積神經網絡對同種類型的樣本進行訓練。

1.1 紋理分類

紋理是指圖像中局部或者整體在分布上具有某種規律的特征現象。紋理特征提取就是用定量化的數字來表示這種規律的特征分布。紋理特征可分為4種類型：統計型、模型型、信號處理型和結構型。統計的方法[4]是基于像元及其鄰域的灰度屬性, 研究像元及其鄰域內灰度的一階、二階或高階統計特性。本文就是采用此類算法，用梯度算子得到圖像的灰度的一階特性，再對此特性進行統計得到特征表示量。

梯度算子是圖像處理中經常使用的一階導數方法。用灰度導數的大小來表示灰度變化，其計算公式為：

(1)

dx(i,j)=[I(i+1,j)-I(i-1,j)]/2

(2)

dy(i,j)=[I(i,j+1)-I(i,j-1)]/2

(3)

(4)

(5)

1.2 基于卷積神經網絡的圖像超分辨率算法

目前，卷積神經網絡已經在圖像超分辨率重建上表現出不錯的性能，如SRCNN、FSRCNN[5]和VDSR[6]。FSRCNN的網絡層采用較小的卷積核，輸入采用沒有用插值算法放大的原始低分辨率圖像，通過減小特征圖的大小和需要訓練的參數來提高網絡訓練的速度。而VDSR是一個20層的卷積神經網絡，通過增加網絡的層數來提高超分辨率模型的性能。

一般的超分辨率模型都是根據圖像特征的線性組合得到重構圖像HR，但是在經過多層的特征提取后，很難保證能完全保留輸入的所有細節。于是VDSR里提到用殘差學習(Residual-Learning)來解決這個問題。由于輸入圖像和輸出圖像很大程度上相似，因此將輸出圖像與輸入圖像之差作為殘差圖像。網絡只需重構出殘差圖像，而不用完全恢復圖像的所有細節。實驗證明，用殘差學習訓練網絡，會達到更好的重構效果，所以本文也采用了此法。

圖2 基于卷積神經網絡的圖像超分辨率模型

網絡模型設定為7層的卷積神經網絡，每層的卷積核大小為3，前6層的卷積核數量為64，最后一層為1，激活函數采用修正線性單元(Rectified Linear Unit，ReLU)，卷積層的表達式如下：

(6)

(7)

2 實驗結果及分析

2.1 實驗設置

神經網絡的訓練是在caffe上進行，GPU為GTX-960，設定的初始學習率為0.000 1，學習方法采用隨機梯度下降法。在訓練過程中，若訓練測試集的準確率在一段時間內沒有下降，將學習率下調50%。最后訓練的迭代次數為850 000，選擇測試集準確度最高的模型作為最終模型。

2.2 實驗結果與分析

在實驗結果中，選取圖像庫Set5里紋理較為豐富的圖像塊作為測試集，并與雙三次插值法、SCSR[1]、SRCNN以及VDSR作比較。圖3和圖4表示了當放大倍數為3時各圖像塊的還原效果以及客觀評價指標峰信噪比(Peak Signal to Noise Ratio, PSNR)。可以觀察到，本文算法能夠恢復一定的紋理細節，并且對紋理信息豐富的圖像塊具有更優越的復原效果。

圖3 選自Set5里baby的圖像塊的超分辨率重建結果

圖4 選自Set5里butterfly的圖像塊的超分辨率重建結果

PSNR是比較兩個圖像相似度的評價指標，對兩個圖像相同位置的像素值之差進行定量計算，PSNR值越高說明恢復的圖像越接近原圖像。此外，還有一種評價圖像相似度的指標:結構相似性(Structural Similarity, SSIM)。相比PSNR只考慮單個像素值的誤差，SSIM是從圖像全局出發來對圖像的結構進行相似性評價。SSIM越高說明兩個圖像的結構越相似。本文采取這兩種評價指標，選取Set5和Set14里紋理較為豐富的圖像塊，進一步對上述5個算法作比較。由表1和表2可以看出，對于同類的圖像塊，本文算法在圖像像素值和圖像結構相似度上都高于其他算法，說明本文算法的確對相同類型的圖像塊具有更好的還原效果。

表1 不同算法實驗結果的PSNR對比

表2 不同算法實驗結果的SSIM對比

實驗證明，基于紋理的超分辨率重建算法對相同特征紋理的重建結果優于普通的超分辨率算法。針對某種紋理特征的超分辨率模型能夠提高此類紋理圖像的復原效果。并且本文使用的分類方法提取的數據集占總數據集的20%，同時平均提高了0.1的PSNR值。由此推斷，如果采用同一類別相似度更高的分類方法對數據集進行更細致的劃分，應該會進一步地提高超分辨率模型的性能。這也是未來需要探討的問題。

3 結論

本文提出了一種基于卷積神經網絡的紋理的超分辨率重建方法，先對圖像進行紋理特征的分類，再針對一種類型的圖像構建超分辨率模型。對于同類的紋理圖像，本文的算法優于目前已有的算法。但是，此方法有一些需要改進之處。對紋理特征分類，目的是使相同類型的圖像塊具有相同的從低分辨率到高分辨率的映射關系，但是本文的分類方法并不能完全達到這個效果。所以還需進一步地改進紋理的分類方法。

[1] Yang Jianchao, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2010, 19(11):2861-2873.

[2] FREEMAN W T,PASZTOR E C. Learning low-level vision[J]. International Journal of Computer Vision, 2000, 40(1):25-47.

[3] Dong Chao, CHEN C L, He Kaiming, et al. Learning a deep convolutional network for image super-resolution[C]. European Conference on Computer Vision (ECCV),2014, 8692:184-199.

[4] 劉麗, 匡綱要. 圖像紋理特征提取方法綜述[J]. 中國圖象圖形學報, 2009, 14(4):622-635.

[5] Dong Chao, Chen C L, Tang Xiaoou. Accelerating the super-resolution convolutional neural network[C]. European Conference on Computer Vision (ECCV), 2016,9906: 391-407.

[6] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[J]. CVPR 2016, 2016:1646-1654.

Image texture super-resolution reconstruction based on convolutional neural network

Jiang Xue, Han Fang

(School of Information Science and Technology, Donghua University, Shanghai 201600, China)

At present, deep learning performs well in super resolution reconstruction. However, some texture information is not reconstructed well enough. To solve this problem, we proposed a texture super-resolution reconstruction algorithm based on convolution neural network (CNN). We firstly extract texture features using gradient operator and classify the images according to their texture features. And then, for the same category of image samples, a super-resolution reconstruction model is built based on CNN. The experiments show that this algorithm can restore some texture information very well, and the results are better than other algorithms.

image processing; convolutional neural network(CNN); super-resolution reconstruction; texture feature

TP183

A

10.19358/j.issn.1674- 7720.2017.20.017

蔣雪，韓芳.基于卷積神經網絡的圖像紋理的超分辨率重建[J].微型機與應用，2017,36(20)：57-60.

2017-03-25)

蔣雪(1993-)，女，碩士，主要研究方向：深度學習、圖像超分辨率。

韓芳(1981-)，通信作者，女，博士，副教授，主要研究方向：神經動力學、智能算法、深度學習等。E-mail:yadiahan@163.com。