基于改進的卷積神經網絡的圖像超分辨率重建

甄雪艷，何 寧，孫 欣

(1.北京聯合大學 北京市信息服務工程重點實驗室，北京 100101； 2.北京聯合大學 智慧城市學院，北京 100101)

0 引 言

圖像超分辨率重建技術一直是計算機視覺領域研究的熱點。在如今這個信息技術高速發展的時代，越來越多的領域都需要高分辨率圖像來滿足技術方面的需求。而研究者們也以自己的智慧創造出了各種各樣的超分辨率重建技術。

傳統的圖像超分辨率技術主要分為3類，即基于模型的方法[1,2]、基于邊緣梯度的方法[3]和基于示例的方法[4-6]。其中，基于示例的方法可以達到較先進的性能。但是，近幾年基于深度學習[7-11]的單幅圖像超分辨率重建技術脫穎而出，以其強大的性能，將圖像超分辨率重建技術帶到了一個新的層次。

Dong等[7]提出了SRCNN算法，它將深度學習和傳統稀疏編碼相關聯，將卷積神經網絡用于圖像超分辨率中，重建出更優質的圖像。它的網絡結構非常簡單，僅用三層網絡就可以得到較好的重建效果。但是SRCNN很難訓練，對參數變化非常敏感，而且收斂速度也較慢。Shi等[8]提出了一種直接在低分辨率圖像尺寸上提取特征，計算得到高分辨率圖像的有效方法。在網絡中，將放大圖像尺寸的插值函數隱含在前面的卷積層中，可以自動學習到。Kim等[9]第一次將之前已有的遞歸神經網絡結構應用在超分辨率處理中。同時，利用殘差學習的思想，加深了網絡結構，增加了網絡感受野，提升了性能。Tai等[10]受文獻[9]的啟發，對其結構進行調整，即在一個遞歸塊內，每個殘差單元內對應位置相同的卷積層參數都共享；并且采用了更深的網絡結構來提升性能。通常，人們會選擇使用均方誤差來作為訓練網絡的損失函數。但是，在能獲得較高峰值信噪比的同時，圖像也丟失了很多細節信息。所以，Ledig等[11]提出了SRGAN算法，將生成對抗網絡用在了解決超分辨率問題上，利用感知損失和對抗損失來更好提升圖像的真實感。

本文主要研究利用卷積神經網絡對單幅低分辨圖像進行超分辨率重建。受文獻[7]的啟發，加深卷積網絡層數，提出五層卷積的網絡模型；使用Adam優化算法，加快網絡的收斂速度；采用Leaky ReLU激活函數，并且調整卷積核大小以及數目。實驗結果表明，改進的算法不僅收斂速度快而且重建效果好。

1 相關技術

1.1 超分辨率卷積神經網絡SRCNN

SRCNN是Dong等[7]提出的將卷積神經網絡應用于單張圖像超分辨率重建上的一個算法，是深度學習用在超分辨率重建上的開山之作。算法的設計思路是從稀疏編碼得來的，網絡的結構非常簡單，僅僅只有三層網絡就得到了較好的重建效果。在概念上將其分別表述為：圖像子塊的提取和表示、非線性映射以及重建3個步驟。該算法的框架如圖1所示。網絡的基本設置為f1=9，f2=1，f3=5，n1=64，n2=32。

圖1 SRCNN算法框架

SRCNN算法的第一層可表示為一個操作F1

F1(Y)=max(0,W1*Y+B1)

(1)

其中，W1是n1個大小為c×f1×f1的濾波器，c=1；B1是偏置，“*”表示卷積。第一層的輸出即為使用濾波器W1對圖像進行卷積后的n1個特征映射。

第二層的操作是

F2(Y)=max(0,W2*F1(Y)+B2)

(2)

其中，W2是n2個大小為n1×f2×f2的濾波器，B2是n2-維的。每個輸出的n2-維矢量在概念上說，即為重建后的高分辨率圖像子塊的一個特征表示。

第三層進行重建，定義一個卷積層，以產生最終的高分辨率圖像

F(Y)=W3*F2(Y)+B3

(3)

其中，W3對應于n2×f3×f3大小的c個濾波器，B3是一個c-維向量。

與其它算法相比較，SRCNN算法雖然結構簡單，重建效果也不錯，但是收斂速度慢，需要迭代的次數多。所以嘗試加深其網絡層次，使用改進的梯度下降算法和激活函數，在盡可能小的迭代次數下達到好的重建效果。

1.2 激活函數Leaky ReLU

Leaky ReLU是Andrew等[12]提出的一種對ReLU進行改進后的激活函數，其函數圖像如圖2所示。其中圖2(a)為Relu的函數圖像，圖2(b)為Leaky Relu的函數圖像。對應的數學表達式為

(4)

其中，a=0.01。

圖2 ReLU與Leaky ReLU函數

從函數圖像以及數學表達式中可以看出，Relu在輸入值為負值的時候，輸出始終為0，導致神經元不能更新參數，也就是神經元不學習了，這種現象叫做”Dead Neuron”。而Leaky ReLU函數作為ReLu激活函數的變體，在負半軸仍有一個很小的輸出，使得一階導數始終不為0，可以減少靜默神經元的出現，從而很好解決了這一問題。

1.3 Adam優化算法

Adam全稱是自適應矩估計(adaptive moment estimation)，它是由Kingma等[13]提出的一種可以替代傳統隨機梯度下降過程的一階優化算法。Adam算法和傳統的隨機梯度下降不同，它是一種自適應學習率的方法，能夠基于訓練數據迭代地更新神經網絡權重。Adam算法的優點是經過偏置校正后，每一次迭代時學習率都有個確定的范圍，使得參數比較平穩。

Adam算法過程如下：假設t時刻，目標函數對于參數的一階導數是gt， 首先計算對梯度的一階矩估計mt和二階矩估計vt

mt=β1mt-1+(1-β1)gt

(5)

(6)

然后進行梯度更新

(7)

其中，η是學習率；β1=0.9，β2=0.999，ε=10-8。

在實際應用中，Adam算法效果良好。與其它自適應學習率方法比較，其收斂速度更快，學習效果更為有效。

2 改進的基于卷積神經網絡的超分辨率重建方法

基于深度卷積神經網絡的算法已經被廣泛用于圖像超分辨率重建并取得了較好的效果[14]。本文設計了具有5層卷積層的深度神經網絡，并且使用Adam優化算法以及Leaky ReLU激活函數，用于圖像超分辨率重建。

設原高分辨率圖像為X， 低分辨率圖像為Y。 我們的目標就是從Y中重建出盡可能與X相似的圖像F(Y)， 在Leaky ReLU激活函數下，第一層是為每個圖像子塊提取一個特征，其輸入輸出關系為

F1(Y)=max(0,W1*Y+B1)+a*min(0,W1*Y+B1)

(8)

其中，W1相當于c×f1×f1的n1個濾波器，其中c是輸入圖像的通道數目(c=1)，B1是n1-維的；a=0.01。

本文設計了三層的卷積網絡來進行非線性映射，雖然會增加模型的復雜性，但是也增加了它的非線性，提升了網絡的表達能力。而且使用Adam梯度優化算法，最后仍能更快收斂并達到較好的重建效果。

第二、三、四層均為非線性映射，其輸入輸出關系為

Fl(Y)=max(0,Wl*Fl-1(Y)+Bl)+a*min(0,Wl*Fl-1(Y)+Bl)

(9)

其中，Wl相當于nl-1×fl×fl的nl個濾波器，Bl是nl-維的；l的取值為2,3,4；a=0.01。

第五層是重建，其輸入輸出關系為

F(Y)=W5*F4(Y)+B5

(10)

其中，W5相當于n4×f5×f5大小的c個濾波器，B5是一個c-維向量。

具體網絡算法框架如圖3所示：

訓練集圖像經過每一層卷積層后得到的特征圖，再經過激活函數。激活函數采用Leaky ReLU，所有層的步長均為1，濾波器大小以及數目如下：

第一層：卷積核數量為64，濾波器大小為9×9；

第二層：卷積核數量為64，濾波器大小為5×5；

第三層：卷積核數量為32，濾波器大小為3×3；

第四層：卷積核數量為32，濾波器大小為1×1；

第五層：卷積核數量為1，濾波器大小為3×3。

損失函數采用均方誤差，將待訓練的參數用向量θ表示

θ=(W1,W2,W3,W4,W5,B1,B2,B3,B4,B5)

(11)

則網絡損失函數為

(12)

其中，n是訓練樣本數量。

圖3 算法框架

使用Adam梯度優化算法進行收斂。假設t時刻，損失函數對參數W的一階導數是L(θ,W)t， 首先計算對梯度的一階矩估計Wmt和二階矩估計Wvt

Wmt=β1·Wmt-1+(1-β1)L(θ,W)t

(13)

(14)

那么，權值W則按如下公式進行更新

(15)

同理，偏差B的更新公式如下

Bmt=β1·Bmt-1+(1-β1)L(θ,B)t

(16)

(17)

(18)

其中，η是學習率；β1=0.9，β2=0.999，ε=10-8。

3 實驗結果與分析

3.1 數據集和評價指標

本文選用Timoft數據集[15]為訓練集。首先，將訓練集的高分辨率圖像使用雙三次差值算法縮小為原來的1/3，然后再放大，使其變成低分辨率圖像。然后，將訓練集的低分辨率圖像按照步長14抽取出大小為33×33的21 760張子圖像。最終子圖像作為網絡模型的輸入。作為標簽數據的則為高分辨圖像中心的17×17的圖像塊。

選用Set5數據集[16]以及Set14數據集[16]作為測試集，主要通過主觀實驗效果以及客觀的PSNR值和SSIM值來進行算法的性能評價。客觀評價指標PSNR是對處理后的結果跟原圖相比的誤差進行定量計算，PSNR越高，說明失真越小，效果越好[17]。SSIM即結構相似性，定義請參見文獻[18]。

3.2 網絡訓練參數

(1)初始化參數：權重初始化方法采用標準差為0.001，均值為0的高斯正態分布。

(2)訓練方法：采用Adam梯度優化算法，默認參數設置為β1=0.9，β2=0.999，ε=10-8； batch_size為128；每500個迭代輸出一個snapshot；前四層的學習率為0.0001，第五層的學習率為0.000 01。

3.3 實 驗

實驗一：為了驗證改進方法的有效性，本文在SRCNN算法上直接使用Adam梯度優化算法和Leaky ReLU激活函數進行了改進，SRCNN算法和本文提出的算法進行了實驗對比，SRCNN選用9-5-5的最優模型，選取的最大迭代次數均為7×105。以Set5數據集中Butterfly圖為例，實驗結果見表1。從表1的PSNR值中可以看出，SRCNN_AL算法比SRCNN算法的重建效果要好很多，高出0.5 db；而本文提出的算法比SRCNN_AL算法的值還要高出0.1 db，比SRCNN算法的值高出0.6 db。同樣，從SSIM值中也可以看出本文提出的方法的重建效果更好。

表1 不同改進點的測試結果

實驗二：以Set5數據集中Butterfly圖為例，用本文方法與Bicubic算法、ScSR算法[19]、SR_NE_ANR算法[15]、SRCNN算法[7]進行比較。采用不同迭代次數得到的網絡模型進行處理，得到PSNR和SSIM的變化趨勢曲線。SRCNN與本文所提出的算法選取的最大迭代次數均為 7×105。PSNR和SSIM的變化趨勢曲線圖分別如圖4和圖5所示。

圖4 Butterfly圖PSNR的變化趨勢曲線

圖5 Butterfly圖SSIM的變化趨勢曲線

從圖4、圖5中可以看出：Bicubic算法的結果值最低，ScSR算法和SR_NE_ANR算法的結果值有所提升，SRCNN算法在迭代次數較小時，結果值較低，隨著迭代次數的增加，結果值逐漸增大；而本文所提出的方法則整體優于其它算法，雖然網絡變得復雜了，但是收斂速度依然很快，而且重建效果更好。

實驗三：分別用本文方法與Bicubic算法、ScSR算法[19]、SR_NE_ANR算法[15]和SRCNN算法[7]對Set5數據集和Set14數據集中的圖片進行處理。表2是對Set5數據集中的圖片進行處理得到的PSNR值和SSIM值的平均值。表3是對Set14數據集中的圖片進行處理得到的PSNR值和SSIM值的平均值。可以看到，本文所提出方法的PSNR值和SSIM值均高于其它對比算法。

表2 不同算法對Set5數據集中的圖片進行 處理得到的平均值

表3 不同算法對Set14數據集中的圖片 進行處理得到的平均值

圖6到圖7分別為不同算法對Set5數據集中Butterfly圖、Bird圖的處理結果，并且分別對翅膀圖案和鳥嘴進行放大。圖8～圖10分別為不同算法對Set14數據集中PPT3圖、Zebra圖、Pepper圖的處理結果，并且分別對音符、斑馬條紋以及辣椒邊緣進行放大。從圖6(f)中可以看出使用本文方法得到的圖像銳度更強。圖7(f)圖中鳥嘴邊緣黑色部分更為清晰。圖8(f)圖中音符的形變最小，與原圖最接近。圖9(f)圖中斑馬條紋黑白分界處更清晰。圖10(f)圖中兩個辣椒的連接處更清晰，形變最小。

圖6 不同算法對Butterfly圖的處理結果

圖7 不同算法對Bird圖的處理結果

圖8 不同算法對PPT3圖的處理結果

圖9 不同算法對Zebra圖的處理結果

圖10 不同算法對Pepper圖的處理結果

4 結束語

本文利用改進的卷積神經網絡對圖像進行超分辨率重建。使用五層卷積的網絡模型，加深了網絡的層次，學習到的特征更全局化，同時增加了非線性，提升了網絡的表達能力。在此基礎上，又使用了Adam梯度優化算法和Leaky ReLU激活函數，使得網絡模型的收斂速度更快，重建效果更好。針對本文提出的算法進行了一系列的實驗，并與Bicubic算法、ScSR算法、SR_NE_ANR算法、SRCNN算法進行比較。結果表明，不論是PSNR值或SSIM值，還是主觀視覺效果，本文提出的算法都更優秀，更能保持圖片的清晰度以及邊緣細節等信息，處理結果更好。