基于殘差卷積神經網絡遙感圖像超分辨率重建

劉 爽， 周長才， 王 昕

(長春工業(yè)大學 計算機科學與工程學院， 吉林 長春 130012)

0 引 言

圖像的超分辨率重建是一種將模糊的低分辨率圖像轉變?yōu)橄鄬那逦母叻直媛蕡D像技術[1]。傳統(tǒng)的圖像超分辨率重建算法主要分為基于插值[2]和重建[3]的方法，近年來，基于學習[4]的方法成為研究熱點,2014年，Dong C等[5]首次提出超分辨卷積神經網絡(Super-Resolution Convolutional Neural Network， SRCNN) 算法，將深度學習引入到圖像重建領域，SRCNN結構非常簡單，僅用三個卷積層就完成了圖像的重建，并取得了較好的重建效果。

2016年，Kim J等[6]提出 VDSR 算法，該算法共有20個卷積層，并引入了全局殘差學習，與淺層模型算法相比，該算法對自然圖像的重建取得了更好的效果。本研究對遙感圖像進行重建，對VDSR圖像的重建進行改進，使其更適合遙感圖像重建。

1 遙感圖像超分辨率重建框架

1.1 網絡結構

改進的網絡模型結構如圖 1 所示。

圖1 改進的網絡結構

模型一共20層，輸入層為雙三次插值(Bicubic)后的低分辨率圖像；中間的18層結構相似，每一層都包括64個3×3的卷積核；最后一層用于圖像重建，卷積核尺寸為3×3；激活函數由ReLU函數修改為LeakyReLU函數；為了保證輸入圖像與輸出圖像尺寸保持不變，在卷積前對圖像邊緣進行邊框擴充(Padding=1)。

1.2 激活函數的改進

殘差網絡在訓練時可能會出現梯度消失(爆炸)的情況，使訓練不易收斂， VDSR 算法使用修正線性單元(ReLU)激活函數，其表達式為

ReLU(x)=max(x,0)。

(1)

ReLU 函數在大于0的區(qū)域梯度為常數，可以緩解梯度消失問題。ReLU函數只有線性關系，如果有一個很大的梯度流過一個 ReLU 神經元，那么ReLU很容易就“die”了，這個問題可以用帶泄露線性整流(Leaky Recitiffied Linear Unit， LeakyReLU)函數應對，因此，在每個卷積層中使用LeakyReLU函數作為修正單元，以此來增強網絡訓練的穩(wěn)定性,其表達式為

(2)

式中：x----輸入信息;

a----參數，設為0.05。

1.3 學習規(guī)則的改進

在圖像超分辨率重建中，VDSR使用了均方誤差(Mean Squared Error， MSE)損失函數，而MSE有平方項，加大了誤差對圖像超分辨率的影響[7]；平均絕對誤差(MAE)[8]是另一種常用的回歸損失函數，對于超分辨率任務，MAE損失函數有更好的性能和更快的收斂速度[9]，因此,文中使用MAE損失函數替代MSE損失函數。

(3)

(4)

式中：N----訓練樣本的數量；

xi----第i個樣本的實際值；

xk----第i個樣本的預估值。

Adam在模型訓練過程中采用可調整的學習率，區(qū)別于學習率保持穩(wěn)定不變的隨機梯度下降(SGD)，使每一次迭代的學習率都有一個較好的數值，并使訓練質量提高[10]。因此,文中使用動量為0.9的Adam[11]優(yōu)化器替代SGD算法[12]，對模型參數進行優(yōu)化，不斷降低與高分辨率圖像之間的差異。Adam 具體表達式為:

(5)

(6)

(7)

式中：gt----t時間步的梯度;

mt----對梯度gt的一階矩估計；

vt----對梯度gt的二階矩估計；

β1,β2----參數，分別取0.9和0.999；

ε---- 取 10-8,以防止除數為0；

α----初始學習率，設為0.001。

2 實驗分析與結果

2.1 實驗環(huán)境與數據集

實驗采用硬件平臺為i7 中央處理器,以及GTX 2080Ti 圖形處理器；網絡模型為PyTorch框架，使用 PyCharm2020.1.3 x64進行搭建。訓練時，放大因子(scale)取3，圖像批處理大小(batchsize)為64，動量(momentum)為0.9，權重衰減(weight-decay)參數為0.000 1，初始學習率(Learning Rate，lr)設為0.001，每隔10個epoch降低0.1，一共訓練50個epoch。

文中選用遙感圖像數據集UCMerced_LandUse，這個數據集共包含 21 個類別，圖像像素分辨率為 12×12 dpi，圖像像素大小為 256*256。在每個類別圖像中隨機選取50幅圖像生成訓練數據集，通過旋轉和縮放的方式進行數據增廣，在每個類別剩余圖像中隨機選取30幅圖像生成測試數據集。

2.2 評價指標

對于重建圖像的客觀評價，當前常用峰值信噪比( Peak Signal to Noise Ratio， PSNR)[13]和結構相似度( Structural Similarity Index Measurement， SSIM)[14]作為評價指標。

(8)

式中:M,N----圖像的尺寸;

y(i，j) ----原始高分辨率圖像；

f(i，j)----重建圖像。

超分辨圖像的重建效果隨著PSNR值的增大而變好。

(9)

式中：x----原始高分辨率圖像;

y----重建圖像;

μx,μy----均值；

σx,σy----方差；

σxy----原始圖像與重建圖像的協方差。

SSIM值越接近于 1，代表超分辨圖像的重建效果越好。

2.3 實驗結果

為了證明改進算法的優(yōu)越性，與雙線性插值法(Bicubic)、VDSR算法及改進后的VDSR算法(文中算法)進行了重構對比實驗。其中四幅圖像的重構結果分別如圖2～圖5所示。

(a) Bicubic (b) VDSR (c) 文中算法圖2 遙感圖像airplane55超分辨率重構結果比較

(a) Bicubic (b) VDSR (c) 文中算法圖3 遙感圖像building53超分辨率重構結果比較

(a) Bicubic (b) VDSR (c) 文中算法圖4 遙感圖像harbor55超分辨率重構結果比較

(a) Bicubic (b) VDSR (c) 文中算法圖5 遙感圖像mobilehomepark51超分辨率重構結果比較

從目視結果可以看出，與Bicubic和VDSR算法相比，文中改進算法的重建紋理細節(jié)更豐富，邊緣細節(jié)信息更清楚。尤其在方框標注的區(qū)域體現的更加明顯。例如，圖2所示方框內的飛機邊緣輪廓，明顯文中算法更清晰。圖3至圖5也可以得出相同的結論。

在客觀評價指標上，將改進算法與Bicubic、VDSR 算法作對比，給出測試數據集中八幅遙感圖像(其中包括圖2～圖5四幅圖像，另又選取四幅圖像)的SSIM 與PSNR值,SSIM值見表 1 。

表1 八組遙感圖像SR的SSIM值對比

八組遙感圖像 SR 的 PSNR值對比見表2。

表2 八組遙感圖像 SR 的 PSNR值對比 dB

表1與表2對應的折線圖如圖6所示。

(a) SSIM 折線圖 (b) PSNR 折線圖圖6 三種算法下 SSIM與 PSNR折線圖

由圖6能夠更加直觀清晰地顯示出文中在客觀評價指標方面的優(yōu)勢。

3 結 語

采用改進激活函數為LeakyReLU，優(yōu)化網絡誤差規(guī)則，使用MAE損失函數等方面對VDSR算法進行了優(yōu)化，并使用UCMerced_LandUse遙感數據集進行訓練與測試。結果表明，改進算法使圖像紋理細節(jié)信息更豐富，主觀視覺效果更好，客觀參數 PSNR 與SSIM 均有所提高。