基于多通道極深卷積神經網絡的圖像超分辨率算法

黃 偉,馮晶晶,黃 遙

(鄭州輕工業大學 計算機與通信工程學院,鄭州 450002)

0 概述

單幅圖像超分辨率重構技術是指將一幅低分辨率圖像通過相關算法處理得到與其對應的高分辨率圖像。近年來,高分辨率圖像在遙感、醫學、軍事以及天氣預報等諸多領域均有廣泛應用,但在實際成像過程中,由于硬件條件的限制和成像環境的影響,往往獲取到的圖像分辨率較低,且細節信息損失嚴重,影響人們對信息的正確判斷。因此,尋找一種合適的方法來增強圖像分辨率十分必要[1-2]。

目前,圖像超分辨率重構方法主要有三大類,即基于插值的方法[3-4]、基于重構的方法[5-7]和基于學習的方法[8-10]。基于插值的方法主要是根據圖像的已知信息和空間關系在特定位置插入若干像素來重構高分辨率圖像,該類方法計算簡單、速度快,但是在重構過程中會丟失部分高頻信息,造成重構后的圖像模糊,難以獲取精細特征,且視覺效果較差。基于重構的方法主要以圖像退化模型為基礎,利用相同場景下圖像之間的互補信息重構出相應的高分辨率圖像,雖然該方法有效減緩了基于插值方法的圖像模糊現象,但是存在計算復雜度較高的問題。基于學習的方法主要通過包含高分辨率和低分辨率圖像塊的數據集學習高分辨率圖像和對應的低分辨率圖像之間的先驗知識,利用學習到的映射關系在給定低分辨率圖像的情況下重構其對應的高分辨圖像。

近年來,基于深度學習的單幅圖像超分辨率重構方法受到了學者們的廣泛關注。文獻[11]提出利用堆疊的卷積層構建神經網絡模型進行圖像重構,該超分辨率卷積神經網絡(Super-Resolution Convolutional Neural Network,SRCNN)方法將經過雙立方插值的低分辨率圖像塊作為網絡的輸入數據,經過堆疊的卷積層進行訓練,得到相應的高分辨率圖像塊,并使得這些圖像塊盡可能與原圖像塊相似。文獻[12]提出基于多通道輸入卷積神經網絡超分辨率重構方法,對原始低分辨率圖像進行3種插值、5種銳化的預處理操作,將經過預處理操作的18種圖像構成一幅低分辨率圖像。該方法更好地保留了圖像特征信息,有利于提取圖像的高頻信息,解決了SRCNN方法中重構圖像存在邊緣模糊的問題。隨著深度學習研究的推進,CNN開始不斷向縱深化方向發展。利用加深網絡結構的思路來提升模型性能,在VGGNet[13]模型中,提出使用更小的卷積核,并將幾個小的卷積核串聯起來代替一個大的卷積核,該操作在保證具有相同感受野的情況下,不僅加深了網絡深度,而且在一定程度上也提升了網絡效果。

本文提出一種基于多通道極深CNN的圖像超分辨率算法。該算法通過改進底層特征層中的輸入圖像,對降采樣后的原始低分辨率圖像分別進行鄰近插值、雙線性插值以及雙三次插值操作,并且在插值前對原始低分辨率圖像進行3種不同強度的圖像銳化,將經過多種預處理后的圖像組成多通道圖像并作為網絡輸入。使用更小的卷積核加深網絡結構,利用預處理的訓練集訓練改進的極深CNN。將待超分辨的圖像經過相同的預處理輸入到訓練好的極深CNN中,從而得到輸出的高分辨率圖像。

1 基于多通道極深CNN的圖像算法

本文提出的基于多通道極深CNN單幅圖像超分辨率重構算法的流程如圖1所示,主要分為3個部分:

1)生成多通道圖像訓練樣本集。

2)利用生成的樣本集對本文網絡模型進行訓練,求解最優參數。

3)利用訓練好的深度神經網絡對單幅圖像進行超分辨率重構。

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

1.1 基于多通道圖像的訓練樣本集抽取方法

由于人類視覺對亮度變化更為敏感,本文在特征提取層中仍舊采用只對亮度通道上的圖像進行操作。雙立方插值方法主要是利用鄰域像素的加權平均來計算待求像素點的值,使得其具有低通濾波器的性質,經過插值后的圖像高頻信息將會受損,容易引起圖像模糊和邊緣失真,而圖像銳化[14]是補償圖像輪廓、增強邊緣信息,使得圖像變得更加清晰的一種方法。因此,在圖像預處理時加入圖像銳化操作,這樣有利于學習到高頻信息,不僅解決了邊緣模糊問題,還可以增強圖像分辨率。MC-SRCNN方法中對原始低分辨率圖像進行3種插值、5種銳化強度分別為0.4、0.8、1.2、1.6和2.0的預處理操作,把經過銳化、插值后的18種圖像構成一幅多通道圖像,但是過多的通道數會增加計算的復雜度。為了增加底層特征信息且減少計算量,本文采取對圖像進行3種插值、3種銳化強度分別為0.4、1.2和2.0的預處理操作,將12種圖像構成一幅多通道圖像,也能很好地提取圖像的高頻信息,獲取其豐富的圖像內容。

圖2 低分辨率多通道圖像的切分示意圖Fig.2 Schematic diagram of segmentation oflow-resolution multi-channel images

1.2 本文算法

文獻[16]線性區間的數量來衡量模型的靈活性,提出一個更深的網絡可以將輸入空間分為更多的線性響應空間,它的表征能力是淺層網絡的指數級倍。在不改變其他參數的情況下,增加網絡的深度就意味著增加網絡的計算量,但在CNN中,可以使用更小的卷積核在保證與原模型具有相同感受野的情況下,不僅增加網絡的深度還能減少網絡的訓練參數。具體而言,本文提出的基于多通道輸入的極深CNN模型,將MC-SRCNN模型中的第3層具有5×5核的卷積層替換為2層具有3×3核大小的卷積層。同時,在保證與MC-SRCNN模型中第1個卷積層具有相同感受野的情況下,將MC-SRCNN模型中的第1層具有9×9核的卷積層替換為2層具有5×5核大小的卷積層。

基于多通道極深CNN模型的結構如圖3所示。從圖3中可以看出,該網絡模型包含輸入層(Input)、4個卷積層(C1～C4)和輸出層(Output)。

圖3 本文模型的結構Fig.3 Structure of the proposed model

本文極深CNN模型各層結構的詳細描述如下:

1)Input層為極深CNN的輸入層,輸入大小是一個n×n的12通道圖像Ymc。

2)C1層是第1個卷積層,包含64個卷積特征圖。每個卷積特征圖的大小均為(n-5+1)×(n-5+1),由一個5×5的卷積核對輸入圖像進行內卷積運算,然后對卷積結果使用ReLU[17]激活函數進行激活,得到激活結果。具體操作如式(1)所示:

F1(Ymc)=max(0,W1×Ymc+B1)

(1)

3)C2層是第2個卷積層,包含64個 (n-8)×(n-8)的卷積特征圖,將C1層作為第2層的輸入數據,經過64個5×5的卷積核進行內卷積,再對其結果進行ReLU激活,得到最終結果。使用32個1×1的卷積核對C2層進行卷積運算,對卷積結果使用ReLU激活函數激活,得到的激活結果為極深CNN的第3個卷積層C3。C4層是最后一個卷積層,使用32個3×3的卷積核對C3層進行卷積運算,再使用ReLU激活函數激活并得到最終結果。具體操作如式(2)所示:

Fj(Ymc)=max(0,Wj×Fj-1(Ymc)+Bj)

(2)

其中,j=2,3,4。

(3)

為了構造超分辨重構模型,本文選用均方誤差(MSE)作為損失函數[18],損失函數值越小,說明模型魯棒性越好,且有利于獲得較高的峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)[20-21]。MSE的計算方法如式(4)所示:

(4)

其中,最小化函數的算法本文選用Adam優化器[19]。

綜上所述,本文模型的求解算法描述如下:

輸入原始的高分辨率自然圖像X

步驟1將自然彩色圖像X轉換為YCbCr圖像,提取其亮度通道圖像XY并進行下采樣,得到低分辨率單通道圖像XLR。

步驟2首先,對圖像XLR分別進行鄰近插值、雙線性插值、雙立方插值操作得到3幅圖像;然后,對圖像XLR依次進行強度分別為0.4、1.2和2.0的圖像銳化,再把銳化后的3幅圖像分別依次進行鄰近插值、雙線性插值、雙立方插值操作,將這12幅圖像組合構成多通道圖像Ymc。

2 實驗結果與分析

2.1 訓練數據集和測試數據集的選擇

為了與現有的SRCNN、MC-SRCN重構方法進行比較,本文選擇與其相同的訓練集和測試集。在模擬實驗中,訓練集圖像采用Timofte數據集(包含91幅圖像)進行訓練,測試集采用Set5和Set14數據集,部分測試圖像如圖4所示。

圖4 部分測試數據集圖像Fig.4 Part of the test dataset images

2.2 實驗參數設置

采用本文提出的網絡模型對經過預處理后的多通道圖像進行重構,并使用Tensorflow訓練該模型。對于網絡優化問題,采用Adam優化算法使損失最小化。在訓練階段,參數Batch Size設置為128,利用均值為0、標準差為0.001的高斯分布隨機初始化卷積濾波器,偏置值初始化為常量0.002,前4層的學習率均為10-4,最后1層的學習率為10-5。

2.3 結果分析

重構圖像的評價標準主要分為主觀評價標準和客觀評價標準2種。主觀評價具有簡單直觀的特點,然而重構圖像的主觀評價容易受到人們的視覺特性、心理狀態等多方面的影響,因此在模擬實驗中應用比較困難。客觀評價標準中本文采用PSNR為評價指標。綜合考慮客觀評價標準和主觀評價標準,才能對重構圖像的性能進行科學、客觀的評價。

2.3.1 客觀評價標準分析

實驗將本文算法與Bicubic算法、SRCNN算法、 MC-SRCNN算法和文獻[22]算法進行比較。在模擬實驗過程中,進行了2倍、3倍和4倍的重構,選取Set5和Set14數據集中的圖像作為測試對比結果。本文從客觀角度對實驗結果進行定量對比分析,結果如表1～表4所示,表1、表2和表3分別為標準數據集Set5在放大2倍、3倍和4倍下5種算法的PSNR,表4為標準數據集Set14在放大3倍下5種算法的PSNR值,其中,表1～表4中加粗字體表示不同算法在Set5和Set14數據集上放大不同倍數條件下的最優結果。

表1 數據集Set5在放大2倍條件下5種算法的PSNRTable 1 PSNR of five algorithms under the condition oftwo times magnification in dataset Set5 dB

表2 數據集Set5在放大3倍條件下5種算法的PSNRTable 2 PSNR of five algorithms under the condition ofthree times magnification in dataset Set5 dB

表3 數據集Set5在放大4倍條件下5種算法的PSNRTable 3 PSNR of five algorithms under the condition offour times magnification in dataset Set5 dB

表4 數據集Set14在放大3倍條件下5種算法的PSNRTable 4 PSNR of five algorithms under the condition ofthree times magnification in dataset Set14 dB

從表1～表4中數據可以看出,除了在Set14數據集上放大3倍條件下,本文算法的PSNR值略低于MC-SRCNN算法以外,在其他條件下,本文算法的PSNR值均高于其他4種算法。

2.3.2 主觀評價標準分析

實驗分別對Head的頭發、Butterfly的翅膀和Baby的眼睛部位以局部放大的方式直觀地對比了不同重構方法的效果圖。將本文算法得到的超分辨率重構圖像與Bicubic算法、SRCNN算法、MC-SRCNN算法和文獻[22]算法重構的圖像在放大倍數為3的條件下進行主觀對比,結果如圖5～圖7所示。從主觀角度分析可知,以Bicubic算法重構得到的圖像分辨率較低,且圖像較為模糊、細節不明顯;SRCNN算法改善了圖像模糊現象,得到較為清晰的圖像,但其中的細節信息仍然難以獲取;經過MC-SRCNN算法得到的圖像清晰度雖然相比前2種算法有所提升,但是在邊緣部分產生了嚴重的偽影現象,重構效果還有待進一步提升;經過文獻[22]算法得到的圖像雖然減少了不必要的特征丟失,但是在細節紋理方面與原圖相比仍有一定的差異;相比以上4種算法而言,利用本文算法得到的圖像分辨率明顯增強,且更容易捕獲圖像中的細節信息,清晰度更好。

圖5 5種算法在Head圖像上的重構效果Fig.5 Reconstruction effect of five algorithms on Head image

圖6 5種算法在Butterfly圖像上的重構效果Fig.6 Reconstruction effect of five algorithmson Butterfly image

圖7 5種算法在Baby圖像上的重構效果Fig.7 Reconstruction effect of five algorithms on Baby image

2.4 運行時間分析

對Bicubic算法、SRCNN算法、MC-SRCNN算法和文獻[22]算法與本文算法在數據集Set14上每張圖片重建的平均運行時間以及其恢復性能進行比較,結果如表5所示。其中,所有算法均在CPU為3.10 GHz、RAM為8 GB的電腦上運行,并使用Tensorflow框架實現算法。

表5 數據集Set14在放大3倍條件下5種算法的運行時間和PSNRTable 5 The running time and PSNR of five algorithmsunder the condition of three times magnificationin dataset Set14

從表5可以看出,與結構簡單的SRCNN算法相比,本文算法采用了極深的CNN結構,雖然本文算法重構一幅圖像的平均運算時間增加了2.7 s,但是重構圖像的客觀評價指標PSNR增加了1.44 dB,極大提高了重構圖像的質量。同時,與MC-SRCNN算法和文獻[22]算法相比,由于本文算法采用了較小的卷積核,其重構一幅圖像的平均運算時間均低于上述2種算法。

3 結束語

針對目前CNN在超分辨率重構中存在參數過多、網絡不穩定以及重構圖像效果不顯著等問題,本文提出一種基于多通道極深CNN的圖像超分辨率算法。該算法以多通道圖像作為輸入數據,使用更小的卷積核來加深網絡結構,并采用效率更高的Adam優化算法對損失函數進行優化求解。實驗結果表明,相比Bicubic、SRCNN、MC-SRCNN和文獻[22]算法,本文算法不僅在主觀評價中給人以圖像增強的視覺感受,而且在客觀評價標準中PSNR值也較高。但是該算法在處理含有文字的圖像分辨率問題上還有待提高,因此在下一步研究工作中,需要進一步改進算法以解決卷積中文字模糊的問題,使得CNN對所有自然圖像均具有良好的適應性。