基于深度學(xué)習(xí)和稀疏編碼的圖像超分辨率重建

譚成兵 姚宏亮 詹 林

1(亳州職業(yè)技術(shù)學(xué)院信息工程系 安徽 亳州 236813) 2(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院 安徽 合肥 230009) 3(安徽理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 安徽 淮南 232000)

0 引 言

圖像超分辨率重建技術(shù)是指對模糊的低分辨率圖像通過圖像處理技術(shù)或者信號(hào)處理技術(shù)轉(zhuǎn)化成清晰且細(xì)節(jié)信息豐富的高分辨率圖像，該技術(shù)在衛(wèi)星圖像、人臉識(shí)別和醫(yī)學(xué)圖像領(lǐng)域中發(fā)揮了極大的應(yīng)用價(jià)值[1]。在臨床醫(yī)療診斷過程中CT(Computed Tomography)圖像、MRI(Magnetic Resonance Imaging)圖像和超聲圖像中往往缺少重要的高頻信息，這部分高頻信息是觀察病理細(xì)節(jié)的關(guān)鍵依據(jù)，借助超分辨率技術(shù)可以有效重建此類醫(yī)學(xué)圖像的細(xì)節(jié)信息[2]。人工智能的發(fā)展進(jìn)一步推動(dòng)了超分辨率技術(shù)的進(jìn)步，使其在計(jì)算機(jī)視覺領(lǐng)域得到廣泛的應(yīng)用。

超分辨率重建技術(shù)經(jīng)歷了若干年的發(fā)展，從早期基于插值法的重建方法到近期基于深度學(xué)習(xí)的重建方法，逐漸解決了重建圖像高頻部分的模糊效應(yīng)、混疊效應(yīng)、振鈴效應(yīng)。基于插值法的重建方法主要有：雙三次插值法[3]、雙線性插值法[4]、凸集投影(Projection Onto Convex Sets,POCS)法[5]和迭代反投影(Iterative Back Projection,IBP)法[6]。此類方法能夠有效地增強(qiáng)低分辨率圖像的細(xì)節(jié)信息，但此類方法所重建的高頻部分容易受到模糊效應(yīng)、混疊效應(yīng)等影響。基于深度學(xué)習(xí)的方法主要有：基于雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的方法[7]、基于不同結(jié)構(gòu)深度殘差網(wǎng)絡(luò)的方法[8-9]及基于卷積神經(jīng)網(wǎng)絡(luò)的方法[10]。根據(jù)眾多學(xué)者的研究成果，目前卷積神經(jīng)網(wǎng)絡(luò)在圖像重建問題上取得了最佳的結(jié)果，重建效果普遍高于經(jīng)典的插值法。但當(dāng)前基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)的方法通常對大量的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，在GPU等并行計(jì)算環(huán)境下仍然需要訓(xùn)練4至8天時(shí)間[11]，嚴(yán)重影響了此類方法的實(shí)用性。

為了利用卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，同時(shí)解決CNN訓(xùn)練時(shí)間過長的問題，提出一種基于深度學(xué)習(xí)和稀疏編碼的圖像超分辨率重建算法。上述CNN訓(xùn)練時(shí)間過長的一個(gè)主要因素是訓(xùn)練集包含大量的高分辨率圖像，而本文算法則利用已訓(xùn)練的CNN模型提取低分辨率圖像的深度視覺特征，對高分辨率圖像和低分辨率圖像的差異圖像進(jìn)行字典學(xué)習(xí)。此外，利用了局部約束線性編碼(Locality-constrained Linear Coding,LLC)[12]良好的特征重構(gòu)性與局部平滑稀疏性，對CNN特征進(jìn)行編碼，然后送入字典學(xué)習(xí)進(jìn)行處理。最終，本文在保留了CNN優(yōu)勢的前提下，有效避免了耗時(shí)的高分辨率圖像集的訓(xùn)練。

1 圖像超分辨率模型

基于學(xué)習(xí)的圖像超分辨率重建方法通過對圖像內(nèi)容和空間結(jié)構(gòu)信息進(jìn)行學(xué)習(xí)，提取出低分辨率圖像塊和高分辨率圖像塊之間的映射關(guān)系。鑒于稀疏表示方法能夠有效地學(xué)習(xí)低分辨率圖像和高分辨率圖像之間的共生關(guān)系，因此本文采用字典學(xué)習(xí)技術(shù)學(xué)習(xí)該共生關(guān)系。現(xiàn)有基于稀疏表示的超分辨率技術(shù)大多通過不同的濾波器(如高斯濾波器組、Gabor濾波器組)來提取低分辨率圖像的特征，雖然這些濾波器能夠提取出圖像的邊緣信息和輪廓信息，但經(jīng)常忽略復(fù)雜度高的圖像局部結(jié)構(gòu)，容易引起模糊效應(yīng)、混疊效應(yīng)和振鈴效應(yīng)，進(jìn)而降低重建圖像的質(zhì)量。

本文通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像每一塊的深度視覺特征，其特征表示能力優(yōu)于傳統(tǒng)的一維濾波器或多維濾波器。然后，采用LLC編碼對特征進(jìn)行稀疏化處理，再通過字典學(xué)習(xí)技術(shù)學(xué)習(xí)LLC編碼的稀疏表示。通過學(xué)習(xí)的每對字典和稀疏表示系數(shù)，能夠識(shí)別出低分辨率圖像和高分辨率圖像在特征空間的準(zhǔn)確映射關(guān)系，進(jìn)而高質(zhì)量地還原出圖像細(xì)節(jié)和結(jié)構(gòu)的缺失信息，同時(shí)抑制振鈴效應(yīng)、混疊效應(yīng)和模糊效應(yīng)。

1.1 超分辨率問題模型

典型的超分辨率問題模型為Y=DHX+n，其中：Y∈RN×1表示給定的低分辨率圖像；X∈RN×1為待估計(jì)的高分辨率圖像；矩陣H為模糊矩陣，包含高分辨率圖像的模糊核；D為下采樣矩陣；n是均值為0的加性噪聲。將低分辨率圖像和高分辨率圖像組成一個(gè)圖像塊集合，記為ym∈Rl×1，xm∈Rh×1，m=1,2,…,N。

1.2 基于稀疏表示的超分辨率模型

設(shè)Y為一個(gè)低分辨率圖像，X表示Y的高分辨率圖像，圖像超分辨率的目標(biāo)是重建包含更多細(xì)節(jié)信息的高分辨率圖像。高、低分辨率圖像之間的關(guān)系定義為：

Y=DHX+n

(1)

式中：H表示模糊矩陣；D表示下采樣；n為加性噪聲。假設(shè)圖像無噪聲，那么可將模糊矩陣H建模為單位矩陣，直接通過下采樣從高分辨率圖像獲得低分辨率圖像，那么可將圖像超分辨率問題建模為圖像插值問題。

假設(shè)X∈Rm×N包含N列數(shù)據(jù)向量xj∈Rm，D∈Rm×K表示一個(gè)字典，字典的列為dk∈Rm，字典的原子數(shù)量為K。向量xj表示在圖像位置j處提取的圖像塊，計(jì)算為xj=RjX，Rj表示矩形采樣窗口。每個(gè)數(shù)據(jù)向量xj對應(yīng)一個(gè)稀疏表示向量aj∈RK，稀疏表示向量構(gòu)成稀疏表示矩陣，記為A=[a1,a2,…,aN]∈RK×N，其中K<

稀疏表示的目標(biāo)是通過字典D近似X，即X≈DA，對于數(shù)據(jù)樣本xj，系數(shù)aj的非零元素較少。針對A的計(jì)算過程稱為稀疏編碼，因此稀疏編碼問題可建模為：

(2)

s.t.X≈DA

(3)

可通過以下的成本函數(shù)估計(jì)出稀疏表示系數(shù)矩陣A和字典D：

(4)

式中：成本函數(shù)包含一個(gè)數(shù)據(jù)擬合項(xiàng)和一個(gè)正則項(xiàng)；λ為懲罰參數(shù)，用于平衡數(shù)據(jù)保真度和稀疏性。

2 圖像重建技術(shù)

基于深度學(xué)習(xí)和稀疏編碼的超分辨率技術(shù)包含3個(gè)步驟：(1) 基于CNN網(wǎng)絡(luò)提取深度視覺特征，使用LLC編碼對特征進(jìn)行降維處理；(2) 采用字典學(xué)習(xí)方法學(xué)習(xí)低分辨率圖像和高分辨率圖像的判別字典；(3) 估計(jì)稀疏表示系數(shù)，還原出高分辨率圖像。

2.1 基于CNN的特征提取

圖1 提取深度視覺特征的流程

1) 特征提取。采用VGG16深度卷積神經(jīng)網(wǎng)絡(luò)模型[13]作為特征提取器，該模型基于ILSVRC-2012數(shù)據(jù)集[14]訓(xùn)練而來。該模型提取的深度特征維度低于其他的復(fù)雜神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并且所提取的特征已在多個(gè)超分辨率問題[15]中得到了應(yīng)用，因此本文選擇該模型學(xué)習(xí)圖像每一塊的深度特征。假設(shè)圖像塊大小為224×224，VGG16產(chǎn)生的特征向量fi的維度為4 096。

2) 局部約束線性編碼(Locality-constrained Linear Coding,LLC)。上文通過CNN生成了D維的特征向量，使用LLC編碼方法對特征向量進(jìn)行編碼。LLC編碼包括兩個(gè)步驟：

(5)

式中：“*”表示元素級(jí)的乘法運(yùn)算；B為碼書；λ為正則項(xiàng)的系數(shù)；di為局部調(diào)節(jié)變量。di定義為：

(6)

式中：dist(fi,B)=[dist(fi,b1),dist(fi,b2),…,dist(fi,bM)]T，dist(fi,bj)為fi和bj之間的歐氏距離；σ參數(shù)用于控制權(quán)重下降速度。

2.2 字典學(xué)習(xí)方法

pl=DlA

(7)

式中：pl為低分辨率圖像的塊;Dl為低分辨率字典;A為稀疏表示系數(shù)。采用K-SVD字典訓(xùn)練方法[16]計(jì)算Dl，計(jì)算方法為：

(8)

式中：L表示最大稀疏度。K-SVD訓(xùn)練方法基于當(dāng)前數(shù)據(jù)的稀疏編碼迭代更新字典的原子，不斷提高數(shù)據(jù)擬合的準(zhǔn)確性，最終生成稀疏表示系數(shù)A。

假設(shè)高分辨率和低分辨率圖像塊的稀疏表示系數(shù)相同，那么高分辨率圖像塊的稀疏表示為：

(9)

通過以下的偽逆矩陣求解出式(9)：

Dh=phAT(AAT)-1

(10)

圖2所示是本文單圖像字典學(xué)習(xí)的流程，基于深度視覺特征生成高分辨率字典和低分辨率字典。

圖2 字典學(xué)習(xí)方法

2.3 高分辨率圖像重建

隨之使用正交匹配追蹤算法(Orthogonal Matching Pursuit,OMP)[17]將低分辨率特征plk編碼成低分辨率稀疏表示系數(shù)：

(11)

將稀疏表示系數(shù)和高分辨率字典Dh相乘，還原出近似的高分辨率圖像塊；

(12)

圖3所示是單圖像超分辨率重建的流程，重建過程僅需要提取一次低分辨率圖像的特征，保證了較低的計(jì)算復(fù)雜度。

圖3 圖像重建方法

3 仿真實(shí)驗(yàn)和結(jié)果分析

本文實(shí)驗(yàn)環(huán)境為PC機(jī)，CPU為Intel i5- 8265U,內(nèi)存容量為8 GB，操作系統(tǒng)為Windows 10系統(tǒng)。編程環(huán)境為MATLAB仿真平臺(tái)。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

采用在超分辨率領(lǐng)域被廣泛使用的兩個(gè)公開數(shù)據(jù)集Set5和Set14，數(shù)據(jù)集的每幅圖像均包含2倍、3倍、4倍的放大因子。為了簡化描述，將Set5和Set14的圖像分別進(jìn)行編號(hào)：(1) Set5的Baby、Bird、Butterfly、Head和Woman圖像依次編號(hào)為1-5；(2) Set14的Baboon、Barbara、Bridge、Coastguard、Comic、Face、Flowers、Foreman、Lenna、Man、Monarch、Pepper、PPT3、Zebra圖像依次編號(hào)為1-14。

3.2 性能評(píng)價(jià)標(biāo)準(zhǔn)和對比方法

通過PSNR和SSIM兩個(gè)指標(biāo)定量評(píng)估超分辨率圖像的質(zhì)量。PSNR的計(jì)算式為：

(13)

式中：M和N分別為圖像的長和寬；f和g分別為實(shí)際和重建的高分辨率圖像。

(14)

式中：μf和μg分別為f和g的平均灰度；σf和σg分別為f和g的方差；σfg表示f和g的協(xié)方差；C1和C2為兩個(gè)常量。

為了客觀比較算法的性能，選擇了基于信息蒸餾網(wǎng)絡(luò)(Information Distillation Network,IDN)的超分辨率方法IDNSR[18]、基于流形約束稀疏編碼的超分辨率方法MCSCSR[19]、基于耦合字典學(xué)習(xí)算法的CDLSR[20]、基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率方法DeepSUM[21]和本文算法進(jìn)行比較。IDNSR是繼SRCNN之后又一個(gè)新的超分辨率網(wǎng)絡(luò)模型，通過該模型評(píng)估本文算法的先進(jìn)性。MCSCSR和CDLSR均為基于稀疏編碼的增強(qiáng)類超分辨率方法，這兩個(gè)方法均基于傳統(tǒng)的圖像幾何特征，通過它們評(píng)估本文算法的深度視覺特征效果。DeepSUM是一種基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率方法，該方法的訓(xùn)練過程在GPU上需要兩天以上的時(shí)間。

3.3 參數(shù)設(shè)置

圖像塊的大小設(shè)為224×224，本文使用的VGG16模型已在ILSVRC-2012數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。網(wǎng)絡(luò)生成的特征向量大小為1×4 096。在LLC編碼處理中，每個(gè)訓(xùn)練塊隨機(jī)選擇20個(gè)8×8的子塊用以生成碼書，碼字的數(shù)量設(shè)為240，LLC編碼的鄰居參數(shù)K設(shè)為5。

字典大小是影響字典學(xué)習(xí)性能的關(guān)鍵指標(biāo)，因此通過一組實(shí)驗(yàn)觀察字典大小對本文算法性能的影響情況。圖4所示是Set14數(shù)據(jù)集上不同字典大小的重建性能統(tǒng)計(jì)結(jié)果，觀察曲線，隨著字典規(guī)模的提高，重建效果得以提升，最終考慮計(jì)算效率和性能之間的平衡，將字典大小設(shè)為4 096。

圖4 字典大小的參數(shù)實(shí)驗(yàn)

3.4 實(shí)驗(yàn)結(jié)果和分析

(1) 視覺效果評(píng)價(jià)。在臨床醫(yī)療等應(yīng)用場景中通過超分辨率重建技術(shù)補(bǔ)充醫(yī)學(xué)圖像的細(xì)節(jié)信息，以滿足臨床診斷的需求，因此視覺效果是衡量圖像重建質(zhì)量的首要因素。圖5所示是Set5數(shù)據(jù)集Bird圖像的重建實(shí)例，其中：(a)為3倍放大的原圖像，(b)(c)(d)(e)(f)分別為IDNSR、MCSCSR、CDLSR、DeepSUM和本文算法的重建結(jié)果。可以看出MCSCSR和CDLSR對嘴部放大3倍后清晰度較低，這兩種算法均采用傳統(tǒng)的幾何特征，受到了模糊效應(yīng)和振鈴效應(yīng)的影響。IDNSR和DeepSUM重建的視覺質(zhì)量優(yōu)于MCSCSR和CDLSR，放大3倍的圖像中包含了銳利的邊緣信息。本文算法的高分辨率圖像也包含了豐富的細(xì)節(jié)和銳利的邊緣信息，并且邊緣的銳利效果好于其他算法。

(a) 原圖像 (b) IDNSR重建 (c) MCSCSR重建

(d) CDLSR重建 (e) DeepSUM重建 (f)本文算法重建圖5 Set5數(shù)據(jù)集的重建實(shí)例

圖6所示是Set14數(shù)據(jù)集Monarch圖像的重建實(shí)例，其中：(a)為3倍放大的原圖像，(b)(c)(d)(e)(f)分別為IDNSR、MCSCSR、CDLSR、DeepSUM和本文算法的重建結(jié)果。可以看出MCSCSR和CDLSR對蝴蝶花紋放大3倍后清晰度較低，這兩種算法均采用傳統(tǒng)的幾何特征，也受到了模糊效應(yīng)和振鈴效應(yīng)的影響。IDNSR和DeepSUM重建的視覺質(zhì)量優(yōu)于MCSCSR和CDLSR，蝴蝶花紋處的清晰度更高。本文算法的高分辨率圖像則好于4個(gè)對比算法，蝴蝶花紋處的清晰度更高，并且邊緣的銳利程度也更好。

(a) 原圖像 (b) IDNSR重建 (c) MCSCSR重建

(d) CDLSR重建 (e) DeepSUM重建 (f) 本文算法重圖6 Set14數(shù)據(jù)集的重建實(shí)例

(2) 性能定量評(píng)價(jià)。圖7(a)、圖7(b)所示分別是在Set5數(shù)據(jù)集上進(jìn)行超分辨率重建(3倍放大)的PSNR結(jié)果和SSIM結(jié)果。可以看出基于深度學(xué)習(xí)的方法也優(yōu)于傳統(tǒng)基于圖像幾何特征的方法，DeepSUM在Baby、Butterfly和Woman三幅圖像上優(yōu)于IDNSR，但在Bird和Head兩幅圖像上差于IDNSR，可見信息蒸餾網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)各有優(yōu)劣。由于本文算法利用LLC編碼技術(shù)良好的特征重構(gòu)性與局部平滑稀疏性，有效地增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的深度視覺特征，因此本文算法對5幅圖像均實(shí)現(xiàn)了更好的PSNR結(jié)果和SSIM結(jié)果。

(a) PNSR結(jié)果

(b) SSIM結(jié)果圖7 Set5數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

表1、表2分別是在Set14數(shù)據(jù)集上進(jìn)行超分辨率重建(3倍放大)的PSNR結(jié)果和SSIM結(jié)果。另外可發(fā)現(xiàn)基于深度學(xué)習(xí)的方法也優(yōu)于傳統(tǒng)基于圖像幾何特征的方法，DeepSUM在Baboon、Barbara、Coastguard、Face、Foreman和Man六幅圖像上優(yōu)于IDNSR，但在Bridge、Comic、Flowers、Lenna、Monarch、Pepper、Zebra和PPT3圖像上差于IDNSR，由此也再次證明信息蒸餾網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)各有優(yōu)劣。可以看出本文算法對Set14的大多數(shù)圖像均實(shí)現(xiàn)了更好的PSNR結(jié)果和SSIM結(jié)果。本文算法利用LLC編碼技術(shù)良好的特征重構(gòu)性與局部平滑稀疏性，有效地增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的深度視覺特征。

表1 Set14數(shù)據(jù)集的PSNR結(jié)果 單位：dB

表2 Set14數(shù)據(jù)集的SSIM結(jié)果

隨之分析了超分辨率重建算法在不同放大因子下的重建性能，結(jié)果如圖8所示。圖8(a)-圖8(d)分別為Set5的PSNR結(jié)果、Set5的SSIM結(jié)果、Set14的PSNR結(jié)果和Set14的SSIM結(jié)果。雖然對不同的圖像進(jìn)行了實(shí)驗(yàn)，但是4幅結(jié)果圖表現(xiàn)出一致性，隨著放大因子的提高，重建質(zhì)量逐漸降低。并且在放大因子較低時(shí)，不同重建算法的結(jié)果較為接近，而隨著放大因子的增加，不同重建算法的性能差異增大。總體而言，本文算法在不同放大因子下均獲得了更好的結(jié)果。

(a) Set5數(shù)據(jù)集的PSNR結(jié)果

(b) Set5數(shù)據(jù)集的SSIM結(jié)果

(c) Set14數(shù)據(jù)集的PSNR結(jié)果

(d) Set14數(shù)據(jù)集的SSIM結(jié)果圖8 不同放大因子的實(shí)驗(yàn)結(jié)果

(3) 算法時(shí)間效率。最終統(tǒng)計(jì)了在圖像重建過程中每個(gè)算法所需的響應(yīng)時(shí)間，如表3所示。可以看出隨著放大因子的提高，處理時(shí)間降低，其原因主要是放大倍數(shù)越大，特征的稀疏性越高，處理的速度越快。而CDLSR算法在重建過程中需要提取輸入圖像的Gabor特征組和高斯特征組，并且每塊大小僅為3×3，因此處理時(shí)間遠(yuǎn)高于其他算法。本文算法在重建過程中僅需要提取一次低分辨率圖像的特征，然后結(jié)合低分辨率字典系數(shù)估計(jì)出高分辨率圖像，因此計(jì)算效率較高，最終本文算法和MCSCSR算法的計(jì)算效率優(yōu)于其他算法。

表3 超分辨率算法的平均響應(yīng)時(shí)間 單位：s

4 結(jié) 語

本文通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像每一塊的深度視覺特征，然后采用LLC編碼對特征進(jìn)行稀疏化處理，通過學(xué)習(xí)的每對字典和稀疏表示系數(shù)，能夠識(shí)別出低分辨率圖像和高分辨率圖像在特征空間的準(zhǔn)確映射關(guān)系，進(jìn)而高質(zhì)量地還原圖像細(xì)節(jié)和結(jié)構(gòu)的缺失信息，同時(shí)抑制振鈴效應(yīng)、混疊效應(yīng)和模糊效應(yīng)。實(shí)驗(yàn)結(jié)果表明，算法在視覺效果和評(píng)價(jià)指標(biāo)上均獲得了較好的超分辨率效果，并且速度較快。本文的深度視覺特征主要基于VGG16網(wǎng)絡(luò)實(shí)現(xiàn)，未來將在AlexNet、Inception和ResNet等模型上進(jìn)行研究，觀察不同CNN網(wǎng)絡(luò)模型對超分辨率重建性能的影響。