基于稀疏表示和多成分字典學(xué)習(xí)的超分辨率重建

徐志剛, 李文文, 袁飛祥, 朱紅蕾, 許亞美

(蘭州理工大學(xué)計(jì)算機(jī)與通信學(xué)院, 甘肅 蘭州 730050)

0 引 言

隨著圖像處理與分析技術(shù)的飛速發(fā)展,人們對(duì)高分辨率圖像和視頻信息的需求日益增長(zhǎng)。但是,由于硬件條件、成本及成像環(huán)境等因素的影響,圖像的空間分辨率往往較低,不能滿足實(shí)際應(yīng)用的需要。圖像超分辨率重建技術(shù)通過(guò)軟件處理手段來(lái)獲取滿足應(yīng)用需求的高分辨率圖像,不必改變現(xiàn)有硬件系統(tǒng),在成本上和技術(shù)上具有較大優(yōu)勢(shì),因此近年來(lái)在遙感監(jiān)測(cè)、醫(yī)學(xué)成像、公共安全等領(lǐng)域得到了廣泛的研究與應(yīng)用[1-4]。

單幀圖像超分辨率重建方法是近年來(lái)圖像超分辨率重建研究的主要領(lǐng)域，基于稀疏表示的方法是目前單幀圖像超分辨率重建研究的熱點(diǎn)[5-7]。

文獻(xiàn)[8]利用輸入低分辨率(low resolution,LR)圖像塊和待重建高分辨率(high resolution,HR)圖像塊在特定字典對(duì)下具有相同稀疏系數(shù)的先驗(yàn)約束來(lái)重建高分辨率圖像,獲得了較好的重建結(jié)果。文獻(xiàn)[9]提出利用高斯混合模型聚類算法對(duì)訓(xùn)練圖像塊進(jìn)行聚類,然后使用改進(jìn)字典更新方式的K-奇異值分解 (K-singular value decomposition,K-SVD)算法來(lái)快速獲得高、低分辨率字典對(duì),從而改善基于字典學(xué)習(xí)的圖像超分辨率重建效果欠佳的問(wèn)題。文獻(xiàn)[10]利用圖像形態(tài)分量分析(morphological component analysis,MCA)方法將輸入LR圖像分解為結(jié)構(gòu)部分和紋理部分。對(duì)于結(jié)構(gòu)部分采用新邊緣導(dǎo)向插值(new edge-directed interpolation,NEDI)算法重建。而對(duì)于紋理部分,則采用基于稀疏模型的方法進(jìn)行重建。文獻(xiàn)[11]在稀疏字典重建模型基礎(chǔ)上引入圖像的非局部自相似性和超拉普拉斯先驗(yàn)作為正則化約束,由此增強(qiáng)了稀疏模型的有效性。

上述算法都是基于單字典的稀疏重建方法。這類方法實(shí)現(xiàn)較為簡(jiǎn)單,重建效果總體良好。但是,在表征復(fù)雜自然圖像中不同形態(tài)細(xì)節(jié)信息等方面仍可進(jìn)一步改進(jìn)。

為解決基于單字典稀疏重建方法存在的問(wèn)題,更好地恢復(fù)重建圖像高頻細(xì)節(jié)信息,文獻(xiàn)[12]將輸入LR圖像分解為結(jié)構(gòu)分量和紋理分量,并分別采用稀疏表示方法對(duì)它們進(jìn)行重建,然后再融合生成HR重建圖像。文獻(xiàn)[13]在利用多字典重建圖像時(shí),采用多成分Gabor字典來(lái)表征圖像的平滑、結(jié)構(gòu)和紋理特征,能夠提高圖像特征表達(dá)能力。文獻(xiàn)[14]在設(shè)計(jì)基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率重建算法時(shí),對(duì)低分辨率圖像金字塔結(jié)構(gòu)中的圖像塊進(jìn)行聚類,并在聚類結(jié)果引導(dǎo)下對(duì)訓(xùn)練樣本庫(kù)中的圖像塊進(jìn)行分類,然后利用各類樣本分別構(gòu)建針對(duì)不同類的多個(gè)字典,從而能夠確定表達(dá)重建圖像塊的最優(yōu)字典。

多字典稀疏重建方法在增強(qiáng)稀疏字典的自適應(yīng)能力、有效表征和恢復(fù)待重建LR圖像邊緣細(xì)節(jié)信息方面表現(xiàn)更好一些。但是,這類方法的計(jì)算復(fù)雜度相對(duì)較高。

基于上述分析,為了提升重建算法對(duì)于輸入LR圖像邊緣及紋理細(xì)節(jié)信息的保持與恢復(fù)能力,消除重建HR圖像容易出現(xiàn)的塊效應(yīng)和模糊偽影,在文獻(xiàn)[12,15]的基礎(chǔ)上提出基于稀疏表示和多成分字典學(xué)習(xí)的超分辨率重建算法。該算法利用MCA方法將圖像分解為紋理層和結(jié)構(gòu)層,并分別構(gòu)造紋理、結(jié)構(gòu)分量稀疏表示字典。在提取圖像特征時(shí),對(duì)紋理層圖像采用Gabor變換方法進(jìn)行特征提取。同時(shí)在訓(xùn)練字典和重建過(guò)程中,利用L1/2正則模型構(gòu)造約束項(xiàng)。對(duì)于重建圖像,再利用全局約束與非局部相似性約束相結(jié)合的方式進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明,該算法在重建圖像的主觀視覺(jué)效果上有一定改善,同時(shí)在客觀評(píng)價(jià)指標(biāo)上有較顯著的提升。

1 本文算法

1.1 算法設(shè)計(jì)

本文算法可以分為兩部分。第1部分是基于L1/2正則模型的結(jié)構(gòu)、紋理多成分重建字典構(gòu)造。第2部分是基于多成分字典的單幅圖像超分辨率重建。算法具體流程圖如圖1和圖2所示。

1.2 基于MCA的圖像結(jié)構(gòu)、紋理信息提取

圖像MCA方法假設(shè)圖像包含多種形態(tài)特征分量,并且每種形態(tài)在對(duì)應(yīng)的字典下可以稀疏表示,而該字典對(duì)其他的形態(tài)特征不具有稀疏性。借助對(duì)應(yīng)的稀疏字典就可以獲得圖像的結(jié)構(gòu)、紋理層信息[16]。

圖1 字典訓(xùn)練Fig.1 Dictionary training

圖2 圖像重建Fig.2 Image reconstruction

設(shè)待處理的圖像F由包含紋理層Ft和結(jié)構(gòu)層Fn的分量圖像疊加形成,即F=Ft+Fn,并可稀疏表示為

Ft=Dtαt

(1)

Fn=Dnαn

(2)

式中,αt、αn是在紋理、結(jié)構(gòu)冗余字典Dt、Dn下的稀疏表示系數(shù)。

1.3 利用Gabor變換提取紋理層圖像特征

在圖像重建過(guò)程中,特征提取對(duì)圖像重建的質(zhì)量具有重要意義。為了使訓(xùn)練的字典能更好地匹配輸入LR圖像,提高重建HR圖像質(zhì)量,選擇有效的特征提取方法是必要的。對(duì)自然圖像和紋理/結(jié)構(gòu)層圖像使用一階二階導(dǎo)數(shù)方法進(jìn)行特征提取是常規(guī)做法[8,12]。總體而言,對(duì)于圖像結(jié)構(gòu)信息,一階二階導(dǎo)數(shù)方法可以較好地實(shí)現(xiàn)特征提取。但是,由于紋理層圖像包含大量的中高頻細(xì)節(jié)信息,采用一階二階導(dǎo)數(shù)方法難以全面有效地對(duì)這些信息進(jìn)行表征。所以,應(yīng)該使用更有針對(duì)性的方法進(jìn)行特征提取。

Gabor變換具有良好的空域局部化特征,是重要的紋理特征提取與表示工具。利用Gabor變換對(duì)圖像紋理邊緣敏感,能夠提供良好的空間局部性和方向選擇性的特點(diǎn),可以有效地描述圖像的紋理信息。而且Gabor變換對(duì)光照、姿態(tài)具有一定的魯棒性,其處理的數(shù)據(jù)量較少。因此,本文對(duì)經(jīng)過(guò)MCA分解的結(jié)構(gòu)層圖像采用一階二階導(dǎo)數(shù)進(jìn)行特征提取,而對(duì)紋理層圖像則采用Gabor變換特征提取方法。Gabor核函數(shù)的定義為

(3)

式中,(x,y)為坐標(biāo)位置;σ為高斯函數(shù)標(biāo)準(zhǔn)差;k確定了Gabor的尺度;θ確定了Gabor函數(shù)的方向。本文中,θ選取π/4、π/2、3π/4和π四組值來(lái)進(jìn)行特征提取。

1.4 基于L1/2正則模型構(gòu)造字典學(xué)習(xí)算法

在對(duì)字典進(jìn)行訓(xùn)練時(shí),文獻(xiàn)[8]和文獻(xiàn)[12]均采用基于L1正則約束的方法

D=minα,D‖Y-Dα‖2+λ‖α‖1

(4)

但是,文獻(xiàn)[17]指出,相對(duì)于L1正則約束,L1/2正則約束的解更稀疏,且更穩(wěn)定。因此,本文采用L1/2正則約束模型[18],并采用聯(lián)合字典訓(xùn)練方法來(lái)構(gòu)造高低分辨率結(jié)構(gòu)、紋理字典對(duì)，即

Di=minαi,Di‖Yi-Diαi‖2+λ‖αi‖1/2,i=t,n

(5)

1.5 重建圖像約束優(yōu)化

在得到多成分稀疏字典對(duì)(Dhi,Dli)(i=t,n)后,利用基于L1/2稀疏正則模型的多成分字典超分辨率重建方法就可以得到輸入LR圖像Y的重建HR圖像X。

但是,在重建過(guò)程中由于噪聲、匹配誤差等因素的影響,基于塊的稀疏重建方法在重建HR圖像中容易出現(xiàn)塊效應(yīng)及模糊偽影[20]。考慮到常規(guī)的反向投影全局優(yōu)化模型難以更有效地保持重建圖像局部區(qū)域的邊緣紋理細(xì)節(jié),而非局部相似性先驗(yàn)約束則可以非局部圖像塊相似性為基礎(chǔ),通過(guò)圖像塊匹配方法在圖像一定的鄰域內(nèi)搜索與當(dāng)前圖像塊相似的圖像塊,然后利用匹配圖像塊間的權(quán)重作為先驗(yàn)知識(shí)來(lái)更好地保持圖像的細(xì)節(jié)信息。因此,為了更好地消除重建圖像的塊效應(yīng)和模糊偽影,本文在反向投影全局優(yōu)化模型的基礎(chǔ)上引入非局部相似性先驗(yàn)約束[21]來(lái)優(yōu)化HR圖像。本文的全局約束和非局部自相似約束模型為

(6)

(7)

式中,N(xi)表示圖像中第i個(gè)圖像塊;N(xj)表示搜索到的與N(xi)相似的塊;h為衰減因子;z(i)表示歸一化參數(shù)。

(8)

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文算法性能,采用峰值信噪比(peak signal-to-noise ratio,PSNR)作為客觀評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)重建圖像質(zhì)量，表示為

(9)

式中,r表示重建HR圖像;f表示原始HR圖像;MSE(·)表示r和f的均方誤差(mean squared error,MSE)函數(shù)，表示為

(10)

式中,MN表示圖像總像素?cái)?shù);rij和fij表示重建后的HR圖像和原始HR圖像在點(diǎn)(i,j)處的像素值。

為了驗(yàn)證和分析算法的性能,利用雙三次插值(Bicubic)、文獻(xiàn)[8]算法(sparse coding super-resolution,ScSR)、文獻(xiàn)[12]算法(multi-morphology super-resolution,MmSR)和本文算法來(lái)對(duì)比圖像重建質(zhì)量。在測(cè)試上述算法性能時(shí),利用文獻(xiàn)[3,22]采用的Set5和Set14集中的圖像作為測(cè)試對(duì)象。

為了便于比較,本文算法實(shí)驗(yàn)所采用的訓(xùn)練樣本庫(kù)與文獻(xiàn)[8]和文獻(xiàn)[12]相同。LR圖像塊大小為5×5,圖像塊之間的像素重疊為4,迭代次數(shù)為20,字典大小為1 024。

部分設(shè)置了3組實(shí)驗(yàn),分別針對(duì)上采樣因子為2和3以及上采樣因子為2,但LR圖像受高斯噪聲污染的情況展開。

實(shí)驗(yàn)1設(shè)置上采樣因子為2。表1給出了利用Bicubic算法、ScSR算法、MmSR算法和本文算法重建圖像的PSNR對(duì)比。

表1 重建圖像PSNR值對(duì)比

圖3為實(shí)驗(yàn)1中bird圖像的重建對(duì)比結(jié)果。其中,圖3(a)為L(zhǎng)R圖像,圖3(b)為原始HR圖像,圖3(c)為Bicubic算法重建結(jié)果,圖3(d)為ScSR算法重建結(jié)果,圖3(e)為MmSR算法重建結(jié)果,圖3(f)為本文算法重建結(jié)果。由圖3中bird的眼睛部位可以看到,Bicubic算法得到的重建結(jié)果模糊現(xiàn)象比較明顯。ScSR算法得到的結(jié)果圖像細(xì)節(jié)相對(duì)清晰,但在邊緣區(qū)域仍有一些模糊和偽影現(xiàn)象存在。而MmSR算法得到的重建圖像邊緣區(qū)域的模糊和偽影現(xiàn)象有一定程度減弱。對(duì)比前述算法,本文算法重建圖像的邊緣輪廓更加清晰,圖像的視覺(jué)效果得到了改善。

圖3 Bird圖對(duì)比實(shí)驗(yàn)結(jié)果Fig.3 Compared with the experimental results of the bird image

實(shí)驗(yàn)2設(shè)置上采樣因子為3。表2給出了利用Bicubic算法、ScSR算法、MmSR算法和本文算法重建圖像的PSNR對(duì)比。從表2中可以看到,隨著上采樣倍數(shù)的增加,各算法的PSNR值普遍呈現(xiàn)下降趨勢(shì)。

表2 重建圖像PSNR值對(duì)比

實(shí)驗(yàn)2中monarch圖像的重建對(duì)比結(jié)果如圖4所示。

圖4 Monarch圖對(duì)比實(shí)驗(yàn)結(jié)果Fig.4 Compared with the experimental results of the monarch image

由圖4中monarch圖像的翅膀部位可以看到,Bicubic算法重建的圖像存在比較嚴(yán)重的模糊,邊緣區(qū)域的鋸齒現(xiàn)象也最明顯。ScSR算法重建圖像的質(zhì)量較好,但邊緣區(qū)域仍然存在較明顯的偽影。MmSR算法重建圖像相對(duì)于Bicubic算法模糊程度減輕,但重建圖像的邊緣區(qū)域重建效果不甚理想。而本文算法在提升重建圖像清晰度的同時(shí)更好地抑制了偽影現(xiàn)象。

實(shí)驗(yàn)3設(shè)置上采樣因子為2,但LR圖像受均值為0,均方差為0.001的高斯噪聲污染。考慮到ScSR算法、MmSR算法和本文算法在重建算法設(shè)計(jì)中均未將去除LR圖像噪聲作為重點(diǎn)研究?jī)?nèi)容,因此,本文先利用雙邊濾波方法[23]去除LR圖像噪聲,然后再使用上述3種方法進(jìn)行重建。表3給出了利用ScSR算法、MmSR算法和本文算法重建圖像的PSNR對(duì)比。從表3中可以看到,3種算法重建結(jié)果的PSNR值相對(duì)于表1均有較大幅度的降低。

表3 重建圖像PSNR值對(duì)比

實(shí)驗(yàn)3中face圖像的重建對(duì)比結(jié)果如圖5所示。

圖5 Face圖對(duì)比實(shí)驗(yàn)結(jié)果Fig.5 Compared with the experimental results of the face image

由圖5中face圖像的鼻子部位可以看到,由于受高斯噪聲污染,盡管經(jīng)過(guò)雙邊濾波去噪,但是ScSR算法、MmSR算法和本文算法重建結(jié)果中邊緣區(qū)域的光滑程度均有較大程度的弱化。但相對(duì)而言,本文算法在圖像細(xì)節(jié)恢復(fù)和圖像偽影消除方面表現(xiàn)較好。

3 結(jié) 論

為了解決基于稀疏表示模型的圖像超分辨率重建方法難以有效提升圖像高頻信息恢復(fù)能力,易產(chǎn)生視覺(jué)偽影的問(wèn)題,提出基于稀疏表示和多成分字典學(xué)習(xí)的超分辨率重建方法。該方法在利用MCA方法構(gòu)建結(jié)構(gòu)和紋理多成分重建字典時(shí),分別利用一階二階導(dǎo)數(shù)和Gabor變換提取結(jié)構(gòu)和紋理特征。采用L1/2正則模型用于字典訓(xùn)練和圖像重建。同時(shí),采用全局約束與非局部相似性約束模型對(duì)重建圖像進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明,該方法在消除重建HR圖像視覺(jué)偽影,保持和恢復(fù)重建HR圖像邊緣細(xì)節(jié)信息方面有較好的表現(xiàn)。

[1] FU W, LI S, FANG L, et al. Adaptive spectral-spatial compression of hyperspectral image with sparse representation[J]. IEEE Trans.on Geoscience and Remote Sensing, 2017, 55(2): 671-682.

[2] MANDAL S, BHAVSAR A, SAO A. Noise adaptive super-reso-lution from single image via non-local mean and sparse representation[J]. Signal Processing, 2017, 132: 134-149.

[3] DONG C, LOY C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Trans.on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[4] LIU D, WANG Z, WEN B, et al. Robust single image super-resolution via deep networks with sparse prior[J]. IEEE Trans.on Image Processing, 2016, 25(7): 3194-3207.

[5] DONG W, FU F, SHI G, et al. Hyperspectral image super-reso-lution via non-negative structured sparse representation[J]. IEEE Trans.on Image Processing, 2016, 25(5): 2337-2352.

[6] UIBOUPIN T, RASTI P, ANBARJAFARI G, et al. Facial image super resolution using sparse representation for improving face recognition in surveillance monitoring[C]∥Proc.of the Signal Processing and Communication Application Conference, 2016: 437-440.

[7] AHMADI K, SALARI E. Single-image super resolution using evolutionary sparse coding technique[J]. IET Image Processing, 2017, 11(1): 13-21.

[8] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Trans.on Image Processing, 2010, 19(11): 2861-2873.

[9] 詹曙, 方琪, 楊福猛, 等. 基于耦合特征空間下改進(jìn)字典學(xué)習(xí)的圖像超分辨率重建[J]. 電子學(xué)報(bào), 2016, 44(5): 1189-1195.

ZHAN S, FANG Q, YANG F, et al. Image super-resolution reconstruction via improved dictionary learning based on coupled feature space[J].Acta Electronica Sinica,2016,44(5):1189-1195.

[10] 管超,金波,張愛新.基于MCA分解的超分辨率重構(gòu)算法[J].通信技術(shù), 2013, 46(3): 87-90.

GUAN C, JIN B, ZHANG A. MCA-based image super resolution[J]. Communications Technology, 2013, 46(3): 87-90.

[11] 李娟, 吳謹(jǐn), 陳振學(xué), 等. 基于自學(xué)習(xí)的稀疏正則化圖像超分辨率方法[J]. 儀器儀表學(xué)報(bào), 2015, 36(1): 194-200.

LI J, WU J, CHEN Z, et al. Self-learning image super-rsolution method based on sparse representation[J]. Chinese Journal of Scientific Instrument, 2015, 36(1): 194-200.

[12] LIU W, LI S. Multi-morphology image super-resolution via sparse representation[J]. Neurocomputing, 2013, 120(10): 645-654.

[13] 劉梓, 宋曉寧, 於東軍, 等. 基于多成分字典和稀疏表示的超分辨率重建算法[J]. 南京理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, 38(1): 1-5.

LIU Z, SONG X, YU D, et al. Super-resolution reconstruction algorithm based on multi-component dictionary and sparse representation[J]. Journal of Nanjing University of Science and Technology (Natural Science Edition), 2014, 38(1): 1-5.

[14] 潘宗序, 禹晶, 肖創(chuàng)柏, 等. 基于自適應(yīng)多字典學(xué)習(xí)的單幅圖像超分辨率算法[J]. 電子學(xué)報(bào), 2015, 43(2): 209-216.

PAN Z, YU J, XIAO C, et al. Single image super resolution based on adaptive multi-dictionary learning[J]. Acta Electronica Sinica, 2015, 43(2): 209-216.

[15] 徐志剛,李文文.基于多字典L1/2正則化的超分辨率重建算法[J].吉林大學(xué)學(xué)報(bào)(信息科學(xué)版), 2017, 35(3): 354-362.

XU Z, LI W. Super-Resolution reconstruction based onL1/2regularization of multi component dictionary[J]. Journal of Jilin University(Information Science Edition), 2017, 35(3): 354-362.

[16] STARCK J L, ELAD M, DONOHO D L. Image decomposition via the combination of sparse representations and a variational approach[J].IEEE Trans.on Image Processing,2005,14(10):1570-1582.

[17] XU Z, CHANG X, XU F, et al.L1/2regularization: a thresholding representation theory and a fast solver[J]. IEEE Trans.on Neural Networks and Learning Systems,2012,23(7):1013-1027.

[18] 徐志剛,李文文,朱紅蕾,等.一種基于L1/2正則約束的超分辨率重建算法[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,45(6): 38-42.

XU Z, LI W, ZHU H, et al. Super-resolution reconstruction based on L1/2regularization[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition),2017,45(6):38-42.

[19] 謝林林. 一種快速求解L1/2正則化問(wèn)題的新算法[D]. 大連：大連理工大學(xué), 2014.

XIE L. A new algorithm for fast solvingL1/2regularization problem[D]. Dalian: Dalian University of Technology, 2014.

[20] ZHANG J, XIONG R, CHEN Z, et al. Concolor: constrained non-convex low-rank model for image deblocking[J]. IEEE Trans.on Image Processing, 2016, 25(3): 1246-1259.

[21] XU Z, WANG X, CHEN Z, et al. Nonlocal similarity based dem super resolution[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 110: 48-54.

[22] DONG C, LOY C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]∥Proc.of the European Conference on Computer Vision, 2014: 184-199.

[23] SANKARAN K S, AMMU G, NAGARAJAN V. Patch based image restoration using adaptive bilateral filtering[C]∥Proc.of the International Conference on Information Communication and Embedded Systems,2014:1-5.