基于統(tǒng)計(jì)及結(jié)構(gòu)稀疏特性的圖像修復(fù)算法

于文靜　畢東旭　顏學(xué)峰　林家駿

(華東理工大學(xué)信息學(xué)院　上海 200237)

?

基于統(tǒng)計(jì)及結(jié)構(gòu)稀疏特性的圖像修復(fù)算法

于文靜畢東旭顏學(xué)峰*林家駿

(華東理工大學(xué)信息學(xué)院上海 200237)

目前普遍使用的基于等照度線的優(yōu)先權(quán)圖像修復(fù)算法，不能快速準(zhǔn)確地確定待修復(fù)圖像的結(jié)構(gòu)位置。提出利用破損區(qū)域邊緣圖像塊的灰度均值直方圖，快速準(zhǔn)確定位結(jié)構(gòu)點(diǎn)的位置，優(yōu)先修復(fù)結(jié)構(gòu)區(qū)域后，實(shí)現(xiàn)紋理區(qū)域修復(fù)，獲得很好的修復(fù)結(jié)果。該算法與傳統(tǒng)算法相比，不必計(jì)算每個(gè)邊緣圖像塊的優(yōu)先級(jí)，直接利用統(tǒng)計(jì)信息獲得結(jié)構(gòu)點(diǎn)的位置，比傳統(tǒng)算法更準(zhǔn)確獲取結(jié)構(gòu)點(diǎn)位置。算法的計(jì)算效率和修復(fù)效果都有了很大提升。

圖像修復(fù)灰度均值直方圖結(jié)構(gòu)稀疏

0　引　言

圖像修復(fù)[1]是利用已知信息估計(jì)未知信息，從而將破損的圖像修補(bǔ)完整，使其平滑、連續(xù)、符合人眼的視覺(jué)要求。隨著圖像修復(fù)在數(shù)字特效、圖像恢復(fù)和圖像編碼、傳輸?shù)确矫娴膹V泛應(yīng)用，圖像修復(fù)正在成為圖像處理研究中的基礎(chǔ)領(lǐng)域。

目前常用的圖像修復(fù)方法可以分為基于擴(kuò)散的方法，基于樣本的方法。基于擴(kuò)散的方法[1-3]是利用待修補(bǔ)區(qū)域的邊緣信息確定擴(kuò)散信息和擴(kuò)散方向，從區(qū)域的邊界各向異性地向邊界內(nèi)擴(kuò)散，這些算法通過(guò)變分法或高階的偏微分方程實(shí)現(xiàn)。基于擴(kuò)散的算法在處理非紋理圖像和破損區(qū)域較小的圖像修復(fù)中取得了較好的效果。基于樣本的圖像修復(fù)方法[4-6]是在已知區(qū)域中尋找最匹配的圖像塊，對(duì)于未知區(qū)域進(jìn)行填充。這一方法最早由Efros等[7]提出的利用從已知區(qū)域采樣最為匹配的圖像塊來(lái)合成未知區(qū)域的信息。Criminsi等[4]提出了一種基于圖像塊的圖像修復(fù)算法，對(duì)于破損區(qū)域綜合地考慮結(jié)構(gòu)和紋理的特征，算法實(shí)現(xiàn)了部分圖像從結(jié)構(gòu)區(qū)域首先去修復(fù)，取得了很好的效果。近年來(lái)，稀疏表達(dá)開(kāi)始應(yīng)用于圖像修復(fù)[8-11]，其基本思想是用稀疏的組合來(lái)表達(dá)圖像塊的信息。基于樣本的圖像修復(fù)算法對(duì)圖像進(jìn)行修復(fù)時(shí)需要計(jì)算破損區(qū)域邊緣圖像塊的優(yōu)先級(jí)以保證位于結(jié)構(gòu)的區(qū)域首先被修復(fù)，這既增加了計(jì)算的冗余而且在結(jié)構(gòu)區(qū)域復(fù)雜的圖像中不能準(zhǔn)確確定結(jié)構(gòu)點(diǎn)的位置。本文提出基于統(tǒng)計(jì)及結(jié)構(gòu)稀疏特性的圖像修復(fù)算法，利用破損區(qū)域邊緣鄰域的圖像塊的灰度均值的統(tǒng)計(jì)確定結(jié)構(gòu)稀疏點(diǎn)的位置，能準(zhǔn)確獲取圖像結(jié)構(gòu)點(diǎn)的位置，并快速修復(fù)結(jié)構(gòu)區(qū)域。在修復(fù)速度和效率上獲得較好結(jié)果。

1　Criminisi算法的實(shí)現(xiàn)

Criminisi算法[4]主要通過(guò)以下三步來(lái)完成。

(1) 確定修復(fù)優(yōu)先權(quán)

定義位于破損區(qū)域邊界?Ω的點(diǎn)p為中心的待修復(fù)塊Ψp，其修復(fù)優(yōu)先權(quán)P(p)：

P(p)=C(p)D(p)

(1)

其中，C(p)是置信度表示在Ψp中已知信息所占的比例，D(p)是待修復(fù)塊Ψp的數(shù)據(jù)項(xiàng)。

(2)

(3)

其中：

(4)

(5)

(3) 置信度的更新

每完成一次填充修復(fù)，新填入像素p′的置信度更新為：

C(p)=C(p′),?p∈Ψp′∩Ω

(6)

重復(fù)(1)、(2)、(3)直到修復(fù)完成。

2　基于統(tǒng)計(jì)的結(jié)構(gòu)稀疏特性算法的實(shí)現(xiàn)

在Criminisi算法中，每修復(fù)一塊圖像塊，即要對(duì)邊緣所有點(diǎn)進(jìn)行優(yōu)先權(quán)的計(jì)算，而且在圖像紋理區(qū)域具有顏色變化時(shí)，會(huì)產(chǎn)生紋理修復(fù)過(guò)渡擴(kuò)展的現(xiàn)象。

自然圖像的結(jié)構(gòu)相比紋理具有更高的稀疏度，處于圖像結(jié)構(gòu)位置的圖像塊與鄰域的圖像塊的相似性具有更高的稀疏度。利用圖像的這一特征，提出利用結(jié)構(gòu)稀疏性的特征，統(tǒng)計(jì)破損區(qū)域鄰域信息，獲取結(jié)構(gòu)點(diǎn)位置，并從結(jié)構(gòu)點(diǎn)位置開(kāi)始進(jìn)行修復(fù)。不必計(jì)算每個(gè)點(diǎn)的修復(fù)優(yōu)先權(quán)，既能準(zhǔn)確獲取結(jié)構(gòu)點(diǎn)的位置，并能魯棒性地修復(fù)結(jié)構(gòu)信息。算法實(shí)現(xiàn)步驟如下。

(1) 破損區(qū)域鄰域圖像塊灰度均值獲取

如圖1所示，沿著?Ω以邊緣的P點(diǎn)為中心點(diǎn)計(jì)算每個(gè)待修復(fù)塊Ψp中已知像素的平均灰度值。算法中圖像塊的大小設(shè)為3×3。圖中紅色區(qū)域?yàn)槠茡p區(qū)域。

圖1　原理圖

(7)

(2) 灰度值統(tǒng)計(jì)直方圖的建立

(8)

圖2　鄰域灰度統(tǒng)計(jì)直方圖

(3) 破損區(qū)域結(jié)構(gòu)位置的獲取

利用直方圖灰度數(shù)量較少的點(diǎn)，如圖2中灰度值均值分別為0.4和0.6是圖像中的稀疏點(diǎn)，其在圖像中的位置如圖3中標(biāo)識(shí)A、B點(diǎn)。算法確定這兩點(diǎn)的位置為結(jié)構(gòu)位置，從這些點(diǎn)開(kāi)始對(duì)破損圖像進(jìn)行修復(fù)。修復(fù)過(guò)程塊的匹配利用在特定鄰域中圖像塊的匹配算法，如文獻(xiàn)[8]算法中圖像塊的匹配方法。

圖3　結(jié)構(gòu)點(diǎn)位置

利用圖像灰度均值直方圖確定結(jié)構(gòu)位置時(shí)，會(huì)出現(xiàn)某些鄰域灰度均值的數(shù)量較少但是不位于結(jié)構(gòu)位置，但是通過(guò)迭代后這些點(diǎn)會(huì)消失，稀疏點(diǎn)的位置會(huì)回歸到結(jié)構(gòu)位置。

(4) 修復(fù)迭代至結(jié)構(gòu)稀疏點(diǎn)消失

每修復(fù)一個(gè)圖像塊，對(duì)于改變后的邊緣直方圖信息進(jìn)行更新，只需重新計(jì)算增加的邊緣信息，重新回到(1)。直到直方圖中結(jié)構(gòu)稀疏點(diǎn)的消失，即結(jié)構(gòu)區(qū)域已修復(fù)完成。如圖4為利用本算法修復(fù)結(jié)構(gòu)后的圖像。

圖4　結(jié)構(gòu)修復(fù)完成

(5) 沿著破損區(qū)域方向修復(fù)紋理區(qū)域

確定結(jié)構(gòu)區(qū)域修復(fù)結(jié)束后，沿著破損區(qū)域直接在鄰域中進(jìn)行塊的匹配和修復(fù)即可獲得。紋理區(qū)域的修復(fù)，只在結(jié)構(gòu)位置兩側(cè)分別進(jìn)行圖像塊的匹配，在保證修復(fù)質(zhì)量的同時(shí)節(jié)省修復(fù)時(shí)間。

3　實(shí)驗(yàn)結(jié)果與分析

利用本算法對(duì)BSDS300圖像數(shù)據(jù)庫(kù)中的多幅圖像進(jìn)行處理，并運(yùn)用Criminisi算法和本算法進(jìn)行比較，結(jié)果表明本算法的修復(fù)效果比較好。另外，為了定量比較算法的修復(fù)效果，采用峰值信噪比(PSNR)和算法運(yùn)行時(shí)間作為比較的評(píng)價(jià)標(biāo)準(zhǔn)。

實(shí)驗(yàn)1中物體移除過(guò)程中，如圖5所示，由于Criminisi算法在修復(fù)過(guò)程中對(duì)于最先修復(fù)點(diǎn)的依賴性大，而且在迭代過(guò)程中誤差的積累使得修復(fù)的結(jié)果中出現(xiàn)將錯(cuò)誤區(qū)域的信息匹配到填充區(qū)域。本算法利用鄰域統(tǒng)計(jì)，計(jì)算破損區(qū)域邊緣的每個(gè)點(diǎn)的3×3鄰域圖像塊的平均灰度值，利用灰度值建立邊緣的灰度信息直方圖，準(zhǔn)確獲得破損區(qū)域結(jié)構(gòu)位置，首先修復(fù)結(jié)構(gòu)區(qū)域。所以修復(fù)結(jié)果中結(jié)構(gòu)區(qū)域更自然。

圖5　實(shí)驗(yàn)1

實(shí)驗(yàn)2在修復(fù)破損區(qū)域時(shí)，如圖6所示，在其鄰域存在結(jié)構(gòu)的變化，Criminisi算法在修復(fù)過(guò)程中隨著迭代次數(shù)的增加，置信度下降，使修復(fù)結(jié)果出現(xiàn)結(jié)構(gòu)的不連續(xù)。本算法在修復(fù)結(jié)構(gòu)后利用鄰域信息匹配為填充區(qū)域，獲得滿意的結(jié)果。

圖6　實(shí)驗(yàn)2

表1給出了實(shí)驗(yàn)1和實(shí)驗(yàn)2利用Criminisi算法與本算法進(jìn)行處理后PSNR值的對(duì)比。本算法修復(fù)的結(jié)果在2個(gè)實(shí)驗(yàn)中PSNR與Criminisi算法近似。在計(jì)算時(shí)間上，實(shí)驗(yàn)1和實(shí)驗(yàn)2對(duì)于破損區(qū)域修復(fù)，本算法修復(fù)時(shí)間是Criminisi算法所用時(shí)間的50%。對(duì)于BSDS300圖像庫(kù)中的50幅圖像，對(duì)于不同面積的破損區(qū)域(大小從20×20～70×70)的圖像進(jìn)行修復(fù)兩種算法進(jìn)行比較，本算法的修復(fù)時(shí)間平均為Criminisi算法的50%。

表1　圖像修復(fù)性能的比較

4　結(jié)　語(yǔ)

本文算法首次將統(tǒng)計(jì)直方圖應(yīng)用于結(jié)構(gòu)位置的確定，使修復(fù)算法在無(wú)需對(duì)邊緣每個(gè)像素點(diǎn)進(jìn)行優(yōu)先級(jí)的復(fù)雜計(jì)算的條件下，快速準(zhǔn)確地確定結(jié)構(gòu)位置。算法充分利用自然圖像稀疏性先驗(yàn)的特征，通過(guò)計(jì)算圖像塊的平均灰度，利用信息分布的稀疏性，簡(jiǎn)便，有效。算法可以準(zhǔn)確地確定區(qū)域中是否存在結(jié)構(gòu)區(qū)域，在純紋理區(qū)域及結(jié)構(gòu)和紋理區(qū)域混雜的圖像中，自適應(yīng)地對(duì)圖像進(jìn)行修復(fù)，獲得較好效果。

本文算法不能很好處理破損區(qū)域中同時(shí)含有多種結(jié)構(gòu)信息的圖像，這一問(wèn)題是要進(jìn)一步研究解決的。

[1]BertalmioM,SapiroG,CasellesV,etal.Imageinpainting[J].ACMTransactiononGraphics,2000,19(3):417-424.

[2]ChanT,OsherS,ShenJ.TotalvariationdenoisingandenhancementofcolorimagesbasedontheCBandHSVcolormodels[J].JournalofVisualCommunicationandImageRepresentation,2001,12(4):422-435.

[3]BertalmioM,BertozziAL,SapiroG.Navier-Strokes,fluiddynamics,andimageandvideoinpainting[C]//ProceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2001:417-424.

[4]CriminisiA,PerezP,ToyamaK.Objectremovalbyexamplar-basedimageinpainting[C]//ProceedingsofInternationalConfereceonComputerVision,2003:721-728.

[5]WuJ,RuanQQ.Objectremovalbycrossisophotesexamplar-basedimageinpainting[C]//ProceedingsofInternationalConferenceonPatternRecognition,2006:810-813.

[6]WongA,OrchardJ.Anonlocal-meansapproachtoexamplar-basedinpainting[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2008:2600-2603.

[7]EfrosA,LeungT.Texturesynthesisbynon-parametricsampling[C]//ProceedingsofInternationalConferenceonComputerVision,1999:1033-1038.

[8]XuZB,SunJ.Imageinpaintingbypatchpropagationusingpatchsparsity[J].IEEETransactionsonImageProcessing,2010,19(5):1153-1165.

[9]ZhangQ,LiJJ.Examplar-basedimageinpaintingusingcolordistributionanalysis[J].JournalofInformationofScienceandEngineering,2012,28(4):641-654.

[10]EladM,StarckJL,QuerreP,etal.Simultaneouscartoonandtextureimageinpaintingusingmorphologicalcomponentanalysis[J].AppliedandComputationalHarmonicAnalysis,2005,19:340-358.

[11]GuleryuzOG.Nonlinearapproximationbasedimagerecoveryusingadaptivesparsereconstructions[C]//ProceedingsofIEEEInternationalConferenceonImageProcessing,2003:713-716.

IMAGEINPAINTINGALGORITHMBASEDONSTATISTICSANDSTRUCTURESPARSITYCHARACTER

YuWenjingBiDongxuYanXuefeng*LinJiajun

(School of Information,East China University of Science and Technology,Shanghai 200237,China)

Currentpopularimageinpaintingalgorithmisbasedonisophotepriority,whichcannotdeterminethestructurelocationoftheimagetoberestoredfastandaccurately.Ouralgorithmsuggeststousegray-meanhistogramofthepatchonrimofthedeterioratedregiontorapidlypositionthelocationofstructurepoints,andafterapriorinpaintingonstructureregion,thefilling-inoftextureregionwillbeimplemented.Thisachievesverygoodrestoringresult.Comparingouralgorithmwiththeclassicalalgorithm,itdoesnotneedtocalculatetheprioritiesofeveryedgepatchbutdirectlymakesuseofstatisticsinformationtoobtainthelocationofstructurepoints,andismoreaccuratethanacquiredbytraditionalalgorithm.Boththecomputationefficiencyandinpaintingeffectofthisalgorithmaregreatlyimproved.

ImageinpaintingGray-meanhistogramStructuresparsity

2015-05-20。于文靜，講師，主研領(lǐng)域：數(shù)字圖像修復(fù)算法及優(yōu)化算法。畢東旭，碩士。顏學(xué)峰，教授。林家駿，教授。

TP391.41

ADOI:10.3969/j.issn.1000-386x.2016.03.049