一種改進(jìn)的Criminisi新算法的圖像復(fù)原技術(shù)

陳美玲 朱鋁芬 張?jiān)?石瑤

摘 ?要：本文針對(duì)Criminisi算法及其現(xiàn)階段存在的不足，提出一種基于圖像樣本塊的圖像復(fù)原算法。通過(guò)在Criminisi算法中加入模塊的自適應(yīng)算子，使原來(lái)的9*9模塊在適當(dāng)情況下自適應(yīng)變化為其余模塊大小，來(lái)降低修復(fù)誤差。實(shí)驗(yàn)結(jié)果在主觀上修復(fù)部分更加清晰自然，修復(fù)邊緣沒(méi)有太大的瑕疵;從客觀評(píng)價(jià)指標(biāo)上分析：圖像峰值信噪比PSNR變大，圖像模糊程度變小;修復(fù)運(yùn)行時(shí)間更長(zhǎng)，圖像修復(fù)效果更好。結(jié)果表明改進(jìn)后的Criminisi算法從主觀層面和客觀層面都具有更好的圖像修復(fù)效果，即污染區(qū)域圖像斷層更少，過(guò)渡更加平滑，紋理豐富、結(jié)構(gòu)復(fù)雜區(qū)域的修復(fù)也更加自然。

關(guān)鍵詞：自適應(yīng);Criminisi算法;圖像修復(fù)

中圖分類(lèi)號(hào)：TP317.4 ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）18-0043-04

Abstract：To overcome the shortcomings of Criminisi algorithm and its present stage，a new improved image restoration algorithm based on sample blocks is proposed. In Criminisi algorithm，the adaptive operator of the module is added to reduce the repair error by adaptively changing the size of the other modules from the original 9*9 module in appropriate cases. The experimental results show that the repair part is more clear and natural in subjective analysis，and the repair edge is not too defective. From the objective evaluation index，the peak signal-to-noise ratio （PSNR） of the image becomes larger，and the image blurring degree becomes smaller. The repair operation time is longer，and the image restoration effect is better. The experimental results show that the improved Criminisi algorithm has a better image restoration effect both in subjective and objective aspects，that is，the contaminated area has fewer image slices，more smoother，and the texture-rich and complex areas are more natural.

Keywords：adaptive operator;Criminisi algorithm;image restoration

0 ?引 ?言

圖像修復(fù)[1]是指用于恢復(fù)或重建由于損壞而丟失的圖像或從圖像中移除冗余對(duì)象的技術(shù)，它采取特定的原理和算法，并利用破損圖像中待修復(fù)區(qū)域的領(lǐng)域信息來(lái)修復(fù)未知區(qū)域，主要目的是讓觀察者不易覺(jué)察出圖像已經(jīng)被損壞或者被修復(fù)過(guò)[2]。圖像修復(fù)已經(jīng)被人們廣泛應(yīng)用于數(shù)字圖像處理、計(jì)算機(jī)繪圖、數(shù)據(jù)壓縮、電腦卡通制作及虛擬現(xiàn)實(shí)等領(lǐng)域中[3]。

圖像修復(fù)過(guò)程包含一系列消除噪聲和干擾的繁瑣步驟，如糾正幾何失真和對(duì)比度損失以及反卷積;現(xiàn)今的圖像修復(fù)技術(shù)的發(fā)展已經(jīng)愈發(fā)成熟，修復(fù)方法也極為豐富，包含：維納濾波、逆濾波、第一濾波、幾何失真校正等手段。數(shù)字圖像修復(fù)技術(shù)有兩個(gè)主要分支：一個(gè)是基于紋理結(jié)構(gòu)的圖像恢復(fù)，非常適合大型圖像損傷區(qū)域;另一個(gè)分支是基于非紋理圖像恢復(fù)，主要用于小圖像恢復(fù)。

雖然基于非紋理結(jié)構(gòu)的圖像復(fù)原技術(shù)可以廣泛應(yīng)用于小面積污染的圖像復(fù)原，但是這種技術(shù)不適用于大面積的圖像復(fù)原。因此，一些學(xué)者提出了基于紋理結(jié)構(gòu)的圖像復(fù)原。最近，最流行的方法是基于快速操作的圖像修復(fù)算法。匹配完整的圖像區(qū)域，將最近和相似的區(qū)域復(fù)制到要修復(fù)的區(qū)域，然后重復(fù)更新邊界信息，一直到獲取到修復(fù)結(jié)果圖為止。其中最典型的算法是Criminisi等人提出的Criminisi算法，大量學(xué)者針對(duì)此類(lèi)算法做出了研討[4]。

起初，Cheng等人在Criminisi算法的優(yōu)先權(quán)函數(shù)上進(jìn)行了改進(jìn)，讓這類(lèi)算法可以對(duì)不同特性的圖像進(jìn)行處理，大大提升了此類(lèi)算法的實(shí)用性，JinHai把圖像分解成了結(jié)構(gòu)和紋理兩部分，然后把結(jié)構(gòu)信息加入到了優(yōu)先權(quán)判斷中，研究表明這類(lèi)方法可以在結(jié)構(gòu)邊緣處提升修復(fù)效果;在相似性度量上，Xue依照顏色比率梯度直方圖搭建了一種新的相似度量規(guī)則，提高了匹配塊搜索的精確度;接著Zhang提出了一種自適應(yīng)的修復(fù)算法，針對(duì)樣本塊大小的選取，提高獲取各種尺度的圖像特征的效率，來(lái)提高修復(fù)質(zhì)量[5]。

本文針對(duì)Criminisi算法存在的問(wèn)題進(jìn)行了改進(jìn)，在同一幅圖像中，不同模塊間達(dá)到最佳修復(fù)效果的模塊大小會(huì)自適應(yīng)改變。

1 ?Criminisi算法

Criminisi算法的原理是找到圖像I的整個(gè)已知區(qū)域I-Ω與未知損傷區(qū)域Ω之間的邊緣δΩ，并在邊緣域內(nèi)選取樣本塊，樣本塊與鄰接樣本塊之間存在像素點(diǎn)的重疊，形成樣本塊集合P={P（x1），P（x2），…，P（xN）}，其中p（xi）包含于I/Ω，N是樣本塊的總個(gè)數(shù)，xi是樣本塊的中心像素。首先，根據(jù)特定原理確定要修復(fù)的像素的優(yōu)先級(jí)，并且以具有最高優(yōu)先級(jí)的點(diǎn)為中心建立目標(biāo)塊（即樣本塊）。然后在P中尋找與目標(biāo)塊最相似的模板，并將獲得的最佳匹配模板塊的像素值填充到目標(biāo)塊的對(duì)應(yīng)位置。這樣，經(jīng)過(guò)多次迭代，最終完成整個(gè)受損區(qū)域的修復(fù)問(wèn)題。

（3）將最優(yōu)匹配塊中的信息復(fù)制到待匹配塊中。

（4）重復(fù)上述步驟。

（5）直到全部破損區(qū)域修復(fù)完成為止。

基于樣本塊修復(fù)算法的原理如圖1所示，其中Φ（Source region）為原區(qū)域，Ω（Target region）為目標(biāo)區(qū)域。

2 ?基于樣本塊大小的自適應(yīng)算法

在基于紋理合成的圖像算法中，樣本塊的大小對(duì)最終的修復(fù)效果是影響極大的，同時(shí)對(duì)修復(fù)速度還有影響。在大多數(shù)的紋理合成算法中，塊大小一般為9*9，但是并不合理，不能應(yīng)對(duì)所有的情況。比如：當(dāng)處理紋理結(jié)構(gòu)復(fù)雜和色彩豐富的圖像時(shí)，如果樣本塊大，則會(huì)導(dǎo)致修復(fù)誤差變大，雖然修復(fù)的運(yùn)行時(shí)間很短，但是對(duì)于修復(fù)結(jié)果而言不夠理想[6]。

對(duì)于Criminisi算法，該算法以步行模式運(yùn)行。如果最后一個(gè)修復(fù)結(jié)果有錯(cuò)誤，它將繼續(xù)導(dǎo)致下一個(gè)匹配修復(fù)偏差，直到修復(fù)結(jié)果錯(cuò)誤，因此匹配修復(fù)的正確性非常重要。模塊大小對(duì)于匹配修復(fù)的正確性至關(guān)重要。針對(duì)Criminisi算法固定模塊尺寸的不足，提出了一種適應(yīng)模塊尺寸的方法。也就是說(shuō)，在同一圖像中，將自適應(yīng)地改變?cè)诓煌K之間實(shí)現(xiàn)最佳修復(fù)效果的模塊尺寸。如上所述，當(dāng)紋理更豐富，圖像的信息變化更快時(shí)，如果模板更大，則更可能發(fā)生錯(cuò)誤。因此，當(dāng)紋理改變時(shí)，模板大小不再能夠繼續(xù)增加。本文使用的自適應(yīng)模板的大小，中心思想是從內(nèi)到外傳播信息。從初始模板大小開(kāi)始（本文使用5*5），然后縮小一個(gè)像素，在擴(kuò)展前后，如果信息變化平穩(wěn)，判斷模板中的信息變化是否平緩或跳躍，然后繼續(xù)擴(kuò)展一個(gè)像素點(diǎn)，否則，返回到先前的模板大小并停止擴(kuò)展。如圖2所示。

在圖2中，曲線是要修復(fù)的邊界，它是具有最高優(yōu)先級(jí)的點(diǎn)，并且居中以形成初始模板（最里面的矩形）。然后向外擴(kuò)展以計(jì)算擴(kuò)展后信息的變化，信息的變化是平穩(wěn)的或強(qiáng)烈的，主要通過(guò)信息的變化率來(lái)反映，變化率是通過(guò)顏色值的變化來(lái)衡量的。這與像素處的梯度有關(guān)，因此通過(guò)在擴(kuò)展之前和之后兩個(gè)模塊之間的每個(gè)像素的梯度的差異是否超過(guò)特定閾值來(lái)測(cè)量。具體實(shí)現(xiàn)過(guò)程如下：

令第一次擴(kuò)展后的模板邊界為矩形框的四邊與圖像的已知區(qū)域的交點(diǎn)。然后對(duì)于邊界上的任何已知像素，即假設(shè)它是擴(kuò)展后的對(duì)應(yīng)點(diǎn)，在使用中心差分方法的情況下設(shè)梯度。當(dāng)點(diǎn)向外擴(kuò)展時(shí)，梯度也由中心差計(jì)算，則擴(kuò)散條件為：

3 ?新算法圖像修復(fù)的對(duì)比結(jié)果

如圖3蹦極，圖3（a）是一張蹦極照片，其圖像信息非常豐富，紋理結(jié)構(gòu)也很復(fù)雜，將其處理后得到圖3（b）掩碼圖像，通過(guò)照片觀察可看出來(lái)掩碼圖像跨越了河流、房屋、草地三片區(qū)域，其修復(fù)的復(fù)雜程度很高。通過(guò)MATLAB工具采用改進(jìn)前的原始Criminisi算法得到圖3（c），緊接著用改進(jìn)后的算法獲得圖3（d）。

由圖3可以看出，改進(jìn)前的修復(fù)效果圖3（c）掩碼圖像基本被修復(fù)，但是很明顯其河流、房屋、草地三片區(qū)域的交界處都出現(xiàn)不同程度的斷層，這明顯不合理;改進(jìn)后的模塊自適應(yīng)算法得到的圖3（d）修復(fù)圖可發(fā)現(xiàn)圖像信息斷層情況大大改善，提升了視覺(jué)感受[7]。

客觀評(píng)價(jià)指標(biāo)主要從三項(xiàng)指標(biāo)來(lái)進(jìn)行對(duì)比，分別是時(shí)間（單位：s）、PSRN值（峰值信噪比）和MSE值（均方差），如表1所示。

由表1可知：改進(jìn)后的新算法PSNR值更高且MSE值更低[8]，可知即其圖像修復(fù)的效果更好，具體表現(xiàn)在新算法修復(fù)后的失真率更低，與原圖的相似度更高。并且可發(fā)現(xiàn)新算法的修復(fù)時(shí)間更長(zhǎng)，這也是一項(xiàng)對(duì)于算法運(yùn)行效率的評(píng)價(jià)指標(biāo)，時(shí)間是數(shù)字形式可以量化，所以可以客觀比較。一般而言，圖像修復(fù)的時(shí)間越長(zhǎng)，修復(fù)效果越好，時(shí)間和修復(fù)效果之間成正比關(guān)系，也就是說(shuō)修復(fù)效果較好的算法，其耗費(fèi)時(shí)間相對(duì)而言更長(zhǎng)。

以下進(jìn)行兩組圖像對(duì)比再次驗(yàn)證上述結(jié)論，對(duì)比結(jié)果如圖4、圖5、表2、表3所示。

由圖4卡通圖像，圖5向日葵兩組圖像修復(fù)前后的對(duì)比圖以及其表2、表3評(píng)價(jià)指標(biāo)表明：改進(jìn)后的新算法從主觀上而言修復(fù)后的圖像連通性更好，修復(fù)痕跡更小;客觀上而言新算法PSNR指標(biāo)數(shù)值更大，即失真率更小，圖像更接近原圖，MSE數(shù)值更小，即圖像降噪率更好;并且新算法修復(fù)時(shí)間更長(zhǎng)，即因?yàn)樾迯?fù)效果與時(shí)間成正比，所以修復(fù)效果要比改進(jìn)前更加優(yōu)越。

4 ?結(jié) ?論

本文主要分析了Criminisi算法的兩大缺陷：其一是修復(fù)模塊單一，應(yīng)對(duì)紋理結(jié)構(gòu)單一且簡(jiǎn)單的缺損圖像可以適用，一旦待修復(fù)圖像紋理結(jié)構(gòu)復(fù)雜后將難以應(yīng)對(duì);其二是原算法的優(yōu)先權(quán)問(wèn)題，當(dāng)置信度和等照度線強(qiáng)度處于兩個(gè)極端時(shí)，那么他們的乘積也就是優(yōu)先權(quán)將會(huì)變小，也就是最應(yīng)該被優(yōu)先修復(fù)的區(qū)域卻沒(méi)有被修復(fù)，導(dǎo)至后面的修復(fù)都產(chǎn)生錯(cuò)誤。本文針對(duì)兩大缺陷其一的單一模塊問(wèn)題，提出了自適應(yīng)模塊大小的新算法改進(jìn)。即加入模塊大小自適應(yīng)擴(kuò)展的算法讓其可以根據(jù)帶修復(fù)區(qū)域的復(fù)雜程度來(lái)自動(dòng)識(shí)別模塊大小并進(jìn)行同步改變，這樣既能改善修復(fù)結(jié)果，也能提升修復(fù)效率。三組圖像恢復(fù)數(shù)據(jù)表明：新算法修復(fù)效果從主觀評(píng)價(jià)和客觀評(píng)價(jià)兩方面都較好于原算法。

參考文獻(xiàn)：

[1] GUILLEMOT C，LE M O. Image Inpainting：Overview and Recent Advances [J].IEEE Signal Processing Magazine，2014，31（1）：127-144.

[2] 張斐.大區(qū)域圖像修復(fù)算法研究 [D].南京：南京郵電大學(xué)，2013.

[3] BERTALMIO M，SAPIRO G，CASELLES V，et al. Image Inpainting [C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. Proceedings of the SIGGRAPH. New York：ACM Press/Addison-Wesley Publishing Co.，2000：417-424.

[4] CRIMINISI A，PEREZ P，TOYAMA K. Region filling and object removal by examplar-based inpainting [J].IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[5] 彭坤楊，董蘭芳.一種基于圖像平均灰度值的快速圖像修復(fù)算法 [J].中國(guó)圖象圖形學(xué)報(bào)，2010，15（1）：50-55.

[6] 沈峘，李舜酩，毛建國(guó)，等.數(shù)字圖像復(fù)原技術(shù)綜述 [J].中國(guó)圖象圖形學(xué)報(bào)，2009，14（9）：1764-1775.

[7] 孟春芝，何凱，焦青蘭.自適應(yīng)樣本塊大小的圖像修復(fù)方法 [J].中國(guó)圖象圖形學(xué)報(bào)，2012，17（3）：337-341.

[8] WEXLER Y，SHECHTMAN E，IRANI M. Space-Time Completion of Video [J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2007，29（3）：463-476.

作者簡(jiǎn)介：陳美玲（1984-），女，滿(mǎn)族，吉林長(zhǎng)春人，講師，碩士，研究方向：控制工程，圖像處理。