改進(jìn)的基于區(qū)域加權(quán)信息熵的圖像修復(fù)方法

吳長勤，王亞軍，王傳安

(安徽科技學(xué)院 安徽鳳陽233100)

0 引言

圖像修復(fù)是圖像處理技術(shù)領(lǐng)域的一個分支，也是目前計(jì)算機(jī)視覺方面的研究熱點(diǎn)之一。數(shù)字圖像修復(fù)的本質(zhì)是利用其周圍的有用信息，按照一定的規(guī)則對圖像受損區(qū)域進(jìn)行填充，使修復(fù)結(jié)果可以達(dá)到或接近人所要求的視覺效果［1］。根據(jù)受損區(qū)域的大小，圖像修復(fù)方法可分為兩類:一類是基于偏微分方程和變分的圖像修復(fù)［2－4］，其基本思想是根據(jù)信息擴(kuò)散原理實(shí)現(xiàn)圖像受損區(qū)域的修復(fù)，當(dāng)圖像待修復(fù)區(qū)域較小時(shí)，修復(fù)效果很好，但當(dāng)圖像待修復(fù)區(qū)域較大時(shí)，修復(fù)時(shí)會出現(xiàn)很強(qiáng)的邊界效應(yīng);另一類是基于結(jié)構(gòu)紋理的圖像修復(fù)，該類算法幾乎不受修復(fù)區(qū)域大小的影響，均能取得較好的修復(fù)效果，已逐漸成為圖像修復(fù)領(lǐng)域的主流方法，吸引眾多國內(nèi)外學(xué)者進(jìn)行研究［5－7］。

1 Criminisi 算法思想

先介紹Criminisi 算法中用到的幾個量，I 表示待修復(fù)的圖像，Ω 表示待修復(fù)區(qū)域，Φ 表示未受損區(qū)域，?Ω 表示區(qū)域邊界，p 表示邊界?Ω 上優(yōu)先權(quán)最高的一個像素點(diǎn)，如圖1 所示。

Criminisi 算法提出采用優(yōu)先權(quán)進(jìn)行修復(fù)的思路，并以每次匹配時(shí)的最優(yōu)作為全局最優(yōu)，其修復(fù)過程可概況如下:

1)先確定待修復(fù)區(qū)域，并標(biāo)記出其邊界?Ω，若?Ω 為空，則退出。

2)計(jì)算修復(fù)優(yōu)先權(quán):選取邊界?Ω 上的某一點(diǎn)p，計(jì)算其優(yōu)先權(quán)P(p)，并以p 為中心，確定一個矩形塊Ψp。P(p)計(jì)算公式為:

圖1 Criminisi 算法變量示意圖

其中，C(p)為置信項(xiàng)，D(p)為數(shù)據(jù)項(xiàng)，其計(jì)算公式分別如下:其中α 為歸一化因子，為矩形塊內(nèi)像素點(diǎn)的個數(shù)，為p 點(diǎn)的等照度線方向，np為p 點(diǎn)處與邊界?Ω 正交的單位向量。由于等照度線即為灰度值相同的一條曲線，因此該曲線方向的顏色變化值最小。

3)以優(yōu)先權(quán)最大的像素點(diǎn)p 為中心形成待修復(fù)塊Ψp，并在未受損區(qū)域Φ 內(nèi)搜索最佳匹配塊Ψq，即與Ψp距離最小的模塊:

其中d 為感知距離，對于灰度圖是兩模塊對應(yīng)各點(diǎn)的灰度值平方差之和，而彩色圖像則是對應(yīng)各點(diǎn)的RGB 值平方差之和。

4)復(fù)制最佳匹配塊Ψq中相應(yīng)的像素點(diǎn)到Ψp中。

5)更新Ψp模塊中像素點(diǎn)的邊界和置信度等信息。根據(jù)置信度的定義，其更新方式如下:

2 改進(jìn)的算法

Criminisi 算法是一種典型的貪心算法，它充分考慮了圖像結(jié)構(gòu)紋理等信息，相比其他算法其修復(fù)效果在速度和修復(fù)質(zhì)量上都有很大提升，但也存在一些值得改進(jìn)的地方［8］。

2.1 改進(jìn)計(jì)算優(yōu)先權(quán)

Criminisi 算法在優(yōu)先權(quán)計(jì)算中采用等照度線到達(dá)邊緣的強(qiáng)度來計(jì)算數(shù)據(jù)項(xiàng)D(p)，以保證處在強(qiáng)邊緣的像素塊能夠獲得更高的優(yōu)先權(quán)，而這種優(yōu)先權(quán)計(jì)算公式不僅計(jì)算量大，且不能準(zhǔn)確地反映出圖像的邊緣結(jié)構(gòu)信息，同時(shí)在修復(fù)過程中，由于置信項(xiàng)C(p)和數(shù)據(jù)項(xiàng)D(p)有可能出現(xiàn)一大一小兩個極端現(xiàn)象，從而導(dǎo)致優(yōu)先權(quán)極小，這不符合實(shí)際情況［9］。根據(jù)顏色向量角能夠檢測數(shù)字圖像邊緣的特性［10］，因此，可采用構(gòu)造邊緣項(xiàng)來代替Criminisi 算法中的數(shù)據(jù)項(xiàng)，使其能更準(zhǔn)確地反映出圖像的邊緣特性。

先將待修復(fù)圖像向外擴(kuò)充一個像素，以保證后續(xù)能夠?qū)吘壪袼匾约捌渌袼刈鐾瑯拥奶幚怼Ｔ赗GB顏色空間中，以圖像中任一像素點(diǎn)為中心P0，選取其四周3×3 鄰域內(nèi)的八個像素點(diǎn)P1、P2……、P7、P8，并計(jì)算P0與八個鄰域像素點(diǎn)的顏色向量角正弦值:

由式(6)可得出8 個顏色向量角正弦值，然后用其中最大的正弦值來表征像素間的色差:

對整個待修復(fù)圖像所有像素全部進(jìn)行上述計(jì)算后，將結(jié)果組合在一起，得到一邊緣圖像IM:

式(8)中m 和n 表示待修復(fù)圖像大小為m×n。接下來，進(jìn)行優(yōu)先權(quán)計(jì)算:

其中C(p)仍為置信項(xiàng)，而E(p)為邊緣項(xiàng):

E(p)=diff(p)，diff(p)∈IM(10)

在改進(jìn)后的優(yōu)先權(quán)計(jì)算中，使用邊緣項(xiàng)取代了數(shù)據(jù)項(xiàng)，避免了Criminisi 算法中的等照度線和正交法向量等復(fù)雜運(yùn)算。同時(shí)，改進(jìn)后的優(yōu)先權(quán)為兩項(xiàng)和的形式，消除了因置信項(xiàng)迅速衰減造成的優(yōu)先權(quán)的極小值問題，從而避免了誤差過度傳播。

2.2 改進(jìn)搜索最佳匹配塊

Criminisi 算法采用全局搜索方式搜索最佳匹配模塊，該方式不僅十分耗時(shí)，且沒有考慮到圖像的局部自相似性。實(shí)際上，待修復(fù)圖像上某一位置的像素值與其周圍鄰域的像素值有密切的關(guān)系，對于圖像修復(fù)問題而言，熵是一種圖像特征的統(tǒng)計(jì)形式，它可以反應(yīng)圖像中信息的多少［11－12］。圖像顏色信息熵可表示為:

其中k 為圖像中具有k 個灰度級，pi為第i 個灰度級出現(xiàn)的概率。

由于一副圖像不同區(qū)域的關(guān)注程度不同，會使相同的圖像信息出現(xiàn)在圖像不同區(qū)域時(shí)的信息重要程度也不盡相同。因此有必要按照圖像信息出現(xiàn)不同區(qū)域的重要程度重新對圖像信息熵進(jìn)行定義，這就是區(qū)域加權(quán)信息熵［13］。圖像的區(qū)域加權(quán)信息熵定義為:

根據(jù)上述分析和定義，改進(jìn)的搜索最佳匹配塊方法的步驟如下:

1)劃分待修復(fù)像素點(diǎn)p 的鄰域

采用同心圓劃分方法將待修復(fù)像素點(diǎn)p 的鄰域像素集合T 劃分為m 個模塊區(qū)域，即T={T1，T2，…，Tm}，且要求每個區(qū)域不小于以像素點(diǎn)p 為中心的待修復(fù)塊。

2)區(qū)域劃分效果評價(jià)

對于鄰域像素集合T，采用加權(quán)信息熵方法對T 中各個區(qū)域進(jìn)行熵值計(jì)算，可得到一維信息熵向量ET={ET1，ET2，…，ETm}。設(shè)ET的統(tǒng)計(jì)分布為X，用X 的方差D(X)來衡量向量ET，該衡量方法是鄰域像素集合T劃分效果的的重要評價(jià)指標(biāo)。

D(X)的值越小則鄰域像素集合T 的信息熵向量ET的分布比較均勻，也就是說劃分的區(qū)域塊能夠更好描述紋理圖像的紋理性和穩(wěn)定性。

3)選擇最佳的修復(fù)匹配塊

以像素點(diǎn)p 為中心，確定待修復(fù)塊Ψp，并計(jì)算該修復(fù)塊的信息熵Eψp，將Eψp與ET 中的各個信息熵進(jìn)行比較，若某一區(qū)域塊Ψq的信息熵Eψq等于或最接近于Eψp，Ψq即為最佳修復(fù)匹配塊。

4)平滑過渡處理

在修復(fù)好一個修復(fù)塊的情況下，再以離已修復(fù)最近的點(diǎn)p’為中心確定待修復(fù)塊Ψp＇，同時(shí)更新信息熵向量ET，將以修復(fù)塊Ψp的Eψp加入ET 中，即。將已修復(fù)的區(qū)域模塊重新加入待修復(fù)模塊集合，可以減少邊界效應(yīng)，特別是模板太大時(shí)，可使兩個模塊間平滑過渡，不會出現(xiàn)明顯的修復(fù)痕跡，使得修復(fù)結(jié)果更真實(shí)。

3 實(shí)驗(yàn)結(jié)果與分析

下面對Criminisi 算法和文中提出的改進(jìn)算法的圖像修復(fù)效果進(jìn)行實(shí)驗(yàn)比較，實(shí)驗(yàn)用的PC 配置為corei5四核處理器，內(nèi)存為4G，安裝64 位windows 7 操作系統(tǒng)，算法編寫語言為C++及開源庫OpenCV2.4.2。實(shí)驗(yàn)結(jié)果如圖2、圖3 所示，其中圖2 是利用本文算法和Criminisi 算法修復(fù)破損圖像過程中得到的置信項(xiàng)、邊緣項(xiàng)以及優(yōu)先權(quán)曲線的對比圖，圖3 為兩算法修復(fù)圖像效果的對比圖。

從圖2 可看出，本文修復(fù)算法在圖像修復(fù)過程中獲得的參數(shù)曲線不管是邊緣項(xiàng)、置信項(xiàng)還是數(shù)據(jù)項(xiàng)，都不會隨修復(fù)過程的累積而迅速下降，相比Criminisi 算法取得了較好的曲線效果。從圖3 可以看出，本文修復(fù)算法修復(fù)后的圖像跟原始圖很接近，相比Criminisi 算法取得了更好的修復(fù)效果。

圖2 兩算法參數(shù)曲線對比圖

圖3 圖像修復(fù)對比

圖4 受損區(qū)域較大時(shí)的修復(fù)效果比較

從圖4 可以看出，采用本文的修復(fù)算法之后，修復(fù)效果相比Criminisi 算法不再存在很強(qiáng)的邊界效應(yīng)，只在個別地方存在很小的塊間效應(yīng)，修復(fù)效果提升較大，更加符合人的視覺要求。

為更直觀明了的驗(yàn)證文中所提算法的修復(fù)效果，實(shí)驗(yàn)采用客觀評價(jià)方法做為修復(fù)圖像質(zhì)量評估的客觀標(biāo)準(zhǔn)，表1 展示了兩種修復(fù)算法在均方誤差(MSE)、峰值信噪比(PSNR)和算法執(zhí)行時(shí)間方面的客觀度量。

表1 兩種修復(fù)算法的客觀度量

從表1 可以看出，本文提出的算法相對Criminisi 算法來說均方誤差比較小，峰值信噪比更大，失真較小，修復(fù)效果更好，更接近原圖，且計(jì)算量大大減少。因此與Criminisi 算法相比無論從速度上還是修復(fù)的質(zhì)量上文中所提算法都占有優(yōu)勢。

4 結(jié)語

本文簡單介紹了經(jīng)典的Criminisi 算法的基本思想，分析了該算法在修復(fù)過程中存在的不足。針對優(yōu)先權(quán)極小值問題，使用邊緣項(xiàng)取代數(shù)據(jù)項(xiàng)，并優(yōu)先權(quán)改為兩項(xiàng)和的形式。Criminisi 算法采用全局搜索方式搜索最佳匹配模塊，且沒有考慮到圖像的局部自相似性，導(dǎo)致執(zhí)行時(shí)十分耗時(shí)，針對此問題，提出了區(qū)域加權(quán)信息熵對待修復(fù)區(qū)域的鄰域進(jìn)行區(qū)域劃分，并采用熵值來確定最佳匹配塊，該方法在達(dá)到與Criminisi 算法相當(dāng)?shù)男迯?fù)質(zhì)量的前提下，大大減少了搜索時(shí)間。

［1］ BERTALMIO M，SAPlRO G CASELLES V，et a1.Image inpainting［C］//.Proceedings of International Conference on Computer Graphics and Interactive Techniques［C］.New Orleans Louisiana USA，2000:417－424.

［2］ Chan T，Shen J.Mathematical models for local non－texture inPainting［J］.SIAM Journal on Applied Mathematics，2002，62(3):1019－1043.

［3］ Esedoglu S，Shen J.Digital image inpainting by the Muxnford－Shah－Euler image model［Jl.EuroPean Journal of Applied Mathematics，2002(13):353－370.

［4］ 葉學(xué)義，王靖，趙知勁，等.魯棒的梯度驅(qū)動圖像修復(fù)算法［J］.中國圖像圖形學(xué)報(bào)，2012，17(6):630－635.

［5］ Efros A.A，F(xiàn)reeman W.T.Image quilting for texture synthesis and transfer［C］.Proeeedings of ACM Transactions on GraPhics(SIGGRAPH 01)，USA:ACM，2001.341－346.

［6］ 朱曉臨，陳曉冬，朱園珠，等.基于顯著結(jié)構(gòu)重構(gòu)與紋理合成的圖像修復(fù)算法［J］.圖學(xué)學(xué)報(bào)，2014，35(3):336－342.

［7］ 馬爽，談元鵬，許剛.塊關(guān)聯(lián)匹配與低秩矩陣超分辨融合的圖像修復(fù)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015(2):271－278.

［8］ 趙勝.基于紋理合成的圖像修復(fù)算法研究［D］.成都:電子科技大學(xué)，2014.

［9］ 陳曉冬，朱曉臨.基于改進(jìn)優(yōu)先權(quán)的加權(quán)匹配圖像修復(fù)算法［J］.合肥工業(yè)大學(xué)學(xué)報(bào)，2013(1):58－63.

［10］ 葉春.數(shù)字圖像水印及修復(fù)算法研究［D］.桂林:廣西師范大學(xué)，2014.

［11］ Rivera M，Ocegueda O，Marroquin J.L.Entropy－controlled quadratic markov measurefield models for efficient image segmentation［J］.IEEE Transactions on image Processing，2007，16(12):3047－3057.

［12］ 張晴.基于樣本的數(shù)字圖像修復(fù)技術(shù)研究［D］.上海:華東理工大學(xué)，2011.

［13］ 李愛國，馬子龍.區(qū)域加權(quán)信息熵及其在圖像特征提取中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用，2009，12(29):3340－3342.