基于八鄰域的自適應P-Laplace圖像修復算法

張 波，徐黎明

(西華師范大學 計算機學院，四川 南充 637009)

基于八鄰域的自適應P-Laplace圖像修復算法

張 波，徐黎明

(西華師范大學 計算機學院，四川 南充 637009)

針對傳統的變分圖像修復算法僅僅利用四鄰域信息導致的圖像過渡不自然、人工干預強等問題，提出一種基于八鄰域的自適應P-Laplace修復算法。該算法將待修復像素點的八鄰域分為兩組四鄰域，利用每組四鄰域信息，采用中心格式差分方法對待修復像素點進行處理，通過自適應方法確定每組鄰域修復的最佳p值，最后再進行加權平均。仿真實驗顯示，該算法與近幾年提出的修復算法相比圖像評價較好，PSNR值提高了約5.74%～22.15%，TSSIM值提高約4～30個百分點。

變分圖像修復；鄰域；P-Laplace；自適應；圖像評價

0 引言

圖像修復[1]是一種在受損圖像上對信息缺失或錯誤的部分按照特定的規律進行修復以恢復原圖像的技術。現階段圖像修復技術主要分為3種：基于變分偏微分方程、基于紋理合成和基于圖像分解的修復技術。在基于變分偏微分方程的算法中，以Chan等[2]提出的全變分(Total Variation,TV)算法、Bertamlio等[3]提出的BSCB (Bertamlio Sapiro Caselles Ballester)模型和曲率驅動擴散修復算法[4](Curvature Driven Diffusions,CDD)為典型。針對TV模型因較強的正則化約束引起的梯度效應和假邊緣信息，文獻[5]、[6]提出了改進的TV算法，較好地避免了梯度效應和假邊緣情況。針對CDD算法耗時、容易引起模糊等問題，文獻[7]提出的自適應CDD修復算法和文獻[8]提出的基于模糊C-均值的自適應TV算法較好地克服了該問題。

文獻[9]提出的基于壓縮感知的改進TV模型在去噪的同時保護好了紋理和邊緣信息，與基于紋理合成等其它算法[10～11]結合使用，增強了圖像修復的應用范圍。基于高階擴散的修復算法[12～13]因其良好的擴散特性，使修復圖像具有良好的視覺效果，但對圖像特征要求高，修復時間較長。

上述幾種變分偏微分算法相似之處在于將待修復像素點的四鄰域信息作為已知信息，然后采用中心格式差分或半點格式差分的方法進行數值實現。對此，本文提出一種基于八鄰域的自適應P-Laplace圖像修復方法，充分利用待修復像素點的八鄰域內的信息進行修復。

1 P-Laplace修復算法

根據Rudin等提出的TV算法，利用拉格朗日乘子法能將約束性問題轉化為無約束問題，得到變分修補模型的一般形式為：

(1)

文獻[15]選取r(|▽u|)=|▽u|p，得到P-Laplace修復模型。該模型的定義為：

(2)

根據變分原理可以得到P-Laplace模型的Euler-Lagrange方程為：

(3)

在半點網格示意圖(見圖1)中利用半點格式差分法[16]求解式(3)。設目標像素為O(i,j)，其四鄰域為：Q∈Λ={E,N,W,S}，e、n、w、s表示相應的半點像素，其四鄰域為：q∈α={e,n,w,s}。

圖1 半點網格示意圖

對圖像進行等間隔采樣，步長h=1。令：V=(v1,v2)=|▽u|p-2▽u。divV由差分可以表示為：

(4)

將這四點的逼近帶入式(4)，得：

(5)

以點e為例，其梯度模值估計可得：

同理，可求出剩余3個半點像素的梯度模值。

將式(5)代入式(3)，得：

最后利用高斯-雅克比迭代方法進行迭代修復。目前絕大多數基于變分偏微分方程的圖像修復技術都采用如上所述的步驟進行修復。修復獲得的圖像在邊緣部分過渡不自然，容易出現模糊的情況，且準確度和精確度不夠高，P-Laplace修復算法也不例外。此外，該算法由于需要提前設定p值，其靈活度較低，整個修復過程比較耗時。

2 本文修復算法數值實現

為提高修復圖像的精度，充分利用待修復像素的八鄰域信息，即Λ={E,N,W,S,NE,NW,SW,SE}，如圖2(a)所示。為簡化實現過程，將Λ分為Λ1和Λ2兩部分，Λ1={E,N,W,S}，Λ2={NE,NW,SW,SE}。相應地，鄰域對應的半點像素集為：α1={e,n,w,s}和α2={ne,nw,sw,se}，如圖2(b)～(c)所示。

圖2 分解網格示意圖

在兩個四鄰域中，分別采用半點差分格式方法進行離散化求解，得到四鄰域Λ1中的迭代式子uO1和四鄰域Λ2中的迭代式子uO2，最后進行加權平均得到整體的迭代式子uO，具體實現如下。

2.1 算法自適應參數p的實現

文獻[15]提出的算法由于需要事先通過大量實驗找尋合適的p值，使得算法的靈活性受限。因此，本文采用自適應P-Laplace的圖像修復模型，定義為：

(6)

根據梯度模值|▽u|和曲率k的關系可得：

(7)

2.2 四鄰域Λ1中的迭代

上述變分偏微分修復算法以及許多改進算法均是利用目標像素O(i,j)的四鄰域Λ1={E,N,W,S}作為已知信息進行擴散。根據前述分析，在圖2(b)中進行等間隔采樣，令步長h=1，Q∈Λ1={E,N,W,S},q∈α1={e,n,w,s}，解得：

(8)

在圖2(b)的四鄰域Λ1中，令：

(9)

(10)

(11)

(12)

(13)

將式(9)～(13)代入式(7)，便能得到四鄰域Λ1中的自適應系數p1。

2.3 四鄰域Λ2中的迭代

在圖2(c)中進行等間隔采樣，令步長h=1，Q∈Λ2={NE,NW,SW,SE},q∈α2={ne,nw,sw,se}

V'=(v1,v2)=|▽u|p-2▽u。

以點ne為例，其梯度模值估計可得：

同理，可求出α2剩余三個半點像素的梯度模值。

解得：

在圖2(c)的四鄰域Λ2中，令：

(14)

(15)

(16)

(17)

(18)

將式(14)～(18)代入式(7)，便能得到四鄰域Λ2中的自適應系數p2。

2.4 八鄰域Λ中的迭代

最后采用高斯-雅克比迭代方法，得出待修復點O(i,j)的像素值的迭代公式為：

(19)

3 實驗結果及分析

在InterCorei3-3200 3.30GHz/4GB/Windows7 /MTALAB7.0環境中，對500×375pixels的灰度圖像(動畫圖像和pooh圖像)與512×384pixels標準測試灰度圖像peppers進行處理。為了充分保證實驗的客觀性，實驗中所有的圖像像素值歸一化到0～1之間，迭代次數為500次。加入文獻[5]、[7]、[8]、[15]提到的算法進行分析比較，這幾種算法均嚴格按照原參考文獻中作者的要求進行參數設置，以保證實驗數據的準確度。

3.1 參數設置

3.2 評價方法

評價方法采用主觀感受結合客觀方法，客觀方法[17～18]利用峰值信噪比(PSNR)，噪聲抑制均方誤差(MSENS)和紋理結構相似度(TSSIM)進行評價，主觀評價[19]采用SA主觀分值評價方法。TSSIM與MSENS的定義如下：

3.3 實驗結果分析

圖3(a)為原始清晰的動畫圖像，圖3(b)為原始的peppers圖像。圖4(a)為文字受損的動畫圖像，圖5(a)為劃痕受損的peppers圖像。

圖3 原始圖像

利用文獻[5]、文獻[7]、文獻[8]和文獻[15]及本文提出的算法分別處理圖4(a)，處理結果如圖4(b)～(f)所示。

圖4 無噪文字受損修復結果

從圖4(a)可以看出，該圖受損尺度較大，掩碼為黑色的文字。經過幾種算法修復后，圖4(d)和圖4(f)的視覺效果較好，最接近原始圖像。圖4(e)能夠看到明顯的梯度效應(圖中表現為黑點)，圖4(b)和圖4(c)在左邊第二只羊的耳朵和羊角處出現了大小不一的“空缺”。同樣采用上述幾種算法分別處理圖5(a)，結果如圖5(b)～(f)所示。

圖5顯示，劃痕受損圖像經過幾種算法修復后，圖(d)和圖(f)的修復效果最佳，比較接近原始圖像。對比原始圖像發現，圖(b)和(c)都有不同程度的模糊，圖(c)在其中一個“辣椒”還出現了小部分的空缺。圖(e)的視覺效果較差，梯度效應比較明顯。

圖5 無噪劃痕受損修復結果

3.4 實驗評價

圖4和圖5顯示，在處理無噪聲的受損圖像時，文獻[8]提出的基于模糊C-均值的自適應TV算法和本文提出的八鄰域自適應P-Laplace算法修復圖像獲得的視覺效果較好，另外三種利用四鄰域信息的算法得到的修復圖像出現了梯度效應和大小不一的“空缺”，圖像過渡不自然，甚至還有模糊的現象。圖6顯示，采用相同的算法去除高斯噪聲獲得的修復圖像，利用八鄰域信息更能保護圖像的紋理和細節。

表1、表2和表3分別列出了幾種修復算法修復得到的客觀評價。

表1 不同算法修復動畫受損圖像的結果評價比較

表2 不同算法修復peppers受損圖像的結果評價比較

從表1和表2不難看出，本文提出的基于八鄰域的自適應P-Laplace算法獲的PSNR值和SA值最高，修復時間比較合理，TSSIM系數最高。需注意的是，表1、表2中的修復時間存在誤差，尤其是文獻[5]、文獻[7]和文獻[15]所提的算法。由于這3種算法都需要預先通過大量實驗以獲取利于圖像修復的最佳修復參數，所以從整體的修復過程來看，耗費的時間絕對超出表中得到的時間。此外，相同參數對于不同的測試圖像會導致不同的結果，人為操作繁瑣，并且無法保證獲得的修復圖像是最佳的。

4 結語

本文針對變分偏微分算法只利用待修復像素點的四鄰域信息進行修復的不足，充分利用八鄰域信息進行修復，較好地克服了梯度效應，修復圖像精度不高以及噪聲抑制不充分等問題。此外，為解決因參數過多而造成的人工操作繁瑣，修復結果不準確等問題，提出了自適應算法，根據受損圖像自身像素變化特征自動修復，縮短了因事先通過實驗確定參數所耗費的時間。實驗證明此算法在主客觀評價上優于傳統的基于四鄰域的變分偏微分修復算法。實驗中的動畫圖像和peppers圖像受損大小不同，前者受損尺度較大，修復獲得的PSNR值和TSSIM值與后者相比較低，間接反映此方法更適合修復小尺寸的受損圖像。下一步將考慮與基于紋理的方法有機結合以解決該問題。

[1] CHAN R,CHAN T F,YIP A,et al.Numerical methods and applications in total variation image restoration[J].Springer Reference,2015,1(1):1-28.

[2] RUDIN L,OSHER S.Nonlinear total variation based on noise removal algorithms[J].Physica D,1992,60(4):259-263.

[3] BERTALMIO M,SAPIRO G,CASELLES V,et al.Image inpainting[C].Proceeding of ACM SIGGRAPH 2000,New York,USA:ACM Press,2000:417-424.

[4] CHAN T F,SHEN J.Nontexture inpainting by curvature driven diffusions[J].Journal of Visual Communication & Image Representation,2001,12(4):436-449.

[5] 何凱,張濤,梁然.一種基于全變分模型的圖像修復改進算法[J].光電子·激光,2010,21(12):1890-1893.

[6] GUARMAH E M,BOUJENA S,BELLAJ K,et al.An improved nonlinear model for image inpainting[J].Applied Mathematical Sciences,2015(9):6189-6205..

[7] 印勇,李丁,胡琳昀.采用CDD模型的自適應圖像修復算法[J].重慶大學學報,2013,36(4):80-86.

[8] LIU J S,LIU H,QIAO S P,et al.An Automatic Image Inpainting Algorithm Based on FCM[J].Scientific World Journal,2014(3):983-990.

[9] 徐立軍,楊秋翔,雷海衛.一種基于壓縮感知的改進全變分圖像去噪方法[J].微電子學與計算機,2016,33(6):100-103.

[10] 任澍,唐向宏,康佳倫.利用紋理和邊緣特征的Criminisi改進算法[J].中國圖象圖形學報,2012,17 (9):1085-1091.

[11] 江平,張錦.一種結合CDD模型和Criminisi算法的圖像修復算法[J].圖學學報,2014,35(5):741-746.

[12] LI Y,JEONG D,CHOI J I,et al.Fast local image inpainting based on the Allen-Cahn model[J].Digital Signal Processing,2015,37(1):65-74.

[13] BELHACHMI Z,KALLEL M,MOAKHER M,et al.Weighted harmonic and ginzburg-landau equations in image inpainting[J].International Journal of Numerical Analysis & Modeling,2015,21(4) :12-16.

[14] 老大中.變分法基礎[M].第3版.北京:國防工業出版社,2015:53-61.

[15] 李丹,仲崇權,王世強等.基于全變差和P-Laplace模型的混合圖像修復算法[J].大連理工大學學報,2014,54(6):676-681.

[16] CHAN T F,SHEN J.Mathematical models for local nontexture inpaintings[J].Siam Journal on Applied Mathematics,2015,62(3):1019-1043.

[17] 趙雪青.降質圖像復原方法研究[D].西安:陜西師范大學,2013.

[18] 王威,劉婧,楊蔚蔚,等.基于DCT域紋理結構相似度的模糊圖像質量評價[J].計算機工程,2015,41(11):253-256.

[19] MA L,LI S,NGAN K N,et al.Reduced-reference image quality assessment in reorganized DCT domain[J].Signal Processing:Image Communication,2013,28(8):884-902.

(責任編輯：陳福時)

Adaptive P-Laplace Image Inpainting Algorithm Based on Eight Neighbors

To solve the problems of traditional variation inpainting algorithms caused by simply utilizing four neighbors,like unnatural image transition and strong manual intervention,an adaptive P-Laplace algorithm is devised based on eight neighbors.Firstly,it divides eight neighbors into two four-neighbors,and discretizes points to be repaired by central format difference in each four-neighbor.Then,determines the best p value of each four-neighbor with the adaptive method.Finally,weights and averages two four-neighbors.The simulation experiment results show that we get better PSNR and TSSIM values through the algorithm proposed in this paper,compared with other algorithms in recent years.And the PSNR values are increased by 5.74%～ 22.15%.The TSSIM values are increased by 4～30 percentage points.

Variational Image Inpainting;Neighbors;P-Laplace；Adaptive;Image Evaluation

張波(1992-)，男，四川瀘州人，西華師范大學計算機學院碩士研究生，研究方向為數值計算和路由轉發；徐黎明(1991-)，男，四川攀枝花人，西華師范大學計算機學院碩士研究生，研究方向為圖像處理。

10.11907/rjdk.162894

TP312

A

1672-7800(2017)003-0037-05