基于簡化的TV模型修復圖像

賀文熙，葉坤濤

（江西理工大學理學院，江西贛州341000）

基于簡化的TV模型修復圖像

賀文熙，葉坤濤

（江西理工大學理學院，江西贛州341000）

基于修復受損灰度圖像的整體變分法，提出了一種簡化的TV模型.該模型根據待修復區域的實際情況對TV模型方程進行不同程度的簡化，得到更容易實現的復雜度更低的偏微分方程.文中選擇了四幅受損區域不同的待修復圖像進行修復實驗.實驗表明：不論是需要去除不必要的文字還是修復不希望出現的劃痕，對于不同的修復區域采用不同的修復方程在保證修復主觀效果相當的情況下，可以使得修復速度明顯加快，修復后的圖像不易察覺修復痕跡，看上去自然.

圖像修復；TV模型；偏微分方程

0 引言

所謂圖像修復是指利用已知區域的信息來推測未知區域（即待修復區域）的信息.通常認為未知區域附近和未知區域高度相關.以前圖像修復完全依靠有經驗的藝術家進行人工修復，費時費力，而且很難做到不露痕跡.考慮到圖像修復在影視特技表演、珍貴文史資料復原、多余物體去除等方面有非常大的應用價值，有必要對圖像修復領域進行深入研究.2000年Bertalmio、Sapiro、Caselles與Ballester等科學家[1-5]首先把三階偏微分方程引進圖像修復領域（此即BSCB模型），該算法強調沿梯度垂直方向把信息滲透進待修復區域，這種算法比較費時.后來不斷有人提出新的算法，如Oliveira等研究者[6]利用高斯卷積核進行濾波，這種算法能提高修復速度，但修復效果仍然不夠理想.另外，代表人物Criminisi與Efros[7-11]關于樣圖與紋理的圖像修復思想對后來的圖像修復工作者也起了積極影響.和Criminisi與Efros一樣杰出的科技工作者Chan與Shen[12-14]等人提出了曲率驅動擴散模型（curvature-drive diffusion,簡稱為CDD模型）和整體變分模型（total variationl,簡稱為TV模型），這兩種模型修復效果很好，但修復速度仍然較慢.當然目前的修復模型還有很多，比如利用徑向基函數[15]（RBF）進行高維插值修復圖像，利用小波系數相關性修復圖像等[16].

文中提出一種簡化的TV模型.該模型根據待修復區域的實際情況對修復方程進行簡化.使得運算復雜度有所降低，進而提高修復速度.這種方法也可用于近紅外圖像的修復.實驗表明，利用該模型修復數字圖像不僅速度更快，而且修復效果不錯.

1 TV方程的導出

修復過程原理見圖1，圖中Ω是信息缺損的區域，Ω為缺損區域與信息完好區域之邊界，G代表包含Ω的相鄰區域.這個原理圖說明了修復過程是從外向里一層一層修復.

圖1 修復區域和邊界

所謂基于TV模型的圖像修復就是要使得泛函R（u）最小化.這Δ里u是圖像任一像素的灰度值，是u的梯度，r（u）是一個取正值的函數，R（u）的表達式為：

我們還可把條件加進去，再用拉格朗日乘子法得到滿足一定條件的泛函：

最后得到如下包含去噪的修復方程：

2 TV方程的簡化

文中對以上模型進行改進.首先，不討論去噪，第二項為零.方程為：

該方程可展開為：

眾所周知：利用計算機編程進行迭代時，時間開銷主要是乘法或除法運算，因此減少乘法或除法的的運算次數就能節約時間.而圖像修復問題主要是考慮兩個方面.一是主觀修復效果好，另外就是修復速度要快，這有利于實時修復圖像.基于這樣的考慮，有必要根據待修復區域像素分布情況簡化模型，從而達到節約時間的目的.

比如待修復區域以及鄰域為G，（α，β）是G內任意一個像素的位置，亦即G＝{（α，β∈[c，d]}.對α∈[a，b]，β∈[c，d]，若（α，β）點的像素灰度值f的梯度的倒數大，但梯度的倒數變化小，這時只須取第一項.方程變為如下簡單的形式：

當然如果區域G={（α，β）α∈[a，b]，β∈[c，d]}內像素梯度大，散度小，這時第一項較小，方程成為：

3 實驗過程與分析

方程的離散在發表的論文[17]上已有討論，這里不再重復.試驗以Matlab7.0為平臺，在PC機（Pentium 4,2.94GHz,內存在512MB）上實現，離散時間步長取0.01.對于均勻區域（見圖2（b）），可用式（7）修復（c取為1），修復結果如圖2（d）.

圖2 均勻區域圖像修復

若梯度的倒數比較大，但變化較小（見圖3（a）），可用式（8）修復，修復結果如圖3（c）.

圖3 梯度倒數變化小的區域圖像修復

若兩項作用相當（見圖4（b）），則可用式（9）進行修復，修復結果如果4（d）.

圖4 兩項相當區域圖像修復

一般情況（見圖5（b）），可用式（5）或式（4）修復，修復結果見圖5（c）

圖5 一般情況圖像修復

為了比較修復效果，引進客觀評價標準ISNR.ISNR的定義是：

式中I（i，j）、J（i，j）和I?（i，j）分別表示原圖像、受損圖像和修復后的圖像的灰度.圖3（a）無原圖，故不能計算INSR，其余圖像修復時，INSR可達到19.文中方法修復時間更快.

4 實驗結果

綜合圖2（b）、圖3（a）、圖4（b）的修復結果可以得到如下結論：若只考慮修復后的主觀感受，文中提出的改進TV模型和chan與Shen等人提出的TV模型修復效果沒有特別大的區別，如果限定較少的迭代次數，則TV模型稍好.但是圖像修復強調的不是修復次數而是修復速度.今后的工作主要是建立像素間的影射關系，從而可以并行修復待修復區域的各個像素.終極目標為：架構一個快速修復的人工神經網絡，能夠對缺損圖像進行實時修復.

[1]Bertamio M,Sapiro G,Caselles V,et al.Image inpainting[C]//Internationalconference on Computer Graphics and Interactive Techniques,New York:ACM Press,2000:417-424.

[2]M Bertalmio,A L Bertozzi,G Sapiro.Navier-stokes,fluid dynamics,and image and video inpainting.Computer Vision andPattern Recognition,2001:355-362.

[3]M Bertalmio,L Vese,G Sapiro,et al.Simutanneous strcture image inpainting[J].IEEE Transactions on Image Processing,2003,12(8):882-889.

[4]C Ballester,V Caselles,J Verdera.A variational model for fillingin gray level and color images[J].In Proc.ICCV,2001:10-16.

[5]Ballester C,Bertalmio M,Caselles V,et al.Filling in by Joint Interpolation of Vector Field and Gray Levels[J].IEEE Trans.Image Process,2001,10(8):1200-1211.

[6]M M Oliveira,B Bowen,R Mckenna.Fast digital image inpainting[J].International Conference on Visualization,Imaging and Image processing,2001:261-266.

[7]A Criminissi,P Pérez,K Toyama.Region filling and removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[8]A Criminissi,P Pérez,K.Toyama.Object removal by exemplarbased inpainting[C]//Proceedings of Conference on Computer Vision Pattern Recognition,USA,2003.

[9]Efoseung T.Texture synthesis by non-parametric sampling[C].Intl.Conf.Computer Vision,1999:1033-1038.

[10]A A Efros,W T Freeman.Image quilting for texture synthesis and transfer[C].Proceedings of SIGGRAPH,2001:341-346.

[11]D J Heeger,J R Bergen.Pyramid-based texture analysis/synthesis[C].SIGGRAPH 95,1995:229-238.

[12]Tony F Chan,Shen J H.Mathematic models for local nonmtexture imprinting by Curvature-Driven Diffusion(CDD)[J].J.Visual Comm.Image Rep.,2001,12(4):436-449.

[13]Tony F Chan,Shen J H.Image processing and analysis:variational,PDE,wavelet,and stochastic methods[M].SIAM Philadelphia,2005.

[14]Shen J H,Tony F Chan.Variational restoration of nonflat image features:models and algorithms[J].SIAM J.Appl.Math,2000,61(4):338-1361.

[15]周廷方，湯鋒，王進，等.基于徑向基函數的圖像修復技術[J].中國圖像圖形學報，2004，9(10)：1190-1196.

[16]何凱，梁然，張濤.基于小波系數相關性的紋理圖像快速修復算法[J].天津大學學報，2010，43(12)：1093-1097.

[17]廉小麗，徐中宇，馮麗麗，等.一種新的基于偏微分方程的圖像修復[J].計算機工程，2009，35(6)：34-236.

Image impainting based on simplified TV model

HE Wen-xi,YE Kun-tao

（Facuty of Science,Jiangxi University of Science and Technology,Ganzhou 34100,China）

An simplified TV model based on impainting images is proposed in this paper.This model adopts different equations with special inpainting area to achieve much more simplified partial differential equations.Four damaged pictures are selected for image impainting experiments.The experiment results prove that this simplified model would need less time for different requirements of image impainting and make impainted images more natural.

image impainting;TV model;partial differential equation

TP319.41

A

2012-06-17

江西省教育廳科技項目（GJJ11468）

賀文熙（1963-），男，副教授，主要從事圖像處理和磁性材料制備等方面研究，E-mal:hwxhhd@126.com.

2095-3046（2012）05-0066-03