基于大小掩碼區的圖像修補研究

張 巖，吳 斌，朱玉穎

（西南科技大學 信息工程學院，四川 綿陽 621010）

0 引言

現代生活中，圖像已然成為不可或缺的生活元素，而數字圖像更是滲透到生活中的方方面面，如數碼相機、數字電視等等。但是，圖像的傳播過程中未免會發生數據丟失[1]，影響圖像顯示效果，因此，各類數字圖像修補算法也不斷涌現。歸納各類算法，可發現圖像修補過程往往是首先確定掩碼區，而后結合其在圖像中的位置，利用修補算法完成對圖像的修補。但是，多數算法只是將掩碼區統一歸類，統一處理，而這也不可避免地造成修補過程效率降低。實際上，多數小掩碼區域的修補并不需要復雜修補算法，利用簡單便捷的結構修補便可實現，而大掩碼區的修補可以利用紋理修補等較為復雜的算法來實現。此外，迭代次數上，小掩碼區可以少一些，大掩碼區則可以多一些。這樣，通過掩碼區將復雜與便捷算法相結合，既可提高效率，也可改善修補結果。

當然，手工也可以劃分大小掩碼區，但是如有大量圖像需要修補，而其大小掩碼區仍然利用手工確定，那勢必會影響修補效率，而這也與圖像修補領域掩碼區的自動確定的發展方向相違背。因此，自動快捷的大小掩碼區確定算法具有研究價值。

1 數字圖像修補技術簡介

圖像修補技術發展已較為成熟，形成了一定的理論基礎，并應用到生活中的多個方面，就目前取得的研究成果來看，圖像修補技術可分為兩個研究方向：結構修補和紋理合成。其中，結構修補利用圖像周邊信息，完成對圖像缺失信息的修補，這與早期社會通過觀察受損圖像四周紋理與色彩信息，利用潤色的方法完成修補的原理類似，如圖1所示。

圖1 結構修補原理圖

圖1中，I為待修補圖像，Ω為修補區，δΩ為其邊界，經典算法中，Bertalmio等人稱其為等照度線（Isophtoes），E為可利用的圖像修補區域，箭頭指向梯度方向。修補過程用數學語言描述為

因此，修補過程就是不斷更新Int(i,j)的過程。在結構修補領域，對Int(i,j)的更新方法有多種，如M.Bertalmio，G.Sapiro，V.Caselles一同提出的偏微分方程BSCB模型[2]，以及T.Chan和J.Shen提出的更便捷的全變分Total Variational[3]（簡稱TV）與曲率驅動擴散（CDD）模型[4]等，均產生很好的效果。此外，在這些經典算法的基礎上，又延伸出了多種算法，如Masnou和Morel，Chan，Kang和Shen提出并研究的彈性函數圖像修補模型[5]，Esedoglu和Shen為圖像修補提出的Mumford-Shah-Euler圖像模型[6]等。

而后，Bertalmio等人又由起初像素（微觀）層面，擴展到了樣本塊（宏觀）的研究，即從結構層面擴展到紋理方向，開辟了紋理修補的方向。并且隨著研究的深入，也提出了多種算法，如基于區域紋理合成的圖像修補算法[7]，以及基于樣本塊的圖像修補算法[8]等。此外，現在流行的小波分析[9]、BP-神經網絡[10]等高端技術也滲入這個行列中，開辟了圖像修補研究的新方向。下面主要介紹兩種文中利用的算法——TV模型與Manuel M.Oliveira提出的快速修補算法。

2 應用算法簡介

2.1 TV模型

Rudin，Osher，Fatemi 3人觀測到帶噪圖像整體變分明顯比無噪圖像大，便將整體變分方法引入圖像處理領域[11]，而Chan和Shen受到Rudin的啟發，提出了兩種圖像修補算法，其中之一便是TV模型。該模型利用等照度線擴散方向的不同來進行圖像的修補，有很好的效果，數學語言表述為其中

式中：λ發揮了一個重要的尺度參數作用，通過調節λ，能夠在恢復結果中獲得期望的不同尺度的圖像信息。通過Euler-Lagrange方程求解上式，得到更新量Int(i,j)，在經過迭代獲得最終結果，需要指出的是，該模型為二階偏微分方程，因此修補效率有所提高，而且在去噪和小區域的修補中效果明顯，但是在連接破損邊緣上，還存在一定問題[12]。

2.2 快速修補算法

該算法由Manuel M.Oliveira等人提出，其前提在于修補區域要滿足局部小，以及人類視覺可以容忍在一定區域內的模糊，只要該區域未涉及到高對比度的邊緣[13]。在此基礎上，算法從像素入手，對于要修補的像素點，利用擴散核卷積該像素四周的像素，從而得到該點的值，之后進行迭代，直至達到滿意的效果。更進一步說，算法就是利用n×n模板，從掩碼區邊界開始，對其周圍進行卷積，并不斷深入，直至整個掩碼區全部被處理，然后再迭代多次，得到最終圖像，用數學語言描述為

Ω為掩碼區，即修補區域，I（i，j）為掩碼區的像素值，C（i，j）為預設模板中的值，這里利用3×3模板，見圖2。該算法與濾波器原理類似，掩碼區為噪聲成分，修補過程就是利用濾波器來去除這些成分的過程，并且同時還添加上了平滑、均值等效果，令修補區周圍的信息得以延伸，從而達到修補的目的。

圖2 模板C取值

3 劃分大小掩碼區

在處理掩碼區前，需要了解關于連續性的問題。這里的連續性，指連續的亮點數量（二值化后圖像中，值為1的區域為掩碼區，即亮點區域），通過其與給定閾值的比較，得到其連續性強弱關系，即大于閾值則為強，小于閾值則為弱。對于要處理的掩碼區，圖像二值化后，觀察得到的圖像，不難發現大掩碼區連續性強，小掩碼區連續性弱。由此，得到掩碼區劃分流程：

1）給定一個閾值，將原圖二值化，得到掩碼區mask（亮區域）。

2）分配一片與原圖大小相同的區域maskB，將其初始化為0（黑點），用來存儲大掩碼區。

3）搜索掩碼區mask亮點所在的行r和列c，并將其存儲起來。再建立兩個新數組x（n）和y（n），且初始化x（1）=r（1），y（1）=c（1），以及累加器n=0。

4）按列（行）搜索下一個掩碼區數據，如果r（i）-1=r（i-1），說明掩碼區兩個亮點相連，將數據保存x（i）=r（i），y（i）=c（i），并累加n=n+1，一直到此列（行）搜索完畢。之后，再判斷連續性強弱關系，即n與閾值的大小關系，大于閾值則將存儲maskB的數組x和y的相應像素位置標記為1（亮點）。

5）按照上面的步驟直至整幅圖像掃描完畢，至此大掩碼區全部確定。然后將mask中對應于大掩碼所在的行列標注為0（黑點），并將其保存到masks，至此完成劃分，得到大、小掩碼區maskB與masks。效果如圖3所示。

圖3 掩碼處理效果

但是，上面的算法仍然存在問題，如圖4所示，原因在于部分掩碼區按行（列）搜索時，連續性強，可是按列（行）搜索時，連續性則變弱。為了解決這個問題，可以將得到的maskB旋轉90°，再按照步驟4）～5）運算，并將結果倒轉90°，便可得到最終結果，如圖5所示。

圖4 算法存在問題示意

圖5 改進后的效果

4 實驗對比

采用Matlab7.0仿真，計算機配置為AMD雙核4000+，2 Gbyte內存。由圖6與表1可以看出，為達到一個較好的效果，TV算法的迭代次數要多一些，而快速圖像修補算法則較少，且效果也有所提高，但仍然存在瑕疵，而利用改進算法進行修補，同TV和未劃分前的修補圖相比，修補效率與修補效果都有了改善。

圖6 最終效果

表1 實驗結果

5 總結

本文算法的提出，主要在于為修補速率與修補效果的改善方向提出了一種新思路，且當一幅圖片為灰度圖或紋理不復雜的矢量圖時，將會更快更好地達到要求。但是，由于它是圖像修補領域中的新概念，仍然存在不足之處，如處理合并在一起的大小掩碼區和部分不規則掩碼區時，效果不明顯，影響修補結果，因此仍有待完善。

[1]張利平，張紅英，吳斌.基于多種邊緣檢測的視頻劃痕檢測技術[J].電視技術，2010，34（1）：85-87.

[2]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH2000）.New Orleans，LA：ACM Press，2000：417-424.

[3]CHAN T F，SHEN J H.Mathematical models for local nontexture inpaintings[J].SIAM J.Appl.Math.，2001，62（3）：1019-1043.

[4]CHAN T F，SHEN J.Non-texture inpainting by curvature driven diffusion（CDD）[J].Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

[5]CHAN T F，CHAN TF，KANG S H，SHEN J.Eider’s elastica and curvature based inpaintings[J].SIAM J.Appl.Math.，2002，63（2）：564-592.

[6]ESEDOGLU S，SHEN J.Digital inpainting based on the Mumford-Shah-Euler image model[J].Euro.J.Appl.Math.，2002，13（4）：353-370.

[7]付紹春，樓順天.基于區域紋理合成的圖像修補算法[J].電子與信息學報，2009，31（6）：1319-1321.

[8]雷鳴，王春東，薛彥兵，等.一種新的樣本塊圖像修補方法[J].光電子激光，2009，20（5）：677-679.

[9]孫曉麗.偏微分方程和小波在圖像修復與特征提取中的應用[D].西安：西安電子科技大學，2008.

[10]李宇鵬，王秋梅，孫紅勝，等.基于RBF-BP神經網絡的圖像修補[J].燕山大學學報，2007，31（6）：471-475.

[11]RUDIN L，OSHER S，FATERNI E.Nonlinear total variation based noise removal algorithms[J].Physica D，1992，60（1-4）：259-261.

[12]莊紅林，施國興，范菁，等.基于輪廓-紋理分解的圖像修補技術研究[J].昆明理工大學學報，2008，33（3）：58.

[13]OLIVEIRA M M，BOWEN B，MCKENNA R，et al.Fast digital image inpainting[C]//Proc.The International Association of Sicence and Technology for Development Conference on Visualization，Imaging and Image Processing.Marbella，Spain:[s.n.]，2001：261-266.