改進的鄰域濾波圖像修復方法

代仕梅，張紅英，曾 超

（西南科技大學 信息工程學院，四川 綿陽 621010）

0 引言

數字圖像修復是對圖像中遺失或者損壞的部分，利用未被損壞的圖像信息，按照一定規則填補，使修復后的圖像接近或達到原來的視覺效果。圖像修復技術在文化藝術、視頻和多媒體[1-2]、機器視覺、生物醫學、航天和航空技術、通信工程等方面都有很高的應用價值。

在小尺度缺損的數字圖像修復中，偏微分方程方法得到了廣泛的應用。Bertalmio，Sapiro，Caselles和Bellester首先將偏微分方程（Partial Differential Equation，PDE）引入圖像修復鄰域[3]，他們利用待修補區域的邊緣信息，并采用傳播機制將有用的邊緣信息沿著等照度線方向自動向內擴散修復圖像。隨后Tony Chan等人將全變分（Total Variation，TV）模型[4]推廣到圖像修補，其通過運用拉格朗日（Lagrange）乘子法將有約束條件的極值問題轉化為無約束條件的極值問題。該模型在修復中可以保持尖銳的邊緣并且數值實現簡單，但其主要缺點是不能滿足視覺理論中的連通原理。因此，Chan和Shen根據連通性原理對TV模型進行改進，提出新的擴散模型——曲率驅動擴散（CDD）模型[5]。

盡管基于PDE的圖像修復方法能夠有條不紊地保持圖像邊緣，但是該類方法需要大量復雜的迭代，實現困難。當前，已有許多學者對簡單快速的鄰域濾波圖像修復作了研究：Oliveria等人提出了一種快速圖像修復算法[6]，利用高斯卷積核對圖像進行濾波；Shih等人提出一種自適應窗口均值濾波圖像修復算法[7]，利用窗口中有效像素的平均值代替待修復點的像素值；秦川等人改進了文獻[7]算法，提出一種自適應偏心窗口平滑濾波圖像修復方法[8]，在窗口尺寸自適應算法的基礎上增加了對窗口中心位置的自適應調整。筆者在這些方法的基礎上，提出一種改進的鄰域濾波圖像修復算法，對于給定的一幅破損圖像，通過計算窗口中待修復點與其鄰域中已知點的距離大小賦予相應的權值，即離破損點越近的點，權值越大，離破損點越遠的點，權值越小；然后僅利用該點鄰域的有效信息加權求和來估算。大量實驗表明該算法可以有效地減少平滑處理中的模糊，而達到很好的視覺效果。

1 Oliveria算法

Oliveria等人的快速圖像修復算法的主要思想是：1）通過清空待修補區域Ω的顏色信息來對其進行初始化；2）利用3×3高斯卷積核對待修復區域進行反復卷積，將已知信息不斷向修補區域內部進行擴散，達到修復目的。圖1顯示了快速圖像修復算法偽代碼以及2個擴散核。

2 自適應的圖像修復算法

文獻[7]提出一種自適應的圖像修復算法，其主要思想是：1）初始化待修復點為中心的窗口尺寸（如3×3）；2）計算窗口中信息未丟失點所占窗口總像素的比例；3）如果計算出的比例大于等于已給閾值，用此窗口有效像素的平均值代替中心點的值；否則增大窗口尺寸，然后回到第2步；4）如果窗口達到最大尺寸，停止窗口尺寸增加，直接用最大窗口有效平均值代替中心點的值。

秦川等人對文獻[7]進行改進，提出一種自適應偏心窗口平滑濾波圖像修復方法。他們通過判斷待修復點p的鄰域灰度起伏廣義標準差Vp與閾值的關系，定位p點的歸屬區域。如果p屬于平滑區域，用文獻[7]的方法；如果p屬于邊緣區域，遍歷包含p的窗口，并計算每個窗口的距離Td，然后搜索出最小距離。若最小距離Td小于預定的閾值，記下窗口尺寸，用最小距離的窗口均值來修復p；如Td大于閾值則增大窗口尺寸，并繼續上述步驟。遍歷所有損壞像素執行上述操作步驟，完成整個修復過程。

3 改進的鄰域濾波圖像修復

經反復試驗發現，Oliveria算法與目前常用的基于偏微分方程的方法和基于紋理合成的方法相比，更易于實現，并且時間加快了2～3個數量級。但該算法僅考慮破損區域邊緣一周的顏色值，使得其僅適用于破損區域為2～3個像素寬度的情形。

文獻[7]可以自適應地改變窗口大小，破損區域外更多的信息可以利用，但是破損點的值也只是窗口內已知信息的簡單平均，也即是窗口中每一個已知信息點的重要性均等，這樣不能保持邊緣特性。秦川等人在文獻[7]的基礎上，加入方差的計算來判斷破損點的歸屬區域，然后對屬于邊緣區的點采用變動中心的窗口修復。此方法在修復過程中，對破損的每一個點都要計算方差使得收斂減緩；在邊緣區域點的修復中要找到合適的偏心窗口，既要反復調整幾個靈敏的參數，還要花費大量的時間去搜索滿足條件的偏心窗口，參數的調整使得算法很難達到最佳的視覺效果，偏心窗口的搜索增加了大量運行時間。

通過分析發現，自適應的窗口大小和加權平均的鄰域濾波圖像修復可以很好地改善以上不足，同時不增加算法復雜度。算法要點是以待修復點為中心選取一個滿足條件的窗口尺寸，計算待修復點與其鄰域中已知信息點之間的歐氏距離來改變已知點的相應權值，然后用鄰域像素的加權平均來估算待修復點的值。算法的實現細節：

1）采用文獻[7]的方法自適應地改變窗口尺寸。以待修復的點p為中心，取一個大小為N×N（N為奇數）的窗口，初始化為3×3，接著計算窗口內完好像素所占的百分比ηg。

2）預先給定的閾值為P0，如果ηg≥P0，則p點的估計值I（p）等于其鄰域內已知信息的加權平均值，即

式中：Ne是窗口中已知信息點的集合；W（p，q）為q點的權函數。權函數的計算是本算法的關鍵，它主要依賴于已知點與破損點之間的歐幾里德距離，并滿足條件0≤W（p，q）≤1和ΣW（p，q）=1。假設破損點p坐標為（x0，y0），窗口中的某一已知點q坐標為（x1，y1），p（x0，y0）與q（x1，y1）之間的歐幾里德距離為

則點 q（x1，y1）的權值為

其中，z（p）是歸一化因子

函數C（q）初始化為：C（q）=0，q屬于破損點；C（q）=1，q屬于已知點。Ne是窗口中已知信息點的集合，dist（p，q）是前面計算的距離，|Ne|是窗口中已知像素點的總數目，h是指數函數的衰減因子，調節dist(p,q)/|Ne|對權函數的影響。從式（3）可知，這種權值計算方法使得權值在窗口中已知點處有正值，破損點為零，并且權值的大小隨著已知點與破損點p的距離增大而減小，也即是在與中心點正交的方向的點具有較大的權值，在于中心對角線上的點由于離中心有更大的距離，所以，它的重要性要比與中心直接相鄰的像素低，這樣的安排權值與直接平均值相比，減小了濾波處理中的模糊。

3）如果ηg＜P0，將窗口的上、下、左、右4個邊分別向外移動1個像素，然后繼續執行前面的步驟；如果窗口達到給定的最大值還不滿足條件，記下最大窗口尺寸，然后計算其對應權值，用最大窗口的有效值加權平均代替破損像素值。

4 實驗結果與分析

所有實驗均在配置為2.1 GHz處理器、2 Gbyte內存的計算機上，采用Matlab7.0實現了本文的算法。其中，實驗中所有圖像均由互聯網獲得。為了與其他的圖像修復算法進行比較，同時也實現了文獻[6-8]的算法。試驗中，幾個自適應的算法的初始窗口大小都設置為3×3，然后根據圖像破損區域自身的特點設置窗口的最大值。通過反復試驗發現，這樣選著掩膜窗口大小的原因是Oliveira采用固定3×3大小的尺寸，破損點周圍可以利用的已知信息就是破損點8鄰域的信息，在這8個點中可能還有破損的信息，那么可以利用的信息量就很少；而后面3種自適應的窗口可以利用更多的已知信息；但是不是窗口越大越好，隨著窗口的增大，采用濾波的方法會使得修復的圖像模糊。

圖2a是一幅帶有破損的圖像，圖2b～2e是采用不同方法對破損背景以及頭發的修復，通過對比頭發的局部放大圖像，得出以下結論：采用本文方法能夠恢復頭發的細節，而其他方法則在頭發與背景的交界地方把背景顏色引入頭發中，使得頭發的恢復很不自然，有人工痕跡現象。

圖2 破損圖像修復結果與局部放大比較

圖3a為一幅劃痕圖像，Oliveira方法在處理人物帽子上劃痕時，因劃痕較寬，可以利用有效消息較少，因此產生了較大的誤差（圖3b）；文獻[7]處理結果圖中，帽子的邊緣產生輕微的模糊（圖3c）；文獻[8]處理后，因均方誤差誤判斷破損點是屬于平滑區域還是邊沿區域，導致信息傳遞失誤（圖3d）；而本文修復圖中每一處劃痕處理的效果都很好，邊緣保持良好（圖3e）。

圖3 劃痕圖像修復結果與局部放大比較

圖4a是一幅帶有文本的圖像，圖4b～4e是采用不同的方法對文本移除圖像進行修復的結果，其中第2行是單詞“me”所在區域的放大圖。從局部放大圖中可以輕易發現，前3種方法修復后的圖像都留有字母的印記，而本文方法幾乎沒有文本剔出的人工痕跡。

圖4 文本移除圖像修復結果與局部放大比較

下面采用客觀指標，如歸一化均方誤差（NMSE），對修復質量進行客觀評價

式中：I0為用于評價修復結果的完好圖像；I為修復后的圖像；M和N為圖像I0和I的大小。該公式只能用于灰度圖像修復后質量的評價，本文對彩色圖像的3個通道分別進行誤差分析。由于未獲得圖2的原始未破損的圖像，本文只對圖3和圖4進行客觀評價。其中，R，G，B 3個通道的NMSE誤差數據如表1所示，從表1每通道誤差知道本文的方法誤差最小，修復效果最好。

通過實驗，從主觀視覺效果來看，本文方法能夠較好地連接圖像中的斷裂邊緣，恢復細小結構；從客觀描述來看，本文方法對圖像缺損區域重建的歸一化均方誤差較小。

表1 修復后圖像R，G，B 3個通道的歸一化均方誤差

5 結論

筆者針對圖像上小區域的信息丟失或破損缺修復問題，提出一種簡單高效的處理算法。該算法既不像基于偏微分方程的方法反復地進行復雜的數學迭代，也不像基于紋理合成的方法做大量的搜索匹配；只需在局部窗口內簡單計算破損點與已知信息點的歐歐幾里德距離，然后根據距離來調控已知點的相應權值，因此運算時間仍然保持了快速圖像修復的特點。從修復效果上看，該算法對文字、劃痕、破損的修復都有很好的效果。不足之處在于鄰域濾波會使突出的邊緣結構平滑，產生輕微的模糊；對較大的破損區域中心部分的修復無能為力，這將在以后的工作中繼續研究完善。

[1]張利平，張紅英，吳斌.基于多種邊緣檢測的視頻劃痕檢測技術[J].電視技術，2010，34（1）：85-87.

[2]韓軍，閔有剛，宋海華，等.視頻圖像修復算法的研究[J].電視技術，2007，31（7）：72-74.

[3]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//Proc.the ACM SIGGRAPH Conference on Computer Graphic 2000.[S.I]：ACM Press，2000：417-424.

[4]CHAN T F，SHEN J H.Mathematical models for local non-texture inpainting[J].SlAM J.Appl.Math.，2001，62（3）：1019-1043.

[5]CHAN T F，SHEN J H.Non texture inpainting by curvature driven diffusion（CDD）[J].Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

[6]OLIVEIRA M M，BOWEN B，MCKENNA R，et al.Fast digital image inpainting[C]//Proc.the International Conference on Visualization，Imaging and Image Processing（VIIP2001）.Marbella，Spain：[s.n.]，2001：261-266.

[7]SHIH T K.Adaptive digital image inpainting[C]//Proc.the 18th ntemational Conference on Advanced Information Networking and Applications.Fukuoka，Japan：[s.n.]，2004：71-76.

[8]秦川，黃素娟，王朔中.自適應偏心窗口平滑濾波圖像修復[J].計算機工程，2008，34（5）：213-215.