亓卓亞 蘇紅旗
(中國礦業大學(北京)機電與信息工程學院 北京 100083)
基于樣本塊的圖像修復算法的研究*
亓卓亞蘇紅旗
(中國礦業大學(北京)機電與信息工程學院北京100083)
Criminisi算法是經典的基于樣本塊圖像修復算法。由于該算法中像素塊的置信度和數據項都存在為零的可能性,而其中任一項為零都會導致錯誤的修復順序,都會影響圖像的修復效果;另外人為確定塊大小和在搜索匹配時使用固定的塊大小不能適應圖像紋理結構復雜程度的變化,因此本文改進了優先權的計算公式,提出了塊大小的自適應選取方法,并用實驗驗證了改進后算法的優越性,從而在一定程度上提高了圖像修復后的視覺效果。
數字圖像修復樣本塊優先權塊大小自適應
基于樣本塊的圖像修復算法最初是由Criminisi[1]等人于2003年提出的,是迄今為止最為經典的基于紋理合成的圖像修復算法。由于該算法優先權中的置信度和數據項都存在有為零的可能性,這些都會導致優先權的計算出現錯誤,從而導致修復順序出現錯誤,引起修復誤差的累積,最終影響修復的效果。另外使用人為確定塊大小和在搜索匹配時使用固定的塊大小不能適應圖像紋理結構復雜程度的變化,因此本文改進了優先權的計算公式,提出了塊大小的自適應選取方法,并用實驗驗證了改進后改進算法的優越性,從而在一定程度上提高了圖像修復后的視覺效果。
上圖是Criminisi算法的修復步驟。算法通過在待修復區域邊緣上選取優先權最高的像素點p,然后以p為中心構造一個n*n大小的像素塊,然后在完好區域尋找與該模板塊最相似的樣本塊,并用找到的樣本塊去更新模板塊中的待修復信息,最后更新已修復塊中像素點的置信度,并開始下一次迭代修復,直至修復完成。
由于在修復的過程中,置信度值C(p)會隨著迭代的進行迅速下降為零;并且等照度線方向和像素p的法線方向正交時,會出現D(p)為零;這些都會引起優先權的計算變得不可靠,進而導致錯誤的修復順序,最終影響修復的效果。本文提出的優先權計算公式為:
其中,C(p)、D(p)與原算法中的表達式相同;由于隨著修復的不斷迭代,置信度會驟降,使用指數形式使置信度的變化更加的平緩;對于(2)式,通過引入正規化函數,平滑數據項D(p)的同時還能夠抵抗噪聲的干擾,從而增強圖像修復的魯棒性,依經驗集取0.7。
在Criminisi算法中,算法在搜索匹配時,使用的是統一大小的像素塊,然而由于圖像不同修復區域紋理結構的復雜程度不同,應該根據圖像的局部特征進行樣本塊大小的自適應選取,而梯度的變化在一定程度上反應了圖像空間頻率的變化,而圖像空間頻率的變化正好可以反應圖像的局部特征,因此本文根據圖像的梯度變化來自適應選取樣本塊的大小,經研究發現周姍姍[2]、Zhang Hongying等人[3]使用的是樣本塊中心單個像素點的梯度信息,這不能很好的反應其周圍鄰域的局部變化,本文使用像素鄰域的平均梯度模值變化來確定樣本塊大小的自適應選取,樣本塊大小的選取方法如下面式子所示:
本文在Intel Core(TM)2Duo CPU T6400,RAM 4GB,Windows 7的測試機上,采用Matlab7.10編程測試改進后算法的修復效果,并和標準的Criminisi算法進行對比。實驗結果如下圖所示。
由上圖可以看出,仿真實驗是為了移除背景中蹦極的人和繩索,得到所需的前景圖像。可以看出(b)中Criminisi算法的修復結果效果不夠好,水泥墻壁的裂縫太大;(c)中較好的保持圖像的線性結構。
由上圖可以看出,(b)中右上方和右上方矩形標識里面線性結構修復質量不好,有痕跡存在;(c)中的修復結果具有相對較好的修復效果。
針對Criminisi算法中優先權計算公式中存在的缺陷,提出了新的優先權計算公式和塊大小的自適應匹配算法,并通過仿真實驗和原算法的修復結果進行對比。仿真實驗表明,改進后的算法具有較好的修復結果,在一定程度上提高了人眼的視覺效果。
[1]CriminisiA,PerezP,ToyamaK.Region Filling and Object Removal by Exemplar-Based Image Inpainting[J].IEEE Trans. Image Process,2004,13(9):1200-1212.
[2]周姍姍.數字圖像修復算法的研究[D].杭州:杭州電子科技大學,2011.
[3]Zhang Hongying,JinYuhong,Wu Yadong.Image completion by a fast and adaptive exemplar-based image inpainting[C].IEEE International Conference on Computer Application and System Modeling,2010,115-119.
Research on the Image Inpainting Algorithm Based on the Sample Piece
Qi ZhuoyaSu Hongqi
(School of Mechanical Electronic&Information Engineering,China University of Mining and TechnologyBeijing100083)
The Criminisi algorithm is a classic algorithm,which isan image inpainting algorithm based on the sample piece.The confidence item and the data item of the pixel are zero possibility,Any one of which would result in an error repair order,affecting the image inpainting effect;Determining the piece size artificially and using a fixed size when searching can not adapt to the complexity of the image texture changes,therefore,this article improved the formula of priority and provided an method which decides the piece size;And the experimental results show the superiority of the improved algorithm.
Digital image inpaintingSample piecePriorityConfidence termItems
TP391.41
A
160413-7250
中國地質調查局地質調查基金項目;項目名稱:適用于礦產和能源探測應用的遙感傳感器優化設計技術;項目編號:科[2012]01-049-004。
亓卓亞(1984~),男,河南開封,研究生;研究方向:數字圖像處理。
蘇紅旗(1963~),男,陜西,副教授;研究方向:圖形圖像處理、計算機測控等。