紋理結構引導的自適應圖像修復算法

鄭晚秋，廖勝輝

(中南大學 信息科學與工程學院，湖南 長沙 410083)

紋理結構引導的自適應圖像修復算法

鄭晚秋，廖勝輝

(中南大學 信息科學與工程學院，湖南 長沙 410083)

利用約束紋理合成的方法來解決大面積缺損圖像的修復問題，可以在視覺上獲得比較好的效果。而修復過程中的合成順序，對最后的結果有很大影響。Criminisi提出的基于樣本圖像的圖像修復算法，在前人基礎上，對合成順序給出了解決方案。文中首先對決定合成順序的優先級進一步做了改進，在數據項中加入結構張量，使圖像修復從結構區域向無結構區域填充。其次，根據原圖像區域紋理結構信息，使得每一次合成的塊的大小自適應變化，這在一定程度上避免了紋理塊過小或過大帶來的弊端，從而使合成效果更為自然。經過對比實驗，文中算法取得了較好的效果。

圖像修復；紋理合成；結構張量；自適應

0 引 言

圖像修復技術，是指針對圖像中缺損的部分，根據圖像中完好部分的結構和紋理信息，按一定方法進行填補的技術。早期，一般利用偏微分方程法來進行圖像修復，采用的思想是擴散機制，典型的有基于高次偏微分方程的BSCB模型[1]、基于變分泛函的TV模型[2]和CDD模型[3]。文獻[4-5]分別利用TV模型和CDD模型針對西藏壁畫進行了圖像修復。上述方法在原理上存在著固有的局限性，對于小面積的圖像缺失效果顯著，但是對大尺度破損區域的修復易產生模糊。

圖像修復的實質思想是利用圖像中已知的圖像信息，對缺失信息進行填充或替換，這與紋理合成的思想有著異曲同工之妙。實際中多采用的是基于塊拼接的紋理合成。文獻[6]通過混沌變換得到合成紋理，Efros提出了一種Image Quilting的紋理合成方法[7]。文獻[8]由于在紋理合成中應用了Graph Cut算法，因此，合成過程中的紋理塊不再局限為矩形，可以是任意形狀。

在有缺損的圖像上，可以將缺損部分看成待合成區域，完好的部分看成是樣本，這可以稱為約束紋理合成。通常采用的順序是掃描線順序，但是這種順序沒有利用紋理特征，難以得到更加優良的效果。

2004年，Criminisi等受CDD模型[3]以及關于人類視覺相關研究[9]的啟發，首次對基于紋理合成圖像修復的合成順序給出了包含置信度和數據項的優先級公式。只是其在修復過程中欠缺魯棒性，容易將紋理部分和邊緣部分混淆，從而導致修復順序的錯誤偏差。文中采用結構張量對優先級數據項進行了改進。

在以塊為單位進行拼接的紋理合成過程中，塊的大小對合成效果也有很大的影響。如果單元塊小于紋理單元，則可能會破壞結構信息；如果單元塊比紋理單元大太多，又可能導致合成效果模糊[10]。而現實中的圖像紋理結構通常是不規則的，所以文中根據圖像結構信息在合成過程中自適應地改變單元塊的大小。

1 基于紋理合成的圖像修復算法

1.1 紋理合成算法

基于樣圖的紋理合成技術，可以依據給定的小塊樣本紋理，生成新的大塊紋理圖案。它根據小面積樣圖的紋理特征，生成大面積的曲面紋理，并使得合成的紋理具有連續性以及非重復的相似性。二維圖像的紋理合成，針對處理基本單元分類，可以分為基于像素點以及基于紋理塊的紋理合成兩種。在紋理合成中以像素點為單位，不僅速度慢，而且會嚴重破壞紋理結構；以紋理塊為單位提高了合成效率，并且能夠更好地保持紋理圖像的結構特征。以經典算法Image Quilting[5]為例，簡要介紹基于塊的紋理合成的思想。該算法按照掃描線的順序進行紋理合成，合成過程中的基本單元為固定大小的紋理塊，每次在樣本紋理圖像中，選取與輸出紋理圖末尾重疊區域像素值的累計誤差最小的紋理塊添加到已合成紋理塊中；同時，對早先合成和新合成紋理塊的重疊區域進行接縫處理。

1.2 約束紋理合成

基于樣本的紋理合成算法可以用來合成任意大小的與樣本類似的紋理圖像，同時，也可以用來進行紋理圖像的缺失塊修復[11]。比如有時照片或其他圖像上可能會包含一些在感官上有缺陷的區域，也可能是在掃描照片時出現了模糊區域，或者是圖片上存在不想要的物體，想要將多余的物體移除而又不想影響整幅圖像的完整性，這時可以利用基于樣本的紋理合成的方法來進行修復。只需把圖像中完好部分看作是紋理圖像樣本，把缺失區域看作待合成目標塊，可以用掃描線順序進行修復。由于是在限定范圍內進行紋理合成，所以稱為約束紋理合成。不過簡單的機械式的修復順序，很可能造成修復效果不佳。因此，需要對約束紋理合成算法進行相關的改進，比如在合成過程中采用可變大小的樣本塊以及改善合成順序等。

1.3 Criminisi算法

Criminisi等于2004年提出了一種采用紋理合成思想的圖像修復算法[12]，主要對圖像修復中的合成順序作了比較大的改進，獲得了不錯的合成效果。

該算法主要分為以下三個步驟：

1)計算待修復塊的優先權重。

優先權的計算關系到圖像修復的順序，是該算法的關鍵。對于待修復邊緣上的每一個像素點，都設定一小塊以該像素為中心的區域，優先權最大的目標塊最先進行修復。優先權的大小由兩個因素決定：(1)目標塊內像素的置信度大小；(2)目標塊中心點周圍結構信息的強弱。示意圖如圖1所示。

圖1 Criminisi算法示意圖

圖中，Ω表示待修復區域；?Ω表示其邊界輪廓；Φ表示已知區域。

對于以輪廓上的點p為中心的目標塊，其優先權定義為：

P(p)=C(p)?D(p)

(1)

其中，C(p)表示已知像素在目標塊中的比例，稱之為置信度項；D(p)表示p點沿著等照度線方向到達邊界點的強度量化函數，稱之為數據項。

分別定義如下：

(2)

(3)

其中，Ψp表示目標塊的大小；C(q)表示目標塊中已知像素點的個數；np為垂直與邊緣線?Ω上p點的法向量；為點p的等照度線的方向和強度；α為歸一化因子。

2)搜索最佳匹配塊并填充。

(4)

傳統基于塊的紋理合成計算指定寬度區域的SSD，是為了找到最佳接縫路徑。而此算法中，由于修復順序打亂，不再是規則地拼接，故計算兩個塊區域的SSD，直接利用最佳匹配塊的對應位置對目標塊缺失部分進行復制填充。

3)更新待修復邊緣的優先權。

完成第二步后，目標塊內的未知像素點變為已知像素點，邊界點發生了變化，需要將待修復區域邊緣的優先權進行更新，對于將新加入的已知像素，姑且將其置信度設置為與剛剛處理的p點相同。然后，再讀取位于邊界上的像素點，確定下一個優先級最高的像素點p，再次執行一次目標塊的合成。如此循環，直至存儲邊界點的鏈表為空。

2 結構張量引導合成順序

為了使合成效果更加滿足視覺要求，需要重點抓住人類感知敏感的內容。人類視覺對紋理中的結構信息更加敏感，簡單來講，要獲取像素點處的方向信息，只需計算該點處的梯度向量即可。然而，僅僅通過單個像素點計算得到的梯度向量，不足以表示圖像的局部結構特性。通過計算結構張量，可以獲得更加豐富的局部結構信息。根據結構張量能夠識別圖像中的邊緣、角點以及平坦區域。借助結構張量的圖像處理應用廣泛，文獻[13]基于廣義結構張量進行了虹膜分割算法的研究，文獻[14]則利用結構張量進行了變分多源圖像融合。

最初，由DiZenzo[15]和F?rstner[16]先后提出了結構張量的定義，并將其融入了實際應用。

首先定義圖像I的梯度為：

(5)

式中，Ix、Iy分別為x、y方向的偏導數，Ix=?xIσ，Iy=?yIσ。其中，Iσ=Gσ*I，里面的*是卷積算子，此操作在上述的求導運算中，具有抗噪聲作用，可以提高算法魯棒性。

初始張量內積Υ0的定義如下:

Υ0=I?

(6)

其中，u12=u21；?是笛卡爾內積(CartesianProduct)。

由此可知，矩陣Υ0對稱且半正定。

下面通過公式對Υ0的特點進行進一步的分析：

(7)

(8)

從上面的推導公式可見，圖像的邊緣強度大，可以量化為Υ0較大的特征值；而邊緣的梯度方向，可以用數學表示為Υ0的特征向量。

鑒于僅僅利用單個像素點的梯度向量來獲取方向信息，不足以表示圖像局部特性，因此，選擇利用結構張量來進行完善。通過對結構張量Υ進行深入剖析，不僅可以得到圖像中更為細致的局部結構特征，而且還能夠獲取像素點鄰域內結構特征的各向異性等更加豐富的信息。

為提取結構相關信息，對Υ進行如下的主軸變換(principalaxistransformation)：

(9)

其中，Λ=diag(λm)的對角元素是Υ的特征值，稱之為對角矩陣，組成矩陣S的各行向量即為Υ的特征向量γ1、γ2，其中γ2⊥γ1。

(10)

(11)

其中，γ1表示邊緣的法向，γ2表示邊緣的切向，并且γ1可由下式計算得到：

(12)

另外，結構張量Υ的跡可以表征結構強度St，即

St=trace(Υ)=Υ11+Υ12=λ1+λ2

(13)

而2D圖像數據的相干性(coherence)H通常由下式表征：

H=(λ1-λ2)2

(14)

基于上述公式進行進一步分析，從而通過結構張量Υ得到目標圖像的數字化的局部結構特征描述。

假設導數的加權期望值Ex(Ix)=Ex(Iy)=0，則有：

(15)

從式中可以看到，結構張量可以近似為兩個偏導數的聯合分布，又由于協方差矩陣對稱正定，可知結構張量有兩個特征值且均為非負數，在幾何意義上，特征值可以用來表示橢圓主軸的長度，則其相應的特征向量可用來描述主軸方向。

基于上述幾何意義，目標圖像的局部結構信息可以根據特征值分三種情況進行討論：

(1)λ1≈λ2≈0。這種情況表示結構強度St以及相干性H都很小，此時在圖像中該像素點附近，無論沿著任何方向，像素的灰度值變化都不大，因此，可以判定為平坦區域。

(2)λ1?λ2≈0。這種情況表示結構強度St以及相干性H都比較大，此時圖像中該像素點附近，沿某一方向的變化率遠大于沿垂直于此方向的變化率，表現出明顯的邊緣特征，可以判定為邊緣區域。

(3)λ1≈λ2?0。這種情況表示結構強度St大而相干性H較小，此時圖像中該像素點附近，沿著兩個互相垂直的方向，像素灰度值變化都比較快，可以判定為角點區域。

在上述定性分析的基礎上，進一步利用結構張量Υ的特征值λ1和λ2來對目標圖像的局部結構信息進行定量分析：

(1)邊強度，即方向一致性信息量：

E=(λ1-λ2)2

(16)

(2)角強度，即角點信息量：

C=(λ1?λ2)/(λ1+λ2)

(17)

于是，為得到從結構區域向無結構區域填充的效果，將圖像的局部結構測度納入決定優先權因素之一的數據項中。

(18)

其中，α為歸一化因子。

同時，優先權公式修改為：

P(p)=mC(p)+nD(p)

(19)

其中，m、n分別為C(p)和D(p)兩項的權重，根據具體的圖像進行調整。

3 自適應紋理塊大小

現實中紋理圖像中所包含的紋理元通常是多種多樣的。在合成過程中，如果每次合成都采用相同大小的合成塊，就會引起紋理塊尺寸選擇不當的問題。紋理塊選擇過小會破壞紋理結構，紋理塊選擇過大則會引起邊界模糊以及不連續的問題。因此，需要對圖像局部特征進行研究，以解決紋理塊尺寸動態選取的問題。

僅僅提取圖像的一階微分量——梯度，不足以表征圖像的結構特征；隨著研究的深入，發現通過提取二階微分量可以得到更為豐富的圖像結構信息。其中，二階微分量中的等照度線的曲率，作為等照度線形態學特征的一個非常重要的描述，在很大程度上反映了目標圖像的形狀信息[17]。曲率的倒數就是曲率半徑，曲率半徑在一定程度上可以反映紋元的大小。

假設圖像u(x,y)在任一像素點處有一條等值線，其灰度值為C(常量)，則該等值線可以表示為u(x,y)=C。

其中，縱坐標y可以看作自變量為橫坐標x的函數，方程兩邊同時對x求導可得：

ux+uyy'=0

(20)

計算得到該等值線上縱坐標對橫坐標的一階導數：

y'=-(ux/uy)

(21)

下面進一步計算縱坐標對橫坐標的二階導數，再對式(21)兩邊同時對x求導：

(22)

將計算所得一階和二階導數帶入下面的曲率公式：

(23)

由此，便得到了圖像二元函數，在任意像素點的等照度線的曲率表達式為：

(24)

(25)

其中，w為可調參數。

4 實驗結果

文中對圖1～6分別進行了修復實驗，并且將修復效果與Criminisi算法修復結果進行對比，證明了文中算法的有效性。

圖2 大理石修復圖

在圖2(c)中，Criminisi算法進行大理石修復時，圖像紋理結構出現紊亂現象；如圖2(d)所示，文中算法在一定程度上對紋理結構的處理更好。

在圖3(c)中，利用Criminisi算法修復時，紋理結構邊緣出現變形缺陷；如圖3(d)所示，文中算法由于合成順序更為合理，雖然邊緣稍有毛刺，但是實現了圖像的較為理想的修復。

圖3 花朵修復圖

在圖4(c)中，Criminisi算法修復時，出現了很明顯的邊界斷層和參差不齊的現象；如圖4(d)所示，文中算法由于合成時采用自適應大小的紋理塊，同時合成順序更加合理，比較有效地解決了圖像修復中的層次不連續的問題。

圖4 田野修復圖

在圖5(c)中，原Criminisi算法修復時造成了圖像結構的紊亂，修復效果非常不理想；如圖5(d)所示，文中算法在修復中圖像的整體結構性沒有受到損壞，有較好的視覺效果。

圖5 湘江岸邊修復圖

在圖6(c)中，Criminisi算法修復時，單一大小的修復塊不能保持紋理的連續性，使得修復結果的紋理嚴重失真；如圖6(d)所示，文中算法進行修復時，根據圖像特點選擇相對合適大小的紋理模板塊，同時優化了合成順序，合成效果有了顯著的改善。修復結果中的小瑕疵，可以利用濾波[18]等方法進行完善。

圖6 眼睛修復圖

5 結束語

文中采用了紋理合成的思想，來解決大面積缺損圖像的修復問題。在Criminisi修復算法的基礎上，利用結構張量對決定合成順序的優先級做了進一步的改進，同時，在合成過程中，根據紋理結構信息自適應地改變紋理模板塊大小。實驗結果表明，算法優先保證了結構信息的合理填充，較好地保持了修復邊界的完整，在一定程度上解決了圖像修復的紋理斷層現象，獲得了比較好的視覺效果。下一步關鍵性的改進是：在尋找最佳匹配塊時，進行旋轉不變特征匹配，然后進行相應的復制合成。

[1]BertalmioM,SapiroG,CasellesV,etal.Imageinpainting[C]//Proceedingsofthe27thannualconferenceoncomputergraphicsandinteractivetechniques.Anaheim,USA:ACMPress,2000:417-424.

[2]ChanT,ShenJ.Mathematicalmodelsforlocalnon-textureinpaintings[J].SIAMJournalonAppliedMathematics,2002,62(3)：1019-1043.

[3]ChanTF,ShenJ.Non-textureinpaintingbycurvature-drivendiffusions(CDD)[J].JournalofVisualCommunicationandImageRepresentation,2001,12(4)：436-449.

[4] 姜 軍,卓 嘎,王朝霞,等.以TV模型為例的西藏壁畫數字圖像修復技術研究[J].電子技術工程，2013,21(3)：136-139.

[5] 姜 軍,王龍業,王朝霞,等.基于CDD模型的西藏壁畫數字圖像修復技術研究[J].電子設計工程，2014,22(2)：177-179.

[6]XuY,GuoB,ShumHY.Chaosmosaic:fastandmemoryefficienttexturesynthesis[R].[s.l.]:MicrosoftResearch,2000.

[7]EfrosAA,FreemanWT.Imagequiltingfortexturesynthesisandtransfer[C]//Proceedingsofthe28thannualconferenceoncomputergraphicsandinteractivetechniques.Anaheim,USA:ACMPress,2001:341-346.

[8]KwatraV,SchodlA,EssaI,etal.Graph-cuttextures:imageandvideosynthesisusinggraphcuts[J].ACMTransactionsonGraphics,2003,22(2)：277-286.

[9]KanizsaG.Organizationinvision[M].NewYork:Praeger,1979.

[10] 孟春芝,何 凱,焦青蘭. 自適應樣本塊大小的圖像修復方法[J].中國圖象圖形學報，2012，17(3)：337-341.

[11] 蘇良飛.基于樣圖的約束紋理合成研究[D].杭州：浙江大學，2008.

[12]CriminisiA，PerezP，ToyamaK.Regionfillingandobjectremovalbyexemplar-basedimageinpainting[J].IEEETransactionsonImageProcessing,2004,13(9)：1200-1212.

[13]Alonso-FernandezF,BigunJ.Irisboundariessegmentationusingthegeneralizedstructuretensor[C]//ProcofIEEEfifthinternationalconferenceonbiometricscompendiumbiometrics.[s.l.]:IEEE,2012:426-431.

[14] 許 娟,孫王寶,韋志輝.基于結構張量的Non-LocalMeans去噪算法研究[J].計算機工程與應用，2010,46(28)：178-180.

[15]Di-ZenzoS.Anoteonthegradientofamulti-image[J].ComputerVision,Graphics,andImageProcessing,1986,33(1):116-125.

[16]F?rstnerW,GülchE.Afastoperatorfordetectionandpreciselocationofdistinctpoints,cornersandcentresofcircularfeatures[C]//ProceedingsofISPRS.[s.l.]:[s.n.],1987：281-305.

[17] 雷文娟,祝 軒,賈義亭,等.梯度與曲率變形力相結合的圖像配準方法[J].計算機工程與應用，2012,48(5)：204-206.

[18] 徐 勇.邊緣結構保持型的圖像濾波算法研究[D].合肥：合肥工業大學，2011.

Adaptive Image Inpainting Algorithm Based on Texture Structure

ZHENG Wan-qiu，LIAO Sheng-hui

(College of Information Science and Engineering,Central South University,Changsha 410083,China)

Taking into account the large defect area of images，the constrained texture synthesis is used to image inpainting.The filling order is important because it has a great influence on the final result.Based on the previous studies,Criminisi algorithm gives a solution to the filling order.Firstly,an improvement is made on the priority of the filling order in this paper.Structure tensor is added to the data term in order to make the filling order is from the structural region to the non-structural region.Secondly,according to the texture structural information,it makes the size of template block change adaptively.To some extent,it avoids the disadvantages caused by the block of fixed size,so that the result is more natural.The contrast experiment shows that the algorithm obtains better visual appearance.

image inpainting；texture synthesis；structure tensor；adaptive

2015-09-08

2015-12-11

時間：2016-05-25

國家自然科學基金資助項目(60903136)

鄭晚秋(1991-)，女，碩士研究生，CCF會員，研究方向為圖形圖像處理；廖勝輝，副教授，碩士研究生導師，研究方向為計算機圖形學、生物仿真建模、醫學圖像處理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160525.1706.030.html

TP301.6

A

1673-629X(2016)06-0040-06

10.3969/j.issn.1673-629X.2016.06.009