基于Criminisi的結構組稀疏表示圖像修復算法

王 君，唐貴進，劉小花，崔子冠

(南京郵電大學 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

0 引 言

圖像修復指根據(jù)圖像的已有信息，按照一定規(guī)則對破損區(qū)域做出合理猜測并填充，從而使重構圖像最大程度地接近原始圖像。圖像修復最早用于古畫、雕塑等文物的復原工作[1]，在圖像信息技術蓬勃發(fā)展的今天，圖像在下載、壓縮、發(fā)送或存儲的過程中都可能發(fā)生失真或破壞[2]，因而圖像修復變得尤為重要。

目前主流的圖像修復算法主要分為三大類[3]：基于偏微分方程(partial differential equation，PDE)、基于紋理結構(texture synthesis)和基于稀疏表示(sparse representation)方法的圖像修復。PDE模型本質上就是利用變分法求解能量泛函的極值，主要包括TV模型、BSCB模型和CDD模型[4-5]等算法，這類算法在處理大面積區(qū)域缺失圖像時容易產生大面積模糊。Criminisi等人[6]提出，根據(jù)一定規(guī)則在圖像已知區(qū)域尋找與缺失區(qū)域相匹配的圖像塊，該算法得到的修復結果紋理清晰，但對于紋理特征不夠明顯的破損圖像，容易產生紋理延伸現(xiàn)象[7]。

基于稀疏表示理論的圖像修復算法通過求解稀疏表示模型來實現(xiàn)圖像的重構。傳統(tǒng)的稀疏表示算法[8]通常獨立考慮每個圖像塊，而Zhang J等人[9-10]提出的結構組稀疏表示算法(SGSR)提出了結構組的概念，考慮了圖像塊之間的聯(lián)系，并且通過直接對結構組的估計值做奇異值分解得到學習字典，計算復雜度小魯棒性高，但是，算法中采用雙線性插值算法求解結構組的估計量，導致塊狀區(qū)域缺損圖像的修復效果不好。文中借助Criminisi等人[6]提出的大區(qū)域缺損圖像修復算法，對塊狀區(qū)域缺損圖像的像素值進行更有效的預估，使得重構圖像紋理更自然、結構更加清晰。

1 相關知識

1.1 構造結構組

圖1 構造結構組

(1)

1.2 稀疏表示模型

同一幅圖像中，已知信息區(qū)域和未知信息區(qū)域的稀疏性近似相同，所以可以用同一稀疏解表示[12]。稀疏矩陣α的稀疏性由L0范數(shù)衡量，信號x可以由字典D中的幾個原子精確表示，如下式：

(2)

同理，為了得到結構組的稀疏表示模型，首先找到其對應的字典DGk，利用字典中盡量少的原子來稀疏表示結構組xGk，而求解稀疏表示模型的過程就是求解這個稀疏矩陣αGk，通過字典和稀疏矩陣得到稀疏表示模型[13]：

(3)

1.3 學習字典

傳統(tǒng)的字典學習算法通常通過交替優(yōu)化字典和稀疏表示系數(shù)求得，由該方法求得的字典適用于整幅圖像，而不是針對某一個結構組。這樣的做法不僅計算量大而且忽略了想要利用圖像塊之間相似性的初衷，所以采用雙線性插值算法得到結構組xGk的估計量rGk，先對數(shù)據(jù)做網格化處理，再利用雙線性插值算法求得缺失像素值的估計值。

再對估計矩陣rGk進行奇異值分解[14]，可得：

(4)

其中，uGk?i、vGk?i分別表示矩陣UGk和VGk的列向量，ΣGk表示對角矩陣，γrGk?i表示主對角元素，于是，字典DGk的每個原子定義為：

(5)

其中，每個原子dGk?i大小都為BS×c，因此，結構組xGk對應的自適應學習字典DGk為：

DGk=[dGk?1,dGk?2,…,dGk?m]

(6)

算法只采用一次奇異值分解即可得到與結構組自適應的學習字典，求得學習字典后，仍用rGk取代xGk得到稀疏表示模型，再用凸優(yōu)化問題的方法求解模型中非凸的L0范數(shù)，采用SBI算法進行迭代優(yōu)化，得到最終的修復效果。

由上述可見，估計量rGk是否精確直接關系到學習字典和稀疏矩陣的求解，并對最終的修復質量產生影響。上述算法在求結構組xGk的估計量rGk時，直接采用雙線性插值函數(shù)對其處理，雙線性插值算法根據(jù)周圍像素點求缺失像素值，塊狀區(qū)域中越靠中間位置的像素值越無法準確估計。所以文中采用基于樣本塊的Criminisi修復算法，基于圖像塊對缺失區(qū)域進行估計，由此得到與原結構組相似度更高的估計量。

2 文中算法

2.1 算法描述

采用基于樣本塊的Criminisi算法得到結構組的估計值，首先要計算整幅圖像的近似值。如圖2所示，φ是缺失區(qū)域，通過掩模圖像找到缺失區(qū)域邊界δφ，任取邊界上一像素點p，以點p為中心，得到圖像塊ψp，該圖像塊的置信項C(p)和數(shù)據(jù)項D(p)分別定義為：

(7)

(8)

圖2 基于Criminisi的修復算法

其中，|Ψp|為圖像塊Ψp的像素點總數(shù)，為p點的等照度線方向，np為p點的法向量，α為歸一化因子。由于置信度隨著迭代次數(shù)增加會急劇趨近0，數(shù)據(jù)項在等照度線和法向量垂直時也為0，為了防止這兩種情況一項發(fā)生就使得優(yōu)先權為0，把圖像塊Ψp的優(yōu)先權P(p)定義為：

P(p)=αC(p)+βD(p) s.t.α+β=1

(9)

(10)

2.2 算法流程

得到整幅圖像的估計值后，利用上節(jié)描述的構造組的方法對整幅圖像的估計值進行計算，得到n個結構組的估計值后即可由估計值計算對應結構組的學習字典。基于結構組稀疏表示的優(yōu)化算法流程如下：

輸入：圖像X，掩模圖像M

初始化：t=0,k=0,n,迭代次數(shù)N

Whileφ!=0 do

計算C(p)和D(p)邊緣優(yōu)先權

取優(yōu)先權最大的為待估計塊

由歐氏距離得到最優(yōu)匹配塊

填充

End while

Whilek≤ndo

搜索c個xk的相似塊得到結構組xGk，

End while

Whilet≤ndo

For eachxGk

根據(jù)式(4)～式(6)構建學習字典DGk

End for

End while

2.3 算法性能分析

針對文字掩模和塊狀掩模的去除，對文中算法收斂性進行的分析如圖3所示。曲線以陡峭坡度上升到一定高度趨近平穩(wěn)，說明圖像質量先是有明顯改善再逐漸趨于收斂。對于文字掩模和塊狀掩模的去除分別只需要進行20次迭代就趨于收斂，這是由于文中算法基于圖像塊來構造組，提高了修復效率。且在字典學習時相同結構組中的所有塊采用同一字典的相同原子進行稀疏表示，只需要一次奇異值分解得到自適應字典，這也使得算法相較于K奇異值分解算法不僅高效、魯棒，而且計算復雜度大大降低。

圖3 峰值信噪比趨勢變化

3 實驗結果與分析

本節(jié)對文中算法的有效性進行驗證，并做了大量測試實驗，部分測試圖片如圖4所示。分別給圖像添加文字掩模和塊狀區(qū)域掩模作為待修補圖像輸入，并將輸出的實驗結果與文獻[3,15-16]的算法和SGSR算法進行對比。實驗在戴爾Inspiron 14-7472筆記本上的MatlabR2014a上運行，該筆記本CPU為Intel酷睿i7 8550U，主頻1.8 GHz，內存為8 GB，系統(tǒng)是Microsoft Windows 8。

圖4 測試圖片

除了主觀視覺，還采用峰值信噪比(PSNR)和結構相似性(SSIM)作為客觀評價標準，兩項指標的公式描述如下：

(11)

SSIM(x,y)=l(x,y)c(x,y)s(x,y)

(12)

文中對大量圖片做了測試后，在表1和表2中羅列了對十幅圖像測試的客觀指標參數(shù)，下面主要展示圖像Flower和圖像House的主觀修復效果。

圖5 文字去除

如圖5所示，圖(a)以文字圖像作為掩模得到文字遮擋圖像，由圖5(b)-(f)可見，主觀視覺上，SGSR算法和提出的優(yōu)化算法明顯優(yōu)于文獻[3,15-16]的算法。這一點在圖片左下方窗戶上以及樹中的細小葉子中可以明顯看出，文中算法得到的效果紋理清晰且結構上非常準確。客觀評價上，文中算法比SGSR算法的PSNR評價指標提高了0.25 dB，SSIM評價指標提高了0.003。

如圖6所示，圖(a)是以塊狀區(qū)域做掩模圖像得到的，主觀視覺上，文獻[15]算法和SGSR算法出現(xiàn)了大面積的模糊現(xiàn)象，而文獻[16]和文獻[3]的算法紋理較為清晰，但是結構上仍不是很準確，而文中算法得到的效果在結構上非常清晰。另外客觀評價上，文中算法的PSNR評價指標比SGSR算法提高了9.38 dB，SSIM評價指標提高了0.006 3。

圖6 塊狀區(qū)域修復

結合表1、表2的數(shù)據(jù)可以看出，相較于文獻[3,15-16]以及SGSR算法，對各圖像添加文字掩模時，文中算法的PSNR評價指標分別平均提高了7.88 dB、4.88 dB、7.61 dB、0.19 dB，SSIM評價指標分別提高了0.071 6、0.025 9、0.056 4、0.001 5，給各圖像添加塊狀掩模時，文中算法PSNR評價指標分別平均提高了5.22 dB、10.19 dB、5.19 dB、2.66 dB，SSIM評價指標分別提高了0.009 6、0.013 2、0.011 2、0.001 7。綜上所述，對于塊狀區(qū)域缺損圖像，文中算法較SGSR算法的優(yōu)化幅度更大，這是由于Criminisi算法可以比雙線性插值算法更準確地估計缺失區(qū)域的像素值，所以得到的修復結果圖紋理自然結構清晰。

表1 各算法文字掩模去除結果對比

表2 各算法塊狀區(qū)域掩模去除結果對比

4 結束語

利用大區(qū)域修復算法計算缺失區(qū)域的估計值，該算法基于圖像塊進行估計而不是像素點，能夠更加準確地估計缺失區(qū)域的像素值。接下來，對估計值進行奇異值分解得到與結構組自適應的學習字典，再借助字典和稀疏解得到修復圖像。該算法具有高效性和魯棒性。實驗結果表明，該算法在主觀視覺上紋理自然結構清晰，在峰值信噪比和結構相似性等客觀標準下也得到了相應的提高。接下來的工作，會繼續(xù)對該算法進行改進，使得算法能夠適應更大面積的塊狀區(qū)域缺陷，且修復結果有連續(xù)的結構和自然的紋理。