基于HALCON與圖像拼接的文物修復系統(tǒng)設計與實現(xiàn)

白宗文

（延安大學 物理與電子信息學院，陜西 延安 716000）

文物是考古學重要研究對象之一，由于自然和人為的原因，在考古挖掘現(xiàn)場通常出土成千上萬的文物碎片，如何從碎片快速拼接出一個個完整文物，是考古學家關心的問題。目前，該工作主要靠手工完成，既耗費時間，也易于造成對文物的破壞。因此有必要計算機輔助完成文物的分類拼接工作。一般地，計算機輔助的分類拼接主要根據(jù)獲取的文物碎片的幾何、紋理等信息來進行，但由于文物碎片往往是大量存在的，本文通過計算幾何、圖形學、將受損古字畫等文物修復問題轉化為圖像拼接問題并加以實現(xiàn)。

圖像拼接技術是圖像處理的重要研究內(nèi)容，通常可以分為基于區(qū)域的和基于特征的兩種，其中基于特征的方法因其魯棒性好得到廣泛應用，劉小軍[1]等人利用基于輪廓特征的方法完成了兩幅圖像的配準，但是這種方法對于特征不明顯或噪聲干擾較大的圖像不適用；Lowe[2]提出的基于SIFT（Scan invariant feature transform 尺度不變特征變換）的配準算法可以較好地完成圖像的配準，但是算法復雜度較高，實現(xiàn)難度大，速度慢；李冬梅[3]等人采用基于特征點灰度相關原理的方法，通過Harris角點算法提取特征點，完成了圖像的拼接，但是整個過程耗時且對曝光強度有明顯差異的圖像拼接效果差。

為實現(xiàn)快速修復，除了優(yōu)秀的算法外，還需要先進的開發(fā)平臺，HALCON就是一個功能強大的機器視覺軟件，它提供了一個全面的視覺處理庫，包括了所有標準和高級的圖像處理方法，覆蓋了從不同的硬件采集圖像到高級的模式匹配算法；提供了機器視覺應用程序中通常所需的一些工具，如文件處理、數(shù)據(jù)分析、算法操作或分類等。另外，它還具有快速原型化和開放結構的重要特征，通過交互編程環(huán)境迅速開發(fā)機器視覺應用程序，或加入新的算子來融合自己的視覺功能。

因此，本文利用機器視覺軟件MVTec HALCON實現(xiàn)圖像拼接算法，首先采用圖像采集設備采集待拼接碎片，然后采用Harris角點檢測算法提取圖像中的特征點，接著對特征點進行歸一化互相關匹配，使用RANSCA[4]剔除誤匹配點，完成圖像初步拼接，最后用改進的加權融合方法進行融合并采用圖像修復算法[5]進行修復。

1 基本原理及步驟

計算機輔助修復一般需要以下3個主要步驟：1）圖像采集：將字畫等文物的所有碎片預先收集起來并初步整理，并將所有圖片充分展開，然后通過相機采集圖像；2）圖像分割：利用圖像處理中優(yōu)秀的分個算法，將整幅碎片切割成獨立的待拼接圖像單元；3）拼接：在分類的基礎上，對碎片進行局部匹配和全局匹配；4）拼接完成后由于噪聲等原因可能存在模糊和明顯的縫合線，可采用圖像融合進一步處理；5）修補：若碎片不完全，則在上述步驟之后，利用圖像修復算法，如采用PDE，TV等模型補全丟失的幾何和紋理信息。其中，分類是拼接和修補的基礎。

2 圖像匹配

2.1 Harris角點檢測

角點即興趣點，是像素點在其鄰域內(nèi)的各個方向上灰度變化量足夠大的點.它是一種重要的圖像特征點，包含了圖像中豐富的二維結構信息，廣泛應用于各種圖像處理技術中.Harris算子是Harris和Stephens[5]提出的一種基于信號的角點特征提取算子，可表示為：

式中，M表示相關矩陣，Ix為x方向的差分，Iy為y方向的差分，w（x，y）為高斯函數(shù)。

采用式（2）來進行角點判斷。det為矩陣的行列式，trace為矩陣秩，k為常數(shù)，通常取0.04-0.06。

Harris算子是一種有效的點特征提取算子，其優(yōu)點總結起來有:1）計算簡單:Harris算子中只用到灰度的一階差分以及濾波，操作簡單。2）提取的點特征均勻而且合理:Harris算子對圖像中的每個點都計算其興趣值，然后在鄰域中選擇最優(yōu)點。實驗表明，在紋理信息豐富的區(qū)域，Harris算子可以提取出大量有用的特征點，而在紋理信息少的區(qū)域，提取的特征點則較少。3）穩(wěn)定:Harris算子的計算公式中只涉及到一階導數(shù)，因此對圖像旋轉、灰度變化、噪聲影響和視點變換不敏感，它也是比較穩(wěn)定的一種點特征提取算子。

2.2 圖像匹配算法

為便于描述，首先設A和B是為兩幅待拼接圖像，用相同的閾值 R0提取其角點，設角點集分別 CA=（C1，C2，…Cm），CB=（，，…），顯然A和B只有部分重合，圖像匹配問題轉化為在集合CA和CB中求兩個最小的子集，使得其滿足1）角點值相同，即R（Ci=）；2）角點個數(shù)相同，即C=（C1，C2，…Cn）和C′=（，，…）；3）距離相等，即d（Ci，Cj）=d（，）；4）鄰域角點數(shù)相等，即Nr（Ci）=Nr（Ci），5）任意兩個相對應角點，匹配參數(shù)相等。

根據(jù)以上結論，可以設計出圖像匹配算法如下：

Step1：尋找可能匹配角點。根據(jù)結論1）找出兩個集合中可能匹配角點。 利用公式|R（Ci）-R（）|≤δ，其中 δ為無窮小量，表示誤差，通常與噪聲，離散化影響及光照等因素有關。

Step2：計算鄰域角匹配。通過鄰域角點數(shù)匹配剔除C1和中不滿足結論4）的角點，得到新的集合C2=（C1，C2……Cg）和=（，……）。

Step3：計算角點距離。根據(jù)結論3）進一步剔除C2和中不滿足該結論的角點，得到新的集合C3和。

Step4：參數(shù)一致檢測。根據(jù)以上步驟得到的新集合采用結論5）進行檢測。對于任意的匹配角點對，其匹配參數(shù)應該是相同的。 一致性檢驗的目的是:剔除匹配參數(shù)偏差較大的角點，使得角點集合中各角點的匹配參數(shù)一致。

3 圖像拼接與融合

圖像拼接是將兩幅或多幅來自同一場景的有重疊區(qū)域的小尺寸圖像合成為一幅大視野圖像；圖像拼接在遙感圖像處理、圖像鑲嵌、醫(yī)學成像處理、虛擬現(xiàn)實技術中都有著廣泛的應用[6-15]。 圖像匹配是圖像拼接的一個關鍵步驟，因此，通過圖像拼接應用可以檢驗圖像匹配算法的性能。

設 I（x，y）為待匹配圖像像素點坐標，I（x′，y′）為參考圖像像素坐標，則兩者之間的關系可以表示為[11]:

其中（u，v，w）T和（x，y，1）T分別是（x′，y′）和（x，y）的齊次坐標表示，m0，……m7為變換參數(shù)。可采用采用RANCAC算法，利用所有的初步匹配點，根據(jù)一個允許誤差將所有的匹配點對分為內(nèi)點和外點，從而剔除誤匹配點，提高運算速度和匹配準確度，最后利用內(nèi)點數(shù)據(jù)比較準確的特點來進行參數(shù)估計，估算變換矩陣，實現(xiàn)圖像拼接。

圖像拼接完成后，如果僅僅是簡單的疊加，會造成圖像的模糊和明顯的縫合線，拼接效果差，這就需要對圖像進行融合，可采用加權融合和改進的加權融合算法實現(xiàn)。

4 實 驗

在研究過程中，完成了不同條件下的多次實驗，首先人工將字畫碎片壓平并收集齊全，采用高分辨率相機，通過HALCON的相應函數(shù)實現(xiàn)圖像采集，然后采用邊緣提取，將碎片分割成若干個獨立的待拼接單元，實驗基于HALCON軟件平臺，盡可能采用HALCON提供的函數(shù)來完成理論分析所述的算法，利用HALCON和vc++6.0的良好接口，編制了相應的軟件。

HALCON指令序列如下：

1）grab_data（），啟動相機獲取圖像并對圖像預處理。

2）prewitt-amp（），使用 prewitt算子檢測邊緣。

3）class-2dim-unsup（），進行圖像分割。

4）pints—-harris（），使用 harris算子計算角點。

5）anisotropic_diffusion（），進行圖像平滑。

6）inpainting_texture（），進行圖像修復。

圖1是一幅完全的古字畫碎片，利用本修復系統(tǒng)修復結果如圖1（b）所示。系統(tǒng)修復耗時30.2 s。圖2是一幅完全的書法作品碎片，利用本修復系統(tǒng)修復結果如圖1（b）所示。系統(tǒng)修復耗時30.2 s。圖2是一幅完全的書法作品碎片。

圖1 受損古字畫修復Fig.1 Damaged ancient calligraphy repair

圖2 受損書法作品修復Fig.2 Damaged calligraphy works repair

5 結 論

本文研究了利用Harris算法進行角點檢測提取特征的方法，并利用圖像匹配、加權融合及圖像修復等技術實現(xiàn)受損古字畫等文物進行修復，各類算法均利用先進的機器視覺軟件MVTec HALCON實現(xiàn)，并基于VC++開發(fā)平臺設計出了實驗修復系統(tǒng)，測試結果表明本系統(tǒng)具有修復速度快，修復結果視覺效果好，信噪比等特點，可廣泛應用于文物修復中，對于三維結構的文物修復可以先多角度進行圖像采集，然后采用本系統(tǒng)作為輔助修復系統(tǒng)。

[1]劉小軍，周越.基于輪廓特征的SAR圖像自動匹配[J].計算機工程，2007，33（4）：176-178.LIU Xiao-jun，ZHOU Yue.SAR images based on contour feature automatically match computer engineering[J].Computer Engineering，2007，33（4）：176-178.

[2]Lowe DG.Distance image features from scale_invariant key points[J].International Journal of Computer Vision，2004，60（2）:91-110.

[3]李冬梅，王延杰.一種基于特征點匹配的圖像拼接技術[J].微計算機信息，2008，24（53）：296-298.LI Dong-mei，WANG Yan-jie.A kind of image mosaics based on feature points[J].Micro Computer Information Technology，2008，24（53）：296-298.

[4]Chalechale A，Naghdy G，M ertins A.Sketch-based image matching using angular partitioning systems[J].IEEE Trans on Man and Cybernetics， Part A，2005，35（1）:28-41.

[5]白宗文，張威虎，周美麗.f+v分解與分形圖像修復算法設計[J].電子設計工程，2011，（12）:160-162.BAI Zong-wen，ZHANG Wei-hu，ZHOU Mei-li.Algorithm designed for image inpainting adopt f+v decomposition and fractal[J].Electronic Design Engineering，2011（18）：160-162.

[6]Harr is C，Stephens M.A combined corner and edge detector[C]//Proceeding sof The Fourth Alvey Visio n Conference.Manchester:[s.n.]，1988:147-151.

[7]Zhu Q，Wu B，Xu Z.Seed point selection method for triangle constrained image matching propagation [J].IEEE Geo science and Remote Sensing Letters，2006，3（2）:207-211.

[8]Reddy B S，Chatterji B N.An FFT-based technique for translation，rotation， and scale invariant image registration[J].IEEE Trans on Image Processing，1996，5（8）:1266-1271.

[9]You J，Bhattachar ya P.A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J].IEEE Trans on Image Processing，2000，9（9）:1547-1559.

[10]Zomet A，Lev in A，Peleg S，et al.Seamless image stitching by minimizing false edgez [J].IEEE T rans on Image Processing，2006，15（4）:969-977.

[11]H an B，Lin X.A novel hybicol or regist ration algorithm for image stitching[J].IEEE Trans on Consumer Electronics，2006，52（3）:1129-1134.

[12]Kim T，Im Y J.Automatic satellite image registration by combination o f matching and random sample consensus[J].IEEE Trans on Geo science and Remote Sensing，2003，41（5）:1111-1117.

[13]Szeliski R.Video mosaics for virtual environments[J].Computer Graphics and Application，1996，16（2）:22-30.

[14]Adam J.A.Probing beneath the sea[J].IEEE Spectrum（S0018-9235），1985，22（4）:55-64.

[15]PANG Yong-jie，SHANG You.Software design techniques for theMan-Machine Interface to Autonomous Underwater Vehicles [C]//Proceedings of the 1998 Enternational Symposium on Underwater Technology，1998：370-374.