基于大視差圖像中目標物體的拼接

趙陽陽

（四川大學計算機學院，成都 610065)

基于大視差圖像中目標物體的拼接

趙陽陽

（四川大學計算機學院，成都 610065)

0　引言

近年來，隨著計算機技術和多媒體技術的快速發展，圖像拼接技術在現實生活中的應用越來越廣泛。當前應用中，全景拼接技術的應用較為廣泛，而針對于大視差圖像中目標物體的拼接技術研究卻較為局限。現實生活中，針對大視差目標物體的拼接主要應用于航拍較高建筑物或高度測量。下面圖1和圖2即為兩張縱向拍攝的大視差圖像。

圖1　通信塔（上）

圖2　通信塔（下）

大視差圖像中目標物體的拼接，主要利用了SIFT特征提取方法提取圖像特征點集，并結合視差圖原理獲取目標物體大致區域，使用基本矩陣和特征點匹配集平行線方法選過濾目標物體上的特征點匹配集。最后，利用多幅圖像間的變換關系優化單應矩陣集，從而完成目標物體的拼接。

1　特征點匹配集選取

1.1利用視差圖獲取目標物體大致區域

視差圖是以圖像對中一副圖像為基準，大小為基準圖像的大小，元素值為視差值的圖像。由于視差圖包含了場景的距離信息，一般用于獲取圖像深度。結合近距離拍攝的目標圖，如圖1和圖2其背景基本保持一致，因此可以利用視差圖可以獲取近距離的目標物在圖像中的大致區域。

本文利用OpenCV中FindStereoCorrespondence函數獲取到的圖1和圖2的稀疏視差圖如圖3，并結合視差圖信息獲取到目標物體的大致區域如圖4。

圖3　稀疏視差圖

圖4　目標物體大致區域

1.2基本矩陣消除誤匹配

利用1.1中獲取到的圖像大致區域，可以在特征選取和特征匹配的時候選擇目標圖像區域內的特征點匹配集。由于計算特征匹配時會產生誤匹配，如圖5，因此需要對誤匹配進行消除。本文結合兩視圖中的對極幾何關系，關系如圖6，其中C和C'為兩幅圖像的攝像機中心點，e和e'分別為攝像機中心點在圖像中的投影點，Xπ為對應點的三維空間點，x和x'為三維點在圖像中的投影點，且（Xπ，e，e'，x，x'共面），結合對極幾何關系可推導出xFx'=0，其中x和x'為兩幅圖像中的任意一對匹配點，F為秩為2的3×3矩陣。

圖5　誤匹配消除前

本文利用基本矩陣F矩陣進行誤匹配消除，即對于每對特征點匹配對，利用xFx'來進行誤匹配消除，其結果等于0或值滿足指定的閾值內，即默認為正確的匹配對，否則為誤匹配。利用F矩陣進行誤匹配消除后，結果如圖7。

圖6　對極幾何關系

圖7　利用F矩陣消除誤匹配后

1.3特征匹配集平行線選取過濾

結合基礎矩陣進行誤匹配消除過后，大部分匹配對已趨于正確，但仍然會存在一些誤匹配，結合實際使用經驗，本文利用特征匹配集平行線選取過濾，來再次進行特征匹配集的過濾，從而盡量獲取準確的匹配集。

特征匹配集平行線過濾，即利用兩張拍攝的大小相等的圖片組合為一張圖片，如圖7，即為組合后的圖片。由于本文中的拍攝圖像為等距拍攝，因此兩幅圖像的特征匹配集連線在組合圖上應為平行線或趨于平行線集合。

如圖7中的左圖中匹配集為：

右圖中匹配集為：

則對于每一對特征匹配對

存在直線

對于準確的匹配集則盡量多的匹配對所在直線均滿足斜率K相等或誤差較小。本文利用了RANSAC方法迭代選取滿足匹配對組成直線斜率的K值相等或誤差較小最多的點集為過濾后的匹配集。利用平行線選取過濾后，兩幅圖像間的匹配結果如圖8。

圖8　平行線過濾后特征匹配集

2　圖像拼接

圖像拼接本質就是利用特征點匹配集來計算H圖像之前的變換矩陣，然后利用變換矩陣即單應矩陣進行圖像間的變換，從而完成圖像拼接目的。兩幅圖像間的二維變換矩陣即單應矩陣。

H滿足：

x=Hx'

x和x'為一對特征匹配對，其線性變換可表示為：

其中H矩陣h11，h12，h21，h22四個元素為圖像間的縮放和旋轉因子，h13和h23為兩幅圖像間的平移因子，h31和h32為圖像間的畸變因子，h33常量值為1。

2.1單應矩陣調整

針對本文中的垂直拍攝的實驗圖像集，選取其中一張為基準圖像，其他圖像與基準圖像間的變換關系可利用向前或向后圖像間的變換關系，進行迭代計算，非連續緊鄰圖像間的變換關系采用平均法獲取，來調整單應矩陣。如下圖集圖9、圖10、圖11和圖12，若以9為基準，圖11與圖9之間的變換矩陣可通過兩種方式進行計算。第一，直接使用圖9與圖11間的特征匹配集計算變換矩陣H1；第二，先獲取圖9和圖10之間的變換矩陣H2，再獲得圖10和圖11之間的變換矩陣H3，從而獲得圖9與圖11的變換矩陣H4=H3×H2。

本文結合上述兩種獲取變換矩陣的方式獲取H1和H4，并利用H1和H4來計算其平均來獲取非緊鄰圖間的變換矩陣，即：

從而減小單應矩陣的誤差。且由于本文中的大視差圖像在拍攝中保持平行且等距拍攝，因此H矩陣中的畸變因子在計算中可直接賦值為1，從而減少畸變變換引起的誤差累計。

圖9　通信塔a

圖10　通信塔b

圖11　通信塔c

圖12　通信塔d

2.2利用單應矩陣拼接圖像

結合2.1中的方法，以其中一幅圖像為基準，獲取其他圖像到基準圖像的單應矩陣集合。利用圖像間的單應矩陣集合從而完成圖像間的拼接。

圖13　大視差圖像序列集　

圖14　最終的拼接效果

3　實驗結果及分析

如上實驗圖所述，圖13為拍攝到的圖像序列集，圖14為最終的拼接效果圖。結合本文所述方法，對于大視差圖像序列集，利用視差圖獲取目標物體大致區域，結合基本矩陣與匹配集平行線過濾誤匹配，使用特征點匹配集計算圖像間的單應矩陣，從而完成圖像拼接。

文中實驗圖均為縱向拍攝，其橫向拍攝的基本原理同縱向拼接。

4　結語

本文針對大視差圖像中目標物體的拼接，利用圖像間的視差原理獲取目標物體大致區域，并在區域內結合基礎矩陣與特征匹配集平行線原理消除誤匹配，最后結合圖像間的單應矩陣集完成圖像拼接。結合實驗證明，針對縱向或橫向拍攝的大視差圖像，能夠有效的完成目標物體的拼接。

［1］Richard Hartley，Andrew Zisserman.計算機視覺中的多視圖幾何［M］．韋穗，楊尚俊，章權兵，胡茂林譯．合肥：安徽大學出版社，2002.8.

［2］熊邦書，程駿.基于多窗體的改進視差圖算法及其應用［A］.西安：西安科技大學，2010.

［3］郭俊美.基于圖像的柱面全景圖生成技術研究［A］.失效分析與預防，2012.

［4］王愛紅，王瓊華，李大海等.立體顯示中立體深度與視差圖獲取的關系［J］.光學精密工程，2009，17:433-438.

［5］周駿.多視圖圖像三維重建若干關鍵技術研究［D］.成都：電子科技大學，2008.

Large Parallax；Image Stitching；Target Object；Horizontal Mosaic；Vertical Mosaic

Image Stitching of the Target Object Based on Large Parallax Images

ZHAO Yang-yang

（College of Computer Science，Sichuan University，Chengdu 610065）

1007-1423（2015）32-0042-05

10.3969/j.issn.1007-1423.2015.32.011

趙陽陽（1990-），男，陜西渭南人，碩士研究生，研究方向為圖形圖像技術

2015-10-16

2015-11-06

近年來，隨著計算機技術和多媒體技術的快速發展，全景拼接技術的應用也越來越廣泛。而針對于大視差圖像中目標物體的拼接技術應用和研究有一定的局限性。大視差圖像中目標物體的拼接，指一系列縱向或橫向連續垂直拍攝的二維圖像中，目標物體與背景視差較大，在拼接時只關注目標物體的拼接而非整幅圖像，一般應用于航拍建筑物體的拼接或高度測量。為了獲得目標物體較好的拼接效果，采用等距拍攝，以及利用視差圖與特征點匹配集平行線選取技術，獲取目標物體本身的特征點匹配集，進而完成目標物體的橫向或縱向拼接。實驗結果表明，該方法能夠提高大視差圖像中目標物體的拼接效果，并能有效滿足大視差圖像中目標物體的拼接。

大視差；圖像拼接；目標物體；橫向拼接；縱向拼接

國家863計劃項目（No.2013AA013902）

In recent years,with the rapid development of computer technology and multimedia technology,the panorama stitching techniques’applications are increasingly used.But for splicing technology applications and research on the target object in a large parallax images have some limitations.Stitching the target object of large parallax images,referring to a series of two-dimensional image vertically or laterally continuous vertical shooting,the target object and background have larger parallax,when splicing images only focus the target object rather than the entire image,generally applied to aerial architectural objects stitching or height measurement.In order to obtain a better target object mosaic effect,uses isometric shooting,and takes the use of the disparity map and feature points matching set of parallel lines select technology,gets the target object itself feature point matching set,and then completes the horizontal or vertical mosaic of the target object.Experimental results show that this method can improve the mosaic effect large parallax image of the target object,and can effectively meet the stitching large parallax image of the target object.