面向立面大角度影像拼接的穩健匹配方法

徐振亮，李艷煥，閆　利，晏　磊

(1. 北京大學空間信息集成與3S工程應用北京市重點實驗室，北京 100871；

2. 遼寧工程技術大學審計處，遼寧 阜新 123009； 3. 武漢大學測繪學院，湖北 武漢 430079)

Facade Facing the Wide-angle Image Stitching Robust Matching Method

XU Zhenliang，LI Yanhuan，YAN Li，YAN Lei

?

面向立面大角度影像拼接的穩健匹配方法

徐振亮1，李艷煥2，閆利3，晏磊1

(1. 北京大學空間信息集成與3S工程應用北京市重點實驗室，北京 100871；

2. 遼寧工程技術大學審計處，遼寧 阜新 123009； 3. 武漢大學測繪學院，湖北 武漢 430079)

Facade Facing the Wide-angle Image Stitching Robust Matching Method

XU Zhenliang，LI Yanhuan，YAN Li，YAN Lei

摘要：建立了一種面向大角度立面影像拼接的可靠匹配方法。該方法首先以SIFT特征向量雙向最鄰近距離比(BNNDR)作為匹配測度條件得到初匹配，考慮到大角度影像特點，分別應用核線約束和視差梯度約束條件，精化得到可靠的同名特征點，最后通過多次單應性確定立面待拼接區域的同名特征點，匹配結果和拼接效果表明，該方法可保障大角度立面影像拼接同名點的可靠性與準確性。

關鍵詞：影像匹配；影像拼接；立面；核線；視差梯度；單應性

一、引言

全景圖技術是近年來地理信息及計算機信息領域比較活躍的一個方向，它是表示和繪制具有真實感的交互式的虛擬場景的方法，依投影方式包括柱面投影和球面投影等方式，在視覺導航、瀏覽方面發揮了重要作用。全景圖主要依靠普通數碼影像拼接技術完成，而且使用較多的是基于特征點的拼接技術，也就是利用待拼接影像間的重疊部分的同名特征建立影像重疊區間幾何透視變換關系，實現影像之間的變換與融合。這種變換關系一般來說視重疊區域特點而確定，如街景影像中主要分布著建筑立面的特征，可以通過重疊區內同名特征點間單應性變換關系實現。因此，穩健、準確、快速匹配得到重疊區內的具有單應性條件同名特征點至關重要。

影像匹配首先要明確兩個基本問題：匹配相似性測度和同名點搜索范圍。匹配測度是判斷兩個像點是否匹配的重要依據，影響匹配的穩健性。而搜索范圍反映了尋找候選匹配點的途徑，直接影響匹配的效率和可靠性，包括基于灰度和特征的匹配相似性測度方法；在同名點搜索范圍方面，主要有核線約束[1-2]、視差連續性約束或視差梯度約束[3-5]、分級匹配策略[6-7]、冗余匹配策略(如多視匹配[8])等。

近景大角度影像特別是建筑物立面影像獲取較容易，在測量、模型重建等領域有廣泛用途。但長久以來，近景影像限于遮擋、視角、光照變化大、尺度不一致、目標多樣復雜和視差斷裂等因素的影響，近景影像建筑立面特征點可靠匹配一直比較困難，近幾年來，尺度不變特征轉換描述子SIFT及其改進算子以其優異性能在近景大角度影像匹配等處理中得到廣泛研究，為影像拼接等相關應用奠定了基礎。

本文先采用多(約束)匹配策略獲得可靠同名點，即以SIFT特征雙向最鄰近距離比為匹配測度獲得初匹配，通過核線約束條件和視差約束條件剔除誤匹配點和無效點(地面和天空點等)，再通過多次擬合精化單應性繼而保證立面內的可靠同名點。

二、重疊區內特征點可靠匹配策略

1. 雙向最鄰近距離比匹配測度

鄰近距離比匹配測度在特征匹配中應用最為廣泛，文獻[9]通過比較固定閾值、最近鄰和最近鄰距離比(nearest neighbor distance ratio， NNDR)測評特征描述子的性能后發現，NNDR整體性能要優于前兩者，因此該策略廣泛應用于基于特征的匹配方法。如圖1所示，其定義

(1)

其中，d1和d2是最近鄰和次近鄰距離;DA是目標特征描述子；DB和DC是最近鄰兩個特征描述子。

圖1　固定閾值、最近鄰和NNDR比較

而雙向匹配方法是基于如下思想的：如果兩特征點是匹配的，那么參考圖像IA的特征與搜索圖像IB的特征匹配成功的同時，從搜索影像IB向參考影像IA也應該是匹配成功的。如圖2所示，前圖顯示了單向匹配成功，而后圖中展示的是反向匹配，如果雙向匹配都是同樣兩個特征點時，說明匹配成功的幾率大大增強。

圖2　雙向匹配原理

2. 匹配點核線約束

核線約束方法是立體視覺中最常用的方法，即同名像點必然在同名核線上，在攝影測量領域主要利用這一特性提高匹配效率。在本文可以利用這一特性作為約束條件，即從上述獲得的匹配點采用隨機采樣一致性方法擬合出兩幅影像的基礎矩陣，繼而得到兩幅影像的核線關系，剔除錯誤匹配點

pTFp′=0

(2)

3. 匹配點視差梯度約束

匹配點視差梯度約束是消除近景影像由于目標表面突變和視角變化造成的匹配奇異性，一般情況下認為，在沒有視差斷裂情況下，若兩點是同名點，那么同名點對之間的視差梯度要滿足一定閾值τ(設為0.8)條件。根據視差梯度的定義

(3)

三、面域重疊區內匹配點的單應性關系

單應性條件同樣是攝影測量與計算機視覺領域的一個重要特性，它是物方平面點集在影像平面上的投影映射關系。

如果目標點在平面內，那么針孔模型的投影變換可表示為

(4)

式中，H為單應性矩陣。消去比例因子λ，則

(5)

四、試驗與分析

1. 匹配結果

本節通過兩組室內室外大角度影像數據驗證方法的有效性。試驗1：車載系統大角度影像，立面(平面)特性不明顯，像幅1200×1600；試驗2：室內手持相機拍攝的影像，像幅1368×1712，立面特征較明顯。

表1為兩組數據匹配結果。可以看出，每個立體像對經過雙向初次匹配后錯誤點較多(橢圓框所示)，包括天空和路燈等無效的特征點。在經過核線約束后，誤匹配點明顯減少，但室外場景仍存在部分無效特征點。通過視差約束后，進一步剔除了由于遮擋、視差斷裂等因素造成的無效匹配點，單應性約束后可以將明顯的非建筑立面特征點除去，目測檢查沒有明顯誤匹配點，通過選取的兩組典型影像測試，經過幾種約束條件后匹配特征點基本分布在建筑立面上，說明多約束條件下獲得的匹配點作為拼接是可靠和有效的。

2. 拼接效果

從拼接結果(如圖3所示)來看，達到了預期按照單應性關系拼接的目的，影像對右影像經過單應性變換關系與左影像完全融合在一起，由于沒有在融合上作進一步處理，因此，從拼接后的圖像上可以看出有一定的色差，在拼接處有小的鋸齒現象，初步確定為SIFT算子定位精度(子像素)原因導致求解的單應性矩陣模型不精確所致。

圖3　拼接結果

五、結論

1) 本文建立了一種面向大角度影像拼接的多約束條件下影像中建筑立面特征點的可靠匹配方法，該方法能有效提高匹配點的可靠性，應用于大角度影像拼接是可行的。

2) 室外場景大角度影像受外部目標干擾較多，需要利用多種約束策略加以剔除。而對于場景目標相對單一的室內大轉角影像來說，主要是紋理重復帶來的匹配困難，但通過多約束條件，可以有效剔除錯誤或者無效匹配。

3) 針對選取的試驗影像起到了較好的效果，為驗證方法的有效性，下一步將針對傾斜航空影像作進一步測試。

表1

參考文獻：

[1]ZHOU J,SHI J Y. A Robust Algorithm for Feature Point Matching [J].Computers & Graphics, 2002(26): 429-436.

[2]ZHANG K, SHENG Y H, LI Y Q, et al. Image Matching for Digital Close-range Stereo Photogrammetry Based on Constraints of Delaunay Triangulated Network and Epipolar-line[C]∥M Proceedings of SPIE, Geo-informatics.[S.l.]：SPIE，2006.

[3]朱慶，吳波，趙杰.基于自適應三角形約束的可靠影像匹配方法[J].計算機學報, 2005,28(10):1734-1738.

[4]ZHU Q, WU B, TIAN Y X. Propagation Strategies for Stereo Image Matching Based on the Dynamic Triangle Constraint [J].ISPRS Journal of Photogrammetry and Remote Sensing, 2007,62(4):295-308.

[5]龔聲蓉，趙萬金，劉純平.基于視差梯度約束的匹配點提純算法[J].系統仿真學報，2008(20)：407-410.

[6]DUFOURNAUD Y, SCHMID C, HORAUD R. Image Matching with Scale Adjustment [J]. Computer Vision and Image Understanding, 2004,93(2):175-194.

[7]陳鷹，林怡.基于提升小波的影像變換與匹配[J].測繪學報，2006，35(1)：19-23.

[8]FURUKAWA Y，PONCE J. Accurate Camera Calibration from Multi-view Stereo and Bundle Adjustment[J]. International Journal of Computer Vision, 2009,84(3):257-268.

[9]MIKOLAJCZYK K,SCHMID C. A Performance Evaluation of Local Descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1615-1630.引文格式： 李剛，萬幼川. 基于CDIO模式的“遙感原理與應用課程設計”創新型實驗教學示范[J].測繪通報，2015(1)：134-136.DOI:10.13474/j.cnki.11-2246.2015.0028

引文格式： 徐振亮，李艷煥，閆利，等. 面向立面大角度影像拼接的穩健匹配方法[J].測繪通報，2015(1)：131-133.DOI:10.13474/j.cnki.11-2246.2015.0027

作者簡介：徐振亮(1982—)，男，博士生，講師，主要從事近景攝影測量與計算機視覺研究。E-mail：xuzhenliang@whu.edu.cn

基金項目：國家自然科學基金(41271456；41371492)

收稿日期：2013-12-17

中圖分類號：P23

文獻標識碼：B

文章編號：0494-0911(2015)01-0131-03