POS輔助下的車載序列影像匹配

謝 洪，吳博義，龔 珣，王奕丹

(1. 武漢大學測繪學院，湖北 武漢 430079； 2. 武漢市測繪研究院博士后創(chuàng)新實踐基地，湖北 武漢 430079； 3. 山西省基礎(chǔ)地理信息院，山西 太原 030001)

POS輔助下的車載序列影像匹配

謝 洪1,2，吳博義3，龔 珣1，王奕丹1

(1. 武漢大學測繪學院，湖北 武漢 430079； 2. 武漢市測繪研究院博士后創(chuàng)新實踐基地，湖北 武漢 430079； 3. 山西省基礎(chǔ)地理信息院，山西 太原 030001)

針對車載序列影像中所包含的具有大量重復紋理的建筑立面區(qū)域給現(xiàn)有匹配方法帶來的誤匹配率高、匹配點不足等不適應(yīng)性問題，提出了一種聯(lián)合POS輔助及KLT(Kanade-Lucas-Tomasi)角點特征跟蹤的新匹配方法。通過充分利用POS信息所能夠建立的局部近似建筑立面分層平面及DEM信息，獲取KLT跟蹤算法中所需的初始位移信息，并將建筑立面及路面區(qū)域進行分開追蹤匹配，以保證匹配點的良好分布特性，最后利用RANSAC結(jié)合核線約束進行誤差剔除得到最終匹配結(jié)果。試驗證明本文方法能夠有效解決車載序列影像中重復紋理區(qū)域的匹配問題，可高效獲取分布均勻、數(shù)量充足的匹配特征點，為后期空中三角測量提供更穩(wěn)健的同名約束條件。

車載序列影像;POS輔助;KLT算法;RANSAC;核線約束

經(jīng)過近20年的發(fā)展，車載移動測量技術(shù)已經(jīng)逐漸成為城市空間信息快速獲取的一種重要技術(shù)手段。通過靈活集成GPS、IMU、CCD相機、激光掃描儀等傳感器設(shè)備，能夠快速獲取城市道路、建筑、綠化植被等目標的精細幾何及光譜信息[1]。其中，多面陣全景相機由于具有集成方式簡單、同步控制方便、分辨率高、處理方式靈活等優(yōu)點而作為主要傳感器廣泛應(yīng)用于各類移動測量系統(tǒng)中[2-3]。目前，針對多面陣全景影像的處理主要集中在全景匹配與拼接、全景成像模型及全景模型重建[4-5]等領(lǐng)域，但由于多面陣拼接全景存在由不可避免的拼接誤差而導致的定位誤差[6]，因而目前將多面陣全景影像中面向地面道路或街區(qū)立面的影像作為多片序列影像處理仍然是一種主要手段，而其中涉及的可視化瀏覽的拼接過程及三維空間信息提取的區(qū)域網(wǎng)構(gòu)建過程都需要正確且數(shù)量充足的同名點，高效可靠的匹配過程是核心問題。

相對于航攝影像而言，街景影像拍攝場景復雜，存在遮擋和移動物體，光照變化顯著，建筑物紋理重復且影像視角及尺度變化明顯[3]。SIFT(scale-invariant feature transform)[7]及其改進方法[8-9]具有優(yōu)良的尺度和旋轉(zhuǎn)不變特性，但其在街景重復紋理區(qū)域會得到大量的誤匹配點。文獻[10]提出一種光流聚類的車載影像匹配方法，通過建立影像間光流場，實現(xiàn)了光流的均值漂移聚類，但對于長基線序列影像難以得到穩(wěn)定光流場，而且效率相對較低。文獻[11]通過構(gòu)造匹配點集，利用特征紋理在圖像上的空間信息從集合中選擇最佳匹配點，提升了匹配效果，但是該方法只適用于解決具有少量對稱重復紋理區(qū)域的匹配問題。文獻[3]利用SIFT提取建筑物上的點特征，利用Forstner提取道路上的角點特征并結(jié)合點云提取路面來約束模板匹配同名點。文獻[12]利用相位相關(guān)預(yù)測同名點在平移、旋轉(zhuǎn)和尺度上的遍歷范圍，在遍歷范圍內(nèi)檢測角點并利用相關(guān)系數(shù)來匹配同名點，但是由于車載序列影像的攝影距離很近，導致相鄰影像之間的投影變形十分嚴重，無法適用于該方法。上述方法在序列影像基線較短的條件下均能得到較好的結(jié)果，但是受限于車輛速度和相機快門速度，實際采集車載序列影像一般在5～10 m，導致該類方法難以得到可靠匹配點，尤其是路面區(qū)域存在較大視角變化時會導致匹配點分布不均勻。

針對該問題，本文提出一種基于POS輔助的車載序列影像匹配方法，通過引入視頻跟蹤領(lǐng)域的KLT算法[13]，充分利用車載移動測量系統(tǒng)所能夠提供的POS信息，針對待匹配影像建立局部近似建筑立面分層平面及DEM信息，獲取KLT跟蹤算法中所需的初始位移信息，并將建筑立面及路面區(qū)域這兩類主要待匹配目標進行分開匹配，以保證匹配點的良好分布特性，最后利用RANSAC結(jié)合極線幾何約束進行誤差剔除得到最終匹配結(jié)果。

1 POS輔助車載序列影像匹配

本文所提出的車載序列影像匹配策略主要包括7個關(guān)鍵過程：①提取參考影像特征Harris角點；②根據(jù)車載平臺到建筑的平均距離可將影像近似分為上下兩部分，上部分對應(yīng)建筑區(qū)域，下部分對應(yīng)路面；③針對建筑區(qū)域，利用POS信息構(gòu)建與基線平行的不同深度的分層平面，并在各分層平面計算參考影像角點特征在待匹配影像的初始位置；④利用KLT在各分層平面進行追蹤，并合并所有層的特征追蹤結(jié)果；⑤針對路面區(qū)域，利用POS信息及平臺高度建立局部路面近似DEM，并對路面區(qū)域進行糾正；⑥針對糾正后影像采用KLT進行追蹤匹配，并映射到原始影像；⑦利用RANSAC結(jié)合核線約束剔除誤匹配點，輸出最后匹配結(jié)果。流程如圖1所示。

1.1 KLT跟蹤匹配方法

KLT跟蹤算法是目前在視頻圖像處理領(lǐng)域使用非常廣泛的一種特征追蹤算法[14-15]，其主要思想是將傳統(tǒng)的滑動窗口搜索法變?yōu)橐粋€求解偏移量的過程：考慮序列圖像中的相鄰兩幀影像I(x,y)和J(x,y)，假設(shè)某同名特征點之間存在微小相對位移，現(xiàn)以某一特征點為中心開辟一個小窗口W，以兩小窗口之間的灰度差平方和作為代價，得到

(1)

式中，p=(x,y)T代表的是特征點的位置；d=[dx,dy]T代表特征點在兩幀圖像之間的平移量；ω(p)為權(quán)值函數(shù)，一般設(shè)為常數(shù)1；W為跟蹤的窗口范圍。將式(1)對d求偏導數(shù)，得

(2)

(3)

即可以得到下式

Zd=θ

(4)

此時偏移量為

d=Z-1θ

(5)

圖1 POS輔助車載序列影像匹配流程

1.2 POS輔助的KLT建筑立面匹配

KLT算法作為視頻跟蹤領(lǐng)域的優(yōu)秀算法，具有計算簡單、效率高且能夠達到亞像素精度的優(yōu)點，但是其應(yīng)用前提是相鄰兩幀影像視差較小，盡管通過金字塔KLT跟蹤方法[15]能夠從一定程度上解決視差變化較大條件下的特征跟蹤匹配問題，但對于間隔較大的車載影像序列仍然存在錯誤跟蹤難題，且街道序列影像中存在的重復紋理會導致跟蹤范圍擴大后算法容易收斂到錯誤的角點上。為了滿足KLT特征跟蹤匹配條件，引入車載影像序列的POS信息，通過建立分層建筑平面并依次在每層平面上進行追蹤獲取追蹤結(jié)果。分層KLT追蹤如圖2所示。

圖2 建筑立面分層KLT追蹤

根據(jù)圖2所示，利用POS輔助的KLT建筑立面匹配的具體步驟為:

(1) 在參考影像中利用Harris提取特征角點，記為點集M。

(2) 根據(jù)SA及SB的POS線元素信息建立與基線平行的分層平面用來近似建筑立面，最近分層平面PLA可根據(jù)車載平臺到建筑區(qū)域的平均最近距離進行設(shè)置，為保證較好的交會條件，設(shè)置最遠平面PLC與PLA不超過20 m，即較遠處的建筑不參與特征優(yōu)化追蹤過程。分層平面之間的等距離間隔根據(jù)KLT追蹤窗口大小進行設(shè)置，如圖3所示。

圖3中，f表示焦距；Dpl表示最近分層平面PLA的距離；DBL表示SA與SB的基線長度；Ipl表示分層平面間隔；DKLT表示由于分層平面深度變化Ipl引起追蹤窗口中心的像素位移；WKLT表示KLT搜索窗口大小。設(shè)置DKLT≤WKLT，使得搜索窗口具有一定的重疊度，以保證分層平面之間的任意特征點處于搜索窗口內(nèi)。根據(jù)圖3可得

(6)

(3) 對于Mi(Mi∈M)，根據(jù)SA站的POS信息計算其在各分層平面的物方交點，得到物方點集O，并進一步計算其Oi(Oi∈O)在SA站的投影像點Pi，構(gòu)成投影點集P。

圖3 根據(jù)追蹤窗口設(shè)置分層平面間距

(4) 對于Pi(Pi∈P)，利用金字塔KLT匹配算法以Pi為搜索窗口中心在搜索窗口內(nèi)尋找最優(yōu)匹配點。如果Oi所在分層平面與其所在的建筑平面位置較為接近，則其與Mi所對應(yīng)的實際物方點坐標接近，而使得Pi能夠作為KLT搜索的良好初始位移條件，進而能夠保證正確特征點追蹤匹配結(jié)果。但需要注意的是，對應(yīng)于Mi，Pi中可能有多個點同時滿足跟蹤閾值條件，即可能存在重復紋理或近似局部灰度分布導致的錯誤匹配點。針對該問題，可采用一種預(yù)剔除的方法，即針對每個待匹配點，僅取其在不同分層平面跟蹤結(jié)果中滿足跟蹤閾值且按跟蹤響應(yīng)值由大到小進行排序的前3個匹配點作為備選結(jié)果，后期再結(jié)合RANSAC及核線約束進行進一步的誤匹配點剔除。

1.3 POS輔助的路面特征匹配

由于路面在成像過程中與主光軸方向平行而導致路面在車載序列影像的投影變形十分嚴重，因此利用現(xiàn)有如SIFT等匹配方法難以獲取有效的路面匹配點。為了有效地得到序列影像的路面匹配點，由于路面在局部范圍內(nèi)與車載平臺平行，因此可根據(jù)當前POS信息構(gòu)建局部路面的近似DEM，并進一步對影像的路面區(qū)域進行糾正來解決路面形變所帶來的匹配困難問題。具體步驟如下：

(1) 根據(jù)SA站的POS信息建立局部近似DEM平面GA。

(2) 對SA站影像的路面區(qū)域利用GA及SB的POS信息建立糾正前后影像的單應(yīng)映射關(guān)系，改正SA站相對于SB站的路面投影形變。

(3) 利用KLT方法，采用與建筑立面的類似匹配過程獲取糾正后的路面影像匹配特征點。

(4) 根據(jù)SA站原始路面影像和糾正影像的單應(yīng)對應(yīng)關(guān)系，將步驟(3)中的特征匹配關(guān)系映射到原始影像，得到路面特征匹配結(jié)果。

1.4 RANSAC結(jié)合核線約束的誤匹配點剔除

為了進一步剔除由于分層平面深度誤差及紋理相似性而導致的追蹤匹配誤差，采用RANSAC結(jié)合核線約束的方法進行誤匹配點剔除，具體過程可參見文獻[16]，在此不進行贅述。

2 試驗與分析

試驗數(shù)據(jù)采用了寧波市某街區(qū)的車載多面陣全景影像中面向街邊建筑的CCD傳感器所獲取的序列影像，并選取了其中包含建筑、地面、植被等特征的兩幅典型影像作為試驗影像。影像分辨率為2058×2456像素，像素大小為3.45×10-6m，焦距為0.005 m，基線長度約為11 m，POS信息由車載GPS及IMU傳感器獲取。

試驗中，根據(jù)車載平臺到建筑區(qū)域的平均區(qū)域設(shè)置分層平面最近距離為40，最遠距離設(shè)置為60，追蹤窗口大小設(shè)置為32×32，追蹤閾值設(shè)置為10，根據(jù)式(6)計算得到的分層平面間隔為3.3 m，即分層平面?zhèn)€數(shù)為7，建筑立面和地面區(qū)域的分割線設(shè)置為高度為1250像素位置(如圖4(a)所示)。另外，為了驗證本文方法的有效性，將其與SIFT匹配方法進行了比較，并統(tǒng)計了剔除前后的匹配點個數(shù)、匹配耗時等指標。試驗結(jié)果及統(tǒng)計表格分別如圖4和表1所示。

圖4 POS輔助序列影像匹配及SIFT匹配結(jié)果

匹配方法建筑區(qū)域匹配點個數(shù)路面區(qū)域匹配點個數(shù)剔除前剔除后剔除前剔除后匹配耗時/s本文方法27761261101639215.558SIFT匹配方法2511380014.860(單線程)/1.437(GPU加速)

從圖4及表1分析得到，相比較于SIFT匹配方法在建筑立面重復紋理區(qū)域嚴重缺乏同名匹配點的匹配結(jié)果，本文的方法利用Harris角點提取結(jié)合POS輔助的KLT匹配方法能夠有效支持建筑立面重復紋理區(qū)域的角點特征追蹤匹配(如圖4(c)所示)，而且匹配同名點數(shù)據(jù)更為充分(接近SIFT匹配結(jié)果的10倍)，在影像上具有良好的均勻分布特性。另外，從地面區(qū)域的匹配結(jié)果來看，由于車載影像的地面成像變形嚴重，SIFT無法提取有效的同名點，而在利用POS先驗地面信息進行待匹配區(qū)域的相對變形糾正后，能夠有效地進行地面重疊區(qū)域的同名點追蹤匹配(如圖4(g)所示)，為后期空中三角測量提供更穩(wěn)健的同名約束條件。從匹配方法的耗時來看，本文方法在單線程模式下與SIFT單線程下的匹配效率相當，與SIFT-GPU算法的差異明顯，但本文方法中的各點追蹤匹配過程相互獨立，能夠支持結(jié)合多線程并行或GPU進一步提高匹配效率。

3 結(jié) 語

針對車載序列影像中重復紋理區(qū)域及地面成像變形所帶來的匹配困難問題，本文提出了一種聯(lián)合POS輔助及KLT角點特征跟蹤的新匹配方法。通過充分利用POS信息建立局部近似建筑立面分層平面及DEM信息，有效解決了KLT跟蹤算法中初始位移值確定及地面投影變形問題，并通過試驗驗證了本文方法能夠有效解決車載序列影像中重復紋理區(qū)域的匹配問題，可高效獲取分布均勻、數(shù)量充足的匹配特征點，為后期空中三角測量提供更穩(wěn)健的同名約束條件。下一步的研究方向主要為該方法在全景影像匹配中的深化拓展應(yīng)用。

[1] PUENTE I,GONZALEZ J H,MARTINEZ S.Review of Mobile Mapping and Surveying Techonologies[J]. Measurement,2013,46:2127-2145.

[2] AMIRI P J,GRUEN A.Sensor Modeling,Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1): 60-76.

[3] BRANISLAV M,JANA K.Piecewise Planar City 3D Modeling from Street View Panoramic Sequences[C]∥Proceedings of 2011 IEEE International Conference on Computer Vision and Pattern Recognition.Miam:IEEE,2009.

[4] 季順平,史云.車載全景相機的影像匹配和光束法平差[J].測繪學報,2013,42(1):94-100.

[5] 徐振亮,李艷煥,閆利,等.面向立面大角度影像拼接的穩(wěn)健匹配方法[J].測繪通報,2015(1):131-133.

[6] 季順平,史云.多鏡頭組合型全景相機兩種成像模型的定位精度比較[J].測繪學報,2014,43(12):1252-1258.

[7] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(60):91-110.

[8] BAY H, ESS A, TUYTELAARS T. Speeded-up Robust Features (SURF)[J].Computer Vision & Image Understanding,2008,110(3):346-359.

[9] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438-469.

[10] 張正鵬,江萬壽,張靖.光流特征聚類的車載全景序列影像匹配方法[J].測繪學報,2014,43(12):1266-1273.

[11] 劉偉,王涌天,陳靖.針對重復紋理場景的跟蹤定位算法[J].北京理工大學學報，2012,32(2):189-193.

[12] 何海清,張永軍,黃聲享.相位相關(guān)法輔助的重復紋理區(qū)低空影像匹配[J].武漢大學學報(信息科學版),2014,39(10):1204-1207.

[13] LUCAS B D,KANADE T.An Iterative Image Registration Technique with an Application to Stereo Vision[C]∥International Joint Conference on Artificial Intelligence.San Francisco:Morgan Kaufmann Publishers Inc,1981.

[14] SHI J, TOMASI C. Good Features to Track[C]∥CVPR 94.New York:IEEE, 1994.

[15] BOUGUET J Y. Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the Algorithm[J].Acta Pathologica Japonica, 2000, 22(2): 363-381.

[16] 王琳,張力,艾海濱.無人飛行器遙感影像的自動相對定向研究[J].測繪通報,2011(11):11-14.

POS-aided Matching of Vehicle-borne Sequential Images

XIE Hong1,2,WU Boyi3,GONG Xun1,WANG Yidan1

(1. School of Geodesy and Geomatics of Wuhan University, Wuhan 430079,China; 2. Postdoctors Innovation and Practice Base of Wuhan Geomatics Institute,Wuhan 430079,China; 3. Shanxi Basic Geographic Information Institute,Taiyuan 030001，China)

Aiming at the existing problem of high mismatching rate and insufficient corresponding points for vehicle-borne sequential images,as a result of the plentiful repetitive texture in the building fa?ade area,a new method combining auxiliary POS and the KLT corner tracking algorithm is proposed in this paper.In the first place,through taking full advantage of POS information, the local approximate stratification fa?ade plane and DEM are established to get the initial displacement required by the KLT algorithm.Then a new strategy tracking the fa?ade and road area separately is employed to ensure a good distribution of matching points.After that,the final result is obtained by integrating the RANSAC and epipolar constraint to eliminate the matching error.The implemented experiments show that the presented method could solve the preceding mismatching problem,as well as obtaining adequate and uniformly distributed corresponding points for a more robust aerial triangulation process.

vehicle-borne sequential image; POS-aided;KLT algorithm;RANSAC; epipolar constraint

謝洪，吳博義，龔珣,等.POS輔助下的車載序列影像匹配[J].測繪通報，2017(4)：44-48.

10.13474/j.cnki.11-2246.2017.0117.

2016-07-27；

2017-02-03

國家自然科學基金(41401527)；測繪地理信息公益性行業(yè)科研專項(201512008)；武漢市測繪研究院博士后創(chuàng)新實踐基地科研項目(WGF2016001)

謝 洪(1987—)，男，博士，講師，研究方向為三維激光測量。E-mail: hxie@sgg.whu.edu.cn

P237

A

0494-0911(2017)04-0044-05