POS輔助車載組合全景影像路面角點(diǎn)特征匹配算法

王奕丹，閆　利

(武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079)

?

POS輔助車載組合全景影像路面角點(diǎn)特征匹配算法

王奕丹，閆利

(武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079)

POS Aided Road Surface Corner Features Matching on Vehicle-mounted Composite Panoramic Images

WANG Yidan，YAN Li

摘要：推薦了一種車載組合全景相機(jī)影像路面角點(diǎn)特征的匹配方法。路面到攝站的距離近，基高比大，是良好的區(qū)域網(wǎng)平差模型連接點(diǎn)，但是路面紋理匱乏，影像中存在移動(dòng)物體和較為嚴(yán)重的尺度變化和仿射變形，難以匹配到正確的同名點(diǎn)。本文利用路面在一定范圍內(nèi)可近似為水平面的特點(diǎn)，根據(jù)相機(jī)與路面的距離確定近似路面，將影像路面角點(diǎn)投影到重疊影像，將同名點(diǎn)定位在一個(gè)小的矩形范圍內(nèi)；通過(guò)POS數(shù)據(jù)確定角點(diǎn)對(duì)應(yīng)同名核線，矩形區(qū)域內(nèi)距離核線最近的角點(diǎn)即為同名像點(diǎn)。本文匹配方法可獲得一定數(shù)量的正確匹配同名點(diǎn)，顯著降低了誤匹配，內(nèi)點(diǎn)率高，可以進(jìn)一步精確估計(jì)像對(duì)間的基礎(chǔ)矩陣，為其他地物的匹配提供了約束。

關(guān)鍵詞：車載組合全景影像；POS數(shù)據(jù)；路面約束；核線約束；Harris角點(diǎn)

組合全景相機(jī)具有獲取速度快、信息豐富全面、像素高、鏡頭畸變小、各個(gè)方向的分辨率近乎一致等優(yōu)點(diǎn)[1-3]，因而廣泛應(yīng)用于各種移動(dòng)測(cè)量系統(tǒng)中。如Google移動(dòng)測(cè)量車采用的是水平方向放射分布8個(gè)相機(jī)、垂直向上一個(gè)相機(jī)的組合全景相機(jī)；Earthmine公司的Mars采集系統(tǒng)利用垂直分布的兩臺(tái)組合全景相機(jī)組成全景立體量測(cè)系統(tǒng)，每一個(gè)全景相機(jī)由水平方向放射性分布的4個(gè)魚(yú)眼相機(jī)組成。

目前組合全景影像的普遍處理方法是將一個(gè)攝站獲取的多張影像投影到球面、圓柱面或立方體面上拼接為一張影像[4-5]。文獻(xiàn)[6]直接利用立方體全景影像匹配同名點(diǎn)，提出光流、光流幅度及尺度等約束條件，在短基線條件下可以有效地剔除誤匹配，提高內(nèi)點(diǎn)率。文獻(xiàn)[7]提出光流聚類的車載全景影像匹配方法，建立影像間光流場(chǎng)，實(shí)現(xiàn)光流的均值漂移聚類，認(rèn)為小的聚類中包含更多的雜亂光流，將其刪除從而提高匹配的內(nèi)點(diǎn)率。文獻(xiàn)[8]提出全景影像的多特征匹配，利用SIFT提取建筑物上的斑點(diǎn)特征；用Forstner提取道路上的角點(diǎn)特征；用點(diǎn)云提取路面來(lái)約束模板匹配同名點(diǎn)；最終實(shí)現(xiàn)最小二乘精化匹配。以上方法在短基線的情況下可以取得較好的結(jié)果，但是在實(shí)際的影像采集過(guò)程中，受到車輛速度和相機(jī)快門速度的限制，各個(gè)攝站間的距離往往較大，此時(shí)車載全景影像間存在明顯的尺度變化和仿射變形，且距離攝站越近的地物變形越嚴(yán)重，路面難以得到穩(wěn)定的光流場(chǎng)且用模板匹配難以匹配到正確的同名點(diǎn)。

本文考慮到與遠(yuǎn)處建筑物上的特征點(diǎn)相比，路面點(diǎn)的基高比和交會(huì)角大，是良好的模型連接點(diǎn)，但匹配難度大，因此推薦了一種車載全景單片影像的路面點(diǎn)匹配方法：首先提取路面上的Harris角點(diǎn)[9]；利用相機(jī)與路面的距離得到近似路面，以路面作為介質(zhì)得到左影像特征角點(diǎn)在右影像上同名點(diǎn)的概略位置；POS數(shù)據(jù)計(jì)算左影像特征角點(diǎn)對(duì)應(yīng)同名核線[10]；概略位置周圍一個(gè)小矩形區(qū)域內(nèi)，距離核線最近的角點(diǎn)即為同名點(diǎn)。

一、算法概述

本文采用的車載組合全景相機(jī)由8個(gè)相機(jī)組成，如圖1所示，圖(a)為其實(shí)物圖，圖(b)為其內(nèi)部結(jié)構(gòu)圖，其中標(biāo)注了相機(jī)的編號(hào)及前進(jìn)方向，各相機(jī)的視場(chǎng)角為69.21°，焦距為5 mm，像幅大小為2058×2456像素，像素大小為3.45 μm。

本文具體的技術(shù)路線如圖2所示。

1. POS輔助路面約束

圖1　組合全景相機(jī)系統(tǒng)實(shí)物與內(nèi)部結(jié)構(gòu)

圖2　技術(shù)路線

圖3　立體像對(duì)及其核線

(1)

(2)

式中

2.POS輔助核線約束

核線幾何是數(shù)字?jǐn)z影測(cè)量中影像匹配的基礎(chǔ)。根據(jù)同名像點(diǎn)一定位于同名核線上的理論，可以將二維影像相關(guān)轉(zhuǎn)化成一維影像相關(guān)，可顯著提高匹配效率和可靠性[11]。一般情況下，需要先匹配出一定數(shù)量的同名點(diǎn)再平差解算像對(duì)間的基礎(chǔ)矩陣，從而確定同名核線。但是車載組合全景影像中的路面存在明顯的尺度變化和仿射變換及較多的移動(dòng)物體，造成匹配同名點(diǎn)的內(nèi)點(diǎn)率較低，無(wú)法準(zhǔn)確地估計(jì)像對(duì)間的基礎(chǔ)矩陣。本文采用POS數(shù)據(jù)的同名核線計(jì)算方法[10]。

(3)

(4)

式中，C1=BYZA-BZYA；C2=BZXA-BXYA；C3=BXYA-BYXA，同理影像B中其同名核線的表達(dá)式為

二、試驗(yàn)與分析

選取前后兩個(gè)攝站中5號(hào)相機(jī)影像，如圖4(a)所示，左圖為影像A，右圖為影像B。本文只提取路面角點(diǎn)，相機(jī)主光軸方向近似水平，路面約占影像的一半，因此只提取影像A下半部分的Harris角點(diǎn)特征，如圖4(b)左圖所示。利用本文的匹配方法，首先將影像A中的Harris角點(diǎn)通過(guò)近似路面投影到影像B，如圖4(b)所示；在影像B的Harris角點(diǎn)特征集合中，找到在投影點(diǎn)確定的矩形窗口內(nèi)且距離同名核線最近的點(diǎn)為同名點(diǎn)，如圖4(c)所示；最后用RANSAC(random sample consensus)方法進(jìn)一步估計(jì)兩張影像的精確基礎(chǔ)矩陣，同時(shí)剔除誤匹配，如圖4(d)所示；最終得到13個(gè)同名點(diǎn)，由于車輛自身部件遮擋，造成3個(gè)誤匹配點(diǎn)，可以通過(guò)刪除車輛自身特征點(diǎn)的方式剔除此類誤匹配。提取影像Harris角點(diǎn)特征并用SIFT算子描述和匹配得到同名點(diǎn)如圖4(e)所示，存在大量的誤匹配，由于正確的同名點(diǎn)很少，較低的內(nèi)點(diǎn)率導(dǎo)致RANSAC方法估計(jì)得到錯(cuò)誤的基礎(chǔ)矩陣，最終沒(méi)能匹配到正確的同名點(diǎn)，如圖4(f)所示。

圖4　本文匹配方法與直接匹配方法比較

車輛沿路面行駛，道路方向平行于車輛的移動(dòng)方向存在極為嚴(yán)重的尺度變化和大量的移動(dòng)車輛，由于路面紋理匱乏，可用的角點(diǎn)特征有限，常規(guī)的匹配方法存在較多的誤匹配，幾乎無(wú)法得到正確的同名點(diǎn)。本文方法利用路面平直這一近似假設(shè)，縮小同名點(diǎn)的搜索范圍；利用POS數(shù)據(jù)計(jì)算同名核線，確定距離核線最近的特征點(diǎn)為同名點(diǎn)，避免了尺度變化和仿射變形造成模板匹配的失敗。雖然本文匹配方法得到的同名點(diǎn)數(shù)量少，但是誤匹配少，內(nèi)點(diǎn)率高，可以更為準(zhǔn)確地估計(jì)基礎(chǔ)矩陣，進(jìn)一步剔除誤匹配。

三、結(jié)束語(yǔ)

本文推薦了一種車載全景影像的路面角點(diǎn)特征匹配方法，利用道路在一定范圍內(nèi)可近似為平面的特點(diǎn)，通過(guò)近似路面將角點(diǎn)特征投影到重疊影像中，建立矩形區(qū)域，縮小同名點(diǎn)的搜索范圍，最終通過(guò)POS數(shù)據(jù)計(jì)算同名核線，確定矩形范圍內(nèi)距離核線最近的點(diǎn)為同名點(diǎn)。相較于常規(guī)匹配方法，本文方法可以得到更多的正確同名點(diǎn)，高的內(nèi)點(diǎn)率提高RANSAC估計(jì)基礎(chǔ)矩陣的正確性和穩(wěn)定性，更為準(zhǔn)確的核線可以為其他地物匹配提供約束并為后續(xù)區(qū)域網(wǎng)平差提供高精度的模型連接點(diǎn)。

參考文獻(xiàn)：

[1]JAFAR A P, ARMIN G. Sensor Modeling, Self-calibration and Accuracy Testing of Panoramic Cameras and Laser Scanners[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1):60-76.

[2]SATO T,IKEDA S,YOKOYA N, et al. Extrinsic Camera Parameter Recovery from Multiple Image Sequences Captured by an Omni-Directional Multi-camera System[C]∥Computer Vision-ECCV2004. Heidelberg: Springer Berlin Heidelberg, 2004.

[3]GLEDHILL D,TIAN G Y,TAYLOR D, et al. Panoramic Imaging—a Review[J]. Computers & Graphics,2003,27(3): 435-445.

[4]SHUM H, SZELISKI R. Systems and Experiment Paper: Construction of Panoramic Image Mosaics with Global and Local Alignment[J]. International Journal of Computer Vision,1999,36(2):101-130.

[5]SZELISKI R.Image Alignment and Stitching: a Tutorial[J]. Foundations and Trends R in Computer Graphics and Vision. 2006,2(1):100-104.

[6]張正鵬,江萬(wàn)壽,張靖.車載立方體全景影像匹配點(diǎn)的粗差檢測(cè)方法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2014,39(10):1208-1212.

[7]張正鵬,江萬(wàn)壽,張靖.光流特征聚類的車載全景序列影像匹配方法[J].測(cè)繪學(xué)報(bào), 2014, 43(12):1266-1273.

[8]季順平,史云.車載全景相機(jī)的影像匹配和光束法平差[J]. 測(cè)繪學(xué)報(bào),2013,42(1):94-100.

[9]SHI J,TOMASI C.Good Features to Track[C]∥Computer Vision and Pattern Recognition. Piscataway：IEEE, 1994.

[10]袁修孝,吳珍麗.基于POS數(shù)據(jù)的核線影像生成方法[J]. 武漢大學(xué)學(xué)報(bào)(信息科學(xué)版), 2008, 33(6):560-564.

[11]HAN J H, PARK J S. Contour Matching Using Epipolar Geometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2000, 22(4): 358-370.

中圖分類號(hào)：P23

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2016)04-0024-04

通信作者：閆利

作者簡(jiǎn)介：王奕丹(1987—)，女，博士，主要研究方向?yàn)閿z影測(cè)量。E-mail：wyd1004@whu.edu.cn

基金項(xiàng)目：國(guó)家科技支撐計(jì)劃(2012BAJ23B03)

收稿日期：2015-06-09

引文格式： 王奕丹，閆利. POS輔助車載組合全景影像路面角點(diǎn)特征匹配算法[J].測(cè)繪通報(bào)，2016(4)：24-27.DOI:10.13474/j.cnki.11-2246.2016.0114.