基于景象匹配的航攝影像二維定位方法

孫世宇, 張 巖, 李建增, 胡永江

(陸軍工程大學(xué)無人機工程系, 河北 石家莊 050003)

0 引 言

景象匹配是將圖像區(qū)域從不同傳感器攝取的相應(yīng)景象區(qū)域中確定出來,或找到它們對應(yīng)關(guān)系的一種計算機視覺技術(shù)[1]。基于景象匹配理論,對無人機的航攝影像(視頻與照片數(shù)據(jù))內(nèi)目標(biāo)的定位方法,即為基于景象匹配的無人機目標(biāo)定位方法[2]。該方法需要的任務(wù)設(shè)備較少,定位精度與實時性較高,不易受外界干擾[3]，所以該方法的研究意義重大。

基于景象匹配的無人機目標(biāo)定位方法的研究重點在于異源匹配與定位策略。異源匹配要求特征檢測、描述與模型估計的魯棒性與實時性較高[4-5]。定位策略要求底圖與目標(biāo)影像的對應(yīng)性較好,對任務(wù)設(shè)備的依賴較少,坐標(biāo)解算快速準(zhǔn)確[6]。對于這種定位方法,國內(nèi)外學(xué)者做了大量研究。

文獻[7]提出基于局部特征與拓撲約束的遙感圖像匹配與目標(biāo)定位方法。首先利用多尺度角點檢測算法進行特征檢測,然后利用尺度不變特征匹配[8](scale invariant feature transform, SIFT)描述子進行特征描述,最后基于拓撲約束剔除誤匹配點,實現(xiàn)圖像匹配并獲取定位點經(jīng)緯坐標(biāo)。該方法定位精度有待提高,且特征匹配的實時性與魯棒性有待增強。文獻[9]提出了一種全局圖像配準(zhǔn)的目標(biāo)快速定位方法,首先將航攝影像進行適當(dāng)層級的小波分解,其次結(jié)合SIFT與角點進行特征檢測,利用SIFT描述子進行特征描述,再次利用隨機抽樣一致性[10](random sample consensus, RANSAC)算法與最小二乘法優(yōu)化單應(yīng)性矩陣,實現(xiàn)圖像匹配并獲取定位點經(jīng)緯坐標(biāo)。該方法定位精度較高,但特征匹配的實時性有待增強。文獻[11]提出了基于CenSurE-star的無人機景象匹配算法。首先提出CenSurE-star進行特征檢測,然后利用快速視網(wǎng)膜特征進行特征描述,最后利用RANSAC剔除誤匹配點,實現(xiàn)圖像匹配并獲取定位點經(jīng)緯坐標(biāo)。該算法運行效率較高,并能滿足無人機視覺輔助導(dǎo)航的需求。但是該算法中特征匹配算子的魯棒性有待改善。文獻[12]提出了一種基于定位定向系統(tǒng)(position and orientation system, POS)與圖像匹配的無人機目標(biāo)定位方法[12],首先利用SIFT算法進行航攝影像同源匹配,其次利用匹配區(qū)域搜索方法自動生成底圖,再次利用SIFT算法將航攝影像與對應(yīng)底圖進行異源匹配,最后解算航攝影像二維地理坐標(biāo)。該方法利用無人機POS數(shù)據(jù)自動生成了對應(yīng)底圖,實現(xiàn)較為準(zhǔn)確的定位。但該算法中特征檢測子與描述子的魯棒性與實時性有待改善,RANSAC的執(zhí)行效率有待提高,匹配區(qū)域搜索方法完全依賴POS設(shè)備。

上述算法針對基于景象匹配定位的不同步驟進行了創(chuàng)新與改進,但仍存在以下問題:①特征匹配算法的魯棒性有待增強;②描述符匹配與模型估計算法的魯棒性與實時性有待增強。③底圖難以自動獲取,或依賴POS系統(tǒng)。

針對以上問題,本文提出了一種基于景象匹配的航攝影像二維定位方法(two-dimensional location of aerial photography based on scene matching, TDLAPSM),首先進行任務(wù)規(guī)劃,來獲取某固定區(qū)域的航攝影像。其次基于特征匹配來完成景象匹配。再次提出坐標(biāo)解算及底圖生成方法,來實現(xiàn)航攝影像二維定位。最后進行了理論說明和實驗驗證。

1 方法流程

TDLAPSM的方法執(zhí)行步驟如下:

步驟1任務(wù)規(guī)劃。利用無人機獲取某固定區(qū)域(已知地理信息)的航攝影像,同時生成該區(qū)域底圖。

步驟2景象匹配。將底圖與航攝影像進行特征匹配得到單應(yīng)性矩陣,同時將該時刻與下一時刻的航攝影像進行特征匹配得到對應(yīng)的單應(yīng)性矩陣。特征匹配方法流程如圖1所示。

圖1 特征匹配流程圖Fig.1 Diagram of feature matching

特征匹配包括同源影像間匹配(航攝影像之間)與異源影像間匹配(航攝影像與底圖)。按照特征檢測、特征描述、描述符匹配、與模型估計順序進行。其中:首先,利用基于快速自適應(yīng)魯棒性尺度不變的特征檢測子(fast adaptive robust invariant scalable feature detector, FARISFD)[13]檢測出特征點。其次,利用魯棒性交疊的標(biāo)準(zhǔn)特征描述子(robust overlapped gauge feature descriptor, ROGFD)[14]生成特征點的描述符。再次,利用基于歐氏距離的暴力匹配方法對描述符進行匹配,并利用基于網(wǎng)格的快速、超魯棒特征匹配運動統(tǒng)計算法(grid-based motion statistics for fast, ultra-robust feature correspondence, GMS)[15]剔除誤匹配。最后利用基于特征距離與內(nèi)點的隨機抽樣一致性(random sample consensus based on feature distance and inliers,RSCFDI)[16]算法計算得到單應(yīng)性矩陣。兩種特征匹配并行處理。

步驟3坐標(biāo)解算及底圖生成。解算該時刻航攝影像內(nèi)所有點的二維地理坐標(biāo)。同時生成下一時刻航攝影像對應(yīng)底圖。

步驟4步驟循環(huán)。按順序重復(fù)步驟2與步驟3,直到完成所有航攝影像的二維定位。

2 坐標(biāo)解算及底圖生成方法

2.1 方法流程

步驟1按圖3所示方式,提取該固定區(qū)域數(shù)字衛(wèi)星地圖M1作為底圖,設(shè):A～D點的二維地理坐標(biāo)分別為(W1,B1)、(W2,B1)、(W2,B2)以及(W1,B2),底圖圖幅為C×R像素。

圖2 底圖示意圖Fig.2 Diagram of base map

步驟2求解該區(qū)域的航攝影像I1內(nèi)任一點(x1,y1)(計算機圖像坐標(biāo)系)的二維地理坐標(biāo)(W,B),計算公式如式(1)所示。所有航攝影像的圖幅為c×r像素。其中,由景象匹配得到的兩個單應(yīng)性矩陣為:以M1為基準(zhǔn),將I1進行特征匹配,得到單應(yīng)性矩陣H1,H1如式(2)所示;以相鄰航攝影像I1為基準(zhǔn),將I2進行特征匹配,得到單應(yīng)性矩陣H2。

(1)

(2)

步驟3計算I2的對應(yīng)底圖M2的4個角點二維地理坐標(biāo)(w1,b1)、(w2,b1)、(w2,b2)以及(w1,b2),公式為

(3)

(4)

(5)

步驟4將M2替換M1作為新的底圖。

2.2 式(1)的證明

證明由計算機圖像坐標(biāo)系與單應(yīng)性矩陣定義可得

(6)

式中,k1為非零常數(shù);(X,Y)為計算機圖像坐標(biāo)系下的M1內(nèi)任一點坐標(biāo)。

由于底圖為數(shù)字衛(wèi)星地圖的一部分,已作地圖投影,則有如圖2所示幾何的關(guān)系,則

(7)

聯(lián)立式(6)與式(7),所以式(1)成立。

證畢

2.3 式(3)的證明

證明由計算機圖像坐標(biāo)系與單應(yīng)性矩陣定義可得

(8)

式中,k2為非零常數(shù);(x2,y2)為計算機圖像坐標(biāo)系下的I2內(nèi)任一點坐標(biāo)。

聯(lián)立式(7)與式(8),可得

(9)

式中,(w,b)為(x2,y2)的二維地理坐標(biāo)。

按圖3所示方式,在數(shù)字衛(wèi)星地圖上,提取I24個角點外接矩形作為M2,所以式(3)成立。

證畢

3 實驗驗證

3.1 實驗設(shè)置

3.1.1 實驗平臺參數(shù)

筆記本計算機配置:處理器為2.5GHz i7第4代,系統(tǒng)為64位Win10,編程環(huán)境為鏈接OpenCV 3.00的Visual Studio 2015。

3.1.2 數(shù)據(jù)集

對某地區(qū)進行實驗,技術(shù)參數(shù)如表1所示,部分無人機航片與相關(guān)谷歌數(shù)字衛(wèi)星地圖數(shù)據(jù)如圖3與表2所示。

表1 實驗影像主要技術(shù)參數(shù)

圖3 測試所用航片與谷歌數(shù)字衛(wèi)星地圖Fig.3 Aerial images and Google digital satellite mapused for evaluation

影像緯度/(°)經(jīng)度/(°)高度/m橫滾/(°)俯仰/(°)航向/(°)134.59110.132302.28-2.030.32258.34234.59110.122306.480.130.18257.02

3.1.3 實驗對象及相關(guān)參數(shù)設(shè)置

不同方法的步驟與參數(shù)對比表如表3所示。

表3 不同方法的步驟與參數(shù)

3.1.4 評估準(zhǔn)則

為了衡量算法的魯棒性與運行效率,本文主要通過定位誤差與耗時2個指標(biāo)衡量算法。

指標(biāo)1定位誤差的定義式為

(10)

式中,S為目標(biāo)的定位誤差;(xk,yk)為第k個目標(biāo)二維坐標(biāo)理論值;(Xk,Yk)為第k個目標(biāo)二維坐標(biāo)測量值。

指標(biāo)2在相同硬件平臺上,達到相同目標(biāo)時,算法的所用時間。

3.1.5 實驗過程

首先選取不同航帶的200幅航片,利用基于POS與圖像匹配的無人機目標(biāo)定位方法與TDLAPSM進行定位。然后在每幅航片中較為平均地選取10個測量點,共計2 000個地物點,以谷歌數(shù)字衛(wèi)星地圖的地理信息為理論值來計算定位誤差,同時計算平均每幅耗時。

3.2 實驗結(jié)果與分析

全部地物點定位誤差曲線如圖4所示。

圖4 定位誤差結(jié)果Fig.4 Results of positioning error

將實驗結(jié)果分析如下:

文獻[11]匹配方法的定位誤差平均值為19.28 m,最大定位誤差為41.67 m,拼接200幅時平均每幅耗時18.92 s。TDLAPSM的定位誤差平均值為12.73 m,最大定位誤差為26.49 m,拼接200幅時平均每幅耗時6.41 s。

將實驗結(jié)果分析如下:

(1) 文獻[11]所采用的SIFT的實時性與魯棒性較弱,而TDLAPSM采用了FARISFD與ROGFD,大幅提高了特征匹配的魯棒性,這直接增強了同源與異源匹配準(zhǔn)確性。

(2) 文獻[11]采用RANSAC進行模型估計實現(xiàn)拼接,而本文提出的改進的隨機抽樣一致性算法在保證RANSAC魯棒性的同時,大幅提高了執(zhí)行效率,保證了TDLAPSM模型估計環(huán)節(jié)的準(zhǔn)確性與實時性。

(3) 相對于匹配區(qū)域搜索方法,坐標(biāo)解算及底圖生成方法運算速度更快;并且減小了匹配范圍,提高了基于景象匹配的定位速度;同時避免了POS的使用,減少了對機載設(shè)備的依賴。

4 結(jié) 論

本文提出TDLAPSM,并通過理論與實驗驗證了方法的可行性與優(yōu)勢,主要得到以下結(jié)論:

(1) 坐標(biāo)解算及底圖生成方法不僅提高了基于景象匹配的定位速度,同時減少了對機載設(shè)備的依賴。

(2) RSCFDI與GMS在保證算法魯棒性的同時,提高了執(zhí)行速度。

(3) FARISFD與ROGFD,增強了特征匹配的魯棒性。

(4) 局限性:如果改進的隨機抽樣一致性算法二次跳出子循環(huán)的閾值很小,則算法魯棒性降低,如果閾值很大,則實時性降低。TDLAPSM對特征匹配的魯棒性與實時性要求較高。

(5) 推薦應(yīng)用范圍:TDLAPSM在小型無人機對目標(biāo)定位、干擾環(huán)境下無人機對目標(biāo)定位等情況,應(yīng)用前景較好。