基于深度特征正射匹配的無人機視覺定位方法

尚克軍，趙 亮，張偉建，明 麗，劉崇亮

（1.北京自動化控制設(shè)備研究所，北京 100074；2.北京理工大學(xué) 自動化學(xué)院，北京 100081）

匹配導(dǎo)航定位指采用機載傳感器采集的實時數(shù)據(jù)與預(yù)存儲的地圖進(jìn)行匹配，得到飛行器位置的一種導(dǎo)航方式[1]。在衛(wèi)星拒止條件下，基于商業(yè)衛(wèi)星地圖的匹配導(dǎo)航技術(shù)不存在累積誤差、自主性強，逐漸成為無人機導(dǎo)航領(lǐng)域研究熱點[2]。

圖像匹配導(dǎo)航技術(shù)的關(guān)鍵在于圖像匹配，圖像的特征提取與匹配直接決定著系統(tǒng)的導(dǎo)航精度。傳統(tǒng)的特征提取與匹配方法受光照、季節(jié)、載荷姿態(tài)的影響[3]，特別是在大視角和多尺度變化的情況下挑戰(zhàn)更大[4,5]，導(dǎo)致提取的特征判別性和唯一性較差。針對上述挑戰(zhàn)，國內(nèi)外研究學(xué)者做了大量工作，文獻(xiàn)[6]提出一種歸一化互相關(guān)（Normalized Cross Correlation,NCC）技術(shù)估計無人機的絕對位置，利用圖像相似區(qū)域的相關(guān)程度進(jìn)行匹配導(dǎo)航，但是該算法對噪聲敏感，且在弱紋理區(qū)域容易產(chǎn)生誤匹配。文獻(xiàn)[7]使用互信息（Mutual Information,MI）的稠密特征技術(shù)進(jìn)行圖像配準(zhǔn)，并在低空完成了試驗驗證。文獻(xiàn)[8]提出使用方向梯度直方圖（Histogram of Oriented Gradient,HOG）特征來完成圖像配準(zhǔn)，再基于粒子濾波從粗到精地確定無人機地理坐標(biāo)。這些傳統(tǒng)方法在航拍圖像正射后取得了一些進(jìn)展，但對正射的姿態(tài)和高度信息要求高、且多場景的適應(yīng)性和魯棒性方面還存在明顯的不足。

隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)網(wǎng)絡(luò)的圖像特征提取與匹配方法具有強大的潛力。在眾多網(wǎng)絡(luò)中，SuperPoint[9]是一種自監(jiān)督訓(xùn)練的特征提取網(wǎng)絡(luò)，無需手工標(biāo)注，且提取的關(guān)鍵點在圖像中分布均勻、抗干擾性強、重復(fù)性高、對應(yīng)的描述子魯棒性強、可適應(yīng)光照的顯著變化和一定范圍內(nèi)的視角變化；SuperGlue[10]是一種基于注意力機制的圖神經(jīng)網(wǎng)絡(luò)，將圖像中特征的拓?fù)浣Y(jié)構(gòu)關(guān)系編碼為圖結(jié)構(gòu)，可顯著提高特征匹配的魯棒性和可靠性。SuperPoint+SuperGlue二者結(jié)合的網(wǎng)絡(luò)雖然無法直接用于匹配導(dǎo)航，但為無人機視覺定位提供了一種有效的解決途徑。

基于此，本文提出了一種基于深度特征正射匹配的無人機視覺定位方法。該方法利用低精度的慣性航向角信息對航拍圖像進(jìn)行粗正射（航向誤差角最大允許30 °），將粗正射后的圖像和商業(yè)地圖分別輸入SuperPoint 網(wǎng)絡(luò)提取相應(yīng)的特征點，然后通過SuperGlue 網(wǎng)絡(luò)對特征點進(jìn)行匹配，獲取高置信度的同名特征點，采用RANSAC 進(jìn)行野值剔除后計算單應(yīng)矩陣，進(jìn)而獲得圖像載荷與地面交點的經(jīng)緯度。最后通過空間位置反算完成無人機的視覺定位。本文方法可有效提高視角、尺度變化劇烈下的圖像匹配精度，實現(xiàn)低精度慣導(dǎo)約束下的中空無人機高精度視覺導(dǎo)航定位，具有一定的工程應(yīng)用價值。

1 定位原理及算法方案

本文方法通過圖像預(yù)處理、深度特征提取及匹配、無人機定位解算三部分獲得無人機高精度的視覺定位信息。算法定位原理及總體流程如圖1 所示。

圖1 算法框架Fig.1 Algorithm framework

圖像預(yù)處理：由于無人機姿態(tài)和高度劇烈變化導(dǎo)致航拍圖像與商業(yè)地圖間視角和尺度差異顯著，為提高匹配成功率和實時性，利用低精度的慣性航向角信息對航拍圖像進(jìn)行粗正射，降低航拍圖像與商業(yè)地圖間視角和尺度差異；同時基于商業(yè)地圖不同投影方式對圖像匹配導(dǎo)航的影響，選擇經(jīng)緯度投影方式對商業(yè)地圖完成預(yù)處理。

深度特征提取及匹配：通過SP+SG 網(wǎng)絡(luò)不僅能夠提取圖像中的邊緣、顏色、梯度等像素級特征，且可提取圖像中深度特征及其相互關(guān)系，具有對圖像一定范圍的視角和尺度變化不敏感的特性，因此將粗正射后的圖像和商業(yè)地圖分別輸入SP+SG 網(wǎng)絡(luò)進(jìn)行特征提取與匹配，獲取特征匹配關(guān)系，采用RANSAC 進(jìn)行野值剔除后計算單應(yīng)矩陣。

無人機定位解算：基于深度特征獲取的單應(yīng)矩陣將主點像素坐標(biāo)轉(zhuǎn)換為定位坐標(biāo)，完成匹配位置解算，再根據(jù)空間位置反算方法將定位坐標(biāo)轉(zhuǎn)換為無人機的導(dǎo)航坐標(biāo)。

通過航拍圖像和商業(yè)地圖的匹配可實現(xiàn)無人機視覺定位，影響匹配導(dǎo)航效果和精度的兩個關(guān)鍵因素是視角和尺度差異。本文方法通過航向粗正射預(yù)處理航拍圖像和商業(yè)地圖間的視覺差異，基于無人機氣壓高和相機焦距統(tǒng)一航拍圖像和商業(yè)地圖的尺度差異。

2 深度特征提取及匹配

深度特征提取和匹配算法框架如圖2 所示。無人機通過安裝在腹部的相機拍攝地理圖像，然后采用粗正射校正方法將航拍圖像轉(zhuǎn)換為正射圖，商業(yè)地圖通過存儲介質(zhì)預(yù)先存儲到無人機上。在執(zhí)行任務(wù)過程中，航拍正射圖與商業(yè)地圖庫中的圖像共同作為網(wǎng)絡(luò)的輸入，通過SuperPoint 網(wǎng)絡(luò)完成對圖像的關(guān)鍵點和描述子解碼，解碼的特征向量包含關(guān)鍵點、置信度以及描述子，根據(jù)余弦距離對商業(yè)地圖生成的特征向量進(jìn)行重排序，將TOP1 的商業(yè)地圖特征向量與航拍圖像特征向量一同作為SuperGlue 網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)對特征向量進(jìn)行位置編碼并生成對應(yīng)的圖結(jié)構(gòu)，通過自注意力機制和互注意力機制讓網(wǎng)絡(luò)迭代學(xué)習(xí)拓?fù)浣Y(jié)構(gòu)，給出較魯棒的匹配關(guān)系。

圖2 特征提取及匹配算法框架Fig.2 Feature extraction and matching algorithm framework

2.1 特征提取網(wǎng)絡(luò)

航拍圖像和商業(yè)地圖實現(xiàn)匹配的關(guān)鍵特征之一是顯著特征。網(wǎng)絡(luò)應(yīng)更加關(guān)注圖像中的角點、邊緣、梯度等顯著變化的結(jié)構(gòu)特征，而非緩慢變化的表面紋理特征。SuperPoint 網(wǎng)絡(luò)專注于提取圖像中的角點特征，且采用單應(yīng)自適應(yīng)的策略提高特征描述子的旋轉(zhuǎn)不變性和尺度不變性。

SuperPoint 網(wǎng)絡(luò)由三個模塊組成：特征編碼模塊、特征點提取模塊、描述子解碼模塊。該網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖3 所示：

圖3 SuperPoint 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 SuperPoint network architecture

2.2 特征匹配網(wǎng)絡(luò)

航拍圖像和商業(yè)地圖中利于匹配的另一個關(guān)鍵特征是拓?fù)浣Y(jié)構(gòu)，特征間的分布和相對關(guān)系可促進(jìn)特征匹配的準(zhǔn)確性。針對匹配導(dǎo)航任務(wù)，除了依賴提取的顯著特征外，還可利用顯著特征間的拓?fù)浣Y(jié)構(gòu)提高匹配正確率和匹配效果。SuperGlue 網(wǎng)絡(luò)通過注意力機制迭代學(xué)習(xí)特征間的拓?fù)浣Y(jié)構(gòu)關(guān)系，給出較魯棒的特征匹配結(jié)果。

SuperGlue 網(wǎng)絡(luò)框架分為注意力圖神經(jīng)網(wǎng)絡(luò)模塊和最優(yōu)匹配模塊。網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 SuperGlue 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 SuperGlue network architecture

3 無人機定位解算模型

3.1 匹配位置解算

基于航拍正射圖像與TOP1 商業(yè)地圖的匹配關(guān)系通過RANSAC 算法計算得出兩幅圖像間的單應(yīng)矩陣通過式(1)計算航拍圖像主點在商業(yè)地圖上的映射坐標(biāo)ps：

由于已知商業(yè)地圖左上角的經(jīng)緯度坐標(biāo)(Lon0,Lat0)和右下角的經(jīng)緯度坐標(biāo) (Lon1,Lat1)，通過式(2)計算得到航拍圖像主點對應(yīng)的導(dǎo)航坐標(biāo)（導(dǎo)航坐標(biāo)系是n系，定義為“東北天”坐標(biāo)系，符合右手定則）：

其中，ws和hs是商業(yè)地圖的寬和高，hA是無人機航拍圖像拍攝時刻的氣壓高。

3.2 空間位置反算

匹配位置解算可以確定航拍圖像主點在商業(yè)地圖上對應(yīng)的導(dǎo)航坐標(biāo)，在理想正下視的情況下，該坐標(biāo)與無人機當(dāng)前時刻的導(dǎo)航坐標(biāo)一致。但是由于無人機姿態(tài)和高度變化，所得到的航拍圖像主點的導(dǎo)航坐標(biāo)并非無人機導(dǎo)航坐標(biāo)，需通過空間位置反算獲得無人機的導(dǎo)航坐標(biāo)，空間位置反算示意圖如圖5 所示。

圖5 空間位置反算示意圖Fig.5 Spatial position inverse calculation diagram

載體坐標(biāo)系(b系)定義為“前上右”坐標(biāo)系，符合右手定則；攝像機坐標(biāo)系定義為“東南地”坐標(biāo)系，符合右手定則。通過式(3)計算導(dǎo)航坐標(biāo)系n系下變化量

通過式(4)計算A1點在導(dǎo)航坐標(biāo)系中的坐標(biāo)：

其中，RM、RN為地球子午圈、卯酉圈的曲率半徑，為A2點處的經(jīng)度，為A2點處的緯度。

綜上，可得出無人機質(zhì)心A點處的導(dǎo)航坐標(biāo)。

4 實驗驗證與分析

4.1 數(shù)據(jù)集制作

本文通過某型號固定翼無人機采集多種地理場景（包括丘陵、城市、山地、平原）下的飛行數(shù)據(jù)，將其梳理并制作成一個中空無人機真實飛行的數(shù)據(jù)集，命名為UAV-Dataset，該數(shù)據(jù)集包含119,388 對航拍圖像和商業(yè)地圖以及真值標(biāo)簽（航拍圖像與商業(yè)地圖對應(yīng)關(guān)系[11]、航拍圖像主點在商業(yè)地圖上的像素坐標(biāo)和無人機各時刻的狀態(tài)參數(shù)），使用差分衛(wèi)星接收機和慣導(dǎo)的組合導(dǎo)航結(jié)果作為無人機的定位基準(zhǔn)，下視紅外相機用于采集圖像，相機焦距為10 mm，像元尺寸為12 μm，慣導(dǎo)是高精度的激光慣導(dǎo)。表1 是UAV-Dataset數(shù)據(jù)組成的簡要說明：

表1 UAV-Dataset 數(shù)據(jù)集組成Tab.1 Composition of the UAV-Dataset

數(shù)據(jù)集中含有多種地理場景下的中空無人機航拍圖像，可全面測試匹配算法的泛化性能和魯棒性；且航拍圖像拍攝時的飛行高度從1000 m～7000 m 不等，涵蓋了中空無人機的絕大多數(shù)飛行高度，利于從尺度層面測試匹配算法提取特征的尺度不變性；無人機在采集圖像過程中，姿態(tài)角在時刻變化，其中航向角變化尤為劇烈，可測試匹配算法提取特征的旋轉(zhuǎn)不變性。

不同地理場景下中空無人機航拍圖像如圖6 所示。

圖6 不同地理場景航拍圖像Fig.6 Aerial images of different geographic scenes

4.2 正射校正對視覺定位的影響

航拍圖像和商業(yè)地圖之間的視角差異過大，如果不對航拍圖像進(jìn)行航向角粗正射校正，則會極大程度降低匹配精度和TOP1 正確率。正射校正過程中主要有四個參數(shù)：航向角、俯仰角、橫滾角、相機焦距。其中，相機焦距誤差會作用在尺度誤差上，后續(xù)章節(jié)會分析尺度誤差，因此這里不分析焦距誤差對視覺定位的影響。以序號3 的數(shù)據(jù)為例，其中特征點置信度閾值設(shè)為0.2、匹配閾值設(shè)為0.8、尺度默認(rèn)是理想值，實驗研究不同姿態(tài)角誤差對視覺定位的影響如表2 所示。

表2 姿態(tài)角參數(shù)對視覺定位的影響Tab.2 Influence of attitude angle parameters on visual localization

其中，第一組實驗為對照組，實驗組1、2、3 分別在正射時不使用俯仰角、橫滾角和航向角；實驗組4和實驗組5 正射時三個參數(shù)均使用，但航向角分別存在標(biāo)準(zhǔn)差為10 °和30 °的噪聲。從表2 中分析得出：不使用航向角進(jìn)行正射時對TOP1 正確率影響最大，但是航向角誤差對TOP1 影響較小、對東向、北向位置均方根誤差（RMSE）基本沒有影響，說明可降低對慣導(dǎo)等提供航向角儀表的精度要求。

4.3 尺度誤差對視覺定位的影響

由于中空無人機的高度時刻變化，導(dǎo)致正射圖尺度與商業(yè)地圖相差較大，商業(yè)地圖的尺度在獲取時即可確定，正射圖的尺度系數(shù)定義如下：

其中，d為像元尺寸，f為相機焦距，h為無人機相對于地面的相對高度，scale表示正射圖預(yù)設(shè)尺度，單位為m/pixel。

為了定性分析尺度對視覺定位的影響程度，基于序號1 的數(shù)據(jù)進(jìn)行尺度誤差分析試驗，假設(shè)正射過程不存在誤差，初始條件：基準(zhǔn)圖尺度為4 m/pixel，特征點置信度閾值為0.2，匹配閾值為0.8，正射圖尺度誤差對視覺定位的影響如表3 所示。

表3 尺度對視覺定位的影響Tab.3 Influence of scale on visual localization

分析表3 可知：當(dāng)正射圖的尺度與商業(yè)地圖尺度相差小于2 倍時，TOP1 正確率小幅降低，匹配精度基本不受影響，說明本文方法具有良好的尺度不變性。

4.4 對比測試分析

為驗證本文方法的有效性，與傳統(tǒng)基于HOG 特征的模板匹配算法進(jìn)行對比測試。圖7 是本文方法得到的匹配結(jié)果，其中左邊大圖為中空無人機航拍圖像，右邊小圖為商業(yè)地圖。

圖7 本文方法匹配導(dǎo)航示意圖Fig.7 Illustration of navigation matching using the proposed method

基于自制的中空無人機真實飛行數(shù)據(jù)集UAV-Dataset，從RMSE 定位誤差和穩(wěn)定定位匹配率（Located Match Rate,LMR）兩個角度出發(fā)對比分析二者效果。野點閾值設(shè)置為80 m，本文方法和傳統(tǒng)基于HOG 特征的模板匹配方法的誤差對比結(jié)果如表4所示。

表4 HOG 模板匹配與本文方法對比Tab.4 Comparison between template matching of HOG and the method in this article

從對比結(jié)果來看，在1000 m～5000 m 高度范圍內(nèi)，HOG 方法的RMSE 約為20 m+0.5%H，LMR 低于65%；本文方法的RMSE 優(yōu)于15 m+0.5%H，LMR 在92%以上。本文方法的定位精度和LMR 均優(yōu)于HOG 方法，分別提高了25%和40%。

LMR 定義如下：

其中，n為定位距離小于某一閾值的定位點個數(shù)，dis為定位誤差（單位m），thresh為定位距離野點閾值（單位m），NLocated為匹配成功總數(shù)。

基于序號3 數(shù)據(jù)，本文方法與基于HOG 特征的模板匹配方法的位置誤差對比結(jié)果如圖8 和圖9 所示。

圖8 北向位置誤差對比Fig.8 Comparison of north position error

圖9 東向位置誤差對比Fig.9 Comparison of east position error

基于序號3 數(shù)據(jù)，本文方法與基于HOG 特征的模板匹配方法、GNSS 的二維軌跡對比如圖10 所示。

圖10 二維軌跡對比圖Fig.10 2D Trajectory comparison

相比HOG 模板匹配方法，本文提出方法的二維軌跡曲線與GNSS 軌跡曲線高度吻合。

5 結(jié)論

本文針對衛(wèi)星拒止條件下無人機視覺定位存在大視角、多尺度、定位精度差等問題，提出了一種基于深度特征正射匹配的無人機視覺定位方法。主要貢獻(xiàn)如下：提出了一種結(jié)合SuperPoint+SuperGlue 網(wǎng)絡(luò)的正射匹配導(dǎo)航算法，并分析了航拍圖像的不同預(yù)處理方法對TOP1 正確率和無人機視覺定位誤差的影響；采集并整理了中空無人機在多種地理場景（城市、丘陵、山地、平原等）下真實航拍數(shù)據(jù)和對應(yīng)的商業(yè)地圖數(shù)據(jù)，采用自動標(biāo)注的方式計算航拍圖像在商業(yè)地圖上的像素坐標(biāo)，將其制作為數(shù)據(jù)集，命名為UAV-Dataset；與傳統(tǒng)基于HOG 特征的模板匹配方法進(jìn)行對比測試，本文方法的定位誤差優(yōu)于15 m+0.5%H（5000 m 以下），穩(wěn)定定位匹配率優(yōu)于92%，驗證了本文方法的有效性。