基于圖像配準的無人飛行器視覺定位

毛明洋，韓松臣，梁斌斌,2

（1.四川大學空天科學與工程學院，成都 610065；2.四川川大智勝軟件股份有限公司，成都 610045）

0 引言

無人飛行器的定位導航中，衛(wèi)星導航一直占據(jù)主導地位。但衛(wèi)星導航的定位精度和范圍受到衛(wèi)星覆蓋精度范圍影響。當衛(wèi)星信號受到電子干擾或多路徑效應時，導航精度下降甚至可能會失效。高度依賴衛(wèi)星導航的無人飛行器定位導航面臨著挑戰(zhàn)。最近，卷積神經(jīng)網(wǎng)絡已成功應用于圖像分類和視覺位置識別領域。用于幾何匹配的卷積神經(jīng)網(wǎng)絡也被提出，使用神經(jīng)網(wǎng)絡實現(xiàn)無人飛行器視覺定位成為可能。

基于視覺的無人飛行器導航定位一直被廣泛研究。一些研究通過圖像匹配方式進行導航定位。Xue等采用一個孿生神經(jīng)網(wǎng)絡，輸入無人飛行器俯視圖和附近衛(wèi)星地圖，通過相似性判斷無人飛行器在衛(wèi)星地圖中的位置；Choi等使用無人飛行器俯視圖像和參考圖像進行分割建筑物，得到建筑物比率來進行定位，在未知位置和方向的情況下估計位置；Kim等提出了跨視角的地空圖像匹配方法，使用衛(wèi)星圖像作為先驗知識來對地面進行姿態(tài)和定位；Yang等提出了一種基于深度神經(jīng)網(wǎng)絡的回歸方法，并結合了基于3D結構的計算機視覺方法，通過單個訓練模型成功地估計了各種城市場景中的相對相機姿勢。這些方法能夠完成搜索匹配問題，但對于視覺導航來看，拓撲定位方法著重于為查詢圖像提供帶有有限且離散化位置信息的標簽，并不能提供連續(xù)且準確的位姿估計。

得益于衛(wèi)星地圖的廣泛使用且易于獲取，通過使用無人飛行器視角圖像與衛(wèi)星基準地圖進行配準，通過圖像關系映射出空間位置關系，從而獲得無人飛行器的絕對定位（經(jīng)緯度、高度、偏航角度等）成為一種新的可能。Shetty等考慮到衛(wèi)星圖與無人飛行器視角圖是不同視角拍攝，所以采用基于圖像的多視圖定位，輸入無人飛行器視角圖片與衛(wèi)星地圖，通過卷積神經(jīng)網(wǎng)絡回歸輸出無人飛行器位姿，提供了一個很好的思路。Patel等和Goforth等也做了相關研究，Patel等使用互信息圖像配準技術，Goforth等通過卷積神經(jīng)網(wǎng)絡提取特征，使用相似性最小損失方式配準圖片，都是比較成功的使用預先存在的衛(wèi)星圖像與無人飛行器實時圖像對比定位的方法例子。一些傳統(tǒng)步驟是基于特 征 點 的 傳 統(tǒng) 稀 疏 特 征（SURF、SIFT、ASIFT等）檢測提取，剔除不正確匹配，再對全局幾何變換進行穩(wěn)健估計。但這些方法的主要挑戰(zhàn)在于衛(wèi)星地圖與真實圖像之間的巨大差異：環(huán)境結構的變化，成像方式不同，衛(wèi)星圖高于地平面的結構產(chǎn)生的更大的透視效果，不同光照條件和季節(jié)變化等，都給圖像配準帶來了困難，常常匹配失敗。

Rocco等首次提出了一種用于幾何匹配的深度網(wǎng)絡體系結構，在差異較大圖像中也獲得了較好的效果，證明了深度學習在圖像配準中的優(yōu)勢。Park等在Rocco等的基礎上通過將雙向估計應用在航空影像的匹配問題上，證明了其對于處理航空影像問題的可能性。Goforth與我們的方法相似，采用幾何配準網(wǎng)絡，找到最優(yōu)的平移、旋轉、縮放來確定無人飛行器的全局位置和航向，但他沒有探討0-360°偏航角度和一定范圍的俯仰角的傾斜情況。

1 研究方法

基于前人研究，本文提出了一種基于圖像配準的無人飛行器定位方法，在室外環(huán)境中實現(xiàn)跨場景無人飛行器視覺定位導航。整體來說，該方法包括兩個步驟。首先，在基準衛(wèi)星地圖中截取初始估計位置對應衛(wèi)星圖片，通過深度學習配準網(wǎng)絡將當前無人飛行器圖像與存儲在飛行器中的基準衛(wèi)星地圖進行圖像配準，得到圖像的幾何變換關系Rt；然后通過得到的Rt以及基準地圖信息，得到當前無人飛行器的經(jīng)緯度、高度、偏航角度，并通過對無人飛行器的連續(xù)運動圖像配準實現(xiàn)無人飛行器的連續(xù)視覺定位。

1.1 配準網(wǎng)絡

通過無人飛行器底部攝像頭，在飛行過程中進行連續(xù)圖像拍攝，我們認為拍攝真實圖像與衛(wèi)星地圖成仿射變換關系。本文先通過一個網(wǎng)絡分別提取兩幅圖像的圖像特征，由于圖像成像和季節(jié)等變化導致特征存在著較多差異，對于這種情況，需要先對兩幅特征圖進行相關特征的重分布，減少不相似特征；再進行特征圖關聯(lián)，最后通過一個回歸網(wǎng)絡，回歸這兩者仿射變換參數(shù)。

具體圖像配準網(wǎng)絡由三階段組成：①分別輸入衛(wèi)星圖像和無人飛行器視角圖像，通過由卷積層組成的孿生網(wǎng)絡架構，提取特征圖F和F；②將兩幅特征圖進行特征重分配，并通過計算余弦相似度特征生成一個關聯(lián)對應特征圖C；③通過卷積網(wǎng)絡和全連接網(wǎng)絡組成幾何變換參數(shù)回歸網(wǎng)絡，直接輸出幾何模型的參數(shù)，輸出用于仿射變換的6D向量[,,t,,,t]。圖1顯示了配準網(wǎng)絡的總體結構圖。

圖1 配準網(wǎng)絡結構圖

本文使用ResNeXt101作為特征提取網(wǎng)絡提取特征，輸入圖像大小為3×256×256。為了獲得更好的特征圖，考慮提取layer2與layer3的特征圖，將layer2特征圖從512×32×32下采樣為512×16×16，與layer3同一大小，進行通道連接。這樣融合不同卷積層的特征，使網(wǎng)絡同時關注不同類型特征。

通過融合不同卷積層的特征圖得到兩個F和F。由于衛(wèi)星地圖與真實地圖存在差異，為了降低差異，關注相似特征，對F和F分別進行特征重分布，分別得到F和F特征圖。最后計算余弦相似度特征圖C：

為了減少全連接層的參數(shù)量，先使用卷積+批歸一化+ReLU激活函數(shù)，使用三個這樣的模塊逐漸降低參數(shù)量，最后接上一個全連接層，回歸仿射變換的6D向量=[,,t,,,t]，參數(shù)回歸網(wǎng)絡模塊如圖2所示。

圖2 參數(shù)回歸圖

本文使用預測值與真值的均方誤差作為網(wǎng)絡的損失函數(shù)，為網(wǎng)絡預測值，^為真值。

1.2 視覺定位

轉換參數(shù)的回歸，由于本文采用仿射變換，它有6dof以及保留直線的能力。對于航拍圖像匹配領域，它不會產(chǎn)生較大的直線失真（如道路和建筑物的邊界）。

其中=·cos，=-·sin，=·sin，=·cos，s為縮放比例，為偏航角度，t為方向平移系數(shù)，t為方向平移系數(shù)。

把無人飛行器視角圖像與衛(wèi)星地圖之間的關系看成仿射變換矩陣[,,t,,,t]，由仿射變換得到仿射變換參數(shù)，其中代表的縮放比例是在高度方向上，旋轉角度為視角圖像相對于初始位置的航片角度，t、t對應相對于基準圖像中點位置偏移長度。通過得到的仿射變換參數(shù)計算無人飛行器視角圖像相對于選取的基準衛(wèi)星地圖的物理空間4dof位置與航向角度[、、、]，再獲取基準圖像像素點256×256，對應物理長度為：

其中p，p，p，p為初始點參數(shù)，即在已知初始位置通過圖像的配準對齊得到無人飛行器在基準衛(wèi)星地圖中位置。得到配準位置，即得到無人飛行器在地圖中的絕對位置和航向角度，完成單次視覺定位。將無人飛行器此刻位置對應參考衛(wèi)星地圖位置的圖像和下一時刻無人飛行器視角圖像作為下一次配準輸入，完成無人飛行器的連續(xù)視覺定位，如圖3所示。

圖3 視覺定位圖

2 數(shù)據(jù)準備

本文建立了12組共12×2000張的無人飛行器視角圖片和12張對應飛行范圍的基準數(shù)字地圖。輸入無人飛行器視角圖片與基準衛(wèi)星地圖中對應位置截取的小衛(wèi)星地圖實現(xiàn)。本文數(shù)據(jù)來自谷歌地球中三維運動圖像和谷歌地圖二維衛(wèi)星地圖圖像制作，訓練集、驗證集、測試集的比例為6∶2∶4。同時，為了增加對于真實環(huán)境情況的效果，本文也測試了真實環(huán)境視頻，使用DJIMatrice 600 Pro多旋翼無人飛行器和一個朝下的相機以20FPS的速度提供圖像，RTKGPS系統(tǒng)和IMU的值作為真實值，和對應衛(wèi)星地圖來測試真實環(huán)境效果。

本文對視覺里程計和配準網(wǎng)絡分別進行了訓練，訓練環(huán)境為Ubuntu18.04，Python3.6，Pytorch0.4，使用GTX1080Ti作為實驗訓練平臺。網(wǎng)絡使用訓練集訓練，采用Adam優(yōu)化方法，批量大小為16，學習率=0.0001，200次迭代訓練。

在圖像配準實驗中，為了更好地評估本文的網(wǎng)絡，使用Park等的數(shù)據(jù)集進行評估。在定位測試中，一共使用4條三維虛擬路徑和1條實拍路徑進行測試。這些測試路徑包括不同城市、不同高度情況來評估視覺定位能力。虛擬路徑中包含1條長達15公里的路徑，能夠很好地評估方法在長距離導航的能力，驗證長距離飛行定位的魯棒性。在每段路程平均2 km左右的飛行航程，一張衛(wèi)星基準地圖平均只占不到40 Mb的大小，可以輕松存儲在無人飛行器上。

3 算例及分析

3.1 配準網(wǎng)絡

本文測試了配準網(wǎng)絡的同源圖像配準性能，也測試了無人飛行器視角圖像與衛(wèi)星圖像的配準性能。

使用PCK作為評價指標：

~是預測輸出點，p是對應的真值，是兩者之間的距離。在對谷歌地球數(shù)據(jù)集的實驗中，對PCK采用了τ=0.01、τ=0.03、τ=0.05這三種設置，τ越低表示評估越嚴格，PCK評估值越高效果越好。本文使用谷歌地圖數(shù)據(jù)集訓練并測試，進行定量評估測試PCK。

由表1可知，本文提出的方法在=0.01、=0.03和=0.05上均達到了很有競爭力的結果，說明本文提出的網(wǎng)絡對于圖像配準具有較好的性能。

表1 配準網(wǎng)絡PCK標準評價表

為了說明網(wǎng)絡在無人飛行器圖像與衛(wèi)星圖像之間的配準效果，在本文的數(shù)據(jù)集上訓練網(wǎng)絡并測試性能。對于無人飛行器拍攝圖像與對應衛(wèi)星地圖，本文分別對無人飛行器拍攝圖像、衛(wèi)星地圖圖像進行單獨測試，和使用無人飛行器拍攝圖像配準衛(wèi)星地圖進行測試，驗證本文網(wǎng)絡的性能，對于同源圖像與非同源圖像，本文分別測試了配準網(wǎng)絡對于兩者的性能，結果見表2。

表2 配準網(wǎng)絡不同圖片PCK評價表

由配準網(wǎng)絡不同圖片PCK評價表可知，配準網(wǎng)絡的同源圖像配準具有較高的性能，=0.05與=0.03對應值均超過了95%，其中無人飛行器與圖像衛(wèi)星地圖在=0.05與=0.03的配準效果也達到了85%，在=0.01的精度上為40.12%，這主要是由于無人飛行器視角圖像拍攝存在著傾斜角度，在仿射變換下無法進行像素級的對齊，因此存在偏差，但具有一定穩(wěn)定性。網(wǎng)絡對于同源圖像，配準方法能夠很精確地配準，而對于非同源圖像也有很強的魯棒性。

3.2 定位測試

為了驗證本文方法在視覺導航中的性能，對測試數(shù)據(jù)集做了定量測試，測試了經(jīng)度、維度和高度方向的性能，統(tǒng)一使用長度標準計量單位米作為比較；同時也測試了偏航角（取值±180°）。其中包含3條短距離測試路徑，平均長度2公里，這條路徑具有±180°的偏航角度，以及包含著±10°的俯仰角度和滾轉角度，用于驗證飛行抖動較大時的性能；1條15公里的長距離測試路徑，用于長距離飛行下方法的穩(wěn)定性；1條1公里真實飛行路徑，是真實無人飛行器拍攝路徑，用于驗證方法在真實條件下的定位性能。測試結果如表3所示。

表3的結果顯示，針對這3條短距離路徑，四個評價指標中有三個取得了最差的性能，符合我們的預期，說明飛行抖動對網(wǎng)絡性能有較大影響。但在經(jīng)緯度方向誤差均未超過10米，且偏航角度偏差不到5°的情況下，已經(jīng)能夠滿足一般通用無人飛行器飛行的定位要求。

表3 不同路徑下的視覺定位性能評價表

圖4為其中一條路徑視覺定位對比圖。在15公里長距離路徑測試中，無人飛行器正確運行完全程，驗證了網(wǎng)絡對于長時間定位的魯棒性，具有較高的絕對定位性能。網(wǎng)絡并沒有在真實路徑中進行訓練，但在測試中，我們卻得到了最好的經(jīng)緯度和高度方向上的性能，一個是真實穩(wěn)定飛行，穩(wěn)定飛行時俯仰角度和滾轉角度一般不會超過±10°，這個結果也是和長距離飛行較為接近；另一方面也說明網(wǎng)絡對于未見過的真實圖像也具有很好的定位導航效果。根據(jù)表3可以得出，本文提出的方法在不同路徑下的視覺定位均具有較好的性能，即使在長距離長時間定位也不會存在漂移，在沒有訓練過的真實環(huán)境中也能很好地進行視覺定位。

圖4 視覺定位對比圖

4 結語

如今多數(shù)無人飛行器飛行定位高度依賴于衛(wèi)星導航，當衛(wèi)星導航出現(xiàn)故障或被干擾，可能會導致導航失敗。本文提出了一種基于圖像配準的無人飛行器定位方法，借助衛(wèi)星地圖來估計無人飛行器的位置和姿態(tài)，在出現(xiàn)噪聲或不可靠的衛(wèi)星導航系統(tǒng)信號時，幫助無人飛行器進行定位導航。

（1）基于視覺定位方法，不依賴外部信號，使用單目普通攝像頭，在衛(wèi)星導航出現(xiàn)故障時可以獲取無人飛行器定位信息。

（2）采用衛(wèi)星地圖作為基準地圖，相比于通過與已有圖像進行匹配導航，只需要獲取一定區(qū)域的衛(wèi)星圖像，衛(wèi)星地圖獲取方便，對無人飛行器飛行進行定位導航，更具有普遍性和現(xiàn)實意義。

（3）本方法在0～360°偏航角度和一定范圍的俯仰角的傾斜情況下也能夠穩(wěn)定定位。對于長距離飛行沒有累計誤差，并在真實環(huán)境中具有良好的定位性能。