ORB-SLAM3車載雙目視覺自主導航性能評估

熊 超，烏 萌，劉宗毅，高 力，郭 浩

ORB-SLAM3車載雙目視覺自主導航性能評估

熊 超，烏 萌，劉宗毅，高 力，郭 浩

（地理信息工程國家重點實驗室/西安測繪研究所，西安 710054）

針對全球衛星導航系統（GNSS）用于車載導航在復雜環境下定位精度較低、低成本和慣導漂移明顯等問題，論述了基于旋轉不變特征點的同時定位與地圖構建第3代（ORB-SLAM3）系統的整體架構和其創新點，并評估了其采用不同的運動軌跡、不同運動狀態的車載數據的性能，重點分析ORB-SLAM3整體的位姿精度、ORB-SLAM3和基于旋轉不變特征點的同時定位與地圖構建第2代（ORB-SLAM2）系統車載雙目視覺算法對比和ORB-SLAM3車載雙目視覺跟蹤耗時。實驗結果表明：ORB-SLAM3整體的定位精度優于1.42 m，姿態精度優于3.2×10-3(°)/m，ORB-SLAM3整體的位姿精度與ORB-SLAM2的整體位姿精度相當，ORB-SLAM3跟蹤耗時比ORB-SLAM2少約12 ms。

雙目視覺；自主導航；性能評估；車載；跟蹤時間

0 引言

視覺同時定位與地圖構建（simultaneous location and mapping，SLAM）技術是基于多視圖幾何理論，主要通過視覺傳感器的方式，根據視覺傳感器獲取的圖像幀之間像素的匹配關系求解相機的實時位姿并且同時構建周圍環境地圖的技術。視覺SLAM系統可以完成定位的同時并創建環境地圖。

2007年，文獻[1]提出具有里程碑意義的并行跟蹤與地圖構建系統（parallel tracking and mapping，PTAM）。PTAM系統是第一個使用非線性優化的SLAM系統，使用了2個線程，分別為實時匹配跟蹤特征點的相機跟蹤線程和維護序列圖像中選取的稀疏關鍵幀和基于關鍵幀的3維點的地圖構建線程。2015年，文獻[2]在PTAM的基礎上提出了基于旋轉不變特征點的同時定位與地圖構建（oriented fast and rotated brief simultaneous localization and mapping，ORB-SLAM）算法并開源了系統的源代碼。ORB-SLAM在整體架構上繼承了PTAM系統的多線程思想，同時對PTAM系統初始化時需要進行手動操作的缺陷進行了重點改進，并在此基礎上擴展了ORB-SLAM在多種應用環境下的適應性。ORB-SLAM系統在PTAM系統的基礎上增加了一個回環檢測的線程。ORB-SLAM包含了跟蹤、建圖、閉環檢測3個線程，將改進后的基于旋轉不變特征點（oriented fast and rotated brief，ORB）特征法應用貫穿于整個系統，包括特征檢測、匹配以及閉環檢測等過程。2017年，文獻[3]推出了基于旋轉不變特征點的同時定位與地圖構建第2代（oriented fast and rotated brief simultaneous localization and mapping 2，ORB-SLAM2）系統。ORB-SLAM2是基于單目、雙目和紅綠藍深度（red，green，blue and depth，RGB-D）相機的一個完整的SLAM系統，廣泛應用于無人車、無人機及室內外機器人等設備。2020年，文獻[4]在ORB-SLAM2的基礎上推出了基于旋轉不變特征點的同時定位與地圖構建第3代（oriented fast and rotated brief simultaneous localization and mapping 3，ORB-SLAM3）系統。ORB-SLAM3除了可以用于單目、雙目和RGB-D相機外，還可以用于魚眼相機，并增加了視覺慣導系統（visual-inertial odometry，VIO）和文獻[5]提出的地圖集（Atlas）多地圖SLAM的系統。

文獻[2-3]關于ORB-SLAM和ORB-SLAM2的論文中均對車載視覺自主導航性能進行了測試。2018年，文獻[6]對ORB-SLAM2車載雙目視覺的自主導航性能進行了評估，其實驗結果表明：持續的動態物體會對ORB-SLAM2整體的導航精度有所影響；無回環探測時，位置誤差隨行駛距離呈現明顯的1%線性發散，成功的回環檢測能夠有效抑制位置姿態誤差的發散并提高其精度，定位精度保持在2 m左右。而ORB-SLAM3的論文中作者未給出其車載視覺自主導航性能的測試結果，因此本文著重對其車載視覺自主導航性能進行評估。

本文首先介紹了ORB-SLAM3相對于ORB-SLAM2、ORB-SLAM算法改進的部分及其創新點，并對ORB-SLAM3車載單雙目視覺的自主導航性能進行了評估，然后在公開的數據集上進行實驗驗證。重點分析ORB-SLAM3整體的位姿精度、ORB-SLAM3和ORB-SLAM2車載雙目視覺算法對比和ORB-SLAM3車載雙目視覺跟蹤耗時。

1 ORB-SLAM3系統整體架構和創新點

1.1 ORB-SLAM3系統整體架構

ORB-SLAM3系統包含3個并行處理的線程，分別是特征跟蹤、局部建圖和回環檢測與地圖融合。其系統的整體架構如圖1所示。圖1中：IMU（inertial measurement unit）為慣性測量單元；

圖1 ORB-SLAM3算法整體架構

BA（bundle adjustment）為光束法平差；Sim（3）指的是利用3對匹配點進行相似變換求解的矩陣向量，可以獲得2個坐標系之間的旋轉矩陣、平移向量和尺度；SE（3）指的是由變換矩陣構成的特殊歐式群；Atlas指的是地圖集；由文獻[7-8]提出的分布式詞袋模型（distributed bags of words 2, DBoW2）指的是一種高效的回環檢測算法，包含具有正序和逆序指向索引圖片的圖像數據庫，可實現快速查詢和進行特征比較。從圖1及對比文獻[2-3]中的框架圖可以看出，ORB-SLAM3系統的整體架構與ORB-SLAM2相比主要是在單目、雙目、RGB-D的基礎上增加了IMU，引入了視覺慣性和Atlas多地圖模式以及地圖融合等功能。而ORB-SLAM2整體架構還是基于ORB-SLAM的結構，區別在于跟蹤進程中多了預處理模塊，以及最后有一個全局光束法平差模塊，可以提高建圖的精度，其余的流程沒有變化。因此ORB-SLAM3整體架構是在ORB-SLAM和ORB-SLAM2基礎上不斷繼承和優化的。

1.2 ORB-SLAM3的創新點

ORB-SLAM3的創新點主要有：ORB-SLAM只能針對單目相機數據進行處理；ORB-SLAM2增加了對于雙目和RGB-D相機的處理，在回環檢測模塊增加了文獻[9]提出的全局光束法平差方法的處理；ORB-SLAM3則增加了對于IMU融合的支持，兼容魚眼相機模型，并且增加了Altas多地圖的支持；同時，回環檢測為了支持多地圖的模式，提供了一種叫融合（welding） BA的優化方式。ORB-SLAM3是可以解決純視覺和視覺慣導融合的完整的混合地圖的SLAM系統，Atlas代表的是地圖的集合，可以把其中的地圖應用到所有的建圖過程中，如場景重識別、相機重定位、閉環檢測和精確的地圖融合，即該系統為增量的SLAM系統。

ORB-SLAM3提供了Altas多地圖的存儲和拼接功能，在視覺跟蹤丟失后可以嘗試將現有地圖和歷史地圖進行匹配和融合，并及時更新當前的活躍地圖。ORB-SLAM3系統在重定位模塊上做了一些改進。其主要改進是，當當前關鍵幀與數據庫中的關鍵幀可以匹配后，檢測與當前關鍵幀具有共視關系的其他關鍵幀是否也可以進行匹配上：如果可以匹配上那么可以認為是重定位成功；如果匹配不上，則繼續使用接下來的關鍵幀進行檢測與判定。重定位模塊可以構建混合的地圖，可以讓ORB-SLAM3系統長期穩定地運行在特征點較少的場景中。當ORB-SLAM3系統的實時位姿估計失敗或者跟蹤丟失的時候，ORB-SLAM3系統會重新構建新的地圖，同時與原來構建的地圖進行對齊。如果是原有的DBoW2，需要匹配3個連續的關鍵幀，而ORB-SLAM3對候選的關鍵幀首先進行幾何一致性檢測，然后利用3個共視的關鍵幀進行局部的一致性檢驗。這種策略提升了召回率，并增強了數據關聯，提高了地圖準確性，也提高了實時位姿估計的魯棒性。ORB-SLAM3系統可以在所有的算法運行階段重用所有的之前狀態信息的SLAM系統。系統可以在光束法平差的時候使用與當前關鍵幀具有共視關系的其他關鍵幀，即使2個關鍵幀在時間上相差很遠，或者來自之前構建的地圖，也依然有效。這些關鍵技術的處理使得定位精度有了很大提升。但是這是以顯著提高計算成本作為代價的，所以導致ORB-SLAM3系統在內存不足的情況下無法運行。因此考慮ORB-SLAM3系統的實際應用過程時，需要考慮算法的計算成本和計算耗時。

ORB-SLAM3是第一個可以對短期、中期、長期數據進行數據關聯的視覺慣導系統，在已知地圖的環境中可以無漂移誤差地運行，其中混合地圖數據關聯可以保證我們進行地圖匹配和進行光束法平差優化。這樣可以構建一幅地圖，然后可以在地圖中進行精確的定位。短期的數據關聯指的是，在最近的幾幀圖像匹配地圖元素，丟棄時間過于久遠的幀，這樣會減少累計的漂移誤差。中期的數據關聯指的是，跟蹤匹配相機累積誤差較小的地圖，這也可以用在光束法平差中，當系統在已經建好的地圖中運行的時候可以達到零漂移。長期的數據關聯指的是，利用場景重識別來匹配當前的觀測和先前的觀測，不用管累計的漂移誤差，而且即使跟蹤失效也可以實現長期的匹配。長期的匹配可以使用位姿圖優化重新設置漂移的誤差。這是在大場景中精度保證的關鍵。

2 自主導航性能評估指標

通常可以從定位精度、算法的復雜度、計算耗時和計算成本等多個角度來對SLAM算法進行評估和評價。一般來說，定位精度的評價是最受關注的，同時我們也要考慮算法實際運行時的耗時。因此本文設計的車載雙目視覺的自主導航性能評估指標主要有4個，分別是絕對軌跡誤差、相對位姿誤差、相對姿態誤差以及視覺導航跟蹤耗時。

2.1 絕對軌跡誤差

2.2 相對位姿誤差

但這樣的計算復雜度非常高，計算起來很耗時間。因此在參考文獻[10]中，德國慕尼黑工業大學（Die）數據集在給定的評估工具中，通過計算固定數量的RPE樣本計算一個估計值作為最終結果。

需要注意的是，文獻[11]提出RPE和ATE在實際使用過程中需要結合實際，選擇合適的指標進行算法評價。

2.3 相對姿態誤差

2.4 視覺導航跟蹤耗時

位姿估計精度直接影響最終的定位和建圖結果，計算消耗的時間也將影響到自主導航的實時性。本文采取視覺導航跟蹤耗時來統計自主導航計算耗時，分別以跟蹤耗時中值和跟蹤耗時均值進行統計。

3 實驗及結果分析

為了全面準確地對ORB-SLAM3系統的車載雙目視覺進行自主導航的性能評估，本文采用不同的運動軌跡、不同運動狀態的車載雙目視覺數據對ORB-SLAM3系統的整體實時位姿估計的性能及其與ORB-SLAM2的整體實時位姿估計的性能相比較，并和ORB-SLAM3的視覺導航跟蹤耗時等方面分別進行實驗和分析。

3.1 數據準備

實驗數據為KITTI標準數據集。KITTI數據集是由德國卡爾斯魯厄理工學院（Karlsruhe Institute of Technology, KIT）和豐田工業大學芝加哥分校（Toyota Technological Institute at Chicago, TTIC）聯合創辦，利用組裝的設備齊全的采集車輛對實際交通場景進行數據采集獲得的公開數據集。本文實驗數據選取文獻[12]中推出的KITTI里程計（odometry）數據集，該數據集包含Flea2 Firewire相機采集的高質量立體圖像序列及OXTS RT 3000 IMU/全球定位系統（global positioning system, GPS）測量系統采集的地理數據（作為真值，IMU/GPS標稱平面精度優于0.05 m），這里選取00—10序列數據進行實驗，分別記為KITTI00—KITTI10。實驗數據集參數設置詳見表1。

表1 實驗數據集參數設置

3.2 結果及分析

本文選取KITTI odometry數據集序列00—10進行實驗性能測試。本文的實驗平臺為聯想臺式機電腦（中央處理器(CPU)酷睿i9-9900K，3.60 GHz 8核，內存32 GB），本文所有實驗平臺均在烏班圖(Ubuntu)20.04系統和開源計算機視覺庫（open source computer vision library, OpenCV）4.2.0等環境中實現。

3.2.1 ORB-SALM3車載雙目視覺整體位姿精度分析

以IMU/GPS的組合定位結果作為軌跡的真值，解算實時估計的軌跡與軌跡的真值的偏差值大小，解算的偏差值結果由不同的顏色條表示。KITTI00—KITTI10共11張圖的ORB-SLAM3與真實軌跡的誤差如圖2所示，顏色越深代表誤差越大。KITTI數據集序列00—10序列中00、02、05、08包含多回環，06、07、09包含單回環，01、03、04、10無回環。

由圖2可知，所有軌跡均與真值軌跡的重合度較高，大轉彎處的軌跡誤差相比其他時段軌跡誤差大，說明純視覺自主導航對于大轉彎造成的運動過快的情況還需要進行優化，提升精度。同時00、02、05、08序列中多回環處的軌跡誤差較小，這是因為經過回環檢測可修正由誤差累積所導致的尺度漂移問題。

3.2.2 ORB-SLAM3和ORB-SLAM2算法對比及分析

對KITTI00—KITTI10序列分別進行ORB-SLAM3和ORB-SLAM2車載雙目視覺的自主導航性能評估，限于篇幅，這里僅給出00序列的ORB-SLAM3和ORB-SLAM2的估計軌跡與真實軌跡的誤差，實驗結果如圖3所示。其中圖3（a）為ORB-SLAM3和ORB-SLAM2的估計軌跡與真實軌跡的整體軌跡，圖3（b）為ORB-SLAM3和ORB-SLAM2的估計軌跡與真實軌跡的位置誤差，圖3（c）為ORB-SLAM3和ORB-SLAM2的估計軌跡與真實軌跡的姿態誤差。同時分別統計了ORB-SLAM3和ORB-SLAM2車載雙目視覺的自主導航整體精度數值，詳見表2。

圖3 KITTI00序列的ORB-SLAM3和ORB-SLAM2的估計軌跡與真實軌跡的整體軌跡、位置誤差和姿態誤差

表2 基于KITTI數據集的測試整體精度對比

從圖3和表2中可以看出ORB-SLAM3車載雙目視覺整體定位精度優于1.42%，即行駛100 m偏離真值1.42 m，角度誤差優于3.2×10-3(°)/m。ORB-SLAM3自主導航整體的位姿精度與ORB-SLAM2的整體位姿精度相當。

3.2.3 ORB-SLAM3和ORB-SLAM2車載雙目視覺跟蹤耗時分析

視覺導航算法的跟蹤耗時和算法的實際使用密切相關。對KITTI odometry數據集序列00—10分別進行ORB-SLAM3和ORB-SLAM2車載雙目視覺跟蹤耗時分析，并分別以跟蹤耗時中值和跟蹤耗時均值分別進行統計，實驗結果的耗時統計如圖4所示，詳細數值見表3。從圖4和表3中可以看出，ORB-SLAM3跟蹤耗時中值約為30.07 ms，ORB-SLAM3跟蹤耗時均值約為30.76 ms，ORB-SLAM2跟蹤耗時中值約為42.24 ms，ORB-SLAM2跟蹤耗時均值約為43.40 ms，ORB-SLAM3跟蹤耗時比ORB-SLAM2少約12 ms左右，ORB-SLAM3跟蹤耗時性能更優。

圖4 基于KITTI odometry數據集的測試耗時統計

表3 基于KITTIodometry數據集的測試耗時分析 ms

4 結束語

本文對ORB-SLAM3車載單雙目視覺的自主導航性能進行了評估，并在公開的KITTI odometry標準數據集上進行實驗驗證。重點分析了ORB-SLAM3整體的位姿精度、ORB-SLAM3和ORB-SLAM2車載雙目視覺算法對比和ORB-SLAM3車載雙目視覺跟蹤耗時。從實驗結果來看，純視覺自主導航對于大轉彎造成的運動過快的情況還需要進行優化提升精度。可考慮和IMU傳感器進行融合處理，利用IMU輸出頻率高和能輸出6個自由度（6 degrees of freedom，6DoF）的測量信息等優點對視覺和IMU得到的位姿結果進行融合，以得到更加魯棒的輸出結果，實現在復雜環境下可長期穩定運行的、具有低成本的、可高精度定位的車載雙目視覺和IMU融合的自主導航SLAM系統。

[1] KLEIN G, MURRAY D. Parallel tracking and mapping for small AR workspaces[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of IEEE and ACM International Symposium on Mixed and Augmented Reality. Nara, Japan: IEEE, 2007: 225-234[2022-04-07].

[2] MUR-ARTAL R, MONTIEL J, TARDOS J. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[3] MUR-ARTAL R, TARDOS J. ORB-SLAM2: an open-source SLAM system for monocular, stereo, and RGB-D cameras[J]. IEEE Transactions on Robotics, 2017, 33(5): 1255–1262.

[4] CAMPOS C, ELVIRA R, GOMEZ J, and et al. ORB-SLAM3: an accurate open-source library for visual, visual-inertial and multi-map SLAM[J]. IEEE Transactions on Robotics, 2021, 37(6): 1874-1890.

[5] ELVIRA R, TARDOS J, MONTIEL J. ORBSLAM-Atlas: a robust and accurate multi-map system[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Macau, China: IEEE, 2019: 6253-6259[2022-04-07].

[6] 沈燕芬, 張小紅, 朱鋒. ORB-SLAM2車載雙目視覺的自主導航性能評估[J]. 導航定位學報, 2018, 6(2): 29-35.

[7] GALVEZ-LOPEZ D, TARDOS J. Bags of binary words for fast place recognition in image sequences[J]. IEEE Transactions on Robotics, 2012, 28(5): 1188-1197.

[8] MUR-ARTAL R, TARDOS J. Fast relocalisation and loop closing in keyframe-based SLAM[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of IEEE International Conference on Robotics and Automation (ICRA). Hong Kong, China: IEEE, 2014: 846-853[2022-04-07].

[9] KONOLIGE K, AGRAWAL M. Frame SLAM: from bundle adjustment to real-time visual mapping[J]. IEEE Transactions on Robotics, 2008, 24(5): 1066-1077.

[10] STURM J, ENGELHARD N, ENDRES F, et al. A benchmark for the evaluation of RGB-D SLAM systems[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura-Algarve: IEEE, 2012: 573–580[2022-04-07].

[11] ZHANG Z, SCARAMUZZA D. A tutorial on quantitative trajectory evaluation for visual(-inertial)odometry[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid, Spain: IEEE, 2018: 7244-7251[2022-04-07].

[12] GEIGER A, LENZ P, STILLER C, et al. Vision meets robotics: the KITTI dataset[J]. Int. J. Robot Res, 2013, 32(11): 1231-1237.

Performance evaluation on autonomous navigation of ORB-SLAM3 vehicle stereo vision

XIONG Chao, WU Meng, LIU Zongyi, GAO Li, GUO Hao

（State Key Laboratory of Geo-information Engineering/Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China）

Aiming at the problems that the positioning accuracy is low and the drift of low-cost inertial navigation is obvious in the vehicle navigation with global navigation satellite system (GNSS) under complex environment, the general overview of the system and the contributions provided by oriented fast and rotated brief simultaneous localization and mapping 3 (ORB-SLAM3) are discussed in this paper, and evaluated the vehicle data performance with different traces and motion states, and given the experimental algorithm comparison between ORB-SLAM3 and oriented fast and rotated brief simultaneous localization and mapping 2 (ORB-SLAM2), and evaluated the tracking time of ORB-SLAM3, among which the accuracy of positioning and attitude for ORB-SLAM3 were mainly focused. Experiment result showed that the navigation accuracy is better than 1.42 m on a 100-m path and rotation error is better than 0.0032 (°)/m based on dataset in this paper. The overall navigation error is at the same level between ORB-SLAM3 and ORB-SLAM2, and the tracking time of ORB-SLAM3 is 12 ms better than that of ORB-SLAM2.

stereo vision；autonomous navigation；performance evaluation；vehicle；tracking time

P228

A

2095-4999(2022)06-0009-09

熊超，烏萌，劉宗毅，等. ORB-SLAM3車載雙目視覺自主導航性能評估[J]. 導航定位學報, 2022, 10(6): 9-17.（XIONG Chao, WU Meng, LIU Zongyi, et al.Performance evaluation on autonomous navigation of ORB-SLAM3 vehicle stereo vision[J]. Journal of Navigation and Positioning, 2022, 10(6): 9-17.）

10.16547/j.cnki.10-1096.20220602.

2022-04-14

地理信息工程國家重點實驗室研究課題（SKLGIE2022-ZZ-03）。

熊超（1986—），男，湖北麻城人，碩士，工程師，研究方向為視覺導航及多源融合導航。