基于視覺慣性里程計與語義信息的無人機SLAM方法研究

摘 要：室內環(huán)境中存在豐富的語義信息，可以使機器人更好地理解環(huán)境，提高機器人位姿估計的準確性。雖然語義信息在機器人同時定位與地圖構建（SLAM）領域得到了深入研究和廣泛應用，但是在環(huán)境準確感知、語義特征提取和語義信息利用等方面還存在著很多困難。針對上述難點，提出了一種基于視覺慣性里程計算法與語義信息相結合的新方法，該方法通過視覺慣性里程計來估計機器人的狀態(tài)，通過校正估計，構建從語義檢測中提取的幾何表面的稀疏語義地圖；通過將檢測到的語義對象的幾何信息與先前映射的語義信息相關聯(lián)來解決視覺慣性里程計和慣性測量單元的累積誤差問題。在室內環(huán)境中對裝備RGB-D深度視覺和激光雷達的無人機進行驗證實驗，結果表明，該方法比視覺慣性里程計算法取得了更好的結果。應用結合語義信息和視覺慣性里程計的SLAM算法表現(xiàn)出很好的魯棒性和準確性，該方法能提高無人機導航精度，實現(xiàn)無人機智能自主導航。

關鍵詞：同步地圖構建和定位； 語義分割； 視覺慣性里程計； 無人機

中圖分類號：TP242.62 文獻標志碼：A

文章編號：1001-3695（2022）03-031-0826-05

doi：10.19734/j.issn.1001-3695.2021.08.0326

基金項目：江蘇省農(nóng)業(yè)科技自主創(chuàng)新資金資助項目（CX（21）1007）；教育部產(chǎn)學合作協(xié)同育人資助項目（201801166003）；浙江省農(nóng)作物收獲裝備技術重點實驗室開放課題（2021KY03，2021KY04）；南京工程學院科研基金產(chǎn)學研前瞻性項目（CXY201916）

作者簡介：陳國軍（1981-），男，高級實驗師，碩士，主要研究方向為機器人視覺導航與控制（chengj@njit.edu.cn）；陳巍（1969-），男，教授，碩士，主要研究方向為機器人智能控制；郭鐵錚（1983-），男，副教授，博士，主要研究方向為智能機器人與新能源；王志明（1981-），男，教授，博士，主要研究方向為農(nóng)業(yè)機器人與智能采摘.

Research on UAV SLAM method based on visual inertial odometer and semantic information

Chen Guojun¹， Chen Wei¹， Guo Tiezheng¹， Wang Zhiming²

（1.Industrial Center， Nanjing Institute of Technology， Nanjing 211167， China; 2.Zhejiang Province Key Laboratory of Crop Harvesting Equipment Technology， Jinhua Zhejiang 321007， China）

Abstract：There are abundant semantic information in the indoor environment， which can make the robot better understand the environment and improve the accuracy of robot pose estimation. Although semantic information has been deeply studied and widely used in the field of robot simultaneous localization and map construction（SLAM）， there are still many difficulties in accurate environment perception， semantic feature extraction and semantic information utilization. In view of the above difficulties， this paper proposed a new method based on the combination of VIO algorithm and semantic information. This method estimated the state of the robot through VIO， and constructed the sparse semantic map of the geometric surface extracted from semantic detection through correction estimation. It solved the cumulative error of VIO and inertial measurement unit by associating the geometric information of the detected semantic object with the previously mapped semantic information. The experimental results show that this method obtains better results than the VIO algorithm. The SLAM algorithm combining semantic information and VIO shows the advantages of good robustness and accuracy. This method improves the navigation accuracy of UAV， realizes UAV intelligent autonomous navigation.

Key words：simultaneous localization and mapping（SLAM）; semantic segmentation; visual inertial odometer（VIO）; unmanned aerial vehicle（UAV）

0 引言

無人機（UAV）能夠在狹小空間內運動，通常配備視覺傳感器、激光雷達、慣性導航模塊、無線傳輸模塊等，為了實現(xiàn)無人機自主飛行，需要精確的定位和導航。同步地圖構建和定位（SLAM）通過UAV搭載的視覺、激光、慣導等傳感器，在對未知環(huán)境構建地圖的同時實現(xiàn)自定位，能夠幫助UAV有效地解決自主飛行問題^[1]。視覺SLAM（visual SLAM，V-SLAM）是以圖像作為主要環(huán)境感知信息源的SLAM系統(tǒng)，可應用于無人駕駛、增強現(xiàn)實等應用領域，是近年來的熱門研究方向。通過視覺相機計算里程計，稱為視覺里程計（visual odometry，VO），隨著計算機視覺的發(fā)展，近年來對VO的研究取得了很大進展^[2]。

V-SLAM系統(tǒng)大多將估計相機位姿作為主要任務，通過多視幾何理論構建三維地圖。隨著機器人的應用范圍越來越廣，對機器人的智能程度提出了更高的要求，但在應對弱紋理環(huán)境、光照變化和動態(tài)目標等方面依然有很多挑戰(zhàn)^[3～5]。隨著深度學習技術的迅速發(fā)展，越來越多的SLAM研究者使用基于深度學習的方法提取環(huán)境語義信息，以獲取高層次的場景感知和理解，并應用在V-SLAM系統(tǒng)中，輔助視覺SLAM系統(tǒng)提升定位性能^[6]。張括嘉等人^[7]利用YOLOv3目標檢測算法獲取環(huán)境中關鍵目標的語義信息，建立目標檢測結果之間的相對位置關系，根據(jù)連續(xù)關鍵幀的相似度變化情況進行回環(huán)判斷，環(huán)境語義信息的應用有效提高了室內場景下的閉環(huán)檢測準確性。侯永宏等人^[8]利用雙目視覺，使用ORB SLAM2算法獲取無人機位姿信息，以改進的絕對誤差和（SAD）算法獲取環(huán)境信息和障礙物點，根據(jù)局部環(huán)境障礙物地圖與本地軌跡庫自主選擇運動軌跡、有效自主規(guī)避障礙物，達到實時局部路徑規(guī)劃的效果。

常見室內環(huán)境中的物體呈現(xiàn)幾何特征，可以提取這些幾何特征信息估計物體的相對位置，結合室內場景語義信息可以提高數(shù)據(jù)關聯(lián)的準確性，提高環(huán)路閉合的魯棒性。Frost等人^[9]提出基于混合多尺度可變模型的目標檢測方法，與SLAM系統(tǒng)中關鍵幀進行數(shù)據(jù)關聯(lián)，然后對物體尺寸進行估計，保證了全局地圖的一致性。Sucar等人^[10]通過基于深度學習的目標檢測算法，將局部地圖中3D點投影到目標檢測的2D圖像上，從而準確估計移動機器人位姿。Bowman等人^[11]整合尺度信息與語義信息用于SLAM系統(tǒng)的位姿估計，根據(jù)語義分類結果計算數(shù)據(jù)關聯(lián)的概率，將語義SLAM轉換成概率問題。Lianos等人^[12]提出一種視覺語義里程計框架，利用重投影前后語義標簽具有的一致性來實現(xiàn)中期連續(xù)點跟蹤，整合語義約束到姿態(tài)和地圖優(yōu)化中，改善系統(tǒng)的平移漂移問題。Bavle等人^[13]提出了一種基于雙目視覺里程計和室內環(huán)境語義信息的粒子濾波優(yōu)化方法，利用環(huán)境語義信息更新粒子狀態(tài)，更精準地進行位姿估計。Nicholson等人^[14]提出了面向對象的語義SLAM系統(tǒng)，利用橢圓體對物體進行三維建模來表示物體的大小、位置和方向，聯(lián)合估計相機位姿和對偶二次曲面以提高系統(tǒng)的定位精度。

本文結合視覺慣性里程計（VIO）和環(huán)境語義信息，提出了一種新的基于UAV平臺的視覺語義SLAM方法。首先通過視覺慣性里程計來估計機器人的狀態(tài)，其次通過校正估計構建從語義檢測中提取的幾何表面的稀疏語義地圖。通過環(huán)境特征估計UAV狀態(tài)，考慮特征檢測和匹配的誤差以及慣性測量單元的測量誤差，機器人狀態(tài)的視覺慣性里程計估計通常會隨著時間的推移而累積誤差，本文通過將檢測到的語義對象的幾何信息與先前映射的語義信息相關聯(lián)來解決這個問題。無人機語義SLAM平臺如圖1所示。

通過從室內目標中提取物體的幾何特征，該幾何特征可用做語義特征，結合多視圖幾何的運動物體檢測算法研究，在提取出了圖像局部特征并正確進行匹配后，分別分析特征點和特征線段重投影誤差的表達形式，研究通過非線性優(yōu)化方法獲得當前位姿的數(shù)學算法，在此基礎上設計結合語義信息與各幀點云間轉換關系的運動物體檢測方法，并設計物體跟蹤算法以跟蹤結果，結合各個時刻相機的位姿確定被跟蹤的目標點是否屬于動態(tài)物體。最后從當前幀的數(shù)據(jù)中去除運動物體所占像素，進行純背景像素的地圖構建。創(chuàng)建環(huán)境的稀疏可優(yōu)化地圖需要的計算資源較少，可以在具有計算資源較低的UAV平臺上運行。語義SLAM算法總體框架如圖2所示。

1 環(huán)境語義信息提取

1.1 語義對象檢測

為了滿足UAV的機載平臺工作，本文選擇YOLOv3目標檢測算法進行語義對象檢測，COCO數(shù)據(jù)集上訓練輕量化YOLOv3-Tiny模型，通過基于顏色和形狀的目標視覺檢測模塊實時檢測目標物體形狀。視覺檢測模塊首先處理HSV顏色空間中的顏色信息，基于顏色過濾背景，然后使用形狀圖像模板處理濾波后的圖像，該形狀圖像模板考慮相應目標對象的近似形狀，檢測相應顏色的立體形狀對象。通過對從視覺傳感器接收的圖像進行處理，執(zhí)行目標檢測，檢測目標邊界、進行圖像分割，再由RGB圖像配準的深度圖像生成3D點云，實現(xiàn)幾何信息分割。

1.2 語義對象分割

本文通過目標視覺檢測模塊獲取目標物體的RGB圖像，從RGB圖像配準相應的深度圖像，從中提取語義目標信息，生成語義對象的相關3D點云數(shù)據(jù)。如圖3所示，從視覺檢測模塊檢測的邊界用邊界框表示。檢測提取邊界框內3D特征點，通過分割檢測邊界框中存在的水平和垂直幾何平面及其質心和法線方向來降低語義對象映射誤差，減少語義數(shù)據(jù)映射和數(shù)據(jù)關聯(lián)產(chǎn)生的錯誤。

a）確定法線方向。本文通過使用積分圖進行法線估計實現(xiàn)3D點執(zhí)行法線提取。首先將輸入3D點云Ii的z分量轉換成積分圖像Im，然后進行圖像平滑處理，點p的法線向量np表示為

其中：ph是點p的3D水平向量;pv是點p的3D垂直向量。矩陣N^cp包含點云中每個3D點的所有法線方向。

b）進行質心提取。將計算的N^cp以及所有相應的3D點向量作為輸入，所有平面由平面方程ax+by+cz+d=0表示，每個3D點可以由點空間坐標、法線和nd來表示。

其中：nd={x，y，z}·{nx，ny，nz}。計算相鄰點的法線方向和距離nd之間的歐幾里德距離，以便找到所有連接的分量；然后檢查計算的連接分量的曲率，以便過濾非平面分量。提取所有平面及其質心和法線后，首先檢查平面是否為水平面，如下所示。

其中：np是提取的平面表面的法線;ng是已知的地面平面表面的法線。如果dhorlt;thor，那么這個平面np就被標為水平面;如果dhorgt;thor，檢查平面的垂直閾值為

如果dvertlt;tvert，則平面線段np被標記為垂直面。其中，thor是水平閾值門限值，tvert是垂直閾值門限值。因此，提取的平面包含以下信息：形心sp={px，py，pz}，法線sn={nx，ny，nz，nd}，平面型標簽so=1表示水平方向，so=0表示垂直方向，類別類型標簽sc對應檢測到的類別類型。

2 基于圖優(yōu)化的VIO建圖

由于遮擋、光照不足等情況，導致環(huán)境中特征信息缺乏，使用傳統(tǒng)的基于擴展卡爾曼濾波或者基于粒子濾波的視覺慣性里程計算法，機器人位姿估計會產(chǎn)生累積誤差，也會導致3D位置估計的不確定性，引起機器人估計和物體坐標姿態(tài)誤差。基于圖優(yōu)化的SLAM方法不再使用固定的柵格地圖，而是在地圖構建過程中調整圖結構中每個節(jié)點的位置信息，將對應的傳感器信息關聯(lián)構建位置關系圖，利用機器人位姿信息和對應傳感器數(shù)據(jù)生成環(huán)境地圖，有效地解決了這一問題。本文采用圖優(yōu)化SLAM方法，通過使用RTAB-MAP方法進行建圖和導航，采用特征映射方法進行里程計算，利用前一個關鍵幀生成的特征局部映射下一個新的關鍵幀，通過GFTT特征點檢測算法提取關鍵點特征，并通過提取的特征描述符與創(chuàng)建的局部地圖的特征描述符進行匹配，通過OpenCV中的PnP算法進行運動估計，采用局部光束平差法對測距估計值進行修正。

2.1 構建地圖

機器人狀態(tài)向量x=[xr，Rr]在關鍵幀k上傳播，其中xr=[x，y，z]，x、y和z分別是機器人沿X、Y和Z軸相對于世界坐標系的位置估計（圖1），Rr是機器人相對于世界坐標系的旋轉矩陣，本文假設機器人的初始狀態(tài)是已知的。每個物體坐標由它的狀態(tài)和協(xié)方差組成，物體的幾何表面類型表示為L=L₁，…，Ln，其中Li=（lzi，lσi，loi，lci），lzi為第i個標志點的三維位置，lσi為第i個標志點的協(xié)方差，loi和lci為第i個標志點的幾何表面類型。由視覺慣性里程計組成的SLAM前端算法提供了世界參考坐標系W中的三維姿態(tài)估計，t時刻機器人狀態(tài)xr的估計作為關鍵幀節(jié)點kt添加到因子圖中，利用相鄰關鍵幀kt－1和kt之間的位形增量ur（k）添加邊界約束條件，通過t－1時刻和t時刻的視覺慣性里程計姿態(tài)增量可以得到

其中：xr（k－1）和xr（k）分別為t－1和t時刻接收到的機器人位姿測量值。每個關鍵幀ki根據(jù)時間和機器人的運動約束添加到因子圖中。

每個檢測到的語義對象在數(shù)據(jù)關聯(lián)后被添加到因子圖中作為增加語義界標L的地圖的界標節(jié)點，并且與當前映射的語義界標相關聯(lián)。圖4表示使用n個關鍵幀和用關鍵幀提取的幾何表面語義界標構建的地圖，其中ki是為與它們之間的相對姿態(tài)相關聯(lián)的VIO姿態(tài)創(chuàng)建的關鍵幀，li是RGB圖像中的物體語義信息，ci是視覺慣性里程計的觀測值。

2.2 數(shù)據(jù)關聯(lián)

提取的平面語義信息表示為Si={szi，sni，soi，sci}，Si是語義平面i的語義信息，包含szi和sni作為被檢測平面的質心和的對應法線方向，soi和sci分別表示平面類型和類別標簽。其中第一個檢測提取的語義對象無須數(shù)據(jù)關聯(lián)，被直接映射為第一個語義界標。

語義界標Li={lzi，lni，lσi，loi，lci}，其中l(wèi)zi和lni是世界坐標系中的語義界標質心和法線，表示為

其中：R^wc是從機器人坐標系到世界坐標系的旋轉矩陣;lσi是語義界標的位置估計。在映射第一語義標志之后，每個檢測到的語義平面Sk通過以下三個步驟進行數(shù)據(jù)關聯(lián)：

a）檢查接收到的語義平面的類別標簽是否與語義界標的類別標簽匹配，還要檢查語義平面的3D點的數(shù)量是否大于閾值tp以及語義平面的面積是否大于閾值ta，以確保排除由于檢測到的邊界框不完全適合語義對象而提取的錯誤質心。

b）使用式（7）將攝像機坐標系中的語義平面的法線方向轉換成世界坐標系，并表示為lnk，lni與lnk之間的差異必須低于預定義的閾值tn才可以進入下一步。

c）如果語義平面通過步驟a）b），質心的相對3D測量值使用式（6）從攝像機坐標系轉換到世界坐標系，使用映射的物體坐標來計算語義對象的馬氏距離。如果計算的馬氏距離大于給定的閾值，則檢測到的語義對象被映射為新的物體坐標Lj，否則語義對象Sk與當前語義物體坐標Li匹配。

重復上述步驟，將所有映射的語義平面和標記的位置lz以及協(xié)方差lσ都進行優(yōu)化。

2.3 優(yōu)化地圖

在構建地圖后，圖優(yōu)化步驟包括找到最適合給定的視覺慣性里程計測量和語義界標的節(jié)點配置。x=（x₁，…，xm）^T是機器人的狀態(tài)向量，其中xi和xj是使用邊緣zij連接的節(jié)點i和j的姿態(tài)，zij是從視覺慣性里程計估計獲得的它們之間的相對姿態(tài)。Ωij是節(jié)點i和j之間的信息矩陣，zij是節(jié)點觀測到的語義界標度量。因此，測量的對數(shù)似然性可以表示為

其中：eij（xi，xj）表示VIO的預期觀測值和從語義界標接收的測量值之間的差異。對于觀測值C，通過最小二乘法估計求出x^*，x^*是最符合所有先前的觀測：

本優(yōu)化過程對機器人的姿態(tài)和語義物體坐標位置進行了優(yōu)化，在因子圖優(yōu)化后，還恢復了更新的協(xié)方差的地圖物體坐標以及計算馬氏距離所需的數(shù)據(jù)關聯(lián)。對語義對象進行重新觀測，并將其正確地關聯(lián)到所映射的物體坐標上，從而在優(yōu)化步驟后實現(xiàn)循環(huán)閉包。

3 無人機語義SLAM實驗平臺構建

本文采用博創(chuàng)人工智能無人機科研版Aviator-Plus作為實驗平臺，如圖5所示。該無人機是一款用于研究室內外自主飛行、自動導航、位置估計、環(huán)境感知、目標識別、目標跟蹤等研究的科研平臺，不僅可以通過GPS定位飛行，還可以依靠激光雷達自主定位飛行。該平臺搭載高性能GPU，可運行深度學習和卷積神經(jīng)網(wǎng)絡框架。

本文中使用的處理器采用人工智能計算機Jetson Nano，該處理器性能非常強大，可以提供高達472 GFLOPS的浮點運算能力，耗電量僅為5 W。Jetson Nano硬件為四核Cortex-A57 CPU，GPU是規(guī)模最小的Maxwell架構顯卡，只有128個CUDA單元，配備了4 GB LPDDR4內存以及16 GB存儲空間。Jetson Nano支持高分辨率傳感器，可以并行處理多個傳感器，并且可在每個傳感器流上運行多個現(xiàn)代神經(jīng)網(wǎng)絡，還支持許多常見的人工智能框架。為了方便開發(fā)軟件程序，JetPack SDK中新增了CUDA-X平臺，里面有40多個加速庫，包含用于深度學習、計算機視覺、計算機圖形和多媒體處理的加速庫，可以加快開發(fā)者、企業(yè)對于程序的應用開發(fā)，還包含有CUDA、CUDNN、TensorRT和完整版桌面Linux操作系統(tǒng)，無人機實驗平臺參數(shù)配置如表1所示。

為了開展無人機語義SLAM實驗研究，本文在該實驗平臺上安裝了3D激光雷達、RGBD深度視覺相機、避障模塊、激光定高模塊、GPS等傳感器，在Jetson Nano處理器搭載ROS系統(tǒng)以及基于ROS主題與消息指令的完整API，可以使用Python和C++進行程序開發(fā)（圖6）。在無GPS信號環(huán)境下，依靠運行激光雷達、機器視覺、SLAM技術實現(xiàn)定位與導航，融合多傳感器數(shù)據(jù)的路徑規(guī)劃與避障算法深度整合了導航飛控的底層協(xié)議，完成基于圖像的識別，基于激光雷達的環(huán)境建圖、避障、目標跟蹤及檢測等功能，實現(xiàn)了集成航點避障、人工視場法避障、深度優(yōu)先路徑搜索等最新算法，還實現(xiàn)了基于深度學習與卷積神經(jīng)網(wǎng)絡的視覺目標識別與跟蹤（圖7）。

4 實驗結果與分析

4.1 數(shù)據(jù)集仿真實驗

為了驗證本文方法，使用公開的TUM標準數(shù)據(jù)集對算法進行仿真實驗對比。RGB-D TUM數(shù)據(jù)集由Kinect傳感器和地面真實數(shù)據(jù)運動捕捉系統(tǒng)提供的點云數(shù)據(jù)組成，數(shù)據(jù)集的里程計數(shù)據(jù)是使用RTAB地圖RGB-D視覺里程計算法獲得的，語義對象被檢測映射為語義界標，并用于循環(huán)閉合檢測。在數(shù)據(jù)集序列中，Kinect深度相機沿著由幾個辦公室物品組成的環(huán)境移動，包括桌子、椅子、書籍、顯示器等，無人機以不同的平移運動和旋轉運動移動，以驗證本文方法的魯棒性。圖8顯示了使用語義SLAM算法估計的姿態(tài)生成的3D點云圖，軌跡線表示無人機的估計軌跡，同時還有從YOLO檢測器接收的檢測結果。

TUM標準數(shù)據(jù)集包含多個序列，本文選擇其中的room房間序列、magistrale大廳序列、corridor走廊序列進行測試。不同算法在TUM標準數(shù)據(jù)集（共三個子序列）下的運動估計誤差如表2所示，采用絕對軌跡誤差（absolute trajectory error，ATE）評估算法的準確性，即計算估計位姿與真實位姿之間歐氏距離的均方根誤差（root mean square error，RMSE）和最大值。在與真實軌跡作對比時使用EVO（evaluation of odometry and SLAM）工具進行數(shù)據(jù)對齊和誤差計算，其中均方根誤差為同時考慮平移和旋轉兩部分得到的最終誤差。

圖9～11分別展示了傳統(tǒng)VIO算法（PL-VIO）和本文算法在TUM標準數(shù)據(jù)集room房間序列、magistrale大廳序列和corridor走廊序列上的軌跡誤差情況。從圖中明顯看到，其中紅色軌跡線表示本文語義SLAM方法的軌跡，綠色軌跡線表示傳統(tǒng)VIO算法的軌跡，藍色軌跡線表示數(shù)據(jù)集中真實的軌跡（參見電子版）。當無人機在數(shù)據(jù)集環(huán)境中導航時，前端VO算法使用特征累積錯誤，而本文方法結合了事件和稀疏映射，語義物體坐標能夠糾正這種累積的錯誤。在該數(shù)據(jù)集序列的執(zhí)行過程中，本文算法估計的平均軌跡誤差為0.033 m，而VIO算法的平均軌跡誤差為0.043 m。即使在檢測到的語義對象周圍的預測邊界框中有誤差，本文算法也能夠估計相機姿態(tài)準確地提取、映射和關聯(lián)檢測到的對象的幾何平面。在數(shù)據(jù)關聯(lián)中，因為只有當提取的平坦表面的面積超過某個閾值時才被認為是有效的，所以檢測噪聲的影響被最小化。

4.2 室外環(huán)境實驗

實驗在一條長20 m、寬15 m的環(huán)形走廊環(huán)境中進行，環(huán)境由一些雜亂的語義對象組成，這些語義對象以桌椅的形式出現(xiàn)。語義映射只使用椅子的平面，因為桌子的水平面不能完全適應邊界盒，造成相對位置估計誤差，在走廊上總共進行了五次重復的軌道循環(huán)。圖12展示了本次實驗獲得的3D和2D圖形，并將本文方法估計的姿態(tài)和VIO估計的姿態(tài)進行了比較。

圖13表示在空中機器人上進行的實驗曲線圖。該機器人以每秒1.5 m的最大速度執(zhí)行五個飛行循環(huán)。由于空中機器人的高運動，VIO在其位置和方向上積累了很大的漂移，本文的方法從3D和2D圖中可以看出，即使空中機器人速度較高，也不會偏離機器人的地面真實姿態(tài)。實驗證明，本文方法能夠使用較少的語義特征校正VIO算法中存在的位置和方向誤差。

在空中機器人的起飛階段，由于它的突然運動，可能在VIO姿態(tài)的Z軸估計中引起巨大的漂移，該漂移不能被校正，因為在這個初始時刻沒有語義標志被映射。為了補償這種初始漂移，本文引入了第一個標志的近似位置，該位置在優(yōu)化過程中與其他語義標志和機器人姿態(tài)一起被優(yōu)化。本文方法的自動目標識別率為0.280 m，使用的VIO算法的自動目標識別率為0.651 m。在本實驗中，由于高速運動以及環(huán)境中的特征不足，ORB-SLAM2失去了特征跟蹤。對比不同方法的導航性能，結果如表3所示。

從實驗結果可以看出，使用本文方法估計的位姿準確地構建了地圖，即使在VIO的姿態(tài)估計中存在錯誤，本文算法也只需要很少的語義特征就可以準確地估計機器人的姿態(tài)。由于語義對象的雜亂，YOLO也會在檢測到的對象周圍產(chǎn)生估計錯誤，在本文方法中，因為在添加該噪聲作為語義標記之前進行了多次安全檢查，包括平面表面閾值，所以檢測中的噪聲不會對語義目標的相對位姿估計產(chǎn)生負面影響，即使存在這些檢測誤差，平面提取也不會在很大程度上受到影響。平面表面僅在滿足3D點閾值和平面面積閾值的情況下才被提取。

5 結束語

本文針對視覺慣性里程計隨著時間的推移而累積誤差，影響無人機定位導航精度的問題，提出了將語義標記信息與視覺慣性里程關聯(lián)的新方法。該方法使用常見的幾何平面作為語義信息，通過視覺慣性里程計來估計機器人的狀態(tài)，通過校正估計構建從語義檢測中提取的幾何表面的稀疏語義地圖。通過仿真實驗和室外實驗證明，在使用RGB-D視覺和激光雷達的無人機實驗平臺上，該方法能夠取得比視覺慣性里程計算法更好的結果，應用結合語義信息和視覺慣性里程計的SLAM算法表現(xiàn)出了很好的魯棒性和準確性。

參考文獻：

[1]史殿習，楊卓越，金松昌，等.面向數(shù)據(jù)共享的多無人機協(xié)同SLAM方法[J].計算機學報，2021，44（5）：983-998.（Shi Dianxi， Yang Zhuoyue， Jin Songchang， et al. A multi-UAV collaborative SLAM method oriented to data sharing[J].Chinese Journal of Computers，2021，44（5）：983-998.）

[2]黃劍雄，劉小雄，章衛(wèi)國，等.基于視覺/慣導的無人機組合導航算法研究[J].計算機測量與控制，2021，29（2）：137-143，149.（Huang Jianxiong， Liu Xiaoxiong， Zhang Weiguo， et al. Research on vision/inertial based integrated navigation technology of UAVs[J].Computer Measurement and Control，2021，29（2）：137-143，149.）

[3]吳凡，宗艷桃，湯霞清.視覺SLAM的研究現(xiàn)狀與展望[J].計算機應用研究，2020，37（8）：2248-2254.（Wu Fan， Zong Yantao， Tang Xiaqing. Research status and prospect of visual SLAM[J]. Application Research of Computers，2020，37（8）：248-2254.）

[4]鄒雄，肖長詩，文元橋，等．基于特征點法和直接法VSLAM的研究[J].計算機應用研究，2020，37（5）：1281-1291.（Zou Xiong， Xiao Changshi， Wen Yuanqiao， et al. Research of feature-based and direct methods VSLAM[J].Application Research of Computers，2020，37（5）：1281-1291.）

[5]劉強，段富海，桑勇，等.復雜環(huán)境下視覺SLAM閉環(huán)檢測方法綜述[J].機器人，2019，41（1）：112-123，136.（Liu Qiang， Duan Fuhai， Sang Yong， et al. A survey of loop-closure detection method of visual SLAM in complex environments[J].Robot，2019，41（1）：112-123，136.）

[6]趙洋，劉國良，田國會，等.基于深度學習的視覺SLAM綜述[J].機器人，2017，39（6）：889-896.（Zhao Yang， Liu Guoliang， Tian Guohui， et al. A survey of visual SLAM based on deep leaning[J].Robot，2017，39（6）：889-896.）

[7]張括嘉，張云洲，呂光浩，等.基于局部語義拓撲圖的視覺SLAM閉環(huán)檢測[J].機器人，2019，41（5）：649-659.（Zhang Kuojia， Zhang Yunzhou， Lyu Guanghao， et al. Loop closure detection based on local semantic topology for visual SLAM system[J].Robot，2019，41（5）：649-659.）

[8]侯永宏，劉艷，呂華龍，等.一種基于雙目視覺的無人機自主導航系統(tǒng)[J].天津大學學報：自然科學與工程技術版，2019，52（12）：1262-1269.（Hou Yonghong， Liu Yan， Lyu Hualong， et al. An auto-nomous navigation systems of UAVs based on binocular vision[J].Journal of Tianjin University：Science and Technology，2019，52（12）：1262-1269.）

[9]Frost D， Prisacariu V， Murray D. Recovering stable scale in monocular SLAM using object-supplemented bundle adjustment[J].IEEE Trans on Robotics，2018，34（3）：736-747.

[10]Sucar E， Hayet J B. Bayesian scale estimation for monocular SLAM based on generic object detection for correcting scale drift[C]//Proc of IEEE International Conference on Robotics and Automation.Pisca-taway，NJ：IEEE Press，2018：5152-5157.

[11]Bowman S L， Atanasov N， Daniilidis K， et al. Probabilistic data association for semantic SLAM[C]//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2017：1722.

[12]Lianos K N， Schonberger J L， Pollefeys M， et al.VSO：visual semantic odometry[C]//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 234-250.

[13]Bavle H， Manthe S， De Puente P， et al. Stereo visual odometry and semantics based localization of aerial robots in indoor environments[C]//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2018.

[14]Nicholson L， Milford M， Sunderhauf N. Quadric SLAM： dual qua-drics from object detections as landmarks in object-oriented SLAM[J].IEEE Robotics and Automation Letters，2019，4（1）：1573-1591.