基于運動避免特征提取的動態視覺SLAM方法*

黃冠恒，曾 碧

（廣東工業大學計算機學院，廣州 510006）

0 引言

同時定位與建圖（Simultaneous Localization And Mapping,SLAM），是以激光雷達、視覺攝像頭等傳感器對未知環境進行感知，在對環境進行地圖構建的同時估計自身的位姿[1-2]。SLAM最早被應用在機器人領域，旨在解決機器人的自主導航問題。傳統SLAM方法大多基于激光雷達，隨著計算機視覺技術的發展，體積更小、成本更低的視覺傳感器也漸漸被研究者采用，稱之為視覺SLAM（visual SLAM）[3]。

根據前端里程計原理的不同，視覺SLAM方法可分為3大類：以ORB-SLAM2[4]為代表的基于特征的特征法，以Lucas-Kanade[5]稀疏光流或Horn-Schunck[6]稠密光流為代表的光流法，以及以SVO[7]和LSD-SLAM[8]為代表的直接法。這些方法在一般的場景下能良好工作，然而，當場景中的動態物逐漸增多時，其表現漸漸下降，甚至無法正常工作。根本原因在于其假設環境是靜態的，然而現實場景常常包含許多運動物體。受到動態物體的影響，這些主流方法都不可避免地進行錯誤的數據關聯，為系統引入大量的誤差。

現有的解決方法主要采用計算量較大的語義分割模型檢測圖像上的動態物，隨后過濾落在動態物上的特征，以此避免動態物的干擾。由于使用了語義分割模型，這些方法的實時性較低，無法用于實時應用。此外，過濾特征的方式導致了特征的數量急劇下降，使得定位不夠準確，而且在場景缺乏特征時容易丟失定位。

為了解決現有方法在實時性、特征提取方面存在的問題，本文使用計算量較小的目標檢測模型對動態物進行檢測，并提出一種運動避免的特征提取方法，結合ORB-SLAM2實現了一種面向動態場景的視覺SLAM方法。相比于現有方法，本文方法不僅提取的特征的數量更充足、穩定，在高動態場景下的定位更準確、魯棒性更高，而且能夠實時運行，適用于實時應用。

1 動態SLAM方法研究

1.1 傳統SLAM方法不足

SLAM通過計算自身與參照物的相對關系來估計自身位姿，參照物的非預期運動會讓SLAM系統誤以為是自身在運動，從而導致錯誤的位姿估計，并為地圖引入大量的誤差[9-10]。

為了解決動態物帶來的不良影響，目前主流的解決方法是事先檢測場景中的動態物并進行剔除，保證SLAM只對場景的靜態部分進行感知，避免將動態物作為地圖參照物。在動態物非常少的情況下，場景中的大部分內容都是靜態的，動態物可以被認為是噪聲，因此使用RANSAC[11]算法就能夠有效地去除它們。由于ORB-SLAM2采用了RANSAC算法，因此在低動態場景下其能取得相當不錯的工作效果。然而，當動態物逐漸增多時，ORB-SLAM2的定位精度急劇下降，最終無法正常工作。在這種情況下，需要主動對動態物進行感知和處理。

1.2 主流動態視覺SLAM方法

現有的動態視覺SLAM方法主要采用幾何法或語義法對動態物進行檢測，然后剔除被歸類為動態物的參照物。幾何法計算不同時刻物體預期位置和實際位置的差距，根據差距的大小判斷物體是否為動態物。語義法根據先驗信息，把人、車輛和動物等語義對象當成是潛在的動態物。

Cui等[12]在ORB-SLAM的基礎上，通過分析投影點位置去除地圖中的動點，減輕了動態物對系統的影響，但存在動點檢出率較低，潛在動態物沒有處理的問題。ESFAHANI M A[13]使用基于深度學習的FlowNet預測場景中的光流，結合Mask R-CNN分割動態物，改進了ORB-SLAM2在動態場景下的定位表現，但實時性很低。

RIAZUELOL[14]利用目標檢測模型定位場景中的行人，過濾落在行人檢測框內的特征，使得系統在多人環境下能正常工作，但導致提取的特征數量銳減，在缺乏特征的場景下容易定位不準或丟失定位。DS-SLAM[15]使用SegNet分割場景中的行人，并用運動一致性方法驗證其運動狀態，只過濾運動中的行人的特征點。DS-SLAM運行速度較快，但其采用了過濾特征的方式，存在特征不足的缺點。Dyna SLAM[16]融合幾何法和語義法，只過濾運動物的特征，但運行速度太慢，而且也存在特征數量銳減的問題。

現有的動態SLAM方法基本解決了動態物引起的感知問題，但在準確度、實時性或魯棒性上還有進一步的研究空間。本文提出基于運動避免特征提取的視覺SLAM方法（Motion Avoidance SLAM，MA-SLAM），解決現有動態SLAM方法運行速度慢、特征數量稀缺等問題。

2 方法描述

位姿估計是SLAM系統中關鍵的步驟之一，其不僅影響系統的定位精度和魯棒性，還影響地圖的質量。為了進一步優化位姿，現代SLAM系統通常會包含后端優化和閉環檢測模塊，其中最著名的視覺SLAM框架之一是ORB-SLAM2。ORB-SLAM2基于特征法，支持多種視覺傳感器，在大多數情況下都表現良好，但對高動態場景的支持較差。因此，本文基于ORB-SLAM2提出MA-SLAM，以提供一種全場景適用的SLAM解決方案。

2.1 MA-SLAM框架

MA-SLAM包含5個并行運行的線程：跟蹤、目標檢測、運動一致性驗證、局部建圖和閉環，系統框架如圖1所示。為了解決動態物的干擾，MA-SLAM修改了跟蹤線程，將原來的特征提取方法替換為本文提出的運動避免特征提取方法。局部建圖和閉環檢測線程則與ORB-SLAM2保持一致。

圖1 MA-SLAM框架Fig.1 Framework of MA-SLAM

MA-SLAM采用了多線程技術，傳感器采集到的圖片數據在跟蹤線程、目標檢測線程和運動一致性驗證線程中同時進行處理。目標檢測線程定位圖像上的目標和獲得它們的語義類別，運動一致性驗證線程則利用光流法檢測圖像上的動點。跟蹤線程結合目標檢測線程和運動一致性驗證線程的結果將圖像劃分為靜態、臨時靜態和運動區域，然后在靜態和臨時靜態區域提取特征。相比于在圖像上提取特征后再過濾的方式，這種根據圖像上的運動自適應地提取特征的方式能獲得數量更多、分布更穩定的特征，從而獲得了更好的定位精度和魯棒性。最后，多幀之間提取的特征進行匹配后估計系統的位姿。

2.2 運動避免特征提取方法

運動避免特征提取方法的運行示例如圖2所示。首先使用目標檢測方法獲取物體的包圍框，同時使用運動一致性檢測獲取運動點，兩者結合實現圖像動態、臨時靜態和靜態區域的劃分。最后，在靜態區域提取靜態特征點。當靜態特征點的數量不足時，從臨時靜態區域提取臨時的特征點，作為臨時參照物參與位姿估計。注意，只有從靜態區域提取的特征點會被選擇為地圖點，這使得地圖不包含潛在動態物，避免了潛在動態物的運動給地圖留下錯誤的殘影。

2.3 潛在動態物檢測

在實際應用中，場景的潛在動態物通常是人、動物、汽車等含有明顯語義的物體，因此可以使用目標檢測、語義分割之類的語義方法檢測。MA-SLAM采用了OpenCV[17]實現的單階段的目標檢測模型Yolov3[18]，使用MSCOCO數據集[19]對該模型進行訓練。MSCOCO數據集總共包含80類，本文將其中與人、交通工具、動物相關的類別歸類為潛在動態物。

許多動態SLAM方法采用語義分割模型實現潛在動態物的檢測，由于語義分割模型能準確地獲得動態物的邊界，對特征點進行過濾時誤過濾的情況非常少。但語義分割模型通常計算量很大，導致系統的實時性較低。相比于語義分割，目標檢測模型計算量要小很多，但只能獲得物體的包圍框，過濾時會把落在包圍框內但不落在物體內的特征點一并過濾掉，誤過濾的情況較多，導致最終提取到的特征點數量較少。為此，MA-SLAM摒棄了過濾特征的方式，采用運動避免的特征提取方法，保證了特征數量的充足和穩定。

2.4 實時動態物的檢測

語義方法只能檢測潛在的動態物，無法區分該動態物處于運動還是靜止狀態。在停車場這類缺乏紋理的場景中，停泊的車輛其實是很好的臨時參照物。MA-SLAM使用了DS-SLAM中提出的運動一致性驗證方法[15]，該方法能檢測出圖像上的運動點。通過統計落在車輛上的動點的數目，可以估計車輛處于運動狀態的可能性。

2.5 圖像動靜態區域劃分

MA-SLAM使用簡單有效的閾值法將圖像劃分為靜態、臨時靜態和動態區域。首先，圖像的背景區域被劃分為靜態區域；動點數量低于預設閾值的潛在動態物則被劃分為臨時靜態區域；而動點數量高于閾值的潛在動態物，則很可能處于運動狀態，因此被劃分為動態區域。圖2展示了這一過程的運行示例，綠色區域、黃色區域和紅色區域分別表示靜態區域、臨時靜態區域和動態區域。

圖2 運動避免特征提取方法運行示例Fig.2 Exampleof runningthemotion avoidancefeatureextraction method

2.6 數量充足的特征提取

對于基于特征的視覺SLAM方法來說，特征的數量是非常重要的。通常來說，特征的數量越多，則系統定位越為準確，但相應地計算量會變大，降低系統的運行速度。因此，通常會按照工程經驗選取一個固定的特征提取數量，如ORB-SLAM2將室內和室外場景的提取數量分別設置為1 000和2 000。

現有的動態SLAM方法使用過濾動態特征的方式，在場景包含較多的動態物時會導致提取的特征大幅減少，導致定位精度下降，甚至丟失定位。圖3所示為ORB-SLAM2、基于過濾的動態SLAM方法和本文方法MA-SLAM的特征提取流程，其中，變量e和r分別代表預期提取的特征數量和當前剩余的特征數量。從圖3可知，傳統SLAM方法ORB-SLAM2對特征不加以區分，因此會受動態物的干擾導致定位出錯。而基于過濾的SLAM方法則因為對特征進行了剔除操作，導致最后提取的特征數量較少。MA-SLAM避免了特征的過濾，采用運動避免的啟發式提取方法，當場景靜態特征較多時，能提取到足夠的特征。而當場景靜態特征不足時，能提取臨時特征使用，如圖4所示，由于坐著的人運動幅度很小，原先被標記為動態的特征經運動一致性驗證后，轉為臨時靜態特征，可用于優化定位。

圖3 不同SLAM方法的特征提取流程對比Fig.3 Comparison of featureextraction process of different SLAMmethods

圖4 使用臨時特征示例Fig.4 Example of usingtemporary features

3 實驗結果與分析

3.1 實驗環境與數據

本文使用TUM RGB-D數據集進行實驗，該數據集由慕尼黑工業大學制作，它包含從Microsoft Kinect相機以30 Hz、640×480分辨率記錄的RGB圖像和深度圖像序列，以及使用專業的運動捕捉系統記錄的真實運動軌跡。

本文使用TUMRGB-D數據集的fr3 sitting和fr3 walking序列進行實驗，評估了MA-SLAM在低動態場景和高動態場景下的表現，將其與傳統方法ORB-SLAM2和前沿動態SLAM方法DS-SLAM進行了對比，并且對系統的運行時間進行了評估。在sitting序列中，場景中的人坐在椅子上，運動幅度很小。而在walking序列中，場景中的人四處走動，運動幅度很大。在嚴重的情況下，相機看到的一半視野都被人所占據。

本文使用的數據集序列包含4種相機運動：（1）xyz：相機分別沿著x-y-z軸運動；（2）static：相機保持靜止；（3）rpy：相機分別在滾轉、俯仰和偏航軸上旋轉；（4）half：相機沿著直徑為1 m的半球體運動。

本文實驗在一臺搭載了Intel i7處理器、32 GB運行內存和GTX 1080Ti顯卡的計算機上進行，使用Ubuntu 18.04 LTS操作系統。

3.2 評估度量

本文使用由Sturm等[9]提出的絕對軌跡誤差（Absolute Trajectory Error，ATE）進行定量評估，該度量標準用于評估軌跡的全局一致性。由于動態物的存在使得系統的不確定性增加了，對每個序列運行10次ORB-SLAM2和MA-SLAM方法，并給出各自10次實驗的誤差的均值。

3.3 使用TUM RGB-D數據集進行評估

表1所示為本文提出的MA-SLAM方法的幾種變體之間的比較。第一列表示使用的數據集序列。這幾種變體方法都基于ORB-SLAM2，區別在于它們使用不同的特征提取過程。首先，MA-SLAM（OD*）在全圖上提取特征，然后使用目標檢測過濾落在動態物上的特征；MA-SLAM（OD）則是使用目標檢測對圖像進行動靜態區域劃分，然后在靜態區域上提取特征；MA-SLAM（OD＋MCC）使用目標檢測和運動一致性驗證將圖像分為靜態、臨時靜態和動態區域，在靜態區域和臨時靜態區域上提取特征。

表1 MA-SLAM幾種變體的ATE比較Table1 Comparison on ATEfor several variantsof MA-SLAM m

由表1可知，基于過濾的MA-SLAM（OD*）在大多數靜態序列下誤差最低，但這并非是因為其表現最佳，而是因為其存在初始化失敗和丟失定位的情況，導致總體參與評估的軌跡較短，因此總體誤差反而變小了。特別地，在序列sitting_half上，由于行人占據了場景的大部分面積，MA-SLAM（OD*）過濾了過多的特征點，導致系統始終無法初始化。在sitting序列集上，MA-SLAM（OD＋MCC）的表現總是優于MA-SLAM（OD），這是因為其能在場景缺乏紋理時有效利用臨時靜止的動態物。

圖5～6分別展示了這幾種方法在walking_xyz和sitting_xyz序列下的特征分布。

圖5 MA-SLAM變體在walking_xyz序列下的特征分布Fig.5 Feature distribution of several variants of MA-SLAM on walking_xyzsequence

圖6 MA-SLAM變體在sitting_xyz序列下的特征分布Fig.6 Feature distribution of several variants of MA-SLAM on sitting_xyzsequence

由圖5～6可知，較之其他變體方法，MA-SLAM（OD＋MCC）提取的特征數量更多、更穩定。在兩個序列的開頭，因為特征過少，MA-SLAM（OD*）出現了初始化失敗的情況。

另外，在sitting_xyz序列接近第700幀的部分，MA-SLAM（OD*）和MA-SLAM（OD）方法提取的特征數量銳減。這是因為隨著相機的運動，相機觀察到的場景的大部分被坐著的兩個人所占據，如圖4所示，導致靜態區太小，提取不到足夠的靜態特征。而MA-SLAM（OD＋MCC）由于能把此時坐著不動的人當成是臨時靜止的參照物，因此獲得了額外的特征，保持了特征數量的穩定和充足。

在測試的所有序列上，MA-SLAM（OD＋MCC）都能在第一幀就成功初始化系統，并且在場景大幅度被動態物占據時，仍能獲得較準確的定位。

表2所示為MA-SLAM與ORB-SLAM2、DS-SLAM三種方法的ATE比較。其中，DS-SLAM的測量值取自文獻[15]，部分序列沒有公開測量值，因此留空；ORB-SLAM2的測量值是在本文實驗環境下測得的。由表2可知，在所有動態序列上，MA-SLAM都優于ORB-SLAM2，取得了大于95%的提升；而在靜態序列上，MA-SLAM的表現與ORB-SLAM2相近，優于DS-SLAM。特別地，在walking_rpy序列下，相機做旋轉運動，場景變化較大且動態物多，基于過濾的DS-SLAM方法提取不到足夠的特征，因此無法魯棒地進行定位，誤差在分米級。而DS-SLAM由于使用了運動避免的特征提取方法，特征數量充足、穩定，誤差僅為厘米級。

表2 MA-SLAM和其他方法的ATE比較Table2 Comparison on ATEfor MA-SLAMand other methods m

圖7所示為walking_xyz序列下ORB-SLAM2和MA-SLAM的軌跡誤差，可見，MA-SLAM能顯著減小定位誤差，所估計的軌跡與真實軌跡十分接近。

圖7 walking_xyz序列下的ATE圖Fig.7 ATEgraph on walking_xyzsequence

3.4 運行時間分析

表3所示為MA-SLAM各個模塊的運行時間。由于使用了多線程和GPU，模型可以并行執行，追蹤一幀平均需要50 ms，即系統幀率約為20 Hz，滿足SLAM系統的實時性要求。相比于基于語義分割的DS-SLAM的59.4 ms[15]，MA-SLAM的實時性更優。

表3 MA-SLAM運行時間分析Table.3 Runtime Analysisof MA-SLAM

4 結束語

本文提出了一種基于ORB-SLAM2的實時、魯棒的動態SLAM系統MA-SLAM。該系統基于目標檢測和運動一致性檢查，實現了一種將場景劃分為靜態、臨時靜態和動態區域后進行特征提取的方法，相比于主流基于過濾的動態SLAM方法，能獲得數量更充足、更穩定的特征。在TUM RGB-D數據集上的實驗結果表明，MA-SLAM高效解決了動態物造成的感知問題，在動態場景下，其定位精度和魯棒性均優于ORB-SLAM2。相比于現有方法，實時性和魯棒性更佳。

MA-SLAM還存在一些待完善的工作。例如，有監督目標檢測模型的使用限制了潛在動態物的類型。另外，MA-SLAM構建的地圖是幾何地圖，不包含語義信息。在未來，將考慮使用無監督的目標檢測模型來提高MA-SLAM的泛用性，并在地圖中加入物體的信息，以提供對物體抓取等智能任務的支持。