基于動態區域剔除的RGB-D視覺SLAM算法

摘 要：針對動態場景下視覺SLAM（simultaneous localization and mapping）算法易受運動特征點影響，從而導致位姿估計準確度低、魯棒性差的問題，提出了一種基于動態區域剔除的RGB-D視覺SLAM算法。首先借助語義信息，識別出屬于移動對象的特征點，并借助相機的深度信息利用多視圖幾何檢測特征點在此時是否保持靜止；然后使用從靜態對象提取的特征點和從可移動對象導出的靜態特征點來微調相機姿態估計，以此實現系統在動態場景中準確而魯棒的運行；最后利用TUM數據集中的動態室內場景進行了實驗驗證。實驗表明，在室內動態環境中，所提算法能夠有效提高相機的位姿估計精度，實現動態環境中的地圖更新，在提升系統魯棒性的同時也提高了地圖構建的準確性。

關鍵詞：動態場景；視覺同步定位與建圖；幾何約束；機器人定位

中圖分類號：TP242 文獻標志碼：A

文章編號：1001-3695（2022）03-005-0675-06

doi：10.19734/j.issn.1001-3695.2021.08.0343

基金項目：國家自然科學基金資助項目（61963017，61663010）；江西省科技創新杰出青年人才項目（20192BCBL23004）

作者簡介：張恒（1979-），男，湖北漢川人，教授，碩導，博士，主要研究方向為智能移動機器人系統軟硬件開發技術、深度學習與計算機視覺、移動傳感器網絡；侯家豪（1997-），男（通信作者），河南駐馬店人，碩士研究生，主要研究方向為視覺SLAM、深度學習與計算機視覺（15978498930@163.com）；劉艷麗（1979-），女，湖北漢川人，教授，碩導，博士，主要研究方向為機器人服務軟件開發技術、機器人化傳感器網絡、云機器人．

RGB-D visual SLAM algorithm based on dynamic region elimination

Zhang Heng^1，2，Hou Jiahao^1?，Liu Yanli^1，2

（1.School of Information Engineering，East China Jiaotong University，Nanchang 330013，China；2.School of Electronic Information，Shanghai Dianji University，Shanghai 201306，China）

Abstract：Aiming at the problem that the visual SLAM algorithm in dynamic scenes is susceptible to motion feature points，resulting in low accuracy and poor robustness of pose estimation，this paper proposed a RGB-D visual SLAM algorithm based on dynamic region culling.Firstly，identify the feature points belonging to the moving objects with the help of semantic information，and detected whether the feature points remain stationary at this point used multi-view geometry with the help of the depth information of the camera.Use feature points extracted from static objects and static feature points derived from movable objects to fine-tune the camera pose estimation to achieve accurate and robust operation of the system in dynamic scenes.Finally，

it used the dynamic indoor scenes in the TUM dataset for experimental verification.Experiments show that the proposed algorithm can effectively improve the accuracy of the camera′s pose estimation in the indoor dynamic environment，realize the map update in the dynamic environment，and improve the accuracy of the environment construction while enhancing the robustness of the system.

Key words：dynamic environment；visual simultaneous localization and mapping；geometric constraints；robot localization

0 引言

當前解決動態環境中移動機器人的定位與建圖問題有很多方法，如激光雷達SLAM、視覺SLAM^［1］等。近些年，相機的快速發展和相對低廉的價格，以及視覺SLAM方法可以采集到豐富的環境信息、深度信息等優點，已成為動態環境中機器人定位與建圖研究領域的一個熱點。對于從視覺圖像直接恢復出相機位姿和場景結構的方法主要分為直接法和基于特征點的方法兩類。直接法假設幀間光度值具有不變性，即相機運動前后特征點的灰度值是相同的，不需要進行特征提取，用局部像素的梯度和方向進行計算，優化出相機的位姿和三維點，比如LSD-SLAM^［2］、DSO^［3］等。這種方法對光照影響較大，在高精度的地圖當中無法使用。基于特征點的方法通過特征點提取，根據描述子匹配特征點，結合幾何約束，消除環境中動態物體對于定位和建圖的影響。基于特征點的方法能夠通過深度學習和幾何約束剔除掉場景中動態物體的影響，且利于地圖的維護，并且在視覺SLAM中只需要一個相機就能夠采集到場景中的環境和深度信息。

Mur-Artal等人^［4］提出了ORB-SLAM2，這是一個適用于單目、雙目和RGB-D相機的完整SLAM系統，可以在各種環境下在標準的CPU上實時工作。該系統通過匹配當前幀和前一幀之間相應的ORB特征來估計相機的自我運動，并有三個并行線程，即跟蹤、局部建圖和閉環。Campos等人^［5］提出了最新版本的ORB-SLAM3，主要增加了兩個新特性：a）基于特征的緊密集成的視覺慣性SLAM，完全依賴于最大后驗概率（MAP）估計；b）多MAP系統，它依賴于一種新的具有更高召回率的位置識別方法。然而上述方法都不能解決場景中動態物體的問題。在視覺SLAM中，處理動態場景中的對象是一項具有挑戰性的任務。Li等人^［6］提出了一個基于動態環境的實時深度邊緣RGB-D SLAM系統，該系統基于幀到關鍵幀的匹配，他們只使用具有相關權重的深度邊緣點，表明其屬于動態物體的概率。Sun等人^［7］使用量化深度圖像的分割對像素進行分類，并計算連續RGB圖像之間的強度差異。Lin等人^［8］通過研究不同假設下的單目SLAM結果來檢測移動物體。當提取到一個新的特征時，在兩個假設下初始化兩個局部單目SLAM。一個是不加入新特征的局部單目SLAM，另一個是假設新特征是靜止情況下的局部單目SLAM。兩種結果的差異采用二元貝葉斯濾波器進行時間上的整合。經過固定的更新次數后，如果對數幾率比大于預定閾值，則可以將這個新特征劃分為靜態特征。動態環境下基于幾何的SLAM解決方案^［9］雖然在一定程度上限制了動態對象的效果，但也存在一些局限性：a）無法檢測出暫時保持靜止的潛在動態對象；b）缺乏語義信息，不能使用場景的先驗知識來判斷動態對象。

近年來，隨著機器學習等技術的快速發展，一些先進的深度學習框架，如SegNet^［10］、Mask R-CNN^［11］和YOLACT^［12］ ，可以非常精確地進行像素級的語義分割。于是一些研究人員通過卷積神經網絡（CNN）獲得的語義信息，將視覺SLAM系統應用于動態環境。Yu等人^［13］通過對極約束檢查特征點的運動一致性。如果物體移動的一致性檢查產生一定數量的動態點落到了被分割對象的輪廓上，則這個物體被確定為移動物體，并且那些位于對應物體輪廓中的全部特征點都將被移除。建立在ORB-SLAM2上的Detect-SLAM^［14］算法將視覺SLAM與SSD集成在一起，使這兩個模塊互惠互利。它們將特征點屬于運動對象的概率稱為運動概率，并將關鍵點區分為高置信度靜態、低置信度靜態、低置信度動態和高置信度動態四種狀態。考慮到檢測的時延和連續幀的時空一致性，只利用關鍵幀的彩色圖像進行SSD檢測，同時在跟蹤線程中逐幀傳播概率。一旦獲得檢測結果，就將關鍵幀插入到局部地圖中，并更新局部地圖上的移動概率。然后更新與關鍵幀匹配的局部地圖中3D點的移動概率。Bescos等人^［15］的算法也是基于ORB-SLAM2構建的，通過添加動態對象檢測和背景修復功能，在單目、雙目和RGB-D數據集的動態場景中是魯棒的。它采用多視圖幾何和深度學習相結合的方法檢測運動目標。其工作在TUM數據集上取得了不錯的結果。但是，該算法并沒有對場景中的移動目標、可移動目標（靜態物體，但是可移動，比如書本）進行區分。這對于一些動態物體較多的場景中，如果將所有可能移動物體的特征點全部剔除^［16］，那系統不能提取到足夠多的特征點，進而會對跟蹤和建圖產生影響。

針對上述問題，本文在總結室內動態環境下視覺SLAM方法的基礎上，提出在動態場景中基于動態區域剔除的RGB-D視覺SLAM算法，在下文中用YD-SLAM代替。首先，利用卷積神經網絡算法，分割出環境中的各個動態和靜態區域，剔除掉場景中的運動特征點。然后采用多視圖幾何算法檢測出可移動物體。為了檢測特征點和地圖點的一致性，對圖像幀和關鍵幀中的地圖點和特征點都添加可移動的屬性，包括靜態點、動態點、靜態可移動點和由動態或靜態可移動的點變為靜態點四類。從靜態對象、動態對象和靜態可移動對象中提取的特征點初始化為靜態點、動態點和靜態可移動點。本文算法不僅保留靜態特征點，而且通過特征點的檢測，提取了運動目標中的靜態特征點，最后使用最小化重投影誤差的技術對相機位姿和地圖點進行優化，并使用TUM數據集與其他算法進行了對比實驗。

1 RGB-D SLAM框架

視覺里程計中的特征點法對兩幀圖像進行特征提取和匹配，提取ORB（oriented FAST and rotated BRIEF）^［17］特征描述子，之后采用對極幾何、PNP算法或ICP算法來估計位姿。而在特征點提取和特征匹配的過程中由于場景中動態物體的存在，會提取到動態物體身上的特征點。為了消除動態物體上的特征點對于定位和建圖的影響，本文采取深度學習和幾何方法相結合的形式，消除場景中的動態物體，并通過幾何方法提取出可移動物體上的靜態特征點。系統的整體結構如圖1所示。

1.1 語義分割

針對室內動態環境中物體的分割，采用一種基于深度學習的YOLACT網絡。YOLACT網絡是一種簡單的全卷積實時實例分割模型，它可以產生像素級的圖像語義分割和實例標簽，并且速度明顯優于以往的實例分割算法。語義分割的算法通過PyTorch深度學習框架在Ubuntu 18.04系統中實現。本文算法的深度學習框架YOLACT采用其中的ResNet50-FPN作為主干網絡，本文算法直接使用在COCO數據集上預先訓練的參數^［18］，不進行任何微調。YOLACT的輸入是一個原始的RGB圖像。首先經過卷積神經網絡將那些有可能被認為是動態或可移動的類別分割出來（如行人、汽車、輪船和動物等），將環境中大多數的動態對象包括在語義分割的標簽之中。如果需要更多的動態類別，可以在數據集上訓練的網絡用新的訓練數據進行微調。假設算法輸入的是一個m×n×3的RGB圖像，由于YOLACT網絡的輸入是一個原始的RGB圖像，則網絡的輸出就是一個m×n×l的矩陣，其中l是圖像中物體的數量。對于網絡最后的每個輸出通道i∈l，都會得到一個對象的二進制mask。在TUM RGB-D數據集中，算法挑選人和椅子，在此環境中提取的特征點中，將屬于人的特征點標記為動態點，將屬于椅子的特征點標記為靜態但可移動特征點，其他特征點標記為靜態點。最后通過將所有的通道組合成一個通道，得到一個場景圖像中得到的人和椅子的分割。

1.2 位姿初始化

在對動態場景中的動態區域進行分割之后，使用圖像靜態部分的特征點來跟蹤相機位姿。由于分段輪廓通常稱為高梯度區域，所以往往會出現顯著的點特征。本文算法不考慮這些等高線區域的特征。在此階段實現的跟蹤比ORB-SLAM2^［4］中的跟蹤更簡單，它直接將場景地圖特征投影到圖片幀中，在場景中記錄的圖像靜態區域中搜索幾何對應關系，并通過最小化重投影誤差來優化相機姿態。

1.3 移動一致性檢測

為了測試特征點和地圖點的一致性，對幀和關鍵幀中的地圖點和特征點添加可移動的屬性，包括靜態點、動態點、靜態可移動點和由動態或靜態可移動的點變為靜態點四類。從靜態對象、動態對象和靜態可移動對象中提取的特征點初始化為靜態點、動態點和靜態可移動點，由于這里的幀、關鍵幀和地圖點的定義與ORB-SLAM2相同。相關的定義和解釋及更多的細節請參考ORB-SLAM2^［4］。

由于TUM RGB-D數據集為30 fps，在連續的兩幀中很難區分運動點的隨機誤差和位姿估計誤差。為了解決這個問題，算法記錄了當前幀的地圖點對應的上一幀中的特征點ID，這樣就可以找到當前幀地圖點在之前任意一幀中對應的特征點。

在本文中，跟蹤五個連續幀的可能運動特征點。如果當前幀中的特征點和當前幀前四幀中對應的特征點滿足極線約束，則將當前幀中的特征點和前四幀中對應的特征點視為靜態特征點，也可以根據情況改變跟蹤幀的數量。

設m和m-4分別表示當前幀的id和當前幀之前的第四幀的id。令P_m、P_m-4分別表示當前幀和當前幀之前的第m-4幀中的匹配點，x_m、x_m-4分別為它們的齊次坐標形式：

p_m=［u_m，v_m］，p_m-4=［u_m-4，v_m-4］（1）

x_m=［u_m，v_m，1］，x_m-4=［u_m-4，v_m-4，1］（2）

當前幀的第m-4幀到當前幀的變換矩陣可由下式計算：

T_m（m-4）=T_mw*T_w（m-4）=R_m（m-4）t_m（m-4）0^T1（3）

其中：T_mw是世界坐標系到當前幀坐標系的變換矩陣；T_w（m-4）為第m-4幀坐標系到世界坐標系的變換矩陣。然后基本矩陣F和極線L計算如下：

F=K^-Tt_m（m-4）^R_m（m-4）K^-1（4）

L=AB

C=Fx_m-4（5）

其中：K是相機的內參。最后當前幀的匹配點到對應的極線距離為

D=x_mFx_m-4A²+B²（6）

如果D小于一個設置值，系統將改變特征點的屬性，其對應地圖點的特征由動態或靜態可移動的物體變為靜態點；否則，將特征點的屬性轉換為移動點，只在當前幀中刪除對應的地圖點，這樣就不需要在下一幀中進行跟蹤。如果當前幀被判斷為關鍵幀，那么該特征點會創建一個新的地圖點。本文算法對于靜態特征點使用類似的策略。如果一個從靜態物體提取的特征點可以在連續5幀中跟蹤，但是違反了極線約束，特征點的屬性將被轉換成運動點，相應的地圖點會在當前幀被刪除，以防語義分割有一些錯誤或者誤匹配。同樣地，如果當前幀被判斷為關鍵幀，那么該特征點會創建一個新的地圖點。

1.4 位姿調整

在這一階段的開始，系統有初始化的相機姿態、靜態特征點、動態特征點、靜態可移動特征點和從移動特征點轉變的靜態特征點。然后，系統進行了一個兩階段的姿勢調整：a）利用靜態特征點、靜態可移動特征點和從移動特征點轉變的靜態特征點減小重投影誤差，對攝像機姿態進行微調；b）通過將局部地圖點投影到當前幀中，提取當前幀中更多的特征點，并將它們的屬性設置為與對應的局部地圖點相同；算法使用具有靜態點屬性的地圖點，是因為其他類型的地圖點可以從它的原始位置移動，進而影響對場景的重建和跟蹤。然后使用新的特征點和在第一階段使用的特征點一起來調整相機的姿態。

1.5 局部建圖

在建圖的過程中，本文算法只對地圖中的靜態特征點進行了局部BA。因為移動地圖點不僅增加了局部BA的計算量，而且降低了局部BA的精度，并且與DynaSLAM和DS-SLAM不同的是，仍然將動態對象的地圖點構建到局部地圖中，用于跟蹤和測試它們的移動一致性。它們也可以用于其他研究，如動態地圖的實時構建和目標跟蹤。與ORB-SLAM2不同的是，本文算法只在局部地圖線程中融合靜態地圖點。

2 基于YOLACT和多視圖幾何的動態物體分割

在上述的語義分割階段，通過使用語義分割框架YOLACT，環境中的大多數動態物體都能夠被分割出來，且不再用于跟蹤和建圖。但是，環境中還存在一些比較小且通過神經網絡無法被分割的小物體，對于這些物體來說，它們雖然在某些時刻保持靜止，但也是可移動的。

對于可移動物體的檢測問題，本文采用如下方法：采用當前幀和關鍵幀中關鍵點之間角度的大小來判斷當前圖片幀中的關鍵點是否屬于動態物體，通過在TUM數據集中的測試發現，如果角度大于30°，將其考慮認定為動態物體。

多視圖幾何的總體步驟如下：

a）同時考慮新幀和關鍵幀之間的旋轉和距離，在輸入幀的選擇上，通過對動態物體檢測精度和計算代價的折中，選擇與之前幀具有最大重疊的關鍵幀^［19］，并將重疊關鍵幀的數量設置為5。

b）對于圖片幀中的關鍵點p，計算每個關鍵點p從之前關鍵幀到當前圖片幀的投影，獲得關鍵點p′以及由相機運動得到的投影深度，并且圖片中的關鍵點p是通過ORB-SLAM2^［4］算法中的特征提取算法得到的。

c）圖片中的每一個關鍵點對應的3D點P，計算p點的反投影和p′之間的角度∠pPp′，也即圖2中的平行角度α。

d）對于角度α，如果夾角α＞30°，點可能會受到遮擋，并且有可能會被忽略。經過在TUM數據集中的測試和觀察，對于夾角α＞30°的關鍵點對應的物體算法，考慮將它們認定為動態物體。

e）在考慮重投影誤差的情況下，得到關鍵點p′對應的深度D′，比較當前幀關鍵點的深度D′和投影深度的大小。

f）如果差值ΔD=D_proj-D′超過閾值T_D，那么關鍵點p′對應的物體將被視為動態物體。

圖2中描述了多視圖幾何的數學表示，來自關鍵幀KF的關鍵點p使用其深度和相機位姿，被投影到當前幀CF，產生關鍵點p′和深度D′，然后計算投影深度D_proj，如果D_proj與D′相等，標記為靜態目標；若D_proj與D′相差過大，即ΔD=D_proj-D′大于閾值T_D，則標記為動態目標。為了設置閾值T_D，標記了TUM數據集中30張圖片中的動態物體，通過評估本文方法對于不同閾值T_D的準確率和召回率。經過最大化表達式0.7×precision+0.3×recall，設定0.4 m是一個合理的選擇。

對于標記為動態的一些關鍵點位于移動對象的邊界上時，可能會導致一些問題。為了避免這種情況，算法使用深度圖像給出的信息，如果關鍵點設置為動態，但深度圖的自身周圍像素具有較大的方差，將標簽改為靜態。在明確了關鍵點的歸屬之后，使用區域生長算法^［20］對屬于動態對象的所有像素進行分類，得到運動物體的掩膜。在RGB幀的例子和其對應的動態掩膜如圖3（a）所示。使用CNN的結果（圖3（b））可以和幾何方法結合用于全物體檢測（圖3（c））。可以看出兩種方法各自的好處和局限性，對于多視圖幾何的方法，主要的問題是初始化并不容易，因為它具有多視圖的性質。而深度學習的方法由于其不錯的性能，并不存在這樣的初始化問題。

不過，深度學習的方法主要限制是無法識別那些靜態的但是可移動的對象。這樣的情況可以采用多視圖一致性來解決，所以為了結合兩種方法的優點，將兩種方法組合到一起。

在兩種方法結合使用時，如果都檢測到了動態對象，則最終的分割掩膜采用幾何方法的分割掩膜，如果僅通過深度學習的方法檢測到動態對象，則最終的分割掩碼也應包含此對象。最終兩種方式結合之后的效果如圖3（c）所示。

3 實驗與分析

本文將在這個部分把實驗得出的結果予以討論，以證明算法的魯棒性和準確性。筆者已經在公共TUM RGB-D數據集對本文算法進行了評估，并與動態環境中的其他優秀的SLAM系統進行了比較，使用了原始論文中的實驗結果。為了測試本文算法在動態場景中的改進，還將本文系統與原始的ORB-SLAM2進行了比較。TUM數據集^［21］由39個用Microsoft Kinect傳感器在不同室內場景下以全幀速率（30 Hz）記錄的序列組成。RGB和深度圖像以及數據的真實值都是可以用的，這些數據是由高精度運算捕捉系統記錄的最新數據。在序列sitting中，兩個人坐在辦公桌前，一邊說話，一邊有一些手勢動作，因此可以看出，這個序列的運動程度很低。在序列walking中，兩個人大部分時間都在背景和前景中行走，有時他們會坐在桌子面前。這些序列對于原始的ORB-SLAM2算法具有很大的挑戰性。例如場景中移動的人或者移動的物體可能會因為動態物體特征的不穩定性破壞ORB-SLAM2的魯棒性和準確性，有時甚至會破壞系統的穩定性。

本文使用sitting和walking序列對算法進行了測試，以評估其從運動物體中檢測靜態特征點和發現運動特征點的能力。

首先，測試了連續五幀跟蹤特征點的結果，然后測試它們的運動一致性。如圖4所示，圖中的紅點表示兩個相鄰幀之間不滿足移動一致性測試的特征點（見電子版）。在測試中如果設置的閾值過小，由于姿態估計誤差，算法可能會出現錯誤，將從靜態對象中提取的靜態特征點識別為運動特征點。而這些靜態特征點對于糾正錯誤可能是至關重要的，對于可能移動的特征點也是如此。因此如果閾值設置得太小，算法就不能準確地檢測出靜態特征。相反，如果設置的閾值相對較大，兩個相鄰幀之間的特征點的運動可能很小，系統容易將運動特征點錯誤地識別為靜態特征點。如果對連續幀跟蹤特征點，運動會使得系統能夠從姿態估計誤差中區分運動特征點。通過實驗表明，如果跟蹤兩個連續幀，位姿估計誤差會大大下降，跟蹤5個連續幀是比較合適的方法。

在TUM數據集上一個移動性較小的環境序列中，將本文算法與ORB-SLAM2算法進行比較，如圖5所示。在序列fr3_sitting_xyz中將本文算法與ORB-SLAM 2算法進行比較，經過對比實驗，圖5（a）是ORB-SLAM2的軌跡估計，圖5（b）是本文算法的軌跡估計。可以看出，由于是在靜態的環境，兩者的差別并不大，并且由于ORB-SLAM2算法沒有深度學習的動態物體處理階段，ORB-SLAM2的處理時間相對來說會更短。

其次，本文展示了利用運動物體的靜態特征來優化位姿估計的有效性。只將算法中的移動一致性測試部分移除，其他位置保持不變，也就是說，先使用靜態物體中提取的特征點來微調姿態估計。將算法命名為YD-SLAM_lighgt。本文使用Sturm等人^［21］提出的絕對軌跡誤差作為誤差度量，比較了YD-SLAM_lighgt和YD-SLAM的性能。為了說明多線程系統的不準確性，將每個序列運行五次，并顯示估計軌跡準確性的中值結果。表1顯示了TUM數據集中8個序列的對比結果。

在所有8個序列中，YD-SLAM的絕對精度都高于YD-SLAM_light，并且如果序列中的某些幀不能提供足夠可靠的靜態物體特征點，比如在序列fr3_walking_rpy這種移動物體較多的場景中，提取的靜態物體的特征點可能不是足夠多的，需要借助運動物體的靜態特征點，絕對軌跡精度的提高將更為顯著。將本文的算法與原始的ORB-SLAM2、DynaSLAM和ORB-SLAM3^［5］算法進行比較，結果如表2所示（表中“×”表示相關論文中沒有提供結果，“*”表示系統在運行相應序列時會出現故障，數值后面的“^”表示系統無法跟蹤序列中的某些幀，但能夠重新定位。在五次實驗中，所有ORB-SLAM2的實驗都未能跟蹤到fr3_sitting_rpy序列的某些幀，在五次實驗中有兩個ORB-SLAM2的實驗未能跟蹤到fr3_sitting_half序列的某些幀）。與原始ORB-SLAM2相比，本文的算法估計軌跡的準確性在walking序列中有了顯著提高。由于ORB-SLAM2無法跟蹤序列fr3_sitting_rpy和fr3_sitting_half中的某些幀，而本文算法即使是在sitting場景中也表現出比較好的性能，所以本文算法與ORB-SLAM2相比更加健壯。圖6給出了本文算法和ORB-SLAM2的估計軌跡誤差與真實值相比的例子。從ORB-SLAM3算法在這些序列的效果可以看到，雖然在動態環境下相比ORB-SLAM2算法有所改善，但是在高動態的序列中還是會有較大的誤差。

在表2、3中可以看到，本文算法在sitting序列中的表現優于DynaSLAM，在動態場景的walking序列中的表現優于Detect-SLAM。這是由于本文在場景中提取的特征點比DynaSLAM更加可靠，在DynaSLAM中，由于其丟棄了動態物體上的所有特征點，導致在一些場景下不能提供足夠多并且可靠的特征點。比如，由于靜態對象在fr3_walking_rpy序列的某些幀中不能夠提供足夠可靠的特征點，所以本文算法在類似fr3_walking_rpy序列這樣的場景中的性能要優于DynaSLAM算法。而在動態對象較多的場景中，由于Detect-SLAM算法在SLAM的跟蹤線程和局部地圖線程消除運動目標，一旦檢測到運動目標，比如人、車、狗，不管它是運動還是不運動，都將其視為潛在運動的，移除這個目標所在區域的特征點。

這樣一來，一些存在于動態物體上的靜態特征點和屬于運動標簽但是在場景中保持靜止的物體，直接被Detect-SLAM算法剔除掉了，這導致在建圖的時候不能提供足夠多并且可靠的特征點。于是在fr3_walking_xyz、fr3_walking_half這樣高動態場景的序列中，本文算法會優于Detect-SLAM。在表3中，將本文算法與SOF-SLAM算法進行了比較，算法將視覺SLAM的動態特征檢測部分作了比較大的改進。SOF-SLAM^［22］算法提出了一種動態特征檢測算法和語義光流，是一種緊密耦合的方法，能夠充分利用隱藏在語義和幾何信息中的動態特征，有效且合理地去除動態特征。所以相比ORB-SLAM2算法，SOF-SLAM算法在TUM RGB-D序列的fr3_walking中的誤差都有了很明顯的優化；在序列fr3_walking_rpy，由于相機在場景中旋轉時可能會有大量靜態物體重新加入到圖片中，所以SOF-SLAM算法在一些場景中的效果可能會更好。

但是由于SOF-SLAM在計算光流的過程中存在局限性，即場景中的大多數特征必須是靜態的，以此減少剩余的少數動態特征的影響，并且對于動態特征的判斷采用外極線約束的方式。所以在一些高動態的場景，比如序列fr3_walking_xyz、fr3_walking_half中其存在大量的移動物體，會產生一定的誤差，最終與本文算法相比，本文算法有更好的結果。

最后，將本文算法與DS-SLAM進行了性能比較，DS-SLAM算法能夠檢測出運動物體中提取的特征點是運動的還是靜止的，比較的結果如表4所示。本文算法在數據集中的大多數序列中都能夠更準確地工作。

4 結束語

本文提出了一個基于ORB-SLAM2的視覺SLAM系統，該系統利用深度學習方法YOLACT獲取的語義信息和RGB-D相機獲取的深度信息檢測場景中動態物體和潛在動態物體的運動特征點，通過剔除動態物體對于系統建圖的影響，系統得以在動態環境下準確、魯棒地運行。通常情況下，對于動態場景中特征點的提取，大多數算法采取的是將環境中動態物體的特征點全部剔除掉，采用場景中靜態物體的特征點，以達到系統的魯棒性。本文的算法則是在原有的基礎之上通過檢測出運動物體的靜態特征點來挖掘更多可靠的特征點用于攝像機姿態估計，這對于一些在靜止物體上不能提供足夠的場景特征點的情況有很大的幫助。通過將本文算法與ORB-SLAM2、YD-SLAM_light和DS-SLAM在TUM數據集中對于視覺SLAM系統來說具有挑戰性的動態序列上進行實驗對比之后，驗證了本文算法的有效性。實驗結果表明，本文算法在動態環境下能夠更準確更魯棒地工作。

參考文獻：

［1］丁文東，徐德，劉希龍，等.移動機器人視覺里程計綜述［J］.自動化學報，2018，44（3）：385-400.（Ding Wendong，Xu De，Liu Xilong，et al.Review on visual odometry for mobile robots［J］.Acta Automatica Sinica，2018，44（3）：385-400.）

［2］Engel J，Sch?ps T，Cremers D.LSD-SLAM：large-scale direct monocular SLAM［C］//Proc of the 13th European Conference on Computer Vision.Cham：Springer，2014：834-849.

［3］Engel J，Koltun V，Cremers D.Direct sparse odometry［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，40（3）：611-625.

［4］Mur-Artal R，Tardos J D.ORB-SLAM2：an open-source SLAM system for monocular，stereo，and RGB-D cameras［J］.IEEE Trans on Robotics，2017，33（5）：1255-1262.

［5］Campos C，Elvira R，Rodríguez J J G，et al.ORB-SLAM3：an accurate open-source library for visual，visual-inertial and multi-map SLAM［J］.IEEE Trans on Robotics，2021，37（6）：1874-1890.

［6］Li Shile，Lee D.RGB-D SLAM in dynamic environments using static point weighting［J］.IEEE Robotics and Automation Letters，2017，2（4）：2263-2270.

［7］Sun Yuxiang，Liu Ming，Meng M Q.Improving RGB-D SLAM in dynamic environments：a motion removal approach［J］.Robotics and Autonomous Systems，2017，89：110-122.

［8］Lin K，Wang C.Stereo-based simultaneous localization，mapping and moving object tracking［C］//Proc of IEEE/RSJ International Confe-rence on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2010：3975-3980.

［9］艾青林，劉剛江，徐巧寧.動態環境下基于改進幾何與運動約束的機器人RGB-D SLAM算法［J］.機器人，2021，43（2）：167-176.（Ai Qinglin，Liu Gangjiang，Xu Qiaoning.An RGB-D SLAM algorithm for robot based on the improved geometric and motion constraints in dynamic environment［J］.Robot，2021，43（2）：167-176.）

［10］Badrinarayanan V，Kendall A，Cipolla R.SegNet：a deep convolutional encoder-decoder architecture for image segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

［11］He Kaiming，Gkioxari G，Dollar P，et al.Mask R-CNN［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：2961-2969.

［12］Bolya D，Zhou Chong，Xiao Fanyi，et al.YOLACT：real-time instance segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9157-9166.

［13］Yu Chao，Liu Zuxin，Liu Xinjun，et al.DS-SLAM：a semantic visual SLAM towards dynamic environments［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2018：1168-1174.

［14］Zhong Fangwei，Wang Sheng，Zhang Ziqi，et al.Detect-SLAM：making object detection and SLAM mutually beneficial［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2018：1001-1010.

［15］Bescos B，Fácil J M，Civera J，et al.DynaSLAM：tracking，mapping，and inpainting in dynamic scenes［J］.IEEE Robotics and Automation Letters，2018，3（4）：4076-4083.

［16］魏彤，李緒.動態環境下基于動態區域剔除的雙目視覺SLAM算法［J］.機器人，2020，42（3）：82-91.（Wei Tong，Li Xu.Binocular vision SLAM algorithm based on dynamic region elimination in dynamic environment［J］.Robot，2020，42（3）：82-91.）

［17］Rublee E，Rabaud V，Konolige K，et al.ORB：an efficient alternative to SIFT or SURF［C］//Proc of International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2011：2564-2571.

［18］Deng Jia，Dong Wei，Socher R，et al.ImageNet：a large-scale hierarchical image database［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2009：248-255.

［19］Wei Tan，Haomin Liu，Dong Zilong，et al.Robust monocular SLAM in dynamic environments［C］//Proc of the 12th IEEE International Symposium on Mixed and Augmented Reality.Piscataway，NJ：IEEE Press，2013：209-218.

［20］Gerlach N L，Meijer G J，Kroon D，et al.Evaluation of the potential of automatic segmentation of the mandibular canal using cone-beam computed tomography［J］.British Journal of Oral and Maxillofacial Surgery，2014，52（9）：838-844.

［21］Sturm J，Engelhard N，Endres F，et al.A benchmark for the evaluation of RGB-D SLAM systems［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2012：573-580.

［22］Cui L，Ma C.SOF-SLAM：a semantic visual SLAM for dynamic environments［J］.IEEE Access，2019，7：166528-166539.