語義線特征輔助的動態SLAM

摘要：動態環境干擾是視覺同時定位與地圖構建（SLAM）領域內一個亟待解決的問題，場景中的運動對象會嚴重影響系統定位精度。結合語義信息和幾何約束更強的線特征輔助基于傳統ORB特征的SLAM系統來解決動態SLAM問題。首先采用深度學習領域的優秀成果SOLOv2作為場景分割網絡，并賦予線特征語義信息；完成物體跟蹤和靜態區域初始化后，使用mask金字塔提取并分類特征點；再使用極線約束完成動態物體上點線特征的剔除；最后融合靜態點線特征完成位姿的精確估計。在TUM動態數據集上的實驗表明，所提出的系統比ORB-SLAM3的位姿估計精度提高了72.20％，比DynaSLAM提高了20.42％，即使與近年來同領域內的優秀成果相比也有較好的精度表現。

關鍵詞：同時定位與地圖構建；動態環境；實例分割；SOLOv2；線特征

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2023）05-047-1583-06

0引言

基于視覺的同時定位與地圖構建是指機器人在未知環境中，通過對視覺傳感器獲得的環境信息進行處理后，實現自身定位和運動估計，并完成對所處環境的地圖繪建任務［1］。而場景中運動對象的干擾直接影響了整個SLAM系統的運動估計精度，并間接導致錯誤的建圖。復雜動態環境是SLAM系統部署在真實環境時必須考慮的問題，同時也是近年來SLAM領域的重要研究方向［2］。針對動態SLAM問題的解決方案可按異常特征檢測方式的不同分為基于傳統幾何約束的方法和基于深度學習的方法［3］。

幾何約束法一般作用于特征初步提取之后，先使用全局點特征、線特征或者面特征計算出連續時間域全局特征的共有約束，再利用此約束遍歷全局特征，篩檢出偏離共有約束的離群值。Sun等人［4］提出了一種結合RGB-D數據并使用粒子濾波器跟蹤篩除圖像中的運動區域塊，該團隊之后又提出了融合光流的OFD-SLAM［5］。Zhang等人［6］使用稠密光流分割場景中的動靜態區域，并使用RGB-D信息重建靜態背景點云。StaticFusion［7］使用加權優化概率化的圖像分割結果來實現靜態背景的重建。Dai等人［8］把點特征按空間相關性對其動靜狀態進行判別。Kim等人［9］提出了一種基于距離圖像的方法，該方法通過檢查激光雷達掃描結果和預構建地圖之間的一致性來刪除動態點，并使用多分辨率錯誤預測還原算法來細化地圖。ERASOR［10］則是一種基于柵格占據的動態物體過濾方法，它在構建好點云地圖后再對地圖進行處理，實現對動態場景建圖的優化。

不能充分理解環境動態信息是導致SLAM系統較差精度表現的直接原因。在傳統幾何法的基礎上引入基于深度學習的圖像分割和檢測，如今已成為解決動態SLAM問題的有效方案。DS-SLAM結合SegNet［11］語義分割網絡識別環境中的運動對象，并用稀疏關鍵點光流來檢測外點特征。DynaSLAM［12］使用了檢測和分割精度更高的MaskR-CNN，再結合多視圖幾何法和光流法在動態環境中取得了優異的精度表現，此外該系統還可以修復運動對象遮擋區域。Detect-SLAM［13］利用SSD網絡對關鍵幀進行目標檢測，并通過在幀間關聯2D和3D點的運動狀態實現外點濾除。Ji等人［14］提出了一個高效的幾何模塊，通過將深度圖像聚類為幾個區域，并通過它們的重投影誤差識別動態區域來檢測未知的移動物體。Chen等人［15］將激光雷達掃描變成一個體素化的稀疏四維點云，并通過結合殘差圖像提高了網絡對移動目標的分割性能，其設計的LMNet啟蒙了諸多的后續研究。MID-Fusion［16］是一種考慮場景對象為坐標中心的方案，它結合先驗物體模型來同時計算動態對象和相機各自的運動。為了同時跟蹤場景中的多個剛體，Henein等人［17］提出了一種不依賴先驗三維建模的運動跟蹤模型，然后在對象和相機跟蹤的因子圖優化框架中集成運動模型和語義信息。VDO-SLAM［18］也提出使用包含所有物體運動和相機運動的統一模型描述動態場景，但其需要預先完成圖像分割和場景光流計算，無法實現獨立運行。DynaSLAMII［19］通過優化邊界框結構實現2D特征匹配三維物體，進一步提高了系統對于運動物體的多目標跟蹤能力。RDS-SLAM［20］是一個接近實時的語義動態SLAM系統，它使用關鍵幀分割結合三維點貝葉斯濾波模型完成外點檢測。

盡管這些SLAM方法在動態環境中取得了很大的進步，但在特定動態場景中仍面臨著錯誤位姿估計，甚至系統無法運行等問題，并且對于跟蹤精度和運行效率的權衡也還有可優化的空間。由此，本文作出了以下貢獻：a）在SALM系統中集成了近年來性能和效率表現更為先進的SOLOv2實例分割網絡，對場景中的物體實現像素級檢測分割；b）結合語義信息和線特征，跟蹤場景物體并初始化掩膜（mask）金字塔，用以完成點特征的提取、補充和分類，再結合傳統極線約束，實現物體運動狀態的檢測；c）幾何約束更強的線特征還被用做動態場景中的特征補充，依靠點線特征融合實現更精確的相機位姿估計。

1語義點線動態SLAM系統

1.1系統概述

考慮到ORB-SLAM3［21］是靜態環境假設下點特征SLAM的優秀代表，本文以其RGB-D版本系統為基線框架，針對動態環境展開研究工作。因此本文提出的系統仍然包含tracking、localMapping、loopClosing三大基礎線程，此外還新增了快速LSD（linesegmentdetector）線特征提取和SOLOv2分割并行線程。圖1簡明地描述了本文系統的整體框架。

首先，在構造當前幀信息的同時開啟線特征提取和實例分割線程，把重開銷的兩部分設計為并行線程可大幅提高系統運行效率；之后通過線特征匹配和相鄰幀的分割結果，計算confidence矩陣完成物體跟蹤；另一方面，為了提高點特征的可靠性和有效性，本系統使用實例分割掩膜的金字塔來輔助提取關鍵點，實現將關鍵點分類到各個物體和背景中并適當補充背景上的點；隨后，通過假設絕對靜態背景的關鍵點匹配對計算基礎矩陣，并以此對物體表面匹配點對檢查極線約束；緊接著，按照極線約束檢查結果和前面的物體跟蹤結果來劃分動靜態區域；最后，對靜態的關鍵點對和關鍵線對進行重投影誤差融合，完成相機位姿估計并在后端完成稀疏點云的建圖工作。

1.2SOLOv2實例分割

在實例分割領域，Wang等人［22］從masklearning和快速NMS（非極大值抑制）兩個方面出發，提出了SOLOv2這一高效率兼高精度的mask生成網絡。SOLOv2既不需要初階段目標檢測，也不需要嵌入學習，它至多能以31.3FPS的運行速度達到37.1%的mAP，其速度和精度表現一定程度地領先于MaskR-CNN和Yolact，非常適合作為SLAM系統的語義信息提取網絡。考量到實時性，本文選用較為輕量化版本的模型SOLOv2_Light_448_R50_3x在COCO數據集上進行訓練，并使用TensorRT推理引擎完成部署。

1.3語義線特征

對分割所得實例進行跟蹤可以提高系統對場景中運動物體的持續檢測能力。例如，文獻［18］提取并分類靜態區域的點和動態對象的點，再通過掩膜區域關鍵點的匹配來跟蹤物體，而Cube-SLAM［23］和EAO-SLAM［24］都使用到了邊緣線特征輔助幀間物體的關聯。所以為提高系統對實例中的小物體和具有良好幾何輪廓物體的跟蹤效果，本文使用幾何約束更為敏感的線特征對物體進行匹配，同時提取到的線特征還可以作為良好的空間約束，進一步提高后續的位姿估計精度。

出于效率考慮，本文參考PL-VINS［25］的改進快速LSD算法對輸入幀提取線特征，對當前幀Ik提取到的關鍵線使用LBD描述后與參考幀Ik-1關鍵線完成描述子特征匹配，對動態和靜態線特征不加區分。線特征匹配基于LBD描述子的漢明距離，使用KNN算法，并設置非極大值抑制閾值為0.7（TUM_fr3序列）。考慮時間域的語義信息流動性，即兩幀間的實例分割結果并沒有相互關聯，例如Ik-1幀的椅子01在Ik幀的檢測結果是椅子02。可將關鍵線與并行線程的SOLOv2實例分割結果融合，得到包含語義信息的線特征。當關鍵線的兩個端點位于同一物體mask掩膜上時，則認為該線段為該物體上的特征。假設背景M0和實例掩膜Midclass構成集合M，其中實例編號嚴格遵循COCO數據集的標簽類別次序，如M0201中的“01”代表類別“人”，“02”代表第02號人。本文通過遍歷關鍵線匹配對用語義線特征對物體的跟蹤依賴于如圖2所示的confidence矩陣。

confidence矩陣大小為m×n，（0，1）至（0，n-1）為參考幀物體實例，（1，0）至（m-1，0）為當前幀物體實例，令實例Midclass為編號class×100+id，（x，y）為當前幀實例x與參考幀實例y的有效匹配線對的數量，第m行和n列為各項的線匹配數總和。對分配結果使用非極大值抑制并取最優匹配，即可得到幀間物體實例的實例追蹤關系。追蹤效果如圖3所示，成功使用語義線特征對物體實現持續追蹤，并為新出現的物體賦予新的編號。

如果當前幀產生實例的成功跟蹤，則傳遞參考幀的物體運動狀態，結合跟蹤到的所有靜態物體Midclass和背景M0，可以得到如式（1）所示的初始靜態區域。

1.4點線約束的動態物體檢測

文獻［11～13］對提取到的特征直接按掩膜類別做篩除，并使用基于特征幀間投影的幾何方法來檢測動態特征。在此基礎上，本文提出mask金字塔和遞進式極線約束計算方法，更進一步地優化了上述方法中的兩個問題：a）按標簽類別劃分動態物體并直接刪除動態區域特征后，特征過少嚴重影響跟蹤精度的問題；b）極線幾何約束在動態場景中的有效性下降問題。

初始基礎矩陣Finit的準確性直接關系極線約束鑒別動態物體的效果，為了使用不包含物體表面的關鍵點計算出更為精確可靠的背景關鍵點基礎矩陣，本文結合前面SOLOv2已得的分割實例，修改了ORB-SLAM3中的關鍵點提取方法，在計算輸入幀八層金字塔的同時也計算實例掩膜的八層金字塔，如圖4所示。mask金字塔有兩個作用：a）保證點集中的所有點可以在各自層的各自cell塊內都能對關鍵點按實例分類為物體（彩色部分）點集pki∈Midclass和背景（黑色部分）點集pki∈M0；b）在cell塊內的背景區域增加關鍵點數量，以獲得更準確的初始基礎矩陣。

3實驗與分析

本文系統在工作站電腦上完成測試，硬件配置為AMDEpyc7452CPU，最高睿頻3.35GHz，32核64線程，256GBRAM和RTX2080TiGPU，系統環境為Ubuntu20.04。

TUM數據集［27］是較為權威的RGB-D室內開源數據集，其中動態場景部分在動態SLAM領域中被廣泛地用于各項指標評估。其動態部分可分為低動態場景和高動態場景兩大類，在TUM_fr3_sitting序列中包含人員和物體的微小運動，TUM_fr3_walking序列中包含人員和物體的大幅度運動，十分考驗系統的跟蹤魯棒性。兩大類的相機運動還可以分為四小類：xyz指相機在三個主軸方向運動；static指相機幾乎不動；rpy指相機沿三個坐標軸做翻滾角、俯仰角、偏航角的旋轉運動；halfsphere指相機在半球面上運動。

3.1跟蹤精度實驗

對本文提出的SOLOv2輔助的語義點線動態SLAM系統（SOLOpointlinedynamicSLAM，SPLD-SLAM）進行跟蹤精度的定量評估，并以基線ORB-SLAM3和多個優秀的動態場景SLAM方案為參考對象。評估指標為絕對軌跡誤差（absolutetrajectoryerror，ATE），即本系統對相機位姿的估計值與數據集真值之間的差異。表1為本文SPLD-SLAM與基線系統的ATE指標對比，其中包括了均方誤差（RMSE）、平均誤差（mean）、中位數誤差（median）和標準差（S.D.）。其中，RMSE項直接描述估計值與真值之差，可以最直觀地反映SLAM系統的準確性，而S.D.項代表系統的估計值距離真值的離散程度，可以反映系統的穩定性。

對每組實驗重復6次再取平均值并取四位有效精度，可得表1的實驗結果。從RMSE誤差項可以看出，本文SPLD-SLAM除了在微動態場景sitting_static中未大幅領先于基線之外，在其余四個高動態場景中取得了平均84.06％的精度提升，而在五個序列的總平均提升也有72.20％。但在挑戰性極高的walking_rpy序列上，本文SPLD-SLAM的誤差還是遠高于其他幾個序列，主要還是因為該序列中相機大幅度旋轉帶來的畫面模糊問題和干擾人員占畫面過多問題。

選擇三個極具代表性的高動態序列對本文SPLD-SLAM與基線系統進行定性分析，如圖8所示。其展示了兩者在fr3_w_xyz、fr3_w_half和fr3_w_rpy這三個序列中的可視化軌跡誤差。對于該軌跡熱力圖，虛線為軌跡真值，實線為估計值，顏色越偏紅則表示誤差越大，顏色越偏藍則表示誤差越小（見電子版）。分析兩者在三個主軸方向的誤差可以看出，SPLD-SLAM估計出的軌跡總體上十分接近軌跡真值，且基本沒有出現類似基線系統局部誤差過大的情況。此外，基線系統在fr3_w_rpy序列上還出現了極為嚴重的軌跡偏離。圖9對比了兩個系統各項誤差隨時間變化的情況，結合標準差項可以看出在整個系統運行周期內，SPLD-SLAM全程都保證了較低的跟蹤誤差和更小的誤差波動，真實直觀地說明了其更高的跟蹤魯棒性和運行穩定性。

為了更有效地分析SPLD-SLAM在同領域內的橫向性能表現，本文還在表2～4中對比了近年來的優秀動態SLAM方案，具體包括DS-SLAM、DynaSLAM、SLAM-PCD［28］和RDS-SLAM。其中，表2是絕對軌跡誤差ATE對比，表3和4分別是平移部分和旋轉部分的相對誤差（RPE）對比。在橫向對比中，本文SPLD-SLAM的精度表現穩定且具有一定的精度優勢。SPLD-SLAM在walking_xyz和walking_half序列中表現出領先的跟蹤精度水準，這也得益于其對位姿估計由粗到細的遞進式優化算法。特別地，將本文SPLD-SLAM與本領域開源方案中的優秀代表DynaSLAM相比，雖然在平移部分RPE中，SPLD-SLAM未與DynaSLAM拉開明顯差距，但在旋轉部分RPE中的三個序列中，說明了本文的延拓性研究有明顯的效果提升。而分析ATE部分的RMSE誤差項可以發現，除了在walking_static中本文SPLD-SLAM的精度略有下降之外，在其他四個序列中均有較大提升，在五個序列上總體平均提升了20.42％。

3.2動態場景稀疏點云

針對動態場景的可視化稀疏點云，為了清晰地展現本文方案的有效性，設計了如圖10所示的多組實驗。其中，圖（a）為點特征稀疏點云，圖（b）為線特征稀疏點云，圖（c）為點線融合稀疏點云。每組的左圖為單純點線特征融合無運動濾噪的建圖效果，右圖為本文SPLD-SLAM對運動干擾處理后的建圖效果。

圖10的實驗在fr3_w_xyz序列上進行，其中每組圖中的左圖紅色圈內為運動干擾人員表面的干擾特征，這些噪聲在地圖中被構建，意味著大量干擾地圖點被系統錯誤地用于相機位姿估計。而從每組圖的右圖中可以看出，在本文設計的語義線特征信息的輔助下，整個系統實現了較好效果的濾噪建圖。

4結束語

針對動態場景的SLAM問題，本文提出將語義信息與線特征結合的解決方案。本文使用比MaskR-CNN的效率和分割

精度更為優秀的SOLOv2作為實例分割網絡，再賦予線特征語義信息；對場景中的動態物體進行追蹤，并計算出初始位姿，然后利用mask金字塔和點的極線幾何約束，對物體的運動狀態進行判定；最后完成動態特征的剔除，并實現精確的點線特征融合位姿估計。在TUM數據集動態序列中的測試結果表明，本文提出的語義信息融合線特征SLAM方案的位姿估計精度與基線ORB-SLAM3相比有顯著提升，與同領域內的優秀代表DynaSLAM相比也有一定程度的提升。即使橫向對比近年來諸多優異動態SLAM方案，本文SPLD-SLAM也有明顯的精度優勢。在未來的工作中，將進一步結合分割所得語義信息對動態場景進行稠密語義地圖的構建，解決更高層的SLAM問題。

參考文獻：

［1］YuanShenghai，WangHan，XieLihua.Surveyonlocalizationsystemsandalgorithmsforunmannedsystems［J］.UnmannedSystems，2021，9（2）：129-163.

［2］CadenaC，CarloneL，CarrilloH，etal.Past，present，andfutureofsi-multaneouslocalizationandmapping：towardtherobust-perceptionage［J］.IEEETransonRobotics，2016，32（6）：1309-1332.

［3］張恒，侯家豪，劉艷麗.基于動態區域剔除的RGB-D視覺SLAM算法［J］.計算機應用研究，2022，39（3）：675-680.（ZhangHeng，HouJiahao，LiuYanli.RGB-DvisualSLAMalgorithmbasedondynamicregionelimination［J］.ApplicationResearchofCompu-ters，2022，39（3）：675-680.）

［4］SunYuxiang，LiuMing，MengMQH.MotionremovalforreliableRGB-DSLAMindynamicenvironments［J］.RoboticsandAutonomousSystems，2018，108（12）：115-128.

［5］ChengJiyu，SunYuxiang，MengMQH.ImprovingmonocularvisualSLAMindynamicenvironments：anoptical-flow-basedapproach［J］.AdvancedRobotics，2019，33（12）：576-589.

［6］ZhangTianwei，ZhangHuayan，LiYang，etal.Flowfusion：dynamicdenseRGB-DSLAMbasedonopticalflow［C］//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway，NJ：IEEEPress，2020：7322-7328.

［7］SconaR，JaimezM，PetillotYR，etal.StaticFusion：backgroundreconstructionfordenseRGB-DSLAMindynamicenvironments［C］//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway，NJ：IEEEPress，2018：3849-3856.

［8］DaiWeichen，ZhangYu，LiPing，etal.RGB-DSLAMindynamicenvironmentsusingpointcorrelations［J］.IEEETransonPatternAnalysisandMachineIntelligence，2020，44（1）：373-389.

［9］KimG，KimA.Remove，thenrevert：staticpointcloudmapconstructionusingmultiresolutionrangeimages［C］//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway，NJ：IEEEPress，2020：10758-10765.

［10］LimH，HwangS，MyungH.ERASOR：egocentricratioofpseudooccupancy-baseddynamicobjectremovalforstatic3Dpointcloudmapbuilding［J］.IEEERoboticsandAutomationLetters，2021，6（2）：2272-2279.

［11］YuChao，LiuZuxin，LiuXJ，etal.DS-SLAM：asemanticvisualSLAMtowardsdynamicenvironments［C］//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway，NJ：IEEEPress，2018：1168-1174.

［12］BescosB，FácilJM，CiveraJ，etal.DynaSLAM：tracking，mapping，andinpaintingindynamicscenes［J］.IEEERoboticsandAutomationLetters，2018，3（4）：4076-4083.

［13］ZhongFangwei，WangSheng，ZhangZiqi，etal.Detect-SLAM：makingobjectdetectionandSLAMmutuallybeneficial［C］//ProcofIEEEWinterConferenceonApplicationsofComputerVision.Piscataway，NJ：IEEEPress，2018：1001-1010.

［14］JiTete，WangChen，XieLihua.Towardsreal-timesemanticRGB-DSLAMindynamicenvironments［C］//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway，NJ：IEEEPress，2021：11175-11181.

［15］ChenXieyuanli，LiShijie，MerschB，etal.Movingobjectsegmentationin3DLiDARdata：alearning-basedapproachexploitingsequentialdata［J］.IEEERoboticsandAutomationLetters，2021，6（4）：6529-6536.

［16］XuBinbin，LiWenbin，TzoumanikasD，etal.MID-fusion：octree-basedobject-levelmulti-instancedynamicSLAM［C］//ProcofInternationalConferenceonRoboticsandAutomation.Piscataway，NJ：IEEEPress，2019：5231-5237.

［17］HeneinM，ZhangJun，MahonyR，etal.DynamicSLAM：theneedforspeed［C］//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway，NJ：IEEEPress，2020：2123-2129.

［18］ZhangJun，HeneinM，MahonyR，etal.VDO-SLAM：avisualdynamicobject-awareSLAMsystem［EB/OL］.（2020）.https：//arxiv.org/abs/2005.11052.

［19］BescosB，CamposC，TardósJD，etal.DynaSLAMⅡ：tightly-coupledmulti-objecttrackingandSLAM［J］.IEEERoboticsandAutomationLetters，2021，6（3）：5191-5198.

［20］LiuYubao，MiuraJ.RDS-SLAM：real-timedynamicSLAMusingsemanticsegmentationmethods［J］.IEEEAccess，2021，9：23772-23785.

［21］CamposC，ElviraR，RodríguezJJG，etal.ORB-SLAM3：anaccurateopen-sourcelibraryforvisual，visual-inertial，andmultimapSLAM［J］.IEEETransonRobotics，2021，37（6）：1874-1890.

［22］WangXinlong，ZhangRufeng，KongT，etal.SOLOv2：dynamicandfastinstancesegmentation［J］.AdvancesinNeuralInformationProcessingSystems，2020，33：17721-17732.

［23］YangShichao，SchererS.CubeSLAM：Monocular3-DobjectSLAM［J］.IEEETransonRobotics，2019，35（4）：925-938.

［24］WuYanmin，ZhangYunzhou，ZhuDelong，etal.EAO-SLAM：monocularsemi-denseobjectSLAMbasedonensembledataassociation［C］//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway，NJ：IEEEPress，2020：4966-4973.

［25］FuQiang，WangJialong，YuHongshan，etal.PL-VINS：real-timemonocularvisual-inertialSLAMwithpointandlinefeatures［EB/OL］.（2020）.https：//arxiv.org/abs/2009.07462.

［26］Gomez-OjedaR，MorenoFA，Zuniga-NoёlD，etal.PL-SLAM：astereoSLAMsystemthroughthecombinationofpointsandlinesegments［J］.IEEETransonRobotics，2019，35（3）：734-746.

［27］SturmJ，EngelhardN，EndresF，etal.AbenchmarkfortheevaluationofRGB-DSLAMsystems［C］//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway，NJ：IEEEPress，2012：573-580.

［28］FanYingchun，ZhangQichi，LiuShaofeng，etal.SemanticSLAMwithmoreaccuratepointcloudmapindynamicenvironments［J］.IEEEAccess，2020，8：112237-112252.