基于異構數(shù)據(jù)融合的SLAM研究綜述

摘要 激光與視覺SLAM技術經(jīng)過幾十年的發(fā)展，目前都已經(jīng)較為成熟，并被廣泛應用于軍事和民用領域.單一傳感器的SLAM技術都存在局限性，如激光SLAM不適用于周圍存在大量動態(tài)物體的場景，而視覺SLAM在低紋理環(huán)境中魯棒性差，但兩者融合使用具有巨大的取長補短的潛力，激光與視覺甚至是更多傳感器融合的SLAM技術將會是未來的主流方向.本文回顧了SLAM技術的發(fā)展歷程，分析了激光雷達與視覺的硬件信息，給出了一些經(jīng)典的開源算法與數(shù)據(jù)集.根據(jù)融合傳感器所使用的算法，從傳統(tǒng)基于不確定度、基于特征以及基于深度學習的角度詳細介紹了多傳感器融合方案，概述了多傳感器融合方案在復雜場景中的優(yōu)異性能，并對未來發(fā)展作出了展望.關鍵詞同時定位與地圖構建（SLAM）;激光SLAM；視覺SLAM;多傳感器融合;移動機器人

中圖分類號TP391.41;TP242

文獻標志碼A

0引言

SLAM（Simultaneous Localization and Mapping，同時定位與地圖構建）技術能夠提供空間定位信息，在GPS信號弱的環(huán)境中[1]，同時估計自身所處的位置與地圖和虛擬場景的構建[2].其中，定位是指確認自身和周圍物體在世界坐標系下的位姿，建圖是指建立機器人所感知周圍環(huán)境的地圖[3].

學者們從不同方面對SLAM技術進行了綜述，例如：王霞等[4]介紹了主流的視覺SLAM（VSLAM）架構，并總結了該領域的標志性成果和研究進展；胡凱等[5]歸類分析了視覺里程計（Visual Odometry，VO） 技術的研究成果，并預測了未來的發(fā)展趨勢；危雙豐等[6]對基于濾波器和基于圖優(yōu)化的兩種激光SLAM框架進行了分析.但已有綜述未見詳細介紹激光與視覺甚至是更多傳感器融合的SLAM方案.

本文首先回顧了SLAM的發(fā)展歷史和最近幾十年在該領域的重要成果，闡述了VSLAM、激光SLAM以及它們的衍生方案，然后介紹了SLAM領域所使用的傳感器，重點分析了視覺、激光以及更多傳感器SLAM的相互融合方案，最后是總結和展望.

1傳統(tǒng)激光與視覺SLAM概述

2016年，Cadena等[7]將SLAM的發(fā)展分為經(jīng)典模型、算法分析和高級魯棒感知三個階段，如圖1所示.早期的研究主要是基于激光雷達的SLAM方案，其框架大多是基于卡爾曼濾波及其衍生算法，例如：Neira等[8]指出標準形式的EKF（Extended Kalman Filter，擴展卡爾曼濾波）方法無法篩選出錯誤的地標觀測點，因此提出了在閉環(huán)階段進行全局位姿優(yōu)化，并且EKF要求確定的運動和觀測模型以及模型的線性假設；Julier等[9]研究了非線性模型對于應用EKF的性能影響；Aulinas等[10]將已有的過濾策略分類為KF（卡爾曼濾波）、IF（信息濾波）、UKF（無跡卡爾曼濾波）和CKF（容積卡爾曼濾波）等，比較了它們在不同場景和不同地標數(shù)量的地圖上的優(yōu)缺點，并給出了適用范圍；尹姝等[11]在線性卡爾曼濾波的基礎上，提出一種結合自適應卡爾曼濾波和BVIRE（邊界虛擬參考標簽）的移動機器人定位方法，較傳統(tǒng)方法具有更高的定位精度和更強的魯棒性.

隨著計算機視覺技術的快速發(fā)展，研究人員發(fā)現(xiàn)相機（攝像機）能獲得比激光雷達更豐富的紋理信息，并且攝像機價格低廉、結構簡單，安裝的方式也比較多元化[12].早期的SLAM基于濾波理論，其非線性的誤差模型和巨大的計算量成了它實用落地的障礙.基于特征的方法解決了誤差累積和計算復雜度高的問題，例如：Dissanayake等[13]系統(tǒng)分析了基于特征的SLAM基本特性，總結了不同版本SLAM的可觀測性以及收斂相關的問題； Fraundorfer等[14]介紹了視覺里程計（VO）從只能離線工作到可實時工作的發(fā)展歷史，討論了特征匹配、健壯性和應用程序，綜述了VO中常用的特征檢測器和不同的異常點抑制方案，提出了隨機抽樣一致性和設計的策略；Mur-Artal等[15]提出一個全新的基于特征的ORB-SLAM系統(tǒng)，與當時最先進的單目SLAM方法相比，取得了前所未有的性能，它可在室內和室外環(huán)境中實時運行，對嚴重的運動雜波具有魯棒性，允許寬基線環(huán)路關閉和重新定位，并包括全自動初始化.

此時的SLAM理論已經(jīng)比較完善，框架也已基本確定.但隨著深度學習技術的興起，研究人員發(fā)現(xiàn)，在計算機視覺中應用深度學習方法可以極大地緩解傳統(tǒng)方法難以解決的問題，如龐大的計算量和對環(huán)境的適應能力不強等.Li等[16]指出：傳統(tǒng)方法需要手動設計特征提取和匹配算法，深度學習技術可以自動學習適合當前環(huán)境的特征表示和匹配方式；傳統(tǒng)的SLAM方法通常假設場景是靜態(tài)或存在剛性變換，對于非剛性變換（如扭曲、形變等）的處理相對較困難，而深度學習技術能夠更好地處理非剛性變換，通過學習變換模型或生成模型來更好地理解和估計場景的變化；深度學習方法對于大規(guī)模數(shù)據(jù)的需求較高，而現(xiàn)代SLAM系統(tǒng)中通常配備了多種傳感器（如相機、激光雷達等），能夠產(chǎn)生大量包含豐富信息的數(shù)據(jù)，深度學習技術可以利用這些數(shù)據(jù)進行訓練，從而提高SLAM系統(tǒng)的性能和魯棒性.Bescos等[17]開發(fā)了一種基于ORB-SLAM的具備動態(tài)對象檢測和背景修復功能的可視化系統(tǒng)，通過多視圖幾何、深度學習或兩者結合來檢測運動目標，尤其適用于高度動態(tài)的場景中.Han等[18]利用CNN來進行圖像的三維重建，使用深度學習技術從單個或多個RGB圖像估計一般物體的3D形狀.Li等[19]將RCNN應用于配備有二維激光和慣性測量單元的移動機器人上，解決了旋轉角度很大時準確性大幅下降的問題.

2007年以前，學者們認為打造SLAM系統(tǒng)需要一個雙目攝像頭套件，而Davison等[20]提出的MonoSLAM系統(tǒng)打破了當時人們的認知.MonoSLAM系統(tǒng)首次展示了如何使用單目攝像頭構建SLAM系統(tǒng)，在概率框架內在線建立自然地標的稀疏且持續(xù)的地圖.2007年，牛津大學提出PTAM[21]算法，它是最早提出將追蹤和建圖分開作為兩個線程的一種SLAM算法，也是在VSLAM中首次區(qū)分出前后端的概念.該算法在后端部分采用非線性優(yōu)化，而不是主流的EKF等濾波方法，具有里程碑意義.2015年提出的ORB-SLAM[15]可以看作是PTAM算法的一個延伸，它是當時最完整的基于特征點法的VSLAM，該系統(tǒng)框架包括跟蹤、建圖和閉環(huán)三個線程.ORB-SLAM[15]的后續(xù)版本有ORB-SLAM2[22]和ORB-SLAM3[23].

除了基于特征的方法，直接法在SLAM中也同樣占有重要的地位.相關的算法包括LSD-SLAM[24]、SVO[25]、DSO[26].同樣地，RGB相機也有相關算法，Whelan 等[27]充分利用了RGB-D相機的顏色和深度信息，通過ICP（Iterative Closest Point，迭代最近點）估計位姿變化，并且通過不斷地迭代優(yōu)化來提高攝像機的位姿估計精度.類似的算法還有DTAM[28]、DVO[29]、RTAB-Map[30]和RGBD-SLAM-V2[31].

隨著激光SLAM領域的不斷發(fā)展，也出現(xiàn)了許多優(yōu)秀的算法.2002年，Montemerlo等[32]提出FastSLAM算法，它采用粒子濾波來估計機器人位姿，是第一種能夠實時輸出柵格地圖的激光SLAM方案.但在大尺度環(huán)境下，F(xiàn)astSLAM算法需要大量粒子來表示機器人的位姿，嚴重消耗內存，并且隨著不斷地進行重采樣，粒子耗散問題會逐漸加劇到無法忽視的程度.Gmapping算法[33]基于FastSLAM進行優(yōu)化，將粒子的數(shù)量保持在一個比較小的數(shù)值， 對預測分布采樣，它基于優(yōu)化掃描匹配來優(yōu)化位姿，解決了內存消耗嚴重的問題；同時，減少重采樣次數(shù)，即當預測分布與真實分布相差很大時，才進行重采樣，解決了粒子耗散問題.但該方案非常依賴里程計.Kohlbrecher等[34]提出的Hector-SLAM將高斯牛頓方法用于解決前端掃描匹配問題，并且不依賴里程計數(shù)據(jù)，但在機器人速度過快和強旋轉時，會發(fā)生漂移現(xiàn)象.Cartographer算法[35]則增加了閉環(huán)檢測進程，在前端掃描匹配過程結合CSM（Correlation Scan Match）與梯度優(yōu)化，但該算法會帶來巨大的計算量.

在3D激光SLAM領域，Zhang等 [36]提出一種LOAM方案，利用 3D 激光雷達采集數(shù)據(jù)， 基于特征點的掃描匹配， 采用非線性優(yōu)化方法進行運動估計，能夠實時運行且精確度高.隨后，他們又推出了改進版本V-LOAM[37]，該方案利用視覺里程計以高頻率估計位姿變換，利用激光里程計以低頻率優(yōu)化運動估計，并校準漂移，當光照變化明顯時仍具有較好的魯棒性.多傳感器融合需要相匹配的算法，如LVIO[38]、LeGO-LOAM[39]和LIO-mapping[40]等.表1和表2分別為視覺SLAM和激光SLAM領域常用算法匯總.

2SLAM領域常用的傳感器

2.1視覺SLAM中的硬件

視覺SLAM中使用的傳感器通常包括單目相機、雙目相機和RGB-D相機.單目相機指的是僅使用一個攝像頭進行軌跡估計和建圖，其結構簡單、成本低，便于標定和識別.雙目相機由兩個單目相機組成.單目與雙目相機測量物體相對深度的方式都是通過對極幾何約束來實現(xiàn)的[43].與單目視覺不同的是，雙目視覺既可以在運動時估計深度，也可在靜止時估計深度.RGD-D相機又被稱為深度相機，通過該相機能檢測出拍攝空間的景深距離，這也是與普通攝像頭最大的區(qū)別.通過深度相機獲取到的數(shù)據(jù)，人們能準確知道圖像中每個點離攝像頭的距離，不需要額外的計算量就可以還原真實場景，實現(xiàn)場景建模，在室內場景中具有很高的精度[44].但在室外環(huán)境中，RGD-D相機極易受到光照變化和運動模糊的影響，且長距離跟蹤會導致較大的累積誤差和尺度偏移.目前主流的單目、雙目與RGB-D相機的相關硬件信息如表3所示.

2.2激光SLAM中的硬件

如今的市場逐漸演化為純視覺和激光雷達兩條不同的路線.其中，激光SLAM又分為2D和3D激光，2D激光雷達一般用于室內機器人（如掃地機器人），而3D激光雷達大多用于無人駕駛領域[45].制作激光雷達的國內廠商有禾賽科技、速騰聚創(chuàng)、鐳神智能、北科天繪和華為等，國外廠商有Velodyne LiDAR、IBEO、Quanergy、Aeva、Cepton等.表4介紹了不同型號激光雷達的輸入輸出數(shù)據(jù).圖2展示了2D和3D激光雷達生成的點云地圖.

3多傳感器SLAM融合方案

盡管激光SLAM與視覺SLAM算法都比較成熟，但僅依靠單一傳感器的SLAM方案很容易受到外界因素的影響.因此，學者們逐漸將研究重心轉移到兩者的融合方案.視覺SLAM在紋理豐富的動態(tài)環(huán)境中工作穩(wěn)定，可以為激光雷達SLAM提供非常精確的點云匹配，而激光雷達提供的精確方位和距離信息將對正確匹配的點云發(fā)揮更大的作用.在光照嚴重不足或缺乏紋理的環(huán)境中，激光雷達SLAM的定位工作使視覺可以在幾乎沒有信息的情況下記錄場景.不同傳感器的融合，本質上是不同算法的融合.在現(xiàn)有融合方案的基礎上，本文將從基于不確定度、基于傳統(tǒng)特征和基于深度學習的方法分析多傳感器SLAM融合方案.

3.1基于不確定度的融合方案

基于不確定度的方案通常應用于2D激光與視覺融合的SLAM中，目前主流方案有三種：卡爾曼濾波器（KF）、粒子濾波器和基于圖形以及它們的衍生算法.KF和粒子濾波器是貝葉斯濾波器的兩種不同實現(xiàn)方案，KF主要負責預測和更新兩個部分，但它無法滿足非線性問題的需求，為此研究人員開發(fā)出了EKF的方法，它在中小型場景中取得了良好的效果，但涉及到大型地圖時，計算量巨大.UKF（無跡卡爾曼濾波）是解決非線性問題的一種很好的方法.然而，KF及其變體只能處理高斯分布的情況，并且在面對任意分布的情況時，使用KF會帶來更大的誤差.基于粒子濾波器的方法很好地解決了多個樣本任意分布的情況.在該方法中，粒子數(shù)越多的區(qū)域，概率就越高.基于圖形的SLAM則通過最小化平方差之和來找到位姿與位姿之間的關系.

3.1.1基于KF與粒子濾波器的融合方案

2006年，Newman等[46]首次將激光雷達和相機同時安裝在移動機器人上，激光雷達獲取環(huán)境的局部幾何形狀，用于增量構建工作空間的三維點云地圖.他們使用來自攝像機的圖像序列來檢測閉環(huán)事件（不參考車輛位置的內部估計），在閉環(huán)檢測過程中，使用相機序列進行檢測，隨后再次使用局部激光掃描處理閉環(huán)檢測的圖像，有效地消除了閉環(huán)檢測過程中產(chǎn)生的誤差，但由此產(chǎn)生的巨大計算量仍然難以解決.2010年，Sun等[47]假設傳感器噪聲服從高斯分布，使用EKF對系統(tǒng)狀態(tài)進行最小均方差估計，將具有相同角點特征的視覺數(shù)據(jù)和激光數(shù)據(jù)進行融合，采取主動檢測策略，提高了SLAM的精度，得到了更多的三維地圖信息.

KF與粒子濾波器的融合方案已經(jīng)逐漸成熟，一些學者將其應用于移動機器人、自動駕駛汽車和無人機，在算法不斷改進的過程中，獲得了單一傳感器無法實現(xiàn)的優(yōu)異性能.

2007年，Iocchi等[48]使用粒子濾波器來估計大型室內環(huán)境的映射問題和局部映射之間的位移，他們主要使用雙目相機測量平面位移，輔以2D激光雷達數(shù)據(jù)，并與高精度IMU傳感器合作，成功構建了低成本的3D地圖.Aycard等[49]將激光雷達和雙目視覺系統(tǒng)的數(shù)據(jù)作為輸入，應用于復雜的交叉路口場景，將車輛和其他動態(tài)物體的風險水平作為輸出，利用粒子濾波器解決自身的定位問題（每個粒子對應一個車輛位置，利用激光雷達數(shù)據(jù)計算每個粒子的概率），取得了良好的檢測效果.Collier等[50]在FAB-MAP算法的基礎上，分別使用SIFT和VD-LSD來訓練激光與視覺傳感器的詞袋模型，在無人機上執(zhí)行位置識別，無論是光照條件差還是紋理場景低，它都具有良好的召回率和準確率，但當無人機飛行速度過快時容易導致特征跟蹤失敗.Magree等[51]則使用視覺和激光輔助導航，導航架構基于EKF濾波器，為無人機提供傳感器更新，在掃描和點對應級別進行耦合，這減少了無人機快速飛行產(chǎn)生模糊幾何形狀的影響.Wang等[52]將改進后的蒙特卡羅定位方法應用于機器人的位姿估計步驟，提出一種基于2D激光雷達的定位算法，從三維點云圖中提取出二維結構使得2D激光數(shù)據(jù)與地圖對齊，可在機器人定位自身的同時定位局部地圖的比例尺.為解決計算量大、建圖過程復雜、定位精度低等問題，研究人員對后端優(yōu)化和閉環(huán)檢測步驟進行了大量改進.Yin等[53]提出一種基于3D-2D聯(lián)合對應掩碼（CoMask）的端到端的全自動方法，可以高精度地直接估計外部參數(shù)，將遺傳算法與Levenberg-Marquardt方法相結合，可在不做任何初始估計的情況下求解全局優(yōu)化問題.圖3給出了文獻[53]的大致框架，本文采用不同的顏色表示不同的步驟，方便讀者更好地理解.

Shin等[54]提出一種結合光檢測、激光雷達測距和單目相機進行稀疏深度測量的直接視覺-激光雷達SLAM框架（圖4），聯(lián)合優(yōu)化了多個關鍵幀下的每個測量值，實現(xiàn)了對稀疏深度的直接利用，即使是極稀疏深度測量（8射線）下，該方法也能獲得穩(wěn)健的SLAM結果，但不適用于光線較差的情況.

3.1.2基于圖優(yōu)化的融合方案

Majdik等[55]將SURF特征視為環(huán)境標志，并跟蹤這些標志在機器人不同位置之間的位移.視覺映射和激光雷達映射系統(tǒng)的交叉使用實現(xiàn)了高效的定位，并且可自主地過濾掉錯誤檢測的地標.Houben等[56]將不同階段的激光SLAM抽象成一個僅與地圖構建過程相連的薄界面，提出一種快速簡單的標記方法，可有效地檢測和解碼，并提供一種可以無縫連續(xù)地將其位置信息集成在地圖中的圖優(yōu)化方法.Jiang等[2]提出一種新的基于圖優(yōu)化的SLAM框架，該框架考慮了廉價的激光雷達和視覺傳感器數(shù)據(jù)的融合，設計了一個成本函數(shù)來處理掃描數(shù)據(jù)和圖像數(shù)據(jù)，并在閉環(huán)階段引入具有視覺特征的詞袋模型，生成了包含視覺特征和障礙物的2.5D地圖，比傳統(tǒng)的網(wǎng)格地圖更快.Mu等[57]基于UKF，將激光雷達、RGB-D相機、編碼器和IMU四個傳感器組合進行聯(lián)合定位，有效地提高了閉環(huán)檢測的精度，可構建出更加精細的地圖.Chen等[58]研究了激光雷達和視覺SLAM的后端，構建了一種基于閉環(huán)檢測和全局圖優(yōu)化的方法，在主階段利用激光雷達的幾何特征和視覺特征，在輔助階段構建描述視覺相似度的詞袋模型，顯著提高了系統(tǒng)的穩(wěn)定性.

3.2基于傳統(tǒng)特征的融合方案

傳統(tǒng)的基于特征的方法在多傳感器融合領域同樣發(fā)揮著至關重要的作用，目前的融合方案主要基于ORB-SLAM框架.ORB-SLAM及其后續(xù)版本因其優(yōu)異的實時性能和魯棒性，已成為應用最廣泛的視覺SLAM解決方案之一.但ORB-SLAM系列在很大程度上依賴于環(huán)境特征，在沒有紋理特征的環(huán)境中很難獲得足夠的特征點，多傳感器的融合方案恰好能夠解決這些問題，它可以為ORB-SLAM系統(tǒng)提供充足的信息.

3.2.1基于ORB-SLAM框架的融合方案

2016年，Liang等[59]利用ORB特征和詞袋特征進行閉環(huán)檢測，將識別良好的LRGC SLAM框架和SPA優(yōu)化算法應用于SLAM，在環(huán)境中引入視覺信息，成功解決了大規(guī)模的激光SLAM閉環(huán)檢測問題，但在ORB特征缺失的情況下很容易失敗.同年，Lv等[60]利用激光雷達精確地獲取距離信息，改進了ORB-SLAM算法的地圖初始化過程，通過計算平均深度來估計絕對尺度，實現(xiàn)了未知環(huán)境下的精確定位.Zhang等[61]使用激光信息輔助視覺優(yōu)化位姿，整體框架基于ORB-SLAM2.首先將精確環(huán)境信息從激光雷達傳遞到視覺部分，然后轉化為視覺跟蹤線程的姿態(tài)來優(yōu)化初始值，并且系統(tǒng)可以自適應地改變兩種傳感器的權重進行融合，但在生成軌跡的過程中可能會出現(xiàn)波動.

此后，又有研究人員嘗試使用點線特征[62]和激光點云[63]代替ORB特征.Huang等[62]在姿態(tài)估計中引入點和線的特征，并將ORB特征作為點線特征（點線特征不易受噪聲、寬視角和運動模糊的影響），與傳統(tǒng)的僅基于點的激光雷達-視覺測距方法相比，提高了環(huán)境結構信息的利用率和姿態(tài)估計的準確性.Ali等[63]提出一種基于特征的SLAM算法，首先使用相機參數(shù)矩陣將三維點云柵格轉化為圖像，隨后將圖像導入ORB特征檢測器.該方法可估計機器人的六自由度姿態(tài)，在各種環(huán)境下都具有優(yōu)異的性能，但環(huán)境中的動態(tài)對象會影響系統(tǒng)的性能.為此，Kang等[64]提出一種范圍增強的全景視覺同時定位和映射系統(tǒng)（RPV-SLAM），該系統(tǒng)以全景相機為主要傳感器，利用傾斜激光雷達獲得的距離信息來增強視覺特征并輸出度量尺度，從激光雷達傳感器中獲得深度信息的初始范圍，在此范圍內提取ORB特征，從稀疏深度測量中恢復密集深度圖，這在復雜的室外條件下仍然是穩(wěn)健的.Chou等[65]受到ORB-SLAM2框架的啟發(fā)，提出一種緊密耦合的視覺激光雷達SLAM，在前端兩者獨立運行，后端則融合所有的激光雷達與視覺信息，提出一種新的激光雷達殘差壓縮方法（圖5）.

3.2.2其他融合方案

除了目前主流的基于ORB-SLAM框架進行多傳感器融合的方法外，還有許多優(yōu)秀的融合方案值得借鑒和研究.Radmanesh等[66] 提出一種基于光探測與激光測距的單目SLAM方法來提供深度信息，該方法使用相機數(shù)據(jù)以無監(jiān)督的方式處理未知物體，使用視覺檢測到的特征作為地標特征，并將其與激光雷達傳感器數(shù)據(jù)融合.在計算效率和精度方面，該方法優(yōu)于目前僅由激光雷達生成的地圖.Wang等[67] 提出一種雙層優(yōu)化策略，在局部估計層，通過激光雷達里程計和視覺慣性里程計獲得相對姿態(tài)，并在全局優(yōu)化層引入GPS信息來校正累積漂移，從而在沒有全局漂移的情況下實現(xiàn)精確的絕對定位.Yi等[68] 優(yōu)化了ORB-SLAM3，提出一種行為樹框架，該框架可以從視覺特征、激光雷達地標和GPS中智能地選擇最佳的全球定位方法，形成一個長期可用的特征圖，可以自動校正比例，最大限度地減少全局漂移，滿足了復雜大規(guī)模場景的需求.

3.3基于深度學習的融合方案

目前深度學習技術中使用的神經(jīng)網(wǎng)絡主要分為CNN、RNN和DNN[69]三類.圖6展示了融合方案使用的經(jīng)典神經(jīng)網(wǎng)絡框架.由于圖像中存在固有的局部模式（如人的嘴巴、眼睛和鼻子），局部特征圖像的識別通常具有更快的速度和更高的準確率[70]，因此研究人員將圖像處理和神經(jīng)網(wǎng)絡相結合，產(chǎn)生了CNN.DNN具有與多層感知機相似的結構，可以克服梯度消失問題，避免陷入局部最優(yōu)解 [71].然而，DNN無法對時間序列上的變化進行建模，因此出現(xiàn)了RNN，它可以處理上下文相關的數(shù)據(jù)類型[72]，但RNN網(wǎng)絡在多傳感器融合領域并沒有得到太多嘗試.CNN具有分類、識別、預測和決策能力的特點，并且在DNN擬合范圍內處理，可以更快地達到局部最優(yōu)解.它們都可以融合SLAM的多個傳感器模塊一起使用[73].

3.3.1基于CNN的融合方案

近年來，CNN在圖像處理方面的優(yōu)勢已被廣泛應用于單一傳感器SLAM方案[74]中，它使得單目相機也可以獲得可靠的深度信息.Ma等[75]考慮從低分辨率稀疏深度數(shù)據(jù)中預測密集深度數(shù)據(jù)，以獲得具有更高魯棒性和準確性的地圖.他們使用CNN來學習深度圖像預測的深度回歸模型，并將該模型用作稀疏SLAM、視覺慣性里程計算法和激光雷達測量超分辨率的插件，提高了準確率.Kang等[76]將激光雷達數(shù)據(jù)與RGB-D點云對齊，以生成相應場景的連續(xù)視頻幀，并使用CNN網(wǎng)絡進行訓練，采用PoseNet神經(jīng)網(wǎng)絡實現(xiàn)運動恢復和系統(tǒng)自動初始化.在大規(guī)模室內和復雜場景中的實驗結果表明，與傳統(tǒng)的SLAM算法相比，閉環(huán)檢測的累計誤差減少，整體魯棒性高于ORB-SLAM2.圖7流程[76]主要由5個部分組成：1）收集環(huán)境信息和激光雷達數(shù)據(jù)；2）跟蹤過程中的精確自動初始化RGB-D SLAM算法，提取出所有關鍵幀；3）消除冗余的關鍵幀；4）使用ICP算法確定相機姿態(tài)并選擇正確的關鍵幀；5）回環(huán)檢測.

3.3.2基于DNN的融合方案

CNN由于其出色的圖像處理性能而受到了大量研究人員的青睞，相比之下，基于DNN的多傳感器融合方法相對較少，目前更多是將DNN與CNN進行部分融合.An等[77]提出一種新的無監(jiān)督多通道視覺-激光雷達SLAM方法（MVL-SLAM），充分結合了激光雷達和視覺傳感器的優(yōu)點，并將RCNN應用于融合方案組件，使用DNN的特征作為閉環(huán)檢測組件.該方法不需要制作預訓練數(shù)據(jù)，可直接從3D制圖組件構建環(huán)境3D地圖.Cattaneo等[78]使用激光雷達地圖執(zhí)行全局視覺定位，利用DNN創(chuàng)建共享嵌入空間，該空間包含圖像和激光雷達地圖信息，允許圖像到3D激光雷達位置識別.他們利用DNN和CNN分別提取激光雷達點云和圖像信息，給定權重后在共享嵌入空間中進行融合，以實現(xiàn)精確的位置識別（圖8）.

3.4評估工具和數(shù)據(jù)集

近幾十年來，出現(xiàn)了許多優(yōu)秀的SLAM算法，并在自主導航、移動機器人和AR/VR領域得到了成熟的應用.每種算法都有其獨特的改進方法，不同的算法需要不同的時間，可以達到不同的精度和應用場合，因此需要一個統(tǒng)一的評估工具來測試該算法在數(shù)據(jù)集上的性能.準確度是研究人員評估SLAM算法的最重要指標，SLAM算法包括絕對軌跡誤差（Absolute Trajectory Error，ATE）和相對姿態(tài)誤差（Relative Pose Error ，RPE）.RPE用于計算兩個相同時間戳的位姿變化差異，適用于估計系統(tǒng)漂移.ATE直接計算相機姿態(tài)的真實值與SLAM系統(tǒng)的估計值之間的差.EVO（https：//github.com/MichaelGrupp/evo，accessed 21 June 2022）是評估改進SLAM算法的常用工具，可用于各種數(shù)據(jù)集，還可以繪制測試算法與真實軌跡的對比圖.SLAMBench2（https：//github.com/MichaelGrupp/evo，accessed 26 Septemper 2022）是一個公開的軟件框架，通過可擴展的數(shù)據(jù)集列表評估當前和未來的SLAM系統(tǒng).它包括開放源代碼和封閉源代碼，同時使用可比較的和指定的性能指標列表.它支持多種現(xiàn)有的SLAM算法和數(shù)據(jù)集，如 Elastic Fusion[27]、ORB-SLAM2[22]和OKVIS[79].

4總結與展望

本文回顧了視覺與激光SLAM的發(fā)展歷史，對該領域的研究做出了總結.多傳感器融合SLAM可以顯著提高機器人的自主交互能力，并且在魯棒性、精度和高級感知等方面遠超于單一SLAM技術.結合這些研究，本文對多傳感器融合SLAM的未來作出了以下展望：

1）發(fā)展歷史及工程應用.盡管近年來多傳感器SLAM的融合方案取得了一些突出成就，但與傳統(tǒng)的純視覺與激光SLAM相比，仍處于發(fā)展階段，而更多傳感器的參與，意味著需要更龐大的計算能力和更完善的系統(tǒng)來消除無用信息，它將會嚴重干擾SLAM的實時性能.這種情況將隨著算法的不斷發(fā)展和軟硬件的不斷更新而改善.

2）理論支持.基于不確定度和基于傳統(tǒng)特征的融合方案并非貫穿于整個SLAM過程，大多數(shù)融合方案都針對前端、后端、回環(huán)檢測和建圖4個過程中的一個.因此，如何將融合方案應用于整個SLAM過程仍然是一個巨大的挑戰(zhàn).同時，深度學習技術提取的特征缺乏直觀意義和理論依據(jù)，人們無法知道計算機使用什么標準來提取特征.目前，基于RNN的多傳感器融合領域仍處于空白階段，傳統(tǒng)方案仍具有很大優(yōu)勢.

3）人機交互能力.多傳感器帶來更豐富的環(huán)境信息，在實際場景中，系統(tǒng)篩選出的冗余信息是否與人們需要獲取的信息不同，將豐富的信息應用于機器人的自主交互過程仍然是一項艱巨的任務.

參考文獻

References

［1］趙樂文，任嘉倩，丁楊.基于GNSS的空間環(huán)境參數(shù)反演平臺及精度評估[J].南京信息工程大學學報（自然科學版），2021，13（2）：204-210ZHAO Lewen，REN Jiaqian，DING Yang.Platform for GNSS real-time space environment parameter inversion and its accuracy evaluation[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2021，13（2）：204-210

[2]JiangG L，Yin L，Jin S K，et al.A simultaneous localization and mapping （SLAM） framework for 2.5D map building based on low-cost lidar and vision fusion[J].Applied Sciences，2019，9（10）：2105

[3]Smith R C，Cheeseman P.On the representation and estimation of spatial uncertainty[J].The International Journal of Robotics Research，1986，5（4）：56-68

[4]王霞，左一凡.視覺SLAM研究進展[J].智能系統(tǒng)學報，2020，15（5）：825-834WANG Xia，ZUO Yifan.Advances in visual SLAM research[J].CAAI Transactions on Intelligent Systems，2020，15（5）：825-834

[5]胡凱，吳佳勝，鄭翡，等.視覺里程計研究綜述[J].南京信息工程大學學報（自然科學版），2021，13（3）：269-280HU Kai，WU Jiasheng，ZHENG Fei，et al.A survey of visual odometry[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2021，13（3）：269-280

[6]危雙豐，龐帆，劉振彬，等.基于激光雷達的同時定位與地圖構建方法綜述[J].計算機應用研究，2020，37（2）：327-332

WEI Shuangfeng，PANG Fan，LIU Zhenbin，et al.Survey of lidar-based SLAM algorithm[J].Application Research of Computers，2020，37（2）：327-332

[7]Cadena C，Carlone L，Carrillo H，et al.Past，present，and future of simultaneous localization and mapping：toward the robust-perception age[J].IEEE Transactions on Robotics，2016，32（6）：1309-1332

[8]NeiraJ，Tardos J D.Data association in stochastic mapping using the joint compatibility test[J].IEEE Transactions on Robotics and Automation，2001，17（6）：890-897

[9]Julier S J，Uhlmann J K.A counter example to the theory of simultaneous localization and map building[C]//Proceedings 2001 IEEE International Conference on Robotics and Automation （Cat.No.01CH37164）.May 21-26，2001，Seoul，Korea （South）.IEEE，2003：4238-4243

[10]Aulinas J，Petillot Y，Salvi J，et al.The SLAM problem：a survey[J].Artificial Intelligence Research and Development，2008：363-371

[11]尹姝，陳元櫞，仇翔.基于RFID和自適應卡爾曼濾波的室內移動目標定位方法[J].南京信息工程大學學報（自然科學版），2018，10（6）：749-753YIN Shu，CHEN Yuanyuan，QIU Xiang.Indoor moving-target localization using RFID and adaptive Kalman filter[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2018，10（6）：749-753

[12]李曉飛，宋亞男，徐榮華，等.基于雙目視覺的船舶跟蹤與定位[J].南京信息工程大學學報（自然科學版），2015，7（1）：46-52LI Xiaofei，SONG Yanan，XU Ronghua，et al.Tracking and positioning of ship based on binocular vision[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2015，7（1）：46-52

[13]Dissanayake G，Huang S D，Wang Z，et al.A review of recent developments in simultaneous localization and mapping[C]//2011 6th International Conference on Industrial and Information Systems.August 16-19，2011，Kandy，Sri Lanka.IEEE，2011：477-482

[14]FraundorferF，Scaramuzza D.Visual odometry：part Ⅱ：matching，robustness，optimization，and applications[J].IEEE Robotics amp; Automation Magazine，2012，19（2）：78-90

[15]Mur-Artal R，Montiel J M M，Tardós J D.ORB-SLAM：a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics，2015，31（5）：1147-1163

[16]Li R H，Wang S，Gu D B.DeepSLAM：a robust monocular SLAM system with unsupervised deep learning[J].IEEE Transactions on Industrial Electronics，2021，68（4）：3577-3587

[17]Bescos B，F(xiàn)ácil J M，Civera J，et al.DynaSLAM：tracking，mapping，and inpainting in dynamic scenes[J].IEEE Robotics and Automation Letters，2018，3（4）：4076-4083

[18]Han X F，Laga H，Bennamoun M.Image-based 3D object reconstruction：state-of-the-art and trends in the deep learning era[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（5）：1578-1604

[19]LiC，Wang S，Zhuang Y，et al.Deep sensor fusion between 2D laser scanner and IMU for mobile robot localization[J].IEEE Sensors Journal，2021，21（6）：8501-8509

[20]Davison A J，Reid I D，Molton N D，et al.MonoSLAM：real-time single camera SLAM[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（6）：1052-1067

[21]KleinG，Murray D.Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality.November 13-16，2007，Nara，Japan.IEEE，2008：225-234

[22]Mur-ArtalR，Tardós J D.ORB-SLAM2：an open-source SLAM system for monocular，stereo，and RGB-D cameras[J].IEEE Transactions on Robotics，2017，33（5）：1255-1262

[23]Campos C，Elvira R，Rodríguez J J G，et al.ORB-SLAM3：an accurate open-source library for visual，visual-inertial，and multimap SLAM[J].IEEE Transactions on Robotics，2021，37（6）：1874-1890

[24]Engel J，Schps T，Cremers D.LSD-SLAM：large-scale direct monocular SLAM[M]//Computer Vision-ECCV 2014.Cham：Springer International Publishing，2014：834-849

[25]Forster C，Pizzoli M，Scaramuzza D.SVO：fast semi-direct monocular visual odometry[C]//2014 IEEE International Conference on Robotics and Automation （ICRA）.May 31-June 7，2014，Hong Kong，China.IEEE，2014：15-22

[26]EngelJ，Koltun V，Cremers D.Direct sparse odometry[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（3）：611-625

[27]Whelan T，Salas-Moreno R F，Glocker B，et al.ElasticFusion：real-time dense SLAM and light source estimation[J].The International Journal of Robotics Research，2016，35（14）：1697-1716

[28]NewcombeR A，Lovegrove S J，Davison A J.DTAM：dense tracking and mapping in real-time[C]//2011 International Conference on Computer Vision.November 6-13，2011，Barcelona，Spain.IEEE，2012：2320-2327

[29]Kerl C，Sturm J，Cremers D.Dense visual SLAM for RGB-D cameras[C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems.November 3-7，2013，Tokyo，Japan.IEEE，2014：2100-2106

[30]Labbé M，Michaud F.RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation[J].Journal of Field Robotics，2019，36（2）：416-446

[31]Endres F，Hess J，Sturm J，et al.3-D mapping with an RGB-D camera[J].IEEE Transactions on Robotics，2014，30（1）：177-187

[32]Montemerlo M，Thrun S，Koller D，et al.FastSLAM：a factored solution to the simultaneous localization and mapping problem[C]//AAAI-02 Proceedings，2002：593-598

[33]Grisetti G，Stachniss C，Burgard W.Improved techniques for grid mapping with Rao-Blackwellized particle filters[J].IEEE Transactions on Robotics，2007，23（1）：34-46

[34]Kohlbrecher S，von Stryk O，Meyer J，et al.A flexible and scalable SLAM system with full 3D motion estimation[C]//2011 IEEE International Symposium on Safety，Security，and Rescue Robotics.November 1-5，2011，Kyoto，Japan.IEEE，2011：155-160

[35]Hess W，Kohler D，Rapp H，et al.Real-time loop closure in 2D lidar SLAM[C]//2016 IEEE International Conference on Robotics and Automation （ICRA）.May 16-21，2016，Stockholm，Sweden.IEEE，2016：1271-1278

[36]Zhang J，Singh S.LOAM：lidar odometry and mapping in real-time[C]//Robotics：Science and Systems Conference.Robotics：Science and Systems Foundation，2014：109-111

[37]ZhangJ，Singh S.Visual-lidar odometry and mapping：low-drift，robust，and fast[C]//2015 IEEE International Conference on Robotics and Automation （ICRA）.May 26-30，2015，Seattle，WA，USA.IEEE，2015：2174-2181

[38]Zhang J，Singh S.Laser-visual-inertial odometry and mapping with high robustness and low drift[J].Journal of Field Robotics，2018，35（8）：1242-1264

[39]ShanT X，Englot B.LeGO-LOAM：lightweight and ground-optimized lidar odometry and mapping on variable terrain[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.October 1-5，2018，Madrid，Spain.IEEE，2019：4758-4765

[40]Ye H Y，Chen Y Y，Liu M.Tightly coupled 3D lidar inertial odometry and mapping[C]//2019 International Conference on Robotics and Automation （ICRA）.May 20-24，2019，Montreal，QC，Canada.IEEE，2019：3144-3150

[41]Forster C，Zhang Z C，Gassner M，et al.SVO：semidirect visual odometry for monocular and multicamera systems[J].IEEE Transactions on Robotics，2017，33（2）：249-265

[42]Shan T X，Englot B，Meyers D，et al.LIO-SAM：tightly-coupled lidar inertial odometry via smoothing and mapping[C]//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.October 24-January 24，2021，Las Vegas，NV，USA.IEEE，2021：5135-5142

[43]張釗源.基于雙目視覺的移動機器人導航系統(tǒng)的研究與實現(xiàn)[D].重慶：重慶大學，2019ZHANG Zhaoyuan.Research and implementation of mobile robot navigation system based on stereo vision[D].Chongqing：Chongqing University，2019

[44]EsperI D E，Smolkin O，Manko M，et al.Evaluation of RGB-D multi-camera pose estimation for 3D reconstruction[J].Applied Sciences，2022，12（9）：4134

[45]項志宇.基于激光雷達的移動機器人障礙檢測和自定位[D].杭州：浙江大學，2002XIANG Zhiyu.Obstacle detection and self-localization for mobile robots by using laser range finders[D].Hangzhou：Zhejiang University，2002

[46]Newman P，Cole D，Ho K.Outdoor SLAM using visual appearance and laser ranging[C]//Proceedings 2006 IEEE International Conference on Robotics and Automation.May 15-19，2006，Orlando，F(xiàn)L，USA.IEEE，2006：1180-1187

[47]Sun F C，Zhou Y，Li C，et al.Research on active SLAM with fusion of monocular vision and laser range data[C]//2010 8th World Congress on Intelligent Control and Automation.July 7-9，2010，Jinan，China.IEEE，2010：6550-6554

[48]IocchiL，Pellegrini S，Tipaldi G D.Building multi-level planar maps integrating LRF，stereo vision and IMU sensors[C]//2007 IEEE International Workshop on Safety，Security and Rescue Robotics.September 27-29，2007，Rome，Italy.IEEE，2007：1-6

[49]AycardO，Baig Q，Bota S，et al.Intersection safety using lidar and stereo vision sensors[C]//2011 IEEE Intelligent Vehicles Symposium （Ⅳ）.June 5-9，2011，Baden-Baden，Germany.IEEE，2011：863-869

[50]CollierJ，Se S，Kotamraju V.Multi-sensor appearance-based place recognition[C]//2013 International Conference on Computer and Robot Vision.May 28-31，2013，Regina，SK，Canada.IEEE，2013：128-135

[51]Magree D，Johnson E N.Combined laser and vision-aided inertial navigation for an indoor unmanned aerial vehicle[C]//2014 American Control Conference.June 4-6，2014，Portland，OR，USA.IEEE，2014：1900-1905

[52]Wang S，Kobayashi Y，Ravankar A A，et al.A novel approach for lidar-based robot localization in a scale-drifted map constructed using monocular SLAM[J].Sensors，2019，19（10）：2230

[53]YinL，Luo B，Wang W，et al.CoMask：corresponding mask-based end-to-end extrinsic calibration of the camera and lidar[J].Remote Sensing，2020，12（12）：1925

[54]Shin Y S，Park Y S，Kim A.DVL-SLAM：sparse depth enhanced direct visual-lidar SLAM[J].Autonomous Robots，2020，44（2）：115-130

[55]MajdikA L，Szoke I，Tamas L，et al.Laser and vision based map building techniques for mobile robot navigation[C]//2010 IEEE International Conference on Automation，Quality and Testing，Robotics （AQTR）.May 28-30，2010，Cluj-Napoca，Romania.IEEE，2010：1-6

[56]Houben S，Droeschel D，Behnke S.Joint 3D laser and visual fiducial marker based SLAM for a micro aerial vehicle[C]//2016 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems （MFI）.September 19-21，2016，Baden-Baden，Germany.IEEE，2017：609-614

[57]Mu L L，Yao P T，Zheng Y C，et al.Research on SLAM algorithm of mobile robot based on the fusion of 2D lidar and depth camera[J].IEEE Access，2020，8：157628-157642

[58]ChenS B，Zhou B D，Jiang C H，et al.A lidar/visual SLAM backend with loop closure detection and graph optimization[J].Remote Sensing，2021，13（14）：2720

[59]Liang X，Chen H Y，Li Y J，et al.Visual laser-SLAM in large-scale indoor environments[C]//2016 IEEE International Conference on Robotics and Biomimetics （ROBIO）.December 3-7，2016，Qingdao，China.IEEE，2017：19-24

[60]Lv Q，Ma J Y，Wang G S，et al.Absolute scale estimation of ORB-SLAM algorithm based on laser ranging[C]//2016 35th Chinese Control Conference （CCC）.July 27-29，2016，Chengdu，China.IEEE，2016：10279-10283

[61]Zhang Y C，Zhang H，Xiong Z H，et al.A visual SLAM system with laser assisted optimization[C]//2019 IEEE/ASME International Conference on Advanced Intelligent Mechatronics （AIM）.July 8-12，2019，Hong Kong，China.IEEE，2019：187-192

[62]Huang S S，Ma Z Y，Mu T J，et al.Lidar-monocular visual odometry using point and line features[C]//2020 IEEE International Conference on Robotics and Automation （ICRA）.May 31-August 31，2020，Paris，F(xiàn)rance.IEEE，2020：1091-1097

[63]Ali W，Liu P L，Ying R D，et al.A feature based laser SLAM using rasterized images of 3D point cloud[J].IEEE Sensors Journal，2021，21（21）：24422-24430

[64]Kang J，Zhang Y J，Liu Z，et al.RPV-SLAM：range-augmented panoramic visual SLAM for mobile mapping system with panoramic camera and tilted lidar[C]//2021 20th International Conference on Advanced Robotics （ICAR）.December 6-10，2021，Ljubljana，Slovenia.IEEE，2022：1066-1072

[65]ChouC C，Chou C F.Efficient and accurate tightly-coupled visual-lidar SLAM[J].IEEE Transactions on Intelligent Transportation Systems，2022，23（9）：14509-14523

[66]Radmanesh R，Wang Z Y，Chipade V S，et al.LIV-LAM：lidar and visual localization and mapping[C]//2020 AmericanControl Conference （ACC）.July 1-3，2020，Denver，CO，USA.IEEE，2020：659-664

[67]WangK，Cao C，Ma S，et al.An optimization-based multi-sensor fusion approach towards global drift-free motion estimation[J].IEEE Sensors Journal，2021，21（10）：12228-12235

[68]Yi S Q，Worrall S，Nebot E.Integrating vision，lidar and GPS localization in a behavior tree framework for urban autonomous driving[C]//2021 IEEE International Intelligent Transportation Systems Conference （ITSC）.September 19-22，2021，Indianapolis，IN，USA.IEEE，2021：3774-3780

[69]胡凱，鄭翡，盧飛宇，等.基于深度學習的行為識別算法綜述[J].南京信息工程大學學報（自然科學版），2021，13（6）：730-743

HU Kai，ZHENG Fei，LU Feiyu，et al.A survey of action recognition algorithms based on deep learning[J].Journal of Nanjing University of Information Science amp; Technology （Natural Science Edition），2021，13（6）：730-743

[70]MumuniA，Mumuni F.CNN architectures for geometric transformation-invariant feature representation in computer vision：a review[J].SN Computer Science，2021，2（5）：1-23

[71]CovingtonP，Adams J，Sargin E.Deep neural networks for YouTube recommendations[C]//Proceedings of the 10th ACM Conference on Recommender Systems.New York，NY，USA：ACM，2016：191-198

[72]MaR B，Wang R，Zhang Y B，et al.RNNSLAM：reconstructing the 3D colon to visualize missing regions during a colonoscopy[J].Medical Image Analysis，2021，72：102100

[73]ChenW F，Shang G T，Ji A H，et al.An overview on visual SLAM：from tradition to semantic[J].Remote Sensing，2022，14（13）：3010

[74]Ai Y B，Rui T，Lu M，et al.DDL-SLAM：a robust RGB-D SLAM in dynamic environments combined with deep learning[J].IEEE Access，2020，8：162335-162342

[75]MaF C，Karaman S.Sparse-to-dense：depth prediction from sparse depth samples and a single image[C]//2018 IEEE International Conference on Robotics and Automation （ICRA）.May 21-25，2018，Brisbane，QLD，Australia.IEEE，2018：4796-4803

[76]Kang X J，Li J，F(xiàn)an X T，et al.Real-time RGB-D simultaneous localization and mapping guided by terrestrial lidar point cloud for indoor 3-D reconstruction and camera pose estimation[J].Applied Sciences，2019，9（16）：3264

[77]An Y，Shi J，Gu D B，et al.Visual-lidar SLAM based on unsupervised multi-channel deep neural networks[J].Cognitive Computation，2022，14（4）：1496-1508

[78]Cattaneo D，Vaghi M，F(xiàn)ontana S，et al.Global visual localization in lidar-maps through shared 2D-3D embedding space[C]//2020 IEEE International Conference on Robotics and Automation （ICRA）.May 31- August 31，2020，Paris，F(xiàn)rance.IEEE，2020：4365-4371

[79]Leutenegger S，Lynen S，Bosse M，et al.Keyframe-based visual-inertial odometry using nonlinear optimization[J].The International Journal of Robotics Research，2015，34（3）：314-334

Overview of SLAM research based on heterogeneous data fusion

ZHOU Chengjun1CHEN Weifeng1SHANG Guangtao1WANG Xiyang1XU Chonghui1LI Zhenxiong1

1School of Automation，Nanjing University of Information Science amp; Technology，Nanjing 210044，China

AbstractLaser SLAM （Simultaneous Localization and Mapping） and visual SLAM have been fully developed and widely used in military and civil fields.However，single sensor SLAM has limitations，for instance，laser SLAM is not suitable for scenes with a large number of dynamic objects around it，while visual SLAM has poor robustness in low-texture environments.Therefore，fusion of the two technologies has great potential to compensate each other，and it can be prospected that SLAM technology combining laser and vision or even more sensors will be the mainstream direction in the future.Here，we review the development of SLAM technology，analyze the hardware information of lidar and camera，and introduce some classical open-source algorithms and datasets.Furthermore，the multi-sensor fusion schemes are detailed from perspectives of uncertainty，feature and novel deep learning.The excellent performance of multi-sensor fusion schemes in complex scenes are summarized，and the future development trend of multi-sensor fusion is prospected.

Key wordssimultaneous localization and mapping （SLAM）;lidar SLAM;VSLAM;multi-sensor fusion;mobile robotDOI：10.13878/j.cnki.jnuist.20231023005