多旋翼無人機單目V-SLAM研究綜述

趙良玉　朱葉青　金瑞

摘要：? ? ? ?視覺同時定位與地圖構建（V-SLAM）方法是保證多旋翼無人機在環境先驗信息未知情況下正常工作的有效途徑， 對于多旋翼無人機的定位、 導航和路徑規劃等具有重要意義。 針對多旋翼無人機V-SLAM方法的國內外最新研究成果進行綜述。 首先， 在簡述V-SLAM分類及發展歷程的基礎上， 綜述了國內外具有代表性的基于濾波、 基于優化、 基于直接法及融合IMU數據的單目V-SLAM系統核心思想及特點; 然后， 分析了單目V-SLAM系統應用于多旋翼無人機的可行性， 介紹了國內外若干從事多旋翼無人機單目V-SLAM研究的團隊及其主要研究成果; 最后， 討論了近年來V-SLAM的研究熱點和發展趨勢。

關鍵詞：? ? ?多旋翼無人機; 視覺同時定位與地圖構建; 單目視覺; 優化; 濾波; 慣性測量單元

中圖分類號：? ? TJ765; V279? 文獻標識碼：? ? A文章編號：? ? ?1673-5048（2020）02-0001-140

引言

近年來， 無人機[1]（Unmanned Aerial Vehicles， UAV）技術得到飛速發展， 其中多旋翼無人機（Multi-Rotor UAV）因具有空中懸停[2]、 垂直起降、 操作靈活等優點， 在軍事偵察[3]、 災難救援、 工程測繪、 空間數據采集、 地理探測、 動物保護等諸多領域得到了廣泛應用。 同時定位與地圖構建[4]（Simultaneous Localization and Mapping， SLAM）方法由Smith和Cheeseman于1986年提出[5]， 最早應用于移動機器人領域， 指在環境先驗信息未知情況下， 裝有特定傳感器的載體于運動過程中構建環境模型， 同時估計自身的狀態和位置信息， 從而實現自主定位與導航。 視覺同時定位與地圖構建（Visual Simultaneous Localization and Mapping， V-SLAM）方法以其小范圍內定位精度高、 無需任何環境先驗信息、 硬件成本低廉、 不易受外界干擾（僅需一個普通攝像頭）及信息量獲取豐富等優點， 成為近年來的熱門研究方向。 其中， 單目相機功耗低、 質量輕， 一方面較雙目相機節省計算資源， 另一方面比深度相機測距范圍更廣， 可適用于室內外等多場景， 使得單目V-SLAM系統與無人機平臺的結合有著先天優勢。

SLAM技術自提出以來， 出現了一些相關的教程[6-8]及針對其原理和常用模塊的總結[9-11]， 如國內外專家對基于濾波的SLAM[12]、 基于圖優化的SLAM[13]、 基于深度學習的SLAM[14-15]、 典型V-SLAM方法[16-18]、 視覺慣性SLAM[19]、 SLAM后端優化方法[20]和面向無人車的V-SLAM[21]等進行了綜述。 目前， 能夠檢索到的關于無人機V-SLAM的文獻綜述發表時間相對較早[22-23]， 盡管多旋翼無人機的V-SLAM技術已逐漸引起國內外學者的研究興趣， 但對其系統性的介紹還比較少， 如文獻[24]也僅僅只是提到了V-SLAM算法在UAV中的應用問題。 鑒于此， 本文將重點介紹近年來單目V-SLAM技術取得的標志性研究成果， 對具有代表性的V-SLAM系統框架和結構進行分析和比較， 同時針對多旋翼無人機V-SLAM最新研究熱點和發展趨勢進行討論、 總結和展望。

航空兵器2020年第27卷第2期趙良玉， 等： 多旋翼無人機單目V-SLAM研究綜述1V-SLAM架構及其數學描述

如圖1所示， 經典V-SLAM系統主要分為兩大部分， 前端進行特征提取和數據關聯（包括特征跟蹤和閉環檢測）， 用于估計相鄰圖像間相機的運動以及局部地圖， 后端進行優化， 用于建立全局一致的軌跡和地圖， 消除運行中的累計誤差[25]。

可通過最小二乘法求解式（10）的最優解， 得到狀態變量χ的最大似然估計值。 由于噪聲的存在， 所估計的位姿與地圖在代入SLAM的運動方程、 觀測方程中并不一定成立， 通過不斷優化狀態估計值， 從而使系統整體誤差下降到一個極小值， 便認為得到較為準確的無人機位姿x及地圖點y。

2代表性的單目V-SLAM系統

SLAM的發展按時間線可大致分為三個階段[6]： 第一個階段是1986～2004年， 稱為經典時代， 該階段主要提出了V-SLAM的概念， 并將其轉換為一個狀態估計問題， 后端以基于濾波的形式占據主流， 針對前端數據關聯的效率及魯棒性進行了深入研究; 第二個階段是2004～2015年， 稱為算法分析時代， 該階段發現在使用非線性優化求解V-SLAM問題過程中， 可利用矩陣的稀疏性加速計算， 至此以非線性優化的形式占據主流， 逐漸出現了多種開源的SLAM框架， 針對SLAM的可觀測性、 收斂性以及一致性進行了深入研究; 第三個階段從2015年至今， 稱為魯棒感知時代， 研究重點主要使算法具有自主調參能力， 以適應各種環境和長時間有效運行， 并在更高層次理解環境信息生成自適應地圖。 本節重點介紹幾類具有代表性的單目V-SLAM系統。

2.1基于濾波的V-SLAM

Davison第一個提出了稱為MonoSLAM[27]的純視覺單目實時SLAM系統。 該系統利用擴展卡爾曼濾波（Extended Kalman Filter， EKF）來實現室內場景下的同時定位與地圖構建。 該V-SLAM系統可實時復現單目相機在未知場景里隨機運動的3D運動軌跡。 由于MonoSLAM系統使用具有恒定線性速度和角速度的運動模型， 使得其無法正確處理相機的突然移動， 限制了其應用范圍。 Gee等人[28]在考慮相機加速運行時線速度和角速度變化的情況下進行了改進， 運行頻率可達200 Hz。 但該算法由于地圖規模、 計算量增長過快， 實時性能只能維持幾秒鐘的時間。 Montemerlo等[29]在Rao-Blackwellized粒子濾波（Particle Filter）[30]框架的基礎上， 提出一種FastSLAM方法以解決SLAM的實時性問題。 該方法將SLAM分解為一個定位問題、 一個建圖問題， 使用粒子濾波估計相機位姿， 使用EKF估計地圖中地標點的位置。

2.2基于優化的V-SLAM

PTAM（Parallel Tracking and Mapping）是Klein[31]于2007年提出并開源的。 作為第一個提出使用多線程的V-SLAM算法， 其核心思想是將跟蹤和建圖作為兩個獨立任務， 并使用兩個線程并行處理。 跟蹤線程中使用極限特征搜索的方式初始化特征信息， 通過三角化恢復場景點三維位置; 同時， PTAM還是第一個使用Buddle Adjustment（BA）非線性優化作為后端處理方案的算法。 PTAM具有的里程碑意義在于， V-SLAM后端算法由傳統的使用濾波器向使用非線性優化轉變。 不過， PTAM作為早期應用于增強現實技術（Augment Reality， AR）[31-32]的SLAM方法， 也具有自身的缺陷， 如跟蹤易丟失、 需要使用5點法手動初始化地圖、 應用場景比較小等。 目前， PTAM多應用于AR領域中， 實際應用到多旋翼無人機中仍然具有一定的難度。

ORB-SLAM由Murartal等[33-34]于2015年提出， 被認為是目前比較完善的一種V-SLAM系統。 ORB-SLAM基于PTAM 的兩線程并行運算框架， 融合了Galvez-Lopez和Tardos[35]的地點識別算法、 Strasdat等[36]提出的閉環檢測算法以及文獻[37-38]中的大場景操作方法， 創新性地采用了三線程并行運算框架。 文獻[39]對單目視覺SLAM閉環檢測方法進行改善， 通過減少需要比較的特征量來加速算法， 通過圖像檢測的優化以及建立的立體約束使建圖更加準確， 與ORB-SLAM和LSD-SLAM對比， 結果顯示出該方法運算更加高效， 可用于多旋翼無人機自主導航。 文獻[40]利用ORB-SLAM2[34]稀疏特征點構建用于無人機自主導航的地圖， 系統由增量的SLAM、 實時稠密地圖創建和自由空間提取三個部分組成， 獲得的自由空間體積可以作為運動規劃的常規幾何約束。

2.3基于直接法的V-SLAM

LSD-SLAM（Large-Scale Direct Monocular SLAM）由Engel等[41]在2014年提出， 該方法將直接圖像匹配的方法應用于高精度位姿估計， 實時重建關鍵幀位姿圖和半稠密深度地圖。 該系統的優勢在于： （1）在大尺度場景下實時運行， 使用相似變換群表達尺度的漂移; （2）只考慮灰度梯度明顯區域的像素位置以實現半稠密場景的重建， 有效地節省了計算量。 文獻[42]在LSD-SLAM基礎上創建無人機視覺導航系統， 實時估計無人機的軌跡和重建真實場景的半稠密地圖， 提出使用障礙物重建和探索的方法， 克服了LSD-SLAM僅確定高梯度像素深度， 忽略紋理較少區域的弊端。

SVO（Semi-direct Visual Odometry）是由Forster等[43]在2014年提出的“半直接”視覺里程計法。 SVO是直接法與特征法的混合， 特征提取只是在初始化新的3D點時使用， 之后利用像素強度對比， 以及小的圖像塊匹配對相機位姿進行估計。 即使在高幀率的運行狀態下， SVO在處理紋理重復及重疊區域時仍然顯示了較好的收斂性， 產生極少的3D外點。 SVO[43]無需提取每幀的特征值， 可大大提高運算速度， 應用于無人機機載嵌入式模塊時處理幀速達55 幀/秒。 SVO也存在一些問題， 如為了強調速度和輕量化未建立全局一致性環境地圖， 摒棄了回環檢測以及后端優化部分， 導致位姿估計依然存在著累積誤差等不足。 文獻[44]結合SVO算法提出一種基于單目的無人機實時三維重建[45]和自主著陸系統， 圖2描述了該文獻中無人機室內避障飛行真實場景圖以及無人機實時重建三維場景圖和著陸過程。

2.4融合IMU的V-SLAM

單目V-SLAM自身框架存在一些固有問題， 如： （1）由于單目相機無法獲取環境的深度信息， 即使單目V-SLAM估計出的運動軌跡形狀跟實際運行軌跡相同， 但其尺寸大小仍然不是真實尺寸; （2）當相機運動近似純旋轉， 即沒有明顯的相對平移運動時， 無法使運動軌跡和地圖收斂， 與慣性測量單元（Inertial Measurement Unit， IMU）融合可以有效地解決上述問題。 Qin等[46]提出的單目VINS-Mono（Visual-Inertial System）狀態估計算法， 可以提供完整的俯仰角和滾轉角信息， 即僅在x， y， z三個方向以及偏航角上具有累計漂移， 因此只針對位姿圖的上述4個自由度進行優化， 降低了計算復雜度， 有效提高了算法的時效性。 圖3所示為VINS-Mono算法在多旋翼無人機飛行過程中生成的軌跡及構建的稠密地圖， 其中紅色表示新生成的軌跡， 綠色表示無人機已經執行的軌跡， 周圍障礙物的高度用不同的顏色塊表示。

SVO[43]+MSF[47]以松耦合的方式通過擴展卡爾曼濾波器， 將視覺里程計得到的位姿估計與IMU信息融合， 可以達到較高的計算效率， 缺點是需要手動初始化尺度信息。 SVO+GTSAM[48]前端視覺里程計采用SVO， 后端使用iSAM2[49]完成在線因子圖優化， 前端和后端分開使得幀處理的時間較短。 但由于三角化效果不佳， 會引起數值不穩從而導致后端失效， 實驗表明該方法不適用于無人機。

MSCKF[50]以EKF為后端緊耦合的視覺慣性里程計， 其狀態向量中只保留了多幀相機姿態， 利用滑動窗口的方法優化多幀圖像重投影誤差。 該方法沒有回環檢測， 使其計算復雜度較低， 運行效率高， 且算法精度不受無人機硬件平臺的影響[51]。 ROVIO[52]是基于EKF的視覺/慣性測量單元融合的狀態估計算法， 通過將路標點表示為方位向量和逆深度參數來減少初始化的延遲。 同等條件下應用于無人機平臺[51]， ROVIO的精度要高于SVO+MSF， 同時資源占用要低于VINS-Mono。 為便于對比各類單目V-SLAM系統的組成與優缺點， 對其應用于多旋翼無人機的可行性進行分析， 匯總列于表1。

國內對多旋翼無人機V-SLAM的研究同樣取得了不少成果。 北京理工大學無人飛行器自主控制研究所圍繞無人機復雜環境下的目標探測與自主定位、 協同控制等關鍵技術開展研究， 設計了垂直起降無人機自主著艦的輔助系統[65]。 北京航空航天大學可靠飛行控制研究組利用搭載單目相機的AR Drone 無人機進行信息融合算法研究， 實現了魯棒姿態估計等[66]。 上海交通大學鄒丹平教授等提出了基于線特征的StructSLAM[67]以及多相機協作的CoSLAM[68]。 香港科技大學沈劭劼教授針對飛行器V-SLAM和IMU融合策略進行研究， 提出了VINS-Mono[46]算法， 以及針對單目深度估計的MVDepthNet[69]算法等。

針對V-SLAM前端， 如數據關聯以及初始化等方面， 海軍航空工程學院的王希彬等[70]建立了利用相機和慣性傳感器組合的無人機V-SLAM算法模型， 提出了一種改進的延遲地表初始化方法， 簡化了系統狀態和方差陣的結構， 減少了存儲和計算量， 但該方法的初始化條件需要依賴經驗獲取。 王希彬等[71]還針對SLAM數據關聯問題， 提出一種基于禁忌搜索的混沌蟻群算法， 利用該算法擴大解的搜索空間， 從而得到了全局最優解。 該方法將SLAM數據關聯問題轉化為組合優化問題， 有效克服了單純蟻群算法容易陷入局部極限的缺陷， 提高了數據關聯率， 但是運行時間要長于單純的蟻群算法。 需要說明的是， 上述兩種算法均在無人機SLAM仿真環境中驗證了其有效性。

針對V-SLAM后端， 如實施三維環境重建及點云匹配等問題， 中國科學院的呂科等[72]提出一種適用于微型無人機的V-SLAM方法， 使用Point-plane ICP點云匹配算法實現視覺自主定位， 利用機載處理器與地面站協同計算， 以滿足無人機控制的實時性要求。 該算法將視覺SLAM系統與IMU傳感器融合， 進一步提升了自主定位和建圖精度， 但由于該算法使用RGB-D相機作為傳感器， 受其作用距離限制， 只適合在較小范圍的場景中應用， 未來可考慮采用多傳感器融合的方式拓展其觀測距離并提高其實用性。 清華大學自動化系的陳寶華等[73]提出了一種基于即時稠密三維重構的無人機視覺定位方法， 通過多深度圖協同去噪與優化方法構建高質量稠密點云， 并將其與衛星圖像匹配以實現無人機定位， 這種基于虛擬視圖的地理定位算法， 其定位精度和定位準確性均高于單張圖像匹配的方法。 深圳大學的蒙山等[74]提出一種多維幾何特征的單目視覺三維環境建模方法， 其思路是將線和面特征引入單目SLAM的三維地圖構建過程， 以提高系統三維空間建模的搜索速度和穩定性， 通過點線特征結合以及直線增強的J-Linkage算法提高特征平面的聚類速度和穩定性， 減少系統三維空間表達的冗余信息， 但該方法更適合于點和線特征豐富的環境， 在紋理較弱的場景中效果欠佳。

在V-SLAM系統整體框架方面， 裝甲兵工程學院的劉峰等[75]基于ORB-SLAM算法設計搭建自主導航無人機平臺， 提出了一種ROS框架下在板運行單目V-SLAM算法的自主無人機方案。 實驗表明， 飛行器成功完成了設定的室內導航飛行任務， 導航精度在±0.2 m以內， 共構建5 722個環境地圖點， 包含131幀關鍵幀， 平均每幀圖像跟蹤約150個特征點。 南京航空航天大學的叢楚瀅等[76]提出了一種小型無人機的FastSLAM算法， 并建立了其數學模型， 其思路是將無人機的SLAM問題分解成路徑估計與環境地標估計兩部分， 采用M個粒子的粒子濾波器（Particle Filter）估計無人機軌跡， 對于地圖中每個獨立的地標， 則采用一個單獨的EKF進行估計。

可以看出， 國內外專家和學者針對V-SLAM系統在多旋翼無人機領域的應用已經做了大量的研究和探索， 越來越多的開源系統成為推動V-SLAM技術日新月異發展的重要因素。 然而， 目前多數研究成果與實驗是在較理想的實驗室環境下進行的， 在實際工程應用中， 尚有諸多現實問題需要克服， 如缺少紋理等復雜環境中的特征提取、 大場景的三維環境重建、 兼顧精度與時效性的算法、 高速運動狀態下算法的穩定性等方面， 對國內外廣大研究者和學者來說依然具有較大的挑戰性。

4V-SLAM研究熱點及發展趨勢

4.1V-SLAM與深度學習的結合

深度學習在計算機視覺等領域的應用已經取得了顯著效果， 目前越來越多的研究者將深度學習與SLAM相結合（與SLAM前端相結合可處理傳感器得到的信息[77]， 與后端相結合可用于幾何特征的優化[78]， 與閉環檢測相結合進行重定位）， 甚至可以將深度學習應用到語義SLAM， 通過物體識別、 目標檢測以及語義分割獲得環境中獨立的個體， 以更加智能的方式完成指定任務[65]， 如無人機的路徑規劃及避障等。

Li等[79]將卷積神經網絡（CNN）與LSD-SLAM相結合， 利用單目相機構建半稠密三維地圖， 首先訓練CNN模型實現二維語義分割， 然后實現相鄰關鍵幀的空間一致性對應， 完成二維語義信息到三維建圖的轉換， 最后利用正則化去除地圖外點。 McCormac等[80]利用SLAM系統ElasticFusion[81]得到空間幾何信息， 將二維幀對應到全局一致的三維地圖， 利用卷積神經網絡進行語義分割， 將多視點概率融合成帶有語義信息的稠密地圖。 Weerasekera等[82]通過訓練深度卷積神經網絡學習平面法線作為先驗信息， 優化重建效果， 克服了三維稠密地圖重建過程中地圖過于稀疏及需要手工輸入先驗信息等問題。 DeepMind團隊Silver等[83]通過深度神經網絡實現了超越先驗知識局限性的機器自主監督強化學習， 賦予機器完全自主學習和創新的能力， 使無法提供大量先驗信息的訓練具備了可行性。

目前深度學習與V-SLAM的結合仍僅限于某個單一模塊， 如特征提取、 圖像匹配以及回環檢測等， 深度學習在對大量數據訓練方面具有明顯優勢[84-85]， 但是其訓練時間較長， 所以將其應用于無人機依然具有挑戰性。

4.2多傳感器信息融合

單一傳感器具有局限性， 如僅使用相機的V-SLAM過于依賴環境的紋理信息、 IMU具有誤差累計、 GPS室內使用效果較差等， 因此， 多傳感器信息融合是V-SLAM研究的發展趨勢之一。

Tornqvist等[86]提出一種V-SLAM粒子濾波算法， 將RMAX航空器裝載的IMU和相機信息進行融合， 采用粒子濾波器估計航空器姿態， 采用卡爾曼濾波器完成建圖。 Min等[87]利用卡爾曼濾波和無跡卡爾曼濾波將無人機GPS數據與三維模型的幾何信息和投影點進行融合， 在GPS不可用區域， 采用相機得到的視覺信息， 確保目標模型和非目標區域的高精度定位與環境感知。 Chowdhary等[88]提出了一種利用信任指數更新特征列表的數據庫管理算法。 該算法采用Harris[89]角點檢測器進行特征定位， 通過特征對應法對數據庫進行更新， 并通過EKF將相機、 IMU和聲吶傳感器相融合， 以測量和估計飛行器狀態。 Huh等[90]提出了一種標定相機和激光傳感器的方法以及基于EKF的實時V-SLAM導航算法， 將相機、 激光掃描儀和IMU融合用于無人機姿態估計和建圖。

Yang等[91]提出一種實時單目稠密地圖構建算法， 其中無人機掛載的傳感器為單目相機和IMU， 構建的全局圖可用于無人機避障和導航。 Urzua等[92]提出一種無GPS定位信息狀態下的無人機狀態估計算法， 通過EKF融合IMU、 相機、 二維激光雷達傳感器信息得到精準定位。

新型傳感器的不斷涌現為多傳感器信息融合提供了新的機遇和挑戰， 同時也為V-SLAM在多旋翼無人機領域的應用提供了更多智能和實用選擇。 如蘇黎世大學的Davide Scaramuzza實驗室于2016年首次在四旋翼無人機上使用了動態視覺傳感器Event Camera。 該傳感器較傳統相機最大不同點是， 其記錄的不是周圍環境的單一場景而是場景之間的變化， 在無人機狀態估計以及躲避移動物體等任務中的表現明顯優于傳統相機。

4.3多無人機協同中的V-SLAM

隨著無人機技術的飛速發展， 多架無人機協同工作以其特有的優勢[93-97]， 打破了單架無人機的局限性， 成為無人機技術發展的重要趨勢之一。 如何將V-SLAM應用到多無人機協同工作場景下成為研究的重要方向之一。

Riazuelo等[98]描述了一種基于分布式云架構的協同跟蹤和建圖的V-SLAM系統， 將計算量較大的地圖優化及存儲過程放到云端進行。 該系統提供地圖數據接口， 確保每個載體均可獨立建圖， 已存儲的地圖可被別的載體重復使用， 也可通過無線連接實現在線融合， 圖4描述了在線估計得到的A周圍地圖與存儲的B周圍地圖相融合得到更完整地圖的過程。 另外， 單個載體在檢測到遮擋時， 可根據評估將多個地圖融合在一起， 進一步提升地圖的完整度和準確性。

為了克服多機器人協同工作中網絡延遲以及帶寬限制的問題， Cieslewski等[99]提出一種分布式后端并發的構圖方法， 通過版本控制系統允許多機器人并發地對地圖數據訪問， 使用異步更新的方式在多機器人之間共享歷史數據。 隨后， 為降低多機器人之間數據傳輸的復雜度， Cieslewski等[100]提出了一種高效數據關聯的方法， 將全圖描述符和位姿估計所需數據精準地發送給單個機器人， 對位姿圖進行分布式優化， 使機器人之間的數據關聯及線性擴展更加緊湊。

顯然， 多無人機協同環境下的V-SLAM系統具有更好的容錯能力， 未來若能夠有效解決多機之間的網絡延遲、 帶寬限制， 以及數據傳輸復雜度等問題， 將可以使地圖融合、 任務規劃與調度、 通信拓撲等任務更加高效， 魯棒性更好。

4.4動態及復雜環境中V-SLAM

傳統SLAM算法研究的場景多為靜止狀態， 而實際應用多為動態場景， 如存在由于光照等外界環境變化引起的紋理特征差異， 以及移動物體的干擾等。

Tan等[101]提出一種單目V-SLAM在動態環境下工作的算法， 通過自適應隨機抽樣一致算法（Random Sample Consensus， RANSAC）去除外點， 確保在較復雜的環境中準確地估計出相機位姿。 在有較大場景變化的區域， 該算法使用在線關鍵幀表示和更新方法， 達到自適應周圍動態環境的效果。 Yang等[102]在缺少紋理信息的情況下使用單目實時語義SLAM算法， 基于TUM數據集生成稠密語義三維模型， 存在的像素深度誤差僅為6.2 cm， 指出對場景的理解可以改進狀態估計和稠密地圖構建的精度。 Caccamo等[103]提出了一種同時對場景中的靜態區域及動態物體進行三維重建的方法。

針對飛行器在超高層建筑之間或幽深峽谷等環境中飛行時， 存在傳統狀態估計方法效果較差或者無法使用的問題， Qiu等[104]將單目魚眼相機和IMU兩者的測量值與3D模型相結合， 在二維圖像到三維模型的轉換過程中使用邊緣對齊的方法， 有效適應照明條件和相機特性的強烈變化。 Fehr等[105]提出了一種基于擴展TSDF的方法， 可對環境中動態目標進行三維重建并細化靜態地圖。

4.5討論

（1） 現階段視覺SLAM系統， 在面對真實工作條件下的復雜場景時（如相機的快速運動和大角度旋轉、 低紋理非結構化的自然場景及復雜的光照條件， 亦或是大規模不確定的自然環境等）， 如何平衡SLAM系統實時性和準確性， 確保系統的高魯棒性和適應性， 提升故障的自我檢測和修復能力， 仍有待探索。

（2） 多傳感器間的優勢互補可在很大程度上提高SLAM系統的綜合能力。 然而， 成熟的SLAM系統若集成多種傳感器， 一方面要考慮成本和平臺負載能力， 另一方面則要考慮因不同傳感器具有的不同數據類型、 誤差模型、 時間戳和坐標系表示等導致的計算量過大問題。 如何應對不同傳感器間的信息融合， 盡早地實現多傳感器下的微型化和低成本化， 將是未來的一個研究熱點。

（3） 深度學習已經改進或應用于視覺SLAM的某一部分， 如圖像特征提取與匹配以及回環檢測等。 由于人類識別物體運動的基礎是感知而非圖像特征， 以類人化的發展進程去展望未來， 用深度學習來重建并理解場景， 必將是未來SLAM的一個發展方向， 而端到端的學習方法是否會占據未來的主導地位仍是一個開放性話題。

（4） SLAM是軟硬件相結合的復雜系統， 軟件算法的突破， 離不開硬件基礎的革新， 兩者相輔相成。 未來， 隨著軟硬件技術的同步創新， SLAM將不僅存在于高性能計算平臺， 智能手機、 VR眼鏡和各類嵌入式平臺（如無人機、 移動小車）都將是其的載體。 隨著大流量、 低延時的5G網絡興起， SLAM算法的突破， 將取決于網絡的覆蓋能力是否健全和系統算力是否得到根本性提升。

此外， 單目V-SLAM也具有自身的不足， 其最大的問題就是無法直接得到深度信息， 必須通過移動相機視角并借助對極幾何和三角測量等方法來間接獲得深度信息。 雙目相機和RGB-D相機的出現， 大幅簡化了V-SLAM中的深度計算部分， 讓系統魯棒性更好。 基于雙目相機和RGB-D相機的V-SLAM， 均已經在無人機避障和機器人等領域獲得了應用， 如大疆精靈4 Pro和Mavic系列產品。 這兩種SLAM系統， 可參見文獻[106-108]。

5結束語

近年來， 多旋翼無人機軟硬件平臺均取得了突破性的研究成果， 在軍事和民用領域發揮著越來越重要的作用， 單目相機等視覺傳感器的發展和普及也促使V-SLAM迅猛發展。 然而目前多旋翼無人機依然存在著負載能力有限、 應用環境復雜、 飛行姿態不夠穩定等諸多問題， 使得V-SLAM在無人機的實際應用中還有許多理論以及工程問題尚未解決。

V-SLAM系統為順應多旋翼無人機輕量化及小型化的發展趨勢， 為解決機載傳感器及計算處理單元等硬件設備性能受限等問題， 必須提高系統的魯棒性和計算能力， 同時降低質量和能耗。 在未來的研究中， 只有能高效應對各種復雜情況的V-SLAM系統才能夠滿足現實應用的需求， 也才會成為國內外專家學者的研究重點和研究熱點。

參考文獻：

[1] 夏進， 姜子木， 王成華， 等. 基于Matlab的無人機通信信道模型的設計[J]. 航空兵器， 2019， 26（5）： 69-76.

Xia Jin， Jiang Zimu， Wang Chenghua， et al. Design of UAV Communication Channel Model Based on Matlab[J]. Aero Weaponry， 2019， 26（5）： 69-76. （in Chinese）

[2] 雷瑤， 林容釗， 吳智泉. 小型多旋翼飛行器懸停效率分析[J]. 兵工學報， 2019， 40（6）： 1323-1328.

Lei Yao， Lin Rongzhao， Wu Zhiquan. Experimental Study on the Aerodynamic Arrangement of Small MultiRotor Aircraft with High Capacity Payload[J]. Acta Armamentarii， 2019， 40（6）： 1323-1328. （in Chinese）

[3] 杜梓冰， 張立豐， 陳敬志， 等. 有人/無人機協同作戰演示驗證試飛關鍵技術[J]. 航空兵器， 2019， 26（4）： 75-81.

Du Zibing， Zhang Lifeng， Chen Jingzhi， et al. Critical Technologies of Demonstration Flight Test of Cooperative Operation for Manned/Unmanned Aerial Vehicles[J]. Aero Weaponry， 2019， 26（4）： 75-81. （in Chinese）

[4] 劉浩敏， 章國鋒， 鮑虎軍. 基于單目視覺的同時定位與地圖構建方法綜述[J]. 計算機輔助設計與圖形學學報， 2016， 28（6）： 855-868.

Liu Haomin， Zhang Guofeng， Bao Hujun. A Survey of Monocular Simultaneous Localization and Mapping[J]. Journal of ComputerAided Design & Computer Graphics， 2016， 28（6）： 855-868. （in Chinese）

[5] Smith R C， Cheeseman P. On the Representation and Estimation of Spatial Uncertainty[J]. The International Journal of Robotics Research， 1987， 5（4）： 56-68.

[6] Cadena C， Carlone L， Carrillo H， et al. Past， Present， and Future of Simultaneous Localization and Mapping： Toward the RobustPerception Age[J]. IEEE Transactions on Robotics， 2016， 32（6）： 1309-1332.

[7] DurrantWhyte H， Bailey T. Simultaneous Localization and Mapping： Part I [J]. IEEE Robotics & Automation Magazine， 2006， 13（2）： 99-110.

[8] Bailey T， DurrantWhyte H. Simultaneous Localization and Mapping （SLAM）： Part II[J]. IEEE Robotics & Automation Magazine， 2006， 13（3）： 108-117.

[9] Aulinas J， Petillot Y R， Salvi J， et al. The SLAM Problem： A Survey[C]∥ The 11th International Conference of the Catalan Association for Artificial Intelligence （CCIA）， Spain， 2008， 184（1）： 363-371.

[10] 何俊學， 李戰明. 基于視覺的同時定位與地圖構建方法綜述[J]. 計算機應用研究， 2010， 27（8）： 2839-2843.

He Junxue， Li Zhanming. Survey of VisionBased Approach to Simultaneous Localization and Mapping [J]. Application Research of Computer， 2010， 27（8）： 2839-2843. （in Chinese）

[11] Huang? S D， Dissanayake G. A Critique of Current Developments in Simultaneous Localization and Mapping[J]. International Journal of Advanced Robotic Systems， 2016， 13（5）： 1-13.

[12] Strasdat H， Montiel J M M， Davison A J， et al. Editors Choice Article： Visual SLAM： Why Filter[J]. Image and Vision Computing， 2012， 30（2）： 65-77.

[13] 梁明杰， 閔華清， 羅榮華. 基于圖優化的同時定位與地圖創建綜述[J]. 機器人， 2013， 35（4）： 500-512.

Liang Mingjie， Min Huaqing， Luo Ronghua. GraphBased SLAM： A Survey[J]. Robot， 2013， 35（4）： 500-512. （in Chinese）

[14] 趙洋， 劉國良， 田國會， 等. 基于深度學習的視覺SLAM綜述[J]. 機器人， 2017， 39（6）： 889-896.

Zhao Yang， Liu Guoliang， Tian Guohui， et al. A Survey of Visual SLAM Based on Deep Learning[J]. Robot， 2017， 39（6）： 889-896. （in Chinese）

[15] 李少朋， 張濤. 深度學習在視覺SLAM中應用綜述[J]. 空間控制技術與應用， 2019， 45（2）： 1-10.

Li Shaopeng， Zhang Tao. A Survey of Deep Learning Application in Visual SLAM[J]. Aerospace Control and Application， 2019， 45（2）： 1-10. （in Chinese）

[16] Fuentespacheco J， Ruizascencio J， Rendonmancha J M， et al. Visual Simultaneous Localization and Mapping： A Survey[J]. Artificial Intelligence Review， 2015， 43（1）： 55-81.

[17] Huang B C， Zhao J， Liu J B. A Survey of Simultaneous Localization and Mapping [EB/OL]. （2019-10-12）[2020-01-14]. https：∥arxiv.org/abs/1909.05214.

[18] 權美香， 樸松昊， 李國. 視覺SLAM綜述[J]. 智能系統學報， 2016， 11（6）： 768-776.

Quan Meixiang， Piao Songhao， Li Guo. An Overview of Visual SLAM[J]. CAAI Transaction on Intelligent Systems， 2016， 11（6）： 768-776. （in Chinese）

[19] Huang G. VisualInertial Navigation： A Concise Review[C]∥ International Conference on Robotics and Automation（ICRA）， Montreal， Canada， 2019： 9572-9582.

[20] Huang S. A Review of Optimization Strategies Used in Simultaneous Localization and Mapping[J]. Journal of Control and Decision， 2019， 6（1）： 61-74.

[21] Ros G， Sappa A， Ponsa D， et al. Visual SLAM for Driver Less Cars： A Brief Survey[C]∥Proceedings of IEEE Workshop on Navigation， Perception， Accurate Positioning and Mapping for Intelligent Vehicles， Los Alamitos， 2012： 1-6.

[22] 吳顯亮， 石宗英， 鐘宜生. 無人機視覺導航研究綜述[J]. 系統仿真學報， 2010， 22（1）： 62-65.

Wu Xianliang， Shi Zongying， Zhong Yisheng. An Overview of VisionBased UAV Navigation[J]. Journal of System Simulation， 2010， 22（1）： 62-65. （in Chinese）

[23] 王希彬， 趙國榮， 潘爽. 無人機視覺同時定位與地圖創建技術綜述[C]∥第30屆中國控制會議， 煙臺， 2011： 3913-3918.

Wang Xibin， Zhao Guorong， Pan Shuang. Overview on Simultaneous Localization and Mapping for Uninhabited Aerial Vehicle Vision[C]∥Proceedings of the 30th Chinese Control Conference， Yantai， China， 2011： 3913-3918. （in Chinese）

[24] AIKaff A， Gomez D M， Garcia F， et al. Survey of Computer Vision Algorithms and Applications for Unmanned Aerial Vehicles[J]. Expert System with Applications， 2018， 92： 447-463.

[25] Thrun S， Burard W， Fox D. Probabilistic Robotics[M]. New York： The MIT Press， 2005： 245-248.

[26] 高翔， 張濤， 劉毅. 視覺SLAM十四講： 從理論到實踐[M]. 北京： 電子工業出版社， 2017： 105-109.

Gao Xiang， Zhang Tao， Liu Yi. 14 Lessons of Visual SLAM： From Theory to Practice[M]. Beijing： Publishing House of Electronics Industry， 2017： 105-109. （in Chinese）

[27] Davison A J， Reid I， Molton N D， et al. MonoSLAM： RealTime Single Camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.

[28] Gee A P， Chekhlov D， Calway A， et al. Discovering Higher Level Structure in Visual SLAM[J]. IEEE Transactions on Robotics， 2008， 24（5）： 980-990.

[29] Montemerlo M， Thrun S， Koller D， et al. FastSLAM： A Factored Solution to the Simultaneous Localization and Mapping Problem[C]∥The Eighteenth National Conference on Artificial Intelligence and Fourteenth Conference on Innovative Applications （AAAI/IAAI）， Edmonton， Canada， 2002： 593-598.

[30] Doucet A， Freitas N， Murphy K， et al. RaoBlackwellised Particle Filtering for Dynamic Bayesian Networks[C]∥ Proceedings of the Sixteenth Conference on Uncertainty in Artificial Intelligence， 2000： 176-183 .

[31] Klein G， Murray D. Parallel Tracking and Mapping for Small AR Workspaces[C]∥Proceedings of 6th IEEE and ACM International Symposium on Mixed and Augmented Reality， Los Alamitos， 2007： 225-234.

[32] Klein G， Murray D. Parallel Tracking and Mapping on a Camera Phone[C]∥Proceedings of 8th IEEE? International Symposium on Mixed and Augmented Reality， Orlando， USA， 2009： 83-86.

[33] Murartal R， Montiel J M， Tardos J D， et al. ORBSLAM： A Versatile and Accurate Monocular SLAM System[J]. IEEE Transactions on Robotics， 2015， 31（5）： 1147-1163.

[34] Murartal R， Tardos J D. ORBSLAM2： An OpenSource SLAM System for Monocular， Stereo and RGBD Cameras[J]. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

[35] GalvezLopez D， Tardos J D. Bags of Binary Words for Fast Place Recognition in Image Sequences[J]. IEEE Transactions on Robotics， 2012， 28（5）： 1188-1197.

[36]? Strasdat H， Montiel J M， Davison A J， et al. Scale DriftAware Large Scale Monocular SLAM[C]∥Robotics： Science and Systems （RSS）， Zaragoza， Spain， 2010.

[37] Strasdat H， Davison A J， Montiel J M， et al. Double Window Optimisation for Constant Time Visual SLAM[C]∥IEEE International Conference on Computer Vision （ICCV）， Barcelona， Spain， 2011： 2352-2359.

[38] Mei C， Sibley G， Newman P， et al. Closing Loops Without Places[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 3738-3744.

[39] Bokovoy A， Yakovlev K. Original LoopClosure Detection Algorithm for Monocular vSLAM[C]∥ International Conference on Analysis of Images， Social Networks and Texts， 2017： 210-220.

[40] Ling Y G， Shen S J. Building Maps for Autonomous Navigation Using Sparse Visual SLAM Features[C]∥ IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Vancouver， Canada， 2017： 1374-1381.

[41] Engel J， Schops T， Cremers D， et al. LSDSLAM： LargeScale Direct Monocular SLAM[C]∥European Conference on Computer Vision， 2014： 834-849.

[42] Von Stumberg L， Usenko V， Eegel J， et al. From Monocular SLAM to Autonomous Drone Exploration[C]∥ European Conference on Mobile Robots， Paris， France， 2017： 1-8.

[43] Forster C， Pizzoli M， Scaramuzza D. SVO： Fast SemiDirect Monocular Visual Odometry[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 15-22.

[44] Forster C， Faessler M， Fontana F， et al. Continuous OnBoard MonocularVisionBased Elevation Mapping Applied to Autonomous Landing of Micro Aerial Vehicles[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 111-118.

[45] Pizzoli M， Forster C， Scaramuzza D. Remode： Probabilistic， Monocular Dense Reconstruction in Real Time[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 2609-2616.

[46] Qin T， Li P L， Shen S J. VINSMono： A Robust and Versatile Monocular VisualInertial State Estimator[J]. IEEE Transactions on Robotics， 2018， 34（4）： 1004-1020.

[47] Lynen S， Achtelik? M W， Weiss S， et al. A Robust and Modular MultiSensor Fusion Approach Applied to MAV Navigation[C]∥ IEEE/RSJ International Conference on? Intelligent Robots and Systems， Tokyo， Japan， 2013： 3923-3929.

[48] Forster C， Carlone L， Dellaert F， et al. OnManifold Preintegration for RealTime VisualInertial Odometry[J]. IEEE Transactions on Robotics， 2015， 33（1）：1-21.

[49] Kaess M， Johannsson H， Robberts R， et al. iSAM2： Incremental Smoothing and Mapping Using the Bayes Tree[J]. The International Journal of Robotics Research， 2012， 31（2）： 216-235.

[50] Mourikis A， Roumeliotis S. A MultiState Constraint Kalman Filter for VisionAided Inertial Navigation[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， 2007.

[51] Jeffrey D， Davide S. A Benchmark Comparison of Monocular VisualInertial Odometry Algorithms for Flying Robots[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018： 2502-2509.

[52] Bloesch M， Omari S， Hutter M， et al. Robust Visual Inertial Odometry Using a Direct EKFBased Approach[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems， Hamburg， Germany， 2015： 298-304.

[53] Engel J， Koltun V， Cremers D. Direct Sparse Odometry[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.

[54] Shen S， Mulgaokar Y， Michael N， et al. MultiSensor Fusion for Robust Autonomous Flight in Indoor and Outdoor Environments with a Rotorcraft MAV[C]∥ IEEE International Conference on Robotics and Automation （ICRA）， Hong Kong， China， 2014： 4974-4981.

[55] Mueller M W， Hamer M， Andrea R. Fusing UltraWideband Range Measurements with Accelerometers and Rate Gyroscopes for Quadrocopter State Estimation [C]∥IEEE International Conference on Robotics and Automation（ICRA）， Seattle， USA， 2015： 1730-1736.

[56] Engel J， Sturm J， Cremers D. CameraBased Navigation of a LowCost Quadrocopter[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）， VilamouraAlgarve， Portugal， 2012： 2815-2821.

[57] Nemra A， Aouf N. Robust Cooperative UAV Visual SLAM[C]∥IEEE 9th International Conference on Cybernetic Intelligent Systems （CIS）， Reading， UK， 2010： 1-6.

[58] Loianno G， Thomas J， Kumar V. Cooperative Localization and Mapping of MAVs Using RGBD Sensors[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 4021-4028.

[59] Piasco N， Marzat J， Sanfourche M， et al. Collaborative Localization and Formation Flying Using Distributed StereoVision[C]∥IEEE International Conference on Robotics and Automation（ICRA）， Stockholm， Sweden， 2016： 1202-1207.

[60] Wang F， Cui J Q， Chen B M， et al. A Comprehensive UAV Indoor Navigation System Based on Vision Optical Flow and Laser FastSLAM[J]. Acta Automatica Sinica， 2013， 39（11）： 1889-1900.

[61] Bryson M， Sukkarieh S. Building a Robust Implementation of BearingOnly Inertial SLAM for a UAV[J]. Journal of Field Robotics， 2007， 24（1-2）： 113-143.

[62] Kim J， Sukkarieh S. RealTime Implementation of Airborne InertialSLAM[J]. Robotics & Autonomous Systems， 2007， 55（1）： 62-71.

[63] Gandhi D， Pinto L， Gupta A， et al. Learning to Fly by Crashing[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS），Vancouver，? Canada， 2017： 3948-3955.

[64] Pinto L， Gupta A. Supersizing SelfSupervision： Learning to Grasp from 50k Tries and 700 Robot Hours[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Stockholm， Sweden， 2016： 1544-1551.

[65] 王輝， 林德福， 何紹溟， 等. 垂直起降無人機自主著艦的輔助系統： CN201620633396.8 [P]. 2016-12-07.

Wang Hui， Lin Defu， He Shaoming， et al. Vertical TakeOff and Landing UAV Autonomous Auxiliary System：? CN201620633396.8 [P]. 2016-12-07. （in Chinese）

[66] Fu Q， Quan Q， Cai K Y， et al. Robust Pose Estimation for Multirotor UAVs Using OffBoard Monocular Vision [J]. IEEE Transactions on Industrial Electronics， 2017， 64 （10）： 7942-7951.

[67] Zhou H Z， Zou D P， Pei L， et al. StructSLAM： Visual SLAM with Building Structure Lines [J]. IEEE Transactions on Vehicular Technology， 2015， 64（4）： 1364-1375.

[68] Zou D P， Tan P. CoSLAM： Collaborative Visual SLAM in Dynamic Environments [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， Italy，? 2013， 35（2）： 354-366.

[69] Wang? K X， Shen S J. MVDepthNet： RealTime Multiview Depth Estimation Neural Network[C]∥International Conference on 3D Vision （3DV）， Verona， Italy， 2018： 248-257.

[70] 王希彬， 趙國榮， 寇昆湖. 無人機視覺SLAM算法及仿真[J]. 紅外與激光工程， 2012， 41（6）： 1653-1658.

Wang Xibin， Zhao Guorong， Kou Kunhu. UAV Vision SLAM Algorithm and Simulation[J]. Infrared and Laser Engineering， 2012， 41（6）： 1653-1658. （in Chinese）

[71] 王希彬， 趙國榮， 李海君. 基于禁忌搜索的混沌蟻群算法在SLAM數據關聯中的應用[J]. 北京理工大學學報， 2012， 32（7）： 725-728.

Wang Xibin， Zhao Guorong， Li Haijun. Chaos Ant Colony Algorithm Based on Tabu Search for Data Association of SLAM[J]. Transactions of Beijing Institute of Technology， 2012， 32（7）： 725-728. （in Chinese）

[72] 呂科， 施澤南， 李一鵬. 微型無人機視覺定位與環境建模研究[J]. 電子科技大學學報， 2017， 46（3）： 543-548.

Lü Ke， Shi Zenan， Li Yipeng. Visual Localization and Environment Mapping for Micro Aerial Vehicles[J]. Journal of University of Electronic Science and Technology of China， 2017， 46（3）： 543-548. （in Chinese）

[73] 陳寶華， 鄧磊， 陳志祥， 等. 基于即時稠密三維重構的無人機視覺定位[J]. 電子學報， 2017， 45（6）： 1294-1300.

Chen Baohua， Deng Lei， Chen Zhixiang， et al. Instant Dense 3D ReconstructionBased UAV Vision Localization[J]. Acta Electronica Sinica， 2017， 45（6）： 1294-1300. （in Chinese）

[74] 蒙山， 唐文名. 單目SLAM直線匹配增強平面發現方法[J]. 北京航空航天大學學報， 2017， 23（4）： 660-666.

Meng Shan， Tang Wenming. Monocular SLAM Plane Discovery Method Enhanced by Line Segments Matching[J]. Journal of Beijing University of Aeronautics and Astronautics， 2017， 23（4）： 660-666. （in Chinese）

[75] 劉峰， 呂強， 郭峰， 等. 基于ROS的自主無人VSLAM研究[J]. 現代防御技術， 2016， 44（6）： 61-66.

Liu Feng， Lü Qiang， Guo Feng， et al. VSLAM of Autonomous UAV Based on ROS[J]. Modern Defense Technology， 2016， 44（6）： 61-66. （in Chinese）

[76] 叢楚瀅， 王從慶， 丁臻極， 等. 一種小型無人機的FastSLAM算法[J]. 華中科技大學學報： 自然科學版，? 2015， 43（S1）： 420-427.

Cong Chuying， Wang Congqing， Ding Zhenji， et al. A Fast SLAM Algorithm for Small Unmanned Aerial Vehicle[J]. Journal of Huazhong University of Science and Technology： Natural Science Edition， 2015， 43（S1）： 420-427. （in Chinese）

[77] Tateno K， Tombari F， Laina I， et al. CNNSLAM： RealTime Dense Monocular SLAM with Learned Depth Prediction[C]∥IEEE? Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 6243-6252.

[78] Zhou T H， Brown M， Snavely N， et al. Unsupervised Learning of Depth and EgoMotion from Video[C]∥IEEE? Computer Society Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA， 2017： 1851-1858.

[79] Li X P， Belaroussi R. SemiDense 3D Semantic Mapping from Monocular SLAM[EB/OL]. （2016-11-13）[2020-01-14]. https：∥arxiv.org/pdf/1611.04-144.pdf.

[80] McCormac J，Handa A， Davison A， et al. SemanticFusion： Dense 3D Semantic Mapping with Convolutional Neural Networks[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4628-4635.

[81] Whelan T， Leutenegger S， Salasmoreno R F， et al. ElasticFusion： Dense SLAM Without a Pose Graph[C]∥Robotics： Science and Systems （RSS）， Rome， Italy， 2015.

[82] Weerasekera C S， Latif Y， Garg R， et al. Dense Monocular Reconstruction Using Surface Normals[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 2524-2531.

[83] Silver D， Schrittwieser J， Simonyan K， et al. Mastering the Game of Go Without Human Knowledge[J]. Nature， 2017， 550（7676）： 354-359.

[84] Mnih V， Kavukcuoglu K， Silver D， et al. HumanLevel Control Through Deep Reinforcement Learning[J]. Nature， 2015， 518（7540）： 529.

[85] Krizhevsky A， Sutskever I， Hinton G. ImageNet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neutral Information Processing Systems （NIPS）， Lake Tahoe， USA， 2012： 1097-1105.

[86] Tornqvist D， Schon T B， Karlsson R， et al. Particle Filter SLAM with High Dimensional Vehicle Model[J]. Journal of Intelligent & Robot System， 2009（4-5）： 249-266.

[87] Min J， Jeong Y， Kweon I S. Robust Visual Lockon and Simultaneous Localization for an Unmanned Aerial Vehicle[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Taipei， China， 2010： 93-100.

[88] Chowdhary G， Johnson E N， Magree D， et al. GPSDenied Indoor and Outdoor Monocular Vision Aided Navigation and Control of Unmanned Aircraft[J]. Journal of Field Robotics， 2013， 30（3）： 415-438.

[89] Harris C， Stephens M. A Combined Corner and Edge Detector[C]∥Alvey Vision Conference， Manchester， 1988： 147-151.

[90] Huh S， Shim D H， Kim J. Integrated Navigation Sys tem Using Camera and Gimbaled Laser Scanner for Indoor and Outdoor Autonomous Flight of UAVs[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Tokyo， Japan， 2013： 3158-3163.

[91] Yang Z F， Gao F， Shen S J. RealTime Monocular Dense Mapping on Aerial Robots Using VisualInertial Fusion[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Singapore， 2017： 4552-4559.

[92] Urzua S， Munguia R， Grau A， et al. VisionBased SLAM System for MAVs in GPSDenied Environments[J]. International Journal of Micro Air Vehicles， 2017， 9（4）： 1-14.

[93]? 薛瑞彬， 宋建梅， 張民強. 具有時延及聯合連通拓撲的多飛行器分布式協同編隊飛行控制研究[J]. 兵工學報， 2015， 36（3）： 492-502.

Xue Ruibin， Song Jianmei， Zhang Minqiang. Research on Distributed MultiVehicle Coordinated Formation Flight Control with Coupling TimeDelay and JointlyConnected Topologies[J]. Acta Armamentarii， 2015， 36（3）： 492-502. （in Chinese）

[94] 周思全， 化永朝， 董希旺， 等. 面向空地協同作戰的無人機-無人車異構時變編隊跟蹤控制[J]. 航空兵器， 2019， 26（4）： 54-59.

Zhou Siquan， Hua Yongchao， Dong Xiwang， et al. AirGround Time Varying Formation Tracking Control for Heterogeneous UAVUGV Swarm System[J]. Aero Weaponry， 2019， 26（4）： 54-59. （in Chinese）

[95] 張夢穎， 王蒙一， 王曉東， 等. 基于改進合同網的無人機群協同實時任務分配問題研究[J]. 航空兵器， 2019， 26（4）： 38-46.

Zhang Mengying， Wang Mengyi， Wang Xiaodong， et al. Cooperative RealTime Task Assignment of UAV Group Based on Improved Contract Net[J]. Aero Weaponry， 2019， 26（4）： 38-46. （in Chinese）

[96] 謝啟龍， 宋龍， 魯浩， 等. 協同導航技術研究綜述[J]. 航空兵器， 2019， 26（4）： 23-30.

Xie Qilong， Song Long， Lu Hao， et al. Review of Collaborative Navigation Technology[J]. Aero Weaponry， 2019， 26（4）： 23-30. （in Chinese）

[97] 岳源， 屈高敏. 分布式多無人機協同偵察目標分配研究[J]. 兵器裝備工程學報， 2018（3）： 57-61， 82.

Yue Yuan， Qu Gaomin. Research on Distributed Multi UAV Cooperative Reconnaissance Task Allocation[J]. Journal of Ordnance Equipment Engineering， 2018（3）： 57-61， 82. （in Chinese）

[98] Riazuelo L， Civera J， Montiel J M. C2TAM： A Cloud Framework for Cooperative Tracking and Mapping[J]. Robotics and Autonomous Systems， 2014， 62（4）： 401-413.

[99] Cieslewski T， Lynen S， Dymczyk M， et al. Map APIScalable Decentralized Map Building for Robots[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Seattle， USA， 2015： 6241-6247.

[100] Cieslewski T， Choudhary S， Scaramuzz D， et al. DataEfficient Decentralized Visual SLAM[C]∥IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia， 2018.

[101] Tan W， Liu H M， Dong Z L， et al. Robust Monocular SLAM in Dynamic Environments[C]∥IEEE International Symposium on Mixed and Augmented Reality， Adelaide， Australia， 2013： 209-218.

[102] Yang S? C， Song Y， Kaess M， et al. Popup SLAM： Semantic Monocular Plane SLAM for LowTexture Environments[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Daejeon， Korea， 2016： 1222-1229.

[103] Caccamo S， Ataercansizoglu E， Taguchi Y. Joint 3D Reconstruction of a Static Scene and Moving Objects[C]∥ International Conference on 3D Vision （3DV）， Qingdao， China， 2017： 677-685.

[104] Qiu K J， Liu T B， Shen S J. ModelBased Global Localization for Aerial Robots Using Edge Alignment[J]. IEEE Robotics and Automation Letter， 2017， 2（3）： 1256-1263.

[105] Fehr M， Furrer F， Dryanovski I， et al. TSDFBased Change Detection for Consistent LongTerm Dense Reconstruction and Dynamic Object Discovery[C]∥ IEEE International Conference on Robotics and Automation（ICRA）， Singapore， 2017： 5237-524.

[106] 王旒軍， 陳家斌， 余歡， 等. RGB-D SLAM綜述[J].導航定位與授時， 2017， 4 （6）： 9-18.

Wang Liujun， Chen Jiabin， Yu Huan， et al. An Overview of RGBD SLAM[J]. Navigation Positioning and Timing， 2017， 4 （6）： 9-18. （in Chinese）

[107] Jurgen S， Engelhard N， Endres F， et al. A Benchmark for the Evaluation of RGBD SLAM Systems[C]∥2012 IEEE/RSJ International Conference on Intelligent Robots and Systems， Vilamoura， Portugal， 2012.

[108] Cvisic I， Cesic J， Markovic I， et al. SOFTSLAM： Computationally Efficient Stereo Visual Simultaneous Localization and Mapping for Autonomous Unmanned Aerial Vehicles[J]. Journal of Field Robotics， 2018， 35（4）： 578-595.

Abstract： The visual simultaneous localization and mapping （VSLAM） is an effective approach to solve the problem encountered in the works of multirotor unmanned aerial vehicle （UAV） under unknown environment， which is very useful for the location， navigation and path planning of multirotor UAV. The main research achievements and the latest progresses of monocular VSLAM for multirotor UAV are collected. Firstly，? the classification and history of VSLAM are briefly described，? the principle and characteristics of several representative monocular VSLAM methods? based on filtering， optimization， direct method and IMU fusion are summarized. Secondly，? the feasibilities? of monocular VSLAM for multirotor UAV are analyzed， and the overseas and domestic research teams of monocular VSLAM for multirotor UAV are also summarized. Finally， several promising research directions for further investigation are discussed.

Key words： multirotor UAV; visual simultaneous localization and mapping; monocular vision; optimization; filter; IMU