視覺SLAM與構建地圖方法概述

畢浩博 譚丹丹 蘭崇嘉 高麗

摘要：概述了基于視覺SLAM經典框架的五個組成部分，重點分析了特征點法的簡單原理及特性、非線性系統和擴展卡爾曼濾波以及回環檢測的詞袋模型。最后展望了未來基于深度相機的SLAM研究和發展方向。

關鍵詞：視覺SLAM;視覺里程計;后端優化;回環檢測

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2020）12-0210-02

1背景

近年來，視覺同步定位和地圖構建（SLAM）已逐漸穩步向學術方向發展全自動車輛的可靠性。簡而言之，SLAM問題包括一組姿態下的車輛軌跡估計，同時建造環境地圖。除了自我定位之外地圖在避障、目標識別、任務規劃等方面有著廣泛的應用。通過讀取多種傳感器反饋的信息來估計本體運動信息和未知環境的特征信息，并融合反饋信息對本體位姿進行精確估計以及場景的空間建模是目前研究SLAM問題的常用方式。當前SLAM采用的傳感器有激光和視覺等多種類型，視覺傳感器其豐富的色彩和紋理等感知信息在提高幀間估計精度和閉環檢測正確率方面較激光傳感器單一的空間結構感知信息有著明顯的優勢和潛力。

常用的視覺傳感器可分為：單目相機、雙目相機、深度相機（RGB-D相機）。單目相機解決SLAM問題時，由于平移之后才能計算深度，以及無法確定真實尺度，會增加后端優化、回環檢測時的計算量。而雙目相機和RGB-D相機克服了單目相機無法知道距離的缺點，同時已知距離的情況下可以通過單張圖像構建出場景的三維結構。雙目相機和RGB-D相機的差異將在本文中進行討論，此處略過。本次探究SLAM問題采用經典視覺SLAM框架，如圖1所示。

分為傳感數據讀取、視覺里程計（Visual Odometry，VO）、后端優化（Optimization）、回環檢測（Loop Closing）、建圖（Mapping）五個部分，本文將著重討論視覺里程計、后端優化、回環檢測這三個部分。同時將工作環境盡量維持在靜態、剛體，光照變化不明顯、沒有人為干擾的場景，以確保定位與建圖的精準性。

本文主要對經典的視覺SLAM框架與地圖構建問題的分析和討論，系統地介紹和分析本次實驗的傳感器、視覺里程計、后端優化、回環檢查，以及地圖構建等五個部分。重點分析了特征點法的簡單原理及特性、非線性系統和擴展卡爾曼濾波以及回環檢測的詞袋模型。最后展望了未來基于深度相機的SLAM研究和發展方向。

2視覺里程計

里程計在汽車領域有著廣泛的應用，其目標是計量汽車行駛的距離，其計算方式在理想狀態下簡單來講是將輪子周長與轉動圈數的乘積。這種計算方式如果遇到打滑等特殊情況，就會出現偏差。當然在汽車領域這些誤差微不足道，而對于機器人和視覺領域來說差之分豪，謬之千里。在解決SLAM問題中，我們不僅僅要考慮機器人位移的量，同時還要考慮機器人自身的姿態，就將其統稱為位姿。因此傳統的里程計已經不能滿足該領域的需求。

可以確定機器人位資的方式很多，目前解決SLAM問題上視覺里程計的表現更為優異，無論是在精準度上，還是在反饋效率上都有著明顯的優勢。視覺里程計是根據拍攝圖像來估計相機的運動，由這個特點可以大概分為特征點法，直接法以及Lucas-Kanade光流法這三種方法。本章只介紹特征點法的原理以及特性。

2.1特征點法的簡單原理及特性

視覺里程計的目標是根據拍攝圖像來估計相機運動，而圖像用色彩和亮度的矩陣組成，如果用矩陣來估計相機運動，會增加計算難度。因此目前采用圖中較有特征性的點，通過改變相機的角度，通過前后兩張圖片上的特征點來估計相機的位資，所以我們也可以說特征是圖像另一種的數字表達形式，因此特征點法也成了解決SLAM問題廣為流傳的方法。

組成特征點的兩個因素分別為關鍵點和描述子。描述特征點在圖像中的位置，大小以及方向等信息的量成為關鍵點。而描述子是描述的是某一關鍵點周圍像素的信息，通常描述子是按照人為設定的方式去描述的，會選擇圖像中的角點、邊緣或者區塊等一些具有代表性作為特征點。當然只通過角點這些特征點是無法準確描述的，如今用SIFT，SURF，ORB等局部圖像特征來描述圖像信息，更加穩定。

說到局部特征最為經典的就是SIFT，優點在于在提取局部特征的同時考慮了圖像變換過程中光強，尺度變換，旋轉等可能出現的變化，這也是最理想化的提取特征方式。但是隨之而來的就是需要消耗大量的計算資源，為了考慮到計算速度的問題，適當地降低精準度和魯棒性是比較可取的方式。目前最具有代表性的實時圖像特征就是ORB特征。它采用速度極快的二進制描述子BRIEF，加快了提取特征的效率，并且保留了SIFT特征的特性。因此ORB特征在實時SLAM里有相對更好的表現力。為特征匹配提供了更精準的特征環境。

大體來講，特征匹配解決了SLAM的數據關聯的問題，通過圖像之間的描述子進行匹配，最后進行位資估計。由于圖像特征的局部特性，這樣就會存在誤匹配的現象，對于視覺SLAM發展來說是一大瓶頸。但是僅通過局部特征來解決誤匹配是十分困難的事情。

3后端優化

視覺里程計處理的圖像信息是兩個相鄰時間點內的運動軌跡，其存儲的時間也十分短暫，這樣會用過去的時間來更新當前的運動狀態，也就是運動狀態會存在漸進性的問題，因此后端優化的目標是解決整個運動時間內的狀態估計問題，用過去時間點內的信息和未來時間點的信息共同更新運動。后續處理因系統的線性問題而方法各不相同，我們主要討論非線性系統和擴展卡爾曼濾波（EKF）。

3.1非線性系統和擴展卡爾曼濾波

在SLAM問題中，運動方程和觀測方程通常都不是線性函數，例如相機模型需要調用相機內參和李代數表示位姿。這并非是線性函數，如果用卡爾曼濾波器構成的線性系統處理該函數，得到的分布列誤差很大。其原因是卡爾曼濾波器假設所有的狀態和噪聲都滿足高斯分布，但是高斯分布經過非線性變化，結果通常都不會是高斯分布。因此我們的目標是將卡爾曼濾波的結果分布擴展到非線性系統中，這個過程被稱為擴展卡爾曼濾波器（簡稱EKF）。

簡單描述其推導過程，先通過卡爾曼濾波器得到線性化的無偏最優估計，后經過后驗概率得到了單次線性近似下最大后驗估，從而解決了線性系統無法處理非線性問題的難題。擴展卡爾曼濾波器也具有許多局限性。首先它考慮k時刻的狀態只通過k-1時刻相的狀態，這樣也就是一定程度上假設了馬爾可夫性。而非線性優化方法傾向于用使用所有的歷史數據，這樣就增加了計算資源的使用。從程序實現上來說，EKF需要存儲狀態量的均值和方差，并對它們進行維護和更新。如果把路標也放進狀態的話，由于視覺SLAM中路標數量很大，這個存儲量是相當可觀的，且與狀態量呈平方增長（因為要存儲協方差矩陣）。因此，EKF SLAM普遍被認為不可適用于大型場景。

4回環檢測

在SLAM經典框架中，視覺里程計提供特征點的提取和軌跡、地圖的初值，而后端負責對這所有的數據進行優化，這兩個模塊的主要目的是估計相機運動。而只靠視覺里程計通過相鄰時間點上的數據，會將產生的誤差累積到下一個時刻，使得整個SLAM會出現累積誤差，最終無法構建全局一致的軌跡和地圖。雖然后端能夠估計最大后驗誤差，但是只有相鄰關鍵幀數據時，也無法解決累積誤差問題。而回環檢測模塊的關鍵在于其可以有效地檢測出相機經過同一個地方，這樣就可以反饋給后端更多的有效信息，特別是得到一個全局一致的估計，也就是估計的軌跡和地圖在長時間下的正確性。因此對SLAM的重要性不言而喻。

回環檢測最簡單的方法就是對任意兩張圖像都做一遍特征匹配，根據正確匹配的數量來判斷哪些圖像存在關聯。雖然這種方法有很好的實效性，但這種想法存在一個強假設，就是認定任意兩個圖像都可能存在回環。對于N個可能的回環，需要檢測C2次，這是O（N2）的復雜度，隨著軌跡變長增長太快，在大多數實時系統當中是不實用的。盡管隨機檢測在有些實現中有用，但設計回環檢測的期望是可以找出可能出現回環的點，這樣就可以減少回環次數避免資源浪費。這樣的方式大體分為兩種思路：基于里程計的幾何關系，或基于外觀?；趲缀侮P系我們可以知道，當前相機運動到了之前的某個位置附近時，檢測它們有沒有回環關系，但是由于累積誤差的存在，沒法正確地發現運動到了之前的某個位置附近。因此，回環檢測也無從談起。另一種思路是基于外觀的。它和前端后端的估計都無關，僅根據兩張圖像的相似性確定回環檢測關系。這種做法擺脫了累計誤差，使回環檢測模塊成為SIAM系統中一個相對獨立的模塊，擺脫了基于幾何關系的思路中累積誤差對結果的影響。

由于回環檢測提供了當前數據與所有歷史數據的關聯，在跟蹤算法丟失之后，我們還可以利用回環檢測進行重定位。因此，回環檢測對整個SLAM系統精度與魯棒性的提升是非常明顯的。

5視覺SLAM的發展

對于目前的視覺SLAM來說，未來發展的方向大體來講分為兩大方向一是往輕量級、小型化方向發展，讓SLAM能夠在嵌入式或手機等小型設備上良好的運行，然后考慮以它為底層功能的應用。另一個方面，則是利用高性能計算設備，實現精密的三維重建、場景理解等功能。在這些應用中，我們的目的是完美地重建場景，而對于計算資源和設備的便攜性則沒有多大限制。由于可以利用GPU，這個方向和深度學習亦有結合點，而如何將深度學習架構的應用貫穿于整個SLAM系統仍是一個巨大挑戰。