動態場景下基于雙目的無人機SLAM研究

(廣東工業大學 廣東 廣州 510006)

一、引言

近年來隨著微電子技術和微型控制器性能的提升以及無人機產鏈的成熟，無人機在軍事領域和民用領域都得到廣泛的應用，并在災害探測，測繪，航拍等方面大放異彩。四旋翼飛行器憑借著結構簡單，成本低，操作簡便以及懸停功能等諸多優勢[1]，獲得了越來越多的關注。日益增長的需求和任務的復雜程度越來越高，使得無人機要向自主化智能化方向發展。要實現無人機在未知環境下的自主飛行需要無人機具備環境感知和定位的功能。在室外時，GPS廣泛應用于各種產品的定位，但是GPS精度受環境影響較大，在建筑群或者是室內的時候GPS信號弱甚至沒有，導致了無人機無法在室內或者在密閉空間使用GPS做定位。并且單單使用GPS無人機會無法獲得環境的信息從而無法實現避障路徑規劃等功能[2]。因此使用視覺傳感器來做定位是一個必然趨勢，攝像頭具有體積小，功耗低，成本低，可提供豐富的環境信息,這為機器視覺的位姿估計提供了良好的硬件環境。同時定位和地圖構建SLAM((Simultaneous localizationand mapping)問題在移動機器人領域有著悠久的歷史，根據傳感器的類型可分為激光SLAM系統[3]，單目SLAM，雙目SLAM和RGB-D SLAM[3]。激光SLAM精度高，但是價格昂貴；單目SLAM對計算資源要求不高，但是缺少物體的實際尺度信息，系統初始化困難，對于無人機而言存在著很大的隱患。RGB-D SLAM可以直接獲得深度信息但是受光照影響大，而且適用距離有限，不適合用于室外環境。雙目SLAM系統具有尺度信息而且對于光照等環境的變化具有一定的魯棒性，所以適合用于無人機上[4]。目前許多先進的算法相繼被提出來，列如ORB-SLAM,LSD-SLAM[9],DSO[10]等。然而這些算法是假設環境是絕對靜止的，雖然它們能夠實現很好的精度和魯棒性，但是沒有解決場景中的動態對象的問題。上述方法利用了物理先驗算法實現動態場景下的相機姿態實時估計，并且具有很好的精度。當動態場景中存在快速移動的剛性或者非剛性物體對象時，如移動的人，車，以及其他物體時，VSLAM往往會產生較大的定位誤差或者導致跟蹤失敗。因此，動態環境下的位姿估計一直是一個難題[5-8]。今年來人工智能的快速發展，使得目標檢測技術日趨成熟，目標檢測可以應用于各種應用，如車輛識別，人臉識別，物體跟蹤等。我們可以充分利用人工智能的成果來加強SLAM系統的性能，目前有的語義分割SLAM系統就是代表性產物。但是語義分割方法的運行速度和準確率成反比，對于無人機這樣運算資源有限而且實時性要求比較強的系統并不使用。YOLO[10]目標檢測系統具有算法準確率高而且運算速度快。因此我們提出了利用YOLO目標檢測系統檢測出潛在的動態物體，然后去掉動態物體再進行特征點的匹配來獲取無人機的姿態。從而改進SLAM算法的魯棒性，使其能夠應對動態場景。

二、系統結構

(一)ORB特征點檢測

ORB[9]特征點由關鍵點和描述子兩部分組成。其關鍵點稱作“Oriented FAST”,是一種改進的FAST角點，使得角點具有方向性。其描述子被稱為BRIEF(binary robust independent elementary feature)，是一種二進制描述子，使用了隨機選點的比較，速度非常快，而且存儲十分方便。提取ORB描述子分為兩個步驟：

1.FAST角點的提取：在圖像中選取像素p，然后計算半徑為r的半圓上的像素點的亮度Ip，如果有連續N個點亮度大于Ip+τ(閾值)或者Ip-τ，則被認為是一個角點。

在一個圖像塊B中，定義圖像的像素的矩為：

mpq=∑x,yxpyqI(x,y)

(1)

其中為圖像點(x，y)處的灰度值，通過矩可以得到圖像的質心：

(2)

那么幾何中心O與質心C的方向角可以定義為：

θ=arctan(m01,m10)

(3)

2.BRIEF描述子，采用隨機選取點的方法，比較附件兩個隨機像素(比如p和q)的大，如果p比q大，則取1，反之取0然后我們取n個這樣的點，組成的向量變為BRIEF描述子。

(二)基于深度學習的目標檢測算法

YOLO全稱是You Only Look Once，這個算法來源于Joseph Redmon等人在CVPR 2015上發表的一篇論文[10]。它不僅解決了目標邊界框不精確的問題，而且算法速度也很快。YOLO的基本思路是，把一個大的圖像分割成更小更精細的n等份的網格，然后每個網格都打上標簽，這個格子內是否有目標，目標的位置以及目標所屬類別。YOLO算法將目標檢測任務看作目標區域預測和類別預測的回歸問題。該方法采用單個神經網絡直接預測物品邊界和類別概率，實現端到端(end to end)的物品檢測。同時，該方法檢測速非常快，基礎版可以達到45幀/s的實時檢測；FastYOLO[11]可以達到155幀/s。通過YOLOv3算法把圖像的動態物圖識別出來，把它們分為動態特征點集合。

(三)雙目相機檢測原理

雙目相機是由兩個基于針孔模型的中心投影的單目相機組成[12]，通過中心投影可以建立三維點與像平面之間的關系，由成像關系可得：

(4)

(5)

d=z·s

(6)

其中，fx,fy指相機在x,y兩個軸上的焦距，cx,cy指相機的光圈中心，s指深度圖的縮放因子。空間點p[x,y,z]和它在圖像中的像素坐標[u,v,d](d指深度數據)，f為焦距。我們會把fx,fy,cx,cy這四個參數定義為相機的內參矩陣，也就是相機做好之后就不會變的參數。相機的內參可以用很多方法來標定。雙目相機深度測量原理[14]如下從理想的情況開始分析:假設左右兩個相機位于同一平面(光軸平行)，且相機參數(如焦距f)一致。根據上述推導，要計算空間點P離相機的距離(深度)z，必須要知道：

1.相機焦距f，左右相機基線b。這些參數可以通過先驗信息或者相機標定得到。

2.視差d。需要知道左相機的每個像素點(xl,yl)和右相機中對應點(xr,yr)的對應關系。這是雙目視覺的核心問題

(四)系統的結構

1.硬件結構

本系統的硬件由大疆飛行器機架，px4飛控，地面站構成，無人機搭載了機載算計(intel up2 CPU N4200 8G+128G 1套)，小覓雙目攝像頭，光流傳感器構成。大疆的650機架能夠提供2kg的載重負荷，保證了其能夠搭載機載計算機以及攝像頭。機載計算機采用NVDIA的Jetson TX2，其具有256顆的CUDA核4顆ARM A57核以及8GB的內存，對圖像處理有強大的優勢，而且其體積小，功耗低使用于無人機的機載計算機。另外采用小覓的ZED雙目相機，其具有高分辨率，較低的光靈敏度和自帶IMU。飛控采用Pixhawk飛控，不僅擁有穩定的飛行控制還提供了豐富的外部接口。攝像頭采集的圖像經過Jetson TX2處理后由基于ROS(robot operation system的MavLink協議與pixhawk進行通信。

2.算法流程

本算法在ROS系統中完成，其中軟件架構如下所示，通過視覺傳感器讀取第一幀RGB圖像，對圖像進行ORB特征點提取并計算特征點數量，如果特征點數量大于閾值，則把圖像作為參考幀，系統初始化。如果特征點數量小于閾值則讀取下一幀RGB圖片，提取ORB特征點，直到特征點數量大于閾值，進行系統初始化。對于初始化的系統，讀取下一幀圖像，并使用YOLO算法對圖像進行目標檢測，并將檢測到的動態物體框選出來。然后對剔除動態物體的區域進行特征點提取以及匹配。通過空間幾何原理得到特征點的三維坐標。然后對進行特征點進行跟蹤。

三、實驗結果與分析

本文對設計的方案分別在TUM[2]集上和真實飛行兩種實驗驗證。在數據集上我們和ORB-SLAM進行了比較，將重點放在具有動態物體的系列上。

圖1 本方法和ORB_SLAM在動態場景下的對比(左ORB_SLAM右本方法)

由圖可知，在一些具有移動的行人的環境中，ORB-SLAM會對動態物體進行檢測，其結果會對系統的跟蹤和精度有一定的影響。本系統中對環境中的車輛和行人作為動態對象并進行了檢測和處理。圖1中可以看出本算法能夠避免對行人進行特征匹配，從而提高了系統的精度。

圖2是在是測試時候的真實場景，為了安全考慮，無人機在無人的公路旁以及僅有少量車輛的環境下進行了飛行測試。實驗所設定的圖像采集頻率為15幀/s，分辨率為1280x720。由圖可得，傳統ORB-SLAM算法在圖片進行特征點提取的時候會把動態物體的特征點計算進去，而本算法可以對動態物體進行識別，在做特征點匹配時候可以將其剔除。驗證了本文算法具有更高的精確度。

圖2 飛行結果展示

四、結束語

為了減少動態物體對slam系統的影響，提高無人機飛行的安全性和魯棒性，本文提出了一種將基于深度學習的目標檢測的YOLOv3算法引入到基于視覺特征實時檢測的SLAM系統中。將潛在的動態物體進行識別，然后對其區域的特征點進行分類處理，然后對非動態特征點進行特征點的匹配，減少了動態特征點參與位姿跟蹤和建圖所造成的誤差。與ORB_SLAM相比較，系統的精確性和魯棒性有了不少的提高。但是其處理造成了系統的響應速度下降，在物體檢測要消耗不少時間，因此對機載計算機的性能要求較高。并且在無人機快速移動的時候容易造成跟蹤失敗。因此在未來的研究中，我們將重點研究如何提高精確度的同時降低圖像的處理時間，保證系統的實時性能。