視覺同步定位與建圖系統中回環檢測研究進展

蘇子旸,張 策*,張 茹,張 展,張 婧,呂為工

(1.哈爾濱工業大學(威海) 計算機科學與技術學院,山東 威海 264209;2.哈爾濱商業大學 管理學院,黑龍江 哈爾濱 150076;3.哈爾濱工業大學 計算機科學與技術學院,黑龍江 哈爾濱 150001)

0 引 言

同步定位與建圖(Simultaneous Localization And Mapping,SLAM)[1]是智能機器人、無人駕駛等熱點研究領域的關鍵技術,能夠實現對設備位置與運行軌跡的精準識別和判定,以及對地圖信息的構建。以相機為傳感器的視覺SLAM(visual SLAM,vSLAM)技術因其具有較高的實用性和較低的成本成為各領域常用的方法。回環檢測作為視覺SLAM系統的重要組成部分之一,其作用是檢測設備的運動軌跡是否構成一個閉合回路,由此來消除部分在運動過程中產生的累積誤差,提高定位與建圖的準確性。基于詞袋模型的回環檢測方法一直是主流方法,使用詞袋提取圖像特征構成對圖像的描述,進而檢測圖像序列中是否存在回環。隨著深度學習技術與硬件設備的發展,深度學習技術逐漸在回環檢測中得到應用,并取得了良好的效果。該文從視覺SLAM系統中回環檢測的原理出發,介紹回環檢測工作流程,闡述國內外相關研究成果,總結目前存在的主要問題,并對未來技術發展方向做出展望。

1 視覺SLAM系統中的回環檢測原理與流程

1.1 視覺SLAM系統基本功能與結構

SLAM指一個可移動設備通過使用不同相機或雷達等傳感器,在未知的環境下獲取自身位置和環境情況并建圖的過程[1-3],其主要目標是將傳感器得到的信息傳換成3D環境信息,繪制設備運動軌跡,完成對設備的定位和地圖的繪制。由于攝像機的成本較低且較為輕便,且圖像往往包含地點特征,因而視覺SLAM是現代SLAM系統中的重要方法。典型視覺SLAM系統包括傳感器、視覺里程計、回環檢測、后端優化以及建圖,如圖1所示。

圖1 一個典型的SLAM系統基本構成

(1)傳感器獲取數據—通過傳感器采集環境中各種形式的圖像數據。在視覺SLAM中,常用的傳感器有單目相機、雙目相機與RGBD相機。

(2)前端視覺里程計—處理獲取的圖像數據,根據相鄰圖像估計兩幀圖像間設備的粗略移動。

(3)回環檢測—檢測設備是否在不同時間點到達同一位置,階段性地消除誤差,提高定位準確度。

(4)后端優化—前端得到的運動數據與觀測數據存在一定的噪聲,后端優化過程會在一定程度上減小噪聲的影響。

(5)建圖—根據應用需求的不同,重建出具有相應特點的地圖,是對整體處理結果的具體化。

1.2 視覺SLAM系統中的回環檢測原理與工作流程

在視覺SLAM系統運行過程中,由于環境條件或傳感器的隨機誤差等因素,導致了偏移的產生。在運行過程中,這些誤差會不斷累計,隨時間的推移對定位與建圖的結果造成了不良影響。

回環檢測的應用使得這一問題在一定程度上得以解決。在視覺SLAM的一些典型應用場景,如自動駕駛、掃地機器人以及智能穿戴設備等,其實際軌跡可能會重復經過一些場景,即軌跡存在回環。通過檢測設備軌跡中存在的回環,對預測軌跡進行修正,階段性地消除累計誤差,由此提升典型視覺SLAM應用場景下的定位與建圖的效果。

一般情況下回環檢測指基于外觀的回環檢測方法,通過計算不同圖像之間的相似度判定是否為同一地點,即構成回環。典型的回環檢測基本步驟如圖2所示。基于視覺的回環檢測從圖像的視覺特征入手,使用特征提取算法對圖像序列中的圖像進行特征提取,計算特征點的描述子,使用詞袋模型或基于深度學習的模型等方法得到圖像的向量化表示,進而計算圖像間的相似度并進行回環判定。

圖2 一種典型的回環檢測基本步驟

1.3 回環檢測前置問題——特征提取方法

特征提取方法決定了圖像的描述方式。實際環境中存在多種可能對回環檢測效果產生影響的因素如天氣、季節以及視角變化等。增強回環檢測魯棒性的重要思路就是選擇特征的描述子,即刻畫特征的向量。

同時,描述子的形式是否便于計算是影響效率的主要因素。由此可見,特征提取作為回環檢測的前置問題,對回環檢測的效果影響很大。

SIFT(Scale-Invariant Feature Transform)[4]是被廣泛使用的局部描述子,具有良好的旋轉不變性和尺度不變性,且獨特性良好,在海量數據的情況下也能精準匹配,但在涉及處理邊緣較為光滑的圖形時會出現特征點提取不足的情況,同時實時性不高。文獻[5]提出SURF(Speeded Up Robust Features)算法,對SIFT算法的運算效率和特征描述方法進行了優化。SURF描述子在保持SIFT優點的同時,將維度降為原來的一半,簡化了部分運算,提高了計算效率,但是SURF運算效率低的問題依然存在。

文獻[6]提出了FAST關鍵點與BRIEF描述子結合的ORB特征。其對FAST關鍵點的檢測圖像局部亮度變化提取角點的過程進行了改進,構建圖像金字塔和灰度質心法提高尺度不變性和旋轉不變性。利用方向信息計算旋轉后的BRIEF描述子,使ORB特征具有良好的尺度不變性和旋轉不變性,同時由于BRIEF描述子是一種二進制描述子,具有較高的運算效率,是目前多種SLAM系統所采用的方案。

HOG(Histogram of Oriented Gradient)描述符[7]能夠提取出圖像中物體邊緣所指向的方向。該方法組合圖像的各個局部特征來描述圖像。HOG描述符有良好的光學不變性且計算量較小,但旋轉不變性和尺度不變性不足,在很多場景使用受限。

1.4 回環檢測評測指標

常用相似度判斷兩張圖片是否存在回環。相似度計算方法如式1所示。

(1)

其中,u與v分別為圖像的二值描述向量,W為向量的維度,取L1范數。

對于非二值描述向量,一般使用歐氏距離(式2)與余弦距離(式3)等方式計算u與v之間的相似度。

(2)

(3)

當相似度大于一定閾值的時候,算法判定回環成立。與機器學習中分類問題類似的是,回環檢測的結果通常存在如表1所示的四種情況。

表1 回環檢測結果情況分類

假陽性會導致額外誤差的產生,所以回環檢測對準確率(式4)的要求極高,須接近100%。

(4)

累計誤差的影響會在檢出部分回環后基本消除,在保證準確率的前提下,召回率(式5)達到20%至30%就能取得比較理想的效果。

(5)

Precision-Recall曲線能直觀地反映出在保持較高準確率時召回率的水平,較為適合回環檢測。

2 回環檢測技術研究進展

目前,視覺SLAM系統中的回環檢測方案采用基于詞袋模型的方法作為主流。考慮到真實場景中環境條件復雜多變,且深度學習技術能提供更具魯棒性的圖像表示,研究人員開始嘗試將深度學習方法用于回環檢測問題[8]。根據圖像表示方法的不同,可以將其分為兩種,即基于詞袋模型的方法和基于深度學習的方法。這兩類方法存在一定的交叉,將這種情況歸類為基于深度學習的方法。

2.1 基于詞袋模型的回環檢測方法

詞袋模型是將圖像轉換成向量的一種方式,其思想是對于圖像來說只考慮特征的存在性。典型的基于詞袋模型的回環檢測算法邏輯圖如圖3所示。

圖3 基于詞袋的回環檢測方法邏輯圖

基于詞袋的回環檢測方法把圖像特征作為“詞匯”,首先通過特征提取算法提取圖像的關鍵點并生成描述子,再對描述子經過聚類算法構建詞袋,以詞頻-逆文本頻率(TF-IDF)等技術對圖像進行向量化表示,由此實現圖像間相似度的計算。

對基于詞袋模型的回環檢測技術按照時間跨度進行梳理,如圖4所示。2012年前,研究人員聚焦于使用SIFT或SURF描述子對圖像進行描述,通過概率模型判定回環以提高實時性。2012年后,研究人員著眼于尋找性能與效率之間的平衡,即在保持高效率的前提下提高算法的魯棒性。

2006年,Newman[9]在其提出的SLAM系統中引入了一個基于圖像外觀和序列的回環檢測模塊,其利用場景圖像之間的局部描述的相似性來查找圖像序列中潛在的回環,采用SIFT描述圖像特征,同時考慮在相近時間拍攝的照片具有相似性。該方法在當時取得了良好的效果,但實時性較差。Newman等人[10]隨后提出一種基于外觀與概率的回環檢測方法。他們建立了以視覺特征為詞匯的詞袋,通過Chow-Liu樹計算當前圖像是否出現過的概率。Chow-Liu樹是一種特殊的圖,其主要思想是考慮各個特征之間存在依賴關系。該方法在映射位置的過程中具有線性的時間復雜度,但缺點在于一些特征缺少獨特性,可能導致出現更多誤判。Wang[11]提出一種用于回環檢測由粗到細的全局定位方法。該方法建立LVSM(Location Vector Space Model),通過Harris-Laplace檢測器檢測尺度不變特征點,以SIFT描述子描述。流程分為粗定位和細定位兩階段,粗定位使用LVSM查找最相似的幾個候選向量,細定位對候選向量在數據庫中進行投票運算。該方法需離線訓練,其查找過程可在線運行。其在多個數據集上表現良好,但整體實時性有待提升。Angeli[12]針對Newman和Wang等人做法的不足,設計了一個基于貝葉斯濾波器的實時回環檢測系統,引入局部特征和顏色兩個特征空間并分別構建詞袋,使用貝葉斯濾波器估計輸入圖片和歷史圖片之間回環成立的概率。這種做法可用于在線處理,且能在長圖像序列中取得很好的結果。文獻[13]提出了FAB-MAP,一種基于Chow-Liu樹的回環檢測算法,采用SURF描述特征,通過預訓練構建詞袋,使用Chow-Liu樹判斷是否構成回環。該算法在與訓練環境差別較大的環境中性能也表現良好。

2012年,文獻[14]提出了一種基于FAST和BRIEF特征詞袋的回環檢測方法。該方法使用一種被稱為詞匯樹的K叉樹以表示字典來加速查找的過程,可用于在線處理,但缺乏旋轉和縮放不變性,其難以用于可穿戴相機與無人機等場景。

2013年,Labbe[15]提出的RTAB-Map包括一種基于內存管理的回環檢測算法。其思想是使用有限數量的位置來進行回環檢測,并在必要時遍歷所有位置。2018年,文獻[16]采用一種建立在層次結構之上的增量二進制詞袋進行回環檢測,能實時搜索、插入和刪除新的視覺詞匯,提高了實時性。

2021年,Tsintotas[17]提出了一種增量的用于回環檢測的詞袋模型,該算法通過從特征跟蹤過程中提取少量獨特的視覺單詞對經過的軌跡進行編碼。基于之前的工作[18]使用最近鄰投票方案對所有地點計算概率,并通過貝葉斯濾波器估計設備在地圖上的位置的信度狀態。該方法得益于詞匯量的精簡,在保證高召回率和準確率的同時不乏實時性。

部分研究人員考慮結合點線特征并引入回環檢測中。文獻[19]提出一種基于LBD(Line Band Descriptor)和數據依賴的點線特征視覺SLAM回環檢測算法,基于數據依賴得到相似度以檢測回環。

2.2 基于深度學習的回環檢測技術

卷積神經網絡(Convolution Neural Network,CNN)和自編碼器等深度學習模型在回環檢測中的應用引起很大關注,研究人員進行了廣泛的嘗試。

Chen[20]嘗試將卷積神經網絡用于一個70公里跨度的位置識別數據集,構建混淆矩陣進行匹配。文獻[21]對CNN提取到的特征和傳統描述符在回環檢測上的性能做了對比,發現當運行環境經歷光照變化時CNN特征表現更優秀。類似地,文獻[22-23]都采用SuperPoint模型來獲得特征點以及描述符。文獻[22]中提出LRO(Local Relative Orientation)匹配算法以計算圖像對之間的對應關系,這一技術在存在視點變化和動態對象等因素的場景中體現出顯著的魯棒性。文獻[24]使用ResNet提取圖像全局特征,并組合序列圖像特征作為當前幀的特征,更適用于大范圍的場景。

Sünderhauf[25]研究發現CNN中間層特征編碼表現出對天氣和光照等條件的魯棒性,頂層特征編碼具有對于視角變化的魯棒性。其在文獻[26]利用該發現提出一種結合地標識別的回環檢測算法,使用CNN對邊緣檢測算法提取的地標進行特征提取。類似地,文獻[27]將CNN提取的頂層特征編碼聚類作為CNN詞匯,引入底層特征編碼進行幾何驗證。胡章芳等人[28]提出了一種加權融合CNN多層特征的回環檢測算法,其特征融合過程保留更多的空間幾何信息,體現出了較好的準確性和魯棒性。

但基于卷積神經網絡的算法提取得到的特征維度較高,計算開銷較大,因此一些降維方法得到應用。如文獻[29]采用了TSNE方法對由VGG16網絡得到的高維特征進行降維,消除了部分冗余數據。文獻[25]中選擇二進制局部敏感哈希算法將圖片特征降維且保證了95%的位置識別性能。文獻[30]采用一種簡化的神經網絡提取特征,該模型可以在保證性能的同時減少參數數量以提高實時性。

Gao[31]設計了一種堆疊降噪自編碼器訓練模型學習圖像的向量表示,使用相似度矩陣來查找圖片序列中潛在的回環,其邏輯如圖5所示。該算法性能優秀,但由于神經網絡的特性,模型訓練時間較長。文獻[32]提出一種基于HOG描述特征的用于回環檢測的自編碼器模型。該算法對部分圖片訓練數據集進行模擬的視角變換,使這一算法在存在視角和外觀變化的情況下也能表現良好。Ma等人[33]采用輕量級自編碼器網絡提取圖像全局特征,引入基于運動矢量一致性約束的局部匹配算法,具有較高的召回率且滿足實時性要求。

圖5 典型的使用自編碼器的深度學習方法的算法邏輯圖

一些研究人員發現VLAD[34](Vector of Locally Aggregated Descriptors)在圖片檢索與分類等領域取得了較好結果,所以嘗試將其應用于回環檢測。Arandjelovic[35]在其基礎上提出了NetVLAD,一種可訓練的廣義VLAD層,本質是通過神經網絡模擬VLAD的效果,使其可以參與反向傳播的過程。

R-CNN等目標檢測模型能提供更具魯棒性的語義信息。文獻[36]將Faster R-CNN模型與詞袋模型結合,實現了語義與特征點相似度的融合,在視點變化和動態環境下具有較高的準確度和魯棒性。Mask R-CNN[37]是一種可以為對象生成高質量的掩膜(Mask)的用于對象檢測的模型。文獻[38]使用Mask R-CNN(如圖6所示)與ORB-SLAM相結合,將其用于SLAM系統中的回環檢測,在保證準確性的同時實時性良好。Xu[39]在其提出的edgeSLAM中采用Mask R-CNN來優化視覺里程計和回環檢測,使edgeSLAM的實時性有較大提高。類似地,研究人員[40]嘗試將目標檢測模型提取的語義信息與幾何信息構成語義子圖,取得了有競爭力的結果。

圖6 Mask R-CNN模型架構

2.3 討 論

通過文獻梳理可以發現,回環檢測算法不僅包括詞袋模型及其演化,還包括深度學習模型及其新發展,表2中對回環檢測的幾種典型技術的算法原理進行了對比。

表2 回環檢測技術對比

基于詞袋的方法建立詞袋描述圖像,計算圖像間相似度從而檢測回環,可以與圖像序列信息和語義信息相結合以提升魯棒性。基于深度學習的方法利用深度學習模型生成圖像描述,具有較高的準確率和魯棒性,適合長時間運行于復雜環境的視覺SLAM系統,但受限于設備對計算資源的分配且對數據集有較高的要求[41],這一方法沒有得到廣泛采用。總之,基于詞袋的方法居于主流地位,基于深度學習的方法處于發展與探索的階段。回環檢測對于深度學習來說仍是開放問題[42]。但深度學習方法表現出來的良好效果,有取代前者的趨勢,乃至會給整體SLAM系統的性能帶來較大提升[43]。

3 存在的問題及研究展望

3.1 存在的主要問題

視覺SLAM系統中回環檢測技術發展迅速,基于詞袋模型的技術位于主流,基于深度學習的技術效果更優但仍處于探索階段。兩類技術的發展推動回環檢測算法進步,也帶來許多亟待解決的問題:

(1)實時性與魯棒性的平衡。

在視覺SLAM系統對實時性的要求越來越高的同時,也期望能進一步提高泛用性與魯棒性。視覺SLAM系統運行的環境較為復雜多變,天氣與季節因素、晝夜交替與動態目標等因素都是需要考慮的問題,伴隨著長時間、長距離的運行,算法是否能保持原有的實時性不變或相對穩定。進一步來說,在計算資源較為緊湊的環境中如何進行實時性與魯棒性的取舍仍需要研究人員不斷去探索。

(2)視點變化與條件變化。

視覺SLAM系統的運行環境中,傳感器的視點與環境的條件的變化可能會造成一些誤判。全局特征(如語義特征)容易受到視點變化的影響,而局部特征(如SIFT、SURF等)受光照等條件變化影響較大。一些研究人員考慮制作包含同一位置多個條件變化的圖像數據集;對于視角變化,研究人員考慮使用卷積神經網絡的頂層特征編碼。視點變化與條件變化都是提高算法魯棒性的重要挑戰,如何更好地表示圖像的特征仍是值得探索的領域。

(3)深度學習模型資源開銷與使用方法。

在回環檢測問題中,基于深度學習的方法能提取語義信息以提高性能,但其帶來的額外計算資源開銷可能會降低算法的實時性。對于如何將深度學習用于回環檢測這一問題,部分研究人員考慮將深度學習與詞袋模型相結合以期保留各自的優點;也有研究人員引入自編碼器或目標檢測等基于深度學習的模型。總之,如何確立深度學習在回環檢測中的地位,以及如何將深度學習的優點貫穿到整個視覺SLAM系統這些問題仍處于探索階段。

3.2 研究展望

(1)輕量化的回環檢測。

一些基于詞袋模型的回環檢測算法的處理時間可能會隨運行時間的增加而不斷增長。由回環檢測問題性質可知,在保證準確率的前提下只需檢測部分回環就可以達到很好的消除誤差的結果。所以在一些場景如可穿戴設備中考慮更精簡的模型與算法,舍棄部分召回率來保證長期運行的實時性。

(2)利用語義信息與目標檢測。

為了提高回環檢測模塊在復雜環境下的魯棒性,可以使用語義分割與目標檢測等手段引入語義信息,優化特征提取過程,減少動態對象等無用特征的出現,提高回環檢測過程的效率和準確率。

(3)引入學習型特征。

為了提高視覺SLAM系統中的回環檢測算法在視點變化與條件變化下的效果,可以引入基于深度學習的圖像特征。類似于NetVLAD,很多研究人員都提出基于深度學習的圖像特征算法。對于計算資源充足的使用環境,可以嘗試將基于深度學習的特征用于回環檢測,進而提升回環檢測的性能。

4 結束語

該文剖析了視覺SLAM中回環檢測的原理、工作流程與指標,根據回環檢測算法在圖像表示方法上的差別將其分為基于詞袋模型的算法和基于深度學習的算法兩類,開展了深入的對比分析與總結。基于詞袋模型的算法通過計算關鍵點的描述子,使用聚類算法訓練詞袋,計算圖像的描述向量。基于深度學習的算法中,一部分采用卷積神經網絡代替傳統特征提取過程,另一部分采用自編碼器模型對傳統的特征提取過程進行學習,也有將對象檢測與語義分割模型引入回環檢測,均取得積極的成效。對于視覺SLAM系統中回環檢測算法研究提供了有價值的參考與借鑒意義,希冀以該工作為推動回環檢測向前發展帶來積極作用。