基于軟分配SIFT特征的回環(huán)檢測(cè)算法
2023-12-31 00:00:00孫金風(fēng)袁逸釗黃斌楊智勇
計(jì)算機(jī)應(yīng)用研究 2023年7期
摘 要：回環(huán)檢測(cè)能夠消除視覺(jué)SLAM的累積誤差，對(duì)SLAM系統(tǒng)意義重大。其中，應(yīng)用較廣泛的視覺(jué)詞袋模型算法存在著視覺(jué)單詞同一性和歧義性問(wèn)題，影響了回環(huán)檢測(cè)效果。為改善這些問(wèn)題并提高回環(huán)檢測(cè)效果，提出了一種基于軟分配SIFT（scale-invariant feature transform）特征的回環(huán)檢測(cè)算法。該算法將圖像提取出的SIFT特征點(diǎn)分配到歐氏距離最近的幾個(gè)單詞上，并根據(jù)距離排序加權(quán)，剔除距離單詞較遠(yuǎn)的特征點(diǎn)，生成更具區(qū)分性的描述子，并且在篩選候選項(xiàng)時(shí)，加入相同單詞特征點(diǎn)占比以及單詞偏移穩(wěn)定性約束，篩選出少量候選項(xiàng)。實(shí)驗(yàn)結(jié)果中，該算法相較于傳統(tǒng)視覺(jué)詞袋模型以及近些年的幾種回環(huán)檢測(cè)算法，在三種數(shù)據(jù)集中的100%準(zhǔn)確率下的召回率有所提升，圖像平均查詢(xún)時(shí)間在40 ms左右。結(jié)果表明，該算法對(duì)回環(huán)檢測(cè)效果有一定提升，并且保證了實(shí)時(shí)性。
關(guān)鍵詞：視覺(jué)SLAM； 視覺(jué)詞袋模型； 回環(huán)檢測(cè)； 軟分配； SIFT
中圖分類(lèi)號(hào)：TP242
文獻(xiàn)標(biāo)志碼：A
文章編號(hào)：1001-3695（2023）07-027-2101-05
doi：10.19734/j.issn.1001-3695.2022.11.0558
Loop closure detection algorithm based on soft assignment SIFT features
Sun Jinfeng1，2， Yuan Yizhao1，2?， Huang Bin1，2， Yang Zhiyong1，2
（1.School of Mechanical Engineering， Hubei University of Technology， Wuhan 430068， China; 2.Hubei Key Laboratory of Modern Manufacturing Quantity Engineering， Wuhan 430068， China）
Abstract：Loop closure detection can eliminate the accumulated error of visual SLAM， which is of great significance to the SLAM system. Among them， the widely used visual bag-of-word model algorithm has the problem of visual word identity and ambiguity， which affects the loop closure detection effect. To improve these problems and loop back detection effect， this paper proposed a loop closure detection algorithm based on soft-assigned SIFT features. The algorithm allocated the SIFT feature points extracted from the image to several words with the closest Euclidean distance， according to the distance sorting and weighting， and removed the feature points that were far away from the words to generate more discriminating descriptors. In addition， when filtering candidates， the algorithm added the proportion constraint of the same word feature points and the stability constraint of word shift to filter out a few candidates. In the experimental results， the algorithm compared with the traditional visual bag-of-words model and several loop closure detection algorithms in recent years， the recall rate at 100% accuracy rate improved under three data sets， and the average image query time was about 40 ms. The results show that the algorithm can improve the loop detection effect and ensure the real-time performance.
Key words：visual SLAM; visual bag-of-word model; loop closure detection; soft assignment; SIFT
0 引言
同時(shí)定位與地圖構(gòu)建（simultaneous localization and mapping，SLAM）為移動(dòng)機(jī)器人在未知環(huán)境下估計(jì)自身運(yùn)動(dòng)提供了方法［1］。當(dāng)使用相機(jī)作為傳感器時(shí)，通過(guò)SLAM，機(jī)器人便能理解圖片中的信息，從中獲得自身定位與環(huán)境觀(guān)測(cè)數(shù)據(jù)。隨著機(jī)器人的不斷移動(dòng)，圖片信息中的誤差開(kāi)始累積，只有前端提供的相鄰關(guān)鍵幀約束，無(wú)法消除累計(jì)誤差。而回環(huán)檢測(cè)（loop closure detection，LCD）通過(guò)識(shí)別相機(jī)回到同一個(gè)地方，提供了較長(zhǎng)一段時(shí)間關(guān)鍵幀之間的約束，結(jié)合后端優(yōu)化可以消除這些誤差［2］。目前，在無(wú)路標(biāo)點(diǎn)先驗(yàn)信息的情況下，視覺(jué)SLAM的回環(huán)檢測(cè)方法主要分為以下兩大類(lèi)：
a）基于詞袋（bag-of-words，BoW）模型的方法。例如經(jīng)典的視覺(jué)詞袋模型［3］，以及在此基礎(chǔ)上改進(jìn)的FAB-MAP［4］、GPR［5］和COVFast-LCD［6］。視覺(jué)詞袋模型借鑒了文本檢索中詞袋的思想，將大量圖片中的特征點(diǎn)聚類(lèi)成為單詞，然后利用這些單詞表示圖像的全局特征，最后通過(guò)特征向量的相似度判斷是否出現(xiàn)回環(huán)。FAB-MAP利用Chou-Liu tree［7］表示了視覺(jué)單詞之間的依賴(lài)關(guān)系，并利用貝葉斯模型判斷新的圖像是否來(lái)自已經(jīng)出現(xiàn)的地方。GPR將圖像分割成多個(gè)網(wǎng)格同時(shí)處理，實(shí)現(xiàn)高度并行性，然后將每個(gè)網(wǎng)格檢索結(jié)果合并，通過(guò)合并結(jié)果判斷回環(huán)。COVFast-LCD結(jié)合了ORB局部特征［8］和VLAD描述符［9］，VLAD描述符是通過(guò)圖像特征點(diǎn)與單詞中心的關(guān)系生成的，該方法將ORB特征轉(zhuǎn)換為Binary-VLAD描述符［6］獲得圖像的全局特征，通過(guò)特征向量相似度判斷是否出現(xiàn)回環(huán)。
b）與深度學(xué)習(xí)結(jié)合的方法。例如AutoEncoder［10］、PCANet［11］和AlexNet［12］，這些方法通過(guò)訓(xùn)練不同的神經(jīng)網(wǎng)絡(luò)模型來(lái)提取圖像的全局特征，然后將其用于回環(huán)檢測(cè)。同時(shí)也有NetVLAD［13］、VGG-NetVLAD［14］等將詞袋模型與深度學(xué)習(xí)結(jié)合的方法，NetVLAD將VLAD描述符與CNN結(jié)合，提出了一種用于弱監(jiān)督位置識(shí)別的CNN架構(gòu)。VGG-NetVLAD則將Net-VLAD與VGG16網(wǎng)絡(luò)結(jié)合，形成一種新的算法。
視覺(jué)詞袋模型提取特征點(diǎn)的方法是人工設(shè)計(jì)的，而且是稀疏的，對(duì)圖像的全局描述準(zhǔn)確性，以及對(duì)光照變化和視點(diǎn)變化的魯棒性明顯不如深度學(xué)習(xí)模型［15］。但是，當(dāng)前準(zhǔn)確率高的深度學(xué)習(xí)模型也存在訓(xùn)練參數(shù)較多、訓(xùn)練時(shí)間較長(zhǎng)、比較依賴(lài)使用者調(diào)參經(jīng)驗(yàn)等缺點(diǎn)［4］。
結(jié)合這些問(wèn)題，本文提出了一種基于軟分配SIFT特征的回環(huán)檢測(cè)算法。對(duì)于每一張輸入圖像，提取出SIFT特征點(diǎn)［16］，通過(guò)比較特征點(diǎn)與詞典中視覺(jué)單詞的歐氏距離，將特征點(diǎn)分配到多個(gè)距離較近的視覺(jué)單詞上，并剔除一些對(duì)全局描述具有干擾影響的特征點(diǎn)，來(lái)提高全局描述子的區(qū)分性，從而提高真實(shí)回環(huán)被檢測(cè)出來(lái)的概率。本文還提出了一種相同單詞特征點(diǎn)占比以及單詞偏移穩(wěn)定性的方法，提高了回環(huán)候選項(xiàng)篩選的效率，同時(shí)保證了回環(huán)檢測(cè)的準(zhǔn)確性。
1 算法框架
算法主要由圖像描述子生成、回環(huán)候選項(xiàng)篩選、回環(huán)驗(yàn)證三個(gè)部分組成，具體如圖1所示。
當(dāng)輸入新的圖像后，先提取SIFT特征點(diǎn)，并通過(guò)軟分配生成更加具有區(qū)分性的描述子。然后，通過(guò)距離閾值、相同單詞特征點(diǎn)占比、單詞偏移穩(wěn)定性篩選出回環(huán)候選項(xiàng)。最后，通過(guò)相似度驗(yàn)證以及空間幾何驗(yàn)證確定是否為回環(huán)。
2 圖像描述子
2.1 提取局部特征點(diǎn)
算法采用的局部特征點(diǎn)SIFT（scale-invariant feature transform，SIFT）名為尺度不變特征變換，它對(duì)圖像的旋轉(zhuǎn)、亮度、尺度變化保持不變性，并且對(duì)視角變化、噪聲也保持一定的穩(wěn)定性。SIFT特征向量由128位浮點(diǎn)數(shù)表示，相較于ORB之類(lèi)的二值特征，SIFT特征的區(qū)分性更好，信息量更大，但是提取時(shí)計(jì)算量大。為提高時(shí)間效率，限制每張圖像SIFT特征點(diǎn)提取個(gè)數(shù)最多為500個(gè)。
2.2 特征點(diǎn)軟分配
視覺(jué)詞袋模型是將特征點(diǎn)分類(lèi)為一個(gè)個(gè)單詞，并用“圖像中有哪幾種單詞類(lèi)別”來(lái)表示圖像［17］。在對(duì)特征點(diǎn)分配單詞之前，首先需要生成詞典。詞典中的每個(gè)單詞通過(guò)特征向量聚類(lèi)得到，由于這些特征向量是從隨機(jī)選取的圖像中提取的，在生成詞典時(shí)，單詞中心存在一定的偶然性，既在某一詞典中兩個(gè)鄰近單詞的邊界處，歐氏距離相近的兩個(gè)特征點(diǎn)在另一個(gè)詞典中可能屬于同一個(gè)單詞類(lèi)別，同時(shí)，在某一詞典中同一單詞內(nèi)部，歐氏距離相差較大的兩個(gè)特征點(diǎn)在另一個(gè)詞典中可能屬于不同單詞類(lèi)別。特征點(diǎn)單詞分配示意圖如圖2所示。
圖中，A～E表示詞典中的單詞，1～4表示圖像特征點(diǎn)。如果采用硬分配，會(huì)帶來(lái)視覺(jué)單詞的同義性和歧義性問(wèn)題。同義性指不同的視覺(jué)單詞可能表示的是相似物體，例如特征點(diǎn)3會(huì)分配給單詞A，特征點(diǎn)4會(huì)分配給單詞E，但是這兩個(gè)特征點(diǎn)距離很近，可能表示的是相似物體；歧義性指同一個(gè)視覺(jué)單詞下的特征點(diǎn)可能表示的差別較大的物體，例如特征點(diǎn)1和3都會(huì)分配給單詞A，但是這兩個(gè)特征點(diǎn)距離較遠(yuǎn)，可能表示的是不同物體。這些特性使得一些原本相似的圖像生成的描述子相似度不高，而一些不太相似的圖像生成的描述子相似度反而較高［18］。為了改善這些問(wèn)題，本文在圖像中提取出的特征點(diǎn)軟分配具體過(guò)程如下：
a）生成詞典。詞典在算法開(kāi)始之前生成，在數(shù)據(jù)集中隨機(jī)選取一部分圖像，提取出全部的SIFT特征向量，利用K-means方法將其分為k類(lèi)，對(duì)于生成的每一類(lèi)，繼續(xù)利用K-means方法分為k類(lèi)，依此類(lèi)推，得到r層分類(lèi)，最多可生成kr個(gè)單詞，默認(rèn)k為10，r為5。
b）找到與每個(gè)特征向量最近的幾個(gè)單詞。對(duì)于圖像I的所有特征集合{fI1，fI2，…，fIs}，fIi表示第i個(gè)特征向量，s表示特征個(gè)數(shù)，將fIi與詞典中每一層聚類(lèi)中心比較，找到歐氏距離最近的中心，一直到最后一層，即找到了硬分配對(duì)應(yīng)的單詞。然后，對(duì)于該單詞父節(jié)點(diǎn)對(duì)應(yīng)的其他單詞，計(jì)算與fIi的歐氏距離，按照從小到大的順序排序，記做{dIi1，dIi2，…，dIik}，dIij表示和fIi相距第j近的視覺(jué)單詞的距離，用WIij表示對(duì)應(yīng)的單詞。
c）剔除對(duì)全局描述具有干擾影響的特征點(diǎn)。如果某一特征向量距離視覺(jué)單詞都較遠(yuǎn)，則這類(lèi)特征點(diǎn)被認(rèn)為不可靠，將這些特征點(diǎn)剔除。具體條件通過(guò)以下不等式表示。
其中：d（WIi1，WIi2）表示和fIi相距最近的兩個(gè)單詞之間的歐氏距離。
d）給軟分配的視覺(jué)單詞分配權(quán)重。一個(gè)特征點(diǎn)軟分配的視覺(jué)單詞數(shù)量不盡相同，數(shù)量過(guò)多會(huì)給計(jì)算帶來(lái)負(fù)擔(dān)，因此限制分配最高數(shù)量為3個(gè)。按照以下方式分配單詞權(quán)重。
其中：NIi表示分配給fIi的單詞個(gè)數(shù);j表示距離fIi最近的單詞排序號(hào);λIij表示分配給距離fIi第j近單詞WIij的權(quán)重。當(dāng)不同的特征點(diǎn)分配到同一單詞時(shí)，將對(duì)應(yīng)單詞的權(quán)重疊加。
軟分配后，根據(jù)與單詞中心的歐氏距離，每一個(gè)特征點(diǎn)分配給一個(gè)或多個(gè)單詞，距離越小的單詞權(quán)重越大，同時(shí)保證這些單詞權(quán)重相加為1。這樣，如果兩個(gè)特征點(diǎn)距離足夠近，表示的是相似物體，不管最近的單詞是否是同一個(gè)，它們之間表示的信息差距也會(huì)小很多，同樣，如果兩個(gè)特征點(diǎn)距離較遠(yuǎn)，表示的是不同物體，盡管它們最近的是同一單詞，加入了其他單詞信息后，兩者之間的差距也會(huì)擴(kuò)大，提高了全局描述子的區(qū)分性。
2.3 生成全局描述子
TF-IDF是傳統(tǒng)視覺(jué)詞袋模型常用加權(quán)方式［19］，TF表示的是單詞在一張圖像中出現(xiàn)的頻率，頻率越高區(qū)分度就越高，IDF表示的是，建立詞典時(shí)該單詞特征點(diǎn)個(gè)數(shù)占所有特征點(diǎn)的比例，比例越低區(qū)分度就越高。IDF計(jì)算公式為
其中：mi為在建立詞典時(shí)單詞Wi所包括的特征點(diǎn)個(gè)數(shù)；M為參與創(chuàng)建詞典的所有特征點(diǎn)個(gè)數(shù)。通常，將TFi與IDFi的乘積表示為單詞Wi的最終權(quán)重ηi，本算法中，將軟分配計(jì)算的單詞權(quán)重λi代替TFi，即有
這樣，對(duì)于圖像I，它的描述子vI表示為
其中：ω為詞典中單詞個(gè)數(shù)。這個(gè)向量是一個(gè)稀疏向量，非零部分就是圖像中包含的單詞權(quán)重。
3 篩選候選項(xiàng)
篩選回環(huán)候選項(xiàng)的方法有很多，大致可以分為基于里程計(jì)的幾何關(guān)系以及基于外觀(guān)的幾何關(guān)系［20］。基于里程計(jì)的幾何關(guān)系利用前端里程計(jì)的信息，檢測(cè)相機(jī)是否運(yùn)動(dòng)到了之前某一地點(diǎn)附近，然后判斷是否出現(xiàn)回環(huán)。這種方法無(wú)法在累計(jì)誤差較大的環(huán)境實(shí)現(xiàn)，而基于外觀(guān)的幾何關(guān)系與其他信息都無(wú)關(guān)，擺脫了累計(jì)誤差，只通過(guò)兩個(gè)圖像外觀(guān)的相似性來(lái)篩選回環(huán)候選項(xiàng)。
3.1 距離閾值約束
圖像是按時(shí)間順序讀取的，距離當(dāng)前查詢(xún)圖像時(shí)間較近的部分圖像與查詢(xún)圖像之間的相似度較高，不應(yīng)該加入到回環(huán)候選項(xiàng)中。而且，回環(huán)檢測(cè)的目的是消除累計(jì)誤差，距離較近的回環(huán)累積誤差也是較小的。所以，設(shè)置距離閾值d，假設(shè)當(dāng)前時(shí)間為t，距離當(dāng)前圖像距離為d的圖像時(shí)間為td，則回環(huán)候選項(xiàng)只在td之前的圖像中選擇。
3.2 相同單詞特征點(diǎn)占比約束
在計(jì)算圖像的全局描述子的過(guò)程中，對(duì)特征點(diǎn)軟分配時(shí)，將圖像序號(hào)添加進(jìn)分配到的單詞文件中，這個(gè)文件儲(chǔ)存單詞對(duì)應(yīng)的圖像序號(hào)，便于后續(xù)查找具有相同單詞的圖像。同時(shí)，對(duì)于圖像中的每一個(gè)單詞，儲(chǔ)存它包含的所有特征點(diǎn)。這樣，借鑒加權(quán)方式TF的思想，在篩選回環(huán)候選項(xiàng)時(shí)，可以通過(guò)兩個(gè)圖像之間相同單詞特征點(diǎn)占各自所有特征點(diǎn)的比例來(lái)初步找出相似度較高的圖像。然而兩個(gè)圖像占比一般不相同，且圖像提取出的特征點(diǎn)有多有少，因此取兩個(gè)比例中較大的一個(gè)作為占比參數(shù)，設(shè)置一個(gè)相同單詞特征點(diǎn)占比閾值WP，只有超過(guò)這個(gè)閾值的圖像才能被篩選為候選項(xiàng)。
3.3 單詞偏移穩(wěn)定性約束
如果兩張圖像是回環(huán)的話(huà)，那么和相鄰圖像一樣，可以進(jìn)行特征匹配，而且匹配點(diǎn)對(duì)相對(duì)來(lái)說(shuō)較多。在篩選回環(huán)候選項(xiàng)階段，不直接通過(guò)特征點(diǎn)匹配篩選，主要是因?yàn)樘卣髌ヅ溆?jì)算量大，比較適用于回環(huán)的驗(yàn)證。受到特征匹配以及文獻(xiàn)[6]的啟發(fā)，本算法提出了一種通過(guò)相同單詞的偏移距離篩選候選項(xiàng)的方法。假設(shè)相機(jī)在一個(gè)局部平面環(huán)境中運(yùn)動(dòng)，那么在相機(jī)的角度稍微偏移，位置大致相同的地方拍攝兩張圖像，圖像中不同物體之間的距離會(huì)很好地保持，如圖3所示。
文獻(xiàn)［6］利用這一特點(diǎn)提出了一種偏移穩(wěn)定性模型，利用粗匹配的特征點(diǎn)對(duì)之間的像素坐標(biāo)距離方差表示穩(wěn)定程度，用于回環(huán)驗(yàn)證，減少了特征匹配中隨機(jī)一致性采樣（RANSAC）的時(shí)間。結(jié)合這一思想，并且在剔除了具有干擾影響的特征點(diǎn)后，在不進(jìn)行粗匹配的情況下，可以利用相同單詞中的特征點(diǎn)對(duì)代替粗匹配。由于圖像中一個(gè)單詞可能包含多個(gè)特征點(diǎn)，所以要先計(jì)算兩個(gè)圖像相同單詞中，特征向量歐氏距離最小的特征點(diǎn)對(duì)。除此之外，本算法直接采用平均偏移距離VD代替方差來(lái)表示偏移穩(wěn)定性，計(jì)算量更小，對(duì)粗匹配有一定的包容性，低于VD的圖像被篩選為候選項(xiàng)。
4 回環(huán)驗(yàn)證
篩選出可能的回環(huán)候選項(xiàng)后，還需要經(jīng)過(guò)驗(yàn)證，從而確定是否是正確回環(huán)。圖像之間描述子的相似度是驗(yàn)證回環(huán)的重要參數(shù)，而特征點(diǎn)是生成描述子的關(guān)鍵，經(jīng)過(guò)特征點(diǎn)軟分配，使得描述子更具有區(qū)分性。具體如圖4所示。圖4（a）為當(dāng)前查詢(xún)圖像，（b）～（d）為基于不同特征點(diǎn)的詞袋模型在數(shù)據(jù)集中查詢(xún)到的與查詢(xún)圖像相似度最高的圖像。可以看出，基于軟分配SIFT的描述子更具有區(qū)分性，找到正確回環(huán)的可能性更高。因此，在獲得回環(huán)候選項(xiàng)后，找到與待查詢(xún)圖像相似度最高的圖像，進(jìn)行回環(huán)驗(yàn)證。
4.1 相似度驗(yàn)證
雖然相似度越高，回環(huán)的可能性越大，但是利用圖像之間的相似度直接驗(yàn)證是否回環(huán)過(guò)于絕對(duì)，因?yàn)橐恍┉h(huán)境外觀(guān)本來(lái)就很相似，相似度會(huì)比較高，但不是回環(huán)，直接設(shè)置相似度閾值可能會(huì)導(dǎo)致假陽(yáng)性［20］。針對(duì)這一情況，取待查詢(xún)圖像和上一時(shí)刻圖像之間的相似度sim（vt，vt－Δt）作為參照，這樣，圖像之間的相對(duì)相似度為
其中：vt表示待查詢(xún)圖像的描述子;vt－Δt表示待查詢(xún)圖像上一時(shí)刻圖像的描述子;vtj表示待回環(huán)驗(yàn)證圖像的描述子。如果相對(duì)相似度超過(guò)閾值ξ，則被認(rèn)為可能存在回環(huán)。經(jīng)過(guò)參照相似度的歸一化處理，能夠避免絕對(duì)相似度帶來(lái)的假陽(yáng)性問(wèn)題，提高回環(huán)檢測(cè)的準(zhǔn)確率。
4.2 空間幾何驗(yàn)證
回環(huán)檢測(cè)的目的是增加除了相鄰圖像的相隔較遠(yuǎn)的約束，通過(guò)后端消除累計(jì)誤差，這里的約束就是回環(huán)圖像之間的特征匹配。SIFT特征匹配的具體過(guò)程如下。對(duì)于圖像Q和L，假設(shè)FQ={f1，f2，…，fi，…，fn}表示圖像Q的特征點(diǎn)集合，F(xiàn)L為圖像L特征點(diǎn)集合。FQ和FL進(jìn)行特征向量歐氏距離暴力匹配，記D1（fi，F(xiàn)L）為圖像Q特征fi在FL中匹配到的最近鄰距離，D2（fi，F(xiàn)L）為次近鄰距離。如果最近鄰距離比次近鄰距離小得多，特征匹配的錯(cuò)誤率也會(huì)很小［16］。設(shè)置閾值β，比值小于閾值的被視為正確匹配。
根據(jù)經(jīng)驗(yàn)，β取值為［0.6，0.8］，為了增加正確率，這里β取0.6。空間幾何驗(yàn)證判斷匹配點(diǎn)對(duì)能否估計(jì)相機(jī)運(yùn)動(dòng)，需要在上述特征匹配中找出至少8個(gè)準(zhǔn)確的匹配點(diǎn)對(duì)，這一部分可以通過(guò)RANSAC實(shí)現(xiàn)。
5 實(shí)驗(yàn)結(jié)果與分析
5.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集
實(shí)驗(yàn)在Ubuntu 18.04系統(tǒng)下進(jìn)行，采用的計(jì)算機(jī)配置為：Intel? CoreTM i7-10700 CPU、GTX1660S GPU以及16 GB內(nèi)存。
實(shí)驗(yàn)采用了三個(gè)公開(kāi)數(shù)據(jù)集，分別是New College［4］、City Center［4］和Malaga 2009 Parking6L［21］。其中，New College和City Center是牛津大學(xué)Mobile Robotics Group提供的數(shù)據(jù)集，常用于回環(huán)檢測(cè)評(píng)估測(cè)試。Malaga 2009 Parking6L是由西班牙Malaga大學(xué)的MAPIR實(shí)驗(yàn)室發(fā)布的具有厘米級(jí)精度的數(shù)據(jù)集，是回環(huán)檢測(cè)評(píng)估的理想數(shù)據(jù)集。數(shù)據(jù)集詳細(xì)參數(shù)如表1所示。三個(gè)數(shù)據(jù)集均由雙目圖像組成，實(shí)驗(yàn)只取其中的左側(cè)圖像，在其中隨機(jī)選取20%的圖像用于生成詞典。
5.2 實(shí)驗(yàn)參數(shù)設(shè)置
本算法的性能主要取決于篩選候選項(xiàng)階段的效率，這一階段的距離閾值d、相同單詞特征點(diǎn)占比閾值WP和平均偏移距離VD以及回環(huán)驗(yàn)證階段的相對(duì)相似度閾值ξ均能影響算法的時(shí)間效率以及回環(huán)檢測(cè)效果。
為了獲得最佳參數(shù)，采用控制變量法，在每個(gè)數(shù)據(jù)集中觀(guān)察參數(shù)的變化對(duì)時(shí)間性能和檢測(cè)效果的影響。其中，時(shí)間性能通過(guò)算法的平均查詢(xún)時(shí)間time（ms）表示，回環(huán)檢測(cè)效果通過(guò)準(zhǔn)確率與召回率表示，準(zhǔn)確率為檢測(cè)到的正確回環(huán)（真陽(yáng)性TP）占算法判斷的所有回環(huán)（真陽(yáng)性TP和假陽(yáng)性FP）的比值，召回率為檢測(cè)到的正確回環(huán)（真陽(yáng)性TP）占數(shù)據(jù)集中所有回環(huán)（真陽(yáng)性TP和假陰性FN）的比值［20］，由于假陽(yáng)性的出現(xiàn)會(huì)導(dǎo)致后端優(yōu)化算法出現(xiàn)錯(cuò)誤，所以回環(huán)檢測(cè)效果通過(guò)100%準(zhǔn)確率下的召回率recall（%）表示，實(shí)驗(yàn)結(jié)果如圖5～8所示。
在上述實(shí)驗(yàn)中，對(duì)于每個(gè)待測(cè)參數(shù)，其余參數(shù)設(shè)置值如表2所示。由實(shí)驗(yàn)結(jié)果看出，距離閾值d對(duì)數(shù)據(jù)集的recall有不同程度的影響，在150 m和180 m處New College和Malaga 2009 Parking6L的recall分別出現(xiàn)了下降，而City Center保持不變，這主要取決于在這段距離中是否已經(jīng)出現(xiàn)了回環(huán)；相同單詞特征點(diǎn)占比WP對(duì)三個(gè)數(shù)據(jù)集的影響基本相同，在0.07之后recall開(kāi)始下降；平均偏移距離VD對(duì)平均查詢(xún)時(shí)間的影響較大，較高的值會(huì)導(dǎo)致回環(huán)候選項(xiàng)更多，查詢(xún)時(shí)間也會(huì)隨之增加，其取值受到數(shù)據(jù)集圖像分辨率的影響，分辨率較高的數(shù)據(jù)集VD的取值也較高；相對(duì)相似度ξ主要對(duì)recall有影響，ξ較低時(shí)，可能會(huì)出現(xiàn)假陽(yáng)性，即會(huì)檢測(cè)到本來(lái)就很相似但是不是回環(huán)的圖像，較高時(shí)recall也會(huì)下降，因此取值在對(duì)recall影響較低的區(qū)域。
經(jīng)過(guò)分析，為滿(mǎn)足較少的查詢(xún)時(shí)間以及較高的recall，New College的最佳參數(shù)為：d=150，WP=0.07，VD=180，ξ=0.6；City Center的最佳參數(shù)為：d=200，WP=0.07，VD=190，ξ=0.6，這里d不宜取過(guò)高，過(guò)高會(huì)忽略少于該距離的回環(huán)；Malaga 2009 Parking6L的最佳參數(shù)為：d=180，WP=0.07，VD=270，ξ=0.2。
5.3 實(shí)驗(yàn)結(jié)果分析
將算法中的參數(shù)設(shè)置為5.2節(jié)中的值，然后與經(jīng)典的視覺(jué)詞袋模型以及近些年的幾種算法的回環(huán)檢測(cè)效果進(jìn)行比較。五種算法在三個(gè)數(shù)據(jù)集上的100%準(zhǔn)確率下的召回率recall如圖9所示。
本文算法相比于其他幾種算法，除了在City Center中的召回率略低于GPR算法外，100%準(zhǔn)確率下的召回率都有提升，結(jié)果表明，本文算法能夠有效地提高回環(huán)檢測(cè)效果。
算法平均檢測(cè)時(shí)間由圖像描述子生成、回環(huán)候選項(xiàng)篩選和回環(huán)驗(yàn)證這三部分組成。其中，圖像描述子生成部分包括提取圖像特征點(diǎn)、特征點(diǎn)軟分配、單詞權(quán)重計(jì)算以及生成單詞文件。在New College數(shù)據(jù)集上，本算法平均查詢(xún)時(shí)間為t1=21.48+16.45+2.66=40.68 ms，最高查詢(xún)時(shí)間為158 ms；在City Center數(shù)據(jù)集上，本算法平均查詢(xún)時(shí)間為t2=18.12+18.44+1.96=38.52 ms，最高查詢(xún)時(shí)間為174 ms；在Malaga 2009 Parking6L數(shù)據(jù)集上，本算法平均查詢(xún)時(shí)間為t3=21.13+16.84+1.17=39.14 ms，最高查詢(xún)時(shí)間為181 ms。整體來(lái)看，本文算法平均檢測(cè)時(shí)間為40 ms左右，查詢(xún)時(shí)間峰值在200 ms以?xún)?nèi)，滿(mǎn)足回環(huán)檢測(cè)的實(shí)時(shí)性要求。
6 結(jié)束語(yǔ)
本文提出了一種基于軟分配SIFT特征點(diǎn)的回環(huán)檢測(cè)算法，在滿(mǎn)足實(shí)時(shí)性要求的情況下，提高了100%準(zhǔn)確率下的召回率。首先，對(duì)圖像SIFT特征點(diǎn)軟分配，生成更具區(qū)分性的全局描述子;然后將相同單詞特征點(diǎn)占比以及平均偏移距離加入到候選項(xiàng)篩選中，篩除大部分圖像;最后通過(guò)相對(duì)相似度和空間幾何進(jìn)行驗(yàn)證。與經(jīng)典視覺(jué)詞袋模型和其他幾種算法相比，回環(huán)檢測(cè)效果有一定提升。
對(duì)于時(shí)間性能，可以通過(guò)調(diào)節(jié)參數(shù)降低部分100%準(zhǔn)確率下的召回率來(lái)提升，以滿(mǎn)足更高實(shí)時(shí)性的需求。接下來(lái)主要研究在維持較高回環(huán)檢測(cè)效果情況下，降低檢測(cè)時(shí)間的方法。
參考文獻(xiàn)：
[1]尚朝輝，丁德銳，魏國(guó)亮，等.基于寬度自編碼器的VSLAM快速回環(huán)檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（12）：3825-3829.（Shang Chaohui， Ding Derui， Wei Guoliang， et al. Fast loop closure detection method for VSLAM based on broad AutoEncoder［J］.Application Research of Computers，2022，39（12）：3825-3829.）
［2]Wang Xiaolong， Peng Guohua， Zhang Hong. Combining multiple ima-ge descriptions for loop closure detection［J］.Journal of Intelligent amp; Robotic Systems： Theory amp; Application，2018，92（3/4）：565-585.
［3]Filliat D. A visual bag of words method for interactive qualitative locali-zation and mapping［C］//Proc of IEEE International Conference on Robotics amp; Automation.Piscataway，NJ：IEEE Press，2007：3921-3926.
［4]Paul R， Newman P. FAB-MAP 3D： topological mapping with spatial and visual appearance［C］//Proc of International Conference on Robo-tics and Automation.Piscataway，NJ：IEEE Press，2010：2649-2656.
［5]Yang Zhe， Pan Yun， Huan Ruohong， et al. Gridding place recognition for fast loop closure detection on mobile platforms［J］.Electro-nics Letters，2019，55（17）：931-933.
［6]趙珊，管啟，丁德銳，等.COVFast-LCD：一種組合ORB和VLAD特征的快速回環(huán)檢測(cè)算法［J/OL］.小型微型計(jì)算機(jī)系統(tǒng).（2022-04-20）［2022-11-02］.http：//kns.cnki.net/kcms/detail/21.1106.TP.20220418.1239.008.html.（Zhao Shan， Guan Qi， Ding Derui， et al. COVFast-LCD：combined ORB and VLAD for fast loop closure detection［J/OL］.Journal of Chinese Computer Systems.（2022-04-20）［2022-11-02］.http：//kns.cnki.net/kcms/detail/21.1106.TP.20220418.1239.008.html.）
［7]Chow C K. Approximating discrete probability distributions with dependence trees［J］.IEEE Trans on Information Theory，1968，14（3）：462-467.
［8]Rublee E， Rabaud V， Konolige K， et al. ORB： an efficient alternative to SIFT or SURF［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2011：2564-2571.
［9]Jegou H， Perronnin F， Douze M， et al. Aggregating local image descriptors into compact codes［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2012，34（9）：1704-1716.
［10]Gao Xiang， Zhang Tao. Loop closure detection for visual SLAM systems using deep neural networks［C］//Proc of the 34th Chinese Control Conference.2015：5851-5856.
［11]Xia Yifan， Li Jie， Qi Lin， et al. An evaluation of deep learning in
loop closure detection for visual SLAM［C］//Proc of IEEE International Conference on Internet of Things and IEEE Green Computing and Communications and IEEE Cyber， Physical and Social Computing and IEEE Smart Data.Piscataway，NJ：IEEE Press，2017：85-91.
［12]Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks［J］.Advances in Neural Information Processing Systems，2012，25（2）：1097-1105.
［13]Arandjelovic R， Gronat P， Torii A， et al. NetVLAD： CNN architecture for weakly supervised place recognition［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（6）：1437-1451.
［14]李昂，阮曉鋼，黃靜，等.融合卷積神經(jīng)網(wǎng)絡(luò)與VLAD的閉環(huán)檢測(cè)方法［J］.計(jì)算機(jī)應(yīng)用與軟件，2021，38（1）：135-142.（Li Ang， Ruan Xiaogang， Huang Jing， et al. Loop closure detection algorithm based on convolutional neural network and VLAD［J］.Computer Applications and Software，2021，38（1）：135-142.）
［15]楊雪梅，李帥永.移動(dòng)機(jī)器人視覺(jué)SLAM回環(huán)檢測(cè)原理、現(xiàn)狀及趨勢(shì)［J］.電子測(cè)量與儀器學(xué)報(bào)，2022，36（8）：1-12.（Yang Xuemei， Li Shuaiyong. Principle， current situation and trend of visual SLAM loop closure detection for mobile robot［J］.Journal of Electronic Measurement and Instrumentation，2022，36（8）：1-12.）
［16]Lowe D G. Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.
［17]Kim J， Urschler M， Riddle P J， et al. SymbioLCD： ensemble-based loop closure detection using CNN-extracted objects and visual bag-of-words［C］//Proc of IEEE International Conference on Intelligent Robots and Systems. Piscataway，NJ：IEEE Press，2021：5425-5431.
［18]Zhang Kaining， Ma Jiayi， Jiang Junjun. Loop closure detection with reweighting NetVLAD and local motion and structure consensus［J］.IEEE/CAA Journal of Automatica Sinica，2022，9（6）：1087-1090.
［19]董蕊芳，柳長(zhǎng)安，楊國(guó)田.一種基于改進(jìn)TF-IDF的SLAM回環(huán)檢測(cè)算法［J］.東南大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，49（2）：251-258.（Dong Ruifang， Liu Chang’an， Yang Guotian. TF-IDF based loop closure detection algorithm for SLAM［J］.Journal of Southeast University： Natural Science Edition，2019，49（2）：251-258.）
［20]高翔，張濤，劉毅，等.視覺(jué)SLAM十四講：從理論到實(shí)踐［M］.2版.北京：電子工業(yè)出版社，2019：287-302.（Gao Xiang， Zhang Tao， Liu Yi， et al. Visual SLAM fourteen lectures： from theory to practice［M］.2nd ed.Beijing： Publishing House of Electronics Industry，2019：287-302.）
［21]Blanco J L， Moreno F A， Gonzalez J. A collection of outdoor robotic datasets with centimeter-accuracy ground truth［J］.Autonomous Robots，2009，27（4）：327-351.
