基于多源約束自適應(yīng)視覺SLAM 關(guān)鍵幀選取研究

摘 要： 該文針對現(xiàn)有關(guān)鍵幀選擇方法在復(fù)雜場景下的穩(wěn)定性和適應(yīng)性方面不足問題，提出一種多源約束的自適應(yīng)視覺SLAM 關(guān)鍵幀選取方法。該算法基于相機(jī)幾何測量原理，設(shè)計自適應(yīng)閾值進(jìn)行關(guān)鍵幀選取策略；針對復(fù)雜環(huán)境下的劇烈運(yùn)動情況，設(shè)計基于IMU 的實時狀態(tài)檢測機(jī)制和熵函數(shù)約束標(biāo)準(zhǔn)，進(jìn)一步提高關(guān)鍵幀選取的穩(wěn)定性和適應(yīng)性。在EuRoC 數(shù)據(jù)集和TUM 數(shù)據(jù)集上對該方法進(jìn)行定性和定量評估。在單目慣性和立體慣性模式下，將估計軌跡與參考軌跡進(jìn)行對比，以絕對軌跡誤差（absolute trajectory error，ATE）、關(guān)鍵幀數(shù)量和運(yùn)行時間作為評判指標(biāo)，并與ORB-SLAM3 方法進(jìn)行比較。結(jié)果顯示，提出的方法可顯著提高視覺SLAM 在復(fù)雜環(huán)境下的定位精度和穩(wěn)定性。

關(guān)鍵詞： 視覺SLAM; 關(guān)鍵幀選取; IMU; 多源約束; 自適應(yīng)閾值; 熵函數(shù)

中圖分類號： TB9；TP391 文獻(xiàn)標(biāo)志碼： A 文章編號： 1674–5124（2024）09–0021–08

0 引 言

視覺SLAM（visual SLAM，VSLAM）因具有實時性高、成本低、可捕獲彩色紋理信息等優(yōu)點(diǎn)[1]，廣泛應(yīng)用于移動機(jī)器人智能感知[2]。在視覺SLAM的優(yōu)化中，將所有幀的地圖點(diǎn)與位姿整體放在一起作為自變量進(jìn)行非線性優(yōu)化，有效降低了前端位姿的累計誤差，提升視覺SLAM 的定位精度[3]。與此同時，大數(shù)據(jù)量給這類算法帶來了計算復(fù)雜度和實時性的挑戰(zhàn)。因此，選擇合適的關(guān)鍵幀對提高視覺SLAM 算法的準(zhǔn)確性和實時性非常重要[4]。

目前，視覺SLAM 一直是研究熱點(diǎn)[5]，且在視覺SLAM 關(guān)鍵幀選取領(lǐng)域產(chǎn)生了多個有代表性的研究成果[6]。這些方法主要可分為四大類：基于運(yùn)動模式、基于數(shù)據(jù)關(guān)聯(lián)、基于外觀和混合方法的關(guān)鍵幀選取方法[7]。除以上幾類方法外，部分研究者考慮使用深度神經(jīng)網(wǎng)絡(luò)來選取關(guān)鍵幀[8]，但因其對訓(xùn)練數(shù)據(jù)的依賴性較強(qiáng)，實時性和適應(yīng)性較弱[9]。

對于基于運(yùn)動模式的關(guān)鍵幀選擇方法，LSDSLAM[10] 和RGB-D SLAM[11] 采用相同時間或相同間隔的方法選擇關(guān)鍵幀，約束簡單。OKVIS[12] 利用圖像重疊原理，通過計算匹配點(diǎn)與所有檢測到的點(diǎn)所跨越的區(qū)域之間的比率來選取關(guān)鍵幀。相似的，VINS-MONO[13] 通過計算與前一幀的平均視差，決定是否選為關(guān)鍵幀。信息熵可以反映不同圖像間內(nèi)容的變化程度和多樣性，適用于各種不同類型的圖像和場景。Vila 等人[14] 采用Tsallis 互信息和Jensen–Tsallis 散度的兩種信息論度量方法，檢測視頻序列中的突發(fā)鏡頭邊界，并選擇最具代表性的關(guān)鍵幀。

對于基于數(shù)據(jù)關(guān)聯(lián)的關(guān)鍵幀選擇方法，Bommisetty[15] 提出了一種通過關(guān)聯(lián)皮爾遜相關(guān)系數(shù)（PCC）和顏色矩（CM）兩種特征檢測鏡頭邊界，從每個鏡頭中選取平均值和標(biāo)準(zhǔn)偏差最大的方法選取關(guān)鍵幀。Chen 等人[16] 采用信息占用網(wǎng)格模型和深度描述符的信息富集選擇策略。通過結(jié)合信息占用網(wǎng)格模型和深度描述符，每幀通過深度全局描述符進(jìn)行紋理豐富度的統(tǒng)計抽象，衡量信息豐富度和潛在的LTDA 能力，來選取關(guān)鍵幀。

對于基于外觀的關(guān)鍵幀選擇方法，Wang 等人[17]采用在光線較差的環(huán)境更有優(yōu)勢的關(guān)鍵幀選取方法（DSO），通過邊緣化冗余關(guān)鍵幀快速選擇最佳關(guān)鍵幀，考慮了曝光時間、鏡頭漸暈和非線性響應(yīng)函數(shù)三個標(biāo)準(zhǔn)。類似的，Zubizarreta 等人[18] 采用直接稀疏映射（DSM），通過光度測量公式實現(xiàn)地圖的持久性重用，并引入了本地地圖可視窗口（LMCW）標(biāo)準(zhǔn)，在時間上不連續(xù)的關(guān)鍵幀之間實現(xiàn)有效的重新觀測。

對于混合關(guān)鍵幀選擇方法，Chen 等人[19] 考慮攝像機(jī)觀測與已建地圖中關(guān)鍵幀之間的視圖變化及其變化速率確定閾值選取關(guān)鍵幀。但該方法選取的關(guān)鍵幀數(shù)量較少，僅能構(gòu)建稀疏地圖。Wang 等人[20] 引入判據(jù)因子K，將視頻幀分為突變幀和非突變幀。通過哈希算法評估幀間相似度，去除冗余幀，并結(jié)合視頻序列的局部特征以解決幀間距離計算急劇增加的問題。ORB-SLAM3[21] 采用適者生存的關(guān)鍵幀篩選方法。跟蹤線程放寬篩選條件，局部建圖線程剔除冗余關(guān)鍵幀來減少計算量。但ORBSLAM3關(guān)鍵幀選擇方法是基于啟發(fā)式閾值進(jìn)行選擇，在復(fù)雜環(huán)境下的適應(yīng)性和精度等方面存在不足。

綜上所述，現(xiàn)有關(guān)鍵幀選擇方法存在約束條件單一，精度和穩(wěn)定性不高，或基于啟發(fā)式閾值，適應(yīng)性不足等問題。本文針對以上問題提出一種多源約束的自適應(yīng)視覺SLAM 關(guān)鍵幀選取方法。1）利用相機(jī)幾何測量原理和自適應(yīng)閾值進(jìn)行關(guān)鍵幀選取；2） 針對復(fù)雜環(huán)境下的劇烈運(yùn)動情況， 引入基于IMU 實時狀態(tài)檢測機(jī)制的熵函數(shù)約束； 3） 在EuRoC 和TUM 數(shù)據(jù)集上進(jìn)行了詳細(xì)的定性和定量評估，驗證了算法的有效性。在保證實時性的情況下，視覺SLAM 關(guān)鍵幀選取最終實現(xiàn)兼顧系統(tǒng)的適應(yīng)性和穩(wěn)定性。