摘 要:針對目前視覺SLAM方法魯棒性差、耗時高,使系統(tǒng)定位不夠精確的問題,提出了一種基于點(diǎn)線特征融合的視覺慣性SLAM算法。首先通過短線剔除和近似線段合并策略改進(jìn)LSD(line segment detection)提取質(zhì)量,以提高線特征檢測的速率和準(zhǔn)確度;然后在后端優(yōu)化中有效融合了點(diǎn)、線和IMU數(shù)據(jù),建立最小化目標(biāo)函數(shù)進(jìn)行優(yōu)化,得到更精確的相機(jī)位姿;最后在EuRoC數(shù)據(jù)集和現(xiàn)實(shí)走廊場景進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)表明,所提算法可以有效提升線特征提取的質(zhì)量和速度,同時有效提高了SLAM系統(tǒng)的定位精度,獲得更為豐富的點(diǎn)線結(jié)構(gòu)地圖。
關(guān)鍵詞:同步定位與建圖;線特征提取;幾何約束;后端優(yōu)化
中圖分類號:TP242 文獻(xiàn)標(biāo)志碼:A 文章編號:1001-3695(2023)02-022-0445-05
doi: 10.19734/j.issn.1001-3695.2022.06.0321
Visual inertial SLAM algorithm based on point-line feature fusion
Zhao Weibo, Tian Junwei, Wang Qin, Zhang Zhen, Zhao Peng
(School of Mechatronic Engineering, Xi’an Technology University, Xi’an 710021, China)
Abstract:Aiming at the problem that the current visual SLAM method has poor robustness and high time consumption, which makes the system localization not accurate enough, this paper proposed a visual-inertial SLAM algorithm based on point-line feature fusion. Firstly, it improved the LSD extraction quality through short-line culling and approximate line-segment merging strategies to improve the speed and accuracy of line feature detection. Then, it integrated the point, line, and IMU data in the back-end optimization effectively and established the minimized objective function for optimization to obtain a more accurate camera pose. Finally, this paper conducted experimental verification on the EuRoC dataset and real corridor scenes. The experiments show that the proposed algorithm can effectively improve the quality and speed of line feature extraction while effectively improving the localization accuracy of the SLAM system and obtaining a richer point-line structure map.
Key words:simultaneous localization and mapping(SLAM); line feature extraction; geometric constraint; backend optimization
0 引言
同步定位與建圖(SLAM)技術(shù)是機(jī)器人領(lǐng)域中的關(guān)鍵技術(shù),能夠給移動機(jī)器人提供全方位的自主定位、導(dǎo)航等功能。SLAM系統(tǒng)通過搭建相機(jī)、雷達(dá)、慣性測量單元(intertial mea-surement unit,IMU)等傳感器來感知周圍環(huán)境,根據(jù)傳感器獲取的數(shù)據(jù)及位姿進(jìn)行自主定位和地圖構(gòu)建,其定位構(gòu)圖的精度在自主導(dǎo)航、自動駕駛等領(lǐng)域具有重大意義[1,2]。
隨著SLAM技術(shù)的迅速發(fā)展,許多優(yōu)秀的算法被相繼提出。Qin等人[3]提出了一種視覺和IMU融合(VINS-MONO)算法,相比傳統(tǒng)的純視覺算法,定位精度取得了明顯提升,但極易受光照影響。Mur-Artal等人[4]基于圖像的特征點(diǎn)提出了ORB(oriented FAST and rotated BRIEF)-SLAM系統(tǒng),該系統(tǒng)采用ORB[5]算法提取特征點(diǎn),ORB特征在紋理良好的環(huán)境下精度較高,但是由于相機(jī)本身的硬件約束及成像原理導(dǎo)致在低紋理環(huán)境中無法提取到圖像中的豐富特征信息,甚至使SLAM系統(tǒng)崩潰。Engel等人[6]基于稀疏直接法提出了DSO(direct sparse odometry)視覺里程計(jì)方法,根據(jù)圖像的像素亮度信息估計(jì)相機(jī)運(yùn)動,因此難以適用于照明情況復(fù)雜的應(yīng)用場景。
為了解決上述SLAM系統(tǒng)所存在的問題,國內(nèi)外專家學(xué)者開展了大量研究工作,其中最有效的解決方案是在前端提取更高結(jié)構(gòu)層次的線特征。線特征具有較好的光照變化不變性和旋轉(zhuǎn)不變性,可以提供更多的幾何結(jié)構(gòu)信息,因此線特征可以對點(diǎn)特征進(jìn)行補(bǔ)充,提高基于單一特征點(diǎn)SLAM系統(tǒng)的魯棒性和準(zhǔn)確度。Pumarola等人[7]在ORB-SLAM的基礎(chǔ)上融入了LSD線特征提取算法,提高了在復(fù)雜場景中的精度,不過該方法在相機(jī)位姿估計(jì)的精度和特征提取速度上仍然有提升空間。付煜等人[8]通過EDLines[9]線特征提取算法來引入豐富的線特征,提出了一種基于點(diǎn)線特征融合的視覺慣性SLAM算法,但線特征提取的質(zhì)量較低。He等人[10]根據(jù)VINS-Mono框架引入線特征,提出了一種點(diǎn)線特征融合的視覺慣性(PL-VIO)算法,增加了點(diǎn)、線和IMU融合的滑動窗口模型,該算法在線特征檢測時采用LSD[11]線段檢測器導(dǎo)致其提取耗時過高。
以上研究工作在對線特征檢測時均采用EDLines或LSD算法,但其檢測速度較慢,提取的線段通常被分割成多個短線段或近似線段,提升了線特征匹配任務(wù)的難度,導(dǎo)致最終SLAM系統(tǒng)定位精度的不確定性。
點(diǎn)線特征提取的效率和魯棒性的提升,對SLAM過程中定位建圖的精度與性能均具有重大意義。針對上述問題,本文在總結(jié)點(diǎn)線融合視覺慣性SLAM方法的基礎(chǔ)上,對傳統(tǒng)LSD算法在線特征提取過程中速度慢且提取質(zhì)量低的問題,提出一種通過短線剔除和近似線段合并策略改進(jìn)LSD算法的線段檢測器,提升線特征提取的質(zhì)量。將點(diǎn)、線和IMU數(shù)據(jù)進(jìn)行緊耦合,在后端滑窗優(yōu)化中通過聯(lián)合最小化多差函數(shù)優(yōu)化位姿。鑒于目前基于特征的SLAM方法所構(gòu)建的稀疏地圖主要用于回環(huán)檢測和位姿估計(jì),不能應(yīng)用于機(jī)器人避障、路徑規(guī)劃等任務(wù),因此利用點(diǎn)線融合的視覺慣性SLAM系統(tǒng)構(gòu)建能滿足多種應(yīng)用場景的點(diǎn)線結(jié)構(gòu)地圖。
1 視覺慣性SLAM系統(tǒng)框架
本文算法將點(diǎn)線特征融合方法應(yīng)用于VINS-Mono框架,從而提高算法對環(huán)境特征的穩(wěn)健性以及機(jī)器人位姿估計(jì)和構(gòu)建地圖的精度,共包括前端視覺慣性里程計(jì)、后端非線性優(yōu)化和三維環(huán)境建圖三個模塊,其系統(tǒng)整體框架如圖1所示。
基于點(diǎn)線特征的前端視覺慣性里程計(jì),將圖像和IMU數(shù)據(jù)輸入到線程中。首先對每一幀圖像中的點(diǎn)、線特征并行提取,使用Shi-Tomasi角點(diǎn)檢測點(diǎn)特征,并基于RANSAC的幾何約束去除異常點(diǎn)。線特征采用基于LBD(line band descrio-tor)[12]描述子的改進(jìn)LSD線特征提取匹配算法。其次對于IMU測量的陀螺儀和加速度計(jì)數(shù)據(jù),在兩個視覺幀之間進(jìn)行預(yù)積分,得到當(dāng)前幀的位姿和速度[13,14]。最后進(jìn)行系統(tǒng)初始化,利用前端里程計(jì)預(yù)處理后的視覺與慣性數(shù)據(jù)進(jìn)行聯(lián)合初始化。
基于滑動窗口模型的后端優(yōu)化系統(tǒng),對視覺與IMU進(jìn)行緊耦合優(yōu)化。通過聯(lián)合最小化多殘差函數(shù),估計(jì)高精度的相機(jī)位姿,優(yōu)化方法使用多維數(shù)據(jù)來提高精確度。
通過圖像中提取的點(diǎn)線特征信息,構(gòu)建點(diǎn)線結(jié)構(gòu)的三維環(huán)境地圖,有效改善了基于點(diǎn)特征的視覺SLAM缺陷,優(yōu)化了建圖效果。
2 線特征提取及參數(shù)模型
2.1 改進(jìn)LSD線特征提取算法
基于點(diǎn)線特征融合的視覺慣性SLAM系統(tǒng)在位姿估計(jì)時,線特征為其提供額外約束,故線特征檢測算法只需提取出圖像中明顯的線特征,而無須用大量冗余的線特征精密地構(gòu)建環(huán)境場景。LSD算法利用梯度信息和行列線來檢測圖像中梯度變化較大的像素點(diǎn)集,但其缺乏合并和剔除機(jī)制,導(dǎo)致檢測到的線段存在大量相似或長度不符合的線段。過多的低質(zhì)量線段不僅加重了線段檢測、描述及追蹤的計(jì)算成本,而且極大地影響了前端視覺慣性里程計(jì)的性能與精度,從而增加了SLAM系統(tǒng)中定位與構(gòu)圖的不確定性。為解決以上線特征提取中存在的諸多問題,提出在參數(shù)調(diào)整的基礎(chǔ)上使用短線剔除和近似線段合并的方法來改進(jìn)LSD算法,以實(shí)現(xiàn)高質(zhì)量的線段提取。改進(jìn)后的LSD算法在減少線特征提取耗時的同時,保證了更加有效的線特征提取,具體過程如圖2所示。
改進(jìn)后的LSD線特征提取算法流程如圖3所示,其具體步驟如下:
a)線段排序。假設(shè)LSD算法提取到的線段序列l(wèi),將其按照長度進(jìn)行降序排列,得到線段序列l(wèi)如下:
l={l1,l2,l3,…,lm}(1)
其中: lm為第m條線段。
b)短線剔除。由于長線段特征更加穩(wěn)定,容易在多幀圖像中被反復(fù)檢測到,且長線段數(shù)量越多,對位姿估計(jì)精度的貢獻(xiàn)越大,所以使用長度約束來剔除其中的短線段特征,其最小長度閾值如下:
lenmin=|ηmin(WI,HI)|(2)
其中:lenmin為最小長度閾值;HI、WI為輸入圖像的高度和寬度;|·|為向上取整;η為比例系數(shù),經(jīng)實(shí)驗(yàn)分析在本文中將η設(shè)置為0.12。
c)線段篩選。在線段序列l(wèi)中從最長的線段l1開始進(jìn)行篩選,由于需要對每幀圖像基于距離閾值反復(fù)進(jìn)行篩選操作,若使用二維歐幾里德距離會增加計(jì)算量,嚴(yán)重影響算法的實(shí)時性。所以本文采用垂直及水平距離篩選代替二維歐幾里德距離篩選,僅包含絕對值的增減運(yùn)算,大幅降低了算法耗時。而且下一輪的線段組在垂直距離篩選操作時,是在上一輪水平距離的角度篩選操作完成后,所篩選到的滿足水平距離閾值要求的線段組,這極大地減少了輪轉(zhuǎn)所需要完成距離篩選的線段數(shù)量,進(jìn)一步提高了線段篩選效率。假設(shè)經(jīng)過水平距離篩選的候選線段組為lα,篩選公式如下:
其中: lm為線段序列l(wèi)中的線段,其長度為km,與水平方向的夾角為θm;θmin為衡量線特征角度近似程度的角度篩選閾值,經(jīng)實(shí)驗(yàn)分析本文將θmin的值設(shè)為π/90;μ為自適應(yīng)比例系數(shù),與km成反比,km越小比例系數(shù)μ越大,線段的可合并性就越大。
由于可合并線段存在的位置不同,分為首尾兩種情況,如圖4所示,設(shè)線段la,lb為兩條近似線段,其首尾端點(diǎn)分別為(xa1,ya1)、(xa2,ya2)和(xb1,yb1)、(xb2,yb2)。由此得到近似線段合并候選組lβ:
其中:fmin為線段垂直及水平距離近似程度的距離篩選閾值,經(jīng)實(shí)驗(yàn)分析,本文將fmin的值設(shè)為3;(x1,y1)為線段l1的首尾端點(diǎn)。
d)近似線段合并。根據(jù)以上篩選條件,得到近似線段組lθ={lθ1,lθ2},之后將l1加入到近似線段組lθ中,形成新的線段序列{l1,lθ}。從中選擇偏離最遠(yuǎn)的首尾端點(diǎn)作為新線段lr的首尾端點(diǎn),再次計(jì)算lr的角度θr。當(dāng)θrlt;θmin時,合并成立,并用新線段lr替換線段組{l1,lθ};當(dāng)θrgt;θmin時,合并線段的結(jié)果偏離原線段,故放棄合并。
e)循環(huán)檢測。重復(fù)以上步驟直到短線剔除及近似線段合并完全為止,得到最終高質(zhì)量的長線段。
2.2 線特征跟蹤及參數(shù)化
在線特征提取完成后,本文采用LBD描述子對線特征進(jìn)行描述,之后對線特征進(jìn)行匹配。
由于空間中的直線擁有四個自由度,而使用普呂克參數(shù)化方法[15]表示直線需使用六個參數(shù),會導(dǎo)致過參數(shù)化,所以在優(yōu)化的時候需要包含約束,使得優(yōu)化過程更加復(fù)雜。本文引入了用四個參數(shù)表示直線的正交表示法[16]來方便優(yōu)化,普呂克坐標(biāo)與正交表示法方法可以很方便地相互轉(zhuǎn)換,故本文同時使用這兩種參數(shù)化形式,初始化和進(jìn)行空間變換的時候使用普呂克坐標(biāo),在后端優(yōu)化的時候使用正交表示。
其中: nw為通過lw和平面πw原點(diǎn)確定的平面法向量;dw為由lw的兩個端點(diǎn)確定的方向向量;π1=(c1,lw)和π2=(c2,lw)為由兩個位置和lw決定的平面。
為降低后端優(yōu)化求解的難度,使用正交表示法應(yīng)用于優(yōu)化過程。對普呂克坐標(biāo)進(jìn)行QR分解,lw=(nTw,dTw)T的正交表示為(U,W)∈SO(3)×SO(2):
正交表示和普呂克坐標(biāo)之間的轉(zhuǎn)換關(guān)系有
其中: uTi為矩陣U的第i列。
2.3 直線的重投影殘差模型
將空間直線重投影到圖像上,計(jì)算其與匹配直線間的誤差。首先,定義了線幾何變換,給定從πw到πc的轉(zhuǎn)換矩陣如下:
其中: Rcw為定義域的直線旋轉(zhuǎn);tcw為定義的直線平移。
利用矩陣,可通過以下方式將πw中的lw轉(zhuǎn)換為lc:
其中: lc為lw在πc中的普呂克坐標(biāo)。
然后,將lc投影到圖像平面得到I,用普呂克坐標(biāo)表示為
其中:Kl為直線投影矩陣。
最后,假設(shè)lw表示第i個相機(jī)幀ci觀察到的第j條空間線ζj,則線重投影誤差可以定義為
其中: d(m,I)為點(diǎn)到線的距離函數(shù);m為線特征中點(diǎn)的齊次坐標(biāo)。
3 后端優(yōu)化及建圖
3.1 多源信息融合的滑窗優(yōu)化
為保證系統(tǒng)的實(shí)時性和魯棒性,本文在視覺慣性SLAM系統(tǒng)后端優(yōu)化部分使用多源信息融合的滑動窗口模型。滑動窗口中包含點(diǎn)、線和IMU的全狀態(tài)向量其中:xk為IMU第k幀的位置pbwk、方向qbwk和速度vbwk以及IMU加速度計(jì)偏置ba和陀螺儀偏置bg;下標(biāo)nk、np和n1分別為關(guān)鍵幀的數(shù)量,關(guān)鍵幀中點(diǎn)、線特征的數(shù)量;λnp為三維點(diǎn)的逆深度;onl為三維線的四參數(shù)化正交表示。
通過最小化目標(biāo)函數(shù),優(yōu)化滑動窗口中包括點(diǎn)線特征殘差、IMU殘差及先驗(yàn)殘差的狀態(tài)變量。
3.2 點(diǎn)線特征地圖構(gòu)建
SLAM算法的核心任務(wù)為定位與建圖。基于特征點(diǎn)的SLAM算法,在建圖部分每幀圖像僅采用若干個點(diǎn)的像素信息,導(dǎo)致稀疏建圖無法有效表示周圍環(huán)境。本文三維建圖模塊基于點(diǎn)線結(jié)構(gòu)特征來構(gòu)建地圖,在保證系統(tǒng)準(zhǔn)確度的同時構(gòu)建可用性和可視化程度更高的點(diǎn)線結(jié)構(gòu)地圖,使其能適應(yīng)不同的應(yīng)用需求。
4 實(shí)驗(yàn)結(jié)果和分析
本文使用EuRoC[17]公開數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn),并且在實(shí)際走廊環(huán)境中實(shí)驗(yàn),以驗(yàn)證本文算法的有效性。實(shí)驗(yàn)平臺均為64位Linux操作系統(tǒng),CPU為Intel CoreTM i5-6300HQ@2.30 GHz,內(nèi)存為12 GB。
4.1 改進(jìn)線特征提取算法的性能比較
為驗(yàn)證改進(jìn)線特征提取算法的有效性,選取EuRoC數(shù)據(jù)集中MH_04_difficult、MH_05_difficult、V1_03_difficult、V2_03_difficult共四個子序列進(jìn)行實(shí)驗(yàn),統(tǒng)計(jì)目前SLAM中處理直線檢測最快的算法EDLines和本文改進(jìn)前后LSD算法平均每幀的耗時與線特征提取數(shù)量,結(jié)果如表1所示。本文改進(jìn)的LSD算法在參數(shù)調(diào)整的基礎(chǔ)上融合了短線剔除和近似線段合并,由表1中線特征提取數(shù)量及提取耗時可以看出,改進(jìn)的LSD算法比原LSD算法的耗時平均縮短了51%左右,提取的線特征數(shù)量平均降幅在62%左右,經(jīng)本文改進(jìn)后的LSD算法在提取質(zhì)量與耗時方面都有長足的進(jìn)步;相比EDLines算法的線
特征提取數(shù)量,本文算法的平均降幅在55%左右,平均耗時也略有縮短,極大減少了短線段特征的數(shù)量且保留了對系統(tǒng)定位精度影響較大的長線段特征,避免了低質(zhì)量線特征對SLAM系統(tǒng)定位精度的影響。
改進(jìn)LSD前后兩種方法的提取效果如圖5所示,其中(a)(b)分別為MH_04_difficult數(shù)據(jù)集序列下的測試結(jié)果對比。可以看出,原LSD算法在提取線特征時會有大量短線段和近似線段存在,增加了線段檢測和匹配的計(jì)算成本和系統(tǒng)定位精度的不確定性。改進(jìn)后的LSD算法使用短線剔除和近似線段合并策略,大幅減少了短線段特征的數(shù)量,且保留了對系統(tǒng)定位精度影響較大的長線段特征,改良了線段提取的質(zhì)量,有效地提升了系統(tǒng)精度。
實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的LSD算法線段提取耗時少,求解后端線特征重投影殘差更加便利,且提取到的長線段質(zhì)量更高,保證了本文算法的時效性和魯棒性。
4.2 公開數(shù)據(jù)集仿真實(shí)驗(yàn)
EuRoC數(shù)據(jù)集錄制了20 Hz的相機(jī)數(shù)據(jù)和200 Hz的IMU數(shù)據(jù),包含蘇黎世聯(lián)邦理工學(xué)院ETH的一個工廠車間通道和普通實(shí)驗(yàn)室房間兩個場景。
在EuRoC數(shù)據(jù)集的11個子序列中,根據(jù)不同算法的絕對軌跡誤差(absolute trajectory error,ATE),即計(jì)算估計(jì)位姿與真實(shí)位姿之間歐氏距離的均方根誤差(root mean square error,RMSE)和最大值,評估VINS-Mono、VINS-Fusion、PL-VIO與本文算法的性能,結(jié)果如表2所示。
從表2可以看出,相比于純點(diǎn)特征視覺SLAM算法,加入線特征后的算法準(zhǔn)確度明顯提高。本文采用改進(jìn)后的LSD算法作為線特征提取工具,得益于高質(zhì)量的線段提取,在大多數(shù)數(shù)據(jù)集序列中比同類型最新的PL-VIO算法定位精度更高,耗時更低。在環(huán)境特征復(fù)雜和光照變化差異較大的MH_04_difficult、V1_02_medium、V2_03_medium序列下,本文算法均優(yōu)于其他算法,表現(xiàn)出良好的魯棒性,不存在特征丟失的情形(如表中“-”所示)。
將VINS-Mono、PL-VIO與本文算法在MH_05_difficult、V1_03_difficult序列的運(yùn)行軌跡誤差進(jìn)行對比,結(jié)果如圖6所示。相比其他兩種算法,本文算法與真值軌跡最為接近,偏移誤差較小,表明本文基于改進(jìn)LSD算法的視覺慣性SLAM系統(tǒng)的魯棒性更好、精度更高。
本文算法在EuRoC公開數(shù)據(jù)集上的建圖結(jié)果如圖7所示。可以發(fā)現(xiàn),本文基于點(diǎn)線特征融合的視覺慣性SLAM算法在紋理特征稀疏和光照不足的環(huán)境下,依然能很好地描繪環(huán)境的結(jié)構(gòu)信息,構(gòu)建可適用于多種場景的高精度點(diǎn)線結(jié)構(gòu)地圖。
4.3 現(xiàn)實(shí)環(huán)境實(shí)驗(yàn)
為驗(yàn)證真實(shí)環(huán)境中算法的性能,使用由移動機(jī)器人平臺EAI搭載Mynteye視覺慣性相機(jī),采集現(xiàn)實(shí)走廊場景對本文算法進(jìn)行測試,實(shí)驗(yàn)設(shè)備如圖8(a)所示,實(shí)際走廊場景實(shí)驗(yàn)軌跡如圖8(b)所示。
不同算法在實(shí)際走廊中的運(yùn)動估計(jì)誤差如表3所示,采用絕對軌跡誤差(ATE)的均方根誤差和最大值來評估算法的準(zhǔn)確性。從表3中可以看出,本文算法均方根誤差及最大值都是四種算法中最小的,其定位精度最高且十分接近真值。
5 結(jié)束語
本文提出了一種基于改進(jìn)LSD算法的點(diǎn)線特征融合視覺慣性SLAM系統(tǒng),為解決傳統(tǒng)線特征提取算法提取質(zhì)量不高的問題,在參數(shù)調(diào)整的基礎(chǔ)上利用短線剔除和近似線段合并對LSD算法進(jìn)行改進(jìn);然后,在后端滑動窗口優(yōu)化中有效融合了點(diǎn)、線和IMU數(shù)據(jù),提高了算法的性能;最后,構(gòu)建了能適應(yīng)不同需求的點(diǎn)線特征結(jié)構(gòu)地圖。在公開數(shù)據(jù)集EuRoC和實(shí)際環(huán)境中的實(shí)驗(yàn)結(jié)果表明,本文算法降低了系統(tǒng)線特征的誤匹配率,具有更高的定位準(zhǔn)確度和魯棒性,運(yùn)行速度更快,可構(gòu)建高精度的點(diǎn)線結(jié)構(gòu)地圖。
參考文獻(xiàn):
[1]劉浩敏,章國鋒,鮑虎軍. 基于單目視覺的同時定位與地圖構(gòu)建方法綜述[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報,2016,28(6): 855-868. (Liu Haomin,Zhang Guofeng,Bao Hujun. Overview of simultaneous localization and mapping methods based on monocular vision[J]. Journal of Computer Aided Design and Graphics,2016,28(6): 855-868.)
[2]吳凡,宗艷桃,湯霞清. 視覺SLAM的研究現(xiàn)狀與展望[J]. 計(jì)算機(jī)應(yīng)用研究,2020,37(8): 2248-2254. (Wu Fan,Zong Yantao,Tang Xiaqing. Research status and prospect of visual SLAM[J]. Application Research of Computers,2020,37(8): 248-2254.)
[3]Qin Tong,Li Peiliang,Shen Shaojie. VINS-Mono: a robust and versatile monocular visual-inertial state estimator[J]. IEEE Trans on Robotics,2018,34(4): 1004-1020.
[4]Mur-Artal R,Montiel M M,Tardós J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Trans on Robotics,2015,31(5): 1147-1163.
[5]Rublee E,Rabaud V,Konolige K,et al. ORB: an efficient alternative to SIFT or SURF[C]// Proc of International Conference on Computer Vision. New York: IEEE Press,2011: 2564-2571.
[6]Engel J,Koltum V,Cremers D. Direct sparse odometry[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2017,40(3): 611-625.
[7]Pumarola A,Vakhitov A,Agudo A,et al. PL-SLAM: real-time monocular visual SLAM with points and lines[C]// Proc of IEEE International Conference on Robotics and Automation. New York: IEEE Press,2017: 4503-4508.
[8]付煜,鄭爽,別桐,等. 融合點(diǎn)線特征的視覺慣性SLAM算法[J]. 計(jì)算機(jī)應(yīng)用研究,2022,39(2): 349-355.(Fu Yu,Zheng Shuang,Bie Tong,et al. Visual inertial SLAM algorithm fusing point and line feature[J].Application Research of Computers,2022,39(2):349-355.)
[9]Cuneyt A,Cihan T. EDLines: a real-time line segment detector with a 1 detection control[J]. Pattern Recognition Letters,2011,23(13): 1633-1642.
[10]He Yijia,Zhao Ji,Guo Yue,et al. PL-VIO: tightly-coupled monoccular visual-inertial odometry using point and line features[J]. Sensors,2018,18(4): 1159.
[11]Gioi R G V,Jakubowicz J,Morel J W,et al. LSD: a fast line segment detector with a 1 detection control[J]. IEEE Trans on Pattern Analysis and Machine Intelligence,2010,32(4): 722-732.
[12]Zhang Lilian,Koch R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation,2013,24(7): 794-805.
[13]Todd L,Salah S. Visual-inertial-aided navigation for high dynamic motion in built environments without initial conditions[J]. IEEE Trans on Robotics,2012,28(1): 61-76.
[14]Christian F,Luca C,F(xiàn)rank D,et al. On-manifold preintegration for real-time visual-inertial odometry[J]. IEEE Trans on Robotics,2017,33(1): 1-21.
[15]Bartoli A,Sturm P. The 3D line motion matrix and alignment of line reconstructions[J]. International Journal of Computer Vision,2004,57(3): 159-178.
[16]Bartoli A,Sturm P. Structure-from-motion using lines: representation,triangulation,and bundle adjustment[J]. Computer Vision and Image Understanding,2005,100(3): 416-441.
[17]Burri M,Nikolic J,Gohl P,et al. The EuRoC micro aerial vehicle datasets[J]. The International Journal of Robotics Research,2016,35(10): 1157-1163.
收稿日期:2022-06-08;修回日期:2022-08-04 基金項(xiàng)目:陜西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2022GY-068);西安市未央?yún)^(qū)科技計(jì)劃項(xiàng)目(202021)
作者簡介:趙偉博(1998-),男,陜西延安人,碩士研究生,主要研究方向?yàn)橐曈XSLAM;田軍委(1973-),男(通信作者),陜西渭南人,教授,博導(dǎo),博士,主要研究方向?yàn)闄C(jī)器視覺與模式識別(tjwxjtu@126.com);王沁(1981-),男,重慶人,副教授,碩導(dǎo),博士研究生,主要研究方向?yàn)闄C(jī)器人路徑規(guī)劃;張震(1984-),男,陜西渭南人,講師,碩導(dǎo),博士,主要研究方向?yàn)橹悄軝C(jī)器人技術(shù);趙鵬(1980-),男,陜西西安人,講師,博士研究生,主要研究方向?yàn)橹悄苤圃?