基于點(diǎn)線特征的視覺(jué)SLAM方法綜述

胡雪花 羅榕思 溫彬彬 郝敏釵 陳旭鳳

摘要：基于點(diǎn)線特征的視覺(jué)SLAM方法是解決傳統(tǒng)視覺(jué)里程計(jì)在低紋理場(chǎng)景下定位不準(zhǔn)確和魯棒性差的常見(jiàn)方法。結(jié)合近年來(lái)的研究成果，本文對(duì)基于點(diǎn)線特征的視覺(jué)SLAM算法進(jìn)行框架上的梳理和性能上的比較。首先，歸納視覺(jué)SLAM系統(tǒng)框架，并對(duì)前端模塊的相關(guān)算法和對(duì)應(yīng)的數(shù)學(xué)理論進(jìn)行闡述。其次，歸納分析相關(guān)基于點(diǎn)線特征的視覺(jué)SLAM算法優(yōu)化方法及研究成果，總結(jié)各種優(yōu)化算法的優(yōu)勢(shì)和問(wèn)題。最后討論基于點(diǎn)線特征的視覺(jué)SLAM的研究方向、發(fā)展前景和面臨的問(wèn)題。

關(guān)鍵詞：視覺(jué)SLAM;點(diǎn)線特征結(jié)合;前端優(yōu)化;地圖構(gòu)建

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)識(shí)碼：A

VisualSLAMmethodbasedonpointandlinefeatures

HuXuehuaLuoRongsiWenBinbin*HaoMinchaiChenXufeng

DepartmentofIntelligentManufacturingHebeiPolytechnicUniversityHebeiShijiazhuang050091

Abstract：VisualSLAMbasedonpointlinefeaturesisacommonmethodtosolvetheproblemofinaccuratepositioningandpoorrobustnessoftraditionalvisualodometerinlowtexturescenes.Inthispaper，theframeworkandperformanceofpointandlinefeaturebasedvisualSLAMalgorithmsareanalyzedbasedontherecentresearchresults.Firstly，theframeworkofthevisualSLAMsystemissummarized，andtherelevantalgorithmsandcorrespondingmathematicaltheoriesofthefrontendmodulesaredescribed.Secondly，therelevantpointandlinefeaturebasedvisualSLAMalgorithmoptimizationmethodsandresearchresultsaresummarizedandanalyzed，andtheadvantagesandproblemsofvariousoptimizationalgorithmsaresummarized.Finally，theresearchdirection，developmentprospectandproblemsofpointlinefeaturebasedvisualSLAMarediscussed.

Keywords：VisualSLAM;Combinationofpointandlinefeatures;Frontendoptimization;Mapbuilding

SLAM分為前端和后端，前端主要功能是根據(jù)相鄰兩幀圖像的匹配與比對(duì)，估計(jì)出相機(jī)傳感器在環(huán)境中的位置和姿態(tài)變化，進(jìn)而對(duì)機(jī)器人進(jìn)行定位并生成相應(yīng)的運(yùn)動(dòng)軌跡。視覺(jué)里程計(jì)是視覺(jué)SLAM系統(tǒng)的前端部分，利用視覺(jué)傳感器測(cè)量數(shù)據(jù)進(jìn)行狀態(tài)估計(jì)，定位精度高和魯棒性好?；谔卣鞯姆椒ㄔ谝曈X(jué)里程計(jì)方法研究中占據(jù)主流地位，圖像特征包括點(diǎn)特征、線特征和面特征等不同類型，其中基于點(diǎn)特征的視覺(jué)SLAM研究和應(yīng)用最為熱點(diǎn)，點(diǎn)特征簡(jiǎn)單并且容易表達(dá)，然而基于點(diǎn)特征的視覺(jué)圖像處理方法，需要提取大量的點(diǎn)特征，維度單一，缺少約束，在快速運(yùn)動(dòng)、弱紋理、弱照明及光照變化明顯等場(chǎng)景下，難以提取足夠數(shù)量的點(diǎn)特征，導(dǎo)致后續(xù)位姿估計(jì)的結(jié)果較差。對(duì)于點(diǎn)特征而言，線特征是一種更高層次的含有更多幾何信息的特征，能夠有效改善基于點(diǎn)特征的視覺(jué)SLAM缺陷，在復(fù)雜場(chǎng)景中具有較好表現(xiàn)，能夠更好地進(jìn)行地圖構(gòu)建。因此可以將點(diǎn)特征和線特征相結(jié)合，提高視覺(jué)SLAM的精度和魯棒性，研究基于點(diǎn)線綜合特征的視覺(jué)慣性里程計(jì)方法具有重大意義。

1系統(tǒng)整體框架

基于點(diǎn)線特征融合的視覺(jué)SLAM系統(tǒng)包括三個(gè)模塊：前端視覺(jué)里程計(jì)、后端非線性優(yōu)化和三維環(huán)境建圖，系統(tǒng)整體框架如下圖所示。

系統(tǒng)整體框架圖

1.1前端視覺(jué)里程計(jì)

基于點(diǎn)線特征的前端視覺(jué)里程計(jì)，采用雙目或單目相機(jī)攝取周?chē)h(huán)境的RGB圖像，利用算法提取并描述圖像的點(diǎn)特征和線特征，根據(jù)前后幀圖像特征匹配即可初步估計(jì)相機(jī)的位姿和局部地圖。

1.2后端非線性優(yōu)化

后端主要解決數(shù)學(xué)上的非線性優(yōu)化問(wèn)題，綜合位姿狀態(tài)及閉環(huán)帶來(lái)約束信息之后，對(duì)其進(jìn)行優(yōu)化，保證全局一致性。

1.3三維環(huán)境建圖

回環(huán)檢測(cè)在基于相機(jī)載體可以回到原來(lái)場(chǎng)景的前提下，構(gòu)建回環(huán)檢測(cè)約束，消除大場(chǎng)景累計(jì)誤差;建圖則是根據(jù)不同需求構(gòu)建稀疏或稠密的地圖。

2基于點(diǎn)線特征的特征提取算法

2.1點(diǎn)特征提取與匹配算法

點(diǎn)特征即圖像中的邊緣點(diǎn)和角點(diǎn)，點(diǎn)特征通常由描述點(diǎn)位置、方向和大小的關(guān)鍵點(diǎn)數(shù)據(jù)和表達(dá)關(guān)鍵點(diǎn)周?chē)植啃畔⒌拿枋鲎咏M成，一般以向量形式來(lái)表示。

目前常用的圖像點(diǎn)特征提取算法有SIFT算法、SURF算法和ORB算法。其中ORB算法以其優(yōu)越的特征提取與匹配性能和運(yùn)行時(shí)間成為當(dāng)下典型的點(diǎn)特征提取算法。ORB算法的原理是假設(shè)特征點(diǎn)與鄰域重心沒(méi)有完全重合，通過(guò)特征點(diǎn)灰度坐標(biāo)到質(zhì)心的向量，即可計(jì)算出該特征點(diǎn)的主方向。定義特征點(diǎn)鄰域的（p+q）階矩，如式（1）所示。

mpq=∑x，y∈rxpyqIx，y（1）