視覺SLAM在動態(tài)場景下的圖像處理方法探討

王美潔

【摘? ? 要】現(xiàn)階段，科學技術(shù)不斷發(fā)展，移動機器人應用日漸廣泛，某些環(huán)境下，一些導航系統(tǒng)及慣性測試單元會受到一定限制，而SLAM的出新則很好地解決了這一問題。在機器人導航中如何更好地應用SLAM已經(jīng)成為社會關(guān)注的一個重點。基于此，本文對視覺SLAM國外研究情況進行分析，闡述視覺SLAM的關(guān)鍵技術(shù)，提出視覺SLAM在動態(tài)場景下的圖像處理方法，以供參考。

【關(guān)鍵詞】視覺SLAM? 動態(tài)場景? 圖像處理方法

中圖分類號：G4? ? ? 文獻標識碼：A DOI：10.3969/j.issn.1672-0407.2021.19.006

人工智能環(huán)境的到來，為機器人產(chǎn)業(yè)發(fā)展帶來了良好契機，對人們生產(chǎn)、生活帶來了較大影響，如掃地機器人的出現(xiàn)等。對于移動機器人而言，若想保證移動的可控性，應將重點放在“建立地圖”以及“定位”上，簡單而言，就是同步定位及地圖構(gòu)建。因為視覺SLAM能夠包含更多的信息，并且更加符合人類的直觀感受，逐漸受到研究人員的關(guān)注，本文就視覺SLAM在動態(tài)場景下的圖像處理方法進行探討，具體如下。

一、視覺SLAM國外研究情況

SLAM表示的是同時定位于構(gòu)建地圖，屬于搭載特定出傳感器的主體，在不具備環(huán)境先驗信息的條件下，在運動過程中進行環(huán)境模型的建立，并且對自身運動進行估計。對于SLAM而言，其主要的目的是解決兩個問題：問題一，定位問題;問題二，地圖構(gòu)建問題。[1]不僅要對傳感器自身位置進行估計，還應進行周圍環(huán)境模型的建立。而視覺SLAM，則是將視覺傳感器作為中心的SLAM。例如無人車或機器人，將其放置到一個小區(qū)中，其不了解小區(qū)中車位、建筑以及道路等分布情況，需要事先進行觀察，了解建筑、道路、車位等具體分布情況，隨后還應明確自身在小區(qū)中所處的位置。小車是主體，而傳感器則為小車的眼睛，因為小車沒有事先知曉環(huán)境情況，因此小車沒有來過屬于環(huán)境的先驗信息。在視覺SLAM研究上，國外主要進行了基于特征點視覺SLAM以及直接視覺SLAM研究。

（一）基于特征點的視覺SLAM

在這一方面發(fā)展中主要經(jīng)歷了三個階段。首先，濾波器階段。在該階段中，主要應用的是例子濾波、無跡卡爾曼濾波（UKF）以及卡曼濾波（EKF）。其次，關(guān)鍵幀階段。在此階段中，根據(jù)線程劃分整個SLAM系統(tǒng)，將其分為定位、建圖以及閉環(huán)檢測，其屬于當前主流框架。最后，RGD階段。[2]微軟不斷發(fā)展中，推出了RGBD相機，其能夠得到圖像的深度信息，并且還會對三維重建過程進行簡化。一些研究人員在室內(nèi)環(huán)境中使用RGBD相機進行了三維重建，從彩色圖像中進行了SIFT特征提取，同時在深度圖像上獲得相應的深度信息。在RNSAC方法的應用下匹配3-D特征點，對其剛體運動變換進行計算，獲得結(jié)果后，將其作為ICP初始值，最終得到更準確的位姿情況。

（二）直接的視覺SLAM

對于直接視覺SLAM而言，其屬于直接立足像素點強度實施相關(guān)操作，無需提取特征點，這種方法的應用會對圖像中的全部信息進行利用，[3]并且能夠提供更多的環(huán)境幾何信息，為地圖后續(xù)使用提供便利，即便是環(huán)境中存在的特征較少，也能獲得較高的魯棒性以及準確性。為保證構(gòu)建的三維環(huán)境地圖更加稠密，較多研究這進行了大量研究，一些研究人員提出了LSD-SLAM算法，這種方法可以準確的估計出相機位姿，并且還能進行大規(guī)模三維環(huán)境地圖的創(chuàng)建。一些研究人員提出了RGB_D SLAM方法，在這種方法下，與像素點深度誤差以及強度誤差相結(jié)合獲得誤差函數(shù)，利用最小化代價函數(shù)，最終獲得最優(yōu)相機位置，通過g2o實現(xiàn)了這一過程，同時還提出了基于熵的閉環(huán)檢與關(guān)鍵幀提取方法，有效減少了路徑誤差。

經(jīng)過多年的研究與發(fā)展，當前在視覺SLAM上已經(jīng)獲得較多標志性的研究成果。一些研究人員提出了MonoSLAM，其屬于基于EKF方法的單目SLAM，可進行實時監(jiān)測，不過未能對漂移實際情況進行確定，基于概率框架下能夠?qū)崿F(xiàn)稀疏地圖的在線創(chuàng)建。一些研究人員研究出了直接法下的單目SLAM算法，在這種方法下，可以在幀率整幅圖像對準下得到相應自由度位姿，在GPU上能夠獲得實時的效果。一些人員提出了多線程處理SLAM的算法，將建圖與跟蹤作為兩個單獨任務，同時在兩個平行線程上分別實施處理。一些研究人員提出一種可以在GPU上進行稠密三維地圖實時構(gòu)建的算法，這種方法可以通過Kinect相機進行深度信息的獲取，并對傳感器位姿進行計算，最終實施環(huán)境3D地圖模型的精確構(gòu)建。一些研究人員提出了較為完整的關(guān)鍵幀單目SLAM算法，這種方法下是對整個系統(tǒng)進行線程劃分，包括追蹤、地圖創(chuàng)建以及閉環(huán)控制。基于ORB特征下進行特征提取與匹配，并且實施位置識別以及創(chuàng)建稀疏地圖，這種方法具備較高的定位精確度，能夠?qū)崟r運行。

二、視覺SLAM的關(guān)鍵技術(shù)

現(xiàn)階段，視覺SLAM技術(shù)應用環(huán)節(jié)主要會涉及四個構(gòu)成部分，一是視覺里程計，二是后端優(yōu)化，三是回環(huán)檢測，四是構(gòu)圖。以上幾個構(gòu)成部分相對獨立卻又相互聯(lián)系，各部分均存在獨立的理論體系。

（一）前端視覺里程計

對于前端視覺里程計而言，其主要是具備與“里程計”相似的功能，初步定位及構(gòu)圖是該部分的核心功能，初步處理機器人相機采集到的圖像，屬于視覺SLAM技術(shù)的初步工作。存在兩種不同的圖像處理方式，一種為直接法，另一種為間接法。其中直接法表示的是獲得相機采集的圖像后會直接在像素層面上予以求解，結(jié)合選取的實際像素量，可以用稀疏直接法、半稠密直接法以及稠密直接法。[4]其中稀疏直接法計算量最少，定位及構(gòu)圖精確度最低，半稠密直接法次之，稠密直接法計算量最多，獲得的定位及構(gòu)圖精度也越高。所以實際使用環(huán)節(jié)，應與應用場合相結(jié)合，進行求解方案的科學選擇。不過需要注意的是，直接法涉及不到圖像處理層面的操作，而是直接進行求解。

而間接法又被稱為特征點法，簡單而言就是提取圖像中的特征點，匹配兩幀圖像中的特征，獲得相同的特征，隨后在也正匹配好后求解位姿。從中可以看出，在特征點法應用過程中，能夠有效解決兩個問題，一是位姿，二是特征匹配。直接法中則涉及不到特征匹配。特征匹配具備的是進行圖像處理，在現(xiàn)階段，存在較多圖像處理算法，適用于視覺SLAM技術(shù)中的算法，主要應滿足以下要求：第一，可進行大部分場景圖像特征的提取。第二，可實現(xiàn)大量圖像特征匹配。第三，具備實時性特點。由于特征點法視覺里程計主要內(nèi)容是特征提取及匹配，所以前兩個要求是必須滿足的，在后一要求的滿足上應用較為廣泛的為ORB算法SURF算法以及FAST算法。

（二）后端優(yōu)化

后端與前端屬于相對應的關(guān)系，可以認為前端里程計是粗算，后端工作則為細算，所以后端的主要工作是優(yōu)化前端里程計的構(gòu)圖計定位。在具體求解環(huán)節(jié)，同里程計相比，后端優(yōu)化會用到更多的數(shù)據(jù)集，這屬于優(yōu)化的核心所在。機器人在不斷移動下其所處環(huán)境會不斷變化，前端里程計求解環(huán)節(jié)，誤差也會不斷積累，最終得到的構(gòu)圖與定位可能與實際存在較大差異。所以在視覺SLAM技術(shù)中，后端優(yōu)化不可獲取。在現(xiàn)階段，后端優(yōu)化方面應用較為廣泛的是基于光束法平差（BA）的圖優(yōu)化算法;擴展卡爾曼濾波（EKF）算法，其中EKF算法在SLAM技術(shù)早期應用較多，而近年來圖優(yōu)化算法應用逐漸廣泛。

（三）回環(huán)檢測

基于理論視角下進行分析，機器人兩次達到同一地點，兩次經(jīng)實際計算獲得的位姿應該是一致的，地點一致，兩次構(gòu)建出的位姿圖應該完全重合。不過實際上里程計與后端優(yōu)化算法進行位姿求解時，還會存在一定的偏差。[5]因此，當機器人重復經(jīng)過統(tǒng)一地點時，獲得的位姿圖也會存在偏移的情況，導致重影情況的出現(xiàn)。回環(huán)檢測技術(shù)的主要作用是解決重影問題，在視覺SLAM技術(shù)應用環(huán)節(jié)，通過兩個不同階段關(guān)鍵幀的相似度對比，若其相似度高于某一閥值，則說明檢測到回環(huán)。詞袋模型是應用較為廣泛的回環(huán)檢測方式，這種模型的主要思想是進行詞典構(gòu)建，所有幀的圖像特征均為其中的“單詞”，而回環(huán)檢測就是對詞典進行快速查詢，如果發(fā)現(xiàn)兩個單詞高度相似，則實現(xiàn)了回環(huán)檢測。

（四）構(gòu)圖

所謂構(gòu)圖，實際上就是對求解獲得的數(shù)據(jù)實施后處理。在不同的機器人應用場合與功能下，構(gòu)建形成的整體圖像類型也存在較大差異。如導航機器人與避障機器人，兩者存在不同的圖像特點。需要注意構(gòu)圖只是針對以上三個步驟的計算結(jié)果，不具備復雜的算法層面，但在應用層面上卻發(fā)揮著較為重要的價值。

三、動態(tài)場景下視覺SLAM的圖像處理方法

為了更好地探究動態(tài)場景下視覺SLAM技術(shù)的圖像處理方法，本文將語義分割算法引入到了ORB-SLAM2處理動態(tài)環(huán)境中，結(jié)合幀間人身ORB特征點的變化情況對人所處狀態(tài)進行判斷。語義分割中人的類別會被作為動態(tài)物體剔除特征點，從而保證人的運動不會被所建立的地圖所干擾。

（一）ORB-SLAM2算法

對于ORB-SLAM2算法而言，其主要是由全局BA優(yōu)化線程以及3個平行線程組成。其中這3個平行線程表示的是閉環(huán)檢測線程、局部建圖線程以及跟蹤線程。跟蹤線程主要是提取相機收集到各幀數(shù)據(jù)的ORB特征，利用局部地圖以及相機位姿跟蹤，最終得到局部地圖，將其與當前幀進行匹配。[6]通過進行投影誤差的最小化處理，對位姿進行優(yōu)化，從而對是否生成關(guān)鍵幀進行判斷。對于局部建圖線程而言，主要是處理上一線程獲得的新關(guān)鍵幀，將地圖中低質(zhì)量點剔除。利用三角化方法對共視程度較高的關(guān)鍵幀地圖點進行恢復，并對當前關(guān)鍵幀與相鄰幀存在的重復地圖點進行檢查，融合地圖點。選擇局部BA優(yōu)化的方式進行當前相連地圖點與關(guān)鍵幀優(yōu)化，將剩余關(guān)鍵幀剔除。閉環(huán)探測與閉環(huán)校正共同組成閉環(huán)檢測線程，通過實際計算得到當前幀與相連關(guān)鍵幀詞袋模型的最低得分，對當前關(guān)鍵幀是否產(chǎn)生閉環(huán)進行判斷，同時還應實施連續(xù)性檢測，進行相似變換計算。

（二）PSPNet算法

這一算法是通過不同區(qū)域上下文池化進行全局上下文信息能力的實現(xiàn)。該算法在實際應用過程中會制定一個輸入圖像，通過卷積神經(jīng)網(wǎng)絡獲得相應特征圖，隨后特種圖會到達金字塔解析模塊，并且還會進入到連接層中。金字塔解析模塊會對特征圖進行處理，并將其實施向上采樣，獲得最終結(jié)果后向連接層中傳入，與其中存在的特征圖結(jié)合，最終得到特征表示，在獲得的特征中，不僅包含局部信息，還包含全局上下文信息。通過金字塔池化模塊處理得到結(jié)果后，將其輸入至卷積層中，從而呈現(xiàn)出語義分割預測。

對于金字塔池模塊而言，其主要有四種不同尺度的特征。最上層表示全局池，主要進行單個Bin輸出的生成。下方存在的其他金字塔，會進行特征圖劃分，將其變成不同的子區(qū)域，分別表示不同的位置。通過金字塔池化模塊中的各層次輸出，最終獲得大小各不相同的特征圖。如果金字塔大小為N，為保證全局特征不發(fā)生變化，所有金字塔層會通過1X1的卷積層，將上下文維度減小，成為原來的1/N。在低緯度特征圖中進行采樣，獲得的特征與原始特征圖大小相同。連接所有層次的特征，最終得到的就是金字塔池化全局特征。向ORB-SLAM2算法以及PSPNet算法中分別輸入原始圖像，提取ORB-SLAM2跟蹤線程中存在的特征點，PSPNet會對圖像進行網(wǎng)絡分割，最終向ORB-SLAM2中傳入。經(jīng)過這一處理后，人處于分割圖形中，屬于一個動態(tài)對象，ORB-SLAM2會將人身上存在的特征點去除，隨后對剩余特征點實施特征匹配，并估計其位姿。

（三）ORB-SLAM2動態(tài)場景下的優(yōu)化

在ORB-SLAM2算法應用過程中會存在目標丟失以及漂移量大等問題，為有效解決這一問題，可以進行語義分割算法與ORB-SLAM2算法的結(jié)合。[7]在現(xiàn)階段，深度學習技術(shù)下的語義分割算法中具備較好分割性能的為PSPNet算法，在不斷應用中進一步發(fā)揮出了語義分割的作用，獲得較高的精度。因此，本文語義分割算法選為PSPNet算法。在實際應用過程中，PSPNet會在數(shù)據(jù)集PASCALVOC2012中進行訓練，當前這一數(shù)據(jù)集屬于對語義分割進行衡量的一個標準數(shù)據(jù)集。會將人作為動態(tài)對象，剔除其中存在的特征點，進一步提升動態(tài)場景下ORB-SLAM2算法的工作能力，不會受到不良因素的干擾，最終獲得更加精準的結(jié)果。

綜上所述，為有效實現(xiàn)動態(tài)場景下SLAM系統(tǒng)中ORB-SLAM2算法功能，可將語義分割算法與ORB-SLAM2算法加以融合，將人作為動態(tài)對象，剔除其身上帶有的特征點，從而有效提升ORB-SLAM2算法的精準度，避免受到不良因素的干擾，更好地發(fā)揮出ORB-SLAM2算法的作用。

參考文獻

[1]楊偉婷，李保育，左文斌.基于機器視覺的圖像處理方法[J].信息技術(shù)與信息化，2021（07）：143-145.

[2]吳玲，孫永榮，趙科東.一種自主空中加油視覺導航圖像處理方法[J].科學技術(shù)與工程，2021，21（20）：8552-8557.

[3]牛犇，張棲瑞.基于計算機視覺的數(shù)字圖像處理方法研究——以梨果檢測分級為例[J].信息記錄材料，2021，22（05）：195-197.

[4]陳紫鵬，李威，盧文超，尹拂曉.基于機器視覺的帶鋼表面缺陷檢測系統(tǒng)中圖像處理方法設(shè)計研究[J].南方農(nóng)機，2020，51（22）：178-179.

[5]宋子龍，梁經(jīng)緯，祝志恒，蔣買勇.CCTV視覺圖像處理方法在土石壩涵管病害診斷中的應用[J].水利水運工程學報，2019（02）：99-103.

[6]許博文，唐朝，張?zhí)铮罴覘?基于機器視覺檢測鋼板板形的圖像處理方法研究[J].軟件工程，2018，21（06）：1-3.

[7]文生平，陳志鴻，張施華.基于ARM的視覺導航AGV圖像處理方法研究[J].計算機測量與控制，2017，25（12）：207-210.