基于視覺的道路場景建模

種玉祥　梁耀中

摘要：步入21世紀，隨著人工智能的發展，智能車的研究成為一大熱點，而智能汽車研究的基礎就是定位問題。目前有2種定位方法，一種是實時定位與建圖（SLAM），另一種則是基于道路場景表征建模的定位方法，兩者各有所長。本文針對基于視覺的道路場景表征建模定位方法進行了優化與改進。首先，本文提出了一種對點云處理的方法，對當前Z坐標一定距離內的點云取不同權值，進行加權投影，以此來構建道路的二維場景。采用ORB特征提取算子提取二維特征，并采用視覺里程計算法獲取車輛運動軌跡信息。構建了輕量級神經網絡，用來檢測道路標志特征，例如車道線、斑馬線、道路標志牌等。對二維場景精度差的問題進行補充。

關鍵詞：視覺SLAM;GPS;融合定位;智能車定位;輕量級神經網絡

【Abstract】Inthe21stcentury，withthedevelopmentofartificialintelligence，theresearchofsmartcarshasbecomeahottopic，andthebasisofsmartcarresearchisthepositioningproblem.Therearecurrentlytwopositioningmethods，oneissimultaneouslocalizationandmapping（SLAM），theotherisapositioningmethodbasedonroadscenerepresentationmodeling.Eachmethodhascorrespondingadvantage.Thispaperoptimizesandimprovesthevision-basedroadscenerepresentationmodelingandpositioningmethod.Firstofall，thispaperproposesamethodforpointcloudprocessing，whichtakesdifferentweightsforthepointcloudwithinacertaindistanceofthecurrentZcoordinateandperformsweightedprojectiontoconstructatwo-dimensionalroadscene.TheORBfeatureextractionoperatorisusedtoextracttwo-dimensionalfeatures，andthevisualmileagecalculationmethodisusedtoobtainvehicletrajectoryinformation.Alightweightneuralnetworkisconstructedtodetectroadsignfeatures，suchaslanelines，zebracrossings，roadsigns，etc.Andtheproblemofpooraccuracyintwo-dimensionalscenesissupplemented.

【Keywords】visualSLAM;GPS;fusionpositioning;intelligentvehiclepositioning;lightweightnetwork

作者簡介：種玉祥（1995-），男，碩士研究生，主要研究方向：視覺SLAM。

1基于道路場景建模的自動駕駛車輛定位

自從SLAM方法問世以后，自動駕駛車輛的定位方法就分成了兩大類。一類是以激光和視覺相機進行的實時定位與建圖，即SLAM。另一類則是根據已經建立好的地圖來進行定位的道路場景建模定位。

實時定位與建圖是根據建圖時所使用的傳感器不同，可再分為視覺SLAM[1]和激光SLAM[2]。其中，視覺SLAM方法主要流程可表述為：前端、視覺里程計、后端、回環檢測等。在小型家用掃地機器人等應用場景中已取得較好應用成效，但是在戶外無人駕駛領域的應用卻仍亟待繼續深入研究。

而基于道路場景建模的定位方法，是先要建立道路的多維地圖，再與行駛過程中的地圖進行匹配，這種定位方法和平常在看地圖尋找目的地時具有相同的邏輯過程。所以，當車輛使用這種方法進行定位時，對道路的建模和表征，每個節點所包含的信息的準確性，以及相應的信息維度，就是其獲得定位精確性的根本和基礎。

一般來說，為了進行更加精確的定位，在進行道路場景建模時，就會使用精度較高的傳感器。例如GPS和高精度慣性導航傳感器、激光雷達、高清攝像頭等等。在進行道路多維地圖構建時，建圖車輛以某一固定的速度在地圖標識路段行駛，將采集多種數據信息，例如GPS信號、慣性導航傳感器信號、視覺圖像等等。而在采集了多重傳感器的數據后，通過傳感器標定，數據融合，將采集到的信息進行關聯[3-5]。

在道路場景建模完成后，先通過普通的GPS進行定位，并在所建立的模型中得到一定范圍內的采集點，接著對采集車采集到的各種信息，諸如視覺圖像、點云信息、慣導數據等與事先建立好的多維地圖進行匹配。根據采集車選用傳感器的不同，道路多維地圖通?？煞譃?類，即：基于視覺攝像頭的多維地圖構建;基于高精度激光雷達的多維地圖構建。

和采用激光雷達相比，運用相機進行地圖的構建和定位可以大大降低制圖與定位的成本，所以，近年來，多種視覺地圖構建方法陸續涌現出來。本文也提出了一種視覺地圖構建方式，該方法包含諸如節點位姿、二維場景特征、道路標志特征等節點要素，如圖1所示。

其中，道路二維投影特征由文中提出的區域點云加權投影方法，由優化后的點云圖中運算獲取。節點位姿則可以通過傳統的視覺里程計算法等獲取。道路標識特征由輕量級神經網絡識別得到。

本文提出的節點要素獲取方法將在下文進行闡釋與分析。

2道路投影特征

不管是基于視覺、還是激光所構建的多維地圖，都是由大量的數據采集節點組成，在每個節點，都要采集視覺數據、GPS信息、以及與RTK組合系統采集的高精度位置信息。為了使文中構建的視覺多維地圖能夠更加準確，本文在每個節點選擇存儲的信息分別為：節點位姿、道路投影特征、道路標志特征、GPS信號等。

2.1點云預處理

本方法要對三維點云進行處理，用來形成二維特征。車載系統對計算性能存儲容量有較高的要求。不論是出于降低所占用的存儲資源，還是去除噪聲，降低運算負荷等目的，都要對點云進行預先處理。在預處理時，為保證點云的質量，需要對所選定的點云的區域范圍進行選擇。首先考慮的目標是要選擇的區域，點云要盡可能地稠密，同時，還要滿足成像清晰，誤差小等要求?？紤]到是用作建圖來使用，所以只需要保留道路信息，對于采集時得到的車輛和行人等動態目標要采用濾波器進行剔除，防止這些因素影響構建好的地圖使用時的配準率。BAL數據集在使用CeresBA優化后的可視化點云圖，如圖2所示。

2.2區域點云加權投影方法

傳統的經典配準算法，主要有ICP。雖然定位精度高，但是運行速度慢，消耗的時間過長。當用于車輛自動駕駛時，研究發現最終準確度達到了較好效果，其運行速度卻過慢，因而不能滿足智能車輛行駛時對即時性的要求?；诖?，本文提出了一種視覺點云區域加權投影方法，通過這種方法，能夠將研究中事先進行過預處理的點云轉換成二維場景特征，繼而采用目前一些運行速度較快，穩定性較高的視覺特征提取算法進行特征匹配與特征提取，經仿真驗證可知，這對提升點云的配準效率有較大的幫助。

此外，在將點云投影到地表平面上時，難免會丟失垂直方向上的信息。因此，在對點云進行投影時，計算研究過程中劃分的小區域內點云的平均高度，以此來保留Z軸上的高度信息。

在校區教學樓附近運行時生成的部分二維場景圖像如圖4所示。

2.3ORB特征提取算子

在獲取了由視覺信息轉換后的二維場景地圖后，如何運用一種圖像特征提取方法，才能在不損失準確度的前提下盡可能地提高運算速度則是本次研究中在構建視覺多維地圖時需要考慮的重點問題。目前，SIFT[6]與SURF[7]是熱門流行的特征提取算子，具有良好的性能，識別準確，但是這兩種算法在運行速度上都有些不足，特別是在行駛的車輛上使用時這一不足就體現得更加明顯，車輛在行駛時對定位和匹配的實時性就提出了很高的要求，因此，運行速度慢就成了很大的缺點。綜上，為了解決前述問題，Rublee等人[8]提出了ORB特征檢測算法，和SIFT、SURF相比，該算法具有更加優良的性能。ORB算法的特征提取方法是檢測相鄰域中像素的灰度以及角點，因此該方法在保證檢測效率前提下，對速度有較大的提升。

ORB算子特征匹配示意圖如圖5所示。ORB算子在圖片發生拉伸等情形時，仍能對所獲取的圖像進行較準確的識別與匹配，能夠更好地滿足智能駕駛中二維場景的匹配與定位需求。

3車道標志信息獲取

本小節提出了一種輕量級的神經網絡，對道路特征標志，如車道線、斑馬線、路牌等信息進行識別和記錄，和前文獲取的視覺點云，二維結構等信息相結合，使建模時采集的每一個節點都具有不可替代性，用以增加使用地圖定位匹配時的準確度。

由于內存和計算資源有限，現實中在車輛上部署深度神經網絡較為困難?；诖耍疚脑O計了一種全新的神經網絡基本單元Shadow模塊，并搭建出輕量級神經網絡架構ShadowNet。在一個訓練好的深度神經網絡中，通常會包含豐富甚至冗余的特征圖，以保證對輸入數據有全面的理解。但是，并非所有特征圖的獲取都要用到卷積操作，也可通過線性運算與恒等映射的操作來生成。

鑒于主流神經網絡計算出的中間特征圖中存在大量的冗余，為了減少所需的資源，Shadow的主要作用是生成其中的卷積核。首先，輸入數據X∈Rc×h×w，這里c是輸入通道數，w和h是輸入數據的寬度與高度，所以，生成特征圖的卷積層可用如下運算來表示：

通過上述Shadow的模塊，構建出專門為移動設備中神經網絡設計的Shadowbottleneck。Shadowbottleneck主要由2個堆疊的Shadow模塊組成。第一個Shadow模塊用作擴展層，增加了通道數。第二個Shadow模塊減少通道數，以與shortcut路徑匹配。通過使用shortcut連接與這兩個Shadow模塊的輸入、輸出相連接，能夠很好地減少計算資源的消耗，降低模型的過擬合，有效緩解梯度消失或梯度爆炸。

在道路實際模擬時采集的道路特征信息如圖7所示。

4基于視覺的多維地圖構建方法綜述

本文提出的基于視覺的多維地圖構建方法總體可以歸納為如下步驟：

（1）運用車載單目攝像機、車載GPS等結合慣性導航傳感器，對需要建立視覺多維地圖的路段進行數據采集，并做三維重建，在獲取其他信息的同時，也得到了點云信息。

（2）對生成點云進行加權二維投影，對處理后的二維場景采用ORB算子進行特征提取，用以進行節點匹配。

（3）由于點云轉二維后場景清晰度不足，本文在這里采用的是構建輕量級神經網絡的方法，對道路標志特征如車道線、斑馬線、道路交通標志牌等進行識別與記錄，與GPS定位，以及（2）中提及的道路二維特征進行同步匹配，使每個節點更加具有獨特性，增加匹配準確率。

（4）本文的建圖方法中，每個節點都存儲了點云信息、二維信息、道路標志特征信息。在定位時可先利用GPS等進行粗定位，再借由二維場景特征和道路特征信息進行精確定位，最后運用點云和軌跡信息進行空間位姿的精確定位。

5實驗結果分析

本文試驗采用上海工程技術大學參與改進的無人駕駛試驗采集車進行數據的獲取。實驗的測試路段選擇在上海工程技術大學內的教學樓附近，試驗路段的俯瞰圖及試驗路段道路場景如圖8所示。由圖8可知，試驗路段完全滿足機動車行駛要求，且道路行車路線和路面都具有一般性，故認為實驗結果可作為最終結論。本次實驗的實驗線路總長度約為900m。

根據本文提出方法進行地圖構建時，先使用車載相機對道路信息進行采集，運用視覺SLAM技術生成點云，同時對點云進行處理，獲得二維投影信息;在獲取了點云、位姿和二維投影信息后，運用輕量級神經網絡對道路標志特征如：車道線、路燈、告示牌等進行道路標志特征提取。在構建的眾多信息采集點中，隨機選擇1～2個作為多維地圖的起點，并進行特征匹配。通過視覺SLAM方法獲得視覺軌跡，最后結合視覺軌跡和地理軌跡的相對位置關系，生成視覺地圖。

驗證環節主要對視覺軌跡產生的累積誤差進行分析。針對多維信息構建出的視覺多維地圖，在分析誤差時同樣要進行多維分析。本文以每10m為一個單元，選取了長度為100m的實驗路段，用以進行累積誤差的分析。測試結果如圖9所示。由圖9可知，當測試路段長度在10～90m之間時，累積誤差較低，僅在0.5m以下;當測量長度為100m時，累積誤差也能控制在0.5m左右。

6結束語

本文提出了一種基于視覺的多維地圖構建方法。首先利用視覺SLAM原理獲取點云信息，再使用視覺點云的區域加權三維投影方法，生成二維場景表征圖像，使用ORB特征提取算子對生成的二維表征圖像進行特征提取。對于生成的二維場景表征圖像準確率低的問題，構建了新的輕量級神經網絡，識別道路標志特征，作為補充，增強每個節點的獨特性，提高視覺配準的準確率。同時，也記錄GPS等信息，在定位時先通過GPS信號進行粗定位，提高了定位的速度。經試驗驗證，地圖制圖誤差在合理范圍內。

參考文獻

[1]MAHONI，WILLIAMSSB，PIZARROO，etal.Efficientview-basedSLAMusingvisualloopclosures[J].IEEETransactionsonRobotics，2008，24（5）：1002-1014.

[2]TANGJian，CHENYuwei，NIUXiaoji，etal.LiDARscanmatchingaidedinertialnavigationsysteminGNSS-deniedenvironments[J].Sensors，2015，15（7）：16710-16728.

[3]ZHANGZ.Aflexiblenewtechniqueforcameracalibration[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2000，22（11）：1330-1334.

[4]HWANGBOM，KIMJS，KANADET.IMUself-calibrationusingfactorization[J].IEEETransactionsonRobotics，2013，29（2）：493-507.

[5]BouguetJY.CameracalibrationtoolboxforMatlab[EB/OL].[2019-05-05].http：//www.vision.caltech.edu/bouguetj/calib_doc/.

[6]LOWEDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]BAYH，ESSA，TUYTELAARST，etal.Speeded-UpRobustFeatures（SURF）[J].ComputerVision&ImageUnderstanding，2008，110（3）：346-359.

[8]RUBLEEE，RABAUDV，KONOLIGEK，etal.ORB：AnefficientalternativetoSIFTorSURF[C]//InternationalConferenceonComputerVision.Barcelona，Spain：IEEE，2012：2564-2571.