車載激光雷達和視覺傳感器融合算法研究

李貴炎

(南京交通職業技術學院,江蘇 南京 211188)

0 引言

近年來,隨著移動技術和通信技術的發展[1],許多新型高端技術被應用到智能駕駛系統的研發中[2]。 其中,一種新型的車載激光雷達被廣泛用于檢測智能駕駛系統中的引導功能[3]。 該車載激光雷達對車輛周圍的空間具有搜索范圍廣、信息范圍廣和單幅圖像信息、精度高等優點,本文重點介紹基于車載激光雷達的線搜索技術[4]。

1 相關概念

1.1 激光雷達傳感器

激光雷達掃描儀的眾多優勢,使其成為復雜交通環境中視覺檢測的理想選擇[5]。 視覺系統的主要功能是契合智能駕駛環境自動作出指令和判斷,指導智能駕駛行為[6]。 本文提出的激光雷達多面組合檢測算法流程,如圖1 所示。

圖1 基于激光雷達的障礙物檢測算法流程

1.2 基于激光雷達的障礙物識別方法

1.2.1 地面分割

交通環境中會出現很多突發情況[7],駕駛員一般難以從容、整合處理。 對于車載激光雷達來說,處理復雜交通情況則相對容易。 地面分割是一種簡單有效的預防方法,可以用于處理突發狀況。 綜合考慮,本項目采用RANSAC 算法(Random Sample Consensus, RANSAC)進行遺傳分離[8],其第一個均衡模型可以定義為[9]:

在進行地表分割時[10],系統操作人員必須先將指標代入符號,計算誤差,根據指定的閾值分析PROad 符號集中的第一個符號,然后對第一個內部基因應用RANSAC 算法設置PROad。

1.2.2 點云柵格化

激光雷達傳感器的數據傳輸量非常大,Velodyne 64 線激光雷達在雙響應模式下每秒產生3D 掃描。 信號數量可以達到220 萬個,即使去除地面信號,云的數據大小也保持不變,并且還會留下標記供適當處理,光束可能不會被激光掃描,遠處的格柵會產生隔音格柵,并降低能見度。

如圖2 所示,確保網格有兩束激光束,距離激光雷達的距離為d,本研究必須調整線的大小,使其與線和激光雷達中心的距離相等。 這是因為靠近前導水平面的激光束之間的夾角非常小,根據弧長模型可以得到晶格長度的最小值Gmin:

圖2 柵格與激光掃描線位置關系示意

式中:θ為相鄰兩束激光線之間的水平夾角,根據一定的情況,考慮網格上存儲的網格的內存問題,設計人員選擇一個最大尺寸的格網。

1.3 卷積神經網絡

1.3.1 卷積神經網絡的組成

卷積神經網絡是深度學習技術中最重要的模型之一,其有很多不一樣的網絡層。 從實用的角度來看,這些網絡層可以分為兩部分:信號層和解密層。 卷積層利用卷積紋理對部分數據場進行卷積函數計算,如見圖3 所示。

圖3 卷積操作

從卷積的具體操作過程中可以看出,卷積函數是提取數據的高級抽象特征和近似數據的關系特征。

1.3.2 卷積神經網絡

卷積神經網絡借助卷積運算操作的優勢,與數據序列相關的數據有本地關聯(最近的數據有更強的關聯),因此可以用CNN 來處理它們的本地特性。CNN 的基本結構,如圖4 所示,主要包含卷積層與池化層。

圖4 卷積神經網絡結構

輸入x數據時,卷積層的特征圖C可表示如下:

式中,?為卷積操作;W為卷積核的權重向量;h表示偏移量;本文采用Relu 函數,可以選用的還有sigmoid,tank 等。

2 車載激光雷達與視覺傳感器融合的障礙物識別方法

2.1 車載激光雷達

車載激光雷達被稱為車上的3D 激光掃描儀,其配備有移動式3D 激光掃描系統,是最有效的建模工具之一。 建模技術如圖5 所示,其看起來與實際圖片相似,但是由幾個激光點組成,不同顏色反映了激光返回的不同反射作用。

圖5 建模技術

2.1.1 DTM 建模技術

DTM(Digital Terrain Model)建模技術起初用于高速公路建設。 建模技術的主要功能是使用由3D 激光掃描儀和其他設備掃描“信號云”,通過計算機處理來創建3D 模型(通常是將信號鏈接到線或幀)。

2.1.2 車載/船載激光雷達

不論是車載、船載還是機載的激光雷達,目標都是在交通工具上的POS 系統中添加3D 激光掃描儀。 該項目應該能夠在更長的范圍內創建DTM 模型,前提是將先進的導航系統集成到其他輔助手提包中,并完成數據處理程序,以確保路線的準確性,防止GPS 信號的丟失。

2.2 數據層融合

為了克服激光雷達在障礙物檢測算法方面的弱點,技術人員要注意算法的端到端處理,可以消除對一個值為1～7 的循環預設模型的依賴,使用相關算法進行深入研究。 但是,激光雷達數據不完整且有限,不能作為卷積神經網絡的積分器。 因此,雷達圖制作需要分為兩部分:(1)確定激光雷達點云在圖像平面的位置。 (2)確定雷達圖的“像素值”。

本文根據Lawson 算法得到散點之間的Delaunay三角形,其算法步驟如下。

Step1:位置。

Step2:構造一個全能包含全部散點矩形,并記錄該矩形的4 個頂點D1,D2,D3,D4,在散點中任選一點P1與矩形的4 個頂點相連構成4 個三角形,圖6 是Lawson 算法的Step 1 與Step2 的示意圖。

圖6 Step 1 與Step2 的示意

如圖7 所示,為了在一系列散點上創建一個DT 三角形,在DT 三角形之后,原始散點設計的表面被分成了具有多個三角形的層。

圖7 DT 三角剖分

2.3 高階特征融合

卷積神經網絡中的卷積執行能得到圖像的高階特征,對其進行學習。 然而,在獲得分離結果時,卷積的作用是去除關鍵信息而忽略局部細節,圖8 展示了Enet-CRF-Lida 網絡模型的總體框架。

圖8 Enet-CRF-Lidar 網絡模型

2.4 實驗分析

Enet,Enet-CRF 和Enet-CRF-Lidar:經過訓練后在測試集A 上,其測試結果如表1 所示。 從表1 中可以看出,本文研究的激光雷達通知方法(Enet-CRFLidar),結合了激光雷達在像素密度和平均IoU 精度上的優勢,其優于其他兩種網絡模型,可用于分析網絡性能的條件。

Enet,Enet-CRF 和Enet-CRF-Lidar 在測試集A 上的部分輸出結果如圖9 所示。 從圖9 和表1 所示結果可以得出,在公路、道路等簡單車輛的情況下,3 種網絡模型都可以用于對前停站進行分類,所以分類的準確率,尤其是每段橫向位置的準確率要高于Enet,在城市、路口等特定區域或場景等環境復雜的地方,交通主體眾多,Enet 的分離效果并不好。

圖9 各模型在測試集A 上的部分輸出結果

表1 各模型在測試集A 上的表現

3 結語

根據文章的研究信息和特點,本實驗選擇了一個類似的數據集。 將Enet、Enet-CRF 和Enet-CRF-Lidar 與測試集A 和測試集B 進行對比,與Enet-CRF 進行對比,本研究開發的線搜索通知方法可以提高智能駕駛系統的通知效率和精度,證實其在視覺傳感器融合算法方面的性能有效。