基于傳感器融合和方向可調卷積神經網絡的車道檢測算法研究?

潘順莉 吳訓成 張偉偉

（上海工程技術大學 上海 201620）

1 引言

車道檢測在智能交通系統中起著重要作用，可用于自動車輛駕駛和高級駕駛輔助系統。在高級輔助駕駛功能中，車道偏離預警和換道輔助都與車道檢測密切相關。目前大多數車道檢測研究都使用相機傳感器作為唯一的道路數據來源［1～3］，這在復雜場景下可靠性不足。一方面當傳感器出現誤差時，沒有其他測量結果用于比較修正，另一方面基于相機的車道檢測算法的檢測距離有限且很容易受到外界環境的干擾。T.Ogawa和K.Takagi［4］利用激光雷達的反射強度信息來檢測車道線。雖然雷達傳感器具有較相機傳感器檢測更遠的距離和抗環境干擾的能力［5～7］，但純粹地基于激光反射的車道檢測是不夠的，還需要結合相機視覺信息［8］。激光雷達更適合使用距離信息來檢測道路表面［9］。因而需要采用相機和雷達融合的方式進行車道檢測，提高檢測結果的魯棒性。Guangtao Cui等［10］將車道線檢測任務分為兩步進行，首先利用相機采集的圖像進行車道特征檢測，然后利用雷達點云分割駕駛區域，之后對應到第一步的車道特征提取結果，消除道路區域障礙物。朱雨桐［11］利用激光雷達檢測道路邊緣，相機檢測車道線，最后將基于激光雷達和相機的檢測特征進行了融合，適用于結構化和非結構化道路。

不同于已有的方法，本文中提出了一種基于傳感器融合和方向可調卷積神經網絡的車道檢測算法。首先利用滑動窗口對雷達點云進行道路表面提取，將提取好的道路表面投影到圖像坐標后，限制車道特征提取的范圍為道路表面；其次將融合道路空間信息的二維圖像作為方向可調卷積神經網絡輸入，提取道路中的車道特征。同時，本算法在方向可調卷積神經網絡用于目標檢測的現有基礎上改變了方向可調卷積濾波器的方向函數和網絡的輸出層，提高了車道線上下文信息提取的準確率。該方法適合于各種復雜道路場景，具有較好的檢測性能。

2 算法概述

本文提出的算法的輸入為多傳感器融合的實時數據（相機和激光雷達），輸出為當前車輛行駛的車道線信息，主要分為道路提取、車道特征提取和車道擬合回歸三大模塊，如圖1所示。其中，道路提取模塊是車道檢測的預處理部分，道路表面提取以激光雷達點作為輸入，利用滑動窗口提取道路表面，并投影到圖像坐標；車道特征提取模塊是基于方向可調卷積神經網絡模型［12］，并針對本文所應用的復雜道路場景進行了優化；車道擬合和回歸模塊利用隨機抽樣一致（RANSAC）擬合方法［13］擬合車道特征。

圖1 系統框架示意圖

3 道路表面提取

為了有效地組織激光雷達點，本文直接利用滑動窗口沿著掃描線提取道路點。由于相鄰點的高度值具有相似的特征，因此在提取過程中僅使用高度參數。道路表面提取主要分為兩步：第一步是利用連續點之間的范圍、角度或者GPS時間差［1］提取掃描線；第二步是滑動窗口的構造，基于同一掃描線中的相鄰激光點構建滑動窗口，如圖2所示。本文使用式（1）和（2）提取路面點。

其中HP0是滑動窗口中心點的高度，HPn是滑動窗口中其他點的高度，n是滑動窗口的大小（滑動窗口的規格通常是3×3，5×5和7×7），H0是掃描車下激光點的高度，ΔH1與道路粗糙度和密度有關，ΔH2用于限制激光點的分布范圍。通過使用式（1）和（2）的計算，可以快速獲取地面激光點并消除干擾或噪聲（例如：行人，車輛，樹木，建筑物和其他輔助設施）。最后移除道路邊界外的地面點［14］，并將這些地面點保留在道路邊界內以獲得路面激光點。文獻［15］使用了四個數據集對道路表面提取進行實驗，發現當ΔH1=0.15，ΔH2=0.50且n=3×3時實驗結果最優，因此本文使用同樣的參數值進行實驗。

圖2 基于掃描線的滑動窗口的結構

本文中激光雷達與相機的外部聯合標定采取文獻［11］中的標定方法，通過校準結果將LIDAR點轉換為相機坐標，如式（3）所示：

式中PLIDAR代表在雷達坐標系上的一個坐標點［x LIDAR，y LIDAR，zLIDAR］T，Pcamera代表在相機坐標系上的一個坐標點［xcamera，ycamera，zcamera］T，Φ和Δ分別是LIDAR坐標到相機坐標變換的外部旋轉矩陣和平移矩陣。將已提取好的道路表面激光點按照如上方法投影到相機坐標系中。

4 方向可調卷積神經網絡

方向可調卷積神經網絡是基于方向可調濾波器的深度卷積網絡，下文中將討論如何在深度卷積神經網絡中實施方向可調卷積濾波器的三個部分。首先，詳細介紹了如何通過方向可調濾波器獲得方向可調卷積濾波器；其次，系統地解釋了網絡的具體結構；最后，展示了在反向傳播階段如何學習方向可調卷積濾波器。

4.1 方向可調卷積神經網絡

為了將方向特性結合到方向可調卷積神經網絡中，方向信息需要被編碼到卷積濾波器中。方向可調卷積濾波器中基濾波器可以捕獲圖像中的方向信息，增強了相應的卷積特征。用于車道檢測的方向可調濾波器是基于高斯函數的二階導數，Gxx、Gxy和Gyy分別對應圖像中x、x-y和y方向的二階導數。對式（4）、（5）和（6）進行線性組合能夠得到任意方向的濾波輸出，如式（7）所示。

式中θ是指方向可調濾波器的方向輸入。在被方向可調濾波器學習之前，標準的卷積神經網絡是通過反向傳播算法進行學習。基于卷積濾波器上使用方向可調濾波器的學習過程來獲得方向可調卷積神經網絡如圖3所示，具體的濾波器學習的信息如式（8）所示。

式中Ci，o是指標準卷積神經網絡中的卷積濾波器；?是指方向可調濾波器S(x，y)和每個卷積濾波器Ci，o之間的逐元素乘積運算；Ci，u是指卷積濾波器通過方向可調濾波器S(x，y)學習后獲得對應u方向上的方向可調卷積濾波器。

圖3 方向可調卷積濾波器的學習過程

4.2 網絡結構

本部分將具體介紹方向可調卷積神經網絡的網絡結構，主要從輸入層、特征提取層和輸出層具體描述，如圖4所示。

圖4 方向可調卷積神經網絡的網絡結構

輸入層：預處理后的圖像經過方向可調卷積濾波器卷積后輸入到特征提取層。

特征提取層：在方向可調卷積神經網絡中，方向可調卷積濾波器主要用來產生特征映射，這些特征映射增強了深層特征的方向信息。網絡的輸出特征映射定義如下：

式中F(j)是指輸入的特征映射，F(j+1)是指輸出的特征映射。F(j)的通道個數通過以下卷積獲得：

式中(n)是指特征映射F和Ci，u的第n個通道，是F(j)的第u個方向上的響應。

輸出層：為了更好地檢測車道線信息，本文在原先的方向可調卷積神經網絡的基礎上改變了網絡的輸出層，直接利用了Faster R-CNN［16］網絡的輸出層，包括了Region Proposal Networks（PRN）、ROI Pooling和全連接層（Full Connection Layer）。PRN用于生成目標區域，該層利用Softmax判斷目標候選框，在通過位置回歸算法修正目標候選框的位置，獲得精確的目標區域。ROIPooling層收集輸入的特征圖和目標區域，綜合以上信息提取目標提議區域的特征圖，最后送入后續的全連接層判定目標。

4.3 更新方向可調卷積濾波器

與標準的卷積神經網絡不同，方向可調卷積神經網絡的前向計算中涉及的權重是指方向可調卷積濾波器的權重，但是被保存的權重僅僅是指卷積濾波器中的權重。因此，在方向傳播過程中，只需要更新卷積濾波器。文中將方向可調卷積濾波器中的子濾波器的梯度總結為相應的卷積濾波器，計算如下：

式中L是損失函數。從以上公式發現，反向傳播過程很容易被實施，僅需要更新卷積濾波器的參數。

5 實驗結果與分析

5.1 數據集

本文使用兩個數據集進行實驗，分別為KITTI道路數據集和SUES道路數據集。KITTI數據集包含了289個訓練圖像和290個測試圖像，大多數圖像是在良好的天氣和光照環境下采集的，這是模糊相機圖像和激光雷達相結合的好處。出于這個原因，本文以圖5所示的自主研制的智能車采集復雜場景下的道路數據集，即SUES道路數據集。表1提供了數據集具體分配信息，城市良好的道路場景來自于KITTI道路數據集，城市復雜的道路場景來自于SUES道路數據集。由于RGB圖像在整流過程具有不同的尺寸，因此使用零填充以確保每個訓練圖像具有384×1248像素的相同尺寸。

圖5 SUES道路數據采集車

表1 數據集分配信息

5.2 車道檢測算法比較

文中選取了方向可調濾波器算法［17］和標準的卷積神經網絡算法［18］與本文提出的方向可調卷積神經網絡對車道線的檢測性能進行對比。本部分實驗均在KITTI數據集上開展，從召回率和精確率對檢測性能進行定量評價，召回率（REC）和精確率（PRE）的定義如下：

式中TP表示的是車道線被正確識別的事件；FP表示的是場景內容被誤判成車道線的事件；FN表示的是車道線沒有被識別的事件。為了凸顯傳感器融合下的道路表面提取步驟的優勢，三種算法的召回率和準確率在有無道路提取步驟的情況下分別進行比較，如圖6所示。

圖6 基于KITTI道路數據集的算法比較結果

從圖6中可以看出，本文提出的算法對于城市良好道路場景下的車道線識別的精確率更高，且基于相機和雷達的道路表面提取使得整個算法的魯棒性增強。圖7展示了標準卷積神經網絡和方向可調卷積神經網絡的檢測結果的輸出樣本，淺色邊界框代表標準卷積神經網絡算法，深色邊界框代表方向可調卷積神經網絡算法。其中，左側四張圖是在無道路表面提取步驟的情況下進行車道檢測，右側四張圖是在有道路表面提取步驟的情況開展車道檢測實驗。如圖所示，基于道路表面提取下的車道檢測算法即使在噪聲干擾的情況下，依舊很容易檢測到車道標記，并且方向可調卷積神經網絡對車道線的響應更加準確。

圖7 基于KITTI道路數據集的車道特征提取結果

5.3 復雜場景下車道檢測結果

為了證明本文提出的算法在復雜場景下具有較強的魯棒性，本節在SUES道路數據集上開展實驗。三種比較算法實驗結果如表2所示。值得注意的是，方向可調卷積神經網絡性能表現最佳，在復雜場景下的準確率達到了92.21%并且F1分數最高。

表2 基于SUES道路數據集的算法比較結果（有道路表面提取步驟）

圖8選取了三種復雜的道路場景，即復雜的照明條件、較多的道路表面障礙物和車道標記模糊的道路場景。在最終的車道擬合過程中，本文還將道路表面提取過程中的路肩檢測結果與車道檢測結果結合起來，使得無車道標記的道路路肩也能同時被檢測出來。圖8示出了在不同情況下的車道檢測結果，結果表明本文所提出的算法在道路復雜場景下能準確地識別出車道線和無車道線標記的道路路肩。

圖8 不同情況下的車道線檢測結果

6 結語

針對目前單傳感器檢測車道時所存在的缺點，本文提出了一種基于傳感器融合和方向可調卷積神經網絡的車道檢測算法。通過圖像和點云的融合，區分輸入圖像上的道路區域和非道路區域。并且利用了方向可調卷積神經網絡有效提取車道特征，極大地提高了車道檢測的正確率。實驗表明，本文實現的算法具備較強的魯棒性和較高的檢測準確度。