融合車道線視覺增強的擬人化車道保持算法

李智，覃小藝，鄧勝，閆春香，王玉龍,2

融合車道線視覺增強的擬人化車道保持算法

李智1，覃小藝1，鄧勝1，閆春香1，王玉龍1,2

（1.廣州汽車集團股份有限公司汽車工程研究院，廣東 廣州 510641；2.湖南大學汽車車身先進設計制造國家重點實驗室，湖南 長沙 410082）

基于深度學習端到端網絡模型建立了擬人化車道保持算法，同時在模型訓練過程中采用車道線視覺增強的方法，解決了直接由圖像映射到控制信號使得自動駕駛容易受到干擾信息影響的問題，提高了模型的魯棒性。首先基于GoogLeNet建立了高識別率的車道線檢測模型，通過車道線高亮增強和增加車道線圖像通道兩種不同的方式對原始圖像進行視覺增強。然后將增強后的圖像輸入到車道保持網絡中。最終離線測試結果顯示兩種增強方式均可降低方向盤轉角預測誤差，RMSE值分別減少了16%和26%。實車測試表明增加車道線圖像通道的方式取得較好的車道保持效果。

車道線檢測；視覺增強；擬人化；車道保持

引言

車道保持是自動駕駛過程中的重要功能，一般是通過圖像檢測獲得車道線并根據車道線參數確定行駛軌跡，然后利用相應的控制策略計算出方向盤轉角大小[1-2]。但車輛在行駛過程中具有非線性、時變性和不確定性等特性，在控制過程中需要盡量平滑系統響應和保證車輛的乘坐舒適性，因此行駛軌跡的選擇和控制策略的設計難度較大。同時，特殊工況下車道線可能會不清晰、被遮擋甚至丟失，使得車道保持模型失效。

人類駕駛員在開車過程中會根據車道線變化調整方向盤轉角，在車道線不清晰或消失的情況下根據車輛周圍環境確定行駛路線，因此人類駕駛行為對自動駕駛功能設計具有非常重要的借鑒意義，而擬人化車道保持算法就是通過深度學習網絡模型來學習人類的駕駛行為。該算法通過網絡模型直接將圖像信息映射到車輛方向盤轉角，不需要人為編寫車道保持規則，只需要提供足夠多的駕駛數據，模型可以自動學習不同場景下的車道保持能力。英偉達Bojarski[3]等人基于CNN網絡模型建立了從單幀圖像映射到車輛方向盤轉角的端到端模型，其測試結果表明該模型在多種測試工況下，包括高速公路、有無車道線的地區道路以及鄉村道路，均可取得良好的車道保持效果。Chowdhuri[4]等人通過在CNN網絡中加入駕駛模式使得模型對方向盤轉角進行更好的預測。焦新宇[5]等人采用場景切分和特征預提取的方法提高了CNN網絡對高速公路行駛軌跡預測的準確性和可靠性。上述CNN網絡并未考慮自動駕駛過程中涉及的時序問題，因此Chi[6]等人采用了CNN+LSTM的網絡模型，通過圖像序列對方向盤轉角進行預測，相比文獻[3]設計的模型更加穩定和有效。Chen[7]等人通過CNN網絡識別出自動駕駛過程中的關鍵環境參數，并以此參數作為輸入進行自動駕駛決策，輸出對車輛的橫向控制參數。

擬人化車道保持算法可以避免建立復雜的決策控制模型并增加車道保持功能的適用場景，但直接從傳感器原始信號映射到車輛控制信號導致自動駕駛決策鏈條過長，模型易受到圖像中干擾信息的影響，使得車輛在行駛過程中控制不穩定，偶爾出現偏離車道的現象。因此，為提高模型的安全駕駛能力，本文提出了針對車道線進行視覺增強的擬人化車道保持算法。首先建立高識別率的車道線檢測模型，然后采用車道線高亮顯示和增加車道線圖像通道兩種不同的方式對原始圖像進行視覺增強，然后將增強后的圖像輸入到擬人化車道保持網絡中，最后通過離線和實車測試驗證模型的車道保持效果。

1 擬人化車道保持算法

1.1 擬人化車道保持算法架構

為提高網絡模型在車道保持功能中的魯棒性，本文建立了融合車道線視覺增強的擬人化車道保持算法，其架構如圖1所示。首先選取前五幀圖像作為輸入序列，課題組基于GoogLeNet建立了高識別率的車道線檢測模型，通過該模型獲得車道線參數，然后利用兩種不同的方式對車道線進行視覺增強：一種方式是直接對車道線進行黃色高亮顯示，另一種方式是把檢測出的車道線轉化為二值圖，并將其作為車道線通道與原始圖像通道結合形成四通道圖像，最后將增強后的圖像輸入到車道保持網絡模型中，輸出當前車輛方向盤轉角的預測值。其中車道保持網絡模型是通過采集圖像數據和駕駛員駕駛行為數據，利用神經網絡自動學習人類的駕駛行為，從而完成車道保持功能。

圖1 擬人化車道保持算法架構

1.2 融合視覺增強的擬人化車道保持算法

擬人化車道保持網絡模型結構如圖2所示，網絡輸入為經過增強后的前向多幀圖像以及方向盤轉角和速度的歷史軌跡，輸出為預測的方向盤轉角。網絡整體結構由ConvLSTM神經網絡層（Convolutional Long Short-Term Memory）和全連接網絡層（Full Connection, FC）組成。文獻[3]中采用了卷積神經網絡（Convolutional Neural Network, CNN）對方向盤轉角進行預測，雖然CNN網絡可以有效提取圖像特征，但卻無法獲得圖像間的時序關系，而自動駕駛本身是一個時序過程，時序變化對車輛控制參數具有重要影響。ConvLSTM是將LSTM網絡中的全連接網絡替換為卷積神經網絡，使其不僅可以像LSTM一樣建立圖像之間的時序關系，而且可以像CNN一樣刻畫局部空間特征，實驗結果也表明ConvLSTM在獲取時空關系上比LSTM有更好的效果[8]。

圖2 擬人化車道保持算法結構

本文中輸入的圖像幀數為5幀，即包括當前幀在內的前5幀圖像，經過裁剪和縮放后圖像大小為5×240×75×4。ConvLSTM網絡一共包括5層，不同層的超參數為[5,5,4,24]、[5,5,24,36]、[5,5,36,48]、[3,3,48,64]、[3,3,64,64]，其中前兩個超參數為圖像序列寬和高的卷積核大小，第三個超參數為輸入圖像的通道數目，第四個是輸出圖像的通道數目，最終ConvLSTM網絡層輸出的特征維度為[1,10,4,64]，即網絡輸出由64個10x4的圖像塊表示，將圖像塊進行展平獲得維度為[1,256 0]的特征向量。FC層共包括5層，在第二個FC層拼接了速度和方向盤轉角的歷史軌跡，輸出層激活函數為反正切函數，輸出方向盤轉角的預測值。

2 訓練數據采集與處理

擬人化車道保持模型是基于人類駕駛數據進行模型訓練，因此數據對自動駕駛能力具有很大的影響。通過車輛前端安裝的攝像頭采集車輛行駛環境數據，攝像頭FOV角度為60°，采集頻率為10 Hz，圖像尺寸為960×604，采集圖像樣本不少于30萬張，同時利用車載傳感器采集駕駛行為數據，包括車輛方向盤轉角、速度以及車輛橫擺角速度等，采集頻率為10 Hz，采集的場景包括不同時間、道路、天氣、光線以及車流等。

在自動駕駛行駛過程中，所遇到的場景非常復雜，為了提高模型的泛化能力和魯棒性，需要針對采集的數據進行數據增強，如圖3所示，基于車輛行駛環境的變化，本文主要對圖像進行光線調整、陰影處理、平行移動、翻轉以及加入高斯噪聲等處理。

3 網絡訓練與結果

3.1 擬人化車道保持網絡損失函數

擬人化車道保持網絡模型輸入為經過增強后的前向多幀圖像以及方向盤轉角和速度的歷史軌跡，輸出為當前方向盤轉角預測值，其中I表示輸入的原始圖像序列，L表示檢測的車道線通道序列，T表示輸入的方向盤轉角和速度的歷史軌跡，表示網絡中的優化參數，表示網絡的表達式，Y表示網絡預測的方向盤轉角，y表示駕駛員輸出的實際方向盤轉角，最終的優化函數為公式（1）所示，為正則化權重系數，取值為1e-5。

=argmin{(y?(I,L,T,))2+2} （1）

3.2 擬人化車道保持網絡模型訓練結果

為評估不同模型的預測性能，本文采用均方根誤差（）和方（2）進行評價[5]。和2的表達式如公式（2）所示，是預測值和實際值之間的平均偏差，的值越小代表模型的預測值和實際值的偏差就越小，模型的預測能力就越強。2是用1減去模型預測偏差與實際方差的比值，2代表可解釋方差占總方差的比例，反映了模型對樣本的擬合程度，因此2的值越大表示模型預測的精度越高，一般回歸模型的2應該在0.7以上才會取得較高的可信度。

圖4所示為模型在直道、彎道以及急轉彎等場景下，無車道線視覺增強和兩種不同增強方式對方向盤轉角的離線預測結果。車輛首先經過一段直道行駛，然后通過一個急轉彎，之后再進入直道行駛，最后經過一個長距離的彎道，時間總長度為200 s。從曲線圖中可以看出，無論是否對車道線進行視覺增強，方向盤轉角的預測值與實際駕駛員輸出值均比較吻合，但經過車道線視覺增強后預測的方向盤轉角與實際駕駛員輸出值更加接近。三種不同方式的方向盤轉角值分別為3.1°、2.6°和2.3°，相對于無視覺增強的方式，高亮顯示增強方式的方向盤轉角值減少了16%，而增加車道線圖像通道的增強方式則減少了26%。同時三種不同方式的2分別為0.87、0.91和0.93，相對提高了4.6%和6.9%。從放大圖中可以看出，在沒有車道線視覺增強的情況下，模型容易受到圖像中干擾因素的影響，使得預測過程中出現干擾點，導致車輛運行不平穩，而采用車道線視覺增強的方式使得模型更多的關注車道線，從而減少了干擾點的產生，同時增加車道線圖像通道的增強方式改善效果更加明顯。

4 實車測試

采用電動車作為線控平臺（圖5(a)），擋風玻璃處安裝有單目攝像頭，控制器采用英偉達drivePx2，控制軟件基于ROS系統開發。網絡模型輸出為方向盤轉角，通過車載EPS系統進行閉環。測試區域選擇圖5(b)所示的島內區域，主要測試路線為環島路線，全長為5公里，測試過程中涉及直道、彎道、急轉彎以及路口。實車測試結果表明，不同模型均可完成繞島行駛，而增加車道線圖像通道的增強方式運行更加平穩，圖5(c)和5(d)為模型順利通過急彎和路口。

圖5 實車測試場景

5 結論

（1）建立了融合車道線視覺增強的擬人化車道保持算法，通過和2對不同模型性能進行量化評估，離線測試結果表明采用車道線高亮顯示和增加車道線圖像通道兩種不同的方式均可降低方向盤轉角預測誤差，值分別減少了16%和26%。

（2）搭建了自動駕駛實車測試平臺，針對3種不同網絡分別進行了小曲率車道保持測試、大曲率彎道保持測試以及無車道線路口通過測試，測試結果表明，增加車道線圖像通道的方式取得較好的效果。

[1] 張海林,羅禹貢,江青云,等.基于電動助力轉向的車道保持系統[J].汽車工程,2013,35(6):526-531.

[2] 李進,陳杰平,易克傳,等.不同光照下基于自適應圖像閾值的車道保持系統設計[J].機械工程學報,2014,50(2):146-152.

[3] Bojarski M, Del Testa D, Dworakowski D,et al. End to end learning for self-driving cars[J]. arXiv preprint arXiv,1604.07316, 2016.

[4] Chowdhuri S,Pankaj T,Zipser K.MultiNet: Multi-Modal Multi-Task Learning for Autonomous Driving[C].2019 IEEE Winter Conference on Applications of Computer Vision (WACV),2019:1496-1504.

[5] 焦新宇,楊殿閣,江昆,等.基于端到端學習機制的高速公路行駛軌跡曲率預測[J].汽車工程,2018,40(12):1494-1499.

[6] Chi L, Mu Y. Deep steering: Learning end-to-end driving model from spatial and temporal visual cues[J].arXiv preprint arXiv,1708.03798, 2017.

[7] Chen C,Seff A, Kornhauser A,et al.Deepdriving: Learning affordance for direct perception in autonomous driving[C].Proceedings of the IEEE International Conference on Computer Vision,2015: 2722-2730.

[8] Xu H, Gao Y, Yu F, et al. End-to-end learning of driving models from large-scale video datasets[C].Proceedings of the IEEE conference on computer vision and pattern recognition,2017:2174-2182.

Human-imitative Lane Keeping Algorithm with Visual Enhancement of Lane Lines

LI Zhi1, QIN Xiaoyi1, DENG Sheng1, YAN Chunxiang1, WANG Yulong1,2

( 1.Auto Engineering Research Institute, Guangzhou Automobile Group, Guangdong Guangzhou 510641;2.State Key Laboratory of Advanced Design and Manufacturing for Vehicle Body, Hunan Changsha 410082 )

Human-imitative lane keeping algorithm is established based on the end-to-end deep learning neural network model. At the same time, the lane line visual enhancement method is used in the model training process, which solves the problem that the automatic driving is easily affected by the interference information when the image is directly mapped to the control signal. Firstly, a lane detection model with high performance is established based on GoogLeNet. The original image is enhanced by two different ways: highlight the detected lanes on the image or add an image channel with detected lanes to the RGB channel.Then, the enhanced image is input into the lane keeping network. Off-line test results show that both enhancement methods can reduce the prediction error of steering angle, and RMSE values are reduced by 16% and 26% respectively. Real world test results show that the lane keeping performance is better by adding the lane image channel.

Lane detection;Visual enhancement;Human-imitative;Lane keeping

U495

B

1671-7988(2021)23-16-04

U495

B

1671-7988(2021)23-16-04

10.16638/j.cnki.1671-7988.2021.023.005

李智，碩士研究生，高級技術經理，就職于廣州汽車集團股份有限公司汽車工程研究院，研究方向為人工智能與自動駕駛。

湖南大學汽車車身先進設計制造國家重點實驗室開放基金資助項目（編號：31825011）。