基于端到端學習機制的高速公路行駛軌跡曲率預測*

焦新宇，楊殿閣，江 昆，曹 重，謝詩超，王思佳

（汽車安全與節能國家重點實驗室，智能新能源汽車協同創新中心，清華大學汽車工程系，北京 100084）

前言

智能汽車駕駛決策是無人駕駛實現的關鍵技術。經典的決策方法是基于人工控制邏輯，結合環境感知和車輛動力學模型生成車輛行駛軌跡［1-2］。這種明確的控制邏輯最大優勢就是可靠性高，但卻因為場景和環境動態的高度復雜性和多變性，需要人工針對性設定各種復雜的控制邏輯，這就需要人類知識的積累可以覆蓋車輛行駛時的各種場景和意外情況。

人工智能技術特別是深度學習等端到端學習技術的發展為車輛行駛軌跡的決策提供了全新的思路［3-4］，可以實現從傳感信息到行駛軌跡或行駛控制指令的端到端預測，就可以避免復雜的車輛動力學控制模型和人工邏輯。NVIDIA公司使用深度神經網絡［5］，實現了較精確的從圖像到轉向盤轉角的端到端車輛控制，COMMA.AI公司也進行了類似的研究［6］。百度公司也致力基于深度學習的端到端自動駕駛，公布了阿波羅計劃，并公布了Roadhackers數據庫，含有10 000km的攝像頭行駛數據等，對無人駕駛研究進行支持。

基于百度Roadhackers數據庫與端到端學習機制，可以對智能車無人駕駛控制邏輯進行探索，實現從圖像到行駛軌跡曲率的預測，進而可以支持行駛方向和轉向盤的直接控制。但由于數據庫中訓練數據有限，原始數據中存在駕駛員行為決策不定性的因素，基于該數據實現行駛軌跡曲率的準確預測存在很大困難。為此，本文中對行駛軌跡進行量化，建立行駛軌跡曲率預測模型，并提出合理的評價體系。此后，采用端到端學習機制研究直接從圖像到行駛軌跡曲率的預測，針對其性能不佳的問題，采用場景切分和特征預提取進行優化，并對其進行試驗驗證。

1 行駛軌跡曲率預測模型與評價體系

建立行駛軌跡曲率預測模型，給出行駛軌跡曲率和軌跡位置坐標以及轉向盤轉角的關系。在此基礎上，考慮曲率的波動量，建立行駛軌跡曲率的評價體系。

1.1 行駛軌跡及轉向盤轉角與行駛軌跡曲率換算模型

行駛軌跡曲率可以定量地反映行駛軌跡的彎曲程度。實際數據采集中，可以由GPS信息計算曲率。為計算給定點軌跡曲率，取其前后各10個點，共21個點，擬合三次方程并計算曲率。

通過車輛建模，即可實現轉向盤轉角和曲率的換算。以線性2自由度車輛模型為例：

式中：δ為轉向盤轉角；k為曲率；u為速度；K為穩定性因數；L為軸距；n為轉向系角傳動比。使用更精確的車輛模型，可以實現轉向盤轉角和行駛軌跡曲率更精確的對應。

由上述分析可知，行駛軌跡曲率可以對行駛軌跡的彎曲程度進行反映，且可以和轉向盤轉角相互換算。因此，實現圖片到行駛軌跡曲率的預測，即可化為對行駛軌跡和轉向盤轉角的預測。

1.2 行駛軌跡曲率預測評價體系

在軌跡規劃或軌跡預測中，均需對所得軌跡的優劣進行量化評價。現有軌跡規劃或預測中，一般只能通過直觀顯示［1］或車道中心線偏移距［2，5］來評價。但是，以車道中心線為標準僅適用于車道保持，且不能反映轉彎方向的預測性能。

針對上述問題，本文中提出一種更為全面合理的軌跡預測評價體系。以行駛軌跡曲率預測模型進行量化，以均方根誤差和相關系數對預測軌跡曲率的數值進行評價，并基于允許誤差的思想，對預測正確率進行評價。由于轉彎方向對安全有重要意義，單獨對方向預測提出一個評價指標。

行駛軌跡曲率預測評價體系由4個評價指標組成，如圖1所示。

圖1 行駛軌跡曲率預測評價體系

1.2.1 均方根誤差與相關系數

回歸分析中，常用均方根誤差RMSE與相關系數r進行評價：

1.2.2 預測正確率與方向正確率

在實際的交通場景中，不同人類駕駛員的駕駛軌跡曲率是不同的，轉向盤抖動也導致駕駛軌跡曲率的波動。因此，計算預測正確率時，應在數據庫人類駕駛員數據基礎上允許一定的誤差。

據牛清寧［7］的研究，在正常駕駛情況下，時間窗為20s時，轉向盤轉角標準差約為0.973°。采用線性2自由度車輛模型將其換算為曲率波動，車輛模型參數選為：穩定性因數K=0.0015s2／m2，軸距L=3m，轉向系角傳動比n=15。高速公路場景下，取車速為30m／s，代入式（1）得

額外考慮到不同駕駛員的駕駛軌跡曲率的差異，計算預測正確率時，取2.5×10-4m-1作為允許誤差。

方向正確率計算中，考慮到安全性的要求，允許誤差應取較小值，取曲率絕對值小于1×10-4m-1為直行。取曲率左轉為正，右轉為負，預測曲率和實際曲率符號相同則視為方向預測正確。

2 基于端到端學習機制的行駛軌跡曲率預測

卷積神經網絡是一種典型的端到端學習模型，適于組織圖像中的特征，被用于NVIDIA和COMMA.AI公司從圖像到轉向盤轉角的端到端預測。使用百度Roadhackers數據庫，卷積神經網絡輸入端為圖片像素值，輸出端為軌跡曲率數值，原理框圖見圖2。

圖2 圖片 -軌跡曲率預測原理框圖

軌跡曲率預測基于COMMA.AI公司的卷積神經網絡模型，如圖3所示。

圖3 卷積神經網絡端到端學習模型

神經網絡輸入為3×320×160的RGB圖像矩陣，綜合使用卷積層、Dropout層和全連接層，輸出層含有1個節點，與曲率標簽對應。

訓練集為百度Roadhackers數據庫中的81 484張行駛圖片及對應曲率，測試集為12 760張。每次訓練采樣500張圖片，共訓練50次。

測試結果曲率 時間曲線如圖4所示。

評價結果：均方根誤差 RMSE=2.9773×10-4m-1，相關系數r=0.3326，預測正確率64.4%，方向正確率61.1%。

可以看出，端到端預測結果的預測正確率和方向正確率均較低，且均方根誤差較大，相關系數也較低，預測結果存在大量不符合實際的波動。

圖4 卷積神經網絡端到端行駛軌跡曲率預測

以端到端學習機制為基礎的智能汽車自主決策，當相同環境信息輸入網絡時，其輸出結果必然一致。而真實駕駛中，人類駕駛員針對同樣的環境輸入，可能由于不同的駕駛任務和自身個性而進行不同的行為決策。面向經典監督學習的數據庫圖片-標簽形式下，行為決策的不定性在神經網絡的訓練中難以體現，加深網絡或結合強化學習進行決策，也難以解決這一問題。

進行場景劃分，預先進行行為決策，包含駕駛員的主觀因素，在駕駛模式固定的前提下，利用神經網絡進行軌跡決策或車輛控制，則可以避免上述的神經網絡行為決策困難的問題。

另外，圖片中含有大量無關信息，如天空、樹木、建筑物等，神經網絡難以提取周圍車輛、車道線等有效信息。經過上述討論，以場景切分實現決策固化，以特征預提取降低神經網絡的預測難度，能夠實現對端到端的預測結果的優化。

3 場景切分與特征預提取

3.1 高速公路行駛場景切分

國內外主流研究將高速公路行駛場景切分為跟馳和變道兩種［8-9］。考慮無前車的自由流，將高速公路行駛分為車道保持和變道兩種場景。

3.2 變道場景特征預提取

變道場景下，車輛行駛方向的快速變化，引起圖片中車道線位置的快速變化，因此，車道線信息是變道場景行駛軌跡曲率預測中的有效信息，將其進行預提取，可以進一步提高預測性能。

車道線識別的任務可以由機器視覺或手動標注的方法來實現，如圖5所示。

為提高神經網絡的預測性能，必須保證其訓練集和測試集的準確性。圖5（b）為基于LIM等［10］的車道線識別方法進行優化后的結果，出現一些漏判和錯判。而圖5（a）的手動提取結果，將原始車道和目標車道的3條車道線標注出來，保證了神經網絡數據集的準確性。

圖5 車道線識別方法對比

車道線原始數據為6個坐標點，將坐標點數據處理為直線解析式y=kx＋b，經過預處理后，即可將3條車道線信息以6個數據的形式儲存。

4 基于場景切分和特征預提取的行駛軌跡曲率預測

以變道場景為例，以端到端學習機制為基礎，說明基于場景切分和特征預提取的行駛軌跡曲率預測優化方法的有效性。

將車道線畫在圖片上突出表達，即可輸入卷積神經網絡模型進行訓練。此外，將圖片中車道線的數學特征輸入BP神經網絡，還可實現車道線- 軌跡曲率的預測，并進行連續圖片數據輸入優化。系統方案如圖6所示。

圖6 變道場景行駛軌跡曲率預測方案

4.1 卷積神經網絡變道場景行駛軌跡曲率預測

使用與端到端曲率預測中相同的卷積神經網絡端到端學習模型，以1 700張圖片及對應曲率為訓練集，測試集為500張。采用場景切分和特征預提取的方法，針對變道場景，將車道線畫在圖片上，再輸入卷積神經網絡進行訓練。

預測結果如圖7所示，圖中正負交替的峰反映了測試集左右交替的變道行為。

將場景切分和特征預提取優化結果與端到端的預測結果對比，如表1所示。

圖7 基于車道線提取的變道場景軌跡曲率預測

表1 卷積神經網絡端到端與優化結果對比

由表1看出，場景切分和特征預提取使4項評價指標均有大幅改善。由圖7可知，曲線趨勢可以較好地反映出來。

通過實車試驗對上述優化方法進行驗證。以地基增強的差分GPS采集車輛位置坐標，以攝像頭同步采集行駛圖片，試驗設備如圖8所示。

圖8 試驗設備與安裝

進行場景切分和特征預提取優化后，基于車道線提取的變道場景曲率預測的試驗結果見圖9。

與使用百度數據訓練的優化結果進行對比，如表2所示。

圖9 基于車道線提取的變道場景曲率預測試驗驗證

表2 卷積神經網絡優化結果試驗驗證

由表2可知，試驗數據訓練結果相關系數略低于百度數據訓練結果，而均方根誤差、預測正確率和方向正確率則略好。4項指標數值上都較為接近，試驗結果證明了基于車道線提取的卷積神經網絡變道場景曲率預測方法的有效性。

可見，經過場景切分和特征預提取后，在相同的行為決策模式內，端到端學習對人類駕駛員的駕駛模式的模仿和預測性能有了大幅提高。

4.2 BP神經網絡變道場景行駛軌跡曲率預測

在場景切分和特征預提取的系統方案中，已做出變道行為決策之后，前方車輛、障礙物等引發變道決策的因素可以不必繼續考慮，僅用車道線信息作為輸入，即可完成變道動作。為此，可以使用神經網絡直接實現車道線- 軌跡曲率的預測。變道場景下，本車道和目標車道的車道線斜率和截距特征只需6個數據表達，可以使用節點數量較少的BP神經網絡，結構如圖10所示。

圖10 BP神經網絡結構

訓練集為與卷積神經網絡預測中相同的1 700張變道場景圖片車道線數據及對應曲率，測試集為500張。訓練結果見圖11。

將均經過場景切分和特征預提取優化后的BP神經網絡的車道線- 軌跡曲率預測與卷積神經網絡端到端學習預測結果進行對比，如表3所示。

由表3可以看出，車道線- 軌跡曲率的預測結果在4項指標上均優于卷積神經網絡的結果。這是因為BP神經網絡輸入的是純車道線信息，而卷積神經網絡的預測中，雖然突出顯示了車道線，但是圖片中仍有天空、樹木等其它信息。同時，這也體現了端到端學習的潛力，在數據量較大時，可能學習到更多的有效特征。

圖11 變道場景車道線- 軌跡曲率預測

表3 車道線- 軌跡曲率與端到端學習預測對比

由于實際駕駛的時空連續性，每一時刻的駕駛決策不僅與當前時刻的環境輸入有關，還與此前一段時間的環境輸入有關。據此進行連續輸入優化，將連續5張圖片所提取的車道線特征數據作為神經網絡的輸入，訓練結果如圖12所示。

圖12 連續輸入車道線- 軌跡曲率預測結果

將車道線 軌跡曲率預測的5張連續圖片預測結果和單張輸入預測結果進行對比，如表4所示。

表4 車道線- 軌跡曲率預測連續輸入優化

由表4看出，連續5張圖片輸入下，各項指標全面優于單張圖片，說明考慮行駛的時空連續性使預測更為準確。

對上述性能最佳的BP神經網絡連續輸入曲率預測結果，通過行駛軌跡 曲率換算模型計算行駛軌跡，并投影到道路平面進行可視化，如圖13所示。白色實線為實際軌跡，黑色點為預測軌跡。

圖13 連續輸入車道線- 軌跡曲率預測結果可視化

由圖13可見，預測軌跡和實際軌跡較為接近，實現了較為準確的軌跡預測。

對連續輸入車道線- 軌跡曲率預測進行試驗驗證，訓練集取1 000張圖片數據，測試集為470張，預測效果見圖14。

圖14 連續輸入車道線- 軌跡曲率預測試驗驗證

評價結果：均方根誤差 RMSE=1.5645×10-4m-1，相關系數r=0.9141，預測正確率96.0%，方向正確率98.7%。

可以看出，試驗驗證結果的評價指標反映出的性能較好，均方根誤差很小，相關系數、預測正確率和方向正確率均較高，說明在實際應用中，在變道場景的固定決策模式下，僅用車道線信息進行軌跡預測的方法是合理的。

5 結論

基于端到端學習機制，直接從圖像實現行駛軌跡曲率的準確預測，從而為實現車輛方向的直接控制提供依據。

（1）建立了行駛軌跡曲率預測模型，實現了對行駛軌跡的量化表達。在此基礎上，建立了合理的行駛軌跡曲率預測評價體系。

（2）使用卷積神經網絡端到端學習模型，利用百度Roadhackers數據庫，進行了行駛軌跡曲率預測，并指出行為決策的不定性帶來的困難，提出通過場景切分預先進行行為決策，以實現預測性能優化的思想。

（3）以變道場景為例，通過車道線特征預提取實現了端到端學習預測性能優化。此外，利用BP神經網絡，實現了從車道線特征到行駛軌跡曲率的預測，并進行了連續圖片數據輸入優化。利用場景切分和特征預提取方法在變道場景下實現了較為準確的軌跡預測，并得到了試驗驗證。