基于觀測數據潛在特征與雙向長短期記憶網絡的車輛軌跡預測*

郭應時 張瑞賓, 陳元華 李天明 蔣春燕

（1.長安大學，西安 710064；2.桂林航天工業學院，桂林 541004）

主題詞：觀測數據 卷積神經網絡 雙向長短期記憶 時空關系 軌跡預測

1 前言

近年來，激光雷達、攝像頭等傳感器被廣泛應用在無人駕駛車輛上，用于獲取交通環境下目標車輛的行駛軌跡、速度、加速度、車間距等觀測數據。利用觀測數據開展狀態估計、軌跡預測、意圖識別、行為分析、風險評估等領域的研究，可有效降低交通事故發生率。劉創等人提出將由長短期記憶（Long Short-Term Memory，LSTM）網絡處理的具有同權重的車輛歷史軌跡信息作為全局特征，融合卷積池化提取軌跡信息作為局部特征用于軌跡預測；溫惠英等人提出采用LSTM的編碼器-解碼器結構生成預測時段換道軌跡，聯合訓練生成模型和判別模型實現對車輛換道軌跡的預測；趙文杰等人提出一種改進交互式多模型（Interacting Multiple Model，IMM）算法，采用概率鄰接矩陣表示路網模型中的路網節點，建立運動目標動力學模型，結合馬爾可夫轉移矩陣提高軌跡預測精度；游蘭等人提出一種改進序列到序列（Sequence-to-Sequence，Seg2Seg）模型，使用門控循環單元網絡將歷史時空序列編碼為上下文向量，并將門控循環單元網絡作為解碼器來預測船舶軌跡的時空序列；譚紫陽等人提出一種基于改進極限學習機和深度神經網絡的融合方法，使用修正線性單元函數替換激活函數，并使用均方根反向傳播算法來優化深度神經網絡實現對車輛軌跡的長期預測；張宏鵬提出一種卷積神經網絡（Convolutional Neural Network，CNN）方法，通過訓練和測試具有不同層數和卷積核數的網絡找出預測誤差最小的網絡對目標軌跡進行實時預測；段曉磊等人提出一種粒子濾波與LSTM網絡，通過幀差法對運動目標進行檢測，建立追蹤目標的運動模型來學習目標的運動特征，實現對丟失目標位置的預測。

綜上所述，相關研究多集中在根據目標物體自身數據進行狀態預測，較少考慮目標車輛與復雜交通環境的時空交互關系。因此，本文通過一維卷積神經網絡提取由車載激光雷達等傳感器所采集的車輛運動狀態觀測數據的潛在時空關系特征，將其輸入雙向長短期記憶網絡進行訓練，構建1DCNN-BiLSTM 模型用于預測目標車輛運動趨勢，為無人駕駛車輛行駛提供合理的路徑規劃，從而提高行駛安全性。

2 問題分析

復雜交通場景下目標車輛軌跡預測是根據其自身運行狀態并結合周邊環境時空交互關系估計未來狀態。為使模型挖掘真實交通數據中的潛在特征，輸入數據應包括待預測目標車輛類型參數、運行狀態參數、與周圍車輛的時空關系參數等。復雜交通場景下目標車輛運行狀態模型如圖1所示，模型應包含與周圍車輛的時空交互信息，其輸入特征向量)可以表示為：

圖1 復雜交通場景目標車輛運行狀態模型

式中，、分別為預測目標車輛的長度和寬度；、分別為預測目標軌跡的橫、縱坐標；、分別為預測目標的瞬時速度和瞬時加速度；為周圍車輛相對預測目標的瞬時距離；為預測目標與前車的時距。

3 相關理論

3.1 卷積神經網絡

CNN 輸入層的數據通過所建立的多個濾波器逐層進行卷積和池化，對數據間潛在拓撲結構特征進行提取，網絡越深，所提取特征越抽象，進而所獲得特征的魯棒性越好。卷積層內的卷積核對上層輸出的數據特征進行卷積操作，利用激活函數構建特征矢量輸出，其數學模型為：

1DCNN的卷積核相應采用1維結構，每個卷積層和池化層的輸出也相應地為1維特征矢量，1DCNN工作原理如圖2所示。

圖2 1DCNN工作原理

3.2 長短期記憶網絡

LSTM 是在傳統循環神經網絡（Recurrent Neural Network，RNN）基礎上進化而來的，其內部的存儲器單元可指示網絡對歷史信息的遺忘時間及新信息的更新時間，可有效改善網絡學習過程中由反向傳播誤差所引起的梯度爆炸及梯度消失的問題，通過捕獲長距離依賴關系實現對序列信息的有效學習，LSTM 結構如圖3所示。

圖3 LSTM結構

LSTM結構單元的數學模型為：

4 模型構建

4.1 模型框架

針對復雜交通場景下目標車輛軌跡預測問題，本文向所建立的目標車輛軌跡預測模型輸入復雜交通場景下目標車輛在(-2)、(-1)、時刻狀態觀測數據的特征向量、、，預測模型可輸出目標車輛在(+1)時刻的運動軌跡數據：

所提出的基于1DCNN-BiLSTM 的目標車輛軌跡預測模型如圖4 所示，將由傳感器采集的目標車輛具有時序關系的運動狀態觀測歷史數據輸入1DCNN進行潛在特征提取，處理后的數據通過BiLSTM 網絡獲得目標車輛在未來時刻的運動軌跡。

圖4 基于1DCNN-BiLSTM的目標車輛軌跡預測模型

4.2 模型實現

實現基于1DCNN-BiLSTM 的目標車輛軌跡預測模型的流程如下：

b.將歸一化處理后無量綱的數據送入1維卷積神經網絡的卷積層，提取數據間的潛在關系：

c.卷積操作后的非線性變換數據通過修正線性單元（Rectified Linear Unit，ReLU）激活函數實現潛在時空關系特征提取，送入如圖5所示的BiLSTM網絡結構，通過前向LSTM層、后向LSTM層捕獲序列間長期依賴關系：

圖5 BiLSTM網絡結構

d.將有效擬合后的數據y依次通過2 個全連接層，輸出軌跡預測值。

5 試驗結果與分析

本文通過如圖6 所示的搭載有多種傳感器的智能車輛試驗平臺采集數據，平臺集成了激光雷達、毫米波雷達、GPS定位模塊、慣導系統、工控機（包含CAN 通訊卡）等硬件設備，通過上、下位機控制系統可以開展智能汽車相關試驗任務。

圖6 智能車輛試驗平臺

為了方便分析復雜交通場景下目標車輛自身運行狀態及與周圍車輛的時空交互關系，選擇數據采集試驗車為目標車輛。目標車輛的長度、寬度為數據采集試驗車的車長和車寬；目標車輛軌跡橫、縱坐標、采用時刻試驗車車載GPS 定位模塊實時獲取的車輛橫、縱坐標值；目標車輛瞬時速度由試驗車車載CAN 通訊卡獲取，目標車輛瞬時加速度由瞬時速度求導獲取；周圍車輛相對預測目標的瞬時位置是通過分析車載激光雷達采集的周圍車點云數據獲取，利用激光雷達采集點云的距離閾值范圍，篩選出的相鄰車道對預測目標運動影響最大的周圍車輛相對位置信息；目標車輛與前車時距通過車載毫米波雷達獲取的與前車的距離計算出目標車輛與前車的碰撞時間獲得。

圖7 所示為試驗數據采集瞬態場景，表示某時刻試驗數據采集車與同一車道行駛的前車以及相鄰車道的周圍車輛所處的位置情況。試驗過程中，32 線激光雷達采集數據周期為0.5 s，數據采集地點為某城市的繞城高速公路，是基于同一試驗數據采集車所獲取的道路環境數據，試驗數據采集車的部分數據如表1所示。

圖7 試驗數據采集瞬態場景

表1 試驗數據采集車的部分數據

為了測試1DCNN-BiLSTM算法性能，選取智能車輛試驗平臺所獲取的激光雷達原始數據中連續800幀的觀測數據作為樣本，構建1DCNN-BiLSTM 模型，進行軌跡預測。算法測試平臺所采用的編程語言為Python 3.6，配備NVIDIA GeForce GTX 1650獨立顯卡、主頻為2.4 GHz的IntelCorei5-9300處理器，內存16 GB。將該800組觀測數據進行劃分，其中前560 組數據作為訓練集，后240組數據作為測試集，利用ADAM函數進行算法優化，學習率設置為0.01，窗口長度為4，每批處理樣本的數量為8 個。采用均方誤差（Mean Squared Error，MSE）和平均絕對誤差（Mean Absolute Error，MAE）進行評價：

式中，為MSE值；為MAE值；P為時刻預測值；R為時刻真實值；為樣本數量。

如圖8、圖9 所示為利用1DCNN-BiLSTM 模型在訓練集和測試集上分別對目標車輛軌跡橫、縱坐標、進行預測的均方誤差、平均絕對誤差損失。圖8 中的1DCNN-BiLSTM 模型在訓練集和測試集上分別對、預測的均方誤差損失曲線的變化趨勢一致；圖9中的1DCNN-BiLSTM模型在訓練集和測試集上分別對、預測的平均絕對誤差損失曲線的變化趨勢一致。結果表明，模型對目標車輛軌跡具有良好的預測效果。

圖8 1DCNN-BiLSTM模型預測的均方誤差損失

圖9 1DCNN-BiLSTM模型預測的平均絕對誤差損失

為了進一步對比不同算法的預測性能，分別選取全鏈接（Fully Connected，FC）、LSTM、BiLSTM 等傳統網絡模型與本文所提出的1DCNN-BiLSTM 網絡模型進行對比，其層結構、輸出形狀、參數數量如表2所示。

表2 對比試驗網絡模型

如圖10、圖11 所示為利用LC、LSTM、BiLSTM、1DCNN-BiLSTM 模型在訓練集和測試集分別對目標車輛軌跡橫、縱坐標、預測的均方誤差、平均絕對誤差損失對比，如表3 所示，車輛運動受到道路邊界及車道線的制約，其橫向軌跡數值變化范圍小，縱向軌跡數值變化范圍大，因此導致縱坐標的均方誤差和平均絕對誤差損失值均較橫坐標高。由于本文所選取的ADAM 函數優化器具有較高的收斂速度，設置學習率為0.01 時，橫、縱坐標的均方誤差和平均絕對誤差均可快速降低，且圖10、圖11 中采用1DCNN-BiLSTM模型在測試集中進行300 次迭代最終獲得的橫、縱坐標的均方誤差和平均絕對誤差的損失值均低于其他3種預測模型。由模型預測實時性對比試驗結果可知，迭代次數與實時性有關，1DCNN-BiLSTM 模型在精度提升的同時，仍然滿足實際應用的要求，故1DCNNBiLSTM 模型對目標車輛軌跡預測效果明顯優于其他模型。

圖10 各模型預測的均方誤差損失對比

圖11 各模型預測的平均絕對誤差損失對比

表3 各模型預測效果統計

6 結束語

為了有效預測復雜交通場景中目標車輛的運動軌跡，本文提出一種基于觀測數據潛在特征與雙向長短期記憶網絡的方法，通過1維卷積神經網絡提取由車載傳感器所采集的車輛運動狀態觀測數據的潛在時空關系特征，將其輸入雙向長短期記憶網絡進行訓練，對比試驗結果表明，所構建的1DCNN-BiLSTM 模型對目標車輛軌跡預測效果明顯優于其他模型。