基于Attention-BiLSTM網絡的車輛換道意圖識別

黃開啟,羅 濤

(江西理工大學 機電工程學院,江西 贛州 341000)

換道意圖識別系統能準確感知周圍車輛的駕駛行為,讓駕駛員預先察覺到可能發生的危險,有效降低汽車高速行駛過程中換道操作所造成的交通事故,增強智能車輛的決策規劃能力,提高行駛的安全性和舒適性[1]。目前,換道意圖識別是新一代高級輔助駕駛系統(Advanced driver assistance system,ADAS)的關鍵技術和研究熱點[2]。近年來,國內外學者采用機器學習的方法對識別車輛換道意圖進行了廣泛研究[3]。Mandalia等[4]采用支持向量機(Support vector machine,SVM)預測駕駛員的換道意圖,然而該方法難以反映出車輛換道過程的連續性特征。Li等[5]利用道路幾何特征和目標車輛的歷史狀態信息,設計了一種基于動態貝葉斯網絡(Dynamic bayesian network,DBN)的車輛換道預測模型,然而DBN模型沒有綜合考慮車輛之間的交互影響,識別精度難以滿足要求。Kumar等[6]提出了一種支持向量機和貝葉斯網絡相結合的換道意圖識別方法,由于忽視了車輛跟隨傳感器精度的影響,導致系統誤報率較高。Liu等[7]采用隱馬爾科夫模型(Hidden markov model,HMM)對駕駛員駕駛意圖進行預測,雖然HMM可以對任意長度的時間序列進行建模,但是無法體現出上下文時間特征序列之間的關聯性特征。

目前,深度學習在棋類對弈、圖像識別和自然語言處理等領域展示出強勁的智能模擬功效,非常適合于換道意圖的時空大數據特征識別和決策推理[8]。季學武等[9]設計了一種基于長短期記憶(Long short-term memory,LSTM)網絡的駕駛意圖識別和車輛軌跡預測模型,然而未考慮車輛間交互信息來識別車輛的駕駛意圖。蔡英鳳等[10]利用卷積神經網絡提取目標車輛社交特征,建立了一種基于LSTM網絡的周圍車輛行為識別模型,雖然其識別準確率高于SVM模型和HMM模型,但是沒有研究未來時刻車輛行駛狀態對當前車輛行駛狀態的影響,導致模型無法獲得完成的車輛行為特征參數信息。郭景華等[11]基于車輛的軌跡信息,構建了一種Residual BiLSTM車輛切入意圖識別模型,能夠較早地預測出車輛切入意圖,提高了車輛的感知能力和行駛安全性。BiLSTM通常以各時步隱含層狀態的平均值作為車輛換道行為分類的依據,然而難以區分車輛行駛的每個時刻不同特征對識別結果的貢獻度。為充分有效利用車輛行駛狀態的歷史時刻和未來時刻特征信息,筆者提出了一種基于Attention-BiLSTM網絡的換道意圖識別方法。在研究主車行駛狀態特征及其與周圍車輛之間交互行為的基礎上,采用具有雙向(Bidirectional)傳播機制的BiLSTM來模擬駕駛員對周圍車輛換道情況的推理過程,通過引入模擬人腦推理行為的注意力(Attention)機制對網絡權重進行自適應分配,以充分利用換道特征向量編碼信息,增強各時步特征的有效性和避免網絡特征信息損失,從而實現換道意圖的實時準確識別。

1 換道意圖識別分析

1.1 換道過程分析

車輛換道過程如圖1所示。圖1中:T0為駕駛員產生換道意圖時刻;T1為駕駛員完成周圍交通環境安全檢查并開始進行換道操作時刻;T2為駕駛員控制車輛開始跨越車道線時刻;T3為駕駛員完成換道操作時刻。駕駛員控制車輛進行換道時,車輛的側向速度、橫向加速度以及橫向位移等特征參數會明顯變大,換道結束后,這些特征參數又回到車輛保持車道行駛變化范圍。因此,根據這些特征參數的數據變化情況,從而判斷出換道開始時刻和換道結束時刻。在T1到T2階段,駕駛員進行換道操作,其駕駛行為容易被其他車輛傳感器感知,故筆者針對該階段研究目標車輛的換道意圖。

圖1 車輛換道過程

1.2 換道場景分析

駕駛員在開始進行換道操作之前,需要判斷車輛周圍行車環境是否可以安全進行換道。建立x-0-y坐標系,車輛換道場景示意圖如圖2所示。圖2中:S1為目標車輛;S為主車;L1,L2,S1,S2,R1,R2為主車的周圍車輛。假設周圍車輛數量為n,實際車輛行駛中存在某輛車缺失的情況,因此n≤6。

圖2 車輛換道場景示意圖

主車裝備各類傳感器和駕駛意圖識別系統,用于獲取主車的行駛狀態以及周圍車輛的行駛信息,對原始數據進行處理,提取以下特征參數作為換道意圖識別模型的輸入:

1)目標車輛相對于周圍車輛的行車間距(Distance headway,DHW)。

2)目標車輛相對于周圍車輛的車頭時距(Time headway,THW)。

3)目標車輛相對于周圍車輛的碰撞時間(Time to collision,TTC)。

4)目標車輛的縱向速度Vx、側向速度Vy、縱向加速度ax和側向加速度ay。

5)目標車輛與周圍車輛之間的前視距離df和后視距離db。

2 換道意圖識別模型

在實際交通環境中,車輛之間存在頻繁的交互作用,因此僅考慮與目標車輛物理狀態相關的特征,難以獲得準確的換道意圖。車輛換道過程具有動態性、連續性以及時序性等特點,車輛當前時刻的輸出不僅與歷史狀態相關,而且受未來狀態影響。與傳統的車輛行駛環境相比,在智能網聯的交通環境中,由傳感器獲得的車輛特征參數序列的尺寸會顯著增大,無關信息也可能更多。因此,為了縮短序列信息傳遞的距離,提高模型訓練速度和識別精度,將注意力機制引入BiLSTM中,構建Attention-BiLSTM換道意圖識別模型,有助于進一步開發有效和準確的ADAS和智能交通系統。

Attention-BiLSTM換道意圖識別模型由特征向量輸入層、隱含層和輸出層組成,其中,隱含層包括BiLSTM層、Attention層和Dense層。筆者所提出的Attention-BiLSTM模型結構如圖3所示。

圖3 Attention-BiLSTM結構示意

2.1 雙向長短期記憶網絡

LSTM以門結構特征來模擬人腦的遺忘機制和記憶機制,從而克服長序列訓練過程中的梯度消失或者梯度爆炸問題[12],實現對任意時間序列建模。

在LSTM體系結構中,記憶單元用于信息的輸入和輸出,Γf為遺忘門;Γu為更新門;Γo為輸出門;ct-1為t-1時刻的細胞狀態輸入;ht-1為t-1時刻的輸出;xt為當前時刻的輸入;ht為輸出;ct為細胞狀態。LSTM的推理過程[13]為

Γf=σ(wf[ht-1,xt]+bf)

(1)

Γu=σ(wu[ht-1,xt]+bu)

(2)

Γo=σ(wo[ht-1,xt]+bo)

(3)

(4)

(5)

ht=Γo·tanhct

(6)

(7)

(8)

(9)

式中:w1為輸入層到前向LSTM的權重系數;w2為前向LSTM單元層之間的權重系數;w3為輸入層到后向LSTM的權重系數;w5為后向LSTM單元層之間的權重系數;w4為前向LSTM到輸出層的權重系數;w6為后向LSTM到輸出層的權重系數;bft,bbt,bot分別為各相應部分的偏置矩陣。

2.2 注意力機制

Attention機制與人類視覺所特有的大腦信號處理機制相似,通過計算每個特征序列的權重以模擬人類思維,從大量特征序列信息中提取出最重要信息,在機器翻譯、語音識別、圖像和文本分類等領域具有優異的性能表現[15]。在雙向傳播BiLSTM網絡的基礎上引入Attention機制,以縮短序列信息傳遞的距離,從而捕捉最重要的狀態信息。Attention-BiLSTM通過計算不同時刻BiLSTM中輸出特征向量的權重,增強特征向量對識別結果貢獻度差異性影響,有效防止換道意圖部分序列信息在數據傳遞中丟失。針對序列分析問題,Attention以概率分布的方式,使模型在訓練過程中能夠根據特征序列信息的重要程度來賦予權重值,不僅可以提高模型識別的準確率,而且不會增加模型計算和存儲成本。

將BiLSTM模型的輸出矩陣H=[h1,h2,…,ht]輸入到注意力機制的隱藏層中,獲得Attention層的初始狀態矩陣S=[s1,s2,…,st]。根據S中每個特征重要程度分配相應的權重,并將不同權重系數at與其對應的初始狀態向量相乘并累加,最終得到Attention層的輸出向量Y,計算式為

et=tanh(vtSt+bt)

(10)

(11)

(12)

式中:vt為權重矩陣;bt為偏置量;et為狀態向量St所確定的能量值。

2.3 輸出層

輸出層的輸入為Attention層的輸出,利用Softmax函數進行計算,從而得到車輛換道意圖識別概率。取概率最大值作為車輛換道意圖識別結果,計算式為

yt=Softmax(wkY+bk)

(13)

(14)

式中:wk為連接權重;bk為偏置量。

3 試驗與分析

3.1 試驗數據集

模型驗證和測試采用開源的車輛軌跡數據集HighD,該數據集是通過使用無人機來采集車輛特征信息,數據采集示意圖如圖4所示[16]。HighD數據集包括6個不同地點、16.5 h測量時長、110 000輛車輛軌跡數據以及5 600條完整的車輛換道記錄信息,總行駛距離為45 000 km。每條車輛軌跡包含車輛ID、橫縱向坐標、速度、加速度、前視距離、后視距離、TTC、DHW、THW和所在車道等信息。

圖4 HighD數據采集路段的鳥瞰視角

目標車輛在換道過程中,橫向位置和縱向位置會明顯發生變化。采用滑動時窗法[17]從HighD數據集中提取車輛橫向運動和縱向運動的軌跡序列,總樣本為17 595個序列,按8∶2的比例原則,隨機劃分訓練集和測試集,即訓練集為14 076個序列,測試集為3 519個序列。

3.2 試驗設置

試驗基于Pytorch深度學習框架構建Attention-BiLSTM模型,所使用的硬件配置為Inter Core i5-10300H 2.50 GHZ CPU,GTX1650顯卡,4 G顯存,16 G內存,操作系統為Windows10系統。

試驗以均方誤差作為損失函數,以Adam作為優化器,經過多次訓練迭代后保存模型,根據準確率值和綜合F1分數,最終優選出的模型試驗超參數設置如表1所示。

表1 模型試驗參數

3.3 評價指標

試驗在訓練集中訓練模型,訓練結束后保存模型,在測試集中測試模型并進行評估,使用準確率和F1分數作為試驗的評價指標,定義如下:

1)準確率Acc:指預測正確的結果占總樣本的比例。

(15)

式中:TP表示預測為正樣本,真實為正樣本;FP表示預測為負樣本,真實為正樣本;FN表示預測為負樣本,真實為正樣本;TN表示預測為負樣本,真實為負樣本。對于三分類問題,首先計算出向左換道、向右換道和車道保持這3類意圖的準確率;然后對這3類準確率進行綜合;最后得出模型評價的準確率。

2)F1分數:指精確率P和召回率R的調和平均值,表達式為

(16)

(17)

(18)

對于試驗有3種換道意圖,取微觀平均F1micro為綜合分數,其方法是通過計算所有類別總的P和R,得到的F1值即為F1micro。

3.4 對比試驗結果分析

為了驗證提出的Attention-BiLSTM模型的有效性,在同一數據集上,分別與Xia等[18]構建關于目標車輛的HMM換道意圖識別模型、Kim等[19]提出基于SVM的車輛換道意圖識別模型、Fu等[20]建立識別車輛換道意圖的LSTM網絡模型以及宋曉琳等[21]提出使用條件隨機場(Conditional Random Field,CRF)和Attention優化的LSTM網絡換道意圖識別模型進行對比試驗,分別計算模型的準確率和F1分數,試驗結果如表2所示。

表2 不同模型意圖識別結果

由表2可看出:提出的Attention-BiLSTM模型與其他4種模型相比較,在準確率值和分數值兩方面表現更加優異,比HMM,SVM,LSTM,LSTM-Attention-CRF準確率分別提高0.237,0.190,0.132,0.043,從而驗證筆者模型對車輛換道意圖識別的有效性。進一步分析,具有時序特征的LSTM網絡模型比傳統機器學習SVM,HMM模型更加適用于車輛換道意圖識別,相較于LSTM模型和LSTM-Attention-CRF模型,筆者提出的Attention-BiLSTM模型對時序特征信息提取更加全面,能有效防止時序特征信息在傳遞過程中損失,使得換道意圖識別性能更佳。

3.5 消融試驗結果分析

雖然對比試驗結果說明Attention-BiLSTM模型整體上優于其他4種模型,能夠準確識別出車輛的換道意圖,但是其畢竟不屬于同種類型混合試驗模型的對比,缺乏一定的試驗說服力,因此,利用同一數據集進行消融試驗,試驗結果如表3所示。Attention-BiLSTM模型的準確率為0.844,綜合分數為0.800,與LSTM,BiLSTM,LSTM-Attention模型相比較,準確率分別提升了0.132,0.120,0.022,綜合分數分別提升了0.105,0.085,0.026。在LSTM模型中,單獨引入注意力機制或者雙向傳播機制,性能都可以得到一定提升,同時引入這兩種機制,換道識別性能最佳。

表3 消融試驗結果

通過混淆矩陣圖來分析模型預測結果,具體情況如圖5所示。Attention-BiLSTM意圖識別模型對車道保持、左換道和右換道3種意圖的識別結果分別為78.40%,80.30%,87.20%,均優于LSTM,BiLSTM,LSTM-Attention模型。

圖5 混淆矩陣

采用受試者工作特征曲線(Receiver operating characteristic curve,ROC)和ROC曲線下面積(Area under ROC curve,AUC)進一步對4種模型的整體預測性能進行評價,具體情況如圖6所示。ROC曲線越靠近左上角,假正例率越小,真正例率越大,即AUC值越大,說明模型的平均預測性能越好。LSTM,BiLSTM,LSTM-Attention和Attention-BiLSTM的AUC值分別為0.836,0.853,0.919,0.925,說明Attention-BiLSTM模型具有較高的意圖識別性能。

圖6 各模型ROC曲線

4 結 論

實時準確識別復雜道路環境中車輛的換道意圖是ADAS的核心技術,提出了一種基于Attention-BiLSTM的車輛換道意圖識別模型,綜合考慮主車與周圍車輛之間的交互行為,充分利用車輛行駛狀態的歷史時刻和未來時刻特征信息,引入雙向傳播機制對BiLSTM層序列特征分配權重,從而提高換道意圖模型的識別性能。采用真實道路數據對模型進行訓練和測試,試驗結果表明:該模型有效提高了網絡的識別能力,識別準確率為0.844,能夠準確識別出車輛換道意圖,提高車輛的感知能力和安全性能,為人機共駕車輛提供良好的決策依據。

本文得到了江西理工大學研究生創新專項資金項目(ZS2020-S059)的資助。