基于形變長短期記憶網絡的換道意圖預測

田晟, 胡嘯

(華南理工大學土木與交通學院, 廣州 510641)

據統計,車輛換道過程中產生的交通事故約占事故總數的18%[1],為保障自動駕駛車輛在混合交通環境下的行駛安全,車輛需要具備對周圍車輛換道意圖預測的能力[2]。近年來智能網聯普及與各類傳感器精度提高,車輛行駛數據得以實時記錄傳遞,基于行駛數據的換道意圖預測是混合交通流穩定的重要保障,也有利于自動駕駛進一步發展。

車輛換道是駕駛員根據周圍環境發展態勢判斷是否變更車道的綜合決策過程。為探究換道與駕車環境之間的隱性關系,部分學者采用機器學習進行研究。Dietmar等[3]、Xu等[4]基于貝葉斯網絡對包含車輛換道在內等多種駕駛行為進行預測;Oh等[5]采用二元邏輯回歸法建立車輛換道模型,對走走停停與正常交通條件下的換道意圖進行預測;多數學者根據車輛自然行駛過程中采集的運動數據、駕駛員數據進行研究,支持向量機模型[6](support vector machine, SVM)、隱馬爾可夫模型[7](hidden markov model, HMM)、極端梯度提升[8](extreme gradient boosting, XGBoost)、隨機森林模型[9](random forest, RF)等各類機器學習模型或多個模型的級聯模型均被應用于換道意圖預測中。然而學者們發現這些機器學習模型在處理車輛換道這類本質為時間序列分類問題上,對原始數據利用不足、數據隱含信息丟失使得預測精度在長時域上表現不佳,且在短時域的預測準確度還存在一定的上升空間。

為尋求更準確更穩定的預測效果,一種特殊的卷積神經網絡——長短期記憶網絡(long short-term memory, LSTM)由于其處理時間序列問題的出色表現,成為了車輛換道研究的主流模型。Zyner等[10]以車輛運行的位置數據以及運動數據輸入LSTM中以識別車輛的行駛意圖;Aida等[11]結合LSTM與車輛軌跡曲線,提出了一個對道路上車輛的運動行為進行分類的框架;Xie等[12]基于自然行駛數據集,將深度置信網絡(deep belief networks, DBN)與LSTM融合用于挖掘換道潛在特征;王皓昕等[13]提出一種結合時間信息加權指數損失函數的LSTM模型,結合了運動數據與駕駛員眼動數據,具有良好的意圖預測效果;隨著研究深入,雙向長短期記憶網絡[14](BiLSTM)、時空網絡[15](CNN-LSTM)等各類以LSTM為底層模型的改進模型被提出,改進后的模型結合不同網絡優勢,相較于原始LSTM,在短時域的預測上都能維持良好的準確度,然而隨著時間序列長度不斷增加,模型出現梯度消失等現象開始不穩定,預測準確度出現波動,下降明顯。

因而對于時域偏長、特征偏多車輛換道意圖預測研究,如何在較長的預判時間下仍然保證一定的預測準確度是亟待解決的一個問題。2020年的國際學習表征會議(international conference on learning representations, ICRL)上,來自牛津大學的Melis等[16]在LSTM單元結構上,調整原始結構的遺忘門,在遺忘門輸入處增加兩個門控單元,提出了形變長短期記憶網絡(mogrifier long short-term memory,M-LSTM),試驗結果證明該模型在長時域表現相比原始LSTM增加明顯。已有一部分學者將該模型結構運用于其他領域的研究,結果證明M-LSTM網絡在長時域的表現均普遍優于LSTM[17-19]。

受此研究啟發,鑒于該模型在長時域問題研究的優秀表現,提出基于M-LSTM的換道意圖預測模型。本文中數據集采用自然駕駛條件下采集的“下一代仿真數據集” (next generation simulation,NGSIM),在特征選取方面為體現車輛換道與環境的交互性,除車輛的運動信息外,同時選取目標車輛周圍環境信息輸入模型中,并于其他模型在不同預判時間下進行效果對比,驗證模型的預判性與準確性。

1 自然駕駛數據預處理

自然駕駛數據集包含了車輛在運行過程中的各項原始數據,具有豐富的車輛信息以及環境信息。傳感器技術與通信技術的發展使得這類數據的采集傳遞愈加便捷。選取自然駕駛數據集NGSIM數據集中US-101路段數據用于檢驗。該數據集記錄了一定時間內小汽車通過特定路段的軌跡信息,包括車輛位置、速度、加速度等運動信息以及目標的周圍車輛ID、間距等環境信息。其中的US-101路段為高速公路路段,檢測區長度為640 m,數據采集的時間是07:50—08:35,檢測間隔為10幀/s。研究路段如圖1所示。

圖1 US-101路段結構圖Fig.1 US-101 section structure

原始自然駕駛數據集存在一定的誤差和噪聲,軌跡與速度信號抖動對預測準確率影響大,故首先采用SG(Savitzky-Golay)濾波器對原始數據進行濾波處理。SG濾波器是一種以多項式最小二乘法擬合為基礎的濾波方法,可以使原始數據分布特性得到最高限度的保留。濾波窗口長度取41,多項式擬合的階數取3。任意選取某換道車輛的軌跡數據為例(圖中選取換道車輛編號為8),經濾波處理后的數據與原始數據的對比如圖2所示。

圖2 第8號車軌跡數據平滑效果對比圖Fig.2 Comparison of data smoothing results of vehicle No. 8

2 車輛換道意圖預測模型

2.1 換道車輛數據集篩選與標注

將車輛運行軌跡與車道線的交點定義為換道點。將預判時長T定義為序列最末尾采樣時刻至換道時刻的時間間隔。根據不同預判時間T篩選換道序列生成數據集。而后對不同換道方向的序列進行標注,車輛不換道保持直行標注為0,車輛向左變更車道標注為1,車輛向右變道標注為2。車輛向左變道的標注示意圖如圖3所示,車輛換道軌跡與車道線的交點為換道點。

圖3 左換道車輛標注示意圖Fig.3 Schematic diagram of the labeling of vehicles changing lanes to the left

得到的序列總數為58 380,其中車道保持43 470個序列、車輛左轉8 940個序列、車輛右轉5 970個序列。這是由于車輛行駛以直線行駛為主,故直線行駛類的序列數會大于左轉與右轉序列數。

在試驗過程中,為了防止模型過擬合,需要保持三類駕駛行為的數據量保持一致,故每類數據參照右轉序列數統一選取5 970個序列進行標注,將其中的80%作為訓練集,20%作為測試集。

2.2 模型輸入參數

車輛行駛是一個與周圍環境進行交互的行為,車輛換道需要駕駛員根據運動狀況與周圍環境變化對是否進行換道做出判斷。因此輸入數據需要包括車輛運動信息與環境信息[20]。

換道相較于跟馳,不同之處在于車輛垂直方向的移動,故選取車輛橫向移動距離Δd為運動信息輸入;選取與周圍車輛的橫向相對距離Δx、縱向相對距離Δy、相對速度v為環境信息輸入。目標車輛及周圍車輛參數標注如圖4所示。表示為

圖4 車輛及參數標注示意圖Fig.4 Schematic diagram of the labeling of vehicles

Et=[Ct,St],t=(T-Th,…,T-1,T)

(1)

Ct=Δdt,t-1

(2)

St=(Δxt,1i,Δyt,1i,vt,1i)

(3)

式中:Ct為t時刻目標車輛運動信息;St為t時刻環境信息;Th為預判時間,反映輸入軌跡的長度;Δdt,t-1為目標車輛t-1～t時刻的橫向位移;Δxt,1i為t時刻目標車輛與第i輛車的縱向距離;Δyt,1i為t時刻目標車輛與第i輛車的橫向距離;vt,1i為t時刻目標車輛與第i輛車的速度差。

2.3 M-LSTM網絡結構

LSTM屬于循環神經網絡(recurrent neural network, RNN)網絡的一種,但結構特殊,對于處理時序問題有著很好的效果,其單元結構如圖5所示。M-LSTM的單元結構圖與輸入輸出的交互控制過程如圖6所示。

ct、ht、gt為t時刻的單元、隱藏、候選單元狀態;it、ft、ot為t時刻的輸入、遺忘、輸出單元狀態;et為當前時刻的輸入圖5 LSTM單元結構圖Fig.5 LSTM cell structure diagram

圖6 M-LSTM單元結構圖Fig.6 M-LSTM cell structure diagram

計算過程與原始LSTM相似,根據上一時刻的輸出結果ht-1、ct-1,結合當前時刻模型的輸入et,通過輸入門、遺忘門、輸出門計算得出當前時刻的ht與ct。其中各個參數的計算公式為

μt=sigmoid(wμet+bμ)

(4)

h′t-1=2ht-1⊙μt

(5)

it=sigmoid[wih′t-1+bi]

(6)

ft=sigmoid[wfh′t-1+bf]

(7)

gt=sigmoid[wgh′t-1+bg]

(8)

ot=sigmoid[woh′t-1+bo]

(9)

ct=ftct-1+itgt

(10)

ht=ottanh(ct-1)

(11)

式中:μt為中間控制狀態;w和b分為權重和偏置項;為Hadamard乘積,哈達瑪積,表示矩陣中對應位置元素相乘。

與LSTM結構不同的是,M-LSTM引入了中間控制狀態μt,μt可理解為當前時刻輸入信息對模型上一時刻的輸出ht-1的控制權重,ht-1經過μt的控制轉化為h′t-1再輸入模型。相較于LSTM優點在于加強了上一時刻輸出與這一時刻輸入的交互,研究表明,兩層sigmoid函數的交互控制可以顯著增強輸入特征,在本文中該結構將當前時刻輸入與上一時刻輸出進行充分交互,即將兩個時刻的運動信息與環境信息進行充分融合,有利于模型充分挖掘換道隱性特征,提高預測準確率。

M-LSTM車輛換道意圖識別模型如圖7所示,對自然駕駛數據集預處理后,構建換道樣本集。將時間序列E作為模型的輸入,模型預測結構采用三層M-LSTM堆疊組成,損失函數采用Categorical_crossentropy,優化器為Adam,訓練周期(epoch)設為100,dropout率為0.5,學習率α=0.001對模型進行訓練和測試,通過Softmax函數將結果轉換為不同換道行為的概率分布P,由于車輛最終只能選擇一種駕駛行為,判定輸出概率最大的類別為預測類別,即車輛的預測換道意圖。

t=(T-Th,…,T-1,T);P0、P1、P2分別為左換道、右換道、保持直行的概率圖7 換道意圖識別流程圖Fig.7 Lane changing intention recognition flowchart

3 模型驗證及結果分析

為驗證所提出的M-LSTM在不同預判時間下預測換道意圖的準確性,選取機器學習模型SVM、原始LSTM模型進行橫向對比;其次選取預判時間3.0、2.5、2.0、1.5、1.0、0.5 s進行縱向對比。本文中選取的評價指標為精確率(預測為正例的樣本中預測正確的比例)、召回率(被預測正確的正例占總實際正例樣本的比例)、F1-分數 (精度和召回率分數的諧波平均值)和準確率(正例和負例中預測正確數量占總數量的比例)。試驗結果如表1、圖8所示。

表1 各模型預測準確率Table 1 Prediction accuracy results of models

圖8 不同預判時間準確度對比圖Fig.8 Accuracy comparison chart of different anticipated times

由表1與圖8可得,在不同的預判時間下,本文提出的M-LSTM模型預測整體準確率均高于其他模型,越接近換道點預測準確率越高。當預判時間長度為1.0 s時,本模型準確率保持在0.9以上,優于原始LSTM模型,這表明模型保留并提高了LSTM模型在短時域預測問題的優勢。

當預判時間增加時,各模型的預測準確率均有所下降,這是由于隨著時間長度的增加,數據長度增加,換道特征被運動信息與環境信息影響干擾, 易造成誤識別。可以看出當預判時間為2.5 s時,仍可以達到0.813 0的預測準確率。據統計,高速公路車輛完成一整套換道動作的時間為3.5～6.5 s[21],若取中間值5 s,則車輛開始換道操作到行駛至換道點的時間約為2.5 s。這表明該模型可以在大部分車輛剛出現換道操作時模型就能準確的預測出車輛是否具有換道意圖;而當預判時間為3 s時,預測準確率為0.751 5,仍能維持較高的預測準確率,預測結果具有很高的參考性。

從準確率隨預判時間的增加而下降的整體趨勢來看,M-LSTM準確率平緩下降,而LSTM與SVM模型準確率迅速下降。分析原因,這是由于LSTM在長時域預測時,仍會出現遠距離記憶消失、梯度消失、特征丟失等問題,而M-LSTM的特殊底層結構將運動信息與環境信息做了充分的交互融合,可以根據車輛自身運動狀態和周圍環境判斷是否具有換道條件,進而預測是否具有換道意圖。使輸入特征顯著增強,更易捕捉到換道的隱藏特征,模型在長時域預測時更易識別出換道意圖,提高了模型的魯棒性與穩定性。

表2與圖9為預判時間為0.5 s時的模型試驗結果,預測整體準確率為0.938 3,相較原始LSTM模型表現提高了4.32%,短時域下預測準確率有所提高。預測錯誤出現在換道與直行之間,向左換道與向右換道之間在該試驗中沒有出現預測混淆。原因是這兩類換道動作的差異性大,橫向位移方向不同,很難造成誤判[22]。直線行駛與換道之間的判斷混淆主要原因可能是駕駛員對當前換道條件產生了誤判,例如,由于安全距離等限制,產生換道意圖但被迫放棄換道,或者是由于車輛駕駛時的抖震造成數據的偏差。

表2 0.5 s下的M-LSTM模型性能結果Table 2 M-LSTM model performance results at 0.5 s

圖9 換道意圖預測模型混淆矩陣Fig.9 Confusion matrix of model

在不同預判時間下M-LSTM模型對不同換道方向的預測試驗結果如表3與圖10所示。

表3 不同預判時間下M-LSTM模型性能結果Table 3 Performance results under different pre-judgment time

圖10 不同預判時間準確度對比圖Fig.10 Accuracy comparison chart of different anticipated times

由表3、圖10可以看出,直線行駛的預測準確率在不同的預判時間下均高于換道,原因可能是:直線行駛相較于換道行為更穩定,不會出現明顯的換道特征如:橫向位移、加減速等[23],模型預測此類駕駛動作的難度較小,而預測錯誤的原因可能是駕駛員具有換道意圖,車輛具有明顯的換道動作后但由于安全條件限制放棄換道,從而被誤識別為換道行為。

換道識別準確率較低的原因可能是在長預判時間下還沒表現出明顯換道特征,如橫向位移、加減速等,此時模型只能根據周圍提取的環境信息對車輛是否換道進行判斷,此時模型易將此類動作識別為直線行駛。而右換道的識別準確率整體高于左換道,這是由于研究路段的最左側存在進出口匝道,交通流狀況相對混亂、環境信息復雜,車輛向左換道預測難度增大。

總結以上,本文提出的模型在換道前1.0 s預測準確率達到90%以上,在換道前2.5 s預測準確率維持在80%以上,相較于原始LSTM均有所提高,不同預判時間下均表現良好,模型具有較好的準確性與預判性。

4 結論

針對傳統LSTM模型在長時域換道意圖預測表現不佳的問題,在自然駕駛條件下,提出了一種基于M-LSTM的預測模型,該結構將車輛運動信息與環境信息經過充分融合后作為模型的輸入,顯著增強輸入特征,防止了由于時域過長數據量增多而造成換道重要特征的丟失。通過與原始LSTM與SVM的試驗對比,該模型在不同的預判時間下準確度均有明顯提高,在1.0、2.5 s下的預測準確度分別達到90%與80%以上,為自動駕駛車輛準確提前識別換道意圖提供技術支持,保障行駛安全。

本文中所采用的數據為高速公路直線路線車輛行駛生成,是否適用于其他道路情形還值得商榷,且車輛在道路上行駛還存在強制換道、放棄換道、等待換道等多種類型,今后的研究可拓展適用范圍,細分車輛動作,使模型能適應不同環境,精準預測換道類型。