

























【摘要】為有效提取高速交通場景下車輛間的交互特征,從而準(zhǔn)確預(yù)測(cè)動(dòng)態(tài)障礙軌跡,基于編-解碼框架,提出基于圖時(shí)空注意力的多車交互軌跡預(yù)測(cè)模型。結(jié)合斥力場和圖模型建立車-車圖交互場,利用節(jié)點(diǎn)和鄰接特征矩陣表征車輛之間的動(dòng)態(tài)交互,通過圖空間注意力和時(shí)間多頭注意力提取深層時(shí)空交互,獲取圖時(shí)空融合編碼;將車輛橫縱向行為意圖獨(dú)熱編碼與其拼接,實(shí)現(xiàn)目標(biāo)車輛多模態(tài)軌跡預(yù)測(cè)。利用NGSIM數(shù)據(jù)集進(jìn)行驗(yàn)證,相較于其他6種模型,該模型RMSE和NLL值最低;通過消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證圖交互場的有效性,結(jié)果表明,該模型能夠有效提高車輛軌跡預(yù)測(cè)精度。
主題詞:多車交互 斥力場 注意力機(jī)制 圖模型 軌跡預(yù)測(cè)
中圖分類號(hào):TP399" "文獻(xiàn)標(biāo)志碼:A" "DOI: 10.19620/j.cnki.1000-3703.20240734
Multi-Vehicle Interaction Trajectory Prediction Model Based on Graph Spatial-Temporal Attention
Zhang Xinfeng1,2, Zhao Juan1, Liu Guohua1, Liu Pengfei1
(1. School of Automobile, Chang’an University, Xi’an 710064; 2. School of Transportation and Logistics Engineering, Xinjiang Agricultural University, Urumqi 830052)
【Abstract】In order to effectively extract interaction features among vehicles in high-speed traffic scenarios, thus accurately predict the trajectories of dynamic obstacles, this paper proposes a multi-vehicle interaction trajectory prediction model using the coding-decoding framework based on the graph spatial-temporal attention mechanism. The vehicle-to-vehicle graph interaction field is established by combining the repulsive force field and the graph model, the node feature matrix and the adjacency feature matrix are used to characterize the dynamic interaction between the vehicle and the surrounding vehicles, and the deep spatial-temporal interaction features are extracted by the graph spatial attention and temporal polytope attention to obtain the graph spatial-temporal fusion coding features. The one-hot encoding of the longitudinal and lateral behavior intentions of the vehicles is concatenated with the encoding to achieve multimodal trajectory prediction for the target vehicles. Validation using the NGSIM dataset shows that, compared with 6 other models, the proposed model achieves the lowest RMSE and NLL values. Ablation experiments further validate the effectiveness of the graph interaction field, demonstrating that the model can significantly improve the accuracy of vehicle trajectory prediction.
Key words: Multi-vehicle interaction, Repulsive fields, Attentional mechanisms, Graph modeling, Trajectory prediction
1 前言
準(zhǔn)確預(yù)測(cè)交通參與者未來運(yùn)動(dòng)軌跡有助于自動(dòng)駕駛系統(tǒng)更好地適應(yīng)復(fù)雜動(dòng)態(tài)交通場景,提高決策準(zhǔn)確性和駕駛安全性[1]。
針對(duì)自動(dòng)駕駛軌跡預(yù)測(cè),已有大量研究。Carvalho等[2]提出綜合環(huán)境建模和隨機(jī)模型預(yù)測(cè)控制(Model Predictive Control,MPC)框架,利用交互式多模型和卡爾曼濾波預(yù)測(cè)目標(biāo)車輛軌跡,但依賴當(dāng)前狀態(tài)迭代計(jì)算。Danielsson等[3]使用蒙特卡洛方法預(yù)測(cè)交通場景中的潛在危險(xiǎn),但需消耗大量計(jì)算資源生成隨機(jī)樣本,且結(jié)果準(zhǔn)確性過于依賴樣本數(shù)量和質(zhì)量。
Mandalia等[4]首次利用支持向量機(jī)(Support Vector Machine,SVM)通過軌跡坐標(biāo)、速度等特征實(shí)現(xiàn)車輛換道意圖預(yù)測(cè)識(shí)別。Izquierdo等[5]采用SVM實(shí)現(xiàn)對(duì)車輛未來動(dòng)作的預(yù)測(cè),且預(yù)測(cè)精度得到顯著提升。Deng等[6]通過模糊邏輯對(duì)駕駛場景分類,并針對(duì)不同駕駛場景實(shí)現(xiàn)車輛駕駛行為的預(yù)測(cè)。Gao等[7]采用隱馬爾可夫模型(Hidden Markov Model,HMM)對(duì)車輛軌跡進(jìn)行預(yù)測(cè)。然而,這類方法忽略了環(huán)境和交互因素,并不適用于所有交通環(huán)境。
隨著深度學(xué)習(xí)的應(yīng)用,車輛軌跡預(yù)測(cè)方法取得顯著進(jìn)展。Dai等[8]考慮車輛時(shí)空特征利用長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)實(shí)現(xiàn)車輛軌跡預(yù)測(cè),并通過NGSIM數(shù)據(jù)集進(jìn)行驗(yàn)證。季學(xué)武等[9]利用LSTM編碼器將車輛軌跡信息編碼為上下文向量,并將其未來位置表示為概率分布,實(shí)現(xiàn)了車輛軌跡的多模態(tài)預(yù)測(cè)。Messaoud等[10]利用注意力機(jī)制為周車分配權(quán)重,提出基于多頭注意力機(jī)制的LSTM軌跡預(yù)測(cè)模型。Phan-Minh等[11]將圖像作為輸入,通過卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)生成車輛未來軌跡。近年來,圖神經(jīng)網(wǎng)絡(luò)發(fā)展迅速,Sheng等[12]利用圖卷積網(wǎng)絡(luò)提取車輛間時(shí)空交互特征,實(shí)現(xiàn)車輛未來軌跡預(yù)測(cè)。盡管當(dāng)前深度學(xué)習(xí)軌跡預(yù)測(cè)方法已取得較為理想的預(yù)測(cè)效果,但多數(shù)模型直接將車間歐式距離和相對(duì)運(yùn)動(dòng)狀態(tài)拼接輸入注意力機(jī)制提取潛在特征變量,忽視了動(dòng)態(tài)車輛間相對(duì)運(yùn)動(dòng)的影響機(jī)理。
因此,本文引入斥力場和圖模型表征動(dòng)態(tài)車輛之間的空間相互作用機(jī)理,并結(jié)合時(shí)空注意力機(jī)制,基于圖神經(jīng)網(wǎng)絡(luò)和長短時(shí)記憶網(wǎng)絡(luò)提出基于圖時(shí)空注意力機(jī)制的多車交互軌跡預(yù)測(cè)模型(Graph Spatial-Temporal Attenntion Mechanism,GSTAM)。
2 車輛軌跡預(yù)測(cè)問題描述
自動(dòng)駕駛汽車在行駛過程中受到周圍車輛的影響,目標(biāo)車輛未來軌跡的準(zhǔn)確預(yù)測(cè)是自動(dòng)駕駛汽車規(guī)劃未來路徑和確保行駛安全的基礎(chǔ)。本文通過獲取車輛行駛時(shí)的交通信息以及目標(biāo)車輛與周圍車輛之間的交互關(guān)系,來生成準(zhǔn)確、安全的未來軌跡。
車輛軌跡預(yù)測(cè)問題描述為:在t時(shí)刻,將目標(biāo)車輛與周圍車輛的歷史軌跡特征作為模型的輸入,包括車輛橫縱坐標(biāo)、速度及加速度等,得到目標(biāo)車輛未來預(yù)測(cè)時(shí)刻橫縱坐標(biāo)。將車輛i的歷史軌跡[Xi]表示為:
[Xi=p1i, p2i, …, pTi] (1)
式中:T為觀測(cè)歷史軌跡序列的長度,[pti=xti,yti,vti,ati]為車輛i在時(shí)刻t的橫坐標(biāo)、縱坐標(biāo)、速度及加速度。
將車輛i在H預(yù)測(cè)時(shí)長內(nèi)的軌跡真值Yi與預(yù)測(cè)值[Yi]表示為:
[Yi=pT+1i, pT+2i, …, pT+Hi] (2)
[Yi=pT+1i, pT+2i, …, pT+Hi] (3)
式中:[pti=xti,yti]為車輛i在時(shí)刻t的預(yù)測(cè)值。
把目標(biāo)車輛與周圍車輛1~T時(shí)刻的歷史運(yùn)動(dòng)狀態(tài)輸入網(wǎng)絡(luò)模型,可得到目標(biāo)車輛在(T+1)~(T+H)時(shí)刻的未來預(yù)測(cè)軌跡坐標(biāo)[Yi]。
3 基于圖時(shí)空注意力機(jī)制的多車交互軌跡預(yù)測(cè)模型架構(gòu)
本文所提出的車輛軌跡預(yù)測(cè)模型主要包括編碼器和解碼器兩部分,其模型架構(gòu)如圖1所示,編碼器由斥力場模塊、車-車圖交互場模塊、圖時(shí)空注意力編碼模塊組成,主要對(duì)車輛節(jié)點(diǎn)和車輛歷史運(yùn)動(dòng)信息進(jìn)行編碼,形成特征向量。解碼器通過對(duì)特征向量進(jìn)行解碼處理,最終生成多模態(tài)預(yù)測(cè)軌跡。
3.1 車-車圖交互場構(gòu)建
3.1.1 斥力場模塊
人工勢(shì)場模型是一種用于路徑規(guī)劃和避障的算法,其基本原理是通過構(gòu)建一個(gè)虛擬的力場,使車輛能夠自動(dòng)避開障礙物并朝向目標(biāo)點(diǎn)移動(dòng)[13]。其中障礙物被視為斥力源,對(duì)車輛產(chǎn)生排斥力,迫使車輛避開周圍障礙物。當(dāng)車輛處于多車交互的復(fù)雜交通環(huán)境時(shí),通過這種斥力機(jī)制可以揭示其潛在的碰撞風(fēng)險(xiǎn),對(duì)軌跡進(jìn)行調(diào)節(jié),從而保證自車安全的行車空間。
周圍車輛對(duì)目標(biāo)車輛的影響隨距離的增加而逐漸變小,這種影響與車輛運(yùn)動(dòng)狀態(tài)信息高度相關(guān)。本文結(jié)合斥力場理論,采用改進(jìn)二元正態(tài)分布將目標(biāo)車輛與周圍車輛的交互作用表示為:
[Frep=R?eacosβ-xt-xi22σ2x+yt-yi22σ2y] (4)
[R=λLt+Wt1.566v6.687×10-14+0.334 5] (5)
式中:[xt、yt、xi、yi]分別為目標(biāo)車輛與周車的橫、縱坐標(biāo);[R]為目標(biāo)車輛的危險(xiǎn)度函數(shù);[Lt、Wt]分別為目標(biāo)車輛的長度和寬度;[β]為周車與目標(biāo)車輛中心點(diǎn)的連線與[x]軸正方向的夾角;[σx、σy]為交互作用力場橫縱分布因子,與目標(biāo)車輛[x、y]方向的速度和加速度[vx、vy、ax、ay]以及速度和加速度影響因子[γ、δ]相關(guān),計(jì)算公式如下:
[σx=Lt1+γa2x+δv2x+δx] (6)
[σy=Wt1+γa2y+δv2y+δy] (7)
3.1.2 車-車圖交互場
圖模型是一種采用圖形來表示對(duì)象之間的關(guān)系或結(jié)構(gòu)的數(shù)學(xué)模型,其中節(jié)點(diǎn)表示對(duì)象,邊表示它們之間的關(guān)系。采用圖結(jié)構(gòu)來表征多車交互交通場景下目標(biāo)車輛與周圍車輛之間的交互作用,建立的車-車圖交互場如圖2所示。
利用節(jié)點(diǎn)特征矩陣和鄰接特征矩陣對(duì)車輛節(jié)點(diǎn)以及車-車之間的交互關(guān)系進(jìn)行表征,時(shí)刻t車輛節(jié)點(diǎn)特征矩陣[HtV]為:
[HtV=nodetii∈Θtvehicle] (8)
[nodeti=xti-xt-1i,yti-yt-1i,vti] (9)
式中:[Θvehicle]為當(dāng)前場景下所有車輛,[xti、yti、vti]為t時(shí)刻目標(biāo)車輛節(jié)點(diǎn)i的橫、縱坐標(biāo)和速度,[xti-xt-1i、yti-yt-1i]為時(shí)刻t目標(biāo)車輛節(jié)點(diǎn)i的橫、縱軸軌跡向量分量。
對(duì)于鄰接特征矩陣,結(jié)合斥力場模塊,可得時(shí)刻t鄰接特征矩陣[XtV]為:
[XtV=Aji?etj→ii∈Θv, j?Θinbr] (10)
[etj→i=Fj→irep, xtj-xti, ytj-yti] (11)
式中:[Θinbr]為目標(biāo)車輛節(jié)點(diǎn)i的所有鄰接車輛節(jié)點(diǎn);[Fj→irep]為鄰接車輛節(jié)點(diǎn)j與目標(biāo)車輛節(jié)點(diǎn)i的斥力場值,由3.1.1節(jié)計(jì)算得到;[Aji]為鄰接矩陣。
在車-車圖交互場構(gòu)建中,車輛節(jié)點(diǎn)之間的交互作用通過算法實(shí)現(xiàn)自動(dòng)標(biāo)注。斥力場根據(jù)車輛間的距離及其相對(duì)速度和加速度量化交互強(qiáng)度,當(dāng)斥力場值[Frep]超過模型損失最小的斥力場值[F*rep](由模型訓(xùn)練得到)時(shí),即判定兩車間存在交互作用,模型將鄰接矩陣的相應(yīng)元素置為1,否則為0。鄰接矩陣計(jì)算公式如下:
[Aji=1, 節(jié)點(diǎn) j到i存在交互0, 節(jié)點(diǎn) j到i沒有交互] (12)
3.2 圖時(shí)空注意力編碼模塊
圖注意力(Graph Attention)能夠?qū)D結(jié)構(gòu)數(shù)據(jù)進(jìn)行有效處理,并利用注意力機(jī)制來改進(jìn)圖神經(jīng)網(wǎng)絡(luò)[14](Graph Neural Network,GNN)的消息傳遞方式,每個(gè)節(jié)點(diǎn)根據(jù)其鄰接節(jié)點(diǎn)的重要性來計(jì)算加權(quán)平均特征。本文利用圖時(shí)空注意力編碼模塊,深度提取被預(yù)測(cè)車輛與周圍車輛之間的時(shí)空耦合交互。
3.2.1 空間圖注意力編碼模塊
在多車交互的交通場景下,目標(biāo)車輛的駕駛行為與周圍車輛的駕駛行為高度相關(guān)。在空間維度上,設(shè)計(jì)空間圖注意力編碼模塊,如圖3所示,用于提取目標(biāo)車輛與周圍車輛在空間維度的高度關(guān)聯(lián)性。
首先,將車-車圖交互場得到的目標(biāo)車輛節(jié)點(diǎn)特征[nodeti]與鄰接車輛節(jié)點(diǎn)特征[nodetj]進(jìn)行緯度變換,以確保后續(xù)圖空間注意力機(jī)制能夠深度提取車輛之間的空間交互關(guān)系,具體公式如下:
[hti=?centernodeti] (13)
[htij=?nbrnodetj,etj→i] (14)
式中:[?center]、[?nbr]為特征向量經(jīng)過連續(xù)的全連接層、層歸一化及ReLU激活變換,[hti]為t時(shí)刻目標(biāo)車輛節(jié)點(diǎn)特征編碼,[htij]為t時(shí)刻目標(biāo)車輛節(jié)點(diǎn)i與其鄰接車輛節(jié)點(diǎn)j的交互特征編碼。
在研究目標(biāo)車輛與周圍車輛的空間交互作用時(shí),僅考慮它們之間的歐式距離是不夠合理的。雖然歐式距離是一個(gè)基本的衡量標(biāo)準(zhǔn),但它忽略了影響車輛交互的動(dòng)態(tài)信息。因此,本文基于建立的車-車圖交互場模型,結(jié)合注意力機(jī)制[15],形成空間圖注意力機(jī)制,深度提取車輛在空間上的交互行為。將目標(biāo)車輛節(jié)點(diǎn)特征編碼[hti]和交互特征編碼[htij]輸入至空間注意力模塊,注意力機(jī)制通過Query(查詢)與Key(鍵)的注意力匯聚實(shí)現(xiàn)對(duì)Value(值)的注意力權(quán)重分配,生成最終的輸出結(jié)果,其具體的實(shí)現(xiàn)過程為:
[Qt=Wq?hti, Kt=Wk?htij, Vt=Wv·htij] (15)
式中:[Qt]、[Kt]、[Vt]為t時(shí)刻注意力機(jī)制的查詢、鍵、值,[Wq、Wk、Wv]為空間注意力中對(duì)應(yīng)的線性權(quán)重矩陣。
計(jì)算[htij]對(duì)[hti]的注意力值為:
[Zti=softmaxQtdkKtT·Vt] (16)
將維度d等分m份,d/m=dk,利用門控函數(shù)對(duì)目標(biāo)車輛節(jié)點(diǎn)與鄰接車輛節(jié)點(diǎn)的交互信息進(jìn)行更新與聚合,具體的實(shí)現(xiàn)過程為:
[gateti=sigmoidWcenterhti+Wnbr·Zti] (17)
[Zti=gateti⊙Wself·hti+1-gateti⊙Zti] (18)
式中:[gateti]為t時(shí)刻門控機(jī)制的輸出,[Zti]為更新聚合后的目標(biāo)車輛節(jié)點(diǎn)特征,[Wcenter]、[Wnbr]、[Wself]為對(duì)應(yīng)的權(quán)重矩陣,[⊙]為矩陣的乘積。
將歷史軌跡時(shí)長內(nèi)的車輛運(yùn)動(dòng)特征通過空間圖注意力編碼模塊可得目標(biāo)車輛與周圍車輛的空間交互特征[Senc?RN×T×D],[N]為當(dāng)前交通場景所含車輛節(jié)點(diǎn)數(shù)量總和,[T]為歷史軌跡時(shí)長,[D]為特征維度。
3.2.2 時(shí)間多頭注意力模塊
在當(dāng)前時(shí)刻,車輛自身狀態(tài)與其過去的狀態(tài)緊密相關(guān),且車輛在行駛中與周圍車輛的空間交互隨時(shí)間動(dòng)態(tài)變化。因此,設(shè)計(jì)時(shí)間多頭注意力模塊,如圖4所示,用于捕捉車輛之間隨時(shí)間推移而變化的空間交互的內(nèi)在相關(guān)性。
首先,將空間交互特征編碼[Senc]作為輸入,并引入時(shí)間掩碼矩陣,以此確保僅計(jì)算當(dāng)前時(shí)刻的時(shí)間依賴特征。定義時(shí)間掩碼矩陣為上三角矩陣,設(shè)置需要掩蓋的位置為負(fù)無窮或者極小值,使得其在后續(xù)操作中注意力權(quán)重趨近于零。此外,構(gòu)建位置編碼以便模型理解輸入歷史軌跡特征的順序性,采用三角函數(shù)對(duì)位置編碼,可表示為:
[PoEt,2i=sint10 0002iD] (19)
[PoEt,2i+1=cost10 0002iD] (20)
式中:[PoEt,2i]和[PoEt,2i+1]分別為時(shí)刻t歷史軌跡空間特征在[2i]和[2i+1]維度的位置編碼。
將位置編碼與空間交互特征編碼結(jié)合,結(jié)合多頭注意力機(jī)制,提取車輛在時(shí)間維度上的交互變化。具體步驟如下:
[Qi=WQ1Senc+PoE, Ki=WK1Senc+PoE, Vi=WV1Senc+PoE ] (21)
式中:[WQ1、WK1、WV1]為時(shí)間注意力機(jī)制中的線性權(quán)重矩陣。
計(jì)算時(shí)刻t的注意力值[headi]:
[headi=softmaxQidkKiT·Vi] (22)
多頭注意力機(jī)制能夠避免注意力過度集中在自身位置,并對(duì)軌跡時(shí)間特征從不同層面進(jìn)行提取,因此將式(22)平行計(jì)算h次,Con為拼接操作,將h個(gè)注意力頭進(jìn)行合并:
[MhAqt,kt, vt=Conhead1, head2, …, headh] (23)
在特征維度上對(duì)[Qi]、[Ki]、[Vi]均分并求其注意力值[headi],隨后進(jìn)行拼接并經(jīng)過層歸一化、殘差連接及MLP得到其完整的圖時(shí)空融合特征編碼[STenc?RN×D],[N]為當(dāng)前交通場景所含車輛節(jié)點(diǎn)數(shù)量總和。
3.3 解碼器
車輛行駛軌跡通常呈現(xiàn)多模態(tài)特征,通過將駕駛員的意圖建模為橫向與縱向行為來進(jìn)行表征。橫向行為包括當(dāng)前車道行駛、左換道、右換道,而縱向行為則涵蓋恒定速度、加速、減速。將橫向和縱向行為類型組合構(gòu)成駕駛行為集N,即:N={ni|i=1,2,…,9}。
將圖時(shí)空注意力編碼模塊輸出的圖時(shí)空融合特征STenc經(jīng)過含Softmax激活函數(shù)的全連接(Fully Connected,F(xiàn)C)層,可得橫向行為和縱向行為意圖概率PH、PV,進(jìn)一步計(jì)算每種駕駛行為意圖的概率分布P(ni|X)。具體可表示為:
[PH=SoftmaxSTencWH+bHPV=SoftmaxSTencWV+bV] (24)
式中,PH、PV為車輛橫、縱向行為意圖概率;STenc為圖時(shí)空注意力編碼模塊輸出的圖時(shí)空融合特征;Softmax為一種激活函數(shù),[WH]、[WV]為對(duì)應(yīng)的權(quán)重矩陣,[bH]、[bV]為對(duì)應(yīng)的偏置。
利用二元高斯分布對(duì)未來軌跡的不確定性進(jìn)行建模,可表示為:
[PY|X=iPRY|niPni|X,ni∈N] (25)
式中:R=[Rt+1,…,Rt+tf]為二元高斯分布參數(shù),[Rt=μt,Σt]為車輛未來位置在時(shí)刻t的均值和協(xié)方差。
然后,將橫縱向行為意圖的獨(dú)熱編碼向量與圖時(shí)空注意力編碼模塊的輸出STenc拼接,通過LSTM解碼器得到目標(biāo)車輛的未來預(yù)測(cè)軌跡,具體表示為:
[et=FCeConcatSTenc,PH,PV,We] (26)
[htd=LSTMet,ht-1d,Wdecoder] (27)
[θt=μt,σt, ρt=FCθhtd,Wθ] (28)
式中:We和[Wθ]為對(duì)應(yīng)FC層的可學(xué)習(xí)權(quán)重矩陣,Wdecoder為解碼器的可學(xué)習(xí)權(quán)重矩陣,[μt]、[σt]、[ρt]分別為未來軌跡預(yù)測(cè)值的均值、方差和相關(guān)系數(shù)。
[μt]和[Σt]為車輛在未來時(shí)刻的坐標(biāo)位置和不確定性程度,可表示為:
[μt=μtxμty, Σt=σtx2σtxσtyρtσtxσtyρtσty2] (29)
3.4 損失函數(shù)
均方誤差(Mean Squared Error,MSE)反映了模型預(yù)測(cè)值與實(shí)際觀測(cè)值之間的差異程度,是衡量模型預(yù)測(cè)性能的重要指標(biāo)。在模型訓(xùn)練前n輪次的初期階段,由于模型參數(shù)尚未收斂,使用MSE能夠幫助模型快速優(yōu)化,減少初始的預(yù)測(cè)誤差,因此將均方誤差作為模型初始訓(xùn)練損失函數(shù)。MSE損失函數(shù)可表示為:
[M=t=1Tfxtte-xtpd2+ytte-ytpd2] (30)
式中:[xtte,ytte]和[xtpd,ytpd]分別為車輛在時(shí)刻t的實(shí)際坐標(biāo)和預(yù)測(cè)坐標(biāo)。
車輛軌跡預(yù)測(cè)問題本質(zhì)上是一個(gè)多模態(tài)問題,第n輪次之后,單純的MSE難以刻畫軌跡的多樣性和不確定性。而極大似然估計(jì)的負(fù)對(duì)數(shù)似然(Negative Log-Likelihood,NLL)可以通過對(duì)預(yù)測(cè)軌跡的概率分布建模,更好地處理多模態(tài)輸出,提高預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性。通過對(duì)訓(xùn)練損失值和驗(yàn)證集的監(jiān)測(cè),當(dāng)模型的MSE損失在約10輪訓(xùn)練后趨于穩(wěn)定,因此將NLL作為模型訓(xùn)練后期階段的損失函數(shù)。NLL損失函數(shù)可表示為:
[L=-logPRY|nte, XPnte|X] (31)
這種根據(jù)不同階段選擇合適的損失函數(shù)的訓(xùn)練策略,提高了模型的預(yù)測(cè)精度和收斂速度。
4 基于NGSIM數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證與分析
4.1 數(shù)據(jù)集及其衡量方式
本文采用美國聯(lián)邦公路管理局(Federal Highway Administration,F(xiàn)HWA)收集的下一代仿真[16](Next Generation Simulation,NGSIM)數(shù)據(jù)集,選取其中的US101、I-80高速公路路段車輛軌跡數(shù)據(jù)集驗(yàn)證第3節(jié)提出的軌跡預(yù)測(cè)模型性能,數(shù)據(jù)集中以10 Hz的頻率統(tǒng)計(jì)了車輛及前后車輛的詳細(xì)運(yùn)動(dòng)信息,包括車輛尺寸、橫縱坐標(biāo)、車道信息、速度以及加速度等,研究區(qū)域路段如圖5所示。
由于I-80和US-101數(shù)據(jù)集是從高速公路上方多個(gè)攝像頭采集的視頻中提取得到,因此存在一定的噪聲和誤差。首先利用多步濾波法和對(duì)數(shù)指數(shù)平均對(duì)車輛軌跡數(shù)據(jù)進(jìn)行預(yù)處理,并利用處理后的位置數(shù)據(jù)重構(gòu)速度、加速度等信息[17]。利用預(yù)處理后的數(shù)據(jù)集提取車輛軌跡,其中每條軌跡被分為8 s的片段,前3 s為輸入模型的歷史軌跡時(shí)長,后5 s則用于未來軌跡的預(yù)測(cè)。將數(shù)據(jù)集按7∶1∶2的比例劃分為訓(xùn)練數(shù)據(jù)、評(píng)估數(shù)據(jù)和測(cè)試數(shù)據(jù)。
4.2 訓(xùn)練參數(shù)設(shè)置
利用Pytorch深度學(xué)習(xí)框架對(duì)本文提出的基于圖時(shí)空注意力的多車交互軌跡預(yù)測(cè)模型進(jìn)行訓(xùn)練與評(píng)估。模型的超參數(shù)根據(jù)文獻(xiàn)[18]~文獻(xiàn)[22]選取,設(shè)置批量大小為128,初始學(xué)習(xí)率為0.000 5,丟棄率為0.1,權(quán)重衰減為0.000 1,并通過Adam優(yōu)化器對(duì)模型進(jìn)行參數(shù)優(yōu)化。
4.3 試驗(yàn)結(jié)果與分析
采用以下兩種指標(biāo)對(duì)模型軌跡預(yù)測(cè)質(zhì)量與效果進(jìn)行合理評(píng)估。
均方根誤差(Root Mean Square Error,RMSE)是車輛軌跡預(yù)測(cè)的常用評(píng)價(jià)指標(biāo)之一,時(shí)刻[t]的RMSE計(jì)算公式為:
[R=1Ni=1Nxti-xti2+yti-yti2] (32)
式中:N為車輛樣本數(shù),[xti,yti]和[xti,yti]分別對(duì)應(yīng)車輛i在時(shí)刻t的預(yù)測(cè)位置和地面真實(shí)位置。
真實(shí)軌跡的NLL側(cè)重于評(píng)估多模態(tài)軌跡預(yù)測(cè)的準(zhǔn)確性。計(jì)算公式為:
[N=-logiPθY|mi,XPmi|X,mi∈M] (33)
4.3.1 測(cè)試集實(shí)驗(yàn)結(jié)果
在完成模型訓(xùn)練后,采用測(cè)試數(shù)據(jù)對(duì)模型的預(yù)測(cè)效果進(jìn)行評(píng)估,模型在1~5 s預(yù)測(cè)時(shí)長內(nèi)的RMSE和NLL指標(biāo)值如表1所示。
對(duì)表1進(jìn)行分析可知,在1~5 s的預(yù)測(cè)時(shí)長上所提出的預(yù)測(cè)模型均具有較低的RMSE和NLL值,這表明該模型可以對(duì)車輛軌跡進(jìn)行較為準(zhǔn)確的預(yù)測(cè),此外,可以看出,在5 s的長時(shí)預(yù)測(cè)中,該模型依然展現(xiàn)出良好的性能。
4.3.2 模型對(duì)比實(shí)驗(yàn)結(jié)果
為了驗(yàn)證模型的預(yù)測(cè)精度,選擇CV、CS-LSTM[18]、PiP[19]、S-LSTM[20]、ADI-DCS-GRU(M)[21]、TSMHA[22]6種模型與GSTAM模型進(jìn)行對(duì)比分析,所有模型的超參數(shù)與4.2節(jié)相同。對(duì)比模型如下:
a. CV:通過恒速卡爾曼濾波器得到車輛的未來預(yù)測(cè)軌跡;
b. CS-LSTM:利用編-解碼結(jié)構(gòu),并疊加卷積和池化層捕捉車輛時(shí)空交互,生成目標(biāo)車輛的多模態(tài)軌跡預(yù)測(cè);
c. PiP:考慮自車和周圍目標(biāo)車輛的空間關(guān)系,利用注意力機(jī)制實(shí)現(xiàn)軌跡預(yù)測(cè);
d. S-LSTM:利用LSTM編-解碼器預(yù)測(cè)車輛未來軌跡;
e. ADI-DCS-GRU(M):利用注意力機(jī)制和深度交互GRU算法實(shí)現(xiàn)車輛未來軌跡的多模態(tài)預(yù)測(cè);
f. TSMHA:考慮時(shí)空維度特征影響,利用多頭注意力機(jī)制實(shí)現(xiàn)車輛未來軌跡的預(yù)測(cè)。
利用RMSE和NLL兩個(gè)指標(biāo)對(duì)本文模型與6種模型的結(jié)果[18-22]進(jìn)行對(duì)比分析,結(jié)果如圖6、圖7所示。
對(duì)圖6、圖7分析可知,本文提出的模型擁有最低的RMSE和NLL值,相較于其他模型,能夠更加準(zhǔn)確地對(duì)目標(biāo)車輛的未來軌跡進(jìn)行預(yù)測(cè)。
4.4 消融實(shí)驗(yàn)
消融實(shí)驗(yàn)通過逐步剔除或更改模型的特定組成部分,驗(yàn)證各個(gè)模塊對(duì)模型整體性能的重要性程度。
將組成該預(yù)測(cè)模型的車-車圖交互場、空間圖注意力交互、時(shí)間多頭注意力模塊分別進(jìn)行消融,選用5 s長時(shí)多模態(tài)預(yù)測(cè)效果進(jìn)行評(píng)估,其結(jié)果如表2所示。
對(duì)表2進(jìn)行分析可得,車-車圖交互場、空間圖注意力交互、時(shí)間多頭注意力模塊對(duì)該模型軌跡預(yù)測(cè)性能的提高均表現(xiàn)為積極作用。對(duì)車-車圖交互場進(jìn)行消融,模型具有最高的RMSE和NLL值,其模型預(yù)測(cè)性能降低最為明顯,這是因?yàn)檐?車圖交互場能夠有效表征目標(biāo)車輛與周圍車輛的交互作用,為模型的后續(xù)模塊學(xué)習(xí)車輛歷史軌跡之間的時(shí)空交互提供了豐富的先驗(yàn)知識(shí);相較于其他兩個(gè)模塊,空間圖注意力交互模塊對(duì)于模型預(yù)測(cè)性能的貢獻(xiàn)程度較低,這是因?yàn)檐?車圖交互場在此之前已經(jīng)對(duì)車輛之間的空間交互作用進(jìn)行了有效提取;除此之外,時(shí)間多頭注意力模塊對(duì)模型的預(yù)測(cè)性能也具有較大的影響,這主要是因?yàn)檐囕v運(yùn)動(dòng)狀態(tài)不斷隨著時(shí)間進(jìn)行變化,且車輛當(dāng)前時(shí)刻的運(yùn)動(dòng)狀態(tài)與其歷史運(yùn)動(dòng)狀態(tài)高度相關(guān)。
4.5 預(yù)測(cè)結(jié)果可視化
為了更加直觀地評(píng)估該預(yù)測(cè)模型的性能,對(duì)多車交互場景下的多模態(tài)軌跡預(yù)測(cè)結(jié)果進(jìn)行可視化操作。選用NGSIM數(shù)據(jù)集中擁擠程度不同的交通場景和換道交通場景,對(duì)預(yù)測(cè)結(jié)果進(jìn)行可視化分析。將目標(biāo)車輛作為坐標(biāo)原點(diǎn),黑色虛線為車輛歷史軌跡,紅色虛線為目標(biāo)車輛的多模態(tài)預(yù)測(cè)軌跡,黑色實(shí)線為目標(biāo)車輛的真實(shí)軌跡。
4.5.1 輕度擁擠交通場景
從數(shù)據(jù)集中提取輕度擁擠場景對(duì)多模態(tài)的預(yù)測(cè)結(jié)果進(jìn)行可視化,結(jié)果如圖8所示。
從得到的多模態(tài)預(yù)測(cè)軌跡中提取最優(yōu)預(yù)測(cè)軌跡,對(duì)測(cè)試集中直行、左換道、右換道的交通場景進(jìn)行可視化,結(jié)果如圖9所示。
由圖9分析可得,在輕度擁擠交通場景下,分布在目標(biāo)車輛的周圍車輛較少,無論是直行場景,還是換道場景,GSTAM模型均能夠精確預(yù)測(cè)目標(biāo)車輛的未來軌跡。
4.5.2 中度擁擠交通場景
從數(shù)據(jù)集中提取中度擁擠場景對(duì)多模態(tài)的預(yù)測(cè)結(jié)果進(jìn)行可視化,結(jié)果如圖10所示。
從得到的多模態(tài)預(yù)測(cè)軌跡中提取最優(yōu)預(yù)測(cè)軌跡,對(duì)測(cè)試集中直行、左換道、右換道的交通場景進(jìn)行可視化,結(jié)果如圖11所示。
在中度擁擠交通場景下,車輛分布較為密集,由圖11a可知,在當(dāng)前直行場景下,目標(biāo)車輛左側(cè)與右側(cè)均有車輛行駛,對(duì)于目標(biāo)車輛,此時(shí)最好的行駛策略為保持當(dāng)前車道行駛,預(yù)測(cè)出的未來軌跡與目標(biāo)車輛的真實(shí)軌跡基本吻合。在換道場景下,分析圖11b和圖11c可知,在當(dāng)前左換道場景下,周圍車輛主要分布在目標(biāo)車輛左后方和右前方,此時(shí)目標(biāo)車輛進(jìn)行左換道,預(yù)測(cè)出的未來軌跡與其歷史軌跡一致。同理,右換道場景下,目標(biāo)車輛的未來預(yù)測(cè)軌跡與其真實(shí)軌跡依然保持一致。
4.5.3 重度擁擠交通場景
從數(shù)據(jù)集中提取重度擁擠場景對(duì)多模態(tài)的預(yù)測(cè)結(jié)果進(jìn)行可視化,結(jié)果如圖12所示。
從得到的多模態(tài)預(yù)測(cè)軌跡中提取最優(yōu)預(yù)測(cè)軌跡,對(duì)測(cè)試集中直行、左換道、右換道的交通場景進(jìn)行可視化,結(jié)果如圖13所示。
在重度擁擠交通場景下,目標(biāo)車輛周圍分布的車輛十分密集,目標(biāo)車輛趨向于跟馳行駛。由圖13可得,在直行場景下,此時(shí)目標(biāo)車輛左側(cè)與右側(cè)車輛十分密集,目標(biāo)車輛無法進(jìn)行換道,目標(biāo)車輛保持當(dāng)前車輛行駛,預(yù)測(cè)出的車輛軌跡與真實(shí)軌跡一致。在換道場景下,預(yù)測(cè)出的目標(biāo)車輛未來軌跡與真實(shí)軌跡也基本一致。
分析圖8~圖13的可視化結(jié)果可知,在3種不同擁擠程度的交通場景下,本文提出的模型均能對(duì)目標(biāo)車輛的未來軌跡進(jìn)行較為精確地預(yù)測(cè)。
5 結(jié)束語
本文針對(duì)多車交互場景下自動(dòng)駕駛車輛軌跡預(yù)測(cè)問題,利用斥力場和圖模型表征車輛之間的交互關(guān)系,且結(jié)合時(shí)空注意力機(jī)制深度提取目標(biāo)車輛與周圍車輛的動(dòng)態(tài)時(shí)空交互特征,并將其與車輛橫縱向行為意圖融合,提出了GSTAM車輛軌跡預(yù)測(cè)模型,基于NGSIM數(shù)據(jù)集對(duì)模型進(jìn)行驗(yàn)證與分析,結(jié)果表明:
與CS-LSTM、S-LSTM、ADI-DCS-GRU(M)、TSMHA等模型相比,GSTAM模型具有最低的RMSE和NLL值,表明該模型能夠?qū)ψ詣?dòng)駕駛車輛軌跡進(jìn)行更為精確地預(yù)測(cè)。
對(duì)模型進(jìn)行消融實(shí)驗(yàn),發(fā)現(xiàn)移除車-車圖交互場模型性能降低明顯,可見GSTAM模型引入的車-車圖交互場能夠?yàn)檐壽E預(yù)測(cè)模型后續(xù)提取車輛間時(shí)空交互提供豐富的先驗(yàn)知識(shí),有效提高了軌跡預(yù)測(cè)的精確度。
選用不同擁擠程度下的場景對(duì)預(yù)測(cè)結(jié)果進(jìn)行可視化,包括直行、左換道以及右換道,模型預(yù)測(cè)出的未來軌跡能夠切合目標(biāo)車輛的真實(shí)軌跡。
參 考 文 獻(xiàn)
[1] 郭景華, 肖寶平, 王靖瑤, 等. 基于Residual BiLSTM網(wǎng)絡(luò)的車輛切入意圖預(yù)測(cè)研究[J]. 汽車工程, 2021, 43(7): 971-977.
GUO J H, XIAO B P, WANG J Y, et al. Study on Vehicle Cut-in Intention Prediction Based on Residual BiLSTM Network[J]. Automotive Engineering, 2021, 43(7): 971-977.
[2] CARVALHO A, GAO Y, LEFEVRE S, et al. Stochastic Predictive Control of Autonomous Vehicles in Uncertain Environments[C]// 12th International Symposium on Advanced Vehicle Control. Tokyo: Society of Automotive Engineers of Japan, 2014: 1-9.
[3] DANIELSSON S, PETERSSON L, EIDEHALL A. Monte Carlo Based Threat Assessment: Analysis and Improvements[J]. Intelligent Vehicles Symposium. Istanbul: IEEE, 2007: 233-238
[4] MANDALIA H M, SALVUCCI M D D. Using Support Vector Machines for Lane-Change Detection[C]// Proceedings of the Human Factors and Ergonomics Society Annual Meeting. Los Angeles: SAGE Publications Sage CA, 2005: 1965-1969.
[5] IZQUIERDO R, PARRA I, MUNOZ-BULNES J, et al. Vehicle Trajectory and Lane Change Prediction Using Ann and Svm Classifiers[C]// 2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC). Yokohama: IEEE, 2017: 1-6.
[6] DENG Q, SOFFKER D. Improved Driving Behaviors Prediction Based on Fuzzy Logic-Hidden Markov Model (Fl-Hmm)[C]// 2018 IEEE Intelligent Vehicles Symposium (IV). Changshu, China: IEEE, 2018: 2003-2008.
[7] GAO H, QIN Y, HU C, et al. An Interacting Multiple Model for Trajectory Prediction of Intelligent Vehicles in Typical Road Traffic Scenario[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 34(9): 6468-6479.
[8] DAI S, LI L, LI Z. Modeling Vehicle Interactions via Modified LSTM Models for Trajectory Prediction[J]. IEEE Access, 2019: 38287-38296.
[9] 季學(xué)武, 費(fèi)聰, 何祥坤, 等. 基于LSTM網(wǎng)絡(luò)的駕駛意圖識(shí)別及車輛軌跡預(yù)測(cè)[J]. 中國公路學(xué)報(bào), 2019, 32(6): 34-42.
JI X W, FEI C, HE X K, et al. Intention Recognition and Trajectory Predicton for Vehicles Using LSTM Network[J].China[J]. China Journal of Highway and Transport, 2019, 32(6): 34-42.
[10] MESSAOUD K, YAHIAOUI I, VERROUST-BLONDET A, et al. Attention Based Vehicle Trajectory Prediction[J]. IEEE Transactions on Intelligent Vehicles, 2020, 6(1): 175-185.
[11] PHAN-MINH T, GRIGORE E C, BOULTON F A, et al. CoverNet: Multimodal Behavior Prediction Using Trajectory Sets[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 14074-14083.
[12] SHENG Z, XU Y, XUE S, et al. Graph-Based Spatial-Temporal Convolutional Network for Vehicle Trajectory Prediction in Autonomous Driving[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(10): 17654-17665.
[13] KHATIB O. Real-Time Obstacle Avoidance for Manipulators And Mobile Robots[J]. The International Journal of Robotics Research, 1986, 5(1): 90-98.
[14] GORI M, MONFARDINI G, SCARSELLI F. A New Model for Learning in Graph Domains[C]// 2005 IEEE International Joint Conference on Neural Networks. Montreal: IEEE, 2005, 2: 729-734.
[15] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[J]. Advances in Neural Information Processing Systems, 2017: 1-15
[16] ALEXIADIS V, COLYAR J, HALKIAS J, et al. The Next Generation Simulation Program[J]. Institute of Transportation Engineers ITE Journal, 2004, 74(8): 22-26.
[17] 張新鋒, 王萬寶, 柳歡, 等. 高速動(dòng)態(tài)交通場景下自動(dòng)駕駛車輛換道意圖識(shí)別模型研究[J]. 汽車技術(shù), 2023(4): 8-15.
ZHANG X F, WANG W B, LIU H, et al. Research on Lane Change Intention Recognition Model of Automated Vehicle in High-Speed Dynamic Traffic Scenario[J]. Automobile Technology, 2023(4): 8-15.
[18] TRIVEDI M M, DEO N. Convolutional Social Pooling for Vehicle Trajectory Prediction[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Salt Lake City, UT, USA: IEEE, 2018: 1468-1476.
[19] SONG H, DING W, CHEN Y, et al. Pip: Planning-Informed Trajectory Prediction for Autonomous Driving[C]// Computer Vision - ECCV 2020 16th European Conference. Glasgow, UK: Springer, 2020: 598-614.
[20] ALAHI A, GOEL K, RAMANATHAN V, et al. Social LSTM: Human Trajectory Prediction in Crowded Spaces[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA: IEEE, 2016: 961-971.
[21] 田彥濤, 黃興, 盧輝遒, 等. 基于注意力與深度交互的周車多模態(tài)行為軌跡預(yù)測(cè)[J]. 吉林大學(xué)學(xué)報(bào)(工學(xué)版), 2023(5): 1474-1480.
TIAN Y T, HUANG X, LU H Q, et al. Multi?Mode Behavior Trajectory Prediction of Surrounding Vehicle Based on Attention and Depth Interaction[J]. Journal of Jilin University (Engineering and Technology Edition), 2023(5): 1474-1480.
[22] 宋秀蘭, 董兆航, 單杭冠, 等. 基于時(shí)空融合的多頭注意力車輛軌跡預(yù)測(cè)[J]. 浙江大學(xué)學(xué)報(bào)(工學(xué)版), 2023, 57(8): 1636-1643.
SONG X L, DONG Z H, SHAN H G, et al. Vehicle Trajectory Prediction Based on Temporal-Spatial Multi-Head Attention Mechanism[J]. Journal of Zhejiang University (Engineering Science), 2023, 57(8): 1636-1643.
(責(zé)任編輯 王 一)
修改稿收到日期為2024年10月28日。