SW?SAN：基于Seq2Seq結合注意力機制與滑動窗口的車輛軌跡預測模型

摘" 要： 針對長時間內4～5 s車輛軌跡預測精度較差的問題，提出基于Seq2Seq結合注意力機制與滑動窗口的車輛軌跡預測模型（SW?SAN）。首先，使用滑動窗口的方法更新歷史軌跡狀態集合，利用編碼器對目標車輛的歷史軌跡數據編碼，得到歷史軌跡特征向量；其次，經過注意力機制計算歷史時間內各時刻的關聯性得分、時間注意力權重因子和歷史時間相關性特征向量；最后，解碼器將歷史時間相關性特征向量作為輸入，多次循環解碼層，輸出目標車輛的未來預測軌跡。實驗結果表明，SW?SAN模型在4 s和5 s時預測軌跡的RMSE誤差為1.99 m和1.94 m，SW?SAN模型在較長時間4～5 s的預測誤差更低，在車輛軌跡預測問題上性能更強。

關鍵詞： 交通工程； 軌跡預測； 深度學習； 編?解碼器結構； 注意力機制； 滑動窗口

中圖分類號： TN409?34； TP391.1； TP183" " " " " " " 文獻標識碼： A" " " " " " " "文章編號： 1004?373X（2024）11?0175?06

SW?SAN： Vehicle trajectory prediction model based on Seq2Seq combined

with attention mechanism and sliding window

ZHU Yunhe， LIU Mingjian， ZHU Langqian， LI Muyang

（School of Information Engineering， Dalian Ocean University， Dalian 116023， China）

Abstract： A vehicle trajectory prediction model （SW?SAN） based on Seq2Seq combined with attention mechanism and sliding window is proposed to address the issue of poor accuracy in predicting vehicle trajectories over a long period of time （4～5s）. The sliding window method is used to update the historical trajectory state set， and an encoder is used to encode the historical trajectory data of the vehicle （the object） to obtain the historical trajectory feature vector. The attention mechanism is used to calculate the relevant scores， time attention weighting factors， and historical time related feature vectors for each moment in the historical time. The decoder is used to take the historical time correlation feature vector as the input， and the decoding layer is cycled for multiple times to output the future predicted trajectory of the vehicle （the object）. The experimental results show that the root mean square error （RMSE） of the SW?SAN model in predicting trajectories at 4s and 5s are 1.99 m and 1.94 m， respectively， so the prediction error of SW?SAN model is relatively lower over a longer period of time （4～5s）， and its performance in vehicle trajectory prediction is better.

Keywords： traffic engineering; trajectory prediction; deep learning; encoder?decoder structure; attention mechanism; sliding window

0" 引" 言

根據統計數據顯示，2021年全國道路交通事故共發生273 098起，導致281 447人受傷，62 218人死亡，直接經濟損失[1]達1 450.36億元。隨著智能網聯汽車的普及，有望顯著降低交通事故的發生率。目前，充分發揮智能網聯汽車在行車安全方面的作用，首先需要對車輛行駛軌跡進行精確預測，這是實現車輛安全預警和輔助駕駛等功能的基礎和前提。

針對上述需求，國內外的學者們對車輛軌跡預測問題開展了相關研究。通過歸納總結國內外學者的研究成果，車輛軌跡預測的方法可以分為：基于模型和基于深度學習的兩類方法。

基于模型的方法主要依賴于物理學和運動學建模，將速度、加速度等作為模型的輸入結合摩擦力等外界因素，計算車輛的未來狀態。文獻[2]提出了一種基于邊緣計算的交叉路口無人駕駛車輛通行軌跡預測算法。結合高精度地圖提出基于最小二乘法和Bazier曲線的擬合算法預測車輛未來軌跡。文獻[3]提出了一種基于行為識別和曲率約束的車輛軌跡預測方法，該方法首先接收感知得到的環境車輛信息，然后依據行為識別結果，得到車輛橫、縱向運動狀態，通過約束和優化得到預測軌跡。

然而，這類基于模型的預測方法對車輛2 s內的軌跡預測較為準確，對于2～4 s的軌跡預測可靠性較低[2]。因此，軌跡預測算法從傳統的物理學模型轉向了深度學習模型。

深度學習在軌跡預測方向的研究中逐漸變成主流，由于深度學習的種種優勢，出現了很多用于軌跡預測的深度學習方法[4]。

LSTM是一種特殊的循環神經網絡，主要是為了解決長序列訓練過程中的梯度消失和梯度爆炸問題[5]。文獻[6]提出了基于LSTM深度神經網絡的智能網聯汽車軌跡預測的方法，滿足了在多種場景下的預測精度。但該研究沒有考慮車輛的交互。文獻[7]建立了一種基于長短時記憶（LSTM）網絡與注意力機制的車輛行駛軌跡預測模型，證明LSTM能適應長時域的車輛行駛軌跡預測。該研究的不足在于實驗沒有使用公共數據集，無法得知模型泛化能力。文獻[8]提出基于LSTM概率多模態預期軌跡預測方法，構建了駕駛行為意圖識別及交通車輛預期軌跡預測模型，使用公共數據集HighD對模型進行訓練、驗證與測試，進一步提高了軌跡預測的準確性。文獻[9]提出了一種新的雙軸因子化聯合預測管道，即條件目標導向軌跡預測（CGTP）框架，該框架沿代理和時間軸對未來交互進行建模，以實現目標和軌跡的交互預測。文獻[10]提出了一種基于長短期記憶編碼的雙注意機制軌跡預測方法，該方法結合自我車輛的運動趨勢。

上述研究成果雖然能夠一定程度上提高預測精度，但在使用注意力機制時，只考慮目標車輛較短時間0～3 s的軌跡來預測輸出，預測較長時間4～5 s軌跡時效果較差。針對上述問題，本文提出了基于Seq2Seq[11]網絡結合時間注意力機制和滑動窗口的車輛軌跡預測模型（Sliding Window?Seq2seq Attention Net， SW?SAN），解決了較長時間4～5 s軌跡預測精度較低的問題。

1" 軌跡預測問題描述

設本研究目標車輛集合為[C]：

[C=ci1≤i≤n，i∈N+] （1）

式中[ci]表示第[i]個目標車輛。

預測過程的時間集合分為車輛的歷史時間集合和車輛的未來軌跡預測時間集合，所有車輛使用的時間集合相同，目標車輛[ci]的時間集合可表示為：

[Ti=tj0≤j≤end，" j∈N] （2）

式中：歷史時間集合為[Thisi=tj0≤j≤obs-1， j∈N]；預測時間集合為[Tprei=tjobs≤j≤end， j∈N]；[t0]表示歷史軌跡的起始時間；[tobs-1]為歷史軌跡的終止時間點；[tobs]表示預測軌跡的起始時間；[tend]為預測軌跡的終止時間。那么[Ti]還可表示為：

[Ti=Thisi∪Tprei，" "Thisi∩Tprei=?] （3）

對于車輛[ci]，在[tj]時刻，狀態向量可以描述為：

[trij=xi，yi，vi，ai，tj] （4）

式中：[x]、[y]為以交叉路口建立坐標系的車輛的橫縱坐標；[a]為車輛加速度；[v]為車輛行駛速度。

在預測過程中，車輛[ci]狀態集合表示為[TRi]，歷史軌跡狀態集合可表示為[TRhisi]，預測軌跡狀態集合為序列[TRprei]。

[TRi=tri，jci∈C，tj∈Ti，i， j∈N+] （5）

2" 軌跡實時預測模型框架

本文研究的SW?SAN模型框架主要由編碼器、注意力機制以及解碼器組成，模型整體架構如圖1所示。

1） 根據滑動窗口方法將解碼器所預測出的目標車輛[ci]預測軌跡狀態集合[TRprei]，更新到歷史軌跡狀態集合[TRhisi]中，輸入到編碼器中。

2） 編碼器以目標車輛[ci]的歷史軌跡狀態集合[TRhisi]作為輸入，根據目標車輛[ci]在歷史時段內運動學規律，得到目標車輛[ci]的歷史時間隱藏狀態向量[hei]。

3） 根據車輛的歷史隱藏狀態向量，通過注意力機制得到車輛在未來任意時刻[tj]與歷史時間集合[Thisi]內各時刻的關聯性得分，將其經過歸一化得到時間注意力權重因子，而后將車輛的歷史時刻隱藏狀態向量與時間注意力權重因子通過加權求和的方式得到車輛在該未來時刻的歷史時間相關性特征向量。

4） 解碼器將歷史時間相關性特征向量作為輸入，輸出目標車輛[ci]的未來預測軌跡序列[TRprei]，循環解碼器將目標車輛[ci]預測軌跡狀態集合[TRprei]更新到[TRhisi]中，用于未來時間的車輛軌跡預測。

2.1" 滑動窗口

注意力模塊雖然可以提取車輛在歷史時間內的特征信息，但對長時間4～5 s軌跡的預測效果會變差。本文使用滑動窗口方法解決了這一問題?；瑒哟翱诘膶嵸|是每一次向后更新5個采樣節點，即解碼器每次預測車輛未來0.5 s的軌跡信息，并更新到歷史軌跡數據中，將更新后的歷史數據輸入到編碼器中，用于后續目標車輛軌跡的預測，而非5 s的預測時間內只使用前3 s的車輛歷史軌跡特征信息。

2.2" 軌跡編碼器模塊

車輛的軌跡本質上是一組由連續單位時刻下的車輛位置組成的時間序列，具有明顯的時間相關性，因此采用軌跡編碼器對每輛車的歷史軌跡進行編碼，流程如圖2所示。

利用LSTM對每輛車的歷史軌跡序列進行建模，在任意時刻[tj]，LSTM根據上一個時刻的隱藏層狀態和當前時刻輸入的車輛軌跡數據，通過輸入門，遺忘門和輸出門的非線性計算，得到目標車輛[ci]在任意時刻[tj]的隱藏狀態，進而能夠有效地捕獲目標車輛[ci]在任意時刻[tj]的特征信息，具體過程如下。

1） 將目標車輛[ci]歷史軌跡狀態集合為[TRhisi]輸入到編碼器中，在任意時刻[tj]，編碼器的編碼過程為：

[hei，j=ENC_LSTMtri，j，hei，j-1;We] （6）

2） 使用全連接層提升隱藏狀態[hei，j]的維度，輸入數據的維度升高操作表示為：

[hei，j=FChei，j;Wfc1] （7）

式中：[hei，j-1]表示[tj-1]時刻編碼器的隱藏層狀態；[We]、[Wfc1]分別為編碼器和輸入數據升維層的權重矩陣。

3） 輸出目標車輛[ci]在歷史時間[Thisi]的歷史軌跡特征向量，用于計算歷史時間相關性特征向量。

[Hei，Thisi=hei，jci∈C， tj∈Thisi，i， j∈N+] （8）

2.3" 時間注意力模塊

時間注意力將歷史注意力機制用于車輛的歷史時間相關性特征信息提取，主要包含權重計算和Softmax函數關聯性得分歸一化。時間注意力模塊的重點是捕獲輸入時序數據的特征，利用目標車輛歷史時間段內的狀態信息與目標車輛在未來各時刻預測軌跡之間的關聯性得分，提取對目標車輛預測有價值的特征信息，將目標車輛在歷史時間段內的信息用于目標車輛的未來軌跡預測。

時間注意力模塊結構如圖3所示。

首先，將[Hei，Thisi]與[tobs-1]時刻的特征向量[hei，obs-1]使用點乘的計算方式，得到目標車輛[ci]在[tobs-1]時刻的特征向量與歷史各時刻特征向量的關聯性得分[SThisi]。

其次，[Hei，Thisi]所得的關聯性得分與其對[tobs]時刻特征向量[hei，obs]影響程度呈正相關的關系，通過Softmax函數對關聯性得分歸一化，作為[hei，obs]的時間注意力權重因子[Watti，obs]，且[t=t1tobs-1Watti，This=1]。

然后，將[Hei，This]與[Watti，obs]加權求和得到時間特征向量[He，atti，obs]，將其作為[tobs]時刻的歷史時間相關性特征向量。

最后，挖掘目標車輛[ci]對歷史各時刻的時間依賴性，得到歷史時間相關性特征向量集合[He，atti，Tpre]。

[Watti，obs=SoftmaxbmmHe，atti，obs，Hei，ThisT ] （9）

[He，atti，obs=Watti，obsHei，This] （10）

2.4" 軌跡解碼器模塊

軌跡解碼器將LSTM網絡作為解碼層，全連接層作為解碼器的輸出層，生成目標車輛[ci]的未來軌跡，軌跡解碼器框架如圖4所示。

首先，將時間注意力模塊的歷史時間依賴性特征向量集合[He，atti，Tpre]輸入解碼器中，經過LSTM網絡層生成目標車輛[ci]在預測時間段內各時刻解碼器的隱藏狀態[Hdi，Tpre。hei，obs]是車輛[ci]在解碼器的初始隱藏狀態。在時刻[tobs+1]，車輛[ci]的解碼器隱藏狀態為：

[hdi，obs=hei，obs] （11）

[hdi，obs+1=DEC_LSTMhdi，obs;Wd] （12）

輸出層利用解碼器的隱藏狀態[Hdi，Tpre]生成車輛[ci]的預測軌跡狀態集合[TRprei]。

然后，模型會循環執行上述過程，得到目標車輛[ci]完整的車輛預測軌跡序列。

最后，編碼器將預測軌跡狀態集合[TRprei]數據更新到歷史軌跡狀態集合[TRhisi]中。

[Hdi，Tpre=hdi，obs，hdi，obs+1，…，hdi，end-1] （13）

[TRprei=FCHdi，Tpre;Wfc2] （14）

3" 實驗評估

3.1" 數據集預處理

本研究使用美國聯邦公路管理局發布的NGSIM[12]公共數據集對模型進行訓練和測試。在模型的實驗訓練以及測試階段，使用位于加利福尼亞州洛杉磯的US?101數據集和加利福尼亞州Emeryville的I?80數據集。將數據集分為80%的訓練集和20%的測試集。提取車輛ID、車輛局部坐標、車輛速度和加速度作為模型的輸入。

3.2" 實驗評估指標

3.2.1" 實驗環境

在模型的訓練和測試階段，仿真環境和超參數設置如表1所示。

3.2.2" 實驗評估指標

在實驗評估部分，采用MAE、MSE、RMSE三種評價指標對模型的性能進行評估，公式如下：

[MAE=1Ni=1Nyi-yi] （15）

[MSE=1Tt=1Txt-xt2+yt-yt2] （16）

[RMSE=t=1T（xt-xt）2+（yt-yt）2T] （17）

3.3" 實驗與分析

3.3.1" 軌跡預測效果對比實驗

選取環境?注意事項網絡模型（EA?Net）、車輛軌跡預測的時空注意LSTM模型（STAM?LSTM）以及基于產生式回放的軌跡預測模型（GRTP）與本文的SW?SAN模型，均使用每個目標車輛前3 s的歷史軌跡預測目標車輛未來5 s的軌跡，使用RMSE指標對比預測效果。

四種模型的RMSE值比較結果如表2所示。在5 s的預測時間內，環境?注意事項網絡模型在前3 s的短時間表現出了最佳的預測效果；在預測時間步4～5 s時， SW?SAN模型的RMSE值均小于2 m，較其他模型在更長時間內達到了更好的預測效果；在5 s的時間內，SW?SAN模型軌跡預測效果更好，具有更穩定的預測性能，在四種模型中效果最好，SW?SAN模型在5 s內的預測誤差為1.94 m。

3.3.2" 消融實驗

該實驗為了證實時間注意力和滑動窗口的影響，在NGSIM數據集上測試了Seq2Seq和SW?SAN模型。用RMSE來評價兩種模型。本文的SW?SAN模型提高了預測精度，表明時間注意力可以捕捉車輛的時間相關性。本模型1～5 s的RMSE值分別下降60.08%、60.79%、46.56%、49.87%和47.99%。具體信息如表3所示。

3.3.3" 車輛軌跡預測實驗

本模型在每個采樣節點時采集當前軌跡序列內所有車輛的歷史運動信息作為新的歷史信息，并依據這些信息預測下一個采樣節點前的車輛軌跡。實驗結果中，選取直行車輛軌跡和轉彎車輛軌跡兩種情況的車輛預測軌跡，如圖5、圖6所示。

從圖5、圖6中可以看出，在車輛整體趨勢直行時，車輛未來真實軌跡與預測軌跡貼合程度較高。但是，在整體趨勢轉彎的情況下，隨著預測時間變長，軌跡預測效果會下降，但同樣達到了較好的預測效果。

4" 結" 語

基于車輛在行駛過程中存在較強的時間相關性，本文提出編解碼器結合注意力機制與滑動窗口的模型（SW?SAN）。模型在歷史車輛軌跡信息中可以提取合適的上下文向量來表示車輛在行駛過程中的關鍵信息，精準預測車輛未來軌跡，解決了較長時間4～5 s未來軌跡預測精度低的問題。在直行和轉彎兩種情況下，與未來真實軌跡相近，有著良好的未來軌跡預測效果，SW?SAN模型展現出了優越的車輛軌跡預測性能。

注：本文通訊作者為劉明劍。

參考文獻

[1] 公安部辦公廳統計處.2021年全國及各?。▍^市）道路交通事故情況[J].公安研究，2022（7）：95?96.

[2] 郝璐璐，謝輝，宋康，等.基于邊緣計算的交叉路口無人駕駛車輛通行軌跡預測算法[J].汽車安全與節能學報，2021，12（2）：163?172.

[3] 謝楓，婁靜濤，趙凱，等.基于行為識別和曲率約束的車輛軌跡預測方法研究[J].汽車工程，2019，41（9）：1036?1042.

[4] 蔡國慶，劉玲，張沖，等.基于GNN?LSTM?CNN網絡的6G車輛軌跡預測算法[J].西安電子科技大學學報，2023，50（3）：50?60.

[5] 張峻峰.智能車軌跡預測綜述[J].汽車文摘，2021（8）：34?40.

[6] 熊逸展.基于LSTM深度神經網絡的智能網聯汽車軌跡預測[J].南陽師范學院學報，2022，21（1）：32?36.

[7] 郭健，楊淼禧，駱成，等.基于LSTM的跨海橋梁?；奋囕v行駛軌跡預測[J].安全與環境工程，2023，30（2）：101?108.

[8] 高鎮海，鮑明喜，高菲，等.基于LSTM概率多模態預期軌跡預測方法[J].汽車工程，2023，45（7）：1145?1152.

[9] LI D， ZHANG Q C， LU S， et al. Conditional goal?oriented trajectory prediction for interacting vehicles with vectorized representation [EB/OL]. [2022?11?02]. https：//doi.org/10.48550/arXiv.2210.15449.

[10] GUO H Y， MENG Q Y， CAO D P， et al. Vehicle trajectory prediction method coupled with ego vehicle motion trend under dual attention mechanism [J]. IEEE transactions on instrumentation and measurement， 2022， 71： 1?16.

[11] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks [C]// Advances in Neural Information Processing Systems 27： Annual Conference on Neural Information Processing Systems 2014. [S.l.： S.n.]， 2014： 3104?3112.

[12] Federal Highway Administration. NGSIM： Next generation simulation [EB/OL]. [2024?02?22]. https：//ops.fhwa.dot.gov/trafficanalysistools/ngsim.htm.

[13] CAI Y F， WANG Z H， WANG H， et al. Environment?attention network for vehicle trajectory prediction [J]. IEEE transactions on vehicular technology， 2021， 70（11）： 11216?11227.

[14] JIANG R， XU H Y， GONG G L， et al. Spatial?temporal attentive LSTM for vehicle?trajectory prediction [J]. ISPRS international journal of geo?information， 2022， 11（7）： 354.

[15] BAO P， CHEN Z H， WANG J K， et al. Lifelong vehicle trajectory prediction framework based on generative replay [J]. IEEE transactions on intelligent transportation systems， 2023， 24（12）： 13729?13741.

作者簡介：朱云鶴（1998—），男，遼寧葫蘆島人，碩士研究生，研究方向為車輛軌跡預測。

劉明劍（1984—），男，遼寧大連人，博士，講師，研究方向為多智能協作。

祝朗千（2000—），男，江蘇揚州人，碩士研究生，研究方向為車輛軌跡預測。

李沐陽（2000—），男，遼寧沈陽人，碩士研究生，研究方向為車輛軌跡預測。