基于時間信息增強Transformer的短時交通流預測模型

關鍵詞：交通流預測;深度學習;長短期記憶網絡;Transformer;圖卷積網絡

中圖分類號：TP399 文獻標志碼：A

0 引言（Introduction）

隨著我國城市交通擁堵問題愈發嚴重，建設智能交通系統已成為提高路網通行效率，緩解交通擁堵問題的重要手段[1]。實時、準確的交通流預測不僅能為交通信號控制提供必要的信息支撐，還能輔助規劃最優出行路線以充分利用路網的承載能力，是智能交通系統的重要組成部分。

近年來，基于深度學習的交通流預測方法表現出了十分優秀的性能[2]。卷積神經網絡（Convolutional Neural Network，CNN）、圖卷積網絡（Graph Convolutional Network，GCN）和循環神經網絡（Recurrent Neural Network，RNN）已被廣泛應用于交通流預測領域[3-5]。

然而，現有深度學習方法在提取多維空間特征、同時建模短期和長期時間依賴關系方面存在一定的局限性，并且多數研究人員僅使用預測精度作為模型的評價指標，忽略了模型復雜度對模型實時響應能力的影響。針對上述問題，本文提出了一種基于時間信息增強Transformer的短時交通流預測模型（TIE-Trans），在進一步提高對時空特征提取能力的同時，有效地抑制了模型復雜度的增長。

1 相關工作（Related work）

以往的交通流預測方法大致可分為參數方法、機器學習方法和深度學習方法3類。其中，參數方法和機器學習方法的提出時間較早，現有的研究一般將其與深度學習方法結合使用。

例如，MA等[6]利用K均值算法對包含不同交通流量模式的數據進行分組，再利用深度學習方法對每組數據分別建立預測模型，避免了包含不同交通流量模式的數據之間相互干擾。游茜[7]同時使用稀疏自動編碼器和LSTM 捕獲交通流數據中的時間相關性，并使用注意力機制進一步改善預測模型的性能。

近年來，深度學習方法是交通流預測領域的重點研究內容。LI等[8]提出了一種基于小波分解、CNN和LSTM（Longshort-term memory network， LSTM）的模型用于高速公路流量預測。為了提高長時預測的精度，該模型首先利用小波分解將原始交通流數據分解為高頻數據和低頻數據，再分別使用CNN-LSTM模塊捕獲時空特征。ZHENG等[9]設計了一個包含注意力機制的conv-LSTM 模型以增強捕獲時間特征的能力。該模型還使用了多組深度神經網絡分別捕獲近期數據、日周期數據和周周期數據的時空特征，有效地提高了預測精度。YAN等[10]重新設計了Transformer模型中編碼器、解碼器的結構以捕獲全局和局部的空間相關性，解決了原始Transformer模型無法直接處理鄰接矩陣的問題。GUO等[11]將動態GCN模塊嵌入至Transformer模型內部，以動態方式對空間相關性進行建模。該模型還對Transformer中的多頭自注意力機制進行了優化，解決了傳統多頭自注意力在數值數據預測中局部趨勢不可知的問題。CHEN等[12]同時使用預測解碼器和回憶解碼器構建了一個雙向Transformer模型，利用回憶解碼器執行“現在-過去”的學習任務，為預測任務提供輔助信息。

3 模型結構（Model structure）

為了更有效地建模交通流量中的時空特征和周期性特征，本文提出了一種基于時間信息增強Transformer的短時交通流預測模型（TIE-Trans），其整體框架如圖1所示。在TIETrans模型中，輸入的流量數據會被預先分為“近期數據”“日周期數據”“周周期數據”3組。與此相對應的是，模型也包含一個近期數據特征提取模塊和兩個周期性數據特征提取模塊。近期數據特征提取模塊由一個多圖卷積層和一個LSTMTrans層組成，能夠有效地建模多個維度的空間相關性和不同距離上的時間依賴關系。周期性數據特征提取模塊由CNN和LSTM網絡組成，它不僅能夠捕獲交通流量的周期性變化規律，用于修正由近期數據得到的預測值，還具有較低的時間復雜度，保證預測模型的響應速度。使用3個可訓練的權重矩陣將上述3個模塊的輸出進行加權融合，即可得到最終的預測結果。

3.1 近期數據特征提取模塊

3.1.1 多圖卷積層

由于以RNN為代表的時序預測模型無法有效地捕獲節點間的空間依賴關系，因此需要使用CNN、GCN等神經網絡與時序預測模型聯合提取時空特征。然而，CNN最初是一種用于處理圖像數據的神經網絡，只能處理規則的歐式數據，如圖2（a）所示。與CNN相比，GCN可以通過鄰接矩陣表示不規則的路網空間結構，如圖2（b）所示，在交通流預測任務中更具優勢。值得注意的是，原始的GCN通常是基于拓撲圖或距離圖來構建鄰接矩陣，這種單一的圖結構很難充分描述不同交通節點間的空間依賴關系[13]。為了捕獲更深層次的空間依賴關系，本研究設計了一個流量相似性圖，并與距離圖一同組成多圖卷積網絡。

3.2 周期性數據特征提取模塊

通常情況下，人類活動具有一定的規律性，這使得每日或每周的交通流量模式會呈現出明顯的周期性變化，如圖5所示，交通流量具有“日周期”和“周周期”變化規律[15]。然而，交通流預測模型輸入數據的時間跨度一般不會超過2 h，這遠遠小于“日周期”和“周周期”的周期長度。如果直接將過去一周的交通流量數據一次性輸入預測模型中，不僅會使得模型的計算復雜度急劇增大，還會引入大量的無關數據，進而對預測結果產生負面影響。

為了捕獲交通流量的周期性變化，一些研究人員將其設計的預測模型復制為3份，分別建模“近期數據”“日周期數據”“周周期數據”的時空相關性。為了提高預測模型的響應速度，本研究采用了一種更加輕量化的模型結構。CNN是交通流預測領域中常用的神經網絡之一，它使用一個固定形狀的卷積核以聚合不同交通節點間的空間信息。與多圖卷積網絡相比，CNN不需要實時計算流量相似性矩陣，時間復雜度明顯降低。因此，本研究使用兩層CNN和兩層LSTM 提取周期性數據的時空特征，并使用3個可訓練的權重矩陣融合3個模塊的輸出結果。實驗結果顯示，相較于使用3個GCN-LSTM-Trans模塊，本文采用的輕量化模型的訓練時間僅為前者的37%，有效地抑制了模型復雜度的增長。

4 仿真實驗（Simulation experiment）

4.1 數據集

為了評估本模型的真實性能，研究人員在PEMS04（Performance Measurement System Dataset 04）和PEMS08（Performance Measurement System Dataset 08）兩個公開數據集上進行了實驗。數據集由加利福尼亞州交通運輸部提供，主要包含高速路網中的車流量、行駛速度、車道占用率等信息，數據的細粒度為5 min。其中，PEMS04數據集包含307個監測點的交通數據，數據的時間跨度為2018年1月1日至2018年2月28日。PEMS08數據集包含170個監測點的交通數據，數據的時間跨度為2016年7月1日至2016年8月31日。本研究使用歷史1 h的車流量數據預測未來1 h（細粒度為5 min時，共12步）的車流量數據。

4.2 基線模型

本研究選取了6個預測模型作為本工作中的基線模型，包括1個參數模型、2個基礎的深度學習模型及3個最新的深度學習模型。下文將對這些模型進行簡要介紹并注明模型來源。

（1）ARIMA[16]：ARIMA模型是自回歸模型（AR）、微分過程（I）和移動平均模型（MA）的組合。ARIMA模型可以捕捉數據的變化趨勢，但很難捕捉非線性關系。

（2）LSTM[17]：LSTM是RNN的一個改進版本，它通過引入門控機制緩解RNN難以捕獲長期時間依賴關系的問題。

（3）CNN-LSTM[18]：CNN是機器視覺領域中常用的模型之一，也可以用于聚合不同交通節點的空間信息。在此模型中，它與LSTM串行連接以聯合提取時空特征。

（4）ttnet[10]：ttnet是Transformer模型遷移到交通流預測領域后的版本，它對原始模型中的嵌入層和編碼-解碼器部分進行了優化。

（5）ASTGNN[11]：ASTGNN是Transformer的一個改進版本，它將動態圖卷積網絡嵌入Transformer模型的內部以捕獲時變的空間依賴關系。

（6）BI-STAT[12]：BI-STAT是一種雙向Transformer網絡，它利用回憶解碼器增強了模型捕獲上、下文信息的能力，并利用動態停止模塊降低了模型的計算復雜度。

4.3 實驗設置

本研究首先按照6∶2∶2的比例將所有數據劃分為訓練集、驗證集和測試集。之后，對所有的輸入數據進行0均值歸一化，并將其輸入預測模型中進行訓練。在訓練過程中，模型會基于均方誤差（MSE）更新內部參數。在測試階段，使用平均絕對誤差（MAE）、均方根誤差（RMSE）及平均絕對百分比誤差（MAPE）評估模型的預測精度。此外，本研究會記錄模型每輪次的訓練時長，以評估模型的時間復雜度。

本模型基于Pytorch 深度學習框架構建，并在一張RTX 3060上進行訓練。模型總計訓練80輪，每輪訓練后會立即進行一輪驗證以記錄模型性能。訓練結束后，本研究再將驗證過程中記錄的最佳的參數加載至模型中進行測試。在訓練過程中，將dropout設置為0.1，初始學習率設置為0.001，并且當預測精度連續5輪沒有提升時，學習率會降低50%。具體的模型參數設置如表1所示。

4.4 實驗結果及對比分析

將本模型與6個基線模型在PEMS08和PEMS04兩個數據集上進行對比，對比內容為未來15 min、30 min和60 min的預測精度，未來60 min內的平均預測精度，以及模型的時間復雜度。表2至表4中，性能最佳的數據用加粗字體和下劃線標記，性能次佳的數據用加粗字體標記。

首先，TIE-Trans在不同數據集、不同預測時間步長上的RMSE指標均優于所有基線模型的RMSE指標。對于MAE和MAPE指標，TIE-Trans也與最新的基線模型處于同一性能水平。其次，相較于基線模型，TIE-Trans在PEMS04數據集上的性能提升幅度略高于在PEMS08數據集上的性能提升幅度。這表明本文模型在更大的區域內捕獲更加復雜的時空相關性時，也具有良好的表現。此外，如表4所示，TIE-Trans在時間復雜度上的表現遠勝于3個最新的基線模型的表現。與ttnet和ASTGNN 相比，TIE-Trans在預測精度上提高了約5%的同時，時間復雜度分別降低了18%和65%。與最優的基線模型BI-STAT相比，TIE-Trans在預測精度上提高了約1%的同時，時間復雜度降低了87%。

為了更直觀地展示預測模型在不同預測時間步長上的性能，本研究在圖6中對比了所有預測模型的誤差變化趨勢。從圖6中可以看出，在預測時間步長較短時，各種深度學習模型的性能與ARIMA模型的性能差距不大，但隨著預測時間的不斷增加，ARIMA模型的誤差急劇提高。在深度學習模型中，CNN-LSTM模型的預測精度明顯高于LSTM 模型的預測精度，這表明引入空間信息對時間序列預測有著十分積極的影響。在中長期預測方面，TIE-Trans的預測誤差低于所有基線模型的預測誤差，并且誤差并未隨著預測時間的延長而明顯增加。這是因為模型利用了交通流量的周期性變化規律對預測結果進行了進一步的修正。

5 結論（Conclusion）

本文提出了一種帶有短期時間信息增強的Transformer模型，用于解決傳統深度學習方法無法同時建模短期和長期時間相關性的問題。同時，基于距離圖和流量相似性圖構建了一個多圖卷積網絡，提高了模型建模遠距離空間相關性的能力。針對捕獲交通流的周期性特征可能導致模型復雜度急劇增大的問題，本文設計了一種輕量化的模型結構提取、融合周期性特征，保證了預測模型的實時響應能力。在兩個真實數據集上的仿真測試結果顯示，本文所提預測模型在預測精度和響應速度上的綜合表現均優于基線模型的綜合表現。這表明所設計的多圖卷積網絡與LSTM-Trans網絡在提取時空特征方面具有優秀的性能。需要注意的是，在融合交通流的周期性特征方面，本研究使用了3個固定的權重矩陣融合近期、日周期和周周期數據的預測結果。未來的研究，將考慮實時計算近期流量數據與周期性流量數據之間的時空相關性，并據此對權重矩陣進行動態調整以進一步提高預測精度。

作者簡介：

張鳴劍（1998-），男，碩士生。研究領域：交通流量預測。

葉寶林（1984-），男，博士，副教授。研究領域：智能交通。

董睿（1985-），男，碩士，講師。研究領域：智能控制，嵌入式系統。

陳濱（1987-），男，博士，副教授。研究領域：智慧交通，圖像處理，深度學習。