基于多通道Transformer的交通量預測方法

摘 要：目前，我國高速公路擁堵程度居高不下，而交通流預測作為實現智能交通系統的重要一環，若能對其實現高精度的預測，那么將能夠高效地管理交通，從而緩解擁堵。針對該問題，提出了一種考慮時空關聯的多通道交通流預測方法（MCST-Transformer）。首先，將Transformer結構用于不同數據的內在規律提取，然后引入空間關聯模塊對不同數據間的關聯特征進行挖掘，最后，借助通道注意力整合優化全局信息。采用廣東省高速公路數據，實現了兩小時內92個收費站的高精度流量預測。結果表明：MCST-Transformer優于傳統機器學習方法以及部分基于注意力機制的時間序列模型，在120 min預測跨度下，相比貝葉斯回歸，MAPE降低了5.1%；對比Seq2Seq-Att以及Seq2Seq這些深度學習算法，所提方法的總體MAPE也能降低0.5%，說明通過多通道的方式能夠區分不同數據的特性，進而更好地預測。

關鍵詞：交通流預測；多通道；Transformer；注意力機制；高速公路

中圖分類號：TP399 文獻標志碼：A 文章編號：1001-3695（2023）02-020-0435-05

doi： 10.19734/j.issn.1001-3695.2022.06.0306

Traffic flow prediction method based on multi-channel Transformer

Zhou Chuhao， Lin Peiqun

（School of Civil Engineering amp; Transportation， South China University of Technology， Guangzhou 510641， China）

Abstract：At present， the congestion of highways in China is severe. Traffic flow prediction plays an important role in the intelligent transportation system. If it can achieve high-precision prediction， it will be able to efficiently manage traffic and alleviate congestion. To solve this issue， this paper proposed a multi-channel traffic flow prediction method （MCST-Transformer） considering spatiotemporal correlation. Firstly， it used Transformer to extract the internal laws of different data， and then introduced a spatial correlation module to mine the association features of different data. Finally， it integrated global information through channel attention. Using the data of Guangdong province highway， the proposed method realized the traffic flow prediction of 92 toll stations within two hours with high precision. The results show that MCST-Transformer is superior to traditio-nal machine learning methods and time series models based on the attention mechanism. Under the prediction horizon of 120 min， MAPE decreases by 5.1% compared with Bayesian regression. Compared with deep learning algorithms like Seq2Seq-Att and Seq2Seq， the overall MAPE of the proposed method can also be reduced by 0.5%. It indicates that the multi-channel approach can distinguish the characteristics of different data， so as to acquire better performance.

Key words：traffic flow prediction; multi-channel; Transformer; attention mechanism; highway

0 引言

作為交通流基本參數之一的交通流量，如果能實時掌握其未來長時間的演化規律并作出準確預測，對交通管理部門及時作出相應決策將是極大的助力。

從時間維度的應用角度來看，可以將交通流預測分為單時段預測和多時段預測。對于單時段預測的研究，基本都在早期［1～3］，其主要是由于數據獲取以及技術發展等原因，相比于多時段預測精度較低。從應用上看，單時段預測對實際工作幫助較小，因此，更加實際的應用模式則是多時段預測［4，5］。

從應用的空間維度考慮，同樣可以將預測分為單點預測，即單路段或者單個地點的預測［6，7］，以及多點預測，即多個地點或者說網絡預測。一般來說，可以通過重復構建單點預測模型來實現多點預測，但是，交通流有網絡特性，即不同路段之間會相互影響。重復構建模型必然會造成某些特征的冗余，所以有必要通過一個完備的模型來實現網絡預測［8，9］。

從方法層面來說，可以分為兩類。一類為傳統方法［10，11］，如差分整合移動平均自回歸模型（autoregressive integrated moving average model，ARIMA）、K近鄰算法（K-nearest neighbors，KNN）等；另一類則是深度學習方法［12］，如卷積神經網絡、生成對抗網絡。

由于交通流往往具有周期特性，與時間相關性較大，所以傳統方法中，時間序列方法比較常見。竇慧麗等人［13］使用小波分析對交通流數據進行消噪處理，然后建立ARIMA時間序列模型實現交通流短時預測。但是，ARIMA僅僅依靠自身規律，難以反映出一些交通特性。由于時間序列方法主要考慮的還是其自身規律，為了將更多的數據納入到交通流預測當中，一些傳統的機器學習算法也更多地開始應用于交通流預測。Ryu等人［14］利用互信息來構造交通狀態向量，并使用互信息作為KNN的距離度量方式。對于這些傳統方法，往往難以應用于大規模路網的交通流預測，且對于交通數據的隨機性較為敏感。因此，深度學習方法開始較為廣泛地應用于交通流預測。

對于深度學習算法，考慮數據順序的循環神經網絡（recurrent neural network，RNN）或者長短時記憶網絡（long short-term memory，LSTM）比較適用于交通流預測。Tian等人［15］在缺失數據的情況下使用LSTM進行交通流預測，且相比于傳統方法能獲得更高的精度。雖然循環神經網絡對于交通流預測問題確實能取得不錯的效果，但對于多時段預測問題，其適應性并不好。因此，基于注意力機制［16］的Sequence2Sequence模型開始被應用到交通流預測當中，實現高精度的長時間預測。李山海等人［17］在真實交通流數據集上對比多種方法，驗證了帶注意力機制的Seq2Seq模型的有效性。隨著注意力機制的深入研究，在2017年，完全由注意力機制組成的Transformer結構被提出［18］。近年來，也有一些研究將其應用于交通流預測，例如，Li等人［19］基于Transformer構建了一種輕量的交通流預測模型，能夠預測下一時段任意區域的交通量情況。但是，如何將其良好地適配到大規模區域的多時段交通流預測問題當中還有待進一步研究。

雖然現有研究能夠實現不錯的交通流預測效果［20］，但是交通流除了周期性也會存在隨機誤差，而要消除這種隨機誤差，就需要大量數據，不僅僅是考慮自身變化，還需要其他類型的數據進行補充，如多種交通流參數共同參與預測。

在此基礎上，本文提出了一種基于多通道Transformer的交通流預測模型。該方法使用通道注意力的方式整合不同數據的特征規律，并引入空間關聯模塊用于提取不同數據間的關聯特征，優化了全局信息融合。該模型能夠有效地應用于大規模區域的多時段交通流預測。

1 高速公路路網的交通流量預測問題

對于交通管理部門來說，及時掌握高速公路網的運行狀況極為重要。如果未來一定時間內，某些收費站會出現流量高峰，這可能造成下游的一些城市路段發生擁堵，所以及時獲取未來的車輛到達情況能夠使管理部門作出充分的準備來進行應對。由于高速公路網的特性，收費數據中蘊涵了非常多的信息來用于交通流預測，所以本文采用歷史流入數據（一定時間內進入高速公路網的車輛）和歷史流出數據（一定時間內離開高速公路網的車輛）作為輸入來構建預測模型，實現對未來出口流量的預測。

2 考慮時空關聯的多通道交通量預測模型

2.1 模型框架

根據式（4）的特點，提出如圖1所示的預測模型框架，并將其命名為MCST-Transformer （multi-channel spatiotemporal transformer）。

流入數據通道用于提取歷史入口流量的內在時間序列規律，并將其轉換為出口流量預測值；流出數據通道用于挖掘歷史出口流量的變化趨勢，并依據趨勢對未來作出預測；混合數據通道首先對出入口流量的空間關聯特征進行提取，生成空間權重矩陣后，將入口流量轉換為包含空間特征的混合數據，再結合提取的時間特征來生成預測值。由于Transformer近年來在多個領域都取得了非常好的效果［21］，所以使用該模型結構來挖掘數據中的內在規律。

2.2 Transformer結構

在模型框架中使用的Transformer結構如圖2所示。

由于三個通道的Transformer結構相同，所以將不同通道中Transformer的輸入設為Xζt（ζ=o，d，h）。對于編碼層（encoder）部分，因為輸入的維度大小與輸出的維度大小不一致，所以需要將輸入矩陣Ot嵌入到隱藏層維度空間（input embedding），方便與解碼層（decoder）進行相關運算。計算方式為

3 實驗案例

3.1 實驗數據及模型參數

使用的數據來自廣東省高速公路收費系統，系統記錄了每輛車進出高速的時間以及站點。實驗選取了92個出口站以及249個與出口站相關性較高的入口站。將收費數據按15 min進行統計得到交通流量。整個數據集的時間為2019年4月1日～9月30日，共17 568組數據，每組數據包含249個站該時段的入口流量以及92個站的出口流量，然后取80%的數據作為訓練集，剩下的20%作為測試集。實驗設置的所有參數大小如表1所示。

模型使用Python 3.7進行開發，并使用TensorFlow 2.1.0框架進行模型構建。因訓練過程中涉及到大量矩陣運算，實驗采用GPU加快模型訓練速度，GPU型號為GeForce RTX 2080 Ti。

3.2 評價指標

實驗使用兩種指標對預測效果進行評價，分別是均方根誤差（root mean square error，RMSE）以及平均絕對百分比誤差（mean absolute percentage error，MAPE）。計算表達式如下：

其中：N表示測試集大小；num表示出口流量預測值；ynum則是實際值。

3.3 實驗結果與分析

3.3.1 空間權重分析

由式（13）計算出的空間權重矩陣Mhybridi反映了不同站點間的關系。這里將不同入口站點對出口站點的權重求和后并按照時間進行平均，結果如圖5所示。

由圖5可以較為明顯地看出權重隨時間變化的規律。在3：00～9：00，因為流量相對較小或者都處在上升階段，并不需要過多地區分，所以各個站點的權重基本一致，無須對某些站額外關注。而10：00開始，不同站點的流量出現區別，模型據此來調整權重。而通過該圖也發現，某些站在白天獲得的權重反而比晚上要低，如o-90在23：00～24：00的總體權重是最大的，說明模型能夠發現不同站點的依賴關系不一樣，即某些入口站在晚上影響大，某些站則是白天影響大。據此能夠給交通管理部門提供更加具體的建議進行相應的管控。

3.3.2 通道組合效果分析

使用多通道的方式，可以對不同數據的規律及特征進行區分并整合，從而更容易地提高預測精度。因此，為了更清楚地了解不同通道的預測情況，采用圖6的方式進行展示。其中，黑色三角形表示使用了該通道，白色則表示未使用該通道。可以看出，單通道情況下，MAPE均值都高于多通道情況，說明各通道都有局限性。從單通道的表現來看，混合數據通道最佳，可見經過空間關聯后確實能夠獲得更好的效果。而單流出數據通道的表現也反映出，大多數站點的交通量變化都較為規律，因此才能從歷史流出數據中推斷出未來變化。在雙通道的情況下，混合數據通道加流入數據通道表現最好，這說明混合數據通道很大程度上掌握了歷史流出數據的特征，所以更多的是需要部分流入數據進行補充。總體而言，三通道全開的情況下，各自能夠取長補短達到最好的效果。如果是單數據源的情況，利用歷史流出數據就能夠比較穩定地應對大多數情況。而如果需要減小模型，則使用混合數據通道最佳，能夠最大限度地結合兩種數據的特征。

3.3.3 方法對比分析

為了驗證提出的模型在大規模區域多時段交通流預測中的有效性，將其與多種方法進行對比。這里選取了歷史平均（historical average，HA）、貝葉斯回歸（Bayesian regression，BR）、梯度提升回歸樹（gradient boosting regression tree，GBRT）、K-最近鄰（KNN）、隨機森林（random forest，RF）、支持向量回歸（support vector regression，SVR）、多層感知機（multi-layer perceptron，MLP）、長短時記憶網絡（LSTM）、sequence to sequence模型（Seq2Seq）、帶注意力機制的Seq2Seq模型（Seq2Seq-Att）作為對比方法。對比結果如表2所示。

從表2中的MAPE可以看出，在所有跨度下，所提出的方法都能達到最好，說明該方法在不同預測跨度下都能保持良好的性能。相比于傳統算法，所提出方法的預測精度有大幅度提高，特別是在120 min預測跨度下，MAPE比BR降低了5.1%，比GBRT降低了2.1%。而對于Seq2Seq-Att以及Seq2Seq這些深度學習算法，所提出方法的總體MAPE也能降低0.5%，說明通過多通道的方式能夠區分不同數據特性，有助于提高預測精度。從RMSE可以看出，在大跨度下，相比于一些傳統的機器學習方法，所提出方法更能夠維持預測的穩定，從而更好地應用于大規模區域的交通流預測。

4 結束語

本文提出了用于高速公路短時交通流量預測的方法模型。該方法的提出主要是為了能夠實現大規模區域的多時段交通流量預測，且方法具備較強的穩定性。該方法采用多通道的方式，分別提取流入數據中車輛流向的規律以及流出數據中自身的周期變化規律，并且，為了防止一些特征難以發掘，將流入數據與流出數據相結合，提取出空間關聯特征，從而提升預測的準確度。為了驗證該模型的有效性，選取了廣東省高速公路網的多個出口收費站進行交通流量預測。結果表明，本文方法能夠較為準確地預測兩小時跨度內的流量情況，總體MAPE僅為11.3%。相比于其他方法，所提出的方法更加穩定且精度更高。下一步研究將融合更多數據特征，進一步擴大預測規模。

參考文獻：

［1］Cetin M，Comert G. Short-term traffic flow prediction with regime switching models ［J］. Transportation Research Record，2006，1965（1）： 23-31.

［2］Xie Yuanchang，Zhang Yunlong. A wavelet network model for short-term traffic volume forecasting ［J］. Journal of Intelligent Transportation Systems，2006，10（3）： 141-150.

［3］Zheng Weizhong，Lee D，Shi Qixin. Short-term freeway traffic flow prediction： Bayesian combined neural network approach ［J］. Journal of Transportation Engineering，2006，132（2）： 114-121.

［4］Djuric N，Radosavljevic V，Coric V，et al. Travel speed forecasting by means of continuous conditional random fields ［J］. Transportation Research Record，2011，2263（1）： 131-139.

［5］Tchrakian T T，Basu B，O’Mahony M. Real-time traffic flow forecasting using spectral analysis ［J］. IEEE Trans on Intelligent Transportation Systems，2012，13（2）： 519-526.

［6］Castro-Neto M，Jeong Y，Jeong M，et al. Online-SVR for short-term traffic flow prediction under typical and atypical traffic conditions ［J］.Expert Systems with Applications，2009，36（3）：6164-6173.

［7］Bustillos B I，Chiu Y C. Real-time freeway-experienced travel time prediction using N-curve and k nearest neighbor methods ［J］. Transportation Research Record，2011，2243（1）： 127-137.

［8］Zhang Qingyong，Yin Conghui，Chen Yuepeng，et al. IGCRRN： improved graph convolution res-recurrent network for spatio-temporal dependence capturing and traffic flow prediction ［J］. Engineering Applications of Artificial Intelligence，2022，114： 105179.

［9］Chen Yong，Chen Xiqun. A novel reinforced dynamic graph convolutional network model with data imputation for network-wide traffic flow prediction ［J］. Transportation Research Part C： Emerging Technologies，2022，143： 103820.

［10］Lin Guancen，Lin Aijing，Gu Danlei. Using support vector regression and K-nearest neighbors for short-term traffic flow prediction based on maximal information coefficient ［J］. Information Sciences，2022，608： 517-531.

［11］Tang Jinjun，Chen Xinqiang，Hu Zheng，et al. Traffic flow prediction based on combination of support vector machine and data denoising schemes ［J］. Physica A： Statistical Mechanics and Its Applications，2019，534： 120642.

［12］Boquet G，Morell A，Serrano J，et al. A variational autoencoder solution for road traffic forecasting systems： missing data imputation，dimension reduction，model selection and anomaly detection ［J］. Transportation Research Part C： Emerging Technologies，2020，115： 102622.

［13］竇慧麗，劉好德，吳志周，等. 基于小波分析和ARIMA模型的交通流預測方法 ［J］. 同濟大學學報： 自然科學版，2009，37（4）： 486-489. （Dou Huili，Liu Haode，Wu Zhizhou，et al. Study of traffic flow prediction based on wavelet analysis and autoregressive integrated moving average model ［J］. Journal of Tongji University： Natural Science，2009，37（4）： 486-489.）

［14］Ryu U，Wang Jian，Kim T，et al. Construction of traffic state vector using mutual information for short-term traffic flow prediction ［J］. Transportation Research Part C： Emerging Technologies，2018，96： 55-71.

［15］Tian Yan，Zhang Kaili，Li Jianyuan，et al. LSTM-based traffic flow prediction with missing data ［J］.Neurocomputing，2018，318：297-305.

［16］Bahdanau D，Cho K，Bengio Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. （2016-05-19）. https：//doi.org/10.48550/arxiv.1409.0473.

［17］李山海，吳艷雄，劉玉龍，等. 基于編解碼深度神經網絡的交通流預測模型 ［J］. 電子技術與軟件工程，2021（14）： 138-141. （Li Shanhai，Wu Yanxiong，Liu Yulong，et al. Traffic flow prediction model based on deep neural network of encoder-decoder ［J］. Electronic Technology amp; Software Engineering，2021（14）：138-141.）

［18］Vaswani A，Shazeer N，Parmar N，et al. Attention is all you need ［C］// Advances in Neural Information Processing Systems.2017：5998-6008.

［19］Li Guanyao，Zhong Shuhan，Chan G，et al. A lightweight and accurate spatial-temporal transformer for traffic forecasting ［EB/OL］. （2022-05-04）. https：//doi.org/10.48550/arxiv.2201.00008.

［20］Zhang Zhengchao，Li Meng，Lin Xi，et al. Multistep speed prediction on traffic networks： a deep learning approach considering spatio-temporal dependencies ［J］. Transportation Research Part C： Emerging Technologies，2019，105： 297-322.

［21］Zhu Chen，Ping Wei，Xiao Chaowei，et al. Long-short transformer： efficient transformers for language and vision ［C］// Advances in Neural Information Processing Systems. 2021： 17723-17736.

［22］Ba J L，Kiros J R，Hinton G E. Layer normalization ［EB/OL］.（2016-07-21）.https：//arxiv.org/abs/1607.06450.

［23］Cui Zhiyong，Ke Ruimin，Pu Ziyuan，et al. Stacked bidirectional and unidirectional LSTM recurrent neural network for forecasting network-wide traffic state with missing values ［J］. Transportation Research Part C： Emerging Technologies，2020，118： 102674.

收稿日期：2022-06-13；修回日期：2022-08-04 基金項目：國家自然科學基金資助項目（52072130，U1811463）；廣東自然科學基金資助項目（2020A1515010349）；華南理工大學中央高校基本科研業務費（2020ZYGXZR085）

作者簡介：周楚昊（1994-），男，湖南株洲人，博士，主要研究方向為交通大數據以及智能交通；林培群（1980-），男（通信作者），廣東省潮州人，教授，博導，博士，主要研究方向為交通大數據以及智能交通（pqlin@scut.edu.cn）.