基于ACGRU模型的短時交通流預測

桂智明，李壯壯，郭黎敏

北京工業大學 信息學部，北京 100124

1 引言

根據公安部交通管理局發布的數據，截止到2019年6月，全國機動車保有量達3.4億輛，機動車駕駛人達4.2 億人。隨著全國機動車保有量的不斷增加，城市交通擁堵問題越來越嚴重。交通擁堵不僅耽誤人們出行，減少社會活動效率，造成經濟損失，還會浪費大量資源，造成城市空氣污染。為了解決交通擁堵問題，智能交通系統（Intelligent Transport System，ITS）應運而生。交通流預測是ITS 的核心功能之一。由于交通流具有時變性，所以一般采用短時預測來對交通系統進行誘導。短時交通流預測是指利用地磁、傳感線圈等設備實時獲取的交通流數據去預測未來半小時內的交通流量。通過預測短時交通流不僅可以為公眾出行提供服務，改善導航系統，還可以為交通管理部門提供有效技術支持，提高道路資源的利用率。

道路交通系統是一個典型的復雜系統，周末節假日、交通出行早晚高峰、天氣狀況等因素以非線性方式相互作用，導致傳統的淺層預測模型在實際應用中往往失效。近年來，深度學習在圖像識別、自然語言處理等研究領域取得了一系列突破。交通流數據與深度學習常用領域中的研究數據類似，具有豐富的時空特征，結合深度學習進行短時交通流預測具有很大的研究價值。

本文將卷積神經網絡（Convolutional Neural Network，CNN）、門控循環單元（Gated Recurrent Unit，GRU）以及注意力機制技術應用到交通流預測領域，提出基于深度神經網絡的短時交通流預測模型，準確預估未來時刻的交通流量。本文的主要貢獻總結為：

（1）提出了一種結合注意力機制的卷積門控循環單元預測模型，利用CNN和GRU提取交通流數據的時空特征，通過引入注意力機制，計算不同時刻交通流特征的重要性，同時利用交通流數據的周相似性提取周期特征。

（2）在公開交通數據集上，對所提出的短時交通流預測模型進行實驗驗證，并與傳統預測模型進行對比分析。實驗表明，本文提出的模型提升了交通流的預測精度，可以更好地解決短時交通流預測問題。

2 相關工作

國內外很多學者都對短時交通流預測進行了研究，使用的統計理論模型主要包括歷史平均模型、卡爾曼濾波模型和差分自回歸移動平均模型（ARIMA）。Zhang等人[1]提出了具有周期性的季節性ARIMA 模型的一般表達式，給出了利用季節性ARIMA 模型建模和預測交通流的步驟，研究實驗表明，季節ARIMA模型可以對實際高速公路交通流進行建模和預測，獲取較好的預測效果。Kumar 等人[2]提出了一種基于季節的ARIMA（SARIMA）預測模型，該模型相比傳統的ARIMA 考慮了不同季節對交通流量的影響。

由于交通流具有非線性和隨機性特點，為了更好地捕獲交通流數據之間的特征，一些機器學習方法被廣泛應用于短時交通流預測。Hong[3]使用混沌模擬退火算法優化SVR 的參數，提升了支持向量機回歸模型的學習能力，并以臺灣北部的交通流量數據為例，驗證了所提出模型的預測準確率。Hu 等人[4]將粒子群優化（PSO）算法和SVR 算法相結合，采用PSO 來優化SVR的參數，從而提升了交通流的預測效果。為了提高短時交通流預測的準確率，Liu等人[5]基于非參數回歸和SVR提出了一種KNN-SVR 模型，采用k近鄰算法重建與當前交通流相似的歷史交通流序列，然后利用SVR 進行交通流預測。

隨著深度學習在語音、圖像和自然語言處理等研究領域的廣泛應用，人們提出了許多深度學習方法來預測短時交通流[6-7]。Tian等人[8]發現大多數時間序列預測模型的輸入長度是靜態的，不能準確地確定最佳的時間滯后，因此使用長短期記憶網絡（LSTM）預測交通流量序列，克服了最佳時間滯后的確定問題，并將LSTM 與支持向量機、單層前饋神經網絡和層疊自動編碼器等幾個著名模型進行了比較。Fu 等人[9]分別使用LSTM、GRU和ARIMA三個模型進行短時交通流預測，并通過PeMS公開交通數據集論證了GRU 網絡具有最好的預測效果。王祥雪等人[10]首先對交通流時間序列進行重構和標準化處理，然后使用LSTM神經網絡預測短時交通流量，對比BP網絡模型，預測精度得到了大幅改進。

由于LSTM 和GRU 只關注交通流數據的時間特征，忽略了空間特征，而CNN 網絡更關注空間特征，因此出現了很多CNN-RNN預測模型。晏臻等人[11]提出將CNN和LSTM相結合的短時交通流預測模型，并驗證了考慮時空特征進行交通流預測的有效性。Liu等人[12]將CNN 中的一維卷積和LSTM 相結合，構成Conv-LSTM模塊提取交通流的時空特征，并使用Bi-LSTM 模塊提取交通流的周期特征，最后將特征融合，獲取交通流量的預測值。閆楊等人[13]用GRU代替LSTM，結合 Conv-GRU 和 Bi-GRU 預測交通流量，與 Conv-LSTM 方法相比，訓練時間更短且不失預測性能。

為了更好地挖掘交通流時空特征，一些學者將注意力機制應用到短時交通流預測。李志帥等人[14]結合圖卷積網絡獲取路網流量的空間特征，并使用注意力機制調整網絡輸出，進而提升交通流預測精度。Guo等人[15]提出一種結合注意力機制的時空圖卷積網絡來解決交通流預測問題，通過注意力機制有效捕獲交通數據中的動態時空關聯。

基于上述研究，本文將CNN 和GRU 相結合，構成卷積門控循環單元有效提取交通流數據的時空特征，并利用交通流數據的周相似性提取周期特征。考慮到不同時刻的交通流特征對預測時刻流量的影響具有差異性，在GRU層后面引入注意力機制層，自動捕獲不同時刻輸入特征的影響，形成含有注意力概率分布的交通流特征表示，以提升交通流的預測效果。

3 預測模型

3.1 交通流數據特點分析

交通流數據具有很強的規律性，通過分析交通流數據的特點，可以為短時交通流預測模型的建立提供參考依據。與常規時間序列預測數據不同，交通流數據具有以下幾個特點：

（1）交通流數據具有豐富的時空特征。在時間上，一個觀測點可以在各個時刻持續收集交通流數據，形成一個隨時間變化的交通流量序列。由于道路上車輛的聚集和發散是一個漸進過程，所以之前時刻的交通流量會影響下一時刻的交通流量。在空間上，相鄰觀測點之間的交通流量是密切相關的。單個道路上下游觀測點的交通流量存在時延關系，分叉道路不同觀測點的交通流量存在和差關系。

（2）交通流數據具有周期特征。人們每天的工作時間通常是固定的，因此出行產生的交通流量存在以日、周、月為單位的相似規律。在各個周期單位中，以周為時間尺度的交通流量具有最強的相似規律，如星期二的交通流量曲線與上周星期二的交通流量曲線趨勢相似，相似度較高，與本周星期一和上周末的交通流量曲線相似度較低。

（3）交通流數據構成的時間序列具有復雜的相關性。通常來說，交通流量在相鄰時間點之間會表現出更強的相關性。然而，交通流量會受到天氣、交通擁堵等外部因素的影響，對于交通流預測，較遠過去時間點的重要性不一定低于較近過去時間點。不能只依靠時間上的臨近程度去區分不同時刻的重要程度。

短時交通流預測的難點在于如何有效利用數據的時空特征、周期特征和時間上的復雜相關性。交通流數據復雜多變，不同觀測點和不同時間點上的交通流量相互影響，使得準確預測交通流變得十分困難。

3.2 模型設計

針對交通流數據的特點，本文提出了一種結合注意力機制的卷積門控循環單元預測模型（Attention-based CNN-GRU，ACGRU）。如圖1 所示，ACGRU 模型主要由四部分構成，第一部分使用CNN 層提取交通流的空間特征；第二部分是時間特征提取，使用一個引入注意力機制的GRU 網絡完成，注意力機制可以計算交通流特征在各個時間步的重要性，綜合考慮各個時間步上的信息；第三部分是另一個通道上的周期特征提取，同樣使用一個引入注意力機制的GRU 網絡；第四部分是一個全連接層，綜合時空特征和周期特征進行回歸預測。下面的章節將對模型各部分進行詳細介紹。

3.3 基于卷積神經網絡的空間特征提取

道路上某個觀測點的交通流量不僅與自身歷史交通流量有關，還與相鄰觀測點上的交通流量有關。卷積神經網絡是一種經典的深度學習網絡架構，具有強大的特征提取能力。本文選用卷積神經網絡來挖掘交通流數據的空間特征。卷積神經網絡主要由卷積層、池化層和全連接層三部分組成，具有局部連接和權值共享等特性。這些特性可以大大減少網絡的參數數量，加速訓練速度，降低特征提取的復雜度。

為了充分提取交通流數據的時空特征，首先需要將原始一維交通流數據轉換為二維的交通流量矩陣，矩陣的兩個維度分別為時間維度和空間維度。假設需要對S個觀測點的交通流量進行預測，每個觀測點收集了連續T個時刻的交通流數據，用xts表示第s個觀測點在t時刻收集到的交通流量，那么所有觀測點在t時刻的交通流量可以表示為F=(xt1,xt2,…,xts)，將S個觀測點T個時刻的交通流數據進行組合得到的交通流量輸入矩陣可以表示為：

卷積層主要是使用不同的卷積核來對上一層的輸入特征進行卷積運算來提取不同的局部特征，卷積核的所有參數通過反向傳播算法計算。本文使用一維卷積來處理交通流量輸入矩陣中的每一行元素，通過滑動一維卷積的卷積核獲取相鄰觀測點的空間特征。本文使用以下公式表示卷積操作：

公式中，Wc、bc為需要學習的參數，f表示激活函數。因為短時交通流預測任務中交通數據的空間維度往往是有限的，為了充分保留特征，不使用池化層來對特征矩陣進行壓縮，只使用卷積層提取特征。

3.4 引入注意力機制的GRU網絡

RNN 是一種用于處理時間序列數據的神經網絡。與基礎的神經網絡不同，RNN 隱藏層中的節點不再是無連接的而是有連接的，隱藏層的輸入不僅含有輸入層的輸出，還含有上一時刻隱藏層的輸出。傳統的RNN網絡處理長期依賴問題時存在梯度消失問題，LSTM神經網絡的提出解決了該問題，被廣泛運用在時間序列數據預測領域中。然而LSTM的內部結構十分復雜，導致網絡訓練需要耗費大量時間，因此在LSTM的基礎上又出現了GRU 網絡。與LSTM 相比，GRU 的網絡參數更少，容易進行訓練，同時還保持了LSTM 的預測效果。GRU單元通過以下公式計算得到隱藏層狀態ht：

圖1 ACGRU模型結構圖

圖2 觀測點分布圖

公式中，zt和rt分別表示更新門和重置門，表示ht的候選狀態，σ表示sigmoid 激活函數，W*,U*,b*為需要學習的參數。更新門為LSTM 遺忘門和輸入門的組合，用于控制前一時刻有多少狀態信息被帶入到當前狀態，重置門控制前一時刻狀態信息的忽略程度。本文將CNN 層提取的流量模式作為GRU 層的輸入，使交通流量模式保持時間上的連續性。

注意力機制通過模擬人腦注意力的特點，對重要的信息給予更多的關注。由于各個時刻的交通流特征對預測時刻流量的影響程度不同，所以需要在傳統的GRU 層后面，引入注意力機制層。通過注意力機制計算各個時刻輸入特征的重要性，生成含有注意力概率分布的交通流特征表示。針對GRU單元輸出的隱藏層狀態ht，本文采用以下注意力機制公式：

公式中，ve,We,be為需要學習的參數，et為第t個時刻GRU單元輸出向量ht對應的注意力評分值。本文使用softmax函數對et進行歸一化得到αt，然后將各個時刻對應的權重系數αt和輸出ht相乘求和得到輸出c。向量c對GRU 單元的輸出進行了加權，表示含有注意力概率分布的交通流特征。

3.5 周期特征

受人們每天的作息規律影響，交通流數據具有周期特征。對于預測時刻的交通流，前一周相同時刻和前后相鄰時刻的交通流都包含有用信息。本文利用交通流數據的周相似性建立以周為單位的周期特征，構造周期流量輸入矩陣如下：

其中，t表示預測時刻在前一周相對應的同一時刻，n表示周期時間步長，本文取前一周相同預測時刻和該時刻前后各n個時刻的數據作為輸入，S表示需要預測的觀測點的數量。對于周期特征，不同觀測點的空間影響較小，僅需提取時序特征，因此使用一個引入注意力機制的GRU網絡進行特征提取。通過去掉周期通道上的空間卷積可以減小ACGRU模型的網絡規模，加快模型的訓練速度。將提取的周期特征和時空特征合并，一起輸入到全連接層中處理，最終輸出所有觀測點下一時刻的交通流量。

4 實驗與結果分析

4.1 實驗數據

為了評估本文模型的有效性，選取美國加利福尼亞州的交通局性能測量系統（Caltrans Performance Measurement System，PeMS）數據集進行分析，該數據集是短時交通流預測最常用的數據集。PeMS系統通過布設在道路上的各種傳感器，包括感應線圈探測器、高頻雷達等，持續地檢測交通流數據，并以30 s 一次的頻率向工作站發送檢測數據。這些交通流數據（包括交通流量、占有率和速度）被聚合成間隔為5 min的聚合數據發布到網絡上，供人們出行參考和學術研究。本文選取I10高速公路上連續16個觀測點作為預測的目標站點，觀測點的分布如圖2 所示。以2018 年5 月26 日到2018年7月31日共67天的交通流量作為實驗數據，并選取前60天的數據作為訓練數據，后7天的數據作為測試數據。

圖3 為 2018 年 6 月 18 日 到 2018 年 7 月 9 日連續四周每個周一的交通流數據折線圖。從圖中可以看出交通流數據具有強烈的周相似性，早高峰和晚高峰的時間基本一致，反映了人們在工作日的出行規律。

圖3 連續四個周一的交通流

4.2 評價指標

本文選用回歸問題最常用的三個評價指標來對短時交通流預測模型進行評價，三個指標分別是平均絕對誤差（MAE）、均方根誤差（RMSE）和平均絕對百分比誤差（MAPE）。三個指標的定義如下所示：

公式中，Pi表示觀測點的交通流預測值，Fi表示相應的交通流真實值，N是預測值的個數。MAE、RMSE和MAPE的值越小，表明模型的預測效果越好。

4.3 參數設置

本實驗將時間窗口設置為12，即使用之前60 min的數據去預測未來5 min 的交通流量，周期窗口設置為13，將前一周相同預測時刻和該時刻前后各30 min的數據作為輔助輸入代表周期特征。本文提出的ACGRU模型主要有5個網絡參數需要調節，分別是CNN層卷積核的個數m，卷積核的大小s，CNN 的層數n，GRU 層的隱藏單元數p，GRU 的層數q。使用網格搜索對這些參數尋優，多次實驗表明CNN 設置為2 層，每層卷積核個數設置為12，卷積核大小設置為3，GRU 設置為2層，每層單元個數設置為48，在測試集上可以達到最佳預測效果。模型訓練階段，將批大?。˙atch Size）設為64，訓練輪數設為100，采用Adam 優化器，學習率設為0.001，使用早停法（Early Stop）防止過擬合。

4.4 實驗結果分析

4.4.1 模型預測結果

本文選取第9號觀測點在7月30日的交通流量進行分析，預測結果如圖4 所示。從圖中可以看出ACGRU預測模型具有良好的預測效果，各個時間點的預測值與真實值基本吻合，較為準確地反映了交通流的變化趨勢。

圖4 第9號觀測點的交通流預測結果

4.4.2 基準模型比較

為了比較ACGRU模型的預測性能，本文選取了已有工作中的五個經典預測模型作為基準對比模型。五個模型分別是：線性回歸算法LASSO[16]、非線性回歸算法SVR、棧式自編碼神經網絡SAE[17]、卷積神經網絡（CNN）和門控循環單元（GRU）。其中LASSO是帶有正則項的線性回歸模型，相比傳統的線性回歸模型可以有效防止過擬合。SVR采用徑向基函數作為核函數，懲罰參數C設置為1.0。SAE是由多個隱含層構成的深度學習模型，不同于傳統的BP網絡，SAE網絡隱含層的權重參數通過預訓練得到，隱含層可以看成對原始數據的抽象表示。SAE 在預訓練結束后，需要加入一個BP 網絡來實現回歸。

表1 給出了所有模型的預測結果誤差。從該表中可以看出，ACGRU 模型相對其他基準模型的各類誤差均更小，RMSE指標平均降低了9%，相比最好的基準模型GRU 降低了5%。該結果表明，本文提出的ACGRU模型的預測性能相對基準模型而言有明顯的提高。

表1 模型預測性能比較

為了更加直觀比較模型預測效果，本文選取預測性能較好的CNN、GRU 模型來與ACGRU 模型對比。預測目標為4 號觀測點早上8 點到8 點55 分的交通流量。對比結果如圖5 所示，從圖中可見ACGRU 模型的擬合效果最好。

圖5 模型預測結果對比

圖6為所有模型對各個觀測點的RMSE指標對比，從圖中可見，ACGRU模型在16個觀測點的預測誤差都比基準模型低。

圖6 各個觀測點預測性能評估

4.4.3 變體模型比較

為評估ACGRU 模型各個模塊的有效性，本小節將ACGRU 模型與其他變體模型相比較，變體模型如下所示。

（1）ACGRU-nCNN 模型：在 ACGRU 模型基礎上，去掉提取空間特征的卷積層。

（2）ACGRU-nPeriod 模型：在ACGRU 模型基礎上，去掉周期特征提取模塊。

（3）ACGRU-nAttention 模型：在ACGRU 模型基礎上，去掉注意力機制層。

表2 給出了所有變體模型的實驗結果。從該表中可以看出，相比三個變體模型，ACGRU模型的各個誤差指標均最小，表明ACGRU 模型的各個模塊均有作用，組合在一起可以獲得最好的預測性能。因為CNN網絡可以有效提取交通流數據的空間特征，所以ACGRU-nCNN模型的預測效果比ACGRU模型差。對比ACGRU模型和ACGRU-nPeriod 模型可以發現，周期特征可以作為交通流預測的一個輔助特征，提升預測準確率。將ACGRU模型和ACGRU-nAttention模型對比可以發現，引入注意力機制層可以計算不同時刻交通流特征的重要性，使模型更關注重要性大的交通流特征，從而提升交通流預測效果。

表2 變體模型預測性能比較

5 結束語

本文提出了一種ACGRU 深度學習模型來進行短時交通流預測。該模型利用CNN 和GRU 提取交通流數據的時空特征，并在GRU層后面引入注意力機制層，綜合考慮各個時刻的交通流特征，同時添加周期特征作為輔助模塊來提升預測性能。實驗結果表明，ACGRU預測模型可以有效提升短時交通流預測的預測精度，與CNN 模型和GRU 模型相比，誤差評價指標MAE 和RMSE值均有明顯降低，其預測結果對緩解城市交通壓力有著十分重要的意義。然而，本文預測的交通流區域不夠大，以后可以擴大研究范圍，采用更加復雜的路網數據進行實驗。交通流會受到天氣、交通事故等其他因素的影響，如何利用這些輔助信息來提高預測精度也是以后的重要研究點。