基于圖小波注意力門控循環神經網絡的交通流預測

李松江 黃小莉 王 鵬

(長春理工大學計算機科學技術學院 吉林 長春 130022)

0 引 言

近年來，深度學習在捕獲交通數據的復雜時空相關性方面取得了很好的成果。由于交通流預測是基于歷史序列數據，大多數現有深度學習模型是建立在循環神經網絡(RNN)及其變體的基礎上[1]，如LSTM和GRU，它們雖然可以有效地利用自循環機制學習交通數據的時間依賴關系，但是忽略了城市道路的空間結構特征，使得交通數據的變化不受城市路網的約束，無法準確預測交通流量。充分利用時空相關性是解決交通流預測問題的關鍵[2]。通過卷積神經網絡(CNN)與RNN或其變體(RNNs)結合的方法捕捉交通數據的時空特征以預測交通流量，該方法具有一定的局限性。一方面，RNNs主要提取靜態的時間相關性，適用于短期的交通預測[3]。考慮到注意機制在依賴關系建模方面的高效率和靈活性[4]，將注意力機制應用于交通預測以捕獲時間序列的長期動態依賴關系。另一方面，傳統的卷積運算只能捕捉規則網格結構的特征，無法處理復雜的城市網絡拓撲結構的交通流數據。隨著圖卷積網絡模型(GCN)的發展[5]，它可以捕獲圖網絡結構的交通流特征，為上述的問題提供了一個很好的解決方案。基于譜圖理論[6]提出了用于交通預測的時空圖卷積神經網絡[7]、擴散卷積遞歸神經網絡[8]、圖卷積遞歸神經網絡[9]。由于圖卷積網絡不能提取圖中局部空間特征，在這些基于圖卷積的模型中，交通數據局部特征的提取過程缺乏靈活性仍然是一個大問題[10]。小波變換能夠解決圖卷積中局部化的問題，文獻[11]提出了圖小波卷積神經網絡對圖數據進行高效卷積來解決半監督分類問題。受圖小波神經網絡的啟發，考慮了交通網絡的局部圖結構和交通數據的動態時空模式，同時采用圖小波卷積和注意力門控循環單元捕獲交通數據的時空特性，以達到對圖結構的交通數據進行流量預測的目的。

1 預測模型

1.1 交通流時空特性分析

由于時變的交通模式和道路網絡的空間結構具有一定的規律性，通過分析交通數據的特性能夠為建立交通流預測模型提供有效的依據。一方面，在城市路網拓撲結構的限制下，上下游路段之間的交通狀態會相互作用，相距較遠路段之間的交通狀態也會相互產生間接的影響，這表明交通流在空間維度上呈現出局部和全局依賴關系。另一方面，由于城市道路上的交通狀況會隨著時間的推移逐漸向鄰近區域擴散，相鄰的歷史時間序列對其影響較大；交通流量的變化在不同工作日可能呈現出相似的模式，圖1(a)展示了某一周交通流量的變化趨勢，可以看出工作日的交通流量變化趨勢大致相似，非工作日的交通流變化趨勢大致相似。圖1(b)為2019年8月1日到2019年8月12日連續兩周每周一的交通流量折線圖，可以看出，以周為單位的相同工作日的交通流的波動情況大約一致，反映了人們在工作日的出行規律，故交通流在時間維度方面具有很強的動態性和長期性。

(a) 一周交通流的變化趨勢

(b) 連續兩周每周一的交通流量圖1 交通流情況

1.2 模型設計

該節描述了如何使用GW-AGRU模型來實現基于城市道路的交通流預測任務。GW-AGRU模型主要由兩部分組成：圖小波卷積神經網絡和注意力門控循環單元。如圖2所示，根據路網的拓撲結構構造一個無向圖G=(V,E,A)，其中：V是一組節點集，V={v1,v2,…,vN}；N為節點數；E表示節點間連通性的一組邊；A∈RN×N表示節點間的連接性的鄰接矩陣。將路網流量信息轉換為交通流特征向量X=[X1,X2，…,Xt,…,XT]∈RT×N，Xt∈RN表示在時間戳t處的交通流信息，T為歷史序列的長度。由于傳統的卷積神經網絡(CNN)無法處理非歐幾里得結構的交通數據，不能準確地捕捉交通數據的空間依賴關系。為了能夠處理任意圖形結構的交通數據并捕獲城市道路的局部特征，利用圖小波卷積神經網絡從每個圖節點中學習鄰近特征以提取交通流的局部空間特征。循環神經網絡(RNN)是處理時間序列數據應用最廣泛的神經網絡模型，但存在梯度呈指數增長或衰減[12]，LSTM模型和GRU模型是循環神經網絡的變體，已證明可以解決上述問題。GRU模型結構相對簡單、參數較少而且訓練能力較快，但對于長期的預測，距離預測時段較遠的交通狀態對交通流的影響可能會被低估，而不能得到準確的預測結果。為了捕捉交通流的長期動態時間特征，將得到的具有空間特征的序列和注意力機制融入到門控循環單元，并通過單元之間的信息傳遞來捕獲交通流特征的動態變化。最后結合全連接層預測整個路網的交通流量。

圖2 模型整體設計

1.3 基于圖小波的空間特征提取

(1)

式中：z為卷積核，⊙為哈達瑪積。由于圖的卷積運算是基于U定義的，圖卷積算子的接受域覆蓋了整個圖的結構，圖的卷積在頂點域不是局部的。為了克服這個限制，文獻[13]提出了一個多項式濾波器，利用相鄰頂點的k跳信號對一個頂點進行圖卷積，在傳統的CNN中作為局部接受域，過濾器定義為：

(2)

式中：K是確定節點鄰域范圍的超參數；θ∈RK是多項式系數的向量；Λk是K階拉普拉斯對角特征值矩陣。但使用多項式逼近限制了在圖上定義卷積的靈活性，即當使用較小的K，很難用自由參數來逼近對角矩陣Λk。當使用較大的K時，將不再保證局部性。因此，本文通過用圖小波變換代替圖的傅里葉變換以解決交通流的局部相關性問題。

(3)

式中：g(sλi)=eλis,λi是拉普拉斯矩陣L的第i個特征值。再運用傅里葉反變換可以得到:

(4)

式中：m∈{0,1,…,N-1}是圖中第m個頂點的索引。根據式(3)，將小波變換應用到脈沖函數δn上，計算出單頂點n上的譜圖小波變換如下：

(5)

式中：ψs,n∈RN。類比式(4)，任意頂點m對頂點n進行小波變換得到：

(6)

(7)

(8)

1.4 基于注意力門控循環單元的時間特征提取

hT-i=GRU(yT-i-1,hT-i-1)

(9)

(10)

(11)

(12)

(13)

式中：Wh為注意力層的權重參數；[]表示兩個向量相連接。

圖3 注意力門控循環單元的示意圖

1.5 圖小波注意力門控循環神經網絡

(14)

(15)

(16)

(17)

通過全連接層將預測值yT+1輸出，如式(18)所示。

(18)

圖4 GW-AGRU模型的體系結構

2 實 驗

2.1 數據描述

該模型以青島市126個交通卡口的過車信息作為數據集，包含了2019年8月1日至2019年8月23日的過車量。以5分鐘為時間間隔匯總卡口的交通流量，并使用線性插值的方法來填充數據中的缺失值。此外，將80%的數據作為訓練集，其余的20%作為測試集，預測未來時間序列的交通流量。

2.2 評價標準

使用四個指標評估GW-AGRU模型的預測性能，均方根誤差(RMSE)、平均絕對誤差(MAE)、準確率(Accuracy)、決定系數(R2)，它們的定義如下：

2.3 設置模型參數

手動調整學習率為0.001，批量大小為32，將隱藏單元的數量設置為64，訓練迭代次數為1 000，此外，使用Adam optimizer來優化模型。

2.4 實驗結果與分析

2.4.1預測值與實際值對比分析

為了更好地展示GW-AGRU模型預測的效果，選取路網中某一個探測點在8月19日的交通流量進行分析，并將GW-AGRU模型的測試集的預測結果可視化。圖5顯示了5分鐘、15分鐘、30分鐘、60分鐘預測區間的可視化結果，可以看出，無論預測的范圍如何，GW-AGRU模型的預測結果與實際值基本相符，較為準確地反映交通流變化趨勢，該特征有助于分析預測交通擁擠和其他交通現象。

(a) 5分鐘可視化結果

(b) 15分鐘可視化結果

(c) 30分鐘可視化結果

(d) 60分鐘可視化結果圖5 可視化結果

2.4.2與基線模型比較

將GW-AGRU模型的性能與5個基線方法進行了比較。自回歸綜合移動平均模型(ARIMA)[14]，一種將移動平均和自回歸相結合的時間序列預測模型；支持向量回歸模型(SVR)[15]，利用歷史數據對模型進行訓練，得到輸入與輸出之間的關系，通過訓練后的模型預測未來的交通數據；長短時記憶(LSTM)和門控循環單元模型(GRU)[16]，由輸入門、輸出門和遺忘門組成，考慮了時間相關性，但不捕獲空間相關性；圖卷積網絡模型(GCN)[17]，能夠處理任意結構圖上的信號。表1顯示了GW-AGRU模型和其他基線方法在數據集上平均的預測性能。GW-AGRU模型在幾乎所有評價指標下都獲得了最佳的預測性能，證明了該模型對時空交通預測任務的有效性。

表1 與基線模型預測性能的比較

相比于基準模型，GW-AGRU具有以下優勢：

(1) 較高的預測精度。可以發現，基于神經網絡的方法，包括GW-AGRU模型、GRU模型，LSTM模型，強調了時間特征建模的重要性，通常比其他的基線，如ARIMA模型和SVR模型具有更好的預測精度。例如，GW-AGRU模型的RMSE誤差與GRU模型和LSTM模型相比分別減少了約8.13%和9.34%，準確率分別提高了約0.93%和1.18%。而GRU與LSTM模型都是RNN的變體，各種性能指標都相差不多。GW-AGRU模型和GRU模型的RMSE誤差分別比ARIMA模型降低了約48.5%和43.9%，兩種模型的準確率分別提高了25.8%和24.3%。與SVR模型相比，GW-AGRU模型和GRU模型的RMSE誤差分別降低了36.8%和31.2%，分別比SVR模型提高了約12.5%和11.4%。這主要是由于ARIMA和SVR等方法難以處理復雜的非平穩時間序列數據。GCN模型的預測效果較低，因為GCN只考慮了全局空間特征，而忽略了局部空間特征以及交通數據是典型的時間序列數據。

(2) 時空預測能力。為了驗證GW-AGRU模型是否具有從交通數據中描繪時空特征的能力，將GW-AGRU模型與GCN模型和GRU模型進行比較。如圖6所示，基于時空特征的方法(GW-AGRU)比基于單因素(GCN，GRU)的方法具有更好的預測精度，這說明GW-AGRU模型可以從交通數據中捕獲時空特征。例如，在15分鐘預測中，與只考慮空間特征的GCN模型相比，RMSE減少了約38.1%，而在45分鐘交通預測中，GW-AGRU模型的RMSE減少了41.1%，表明GW-AGRU模型能夠捕獲空間依賴關系。與只考慮時間特征的GRU模型相比，在15分鐘和30分鐘的交通預測中，GW-AGRU模型的RMSE誤差分別降低了約20.7%和22.3%，說明GW-AGRU模型能夠很好地捕捉時空依賴關系。

圖6 不同模型RMSE的對比

(3) 長期預測的能力。無論預測步長如何變化，與基本的模型相比，GW-AGRU模型都可以通過訓練獲得最佳的預測性能。而且隨著預測范圍的增大，這種性能的優勢越明顯。圖7分別顯示了所有模型在不同預測步長時RMSE和Accuracy的變化。可以看出，GW-AGRU模型與不同層次的基型相比誤差增加的程度較小，而且精度下降的趨勢不大，具有一定的穩定性。

圖7 不同模型RMSE和Accuracy的變化

2.4.3GW-AGRU與其變體模型的比較

為評估GW-AGRU模型中各個模塊的有效性，將GW-AGRU模型與其變體模型進行比較，變體模型如下：

(1) G-GRU模型：該模型是在GW-AGRU模型基礎上，用圖卷積代替圖小波，并去掉注意力機制。

(2) GW-GRU模型：該模型是在GW-AGRU模型基礎上，去掉注意力機制。

(3) G-AGRU模型：該模型是在GW-AGRU模型基礎上，用圖卷積替換圖小波。

表2為變體模型的實驗結果，可以看出，相比三個變體模型，GW-AGRU模型的誤差最小，且精度及相關性最高，表明圖小波卷積和注意力機制均對GW-AGRU模型產生影響，將其組合能夠得到更好的預測性能。由于圖小波卷積可以有效地提取交通數據的局部和全局空間性，GW-GRU模型在預測精度方面的性能優于G-GRU模型，GW-AGRU模型優于G-AGRU模型。將GW-AGRU模型和GW-GRU模型對比可以發現，納入注意力機制能夠捕獲較遠序列的交通流特征，有助于提高交通流的預測效果。

表2 變體模型預測性能比較

3 結 語

本文提出一種新的圖小波注意力門控循環神經網絡(GW-AGRU)的交通流預測方法。由于道路上的交通狀況受上上游/下游路段和附近路網的影響較大，使用圖形式表示道路網絡的空間信息，將圖小波卷積神經網絡作為提取空間特征的重要組成部分，從每個圖節點中靈活地學習鄰近特征。這樣既考慮了路網的底層拓撲結構，還考慮了路網的交通狀態，能夠克服圖卷積不能很好地局部化的問題，且提高了計算的效率。通過注意力機制對門控循環單元進行改進，不僅捕捉了交通流的時間依賴性，而且彌補了門控循環神經網絡的短期預測的缺陷。因此，該模型具有同時捕獲交通流的時空特性的能力。為了驗證GW-AGRU模型的有效性，在真實城市路網的交通流數據上進行實驗，并選取了ARIMA、SVR、LSTM、GRU和GCN五種廣泛應用于交通預測的方法，及GW-AGRU的三種變體模型，在同一數據集上進行對比。實驗數值表明，GW-AGRU模型在不同的預測水平下均能獲得更好的性能，這表明該模型在捕獲交通數據的時空特征及相關性方面具有優勢，可以很好地應用于大規模路網流量預測。