日交通流預測的編碼器-解碼器深度學習模型研究

曹 陽，茅一波，施 佺

1.南通大學 信息科學技術學院，江蘇 南通 226019

2.南通大學 交通與土木工程學院，江蘇 南通 226019

近年來，人均車輛保有量不斷增長，各大城市交通擁堵問題相繼爆發，嚴重影響到了城市居民正常生活出行。因此，合理的道路規劃、高效的交通設施布置和實時的車流誘導成為道路交通管理部門的首要任務。而實時、高精度的交通流預測是其中的關鍵，它不僅可以為交通流誘導和分流提供理論基礎，還能幫助出行者做出更佳的出行決策，達到緩解交通擁堵、減少碳排放、提高交通運營效率的目的[1]。

目前主流的交通流預測方案多為短期預測（預測周期在數小時以內的交通流預測模型）[2]，而有關日交通流預測（預測周期為一天的交通流序列預測模型）的研究相對較少。與短期預測相比，日交通流預測不僅能夠為交通資源的分配提供更多的數據支持，還可以為交通管理者提供更多的決策支撐，幫助出行者提前制定計劃，達到避開交通擁堵路段的目的。

現有的交通流預測方法主要分為兩類：一類是模型驅動方法，如ARIMA（autoregressive integrated moving average）[3]、Kalman濾波[4]、灰色預測模型[5]等，這些方案計算過程簡單，數據需求量小，但由于模型結構固化，當路況相對復雜時預測效果較差。另一類則是數據驅動方法，如支持向量機[6]、貝葉斯網絡[7]、深度學習[8-9]等，這類方法通過大量的數據學習交通流特征，能夠較好地挖掘交通流與輸入參數的非線性關系。深度學習是數據驅動方法最主要的分支之一，與其他數據驅動方法相比，深度學習在高維數據處理、時空關系分析等方面更具優勢。

交通流預測領域常見的深度學習模型大多為點到點的模型或者序列到點的模型。短期預測的預測結果為下一個時刻的車流量，其預測結果為一個數值，與傳統深度學習模型較為契合。而日交通流預測的結果為次日的交通流序列，其預測結果為一個序列而非一個數值，因此預測難度更大。現有的日交通流預測模型大多采用兩種方案對預測模型進行改進：一種是通過多步預測來實現序列的預測。如楊飛等[10]利用回聲網絡加強網絡的多步預測能力；袁方等[11]采用PCA（principal components analysis）周期分量對交通流進行分解，對其非周期部分進行奇異值分解和濾波以保障多步預測的精度。然而由于多步預測對誤差的傳播更為敏感且模型的性能衰減更快，其預測精度往往會隨著步長的增加而快速下降。另一種則是通過多目標預測，預測接下來的多個時間點的交通流。如Ma等[12]利用CNN和LSTM分別分析日內以及日間的交通流關系，并利用多目標輸出的方式預測接下來一天的交通流；Qu等[13]通過深層神經網絡挖掘天氣、季節等因素與交通流的非線性關系，預測接下來多個時間點的交通流。但這些方案忽視了預測結果的時序關系，因此預測結果往往沒有短期預測優越。

編碼器-解碼器模型是一個典型的序列到序列模型。該模型最初用于自然語言處理領域，近年來也被大量地用于時間序列預測領域。如劉臣等[14]將編碼器-解碼器與GCN結合，在地鐵客流量預測問題中取得了優異的結果；Nguyen等[15]將基于LSTM的編碼器-解碼器模型與遺傳算法相結合預測PM2.5濃度，其預測精度遠高于傳統模型。

注意力機制是Bahdanau等[16]針對編碼器-解碼器模型存在信息丟失等問題提出的改進機制，初期與編碼器-解碼器一樣被廣泛用于自然語言處理領域。隨著編碼器-解碼器模型的大量使用，注意力機制已成為神經網絡領域的一個重要概念。如王慶榮等[17]將注意力機制和LSTM網絡結合，提出了一種考慮天氣節假日等外部因素的短時交通流預測模型；桂智明等[18]提出一種結合注意力機制的卷積門控循環單元預測模型，具有較高的預測精度。

本文將編碼器-解碼器模型的思想進一步用于日交通流預測領域，提出了一種以LSTM為基本單元，同時通過注意力機制調節編碼向量權重的編碼器-解碼器模型（LSTM attention encoder-decoder，LSTM AE-D）。新的模型作為一種典型的序列到序列預測模型，能較好地契合日交通流的預測需求。取美國5號州際公路西雅圖段的實際交通流數據進行實驗，結果表明本文提出的LSTM AE-D模型的預測結果平均絕對百分比誤差與經典神經網絡模型LSTM、GRU、BP、CNN、GCN相比，分別減小了10%、10%、19%、37%、18%、20%，且在平均車流密度大于40輛/km的時間段，預測結果比這五種傳統模型分別減少了19%、20%、25%、16%、25%。

1 系統模型

本文所提出的LSTM AE-D模型架構如圖1所示，該模型采用LSTM作為編碼器-解碼器模型的基本單元，同時通過注意力機制對模型的注意力系數進行調整從而提高模型的記憶能力，最后通過全連接層（Dense）將解碼后的結果映射到一維進行預測。

1.1 LSTM模型

LSTM是遞歸神經網絡（RNN）的一個變種模型，它通過引入長期記憶單元解決了訓練過程中梯度消失和梯度爆炸的問題，在較長的序列訓練過程中比傳統的RNN有更好的表現。因此，本文采用LSTM作為編碼器-解碼器的基本單元。該模型的具體結構如圖2所示。

LSTM模型結構中的圓圈表示對應的符號運算或函數運算，方框代表以σ、tanh為激活函數的全連接層。σ、tanh分別代表sigmoid函數和雙曲正切函數，具體計算公式如式（1）～（2）所示：

LSTM模型結構中的Xt、ht、Ht、分別代表t時刻系統的輸入值、輸出值和長期記憶單元和系統單元狀態，it、ft、Ut分別代表系統的輸入門、遺忘門和輸出門。3個門通過σ函數輸出0-1的數以控制門的開關程度從而實現對系統輸入量的控制，原有狀態的保持以及輸出量的控制。LSTM模型的具體計算公式如式（3）～（8）所示：

式中，YC、Yi、Yf、Yo為系統的參數矩陣，aC、ai、af、ao為系統的偏置，⊙代表Hadamard積。

1.2 注意力機制

注意力機制是圖像識別、機器翻譯等領域常用的神經網絡優化機制，能有效加強模型對于重要信息的提取能力，從而提升網絡在識別、預測等領域的效果[19]。

本文使用的注意力機制為自注意力機制，能有效地捕獲目標序列及其上下文信息與模態自身的相關性。自注意力機制的注意力系數由輸入向量序列h通過網絡訓練而來，其具體計算式如式（9）～（12）所示：

式中，α為注意力系數，h為編碼器層的輸出，C為計算得出的編碼向量。其中注意力系數α由輸入量h構成，由于α與h一般屬于非線性關系，通過兩層全連接網絡進行計算。D和A分別為這兩層全連接網絡的隱藏層單元。同時為了避免注意力系數過大或者過小，利用softmax函數對其進行縮放使sum()

α=1。自注意力機制通過對網絡注意力的調節使網絡在每個解碼時間有不同的側重點，提高了信息利用率，從而提升網絡的預測的效果。

2 模型預測

為驗證本文提出的LSTM AE-D深度學習模型在日交通流預測中的有效性，取美國5號州際公路（I5）上的交通流數據集進行實驗，公路位置如圖3所示。該數據集來源于數字道路交互式可視化與評價網絡（DRIVENET，http：//uwdrive.net/STARLab），是目前最常用的交通流預測公開數據集之一，包含了I5公路從加拿大到墨西哥的85個傳感器數據。在實驗中取2015年12月1日到2016年12月31日時間間隔為5 min自南向北的單向交通流數據，以第42個傳感器（距離溫哥華163.02英里）作為目標傳感器，利用所有傳感器的交通流數據預測目標傳感器次日的交通流量，并與五類經典的神經網絡模型LSTM、GRU、BP、CNN、GCN進行對比。

2.1 相關性分析

I5公路上的傳感器數量較多，全部作為輸入數據會導致網絡過于臃腫，且部分傳感器之間關聯度相對較低反而會降低系統的預測精度。因此，選擇與目標傳感器關聯度較高的幾個傳感器的數據作為輸入參數。

皮爾遜相關系數[20]是廣泛用于度量兩個序列之間相關程度的一種參數，其計算公式如式（13）所示：

式中，Xi和Yi分別代表序列X和Y的第i個元素；Xˉ和Yˉ為這兩個序列的平均數；r代表著兩個序列的相關性系數，其數值在-1～1之間，其絕對值越大，代表相關性越高。所有傳感器的交通流數據與目標傳感器次日的交通流數據的相關性系數（大于0.85）如表1所示。

表1 皮爾遜相關系數表（大于0.85）Table 1 Pearson correlation coefficient table（＞0.85）

本文取相關性高于0.95的6個傳感器（39～44）歸一化后的結果作為輸入，來預測目標傳感器后一天的交通流量。圖4是該公路42號傳感器2015年12月第2周的原始交通流數據，不難看出該公路的工作日車流狀況與周末的車流狀況也有較大的差距，因此將輸入數據是否為工作日以及預測目標是否為工作日也作為預測的輸入參數。

2.2 網絡訓練

本文將原始數據按3∶1∶1的比例劃分為預測集、驗證集和測試集，訓練次數設為2 000次，選取訓練過程中驗證集表現最好的模型參數作為最終的預測模型參數，通過測試集計算模型的損失值。考慮到隨機梯度下降法在參數更新中對所有的參數更新使用固定的學習速率，下降速度慢，因此本文選用Adam（adaptive moment estimation）梯度下降算法對該算法進行訓練。Adam算法通過梯度的一階矩估計和二階矩估計調節不同參數的自適應學習速率，具有消耗內存少、訓練速度快等優點，是目前最主流的梯度下降算法之一。

2.3 評價指標

為了評價所提方法的性能，采用平均絕對誤差（MAE）、均方根誤差（RMSE）、測定系數(R2)和平均絕對百分比誤差（MAPE）對預測結果進行評價：

式中，為預測值，yi為真實值為真實值的均值，n為預測數據的個數。MAE是真實值與預測值絕對誤差的均值，能較好地顯示預測值與真實值之間的偏差程度；RMSE是真實值與預測值誤差平方均值的算術平方根，與MAE相比，它不僅能體現預測的偏差程度，還能體現預測誤差的離散程度；R2表示預測值與真實值的線性相關程度；MAPE是誤差與真實值之間的偏差百分比，避免了真實值大小對誤差結果的影響，從而更精確地反映預測誤差。

2.4 實驗結果

I5公路2016年11月25日（工作日）與11月27日（雙休日）的預測結果如圖5所示。可以看出本文模型能較好地預測交通流的變化趨勢，但預測結果與實際數據相比更為平緩，在波動性較強的實例中可能無法獲得較好的預測結果。

為了驗證本文模型的有效性，將本文模型的預測結果與LSTM、GRU、BP、CNN、GCN進行對比，六種方案I5公路2016年11月25日的預測結果如圖6所示。圖中縱軸代表每5 min的車流量，橫軸代表時間。從圖6中可以看出，LSTM AE-D以及LSTM的預測輸出與實際交通流的變化范圍基本一致，可以較為準確地描述交通流的變化趨勢，GRU在5：05—6：00時的預測結果明顯高于實際值，BP的變化趨勢與實際情況相一致，但在15：55—19：00時波動情況較大，CNN的預測趨勢與實際情況較為接近但在許多時段預測值略微偏小，GCN的預測結果在2：40—5：50時明顯低于實際值。

六種方案的誤差結果如表2所示，相較傳統方案，本文提出的預測模型MAPE分別提升了10%、9%、19%、37%、20%。相比CNN模型提升幅度較高的主要原因是0：00—3：55以及23：10—24：00真實值極低時CNN模型的誤差較大導致MAPE偏高。

表2 預測結果誤差表Table 2 Error of prediction results

由于該路段晚上9點到早上4點之間車流密度一般小于40輛/km，交通狀況較為通暢，預測結果的實際意義相對較小，因此將晚上9點到早上4點之間的數據去除再計算模型的預測誤差，結果如表3所示。可以看出，在白天車流量較多的時候LSTM AE-D的預測結果更為精準，其MAPE比其余方案分別提升了19%、20%、25%、16%、25%。

表3 早上4點到晚上9點預測結果誤差表Table 3 Error of prediction results from 4 AM to 9 PM

2.5 收斂速度分析

為了計算模型的收斂速度，本文記錄了各模型收斂到驗證集RMSE小于39.21（即歸一化后均方誤差小于0.004）所需的時間，實驗平臺參數如表4所示，記錄結果如表5所示。可以看出，LSTM、GRU以及本文提出的LSTM AE-D模型由于包含類似RNN的鏈式結構，在訓練時不僅需要計算誤差隨網絡層級傳播的分量，還要計算誤差隨時間傳播的分量，因此消耗的時間較長。本文提出的LSTM AE-D模型的收斂速度與LSTM大致相等。

表4 實驗平臺參數Table 4 Parameters for experimental platform

表5 RMSE收斂到39.21所需時間Table 5 Time required for RMSE converging to 39.21

2.6 魯棒性分析

為了驗證本文模型的魯棒性，還測試了時間間隔為15 min、30 min、60 min等不同數據集下的預測效果，2016年11月25日的預測結果如圖7所示，預測誤差如表6所示。可以看出，不同時間間隔的數據集中本文所提出的LSTM AE-D模型都具有較高的預測精度。

表6 不同時間間隔預測結果誤差表Table 6 Error of prediction results of different time intervals

3 結束語

本文提出了一種用于日交通流預測的編碼器-解碼器深度學習模型。該模型以LSTM為編碼器-解碼器的基本單元，同時加入了注意力機制對模型進行優化，并利用Adam算法求解模型參數。最后采用美國5號州際公路西雅圖段的實際交通流數據進行實驗，結果表明，本文提出的預測模型與LSTM、GRU、BP、CNN、GCN等傳統的預測模型相比具有較高的預測精度，是一種有效的日交通流預測模型。下一步將考慮改進網絡的誤差傳播算法以提升網絡的收斂速度，同時考慮加入圖神經網絡提高網絡對空間特征的捕捉，從而使該模型在城市路網中也能有較好的表現。