基于注意力機制的短時交通流預測模型研究

摘要 在交通流預測領域，一些經典的預測方法雖然計算效率高，但忽略了交通數據的高度非線性和動態性，只適用于精度要求低、運行狀態平穩的交通流預測。如今，深度學習與預測模型相結合，在挖掘大交通數據中深層次、隱含的時空關聯方面取得了良好效果。文章根據短時交通流量在時空序列數據中的依賴性和非線性相關的特點，提出了一種基于注意力（Attention）機制的卷積神經網絡（CNN）和雙向門控循環網絡（BiGRU）組合的預測模型（CNN-Attention-BiGRU，簡稱CN-AM-BG），以預測短時交通流?；谡鎸嵚肪W的交通數據進行對比分析，結果證明相比單變量輸入，多變量特征輸入對提高模型預測精度的效果更為顯著。作為智能交通系統的重要基礎，為交通控制提供更為精準的交通流預測，從而提前減緩或避免擁堵形成，對于制定交通誘導和交通控制方案，提高道路交通安全具有重要意義。

關鍵詞 交通流預測；神經網絡；深度學習；門控遞歸單元；注意力機制

中圖分類號 U491 文獻標識碼 A 文章編號 2096-8949（2024）20-0042-03

0 引言

對于交通控制和實時交通誘導來說，交通流預測的準確性和可靠性是其實現的必要條件和重要基礎。深度學習技術具有理論上逼近任意復雜函數的強大能力，可以對各種交通任務中更復雜的模式進行建模，因此深度學習技術在各種交通應用中得到了廣泛應用，并取得了一些先進成果。Jiang[1]等利用卷積神經網絡（CNN）和殘差網絡將地理空間數據轉換為圖像進行了交通預測；Duan等[2]針對城市交通數據的非線性和時空特性，提出了將提取空間特征的卷積神經網絡（CNN）和捕捉時間信息的長短期記憶（LSTM）神經網絡相結合，對城市交通流進行了預測，CNN-LSTM具有更高的預測精度和更短的時間消耗；Guo等[3]提出了一種基于注意力機制的時空圖卷積網絡（ASTGCN）模型，通過時空注意力模塊能有效地捕捉交通數據中的動態時空關聯性；殷禮勝等[4]使用自適應變分模態分解（VMD）將時空交通流量序列進行了細化，提高平穩性后再使用結合注意力機制層的雙向長短時記憶網絡（BiLSTM）進行了交通流預測，進一步提升了建模的精確度；劉明宇等[5]構建了多層多深度門控循環單元（GRU）預測短時交通流，通過與支持向量機（SVM）等三種基線模型進行了綜合對比，證明GRU模型預測性能最優。

綜上，當交通流數據波動性和不穩定性較大時，單一的深度學習模型難以較好地學習數據的動態變化，組合模型在提高預測模型精度方面更具有優勢，且上述模型大多只考慮對單一方向的交通流進行預測，從而忽略了預測時間點之后的交通流對預測點的影響。該文提出了一種基于注意力（Attention）機制的卷積神經網絡（CNN）和雙向門控循環網絡（BiGRU）組合的預測模型（CN-AM-BG）進行短時交通流預測。通過注意力機制降低歷史數據的特征損失，并通過提高對重要節點數據的關注度，提高模型對數據深層特征關系的捕捉。

1 深度學習組合模型的構建

1.1 設計CNN網絡捕獲數據空間特征

CNN在深層次特征學習方面具備一定優勢。它可以充分利用空間信息，對道路網絡進行卷積運算，以捕捉交通數據復雜的空間相關性。以流量值為預測指標，按照路段上下游順序及時間序列順序提取流量數據，進而構造二維矩陣，利用卷積層對特征矩陣X進行卷積運算，通過池化層進一步縮小運算量、全連接層中節點的數量，最后通過全連接層得到CNN的最終輸出。

1.2 設計BiGRU網絡深度學習數據時序特征

GRU即門控循環單元結構，它和LSTM同為傳統RNN的變體，能夠有效捕捉交通數據中的時間相關性，避免梯度消失或爆炸問題。與LSTM網絡相比，GRU在保持良好的計算精度的同時結構更簡單，計算更快捷。GRU的核心結構可以分為兩個部分進行解析，分別是更新門和重置門。

GRU的原理是利用門單元控制歷史和當前信息的傳遞，其一次向前傳遞過程如下：首先計算更新門和重置門，分別為zt和rt，計算公式如下：

zt=σ（Ws[ht-1，xt]+bs） （1）

rt=σ（Wr[ht-1，xt]+br） （2）

h?t=tanh（W[ht-1?rt，xt]+bh） （3）

ht=（1?zt）?h?t+zt?ht?1 （4）

更新門zt的主要作用是決定當前輸入信息需要保留多少。式中，xt——當前GRU單元的輸入信息，ht?1——前一個隱態傳輸的信息。他們分別乘以各自的權重后匯入一個非線性的sigmoid函數，再經過sigmoid函數激活后輸出激活值zt。輸出值在0～1之間，zt的值越接近1，則說明上一時間步的信息被保留得越多。?——哈達瑪積，xt——輸入信息，ht——t時刻時隱態的信息，Wz、Wr和W——權重矩陣，bz、br、bh是對應的偏置矢量。

重置門rt主要決定了模型應“忘記”過去的多少信息。輸入的信息xt和前一單元的輸出信息ht?1分別乘以各自的權重后求和，再經過一個sigmoid函數激活后輸出rt。rt的輸出范圍為0～1，越接近0代表遺忘信息越多，1則代表完全保留信息。

式中，傳統的GRU結構通常沿序列方向進行單向傳播，每次計算只與過去信息相關。但在考慮交通流的未來數據受現在數據影響時，能夠對實時數據產生反饋，需要利用未來的反饋信息對模型進行修正。

BiGRU模型由正向傳遞和反向傳遞的GRU共同組成，水平方向表示時間序列的雙向流動，垂直方向則表示從輸入層到輸出層的單向傳遞過程。將正向輸入序列和反向輸入序列的輸出結果進行結合，則為最終的輸出結果。計算公式如下：

h ? t=g（xtWf xh+h ? t?1Wf hh+bf h） （5）

h?t=g（xtWb xh+h?t?1Wb hh+bb h） （6）

ht=comcat（h ? t，h??t） （7）

yt=g（htWhq+bq） （8）

式中，h ? t和h?t——前向和后向GRU網絡的輸出向量，xt——輸入信息，g——非線性激活函數，Wf xh、Wf hh——正向傳遞的權重矩陣，Wb xh、Wb hh——反向傳遞的權重矩陣，bb h、bf h——偏移項， yt——最終輸出結果。

1.3 引入注意力機制

注意力機制是一種模仿人腦注意力的資源分配機制，在某一特定時刻，大腦把注意力集中在起決定性作用的信息，減少甚至忽略對無關信息的注意，以捕捉數據的重要特征[6]。注意力機制通過概率分配方式，對關鍵信息分配足夠的關注度，提取重要時間點的信息特征，避免預測網絡模型將不同節點進行同樣對待，從而提高模型的準確率。Attention層的輸入為經過GRU網絡層激活處理的輸出向量H，根據權重分配原則計算不同特征向量所對應的概率，不斷更新迭代出較優的權重參數矩陣，最后通過全連接層輸出預測結果。

1.4 CNN-Attention-BiGRU組合模型

該文提出了結合注意力機制的混合神經網絡交通流預測模型（CNN-Attention-BiGRU，簡稱CN-AM-BG），該組合模型的核心結構包含CNN、BiGRU和注意力機制?；绢A測流程如下：首先將道路流量的空間和時間特征整合為一個二維矩陣作為模型的輸入，模型通過CNN層可以捕捉道路流量的空間依賴性；接著將產生的空間特征矩陣輸入BiGRU訓練模塊以捕捉流量的時間依賴性；最后引入注意力機制，根據分配權重的概率重點關注輸入序列中權重更高的區域，從而捕捉序列中的核心特征信息，由全連接層輸出最終的預測結果。模型中每層結構描述如下：

（1）輸入層：采用最小最大標準化技術將歷史交通流數據映射到[0，1]之間，作為預測模型的輸入。

（2）CNN層：主要對輸入的交通流序列進行特征提取。

（3）GRU層：將CNN層輸出的特征矩陣輸入BiGRU層，通過正向GRU層和反向GRU層進一步挖掘數據在時間維度上的特征信息，利用時序信息在反向GRU層的信息傳遞對模型進行修正。

（4）Attention層：根據權重分配原則計算不同特征向量所對應的概率，不斷更新迭代出較優的權重參數矩陣，輸出權重值。

（5）輸出層：通過全連接層輸出預測結果。

2 算例分析

2.1 數據與評價指標

該文的實驗數據來源于加州交通局績效評估系統（PeMS），該系統通過在道路關鍵位置設置相關傳感器獲取交通數據。數據來源道路是San Diego路網中標號為15-N的高速公路，截取某連續路段的16個探測器所記錄的交通流數據作為樣本數據，時序數據按5 min為間隔排列。

預測模型的側重點不同，則預測效果也不盡相同。因此，需要通過適當的指標評估一個模型是否有足夠的預測能力，通常用模型預測值與實際值的誤差評估模型的預測精度。該實驗評估指標選擇MAE（平均絕對誤差）作為損失函數，MAE、RMSE（均方根誤差）和MAPE（平均絕對百分比誤差）作為評價模型性能的指標。以上三個指標值越小，則模型誤差越小、精度越高。數學表達式如下：

MAE=1 n∑ n i=1|y??yi| （9）

MAPE=1 n∑ n i=1|y?i?yi| yi ×100% （10）

RMSE=√1 n∑ n i=1（y??yi）E6iALqv3Eyrxi5M/jCuvsQ==2 （11）

2.2 預測模型訓練

該文使用Tensor Flow中Keras框架搭建實驗所需模型，并且在python3.6環境中進行訓練和預測。模型訓練過程涉及激活函數、損失函數、優化算法、批量數（Batch size）、迭代次數（epoch）等各類參數的調優，超參數的選擇會對模型的準確性產生直接影響，預測模型的超參數將盡量保持一致。交通流數據以前90%的數據為訓練數據，后10%數據為測試數據。將交通流數據按照空間位置關系及時間序列整合為二維矩陣，作為模型的輸入。為了驗證CN-AM-BG模型的預測精度和穩定性，選取了三種基于深度學習方法的交通流預測模型進行結果對比。預測模型超參數設置如下：

（1）單一維度模型。

LSTM模型：隱層數為1，隱層單元為32；激活函數為ReLU；Batch size為32；應用Dropout正則化隨機丟棄不重要的特征，dropout值設為0.01，優化算法為Adam；模型迭代次數為100。

（2）組合模型。

CNN-GRU模型：CNN模型卷積層為3層，每層卷積核個數分別為32/64/128個，卷積核大小為1×3；池化層采用最大池化；激活函數為ReLU，優化算法為Adam；Batch size為32；模型迭代次數為100；GRU為改進的LSTM模型，模型的超參數設置與LSTM模型相同。

（3）結合注意力機制的組合模型。

CN-AM-BG模型：卷積層數為3層，BiGRU為1層，Attention層為1層，Attention層神經元個數為128，激活函數都采用ReLU；優化算法為Adam；Batch size為32；Dropout值為0.02；學習率為0.001；時間窗設置為6，時間跨度為30 min；模型迭代次數為100。

2.3 結果分析

對各模型應用同一數據集進行預測，各模型預測結果評價指標對比如表1所示。與單一模型LSTM相比，CN-AM-BG模型性能指標MAE、RMSE、MAPE分別降低了5.78、6.93、8.48；與組合模型CNN-GRU相比，MAE、RMSE、MAPE分別降低了0.91、1.98、1.45。

時間序列模型LSTM的預測誤差較大，模型無法預測即將到達的交通流峰值。CNN-GRU模型結合CNN網絡及GRU網絡的優點，識別了短時交通流數據的空間局部特征，并且保留了挖掘時間特征的能力，可以預測早晚高峰時段的交通流變化，該模型有效提高了預測精度，體現了混合模型在交通流預測中的優越性。

CN-AM-BG組合預測模型利用注意力機制，重點關注長序列數據中的特征信息，預測結果誤差最小。與組合模型CNN-GRU相比，預測精度得到進一步提升，預測效果更貼合真實值，達到較高的預測水準。

通過各模型的預測誤差對比結果可知，相比單一維度的LSTM模型而言，組合模型可以綜合考慮時空序列數據中更為復雜的模式和特征，預測效果更優；而相比組合模型CNN-GRU來說，CN-AM-BG模型利用注意力機制重點關注長序列數據中的特征信息，更進一步降低了模型的預測誤差。

3 結論

該文從交通流量序列非平穩和隨機性特征出發，為提升交通流預測的準確度，提出了改進的CN-AM-BG預測模型。模型深度結合交通流的時空特征，先在網絡底層使用卷積神經網絡進行局部空間特征的提取，得到包含空間信息的特征向量，再利用結合注意力機制層的雙向GRU網絡，同時考慮雙向的交通流數據提取時間特征，并考慮上下游交通流對預測點產生的影響。通過實驗仿真結果可知，其預測精確度明顯優于單個的LSTM模型、CNN-GRU組合模型，具有較強的預測性能和泛化能力，能夠滿足短時交通流預測精度的要求，可為交通流預測提供理論參考和方法依據。

參考文獻

[1]JIANG W， ZHANG L. Geospatial data to images： A deep-learning framework for traffic forecasting[J]. Tsinghua Science and Technology， 2019（1）：52-64.

[2]DUAN Z ， YANG Y ， ZHANG K ， et al. Improved Deep Hybrid Networks for Urban Traffic Flow Prediction Using Trajectory Data[J]. IEEE Access， 2018（6）：31820-31827.

[3]Guo S， LIN Y， FENG N， et al. Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019（33）：922-929.

[4]殷禮勝，孫雙晨，魏帥康，等.基于自適應VMD-Attention-BiLSTM的交通流組合預測模型[J].電子測量與儀器學報，2021（7）：130-139.

[5]劉明宇，吳建平，王鈺博，等.基于深度學習的交通流量預測[J].系統仿真學報，2018（11）：4100-4105.

[6]杜圣東，李天瑞，楊燕，等.一種基于序列到序列時空注意力學習的交通流預測模型[J].計算機研究與發展，2020（8）：1715-1728.

收稿日期：2024-07-12

作者簡介：魏榮（1995—），女，碩士，助理工程師，研究方向：交通規劃與管理。