基于混合多模態深度學習框架的交通量預測

吳文平，高銘悅

(宿州學院 信息工程學院，安徽 宿州 234000)

0 引言

隨著城市化的推進和機動車數量的快速增長，城市和景區每年的擁堵情況逐年嚴重，造成時間和燃料的浪費，也帶來了環境污染和一系列的安全問題，同時致使交通網絡效率低下，如表1所示[1]。因此，城市和景區交通流的預測研究有著重要的意義。

表1 2020年第二季度全國百城交通擁堵排名TOP10的城市

對交通擁堵的早期研判和對交通流的預測是指導交通管理科學決策的重要依據，是實現智能交通的關鍵，是智能交通的重要輔助手段[2]。在過去的幾十年中，學者們嘗試用數學方程和模擬技術來預測交通流，但是由于交通流的預測受天氣、節假日和時空關聯性等外界因素的影響，傳統的數學模型和淺層學習算法很難準確地描述交通網絡，所以交通流的預測存在很大的不確定性。隨著物聯網的發展和交通數據采集技術的廣泛應用，交通流預測已經進入大數據時代。

交通流的預測越來越依賴各類傳感器及其采集的相關多模態數據，如交通量、速度、行程時間、密度、天氣和事故等。但傳統模型不能很好地預測交通量，因此交通量預測模型需要數據驅動[3]。近些年深度學習在圖像處理和自然語言處理等方面都取得了極大的進展，交通量的預測需要綜合時間、空間和天氣等多個模態數據進行分析，本文在多模態深度學習框架的基礎上，從多個層次自動提取相關數據，利用深層特征深度學習中的卷積神經網絡(convolution neural networks,CNN)—門控循環單元(gated recurret unit,GRU)模型[4]來提高交通量預測的準確度，為實現智能交通奠定基礎。

1 混合多模態深度學習框架(HMDLF)

1.1 單模態數據的時空特征處理

交通量不僅與時間有關，還與地理位置有關，以2019年“十一”期間全國高速的交通量[6]為例(見圖1)，高速去程擁堵發生在9月30日晚上11點左右，返程擁堵出現在10月5日16點左右，說明交通量數據與歷史局部特征的數據密切相關[7]。交通量時間序列的上下文信息相互關聯，這些數據點的行為存在類似性。換言之，交通流的鄰近數據點和周期性間隔數據之間通常有很強的相關性，交通流時間序列數據的局部鄰域特征與長相關特征之間存在相關性。

圖1 2019年“十一”期間全國高速交通量

1.2 多模態數據的相互依賴性

交通量數據的預測與多種因素密切相關。交通量數據的非線性特征是由自由流、故障流和擁堵流綜合決定的。由于行駛環境是快速變化的，在故障流和擁堵流的情況下，多種模態數據(交通速度、交通行程時間、交通事故、節假日和天氣情況等)都會對交通量的預測產生影響，而這些多模態數據的變化又是高度復雜非線性的，而且存在著相互依賴性，這對交通量的預測是一個不小的挑戰。

為了解決上述兩個關鍵問題，筆者采用CNN和GRU相結合的多模態深度學習框架來對交通量進行預測，模型框架如圖2所示[8]。

圖2 混合多模態深度學習框架

一般說來，由于不同模態數據的統計特性不同(每種模態具有不同的表示形式和結構)，很難使用淺層模型進行融合建模。多模態深度特征學習是指在多特征層次融合的基礎上，如多模態交通數據的特征串聯或局部趨勢特征與長相關特征的線性組合，將CNN和GRU神經網絡相結合，把注意力機制作為一個CNN-GRU注意力模塊，考慮單模態交通數據的時空依賴性。然后基于多個CNN-GRU注意力模塊，融合不同形態交通數據的共享表示特征。

1.3 CNN空間局部特征學習

CNN是一個前饋神經網絡，它的人工神經元可以對覆蓋區域的一部分做出反應。CNN具有良好的圖像處理性能，一些研究者也將其用于時間序列分析。CNN有三個級聯層(convolutional layer、activation layer和pooling layer)。由于交通流數據的時移性和周期性，筆者使用一維CNN進行序列局部趨勢學習，通過CNN的卷積運算提取局部趨勢特征，這些特征可以作為本文提出的多模式深度學習框架中更深層次的表現。CNN的三層模型[9]可描述為：

Clj=∑ixl-1iWlij+blj，

(1)

xlj=(clj)，

(2)

xl+1j=pool(xlj)。

(3)

其中，式(1)表示卷積運算，式(2)表示激活函數，常用的有Tanh函數和ReLU函數，這里采用的是ReLU函數，式(3)表示池化函數，常用的池化函數有最大池化tf.nn.max_pool和平均池化tf.nn.avg_pool，這里采用的是平均池化tf.nn.avg_pool。xl-1i和Clj分別表示convolutinal layer的輸入和輸出。

1.4 CNN-GRU時空相互依賴性特征學習

GRU是循環神經網絡的一種，是處理時間序列預測的一種常用動態系統，圖3是一個典型的GRU框圖[10]。GRU有一個重置門和一個更新門，它能夠學習捕捉不同時間尺度上的依賴關系，如果重置門被激活，那么它傾向于學習短期依賴關系，否則，它傾向于捕捉長期依賴關系。

圖3 經典GRU框圖

經典的GRU系統在學習過程中存在一個問題：由于時空依賴，上下文(觀察片段)對時間序列的深層表示沒有同等的貢獻。增加的注意力層會在HMDLF模型應該參與的每個模態數據的共享表示中選擇時空上下文，并促進對下一個時間序列值的精確預測，其工作原理如圖4所示。它根據GRU層輸出的不同時空步預測的隱狀態計算出相應的注意力權值，利用softmax函數對輸入時間序列上的注意力向量et進行歸一化處理[式(4)～(6)]，得到隱狀態的加權和。

圖4 基于注意機制的GRU框圖

et=tanh(whht+bh)，

(4)

(5)

(6)

式中，ht為GRU層的輸出隱藏狀態；ch為模型中隨機數；e′t為下一個注意力向量；γ為每個輸入序列數據的最終共享表示。

2 預測結果對比分析

采用的數據集是洛杉磯高速路數據集“metr-la.h5”對主流的幾種模型進行對比分析，80%用于訓練，20%用于驗證。

定量分析結果見表2。其中給出了SVR(不同核)、ARIMA、LR、DTR、RIDGE、RNN、LSTM、GRU、CNN、CNN-GRU和筆者提出的HMDLF框架[11](三個不同模塊：CNN-LSTM、CNN-GRU和帶有注意力機制的CNN-GRU)的模型誤差比較分析。發現HMDLF在預測精度方面優于其他方法。與基線模型相比，筆者的HDMLF模型(帶有注意力機制的CNN-GRU模塊)可以將RMSE值降低到4.35，顯著提高了精度。基線深度學習模型的RMSE值近似，特別是CNN、CNN-LSTM和CNN-GRU，這意味著訓練單模態數據并不能明顯提高性能。

表2 HMDLF模型的RMSE值及其與其他基線模型的比較

HMDLF模型(特別是帶有注意力機制的CNN-GRU模塊)和基線深度學習方法的預測性能優于SVR、ARIMA等經典的淺層機器學習方法。單時態數據的時變性和長時程相關性是充分利用時變特性的原因。此外，HMDLF模型(帶有注意力機制的CNN-GRU模塊)還充分利用了多模態交通流相關序列數據之間的相互依賴性。實驗結果表明，筆者提出的混合多模態深度學習框架可以通過融合這些深層特征信息來提高學習效率。

通過對實驗數據的比較分析，可以發現，在筆者提出的混合模型中，使用GRU比使用LSTM能獲得更好的預測性能。這是因為GRU比LSTM更簡單，超參數更少，但仍然具有與LSTM相同的性能，因此更容易修改。在某些情況下GRU需要更少的訓練時間，效率更高，并且在筆者提出的混合模型中使用CNN-GRU basic模塊顯示了最佳的重鑄性能，這在GRU的實驗中得到了驗證。在某些情況下優于LSTM，如圖5所示。

圖5 各種模型預測結果比較

通過對以上數據的對比分析可知，筆者提出的HMDLF模型對長交通量數據(包括工作日和節假日，正常情況或異常情況)的高峰或低谷點預測是有效的，如圖5所示。交通量預測能夠很好地與實際情況相匹配，這意味著筆者提出的混合多模態深度學習預測框架能夠有效地學習多模態輸入交通數據的趨勢性、相互依賴性和時空相關性，有助于智能交通系統的發展。

3 結論和展望

本文提出的混合多模態深度學習模型(HMDLF)適用于非自由流的交通量預測。首先，模型整合了一維CNN和GRU作為一個基本模塊，來捕捉單模態交通數據局部趨勢和長相關性之間的相關特征。其次，CNN-GRU輔助注意力機制基于聯合自適應的多模態表示和融合學習框架，能夠更有效地挖掘和學習多模態輸入交通數據的深層非線性相關特征，如交通速度、流量、通過時間和天氣狀況等。

該方法在交通流預測方面的主要改進來自特征融合的多模態學習，它考慮了不同交通量數據之間的相關性，因為交通狀況與流量、速度、事件性質等有關。該方法的主要特點包括時間序列的局部趨勢和長依賴性學習，峰值和波谷點具有容錯性的魯棒匹配，有效地利用多模式交通數據的時空相關性，通過對實際交通數據集的多角度實驗，驗證了模型在各種情況下的有效性。作為研究方向，筆者認為相鄰交通網絡節點之間的交通流狀況是相互依存的。如何分析和利用這種相互依賴關系，對提高交通流預測模型的性能具有重要意義，但短時間內有效的數據采集是一大障礙，交通事故或極端天氣情況下的數據采集更加困難。混合多模態深度學習框架還需要使用更多的交通數據集進一步研究和完善。