基于編解碼深度神經網絡的交通流預測模型

李山海 吳艷雄 劉玉龍 張子曄

（1.中華全國工商業聯合會信息中心 北京市 100035 2.中國電子科技集團公司第十五研究所 北京市 100083）

1 引言

當前，新一代人工智能技術在支撐國民經濟上的作用更深遠、范圍更廣泛，應用場景也幾乎涵蓋智慧城市管理和智能交通等各個領域。交通是國民經濟發展的大動脈，當前智能交通產業發展更是各級政府和民營經濟的關注熱點。隨著智慧城市和物聯網技術的快速發展，以及全球定位系統（GPS）和地理信息（GIS）系統等的普及應用，交通流數據的采集越來越方便，交通大數據呈爆炸式增長，而且交通流相關數據還呈現出復雜的非線性相關特點[1]，如交通流量、通行速度和通行時間、天氣情況等交通流相關多變量數據等，存在復雜的相互影響。如何有效地分析和建模這些交通流相關多變量序列數據集，并構建有效的交通流預測模型已經成為智能交通研究的熱點和重要發展方向[2]。研究學者針對這一關鍵問題提出了很多的研究模型與方法，包括統計方法和機器學習方法等，但由于交通序列數據具有的高維性、非線性和相互關聯性等問題，如何有效地構建更準確的交通流預測模型仍然是智能交通面臨的核心問題，而深度學習技術的興起使其成為一種重要的應用參考。

深度學習由于其多層非線性映射原理的深度特征抽取學習能力，如在圖像處理、語音識別和自然語言處理等多個領域取得突破性進展[3]。由于不同交通時序數據之間通常存在復雜的非線性相關關系，傳統方法模型難以挖掘與交通流量相關的各類序列數據之間的深層關系，而深度學習方法對于交通流預測任務來講是一個很好的選擇。

2 相關工作

傳統的交通流預測模型可以分為兩大類，一類為參數方法，另一類為非參數方法。這些傳統的方法通常基于淺層模型或核函數進行交通序列數據建模[4][5]，難以捕獲交通流相關序列數據中的相互關聯特征。

參數法主要基于經典的時間序列分析技術，時間序列數據反映了某個（單變量時間序列）或者某些隨機變量（多變量時間序列）隨時間不斷變化的趨勢,時間序列預測分析就是要獲得這種趨勢規律以預測未來的序列值，基于參數方法的交通流預測模型包括自回歸滑動平均（ARMA）模型，差分自回歸滑動平均（ARIMA）模型[4]等等。非參數方法是指模型結構及參數需要在訓練過程中確定，也可以用于處理非線性相關的交通流序列數據，主流的機器學習模型屬于此類方法，比如基于支持向量回歸機（SVR）[5]和人工神經網絡（ANN）[6]等的交通流預測模型。通過上述兩大類傳統交通流預測方法分析表明，傳統的交通流預測模型假定交通序列數據中只包含線性自相關結構，但在真實的交通流預測應用中往往要考慮多種影響因素，而且這些因素是非線性相關的，要求模型能夠處理非線性相關交通流數據，在這方面深度學習模型具有較大的優勢，可以有效獲得交通流大數據中的非線性相關特征。比如Chen等提出了一種基于深度卷積神經網絡的短時交通擁堵預測方法（PCNN），有效捕捉了近鄰時間段交通擁塞的相似模式與擁塞等級的多尺度性[7]。Lv等基于RNN和CNN網絡提出了一種交通速度預測模型（LC-RNN），可挖掘周圍區域的交通動態變化規律，實現更準確的交通速度預測[8]。Gong等將人流分布信息與歷史數據相結合，提出了三種在線NMF模型用于悉尼鐵路網的人流預測[9]。

3 模型設計

3.1 編碼器-解碼器

編碼器-解碼器模型（Encoder-decoder）是由Cho于2014年提出[10]。該模型最早應用于自然語言處理，后來被引入時間序列預測領域。

編解碼器結構包括編碼器（encoder）和解碼器（decoder）。其中編碼器對輸入數據特征進行編碼，解碼器對應預測輸出目標。Encoder-decoder用于交通流預測計算過程如下：

在編碼階段讀入交通流數據序列X=(x1, x2, …, xTx)。通過編碼器中的神經網絡層計算后，得到隱層狀態h由公式（1）所示。

編碼后獲得了各個時間段的隱藏層，將隱藏層的信息匯總，生成編碼好的隱含表示向量C：

經典的Encoder-decoder模型通常選取最后一個時刻的隱層作為解碼器的輸入數據，即公式（3）。

上述公式中ht∈Rn是在時間步t的隱藏狀態，q是編碼采用的神經網絡層，如采用LSTM神經網絡可以表示為q({h1, h2, …, hT})=hT。

Decoder負責對輸入數據進行解碼，利用向量C和所用先前的預測輸出{y1, y2, …, yt'-1}計算預測輸出yt'，一般通過聯合條件概率計算預測輸出，如公式（4）所示。

3.2 模型結構設計

經典的神經網絡模型輸入序列和輸出序列一般是等長的，但在交通流預測應用中，模型輸入序列和輸出序列并不一致，這就需要設計新的模型解決這一問題。由于Encoder-decoder模型中輸入序列和輸出序列可以不等長，通過參數設置，可以適應不同的交通流序列預測問題。同時，本模型設計中擴展了attention機制，可以進一步提高模型預測的準確率。模型結構設計如圖1。

圖1：交通流預測模型結構設計圖

整個模型結構設計分為三層，編碼器層、注意力層和解碼器層，編解碼器中都采用多層LSTM神經網絡進行構造。首先交通流數據集通過數據歸一化得到輸入向量{X1,X2,…,Xn}，編碼器對交通流輸入進行編碼，得到編碼向量c，再流入解碼器進行解碼。在這個過程中，模型擴展設計了attention機制，在編碼器每一步的解碼中，都有預測輸出反饋回解碼器輸入，以對輸入交通流所處理的LSTM編碼層進行權值更新，實現交通流預測輸出和輸入序列的某些變量相關，以提升模型的預測準確率。

3.3 注意力機制

注意力機制設計不要求編碼器將所有輸入交通流序列都編碼為一個固定長度的向量，而是在解碼的時候，每一步都會選擇性的從向量序列中挑選一個子集進行處理。這樣，在做每一步交通流預測輸出的時候，可以盡量利用輸入序列信息特征，下面給出注意力機制核心計算過程。交通流預測輸出的條件概率計算如下公式所示：

上式si表示解碼器i時刻的隱藏狀態：

條件概率與每個目標預測輸出yi相對應的編碼向量ci有關。其中是ci由編碼時的隱藏向量序列(h1, h2, …, hTx)按權重相乘并求和，如下所示：

上述計算過程由于hi中包含了交通流輸入序列中第i個時間步的信息。將隱藏向量序列按權重相加，表示在生成第j個時間步預測輸出時的注意力權重是不同的。aij的值越高，表示第i個時間步輸出在第j個時間步輸入上相關性越強。aij計算公式如下：

公式（9）中si-1先跟每個h分別計算得到一個分數，然后使用softmax得到i時刻的輸出在Tx個隱藏狀態中的注意力分配向量，從而得到計算ci的權重。

4 實驗對比與分析

為對所提出模型的有效性進行驗證，基于Keras深度學習框架設計實現了本文提出模型，采用Scikit-learn機器學習庫用于構建基準對比相關淺層學習模型。服務器硬件配置為12G顯存的NVIDIA GeForce RTX 2080Ti GPU，Intel(R) Core(TM) i9-7920X CPU，內存64G。

并將RMSE和MAE作為模型誤差分析指標，用于評估各種方法的交通流預測性能，誤差指標計算公式如下：

4.1 實驗數據集

實驗數據集來源于英國政府開發數據平臺，簡稱為Highway England Dataset[11]，該平臺發布有關英格蘭的兩類主要公路網的交通流數據信息。Highway England交通流數據集是一個典型的多變量時間序列，該數據集采集了每間隔15分鐘的平均通行時間，通行速度和交通流量等信息，實驗所用的數據集時間跨度為2013年1月1日至2014年2月31日。

4.2 基準對比模型及參數設置

本文所提出模型與以下基準方法進行比較：

（1）VAR，向量自回歸模型，可以對多變量時間序列數據之間的隱含關系進行建模。

（2）ARIMA，自回歸綜合移動平均值法是一種廣泛用于時間序列分析的模型，它結合了移動平均值和自回歸方法。

（3）SVR，支持向量回歸（SVR）是支持向量機機器學習模型的一種變體方法，經常用于時間序列預測。

（4）RNN，這是用于處理序列任務的最為傳統的深度學習方法，LSTM和GRU（門控循環單位），是兩種最流行的基于RNN變體的深度學習模型。

（5）Seq2Seq，一種可用于交通流預測的經典序列到序列深度學習模型，該模型選擇LSTM作為編碼器和解碼器組件。

本文對比所用的神經網絡基準模型，其權重初始化均使用Keras框架默認值，使用Adam作為模型優化器，學習率設定為0.001，使用的batch size設為64。編碼器-解碼器的LSTM神經網絡層設置為3層，在每兩層LSTM間設置一層全連接層，每個隱藏層神經元個數為128。

圖2：不同模型（SVR，RNN，本文所提出模型）在兩周內的交通流預測值與真實值曲線對比圖

4.3 實驗結果對比分析

不同模型的交通流預測誤差指標對比如表1所示，給出了本文所提出模型（Ours）與基準模型的多步（從t+1到t+12的未來12小時內）交通流預測誤差（RMSE和MAE）結果。從表中數據可以看到，無論預測時間步長是多少，本文模型的預測性能都比其他基準模型要好，即使對于未來12個小時后的長時間步預測，所提模型預測性能也能保持最優，預測誤差值保持最低。

SVR模型，RNN模型與本文所提出模型在兩周內的交通流預測值與真實值曲線對比圖如圖2，圖中的誤差為預測值與真實值相減后的絕對誤差。圖2(a)為 SVR 單步預測；圖2(b) 為SVR未來第6個時間步預測；圖2 (c) 為RNN 單步預測；圖2 (d) 為RNN未來第6個時間步預測；圖2(e) 為本文模型的單步預測；圖2 (f) 為本文模型在未來第6個時間步預測。其中水平軸x表示觀測的時間步長，每個間隔為1小時，垂直軸y代表交通流量，分別比較了不同模型在單步預測（t+1）和多步預測條件下（t+6）的交通流預測誤差情況。從圖中我們可以看到，本文所提模型在不同時間步長情況下都能保持最優的預測性能，預測值曲線與真實值曲線能夠很好的匹配。模型預測性能不管是在平時工作日情況還是周末情況下，都要優于以SVR為代表的淺層模型和RNN為代表的所有基準對比模型，從圖2中的交通流波峰和波谷時間段范圍內，各模型的預測對比情況更為明顯。

表1：本文模型與基準模型的交通流預測性能對比

綜上，通過在真實交通流數據集上進行的實驗對比分析，本文所提出模型相比基準方法具有更好的預測性能，RMSE與MAE預測誤差最小，不管是在單步預測還是在長時多步預測條件下，本模型的交通流預測值都可以與真實值保持較好的匹配。

5 結論

新一代人工智能技術在支撐國民經濟上的作用越來越凸顯，特別是以深度學習為代表的新興技術，在智能交通領域的應用方興未艾。交通作為國民經濟發展的大動脈，使得智能交通產業發展備受各級政府和民營經濟的關注，比如阿里巴巴的城市大腦平臺，智能交通就是其應用的核心領域。而交通流預測是一個經典的智能交通研究課題，隨著交通大數據時代的到來，傳統的統計建模方法面臨技術瓶頸。本文引入當前主流的人工智能技術，從經典的編碼器-解碼器深度神經網絡模型入手，設計了一種新的基于編碼器-解碼器結構和融合注意力機制的深度神經網絡模型。通過編碼解碼過程中長短時記憶網絡模型的應用并擴展時間注意力學習機制，能自動學習交通流相關序列數據中的隱含表示和非線性相關深度特征，實現端到端的變長交通流序列預測。最后在真實的交通流數據集上與多個基準模型進行對比實驗，驗證了所提出模型的有效性和準確性，為智能交通應用提供了一定參考。在未來工作中，將進一步研究該模型的結構設計優化，并結合參數設置搜索，以提升模型的預測性能。