基于RAdam優化的DLSTM-AE交通流預測模型

黃艷國，周陳聰，左可飛

(江西理工大學 電氣工程與自動化學院, 江西 贛州 341000)

0 引言

近年來，高速公路的擁堵問題日益嚴重，隨著社會車輛保有量的增加也逐漸暴露出道路基礎設施不足的問題，而公路基建的資源瓶頸也影響著交通運輸的安全和管理。為了對有限的高速公路資源進行最優的合理調度，道路的交通流預測成為了高速路資源分配十分重要的技術領域，對緩解高速路的擁堵起著至關重要的作用[1-2]。

隨著科技的發展，國內外相關學者對公路交通流的預測手段也從傳統的基于參數預測轉變為當下流行的非參數預測。前者主要以數理統計和微積分等傳統數學和物理方法為基礎的預測模型，后者則以現代科學技術和方法(如神經網絡、深度學習、大數據)為主要研究手段而形成的預測模型[3]。然而，由于參數模型適用的局限性且預測精確度的有限性，在一定程度上難以滿足交通流非線性特征的需求[4-5]，因此考慮交通流非線性特征的預測模型也隨之出現。對非參數模型來說，主要分為淺層機器學習模型和深度學習模型。第1類主要是支持向量回歸(Support Vector Regression，SVR)等淺層模型[6-8]。第2類為長短時記憶網絡(Long Short-term Memory，LSTM)為代表的循環神經網絡模型。其中，由于SVR模型對核的選取比較敏感及大量的參數需求，存在一定的局限性。同時淺層的機器學習模型結構簡單，在處理大規模的交通流數據時會遇到結構瓶頸，難以適應大數據的車流量信息。而深度學習憑借著計算機技術發展和海量的車流量數據，逐漸被學者將其應用到預測領域并在試驗研究中取得不錯的效果。如王祥雪等[9]將LSTM模型用于交通流預測，其試驗預測結果顯示LSTM模型比傳統的RNN模型在其數據集上的評價指標MAE和RMSE分別有所下降。Fu等[10]首次將門控循環單元(GRU)應用于交通流預測，也取得了不錯的預測效果。Lü等[11]考慮了交通流空間上的相關性，提出了堆疊式自編碼器(Stacked Autoencoder，SAE)模型。雖然上述深度模型的試驗預測效果很好，但在實際應用中，模型存在的一些缺陷也隨之出現。比如LSTM網絡模型本身無法捕捉數據的空間特征，SAE模型沒有考慮時序上的影響。研究學者也針對模型的缺陷進行了相應的改進與完善，增加神經網絡深度是提高整體性能的有效方法[12]。Sagheer等[13]提出了一種深度長短期記憶網絡(Deep LSTM)結構進行時間序列預測，可以更高效地表示長間隔時間序列數據的復雜特征，并采用遺傳算法優化參數。由于遺傳算法本身存在收斂速度慢及局部搜索能力不足的特點，導致模型訓練存在不穩定性。而Liu等[14]提出了一個新的優化算法RAdam，根據方差分散度，動態地打開或關閉自適應學習率，既能保證收斂速度快，也不容易掉入局部最優解。針對交通流時間序列而言，其周期性、空間和時間相關性都對下一步的預測效果產生直接的影響，進一步影響到模型預測的準確度[15-17]。因此，如何綜合地提取交通流序列的特征信息是基于深度學習的組合模型亟需解決的關鍵問題。

為了較為全面地提取交通流特性，本研究根據現有交通流預測方法存在的不足和最優化算法領域的研究成果，提出一種以自動編碼器和長短期記憶循環網絡為結構基礎的交通流預測算法。該算法通過引入深層LSTM模型來獲取交通流時間序列潛在的周期性和和時空性特征，利用AE模型作為底層框架，對捕獲的特征信息在空間維度上進行解析和重建，進一步增強對交通流數據的時間和空間相關性能力，并結合RAdam算法對組合模型進行全局的優化訓練，達到更高預測精確度的目的。

1 DLSTM-AE組合模型的構建

1.1 時間相關性信息提取

LSTM模型是遞歸神經網絡(RNN)的一種特殊網絡架構[18]，其核心關鍵在于提出了細胞狀態和門機制概念，在一定程度上解決了RNN模型梯度消失問題。但對復雜的時間序列數據而言，深層RNN模型與淺層RNN模型相比，可以更好地表達高維度的非線性和長間隔時間特征，能充分學習到時間序列數據更深層的關聯信息。Deep LSTM(DLSTM)是標準LSTM模型的一種堆疊形式，屬于深層循環神經網絡。每個LSTM塊都具有多個LSTM單元，每個單元和下一個LSTM塊的對應單元存在前饋連接[10,19]。同時，每個塊都在進行不同時間尺度的訓練。這種架構在進行反向傳播時可以全局調整各個塊的參數，對復雜的交通流時序具有較高的非線性擬合能力[20]。

1.2 空間相關性信息提取

自編碼器網絡是一個簡單的3層神經網絡，由輸入層、隱藏層和輸出層依次排列連接，其欠完備自編碼器結構如圖1所示。AE作為生成模型，每層訓練都采用無監督學習算法，其訓練過程由Encoder和Decoder 2個階段組成。交通流數據經過Encoder映射到隱藏層。在該階段，生成模型會將輸入數據進行壓縮表示，進行降維，捕獲輸入的深層特征。再通過Decoder，對原始數據進行重建，生成與輸入數據對應的編碼格式。

圖1 欠完備自編碼器結構圖(n∈R,j∈R,m

給定1個未標記的交通流輸入數據集Xn∈Rm(n=1，2，3，…，N);m,N∈R。AE 2個階段用公式表示為：

H(x)=f(U1x+b1)，

(1)

(2)

1.3 基于DLSTM-AE組合模型的預測

本研究提出了一種新架構作為自編碼器原始架構的變體，使其能夠從時間序列問題中提取特征。特別是，本研究將原始AE架構從前饋神經網絡基礎更改為DLSTM循環網絡基礎 (如圖2所示)，并將其表示為基于DLSTM的自動編碼器(DLSTM-AE)。DLSTM-AE依賴于循環神經網絡，更適合對時間序列數據進行建模[14]。DLSTM-AE模型的結構如圖2所示。

圖2 DLSTM-AE模型的架構Fig.2 Architecture of DLSTM-AE model

DLSTM-AE模型的預測步驟如下：

步驟1 對原始數據進行歸一化，再根據預測目標的間隔時間重新劃分成新的訓練集和測試集。

步驟2 隨機初始化DLSTM-AE模型中的參數W和b，將訓練集數據Xt(x1,x2,x3,…,xn),n∈R送入Encoder模塊，通過DLSTM模型讀取輸入數據并將其編碼為學習到的表示向量(h1,h2,h3,…,hm,m

步驟6 在訓練網絡，調整參數階段，考慮訓練期間的變化和動量的影響，選擇RAdam優化器對涉及的權重進行迭代更新。

步驟7 訓練模型之后，經測試集得出最終的預測序列Y={Yt-(k-1),Yt-(k-2),Yt-(k-3),…,Yt}，Yt為模型在t時刻的預測值，Y為模型在t時刻的預測序列。

2 基于RAdam的模型優化算法

在以往的模型訓練過程中，大多數采用Adam算法進行參數優化。由于Adam優化器在訓練初期二階矩的方差會非常大，而二階矩指數Vt與優化器的更新梯度方向有關，因此Adam參數更新量的方差也會很大，容易導致在尋找最優解過程中收斂到局部最優?；贏dam改進的Radam優化器的算法優勢在于使用warmup的方法進行初期預熱，即在訓練開始階段，由隨機梯度下降SGD和動量Momentum進行預熱，縮小方差。以達到模型更高預測精度的同時提高訓練的時效性。RAdam算法步驟描述如表1所示。

表1 RAdam算法步驟Tab.1 Steps of Radam algorithm

當樣本批量batch-size大小為256，迭代次數epochs大小為600，滑動窗口lag為12，Encoder-LSTM層數為3，Decoder-LSTM層數為3，LSTM塊隱藏神經元個數為32，激活函數為ReLU時，在訓練集上的損失函數表現如圖3所示。

由圖3可知，在損失函數在訓練集和驗證集的測試中，與Adam優化器比較，RAdam對學習率變化具有良好的時效性和魯棒性。

圖3 RAdam 和Adam分別在訓練集和驗證集上的損失函數Fig.3 RAdam and Adam in training set and verification set respectively注：圖中驗證集的損失函數為執行驗證集劃分validation_split=0.05后的損失值。

3 仿真結果與分析

3.1 試驗環境與數據來源

本研究試驗基于TensorFlow中的Keras神經網絡庫，在PyCharm開發環境(Windows10專業版，CPU為2.3 GHz，4核，Inter(R) Core(TM) i5-6300HQ，16GB內存)中完成模型的搭建及訓練。選取的數據集來自美國加利福尼亞州運輸部交通流數據集(Performance Measurement System, PeMS)，其數據是從跨越加利福尼亞州所有主要大都市區的高速公路的各個探測器實時收集。通過篩選掉那些節點間距小于5.6 km的檢測器，用線性插值法填充缺失值并將輸入數據歸一化至[0, 1]區間。進行預處理后的數據集包含12 096組數據，其中訓練集包含7 777組數據，測試集包含4 321組數據。時間范圍從2016年1月4日至2016年3月31日，每組數據的時間間隔為5 min。

3.2 評價指標

在試驗過程中，為了科學評估DLSTM-AE組合模型的性能，選用均方根誤差RMSE、平均絕對誤差MAE和相關系數R2作為模型的評價指標。

(3)

(4)

(5)

3.3 模型參數設置

經多次模型訓練調試后，最終確定模型參數 batch-size為256，epoch為600次，時間步長為12，激活函數選擇ReLU，Encoder解析后的表示向量長度m和Decoder重構后的狀態向量長度j均為6，并且將validation-split設置為0.05。

3.4 基于交通流時空性的預測結果對比分析

為了驗證所提出模型的有效性，選取一些基準神經網絡預測模型作為對照組，而本研究提出的模型設置為試驗組，通過試驗驗證進行對比分析。試驗數據仍來源于PeMS數據集中，該數據的測試集時間間隔為5 min。其中對照組的試驗模型分別為門控循環單元模型(GRU)、長短時記憶網絡模型(LSTM)、雙向長短時記憶網絡模型(BiLSTM)和堆疊式自編碼網絡模型(SAEs)。就試驗預測模型的優化器而言，試驗組選擇RAdam優化器，對照組選擇RMSprop優化器。根據試驗組所測試的各項參數結果，對照組與試驗組的訓練參數保持一致。各試驗模型在該數據集上的評估指標如表2所示。

表2 基于PeMS數據集的預測結果Tab.2 Evaluation result based on PeMS dataset

從表中可知，DLSTM-AE模型在PeMS數據集上的平均預測RMSE、MAE值均小于對照組模型，R2值均大于對照組模型，訓練時間與GRU模型接近。相比對照組，試驗組的RMSE值下降了約0.445～1.826，MAE值下降了約0.282～0.984，R2值提高了約0.005～0.023。而在訓練時間上，SAEs模型雖用時最短，其原因在于采用自下而上逐層的非監督預訓練，減少了反向傳播的時間。但其RMSE和MAE值相比較與試驗組分別高出約9.70%與10.43%，R2值降低約1.16%。

試驗結果表明，本研究提出的DLSTM-AE組合模型結合了循環記憶網絡的預測精確度和自編碼器的時效性，在PeMS數據集上的預測表現最優。

3.5 基于交通流周期性的預測結果對比分析

為了進一步分析交通流的周期性和時空特性，基于PeMS數據集，分別對2016年3月的2周內多個特定的工作日(星期一、星期三、星期五)進行預測，以更好地評估組合模型的預測性能。DLSTM-AE模型與對照組模型的預測結果如表3和表4所示。

由表3和表4可知，從相鄰周的多個特定工作日來看，DLSTM-AE模型隨著預測步長增加在評估指標RMSE和MAE值也逐漸上升，R2緩慢下降。表明預測時間的長短對模型性能有較大的影響。但相比較于對照組模型的試驗數據，DLSTM-AE組合模型的性能評價指標更具有中心化，模型泛化能力更強。對于試驗模型架構來說，DLSTM-AE組合模型對預測時間步長的增加導致模型誤差積累的趨勢具有減緩效果，彌補了單一模型在長時間預測能力上的不足。

表3 DLSTM-AE模型與對照組模型在第k周下的預測結果Tab.3 Prediction result of DLSTM-AE model and control model in kth week

表4 DLSTM-AE模型與對照組模型在第k+1周下的預測結果Tab.4 Prediction result of DLSTM-AE model and control model in (k+1)th week

DLSTM-AE組合模型與對照組模型在特定工作日下早高峰時間段的車流量預測結果如圖4所示。

圖4 試驗模型在多個特定工作日下的預測結果Fig.4 prediction result of experimental model in multiple specific working days

由圖4可知，通過對比2幅圖的曲線擬合結果，DLSTM-AE模型在實際交通流周期性和時空性的預測數據更加貼合真實數據。當車流量處于高峰時，交通流量處于快速突變狀態，會增加交通流預測的難度，但DLSTM-AE模型對比對照組模型可以較好地追蹤真實交通流量，較少出現異常的預測值。當車流量處于急劇變化的周期內，會造成模型預測值的精確度下降，而DLSTM-AE模型在此周期結束的下一刻仍準確預測交通流的變化趨勢。

4 結論

本研究將對交通流時序數據的時間維上具有良好擬合效果的DLSTM模型與對空間維上具有優勢的AE模型進行組合，充分挖掘了交通流的時空信息。利用RAdam優化算法解決深層循環神經網絡的梯度退化問題，從而提高了交通流量預測的準確率。通過仿真試驗，對比常用的LSTM，BiLSTM，GRU和SAEs預測模型，對多個特定工作日的交通流進行了預測。本研究提出的組合模型在預測精確度和時效性上均有較好的表現。在相鄰周對應工作日的預測結果來看，DLSTM-AE組合模型的預測誤差更小，時效性更強，這對城市道路的管理具有重大意義。在后續的工作中，應考慮天氣等其他因素的影響，同時模型的實際應用價值也值得進一步研究。