基于Bi-LSTM網絡的鐵路短期 貨運量預測研究

郭洪鵬，劉 斌，肖 堯

(蘭州交通大學 交通運輸學院，甘肅 蘭州 730070)

0 引言

鐵路貨運量預測是鐵路運輸企業合理規劃運輸資源、提高運輸效率的重要手段。目前針對鐵路貨運量預測的研究主要是以年為單位的長期預測，采用的預測方法有多元回歸預測、灰色馬爾科夫模型、反向傳播(Back-Propagation，BP)神經網絡等[1-5]，以年為時間粒度所得結果預測精度有限，無法作為鐵路日常工作計劃的主要編制依據，而短期貨運量(日、月貨運量)預測的結果更有助于日常工作計劃的編制。為了實現鐵路貨運物流化高質量發展，鐵路運輸企業需掌握短期精確的貨運量預測方法，如自動回歸模型、基于季節分解的時間序列模型[6-9]，以及深度學習(Deep Learning)等[10-13]。湯銀英等[7]通過Holt-Winters乘法模型預測貨運量，經實例驗證，所得的結果高于灰色預測、回歸預測等傳統預測模型。譚雪等[10]通過研究結構簡單且具有高效記憶功能的門控循環單元(Gated Recurrent Unit，GRU)深度網絡，分別建立單步和多步預測模型進行短期貨運量預測，然后將預測結果與支持向量機回歸、BP神經網絡和長短時記憶網絡(Long Short-Term Memory，LSTM)等模型的預測結果在準確率和均方根誤差指標方面比較，證明GRU深度網絡的優異性。

短期貨運量具有高度非線性、不確定性和序列依賴性的特征，而深度神經網絡對時序數據有強大的學習能力，能較好擬合短期貨運量的非線性特性。研究將雙向長短時記憶網絡(Bi-directional Long Short-Term Memory，Bi-LSTM)引入鐵路短期貨運量預測中[11]，因其具備前向計算和后向計算能力，雙向LSTM的輸出層不僅依賴之前的輸入，還會依賴后面的數據，這樣可以增加信息的交流與維持，使數據的利用更為充分。通過實際數據驗證并與傳統預測模型的預測結果進行比較，驗證Bi-LSTM網絡的預測性能和泛化性能。

1 基于Bi-LSTM網絡的鐵路短期貨運量預測模型構建

1.1 Bi-LSTM網絡理論

LSTM網絡是循環神經網絡(Recurrent Neural Network，RNN)的變體，改善了RNN存在的無法解決長期依賴的問題。LSTM單元結構如圖1所示。其中，ct，ht分別表示模型的記憶狀態和隱層狀態，xt，yt分別表示模型的輸入與輸出，σ表示sigmoid激活函數。LSTM的單元內存在4個不同的全連接層，全連接層的每一個結點都與上一層的所有結點相連，其主要用途是把模型提取到的特征綜合起來。主層是圖中輸出為c~t的層，其基本作用是分析當前輸入xt和前一個隱狀態ht-1。其他3個層是門限控制器，分別是：由ft控制的忘記門限，控制著哪些記憶狀態應被丟棄；由it控制的輸入門限，控制著c~t的哪些部分會被加入到記憶狀態；由ot控制的輸出門限，控制著哪些記憶狀態應在這個時間迭代被讀取和輸出。隨著記憶狀態ct-1從左到右貫穿網絡，它首先經過一個忘記門限丟棄一些記憶，然后通過輸入門限選擇添加一些新的記憶。因此，在每個時間迭代中，一些記憶被丟棄，同時一些記憶被增加。另外，經過額外操作，記憶狀態被復制并傳入tanh函數，然后其結果被輸出門限過濾，從而產生新的隱狀態ht。LSTM就是在這樣的循環之下，學習哪些記憶需要儲存，哪些記憶需要丟棄，以及從哪些記憶中去讀取，從而結合輸入變量去預測輸出變量。

圖1 LSTM單元結構Fig.1 LSTM cell structure

式中：tanh表示雙曲正切激活函數；Wxc，Wxf，Wxi，Wxo表示每一層連接到輸入向量xt的權重矩陣；Whc，Whf，Whi，Who表示每一層連接到前一個隱狀態ht-1的權重矩陣；bc，bf，bi，bo表示每一層的偏置項。

單向LSTM網絡在信息推測時采用的原理是由前向后推測信息，在單向LSTM網絡基礎之上，提出同時考慮前期信息和后期信息的雙向長短時記憶網絡——Bi-LSTM網絡，可以有效保證時間序列預測所得結果的精確性[14]。

Bi-LSTM網絡的計算方式分為前向計算和后向計算，水平軸表示時間序列的雙方向流動，豎直軸表示信息從輸入層到隱藏層和從隱藏層到輸出層的單方向流動。Bi-LSTM網絡結構圖如圖2所示。

圖2 Bi-LSTM網絡結構圖Fig.2 Diagram of Bi-LSTM network structure

另外，為了控制神經網絡預測過程中出現的過擬合現象，引入Dropout方法以改善模型的適用性。該方法通過使部分神經元隨機失去活性，保證所有訓練都具有不同的弱分類器的性質，從而使得模型的泛化能力有所保證。

1.2 基于Bi-LSTM網絡的鐵路短期貨運量預測模型

1.2.1 預測流程

Bi-LSTM模型預測時，假設一個樣板數據時間窗步長為3，則其輸入為xt-1，xt，xt+1。對于2個分離的LSTM單元，其前向計算樣本按照xt-1，xt，xt+1輸入，得到第一組輸出狀態為其后向計算樣本按xt+1，xt，xt-1輸入，得到另一組輸出狀網絡計算流程圖如圖3所示。

圖3 Bi-LSTM 網絡計算流程圖Fig.3 Flowchart of Bi-LSTM network calculation

由于得到的2組狀態輸出每個元素的特征維度是相同的，將前向計算和后項計算所得的結果進行拼接進而對于每個輸入的xt，都可以得到維度為2的輸出向量Yt=

1.2.2 評估指標

為評價模型預測結果的精確度以及與其他算法的預測結果進行比較，采用均方根誤差RMSE、平均絕對值誤差MAE和平均絕對百分比誤差MAPE 3種評價指標作為模型預測精確度的評估指標以及與其他模型比較的標準，RMSE，MAE和MAPE計算公式如下。態為

式中：ARMSE表示均方根誤差；AMAE表示平均絕對值誤差；AMAPE表示平均s絕對百分比誤差；m表示預測結果個數；Y^

i表示真實值；Yi表示預測值。

2 實證分析

2.1 鐵路短期貨運量預測實驗數據處理

以某鐵路局集團公司為例，對鐵路短期貨運量進行預測。研究數據來源于2010年1月1日—2021年4月14日共4 122 d、136個月的貨物發送量，某鐵路局集團公司裝車數如圖4所示。鐵路裝車數是指在一定時期內鐵路營業線和臨時營業線上的車站承運，并填制貨票以運輸車運送的發送貨物裝車完了的車數，或者是計劃期間發送貨物所需要的車數。由于裝車數指標在日常掌握中比貨物發送噸數指標簡便明確，所以在考核下達各級運輸單位運輸計劃執行情況時，經常使用裝車數作為指標，以便各單位組織車流和貨流計劃，因而研究采用日、月裝車數作為實驗數據。其中，日裝車數在8 000車上下浮動，月裝車數在200 000車上下浮動。由圖4可以看出，某鐵路局集團公司近年來貨運量走勢基本趨于平穩，受國家經濟轉型、鐵路貨運組織改革等宏觀經濟環境變化的影響，2013—2015年出現下降，在2017年開始逐漸回暖，貨運量整體呈上升趨勢。

機器學習中普遍的做法是將樣本按7 : 3的比例從同一個樣本集中隨機劃分出訓練集和測試集。因此，將月貨運量數據集分為訓練集(2010年1月—2018年12月)和測試集(2019年1月—2021年3月)，日貨運量數據集分為訓練集(2010年1月1日—2018年12月31日)和測試集(2019年1月1日—2021年4月14日)。訓練集和預測集數據分集如表1所示。

表1 訓練集和預測集數據分集Tab.1 Training set and data subset of prediction set

2.2 Bi-LSTM 網絡鐵路短期貨運量預測參數設置及實驗結果

（1）參數設置。選擇使用adam作為模型參數優化器，選擇mse作為損失函數，并對模型中的其他超參數進行設置。超參數設置如表2所示。

表2 超參數設置Tab.2 Superparameter setting

（2）實驗結果。貨運量預測結果如圖5所示，Bi-LSTM網絡測試集評估指標如表3所示。由表3可知，基于日貨運量數據的Bi-LSTM網絡貨運量預測結果的MAE為471，MAPE為5.30%，RMSE為616。基于月貨運量數據的Bi-LSTM網絡貨運量預測結果的MAE為18 364，MAPE為6.92%，RMSE為20 129。一般認為MAPE在10%以內預測結果有效，2組數據的預測結果均較為精確，表明Bi-LSTM網絡具有較為可觀的泛化能力。

表3 Bi-LSTM網絡測試集評估指標Tab.3 Evaluation indexes of Bi-LSTM network test set

圖5 貨運量預測結果Fig.5 Freight volume prediction

2.3 Bi-LSTM網絡鐵路短期貨運量預測比較算法

（1）隨機森林(Random Forest，RF)。作為bagging法中的特殊情況，隨機森林將決策樹用作bagging中的模型，以保證更準確地找到最優解。主要原理如下：①用bootstrap法生成m個訓練集。②針對所有的訓練集，構造對應每一個訓練集的決策樹。在節點搜索特征進行分裂時，并不是對所有特征進行搜索而使得指標最大，而是在特征中隨機抽取一部分特征，在抽到的特征中找到最優解，應用于節點，進行分裂。正是因為bagging的存在，隨機森林法實際上相當于對所有樣本和每一個特征都進行采樣，以此實現避免過擬合的目的。

（2）支持向量機(Support Vector Machines，SVM)。作為二分類模型中的一種特殊類型，SVM使結構的復雜性得到有效的降低，保證在解決樣本數量少、線性、非線性及高維模式識別中呈現出諸多獨有的優勢[15]。這一特點還能在函數擬合等各類機器學習問題中得到推廣和應用。由于SVM以統計學習理論中的VC理論和結構風險最小原理為建立依據，因而在泛化能力上有明顯的提高。通過對數據維度的提升，以保證做回歸時可以實現高維空間構造線性函數并實現線性回歸。

（3）極端梯度提升(eXtreme Gradient Boosting，XGBoost)。由 于XGBoost具有顯著的預測精確度而得到廣泛的應用。XGBoost的本質是梯度增強決策樹(Gradient Boosting Decision Tree，GBDT)算法的改進。因此，XGBoost既可以用于分類也可以用于回歸問題中，具有計算速度快、模型表現好的特點。

（4）LSTM網絡。在以往的時間序列預測中，RNN已經得到廣泛的運用，但數據隨著時間序列的不斷增加，梯度爆炸和消失的問題也隨之而來。LSTM網絡就是為解決梯度爆炸和消失這一弊端專門設計的一種特殊類型的RNN。

2.4 Bi-LSTM 網絡鐵路短期貨運量預測比較算法實驗結果

為驗證Bi-LSTM網絡預測結果的精確度，同樣采用Bi-LSTM網絡的數據分集和參數設置，分別使用RF，SVM，XGBoost和LSTM 4種機器學習算法對日裝車數及月裝車數進行預測。

（1）預測結果評估指標比較。5種模型預測結果評估指標比較如表4所示。通過分析比較表4中的數據可知，Bi-LSTM網絡的日、月貨運量預測結果，較RF而言在日貨運量預測結果MAPE低1.34%、月貨運量預測結果MAPE低2.93%，較SVM而言在日貨運量預測結果MAPE低4.6%、月貨運量預測結果MAPE低4.89%，其RMSE有較為明顯的降低，說明Bi-LSTM網絡預測性具有較為明顯的優勢。與XGBoost模型相比，在日貨運量預測上，平均絕對百分比誤差比較接近，但在月貨運量預測上Bi-LSTM網絡誤差更低。與LSTM網絡相比，兩者預測誤差較為接近，但Bi-LSTM網絡采用雙向計算的原理，同時考慮前后期信息，使得預測結果更為精確。

表4 5種模型預測結果評估指標比較Tab.4 Comparison of evaluation indexes of prediction by five models

（2）月貨運量預測比較。5種模型月貨運量預測比較如圖6所示。從圖6可以看出Bi-LSTM網絡和LSTM網絡在趨勢上與實際月貨運量最為接近，但Bi-LSTM網絡在2020年5月開始具有和實際貨運量相同的上升趨勢，說明Bi-LSTM網絡具有更高的預測精度，模型在泛化能力上具有更好的表現。

圖6 5種模型月貨運量預測比較Fig.6 Comparison of monthly freight volume prediction by five models

（3）日貨運量預測比較。以實際日貨運量為橫坐標、預測值為縱坐標建立5種模型日貨運量預測效果散點圖，5種模型日貨運量預測效果如圖7所示。通過觀察斜率和散點密集度可以發現，Bi-LSTM網絡的預測結果斜率更接近1且更密集，說明Bi-LSTM網絡的預測結果精確度更高。

圖7 5種模型日貨運量預測效果Fig.7 Daily freight volume prediction by five models

3 結束語

短期貨運量預測研究是鐵路運輸企業編制日常工作計劃的重要依據，準確的貨運量預測結果對鐵路貨運組織工作具有積極意義。研究結合實際情況，建立基于Bi-LSTM網絡的鐵路短期貨運量預測模型，并與RF，SVM，XGBoost和LSTM 4種模型進行比較，驗證Bi-LSTM網絡的預測精確度和泛化能力均高于其他4種模型，為鐵路短期貨運量預測提供一種新的思路。在接下來的研究中，還可以改進Bi-LSTM模型，以進一步提高模型的預測精度。