基于Xgboost的鐵路貨運(yùn)裝卸作業(yè)時(shí)間預(yù)測(cè)

周 瑾，王文斌，劉子揚(yáng)，劉永壯

（1.北京全路通信信號(hào)研究設(shè)計(jì)院集團(tuán)有限公司，北京 100070；2.中國(guó)神華能源股份有限公司，北京 100040)

1 概述

鐵路運(yùn)輸是煤炭等大宗能源產(chǎn)業(yè)鏈生產(chǎn)、運(yùn)輸和銷售的重要環(huán)節(jié)，其溝通上游礦場(chǎng)與中下游的港口、電廠，不僅服務(wù)能源公司內(nèi)部的大宗商品運(yùn)輸，也為地方貨運(yùn)客戶帶來(lái)便捷。近兩年，大型能源企業(yè)紛紛結(jié)合自身業(yè)務(wù)特點(diǎn)，統(tǒng)建內(nèi)部鐵路運(yùn)輸綜合調(diào)度信息系統(tǒng)，實(shí)現(xiàn)了各板塊、各公司、各部門之間信息的有效同步，極大地提高了鐵路管理水平、決策能力與運(yùn)輸效率。

綜合調(diào)度信息系統(tǒng)的貨運(yùn)調(diào)度模塊以貨運(yùn)工作計(jì)劃為主線，一方面對(duì)接客戶、確定運(yùn)輸需求，編制貨運(yùn)工作計(jì)劃；另一方面對(duì)接上/下游公司、部門，監(jiān)控現(xiàn)場(chǎng)作業(yè)進(jìn)度，保障貨運(yùn)作業(yè)兌現(xiàn)和完成。貨運(yùn)調(diào)度員審批客戶提報(bào)日計(jì)劃，在貨運(yùn)調(diào)度系統(tǒng)中填寫并保存運(yùn)單，貨運(yùn)調(diào)度系統(tǒng)再根據(jù)運(yùn)單自動(dòng)生成貨運(yùn)作業(yè)單。貨運(yùn)作業(yè)單記錄車站完成貨運(yùn)作業(yè)的計(jì)劃和實(shí)際數(shù)據(jù)，包括車站值班員填報(bào)的車輛信息和實(shí)時(shí)作業(yè)信息。綜合調(diào)度信息系統(tǒng)在各地方鐵路公司開通運(yùn)行之后，積累了大量的貨運(yùn)作業(yè)實(shí)際數(shù)據(jù)，可用作評(píng)估各車站、客戶貨運(yùn)作業(yè)效率、車流推算、自動(dòng)運(yùn)行圖鋪畫等數(shù)據(jù)挖掘和智能決策需求的基礎(chǔ)輸入。

列車運(yùn)行圖自動(dòng)鋪畫是鐵路運(yùn)輸調(diào)度信息系統(tǒng)智能化過(guò)程的關(guān)鍵。鋪畫運(yùn)行圖首先需要考慮列車運(yùn)行過(guò)程可能影響列車正常運(yùn)行的環(huán)節(jié)和因素，確定編制列車運(yùn)行圖的要素。雖然不同的運(yùn)行圖鋪畫方式不同，但基本具備以下6 大要素：列車區(qū)間運(yùn)行時(shí)分、中間站停留時(shí)分、機(jī)車在基本段和折返段停留時(shí)分、列車在站作業(yè)時(shí)分、車站間隔時(shí)間和追蹤列車間隔時(shí)間。其中列車在站作業(yè)時(shí)間常采用車站站細(xì)中的作業(yè)時(shí)間標(biāo)準(zhǔn)，或直接使用某一固定值。但在重載鐵路貨運(yùn)場(chǎng)景下，站細(xì)中的標(biāo)準(zhǔn)時(shí)間與實(shí)際裝卸作業(yè)耗時(shí)差距較大，裝卸時(shí)間受車站、貨物、貨主和車輛等多重因素影響，僅使用標(biāo)準(zhǔn)時(shí)間作為參考鋪畫運(yùn)行圖，會(huì)導(dǎo)致后續(xù)運(yùn)行線推算與現(xiàn)實(shí)差距擴(kuò)大的問題。貨車裝載狀態(tài)檢測(cè)方面已有研究利用智能集成技術(shù)實(shí)現(xiàn)自動(dòng)識(shí)別與報(bào)警。基于這類狀態(tài)檢測(cè)算法采集的時(shí)間，還需利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法，從歷史貨運(yùn)作業(yè)數(shù)據(jù)中分析規(guī)律，實(shí)現(xiàn)比標(biāo)準(zhǔn)時(shí)間更精準(zhǔn)的裝卸車作業(yè)時(shí)間預(yù)測(cè)，作為車流推算和列車運(yùn)行圖自動(dòng)鋪畫的重要輸入。

決策樹模型通過(guò)不斷搜索使熵增最大的特征進(jìn)行節(jié)點(diǎn)的分裂，進(jìn)而從無(wú)序的數(shù)據(jù)特征中構(gòu)建決策樹，其在包含多類型且非線性數(shù)據(jù)的回歸問題上表現(xiàn)較好。本文基于某能源集團(tuán)內(nèi)部鐵路在貨運(yùn)調(diào)度中產(chǎn)生的實(shí)際貨運(yùn)作業(yè)數(shù)據(jù)，對(duì)比多種基于決策樹的boosting 改進(jìn)算法，最終采用效果較優(yōu)的Xgboost 算法來(lái)預(yù)估裝卸作業(yè)時(shí)間。與標(biāo)準(zhǔn)作業(yè)時(shí)間相比，對(duì)實(shí)際裝卸作業(yè)時(shí)間預(yù)估的準(zhǔn)確度提升明顯。該預(yù)測(cè)結(jié)果返回給計(jì)劃調(diào)度模塊，用于車流推算、運(yùn)行圖自動(dòng)鋪畫算法的開發(fā)和人工繪制運(yùn)行線合法性的校驗(yàn)。

2 貨運(yùn)裝卸時(shí)間預(yù)測(cè)模型

2.1 問題描述

貨運(yùn)的裝車和卸車作業(yè)使車輛狀態(tài)由空車變重車或者重車變空車。計(jì)劃調(diào)度在推算車流分布時(shí)，需要根據(jù)現(xiàn)車分布和貨運(yùn)作業(yè)計(jì)劃，預(yù)測(cè)裝卸作業(yè)的時(shí)間，進(jìn)而推算出未來(lái)多個(gè)時(shí)間點(diǎn)的車輛狀態(tài)變化情況。比如，當(dāng)前時(shí)刻車站里的10 輛空車經(jīng)過(guò)裝車作業(yè)，在2 h 之后就變成了重車車流。

貨運(yùn)裝卸時(shí)間預(yù)測(cè)可以建模成一個(gè)回歸問題。在當(dāng)前時(shí)刻t，根據(jù)各車站各列車的空、重狀態(tài)和相關(guān)貨運(yùn)日計(jì)劃、配空結(jié)果中安排的作業(yè)車數(shù)、作業(yè)地點(diǎn)、客戶、貨物品類、車型和載重等數(shù)據(jù)特征，來(lái)預(yù)估未來(lái)一段時(shí)間內(nèi)將進(jìn)行的裝車或卸車作業(yè)的實(shí)際時(shí)間。

2.2 模型介紹

決策樹是一種樹形結(jié)構(gòu)的決策分析模型，從根節(jié)點(diǎn)到葉子結(jié)點(diǎn)，決策者不斷利用分而治之的思想，將原問題拆解，在子問題上做決策。所以決策樹的構(gòu)建需要解決兩個(gè)問題：分裂的規(guī)則，以及子問題如何決策。決策樹算法是一套從數(shù)據(jù)特征中學(xué)習(xí)決策規(guī)則進(jìn)而構(gòu)建決策樹的算法，經(jīng)典算法包括：ID3，C4.5 和CART 等。其中CART 由Breiman、Friedman 等人提出，其引入了Gini 不純度作為分裂指標(biāo)。算法思路為循環(huán)的確定最佳分裂特征和該特征的最佳分裂值，直到達(dá)到停止條件或者沒有理想的分裂點(diǎn)。它的優(yōu)勢(shì)在于既可以解決回歸問題，也可以解決分類問題。

單棵決策樹對(duì)數(shù)據(jù)空間的刻畫能力有限，精度不夠，后續(xù)研究分別從Bagging 和Boosting 兩種方法對(duì)決策樹進(jìn)行了增強(qiáng)和拓展。基于Bagging 思路的有隨機(jī)森林算法，它利用bootstrap 重抽樣方法從原始樣本中抽取多個(gè)樣本，對(duì)每個(gè)樣本進(jìn)行決策樹建模，最后組合多棵決策樹的預(yù)測(cè)，通過(guò)投票獲得最終結(jié)果。基于Boosting 思路的有AdaBoost和梯度提升（Gradient Boosting）。更常用的梯度提升算法先構(gòu)建基樹，然后通過(guò)梯度下降的方式不斷構(gòu)建最小化損失函數(shù)的后續(xù)決策樹，累加到之前的決策樹上以提升預(yù)測(cè)結(jié)果，直到收斂。梯度提升算法中表現(xiàn)優(yōu)異的模型實(shí)現(xiàn)有Xgboost 和LightGBM。

Xgboost 由陳天奇等人于2015 年提出，是應(yīng)用廣泛的開源平行梯度提升框架，可用于主流操作系統(tǒng)Linux，Windows 和macOS，支持多個(gè)主流開發(fā)語(yǔ)言，在眾多機(jī)器學(xué)習(xí)任務(wù)比賽中都取得好成績(jī)。相比于其他梯度提升算法實(shí)現(xiàn)，Xgboost 有幾個(gè)突出特點(diǎn)。首先是對(duì)目標(biāo)函數(shù)的正則化：對(duì)一個(gè)有n個(gè)樣本和m個(gè)特征的數(shù)據(jù)集，D= (X，y) ={(xi,yi），i=1，2...n}，(|D|＝n，xi∈m，yi∈ )， 是實(shí)數(shù)集，X是所有樣本輸入，xi是第i個(gè)樣本的輸入向量，y是所有樣本輸出，yi是第i個(gè)樣本輸出。樹集成模型 (xi)用K個(gè)累加函數(shù)fk來(lái)預(yù)測(cè)輸出：

其中，l是衡量預(yù)測(cè)值與目標(biāo)值yi差異的可微分凸損失函數(shù)。Ω 是正則項(xiàng),通過(guò)懲罰模型的復(fù)雜度、平滑葉子節(jié)點(diǎn)得分以避免過(guò)擬合，γ 是葉子數(shù)，λ 是葉子權(quán)重的懲罰系數(shù)。其次是用二階梯度近似實(shí)現(xiàn)樹的梯度提升：假設(shè)(t-1)是第i個(gè)樣本在第t－1 輪的預(yù)測(cè)值，通過(guò)貪心的方法添加新樹ft來(lái)最小化目標(biāo)函數(shù)，目標(biāo)函數(shù)· 可改寫成：

做泰勒展開得到目標(biāo)函數(shù)· 的二階近似，如公式（4）所示：

所以對(duì)固定的樹結(jié)構(gòu)q(x)，可計(jì)算得到葉子節(jié)點(diǎn)j最優(yōu)的權(quán)重：

進(jìn)而得到目標(biāo)· 的最優(yōu)值為：

使用二階梯度近似使Xgboost 收斂速度更快，預(yù)測(cè)準(zhǔn)確度更高。除此之外，Xgboost 還使用收縮（Shrinkage）和列二次采樣（Column Subsampling）的方式防止過(guò)擬合。

3 案例分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用某能源公司綜合調(diào)度信息系統(tǒng)內(nèi)記錄的2022 年1 月～2023 年3 月裝卸作業(yè)數(shù)據(jù)，共計(jì)22.46 萬(wàn)條記錄（去除異常記錄后），通過(guò)隨機(jī)采樣將數(shù)據(jù)按照75%和25%比例劃分成訓(xùn)練集與測(cè)試集。通過(guò)分析貨運(yùn)裝卸作業(yè)與計(jì)劃調(diào)度的業(yè)務(wù)流程，結(jié)合信息系統(tǒng)生產(chǎn)數(shù)據(jù)記錄完備情況，共梳理與裝卸作業(yè)時(shí)間強(qiáng)相關(guān)的特征19 維，主要包括作業(yè)車輛數(shù)、作業(yè)車場(chǎng)、作業(yè)車站、車輛載重、超重重量、貨物類型、車輛歸屬人、車輛類型、承運(yùn)人、收貨人、計(jì)費(fèi)里程和終到站等。而站細(xì)中標(biāo)準(zhǔn)作業(yè)時(shí)間的劃分只考慮8 個(gè)特征：集裝箱作業(yè)類型、車輛類型、貨物種類、是否集裝箱、作業(yè)車場(chǎng)、作業(yè)車站和列車類型。

數(shù)據(jù)集中包含裝車作業(yè)記錄12.67 萬(wàn)條和卸車作業(yè)記錄9.79 萬(wàn)條，其中裝車和卸車作業(yè)時(shí)間的分布情況如圖1 所示。裝車作業(yè)時(shí)間的中位數(shù)為110 min、均值為163 min（約3 h），卸車作業(yè)時(shí)間的中位數(shù)為118 min、均值為254 min（約5 h），裝卸車時(shí)間長(zhǎng)尾效應(yīng)較明顯，比如卸車時(shí)間在600 ～700 min 間的記錄數(shù)量略有提升。數(shù)據(jù)集中不同車輛類型裝車和卸車作業(yè)時(shí)間的均值如表1所示，歷史裝卸作業(yè)數(shù)據(jù)顯示棚車的平均裝車和卸車時(shí)間高達(dá)1 290 min 和1 739 min，而棚車裝的多是化工品；礦車的平均裝車和卸車時(shí)間相對(duì)較短，分別為69 min 和120 min。數(shù)據(jù)集中不同貨物類型的平均裝車時(shí)間和卸車時(shí)間如表2 所示，不同貨物類型的平均裝卸時(shí)間差異非常明顯，如化工品和蘭炭平均裝卸時(shí)間較長(zhǎng)，而焦炭、鋼鐵及有色金屬、煤水泥的平均裝卸時(shí)間較短。

表1 不同車輛類型裝車和卸車時(shí)間均值Tab.1 Average loading and unloading time by car type

表2 不同貨物類型裝車和卸車時(shí)間均值Tab.2 Average loading and unload time by goods type

圖1 裝卸作業(yè)時(shí)間分布直方Fig.1 Histogram of loading and unloading time distribution

經(jīng)過(guò)特征篩選得到的19 維特征中，貨物類型、車輛類型、裝車地點(diǎn)等類別較多的特征，需在模型訓(xùn)練前重新進(jìn)行編號(hào)。還有同時(shí)可取多個(gè)類型值的類別特征，如車型數(shù)據(jù)：一次貨運(yùn)作業(yè)的列車中可能包含多種車型，則需要根據(jù)所有主流車型創(chuàng)建偽變量，并處理成多熱（Multi-hot）變量的形式，再送入模型。除此之外，取值范圍差異較大的數(shù)值特征，如車輛載重、超重重量和車輛數(shù)等需要進(jìn)行歸一化處理，以加快模型收斂。對(duì)存在缺失值的記錄，其缺失特征統(tǒng)一填充-1。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

本文解決的問題是根據(jù)運(yùn)單、配空、貨運(yùn)作業(yè)單等相關(guān)信息，在貨運(yùn)作業(yè)開始前對(duì)貨運(yùn)作業(yè)時(shí)間進(jìn)行預(yù)測(cè)，其本質(zhì)是一個(gè)作業(yè)時(shí)間的回歸問題。為了對(duì)比不同模型的預(yù)測(cè)效果，引入回歸問題常用的評(píng)價(jià)指標(biāo)：均方根方誤差（Root Mean Square Error, RMSE）ERMSE和相關(guān)系數(shù)R2，其表達(dá)式如公式（8）、（9）所示。

其中，n是樣本數(shù)量；yi是樣本i的真實(shí)裝卸時(shí)間，是模型預(yù)估裝卸時(shí)間，是裝卸時(shí)間均值，MSE 是均方誤差，Var 是因變量的方差。

3.3 實(shí)驗(yàn)結(jié)果

本文基于Python 進(jìn)行數(shù)據(jù)的處理和模型訓(xùn)練，在Xgboost 的訓(xùn)練過(guò)程中，通過(guò)調(diào)參，確定目標(biāo)函數(shù)采用平方誤差，決策樹（gbtree）作為提升器（booster），提升器數(shù)量為500，最大深度為4，最小葉子節(jié)點(diǎn)權(quán)重為1，學(xué)習(xí)率為0.06，子采樣率0.8，子樹列采樣率為0.8，早停止步數(shù)為5。Xgboost 的訓(xùn)練過(guò)程如圖2 所示，模型在訓(xùn)練過(guò)程收斂。根據(jù)每個(gè)特征在決策樹節(jié)點(diǎn)分裂時(shí)對(duì)損失函數(shù)的改進(jìn)貢獻(xiàn)大小可以衡量不同特征的重要性，在Xgboost 模型和該數(shù)據(jù)集中，重要度最高的10 個(gè)特征依次為：裝卸地點(diǎn)、創(chuàng)建時(shí)間、創(chuàng)建用戶、載重、車輛數(shù)、出發(fā)車站、計(jì)費(fèi)歷程、貨物品類，承運(yùn)人和終到車站。

圖2 訓(xùn)練過(guò)程中損失函數(shù)變化Fig.2 Change of loss function in training process

實(shí)驗(yàn)采用站細(xì)中的貨運(yùn)作業(yè)標(biāo)準(zhǔn)時(shí)間作為基線，對(duì)比其與Xgboost 模型在該數(shù)據(jù)集的表現(xiàn)，結(jié)果如表3 所示。通過(guò)Xgboost 模型學(xué)習(xí)裝卸作業(yè)時(shí)間歷史數(shù)據(jù)規(guī)律后，裝車作業(yè)預(yù)測(cè)在訓(xùn)練集上ERMSE＝105.14，測(cè)試集上ERMSE＝111.52，卸車作業(yè)預(yù)測(cè)在訓(xùn)練集上ERMSE＝145.64，測(cè)試集上ERMSE＝158.94。而使用站細(xì)標(biāo)準(zhǔn)時(shí)間與實(shí)際裝車作業(yè)時(shí)間對(duì)比，在訓(xùn)練集上ERMSE＝238.60，測(cè)試集上ERMSE＝210.62，與實(shí)際卸車作業(yè)時(shí)間對(duì)比，在訓(xùn)練集上ERMSE＝348.18，測(cè)試集上ERMSE＝369.27。在測(cè)試集上， 預(yù)測(cè)值的RMSE 對(duì)比站細(xì)標(biāo)準(zhǔn)時(shí)間的RMSE 在裝車作業(yè)時(shí)間和卸車作業(yè)時(shí)間上分別下降了47%和57%。且Xgboost 模型對(duì)裝卸車作業(yè)時(shí)間的方差波動(dòng)解釋性較強(qiáng)，裝車作業(yè)回歸和卸車作業(yè)回歸的R2分別為0.77 和0.82，而站細(xì)標(biāo)準(zhǔn)時(shí)間的R2僅有0.11 和0.04，說(shuō)明實(shí)際裝卸作業(yè)時(shí)間與站細(xì)中的標(biāo)準(zhǔn)時(shí)間出入很大，有諸多波動(dòng)是標(biāo)準(zhǔn)時(shí)間沒有考慮的。

表3 Xgboost模型實(shí)驗(yàn)結(jié)果Tab.3 Test results of Xgboost model

4 結(jié)束語(yǔ)

本文針對(duì)重載鐵路運(yùn)輸組織中車流推算、運(yùn)行圖鋪畫的關(guān)鍵輸入：貨運(yùn)裝卸作業(yè)時(shí)間，預(yù)估不準(zhǔn)確的問題，調(diào)研了計(jì)劃調(diào)度和貨運(yùn)調(diào)度的相關(guān)業(yè)務(wù)流程，處理和分析了貨運(yùn)作業(yè)完成前、后綜調(diào)信息系統(tǒng)記錄的歷史數(shù)據(jù)，將貨運(yùn)裝卸時(shí)間預(yù)估建模成回歸問題，利用梯度提升樹模型Xgboost 對(duì)歷史數(shù)據(jù)進(jìn)行學(xué)習(xí)。該模型相比于常用的站細(xì)標(biāo)準(zhǔn)作業(yè)時(shí)間，表現(xiàn)優(yōu)異，能夠提升車流推算的準(zhǔn)確度，更好地服務(wù)于運(yùn)輸調(diào)度人員，幫助其掌握車流分布情況，加快運(yùn)輸資源流轉(zhuǎn)。