基于梯度提升決策樹的瓦斯濃度在線預測

郭風景，王 斌，賈澎濤，孫劉詠，廖永強

(1.陜西陜煤蒲白礦業有限公司，陜西省渭南市，715517；2.陜西建新煤化有限責任公司，陜西省延安市，727300；3.西安科技大學計算機科學與技術學院，陜西省西安市，710054)

0 引言

煤礦瓦斯濃度預測的目的是在充分挖掘歷史數據的基礎上，獲取可靠的災害前兆信息，對瓦斯災害進行超前預報或預警，從而避免事故的發生。隨著人工智能技術的廣泛應用，許多學者將機器學習算法應用于瓦斯濃度預測，取得了較好的預測效果。綜合來看，這些瓦斯濃度預測方法主要分為基于單一傳統機器學習的方法、基于集成學習的方法和基于深度學習的方法3類。

基于單一傳統機器學習的瓦斯濃度預測方法主要有灰色關聯分析與高斯過程回歸方法[1]、偏最小二乘回歸分析方法[2]、差分自回歸移動平均(ARIMA)方法[3]、BP神經網絡方法[4-8]、支持向量回歸方法[9-10]等。這些研究在瓦斯濃度預測方面做出了有益的探索，但是單一機器學習方法受方法本身的局限，預測精度還有待進一步提高，預測的泛化能力也有待改進。

為了克服單一方法的不足，一些學者采用集成學習方法預測瓦斯濃度。集成學習方法通過組合多個基學習器進行預測，從而達到“取長補短”的目的。付華等[11]在不等權泛平均運算模型研究的基礎上，提出了集成自回歸和徑向基函數模型的礦井瓦斯濃度預測方法；賈澎濤等[12]基于瓦斯濃度與環境因素相關性分析，提出了瓦斯災害選擇集成回歸學習模型；LIANG Rong等[13]構建了基于前序選擇集成回歸模型的瓦斯濃度預測方法。這些集成預測模型彌補了單一方法的不足，精度和泛化能力較單一模型有所提高，但是運行的時間效率有所下降。

隨著深度學習的逐漸應用，近年來，一些學者也將其應用在瓦斯濃度預測領域。李樹剛等[14-15]建立了基于循環神經網絡(RNN)的工作面瓦斯濃度預測模型，獲得了較好的準確性。但是RNN網絡隨著數據量、隱藏層數和神經元數量的增大，往往會面臨梯度爆炸、梯度消失和長期依賴的問題。因此，一些學者[16-23]研究了基于長短時記憶神經網絡(LSTM)的瓦斯濃度時間序列預測，有效解決了RNN網絡存在的問題，取得了較好的預測效果。但是LSTM模型存在參數較多、結構較為復雜、不易收斂、訓練時間長等問題。為了解決LSTM存在的問題，一些學者[24-26]提出了一種基于優化門控循環單元神經網絡(GRU)的瓦斯濃度預測模型，相比RNN和LSTM具有更高的精度和更少的運行時間。但是，與非深度學習模型相比，深度學習模型訓練耗時長，需要數據量大，不能滿足在線預測的要求。

綜合來看，單一的機器學習模型的精度有待提高，而深度學習模型由于網絡結構復雜、參數多，導致建模效率較為低下。此外，目前多數瓦斯濃度模型為靜態模型，不支持在線預測，這些都是需要亟待解決的問題。因此，筆者嘗試采用機器學習中有監督集成學習方法——梯度提升決策樹(GDBT)，進行瓦斯濃度預測。首先，采集瓦斯濃度歷史數據，應用拉格朗日插值法和拉依達準則對數據中的異常值和缺失值進行預處理；其次，在集成學習理論的基礎上，構建基于梯度提升決策樹的瓦斯濃度預測模型；然后，采用L2-范式作為目標函數，確定模型輸入滑動窗口長度的最優值，建立瓦斯濃度在線預測模型；最后，實驗驗證了模型的預測有效性、在線預測效率和泛化能力。

1 基于GBDT的瓦斯濃度預測模型

GBDT算法是集成學習算法Boosting的一個代表算法，用于解決高維非線性數據的分類與回歸預測問題[27]。GBDT算法采用K個分類回歸決策樹(CART)[28]作為基學習器，以K個基學習器輸出結果的和作為最終結果。

1.1 瓦斯原始數據預處理

原始瓦斯濃度數據由于受傳感器故障、傳輸鏈路中斷、環境等因素影響，可能存在數據缺失、噪聲、異常值等“臟數據”。在進行瓦斯濃度預測之前，必須先對這些“臟數據”進行處理。采用拉依達準則查找原始數據中的異常值，并將異常值視為缺失值。

拉依達準則是較為常見的異常值判別準則。如果具有n個數據的時間序列集合X={x1，x2，…，xn}的殘差絕對值大于3倍的標準偏差時，即如果標準差如式(1)所示時，不等式(2)成立，則認為該測量值為異常值，將異常值處理為缺失值。

式中：σ——數據的標準差；

xi——第i個數據值；

n——數據的總數量。

然后再應用拉格朗日插值法對數據中的缺失值進行預處理。拉格朗日插值法是一種多項式插值方法。設具有n個離散點的瓦斯監測時間序列數據為G={x1，x2，…xt，…，xn}，t時刻瓦斯監測數據缺失值為xt，有拉格朗日插值函數L(t)，使得xt=L(t)。構造n次拉格朗日插值函數為：

(3)

式中：L(t)——拉格朗日插值函數；

t——時刻；

ti——第i個時刻；

tk——第k個時刻。

拉格朗日插值法簡單易用，但是在實際使用中，為了避免龍格現象(即在兩端處波動極大，產生明顯的震蕩)，需要根據數據具體情況確定合適的插值階數。

1.2 瓦斯濃度預測決策樹

GBDT瓦斯濃度預測算法的基礎是回歸決策樹CART算法，回歸決策樹本質是一個二叉樹，由父節點和子節點構成。

式中：I——脈沖函數；

ave——平均值函數；

yi——子空間中對于輸入xi的輸出結果。

(6)

對于此分割問題，存在一個最優分割，使得R={x1，x2，…，xn)最小，其中R={x1，x2，…，xn)可表示為：

(7)

式中：|Gm|——屬于子空間Gm樣本點的個數。

按照上述分割方法，將Gl和Gr作為父節點遞歸進行分割，直至當前父節點中樣本的y值方差小于給定方差閾值。條件滿足時，停止遞歸并將當前父節點設置為葉子節點。至此，建立起單棵瓦斯濃度預測CART樹。

1.3 基于GBDT的瓦斯濃度預測模型構建

單顆CART決策樹已經能對瓦斯濃度進行預測，但精度不高，且不穩定。因此，應用集成學習的思路，在單棵CART樹的基礎上，構建基于GBDT的瓦斯濃度預測模型(PGBDT)，則可有效彌補單棵CART預測樹的不足。

GBDT算法是一種迭代的決策樹算法，可以看作是M棵CART樹構成的加法模型：

(1)初始化一個弱CART樹學習器CART0(x)：

(8)

式中：L(xi，c)——損失函數。

(2)針對瓦斯樣本數據集建立M棵CART樹：

對于i=1，2，…，n，計算m(m=1，2，…，M)棵樹損失函數的負梯度：

(9)

式中：rm，i——損失函數的負梯度。

(3)使用CART回歸樹擬合數據(xi，rm，i)(i=1，2，…，n)，獲得第m棵回歸樹，對應的葉子節點區域為Rm，j(j=1，2，…，Jm)，第m棵回歸樹葉子節點的個數為Jm。

(4)對于Jm個葉子節點區域(j=1，2，…，Jm)計算出最佳擬合值：

(10)

式中：cm，i——最佳擬合值；

c——待擬合的模型參數。

(5)更新強學習器CARTm(x)：

(11)

(6)建立M棵CART樹的輸出加權求和，得到GBDT模型的結果：

(12)

式中：w——模型參數；

α——每棵樹的權重。

PGBDT模型結構如圖1所示。

圖1 PGBDT模型結構

1.4 在線預測

前述建立的PGBDT模型是靜態模型，并不具備在線預測的能力，不能滿足瓦斯濃度在線預測的需求。因此，對PGBDT模型進行改進，采用L2-范式作為目標函數，確定模型輸入滑動窗口長度的最優值，建立瓦斯濃度在線預測模型，使其具備在線預測的能力。

設在一個時間監測周期t內的瓦斯濃度時間序列為G={x1，x2，…xt}，yt+1為t+1即下一時刻的預測值：

yt+1=PGBDT(G，α，w)

(13)

設PGBDT模型在線學習窗口長度為N，則PGBDT模型參數估計由xt-1，xt-2，…，xt-N+1確定，窗口長度N的值可由L2-范式最小化(L2-min)方法確定。

設瓦斯濃度測試集誤差ε(t)為：

(14)

取測試集誤差和的最小值，即可求得最佳學習窗口長度N值，并利用寬度為N的滑動窗口實現新監測數據的增量學習。

2 實驗數據與實驗設計

2.1 實驗數據

在陜西建新煤礦進行工作面瓦斯濃度監測數據采樣，采集時間從2019年4月18日12∶00開始，至2019年5月19日10∶35結束，數據采集粒度為5 min。應采集數據8 914條，實際采集有效數據8 895條，數據缺失19條，無異常值和噪聲值。實驗數據均值為0.146%，標準差為0.087%，最小值0.021%，最大值0.925%。按照9∶1的比例劃分訓練集與測試集。

采用拉格朗日插值法對數據中的空值進行插值處理。處理后的數據盒如圖2所示，圖中顯示出一組數據的最大值、最小值、中位數及上下四分位數。

圖2 實驗數據盒

2.2 對比模型

選擇線性回歸(LR)、差分自回歸移動平均(ARIMA)[3]、支持向量回歸(SVR)[10]、BP神經網絡[4-9]、循環神經網絡(RNN)、LSTM[18-23]、GRU[24-26]等預測方法作為實驗對比方法。

2.3 評價指標

為了檢驗預測方法的有效性，必須用一定的指標對預測效果進行綜合性的衡量和評價。按照預測效果評價的原則和慣例，采用以下評價指標作為參考。

設瓦斯濃度數據測試集真實值為Gtest={xn+1，xn+2，…，xn+s}，預測值集合為Gpre={yn+1，yn+2，…，yn+s}，選擇以下3項指標作為評價指標：

(1)平均絕對誤差MAE：

(15)

式中：s——總數據量。

(2)均方根誤差RMSE：

(16)

MAE和RMSE越小，說明模型的預測效果越好。

(3)判定系數R2：

(17)

R2取值為0～1，越接近1，說明模型的預測精度越高。

3 結果分析

3.1 不同模型對比分析

在測試數據集上，對PGBDT方法和對比預測方法進行測試，實驗評價結果和運行時間數據對比見表1。

表1 不同預測方法的評價指標結果

從表1可以看出，在預測精度方面，在MAE指標上，PGBDT取得了最好的預測效果0.014 5；在RMSE指標上，ARIMA、PGBDT、BP、LSTM和GRU取得了較好的預測效果0.001 0；在R2指標上，PGBDT取得了最好的預測效果0.891 2。在預測效率方面，LR和SVR的訓練和運行時間較短，PGBDT次之，BP、RNN、LSTM、GRU的運行效率較差。

綜合來看，對于靜態預測模型，LSTM、GRU等深度學習方法預測精度和PGBDT不相上下，但是PGBDT的預測效率較大幅度優于LSTM和GRU模型。

3.2 在線學習窗口長度N的確定

學習窗口長度N依據L2-范式確定。設定學習窗口的下界為10，上界為600。將窗口值從10增至600，每次增加窗口的長度為1，創建相應的PGBDT模型，并在測試集上進行逐點預測，求出每個模型在測試集上的L2-范式，得出L2-范式在不同學習窗口大小下的變化情況，如圖3所示。

圖3 學習窗口長度與L2-范式關系

由圖3可知，學習窗口在300之前，L2-范式值呈下降趨勢；學習窗口在300～430之間，L2-范式值來回波動；在學習窗口300時，L2-范式值取得最小值；學習窗口大小超過430之后，L2-范式值又呈上升趨勢。因此選擇序貫學習窗口大小為300，此時L2-范式值為0.0 007 981，MAE值為0.011 8，MAE比在全部訓練集上學習取得的MAE誤差率0.014 1降低了16.3%。全訓練集上學習窗口長度為8 023，學習窗口大小300時比靜態全訓練集窗口長度降低96.3%。學習窗口長度的降低有效地降低了GBDT模型的建模復雜度，因此更適合在線預測。

3.3 實時在線預測

選擇在線學習窗口大小為300后，使用該預測模型在線逐點預測50個數據點，不同模型學習窗口在300時的預測效果對比見表2。

表2 不同模型在線預測方法的評價指標結果

從表2可以看出，在線預測情況下，PGBDT取得了最好的預測精度，MAE、RMSE和R2指標上均最優；在預測效率上，LR模型取得了最好的預測效率，其次是SVR和PGBDT，綜合來看，PGBDT取得了較好的綜合預測結果。

4 結論

(1)提出了一種基于梯度下降回歸預測方法的瓦斯濃度預測方法PGBDT，該方法利用歷史數據訓練梯度下降建立回歸模型，通過對缺失值進行預測，實現了針對瓦斯濃度時間序列缺失值的插補。

(2)通過實驗，在相同條件下，對不同預測方法在瓦斯濃度數據集上的預測效果進行了比較分析。實驗結果表明，PGBDT方法相較于LR、ARIMA、SVR、BP、RNN模型，在預測精度和運行時間方面具有較明顯的優勢；相較于LSTM和GRU模型，在運行時間方面具有明顯優勢。對于實時預測模型，PGBDT在預測精度和預測效率上均有較好的優勢。

(3)PGBDT模型能夠方便快捷地部署到煤礦生產應用領域，進行實時在線的瓦斯濃度預測，對保障煤礦的生產安全和礦工的生命安全具有重要的現實意義。