基于PSO-XGBoost的煤自燃程度預測研究

周 旭，朱 毅，張九零，秦思佳，王藝博

(1.華北理工大學 礦業工程學院，河北 唐山 063210； 2.華北理工大學 以升創新教育基地，河北 唐山 063210)

礦井火災嚴重威脅煤礦的開采與生產，在煤炭生產過程中，礦井火災會造成大量的人員傷亡，經濟損失，環境污染等問題[1-3]，煤自燃火災占礦井火災的90%以上，因此，提高煤自燃預測精度是實現火災預警和礦山安全生產的前提[4-5]。

煤自燃指標氣體是煤自燃預警的主要依據，國內外研究學者將煤自燃過程中產生的氣體與煤溫的關聯關系構建數學模型，在煤自燃預測預報方面做了大量工作[1]。梁運濤[6]通過研究煤自然發火的溫度與氧濃度的變化，基于多孔介質滲流力學和傳熱傳質學理論，建立了煤自燃過程的數學模型；WANG E等[7]分析了煤自燃反應中的各元素反應順序，確定了自熱、自燃過程的主次關系，揭示出煤轉化的自由基結構；王德明等[8]挖掘煤自燃過程中的13個基元反應及其反應順序和繼發性關系，揭示了煤氧化動力學過程，提出了煤氧化動力學理論；HU Xincheng等[9]通過分析上部隧道瓦斯指數系列混沌特征，提出了一種有效的煤自燃風險預測方法；秦波濤等[10]利用程序升溫氧化實驗，獲取指標氣體，通過分析指標氣體與溫度的關聯關系構建預警機制；鄭學召等[11]基于隨機森林算法構建了煤自燃溫度預測模型，并將其與粒子群優化的神經網絡模型，SVM模型進行比較分析，指出RF模型對煤自燃溫度預測具有較高的精準度；鄧軍等[12]基于PSO-SVM算法構建了煤自燃預測模型，并將其與不同的模型性能進行了對比分析，表明優化后的PSO-SVM模型預測精度大幅度提高。XGBoost算法提出后，在諸多領域得到廣泛的應用[13-17]，TRIZOGLOU Pavlos等[16]利用XGBoost模型對海上風電設備進行故障預測，并將其與深度學習神經網絡進行了比較，表明XGBoost模型在預測準確性、訓練時間上優于長短期記憶網絡(LSTM)；HAO Mo等[17]分別利用XGBoost模型與Logistic模型對居住者窗口行為進行預測，表明XGBoost在對居住者窗口行為及其他行為類型的建模方面比Logistic回歸分析具有明顯的優勢。

基于此，采用XGBoost模型進行煤自燃溫度預測研究，并利用粒子群優化算法對XGBoost模型的隨機采樣率和最小葉子節點樣本權重進行優化，建立PSO-XGBoost回歸預測模型，以實現對煤自燃溫度的準確預測，為礦井煤自燃預測預警提供新的方法。

1 PSO-XGBoost預測模型

1.1 XGBoost算法

XGBoost是基于GBRT的一種高效改進的算法，其兼具線性規模求解器和樹學習算法。相較于傳統的Boosting庫，XGBoost算法對損失函數進行二階泰勒展開，并且引入了L1和L2兩個正則化項以求整體最優解，以此來衡量目標函數的下降，以及模型整體的復雜程度，有效地提高了模型的泛化能力[18-19]。

假設對于給定數據集：D={(xi,yi):i=1,2,…,m,xi∈Rp,yi∈R}由p個特征組成，共m個樣本。假設給定k(k=1,2,…,K)棵回歸樹，F為回歸樹的集合空間，則模型可表示為：

(1)

目標函數為：

(2)

為防止出現過擬合現象，在XGBoost模型中加入正則項Ω(fk)。XGBoost使用梯度提升法迭代運算，在每次迭代過程中，將一個新的回歸樹添加到模型中，則第t次迭代運算結果為：

(3)

將式(3)代入式(2)，得到第t次迭代的目標函數Obj(t)：

(4)

將目標函數做二階泰勒展開，并加入正則項Ω(fk)：

(5)

式中：T和ω分別為樹葉子節點數目和葉子權重值；γ為葉子樹懲罰系數；λ為葉子權重懲罰系數。

1.2 粒子群優化算法

在粒子群優化算法中，每個解對應搜索空間的一個粒子，每個粒子是一個個體，由一個位置矢量和一個速度矢量組成[20-21]。假設在一個D維的搜索空間中，由m個粒子組成的種群，粒子在運動中產生的最優位置(pbest)記為：

pi=(pi1,pi2,…,piD),i=1,2,…,m

(6)

式中：m為粒子的個數；D為粒子的維數。

第i個粒子的D維位置矢量記為xi=(xi1,xi2,…,xiD)，第i個粒子的速度矢量記為：vi=(vi1,vi2,…,viD)，此二者分別決定了第i個粒子飛行的位置和方向；pg=(pg1,pg2,…,pgD)為整個粒子群歷史搜索到的最優位置(gbest)，其中g為粒子編號，g∈{1,2,…,m}。粒子群優化算法首先初始化粒子群，計算出每個粒子的適應值，通過迭代搜索最優解。在每次迭代中，粒子通過個體極值和全局極值來更新自身的速度和位置，更新公式如下：

(7)

式中：k為迭代次數；ω為慣性權重；r1、r2為[0, 1]內的隨機數；c1、c2為學習因子，也稱為加速因子。

1.3 PSO-XGBoost模型構建

基于XGBoost原理與PSO算法理論，構建PSO優化XGBoost參數的煤自燃溫度預測模型，流程如下：

1)數據預處理，刪除數據集中的缺失值，將其做標準化處理；

2)將“實驗溫度”作為輸出特征，其余特征作為輸入;將數據集的70%作為訓練集，30%作為測試集；

3)初始化粒子及其速度，將隨機采樣率(subsample)與最小葉子節點樣本權重(min_child_weight)設為代求參數，將模型擬合的決定系數R2作為適應度函數值，根據適應度函數值初始化粒子全局最優值與個體最優值；

4)根據式(7)更新粒子速度與位置，計算其適應度值，更新個體最優值與全局最優值；

5)判斷是否滿足終止條件，若不滿足則繼續更新個體最優值與全局最優值；若滿足則輸出最優參數(subsample，min_child_weight);

6)選取最優參數組合(subsample，min_child_weight)，構建參數優化的XGBoost回歸模型。

具體流程圖如圖1所示。

圖1 煤自燃預測模型流程圖

2 應用實例

2.1 數據來源

選取文獻[1]中東灘礦煤樣煤自燃實驗獲取的337組數據進行分析，選取O2體積分數、CO體積分數、C2H4體積分數，以及CO體積分數與剩余O2體積分數的比值、C2H4體積分數與C2H6體積分數的比值作為指標。部分實驗樣本數據如表1所示。

表1 部分實驗樣本數據

2.2 模型評估指標

為了檢驗模型精確度，利用平均絕對誤差(MAE)，平均絕對百分比誤差(MAPE)和均方根誤差(RMSE)對模型進行評估。

MAE為模型預測絕對誤差的期望值，MAE的值越小，說明模型對于描述整體實驗數據具有更好的精確度，即模型更穩定。其計算公式如下：

(8)

式中N為樣本個數。

MAPE指所有單個觀測值與算術平均值的偏差的絕對值的平均值，其結果用百分數表示以更加直觀。MAPE越小，說明預測值與實際值偏差的期望越小，即模型更精確。其計算公式如下：

(9)

RMSE是預測值與真實值偏差的平方與樣本個數N比值的平方根，用以衡量預測值與真實值之間的偏差。RMSE值越小，說明模型對數據預測準確度越高。其計算公式如下：

(10)

2.3 PSO-XGBoost模型的應用

刪除原始數據中的缺失值并對其進行標準化處理，以消除數據間由于指標單位不同而存在的差異。其計算公式如下：

(11)

將數據按照70%與30%的比例隨機劃分為訓練集與測試集。其中將訓練集導入XGBoost框架下的XGBRegressor函數中進行訓練，測試集用于驗證模型泛化能力，檢驗模型預測效果。

XGBoost模型的參數主要包括：回歸樹數量、回歸樹最大深度、學習率、回歸樹隨機采樣率、回歸樹最小葉子節點樣本權重和回歸樹特征采樣率,以及L1、L2正則化權重。根據預測指標，結合粒子群搜索方法逐步調整模型參數，過程如下：

1) 調整回歸樹數量(n_estimators)與回歸樹最大深度(max_depth)，分別從[100,600]，[3,10]取值計算測試集誤差指標MAPE。

回歸樹數量和最大深度對MAPE的影響如圖2所示。由圖2可知：隨著回歸樹的數量增長，其平均絕對百分比誤差在樹的數量為400時達到最小值，且隨著回歸樹的數量上升，MAPE無明顯變化；對于回歸樹的最大深度，當其等于10時誤差最小，模型精度最高。調整學習率，調整區間為[0.05,0.1]。當學習率為0.1時，誤差最小，MAPE=0.096%。

(a)MAPE—回歸樹數量曲線

2) 調整回歸樹隨機采樣率(subsample)與回歸樹最小葉子節點樣本權重(min_child_weight)。調整區間均為[0.7,1.0]。XGBoost參數變化對MAPE影響如圖3所示。

圖3 XGBoost參數變化對MAPE的影響

MAPE隨回歸樹隨機采樣率、最小葉子節點樣本權重的變化關系較為復雜，因此采用粒子群對其進行參數調優。結合上文分析，PSO對XGBoost的2個參數尋優結果為：subsample =0.95；min_child_weight =0.998。PSO迭代過程如圖4所示，當迭代次數達到100次時，擬合率達到0.941 3。

圖4 PSO迭代過程

3) 調整回歸樹特征采樣率(colsampe_bytree)及L1、L2正則化權重，調整區間分別為[0,1]與[0,7]。當colsampe_bytree=1，reg_alpha=1，reg_lambda =1時誤差最小，MAPE=0.072%。

經過上述參數調整，使得模型最終對訓練集的MAPE=0.072%，對測試集預測的平均絕對誤差MAE=11.675；平均絕對百分比誤差MAPE=6.86%；均方根誤差RMSE=27.443。

為進一步了解各變量對煤自燃溫度的影響程度，將各變量在所有樹中出現的次數之和作為樣本各變量的特征重要性，繪制特征重要性圖，如圖5所示。

圖5 樣本變量重要性

由圖5可以看出，O2、CO體積分數對煤溫度變化的影響較大，而C2H4與C2H6的體積分數比值對煤溫的影響較小。

2.4 不同方法預測結果比較

在測試集上，分別應用PSO-XGBoost、RF、GBRT及XGBoost模型進行預測，并將其結果進行對比分析。其中，隨機森林模型的葉子大小設置為5，樹的棵樹設置為70，此時誤差達到最小值。GBRT參數分別設置為：最大迭代次數n_estimators=100，學習率learning_rate=0.1，回歸樹隨機采樣率subsample=1。XGBoost模型，在未對其進行參數調節時，其初始參數分別為：n_estimators=300，回歸樹的最大深度max_depth=5，學習率learning_rate=0.1，回歸樹隨機采樣率subsample=1，最小葉子節點樣本權重和min_child_weight=1，回歸樹特征采樣率colsampe_bytree=1。

上述3種模型與PSO-XGBoost模型預測結果對比情況如表2所示。

表2 各類模型對比

分析表2可知：對于訓練集，XGBoost模型相對于RF與GBRT模型擬合的誤差更小，說明其訓練效果更佳；對于測試集，XGBoost模型的測試誤差稍小于RF與GBRT模型，但相比于訓練集的誤差，可反映出其陷入過擬合狀態。而PSO-XGBoost模型在經過參數優化過后，其對于訓練集與測試集的預測效果均有較明顯的提升。相比于傳統XGBoost模型，在經過PSO優化參數后的XGBoost模型對于本文測試集預測的平均絕對誤差MAE降低了6.28%，平均絕對百分比誤差MAPE降低了9.67%，均方根誤差RMSE降低了2.73%。

3 結論

1)結合PSO優化算法與XGBoost算法，提出能應用于煤自燃預測的PSO-XGBoost模型。

2)采用PSO優化算法對XGBoost的參數進行優化，選取最優參數組合，結果表明，PSO-XGBoost模型相較于XGBoost具有更好的預測精度。

3)為了驗證PSO-XGBoost模型的準確性，將PSO-XGBoost、XGBoost、RF與GBRT模型應用于煤自燃預測，結果顯示，PSO-XGBoost模型在精度和魯棒性方面明顯優于其他3種模型，該模型為礦井煤自燃預測預警提供了新的方法。