GSK-XGBoost模型在井底風(fēng)溫預(yù)測(cè)中的應(yīng)用*

紀(jì)俊紅，馬銘陽，崔鐵軍，昌潤(rùn)琪

(遼寧工程技術(shù)大學(xué) 安全科學(xué)與工程學(xué)院，遼寧 葫蘆島125000)

0 引言

隨著我國(guó)煤炭開采量的持續(xù)增長(zhǎng)，許多礦井的開采條件不斷惡化，其中的礦井熱害對(duì)礦工和設(shè)備的危害急劇增加，成為亟待解決的問題。井下工作環(huán)境惡劣，伴有高溫、高濕、有毒氣體，都靠風(fēng)流帶走，因此，風(fēng)流參數(shù)測(cè)定的準(zhǔn)確性非常重要。而風(fēng)溫測(cè)量在井筒底部就存在測(cè)量不準(zhǔn)確的問題，其根源在于，風(fēng)流從井筒經(jīng)過，其間的換熱、傳質(zhì)過程較為復(fù)雜，這一過程，是既包含顯熱交換又包含潛熱交換的復(fù)雜的、動(dòng)態(tài)的演化過程，傳統(tǒng)方法計(jì)算誤差大，研究人員不易掌握[1-3]。

近年來，礦井智能化飛速發(fā)展，機(jī)器學(xué)習(xí)算法被廣泛應(yīng)用在瓦斯涌出量預(yù)測(cè)、瓦斯?jié)B透率預(yù)測(cè)、巖爆指標(biāo)體系預(yù)測(cè)等方面[4-8]，為更智能地建立擬合模型，部分學(xué)者嘗試通過機(jī)器學(xué)習(xí)算法對(duì)淋水井筒的風(fēng)溫進(jìn)行預(yù)測(cè)：呂品等[9]首次建立了基于BP神經(jīng)網(wǎng)絡(luò)的淋水井筒風(fēng)溫預(yù)測(cè)模型，對(duì)比經(jīng)驗(yàn)公式模型，提供了新思路；張翔等[10]將粒子群優(yōu)化算法應(yīng)用到BP神經(jīng)網(wǎng)絡(luò)中，對(duì)其權(quán)值和閾值進(jìn)行了優(yōu)化，有效地改善BP神經(jīng)網(wǎng)絡(luò)的局部最優(yōu)；段艷艷[11]利用支持向量機(jī)良好的非線性能力，將其應(yīng)用于礦井風(fēng)溫的預(yù)測(cè)中，建立了礦井風(fēng)溫預(yù)測(cè)支持向量機(jī)模型；張群[12]采用trainlm()函數(shù)對(duì)BP神經(jīng)網(wǎng)絡(luò)收斂速度慢的缺陷進(jìn)行了優(yōu)化，并將其運(yùn)用到潘三礦進(jìn)行預(yù)測(cè)研究；馬恒等[13]運(yùn)用T-S模糊神經(jīng)網(wǎng)絡(luò)建立新的預(yù)測(cè)模型，無需考慮復(fù)雜多變影響因素的制約，模型預(yù)測(cè)精度有所提升。

以上研究不同程度地推動(dòng)了淋水井筒風(fēng)溫預(yù)測(cè)的發(fā)展，但應(yīng)用的算法多為神經(jīng)網(wǎng)絡(luò)模型，而神經(jīng)網(wǎng)絡(luò)模型在運(yùn)行過程中存在樣本需求量大，易陷入局部最優(yōu)等缺陷。基于此，本文提出GSK-XGBoost模型，該模型中的XGBoost算法在運(yùn)算時(shí)具有精度更高、靈活性更強(qiáng)、對(duì)樣本需求量較小等優(yōu)點(diǎn)，更適用于本文這種監(jiān)測(cè)點(diǎn)有限、數(shù)據(jù)較少的小樣本風(fēng)溫預(yù)測(cè)。針對(duì)XGBoost模型超參數(shù)較多復(fù)雜性較大的缺點(diǎn)，采用網(wǎng)格搜索結(jié)合K折交叉驗(yàn)證對(duì)模型優(yōu)化，進(jìn)行參數(shù)尋優(yōu)，建立網(wǎng)格搜索結(jié)合K折交叉驗(yàn)證優(yōu)化XGBoost的礦井井底風(fēng)溫預(yù)測(cè)模型，并對(duì)模型的性能進(jìn)行評(píng)估。經(jīng)實(shí)例驗(yàn)證，GSK-XGBoost模型更適用于井底風(fēng)溫的預(yù)測(cè)，為井底風(fēng)溫預(yù)測(cè)提供一條新思路。

1 模型構(gòu)建

1.1 XGBoost模型

XGBoost算法于2016年提出，具有預(yù)測(cè)精度較高、訓(xùn)練速度較快、抗擬合能力較強(qiáng)、對(duì)樣本量和特征數(shù)據(jù)類型要求較低等特點(diǎn)，在醫(yī)學(xué)、生物學(xué)及人工智能等多個(gè)領(lǐng)域的表現(xiàn)性能較好[14-16]。

XGBoost目標(biāo)函數(shù)如式(1)：

(1)

樹的復(fù)雜度Ω(f)見式(2)：

(2)

式中：γ是復(fù)雜度參數(shù)；T為葉子節(jié)點(diǎn)數(shù)；λ是葉子權(quán)重w的懲罰系數(shù)。

在XGBoost中采用了目標(biāo)函數(shù)二階泰勒展開。假設(shè)將均方誤差用作損失函數(shù)，則目標(biāo)函數(shù)可以推導(dǎo)為式(3)：

(3)

式中：gi和hi分別為損失函數(shù)的一階和二階梯度統(tǒng)計(jì)量。根據(jù)所有損失值的總和來計(jì)算最終損失值。葉子j的最優(yōu)權(quán)重wj*以及目標(biāo)函數(shù)的最優(yōu)值為式(4)，(5)：

(4)

(5)

總而言之，是將目標(biāo)函數(shù)的優(yōu)化轉(zhuǎn)換為確定二次函數(shù)的最小值的問題。此外，引入了正則化項(xiàng)，使XGBoost具有更好的抗過度擬合能力。

1.2 網(wǎng)格搜索結(jié)合K折交叉驗(yàn)證

XGBoost算法參數(shù)較多，超參數(shù)的取值會(huì)影響預(yù)測(cè)準(zhǔn)確性，需優(yōu)化才能保證模型質(zhì)量。網(wǎng)格搜索是1種窮舉算法，將所搜索到的參數(shù)劃分為一定范圍內(nèi)長(zhǎng)度相同的網(wǎng)格，網(wǎng)格中的每個(gè)點(diǎn)代表1組參數(shù)，通過網(wǎng)格中所有點(diǎn)來搜尋最佳解，獲取最優(yōu)參數(shù)[17-18]。

同時(shí)，為避免模型過擬合或欠擬合，將網(wǎng)格搜索法與K折交叉驗(yàn)證法相結(jié)合，進(jìn)一步提高模型預(yù)測(cè)性能。K折交叉驗(yàn)證法本質(zhì)是將數(shù)據(jù)集等比例劃分為K份，其中的1份作為測(cè)試集，剩余數(shù)據(jù)作為訓(xùn)練集。重復(fù)進(jìn)行K次實(shí)驗(yàn)，得到K個(gè)模型，通過K次實(shí)驗(yàn)后取評(píng)價(jià)指標(biāo)的平均值作為評(píng)價(jià)性能指標(biāo)[19]。K折交叉驗(yàn)證過程原理如圖1所示。

圖1 K折交叉驗(yàn)證原理Fig.1 Principle of K-fold cross-validation

1.3 GSK-XGBoost預(yù)測(cè)模型

綜上所述，本文選用網(wǎng)格搜索算法結(jié)合K折交叉驗(yàn)證組成“K折網(wǎng)格搜索交叉驗(yàn)證法”(Grid Search and K-Cross-Validation，GSK)對(duì)XGBoost回歸模型進(jìn)行優(yōu)化，構(gòu)建GSK-XGBoost模型，構(gòu)建過程如下[20-21]：

第1步：數(shù)據(jù)預(yù)處理。對(duì)樣本數(shù)據(jù)進(jìn)行歸一化處理，生成模型訓(xùn)練樣本集。

第2步：構(gòu)建XGBoost模型。初始化XGBoost參數(shù)，設(shè)置參數(shù)空間及步距。

第3步：參數(shù)尋優(yōu)。應(yīng)用網(wǎng)格搜索法結(jié)合K折交叉驗(yàn)證(本文K取5)，對(duì)XGBoost進(jìn)行參數(shù)尋優(yōu)，進(jìn)行多次迭代縮小搜索范圍對(duì)XGBoost回歸模型參數(shù)進(jìn)行調(diào)整，獲得XGBoost模型的最優(yōu)超參數(shù)，并進(jìn)行更新。

第4步：使用訓(xùn)練集構(gòu)建GSK-XGBoost模型并進(jìn)行預(yù)測(cè)。構(gòu)建預(yù)測(cè)模型，采用測(cè)試集評(píng)估模型性能。

第5步：當(dāng)輸出結(jié)果滿足評(píng)價(jià)標(biāo)準(zhǔn)時(shí)，輸出結(jié)果。

GSK-XGBoost預(yù)測(cè)模型構(gòu)建流程如圖2所示。

圖2 GSK-XGBoost模型的構(gòu)建流程Fig.2 Construction process of GSK-XGBoost model

2 井下風(fēng)溫影響因素分析

2.1 井下風(fēng)溫影響因素選取

豎井井筒環(huán)境與平巷有所不同，豎井井筒橫穿巖石種類較多，各類巖石熱物理性質(zhì)也各有差異，造成圍巖溫度變化較大，且地下水系出現(xiàn)在井筒的位置隨機(jī)，滴水點(diǎn)和滴水量不易測(cè)量，其熱濕環(huán)境變化復(fù)雜，影響因素較多[22]。

結(jié)合傳統(tǒng)井底計(jì)算公式分析，傳統(tǒng)計(jì)算井底風(fēng)溫時(shí)，認(rèn)為自壓縮溫升是最主要的熱源[23]。地面大氣壓力和井筒深度與風(fēng)流壓縮密切相關(guān)，深部開采的井筒高差較大，空氣由井筒向下流動(dòng)時(shí)，其壓力和溫升均會(huì)上升，此過程為自壓縮過程。在重力場(chǎng)的作用下位能轉(zhuǎn)化為焓升而造成溫升。

實(shí)際礦井風(fēng)流自壓縮過程并非絕熱過程，而是復(fù)雜演化的傳熱、傳質(zhì)伴隨自壓縮的過程。此過程的熱交換和濕交換顯著影響著井筒內(nèi)風(fēng)溫、濕度的變化。而井口風(fēng)溫會(huì)直接影響工作面風(fēng)溫，尤其對(duì)淺井，影響更為顯著。

因此，本文選取井口風(fēng)溫、入風(fēng)相對(duì)濕度、地面大氣壓力、井筒深度作為主要影響因素。選用參考文獻(xiàn)[13]中的數(shù)據(jù)進(jìn)行模型構(gòu)建，部分通風(fēng)參數(shù)整理結(jié)果見表1。

表1 通風(fēng)參數(shù)原始數(shù)據(jù)(部分?jǐn)?shù)據(jù))Table 1 Original data sheet of ventilation parameters(partial data)

2.2 性能評(píng)價(jià)指標(biāo)

本文采用平均相對(duì)誤差MRE、均方根誤差RMSE與決定系數(shù)R2對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)價(jià)。平均相對(duì)誤差反映測(cè)量的可信程度；均方根誤差衡量預(yù)測(cè)值同真值之間的偏差；決定系數(shù)反映預(yù)測(cè)值與實(shí)際值分布的一致性，越接近1，相關(guān)越強(qiáng)。具體的計(jì)算公式如(6)～(8)：

(6)

(7)

(8)

3 井下風(fēng)溫GSK-XGBoost預(yù)測(cè)模型

3.1 實(shí)驗(yàn)環(huán)境

本例實(shí)驗(yàn)環(huán)境為ASUSTek Computer Inc筆記本，CPU：Intel(R)Core(TM)i5-8265U CPU@1.60GHZ 1.68GHZ，RAM：8GB，使用軟件為Python3.7，anaconda3集成開發(fā)環(huán)境。采用極限梯度上升XGBoost科學(xué)計(jì)算包建立預(yù)測(cè)模型。

3.2 數(shù)據(jù)處理

為消除量綱差異，提高預(yù)測(cè)精度，采用min-max歸一化對(duì)原始數(shù)據(jù)進(jìn)行處理，結(jié)果落在[0，1]之間，處理公式如(9)：

(9)

式中：X為歸一化后數(shù)據(jù)；x為原始數(shù)據(jù)；min為數(shù)據(jù)最小值；max為數(shù)據(jù)最大值。

選取處理后的前20組數(shù)據(jù)作為訓(xùn)練樣本，剩余6組數(shù)據(jù)作為測(cè)試樣本，導(dǎo)入預(yù)測(cè)模型訓(xùn)練。

3.3 模型構(gòu)建與結(jié)果分析

在GSK-XGBoost模型搭建中，通過“5折網(wǎng)格搜索交叉驗(yàn)證法”確定XGBoost中使用樹的數(shù)量、最大回歸樹深度、學(xué)習(xí)速率的最優(yōu)超參數(shù)，其中最大回歸樹深度用來防止陷入過度擬合，學(xué)習(xí)速率控制模型的效率與適應(yīng)能力。GSK-XGBoost預(yù)測(cè)模型參數(shù)優(yōu)化結(jié)果見表2。

表2 GSK-XGBoost預(yù)測(cè)模型參數(shù)優(yōu)化結(jié)果Table 2 Parameters optimization results of GSK-XGBoost prediction model

分別構(gòu)建隨機(jī)森林(RF)模型、BP神經(jīng)網(wǎng)絡(luò)(BPNN)模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型與GSK-XGBoost模型，對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，井底風(fēng)溫預(yù)測(cè)值與實(shí)際值結(jié)果對(duì)比見表3，不同模型預(yù)測(cè)值與真實(shí)值對(duì)比分布曲線如圖3所示。

表3 各模型井底風(fēng)溫預(yù)測(cè)結(jié)果及誤差Table 3 Prediction results and errors of wind temperature at well bottom by each model

圖3 各模型井底風(fēng)溫預(yù)測(cè)對(duì)比Fig.3 Comparison on prediction results of wind temperature at well bottom by each model

為驗(yàn)證本文方法的有效性，采取平均絕對(duì)誤差、平均相對(duì)誤差與均方根誤差分別對(duì)RF模型、BPNN模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型與GSK-XGBoost模型進(jìn)行分析，4種模型的結(jié)果對(duì)比見表4。

表4 各井底風(fēng)溫預(yù)測(cè)模型評(píng)價(jià)對(duì)比Table 4 Evaluation and comparison of each prediction model for wind temperature at well bottom

由圖3可以看出，RF模型、BPNN模型及T-S模糊神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)過程中，均出現(xiàn)了較大偏差，GSK-XGBoost模型預(yù)測(cè)的礦井井底風(fēng)溫與實(shí)際值最為接近，趨勢(shì)最為吻合，預(yù)測(cè)精度更高。由表3～4可看出，GSK-XGBoost預(yù)測(cè)模型預(yù)測(cè)值與真實(shí)值的平均絕對(duì)誤差為0.12 ℃，平均相對(duì)誤差為0.54%，均方根誤差為0.12 ℃，預(yù)測(cè)較為準(zhǔn)確，結(jié)果較好。與RF模型、BPNN模型和T-S模糊神經(jīng)網(wǎng)絡(luò)模型相比，預(yù)測(cè)誤差均有了明顯的改善，通過“5折網(wǎng)格搜索交叉驗(yàn)證法”優(yōu)化后的XGBoost模型，平均相對(duì)誤差分別降低了2.12%，0.88%，0.3%，均方根誤差分別降低了0.66，0.24，0.11 ℃，驗(yàn)證了本文提出的GSK-XGBoost模型可有效地提升井底風(fēng)溫預(yù)測(cè)精度。

4 實(shí)例驗(yàn)證

為進(jìn)一步檢驗(yàn)GSK-XGBoost預(yù)測(cè)模型的預(yù)測(cè)精度及通用性，作者于2020年10月實(shí)測(cè)了山西省長(zhǎng)治市某礦井5組數(shù)據(jù)，利用訓(xùn)練好的預(yù)測(cè)模型進(jìn)行檢驗(yàn)。井下實(shí)測(cè)數(shù)據(jù)見表5，預(yù)測(cè)數(shù)據(jù)評(píng)估結(jié)果見表6，實(shí)測(cè)數(shù)據(jù)井底風(fēng)溫的預(yù)測(cè)值與真實(shí)值對(duì)比如圖4所示。

表5 井下實(shí)測(cè)數(shù)據(jù)Table 5 Measured underground data

表6 實(shí)測(cè)數(shù)據(jù)井底風(fēng)溫評(píng)估結(jié)果Table 6 Evaluation results of wind temperature at well bottom with measured data

圖4 井底風(fēng)溫實(shí)測(cè)數(shù)據(jù)預(yù)測(cè)對(duì)比Fig.4 Comparison of predicted wind temperature at well bottom with measured data

通過對(duì)表6與圖4的分析可知，本文建立的預(yù)測(cè)模型的預(yù)測(cè)相對(duì)誤差范圍在0.308 6%～0.759 5%之間，均方根誤差為0.085 ℃，整體預(yù)測(cè)精度可滿足井下實(shí)際的需要；決定系數(shù)R2的值為0.947 4，非常接近1，表明模型已經(jīng)實(shí)現(xiàn)良好的預(yù)測(cè)，說明本文提出的GSK-XGBoost模型在井底風(fēng)溫預(yù)測(cè)方面具有可行性。

5 結(jié)論

1)采用“5折網(wǎng)格搜索交叉驗(yàn)證法”對(duì)XGBoost模型進(jìn)行優(yōu)化，確定模型的最優(yōu)參數(shù)，提高模型擬合度。經(jīng)參數(shù)尋優(yōu)，當(dāng)使用樹的數(shù)量為150，最大回歸樹深度為3，學(xué)習(xí)速率為0.1時(shí)，XGBoost模型性能最佳。

2)將GSK-XGBoost模型預(yù)測(cè)結(jié)果與隨機(jī)森林模型、BP神經(jīng)網(wǎng)絡(luò)模型、T-S模糊神經(jīng)網(wǎng)絡(luò)模型相比，平均相對(duì)誤差分別降低了2.12%，0.88%，0.3%，均方根誤差分別降低了0.66，0.24，0.11 ℃，預(yù)測(cè)精度均有了明顯提升。

3)作者通過實(shí)測(cè)山西某礦井底風(fēng)溫?cái)?shù)據(jù)對(duì)模型的有效性進(jìn)行驗(yàn)證，均方根誤差為0.085 ℃，決定系數(shù)R2的值為0.947 4，進(jìn)一步說明預(yù)測(cè)模型在井底風(fēng)溫預(yù)測(cè)以及礦井熱害防治中的可行性與實(shí)用性，適合工程實(shí)際的應(yīng)用，為礦井井底風(fēng)溫的預(yù)測(cè)提供1種新的有效方法。