基于雙向長短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測

曹 梅 楊超宇

（1.安徽理工大學(xué)經(jīng)濟與管理學(xué)院 安徽淮南 232001；2.安徽理工大學(xué)人工智能學(xué)院 安徽淮南 232001）

隨著我國能源需求的增長，煤炭開采量不斷加大，煤礦井下環(huán)境越發(fā)復(fù)雜，安全事故頻發(fā)。研究發(fā)現(xiàn)，在頂板、瓦斯、水害等八類煤礦事故中，瓦斯是第二大煤礦事故因素，其事故發(fā)生率為百分之二十，且波及范圍廣泛，危害性較高，易造成較多人員死亡[1]。因此，對煤礦瓦斯的有效預(yù)測預(yù)警，有利于煤礦安全生產(chǎn)工作順利進行。關(guān)于煤礦瓦斯預(yù)測預(yù)警，學(xué)者們進行了大量研究。學(xué)者們采用灰色理論[2-5]、ARIMA時間序列分析[6]、支持向量機[7-10]、多元回歸[11]和神經(jīng)網(wǎng)絡(luò)[12]等方法來研究煤礦瓦斯?jié)舛阮A(yù)測。楊武艷[13]等人認(rèn)為煤礦瓦斯涌出量是一種隨機過程，其變化是定幅、定時的區(qū)間灰色量，使用灰色預(yù)測模型有效預(yù)測了煤礦瓦斯涌出。范京道[14，15]等人使用時間序列分析方法ARIMA模型結(jié)合SVM模型，分別預(yù)測瓦斯線性和非線性數(shù)據(jù)，對煤礦瓦斯?jié)舛冗M行了有效預(yù)測。李樹剛[16]等人使用RNN模型實現(xiàn)了煤礦瓦斯涌出濃度的預(yù)測，結(jié)果具有一定的準(zhǔn)確性。Ping yang[17]等人利用LSTM模型，建立煤礦瓦斯涌出多步預(yù)測，結(jié)果表明，相比于ARIMA模型，LSTM模型預(yù)測效果較好。

上述方法多適合小樣本、平穩(wěn)性的瓦斯涌出分析，對于大樣本、非線性數(shù)據(jù)波動較強的瓦斯預(yù)測效果不佳。RNN模型易發(fā)生梯度消失或爆炸的情況，造成模型精度下降，LSTM模型雖能解決RNN模型的不足，但其只能利用歷史信息分析。針對上述問題，提出基于雙向長短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測模型,結(jié)合前向和后向長短期記憶網(wǎng)絡(luò)，充分考慮歷史和未來信息，以實際數(shù)據(jù)為基礎(chǔ)，構(gòu)建預(yù)測模型，以期有效預(yù)測煤礦瓦斯涌出濃度，為煤礦安全生產(chǎn)提供指導(dǎo)。

一、雙向長短期記憶網(wǎng)絡(luò)瓦斯?jié)舛阮A(yù)測模型

煤礦井下開采環(huán)境惡劣，條件復(fù)雜突變，瓦斯?jié)舛扰c煤層開采條件、采煤深度、煤層厚度、風(fēng)速、CO濃度和溫度等因素有關(guān)，多種因素相互作用構(gòu)成煤礦井下瓦斯涌出機制系統(tǒng)，然而，由于井下傳感器收集數(shù)據(jù)種類單一，信息有限，不能充分展現(xiàn)各影響因素和瓦斯涌出作用變化趨勢，由此，本研究針對瓦斯?jié)舛入S時間變化的趨勢，結(jié)合Bi-LSTM 人工智能算法，對煤礦井下非線性溫度、風(fēng)速和瓦斯時間序列大樣本數(shù)據(jù)，進行實驗，建立瓦斯?jié)舛阮A(yù)測模型。

（一）LSTM 模型。長短期記憶（Long Short Term Memory,LSTM）網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的基礎(chǔ)之上演變而來，改善了RNN模型缺陷，能夠充分利用序列間的長期依賴關(guān)系，其基本原理采用門控機制，主要由輸入門、遺忘門和輸出門控制數(shù)據(jù)流，對于序列數(shù)據(jù)具有較好的處理效果。

LSTM模型內(nèi)部的單元結(jié)構(gòu)如圖1所示，由輸入門Xt、輸出門ot、遺忘門ft和記憶門it組成，σ表示Sigmoid函數(shù)。

圖1 LSTM單元結(jié)構(gòu)

（二）Bi-LSTM 模型。雙向長短期記憶（Bi-directional Long Short Term Memory,Bi-LSTM）網(wǎng)絡(luò)是傳統(tǒng)長短期記憶網(wǎng)絡(luò)的一種改進。傳統(tǒng)LSTM網(wǎng)絡(luò)為單向網(wǎng)絡(luò)，只能在同一個方向上移動，不能同時利用前向和后向信息，而Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，結(jié)合了前向和后向長短期記憶網(wǎng)絡(luò)的，能夠充分利用輸入的數(shù)據(jù)，訓(xùn)練序列傳遞時，分別在同一輸出層前向和后向移動，挖掘數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，增強學(xué)習(xí)能力。

圖2 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

（三）基于Bi-LSTM 的瓦斯?jié)舛阮A(yù)測模型。煤礦井下瓦斯涌出具有時間性，且易受多種因素影響，Bi-LSTM 網(wǎng)絡(luò)將兩個LSTM網(wǎng)絡(luò)的前向和后向結(jié)合，充分利用歷史和未來信息，對于處理復(fù)雜非線性的瓦斯序列多維數(shù)據(jù)，具有較好的處理效果。因此，為了實現(xiàn)煤礦井下瓦斯?jié)舛扔行ьA(yù)測，利用Bi-LSTM 網(wǎng)絡(luò)，融合瓦斯、風(fēng)速和溫度多因素數(shù)據(jù)，遵循時間先后順序，將數(shù)據(jù)輸入到網(wǎng)絡(luò)模型中進行訓(xùn)練，建立預(yù)測模型。

將處理好的時間序列瓦斯、溫度和風(fēng)速數(shù)據(jù)送入到Bi-LSTM網(wǎng)絡(luò)中進行訓(xùn)練和預(yù)測，在Bi-LSTM網(wǎng)絡(luò)節(jié)點中，數(shù)據(jù)經(jīng)輸入門傳輸?shù)綘顟B(tài)節(jié)點中，經(jīng)過Sigmoid 函數(shù)和tanh函數(shù)計算,再分別依據(jù)公式(1)和公式(2)計算遺忘門和記憶門需要丟棄和保留掉的信息。

臨時單元狀態(tài)Ct'經(jīng)過公式(3)計算并存儲t 時刻瓦斯、溫度和風(fēng)速數(shù)據(jù)的臨時狀態(tài)信息，在完成信息記憶和更新之后，輸出門根據(jù)公式(4)計算出當(dāng)前控制單元中有多少信息能夠被輸出到Ht中，并作為下一時刻的輸入。

單元狀態(tài)Ct和隱藏層的狀態(tài)節(jié)點Ht信息依據(jù)公式(5)和(6)計算得出。

Bi-LSTM模型預(yù)測瓦斯?jié)舛鹊目傮w流程如圖3所示，首先，對收集來的瓦斯及相關(guān)數(shù)據(jù)進行數(shù)據(jù)預(yù)處理，整合和處理缺失值；然后，利用最大最小歸一化方法處理預(yù)處理后的瓦斯、風(fēng)速和溫度數(shù)據(jù)，消除不同特征之間數(shù)量單位的影響；之后，劃分?jǐn)?shù)據(jù)集，分別用于訓(xùn)練和測試；其次，通過經(jīng)驗公式和實驗確定神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)量，并以MAE和RMSE為模型訓(xùn)練的評價指標(biāo)，建立Bi-LSTM 瓦斯預(yù)測模型；最后，利用訓(xùn)練好的Bi-LSTM瓦斯預(yù)測模型預(yù)測瓦斯?jié)舛龋⑦M行誤差分析，評價模型有效性。

圖3 Bi-LSTM瓦斯預(yù)測模型建模流程

二、數(shù)據(jù)分析及模型訓(xùn)練

（一）數(shù)據(jù)預(yù)處理分析。由于在數(shù)據(jù)采集過程中，煤礦井下傳感器多樣，數(shù)據(jù)采集種類復(fù)雜，可能會出現(xiàn)數(shù)據(jù)類型不一和缺失的情況，因此需要進行數(shù)據(jù)預(yù)處理，整合數(shù)據(jù)和插補缺失值。

1.數(shù)據(jù)整合。對煤礦井下傳感器收集來的原始數(shù)據(jù)，進行分類、去除無效信息和合并，實驗選擇煤礦井下瓦斯?jié)舛取囟群惋L(fēng)速為模型數(shù)據(jù)樣本，將其按時間順序進行分類整合。

2.數(shù)據(jù)缺失處理。由于煤礦井下不確定因素影響，導(dǎo)致采集過程中數(shù)據(jù)出現(xiàn)缺失的情況，若將這些缺失數(shù)據(jù)刪除，會造成數(shù)據(jù)不完整，丟失重要信息，不利于模型學(xué)習(xí)，因此，需要對缺失數(shù)值進行補全。選擇KNN算法對缺失數(shù)據(jù)進行插補，通過公式(7)計算出缺失值xvi和其他數(shù)據(jù)xui之間的距離D，然后利用公式(8)計算出缺失值，其中wvi為與缺失值k 個近鄰數(shù)據(jù)的權(quán)重，R為計算出的缺失數(shù)值。

實驗所用數(shù)據(jù)來源于貴州省某煤礦采煤工作面自2021年1月14日至2021年4月9日的瓦斯、溫度和風(fēng)速數(shù)據(jù)，進行數(shù)據(jù)整合和缺失數(shù)據(jù)插補處理，預(yù)處理后數(shù)據(jù)的前5條和后5條如表1所示。

表1 預(yù)處理后數(shù)據(jù)

（二）歸一化處理并劃分?jǐn)?shù)據(jù)集。

1.歸一化處理。由于數(shù)據(jù)樣本涉及瓦斯、溫度和風(fēng)速，其數(shù)據(jù)范圍大小不同，度量單位也不一樣，因此，為了消除不同變量綱量的影響，便于比較和分析，對瓦斯、溫度和風(fēng)速數(shù)據(jù)歸一化處理，其計算公式如下：

在公式（9）中，Xmin為數(shù)據(jù)列最小值，Xmax為數(shù)據(jù)列最大值，X'為處理之后的數(shù)值。歸一化處理后得到的瓦斯、溫度和風(fēng)速的前5條數(shù)據(jù)和后5條數(shù)據(jù)，如表2所示。

表2 歸一化處理后數(shù)據(jù)

2.在對數(shù)據(jù)樣本建模之前，為便于建立合適的模型，需劃分?jǐn)?shù)據(jù)集，一部分用于訓(xùn)練模型，尋找超參數(shù)，建立合適瓦斯預(yù)測模型；另一部分用于測試驗證模型準(zhǔn)確性并進行預(yù)測。按照瓦斯、溫度和風(fēng)速數(shù)據(jù)時間順序，將時間序列前80%的數(shù)據(jù)用作訓(xùn)練集訓(xùn)練模型，其余數(shù)據(jù)用作測試集測試模型效果。

（三）模型訓(xùn)練。基于雙向長短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測模型基于Python3.6 語言,使用TensorFlow2.0 環(huán)境下的Keras庫來完成模型的訓(xùn)練。

1.初始化模型參數(shù)。在神經(jīng)網(wǎng)絡(luò)中，參數(shù)的設(shè)置影響著神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性，而合適的參數(shù)設(shè)定沒有固定方法，需要根據(jù)經(jīng)驗和實驗不斷試錯來確定。雙向長短期記憶網(wǎng)絡(luò)瓦斯?jié)舛阮A(yù)測模型的結(jié)構(gòu)為輸入層、隱藏層和輸出層。根據(jù)經(jīng)驗和實驗，確定模型初始化參數(shù)，輸入層輸入滑動窗口為3，輸入特征維度為3，輸入結(jié)構(gòu)為（3,3）；輸出層輸出維度為1,輸出結(jié)構(gòu)為（1）；隱藏層數(shù)為1層，隱藏層使用sigmoid函數(shù)作為激活函數(shù)。每次訓(xùn)練抓取樣本量256條，訓(xùn)練次數(shù)150次，優(yōu)化器選擇Adam。

2.確定隱藏層神經(jīng)元數(shù)量。根據(jù)文獻[18]提出的經(jīng)驗公式（10），在此基礎(chǔ)上，以MAE 和RMSE 為評價指標(biāo)，進行多次實驗，確定隱藏層神經(jīng)元數(shù)量。公式（10）中，m為輸入層維度；n為輸出層維度；p為常數(shù)，通常選取范圍為1到10。

利用經(jīng)驗公式（10），在模型初始化參數(shù)基礎(chǔ)之上，得出雙向長短期記憶網(wǎng)絡(luò)模型隱藏層神經(jīng)元數(shù)量為3到13，根據(jù)公式（11）和（12），得出雙向長短期記憶網(wǎng)絡(luò)模型隱藏層不同神經(jīng)元數(shù)量的MAE 誤差和RMSE 誤差。公式（11）和（12）中，(t)為模型預(yù)測輸出值，y(t)實際數(shù)值，n為數(shù)據(jù)總量。

Bi-LSTM 模型隱藏層不同神經(jīng)元數(shù)量的MAE 和RMSE 誤差分析如圖4 所示，隱藏層神經(jīng)元數(shù)量3 至13 的MAE 平均為0.929%，RMSE 平均為0.117%，MAE 和RMSE 均低于平均值的神經(jīng)元數(shù)量為8和11，相比于隱藏層神經(jīng)元數(shù)量為11時，隱藏層神經(jīng)元數(shù)量為8時的MAE減少0.072%，RMSE減少0.01%，因此，Bi-LSTM模型隱藏層神經(jīng)元數(shù)量確定為8。

圖4 隱藏層神經(jīng)元誤差分析

三、實驗與結(jié)果分析

模型實驗數(shù)據(jù)經(jīng)數(shù)據(jù)整合和缺失數(shù)據(jù)插補處理后，得到有效時間序列數(shù)據(jù)共計104491 條，其中，前83590 條時間序列數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后20897條時間序列數(shù)據(jù)為測試數(shù)據(jù)。

（一）不同模型預(yù)測性能對比。為了驗證模型的有效性，選取了相同參數(shù)下的LSTM 模型、RNN 模型和全連接（Full Connection, FC）神經(jīng)網(wǎng)絡(luò)模型，將四種模型運行結(jié)果和原始數(shù)據(jù)對比分析。圖5為四種模型在測試集上的預(yù)測效果。

圖5 四種模型預(yù)測性能對比

由于樣本數(shù)據(jù)量較大，圖5只展示了第6200條至第7000條數(shù)據(jù)的實際值和預(yù)測值，圖中顯示，四種模型均對瓦斯?jié)舛鹊臅r間變化趨勢做出了相應(yīng)預(yù)測，但LSTM 模型、FC 模型和RNN模型預(yù)測較差，Bi-LSTM 模型對于瓦斯?jié)舛确逯殿A(yù)測更好，預(yù)測曲線更加貼近原始數(shù)據(jù)曲線，預(yù)測效果更好。

為了更清晰地比較幾種瓦斯預(yù)測模型的有效性，采用MAE、RMSE和運行時間進一步評價模型預(yù)測效果。各模型在測試集上的預(yù)測誤差和運行時間如表3所示，四種模型中，Bi-LSTM 模型的MAE 比LSTM 模型和FC 模型均降低了66.7%，比RNN模型降低了72.3%；Bi-LSTM模型的RMSE比LSTM模型降低了2.6%，分別比FC模型和RNN模型降低了7.6%和4.7%，由此可知Bi-LSTM模型的準(zhǔn)確性更高，預(yù)測效果更好。就模型運行時間來看，Bi-LSTM 模型運行時間最長，其次是LSTM 模型，F(xiàn)C模型運行時間最短。模型運行時間受模型的本身復(fù)雜程度影響，四種模型中，Bi-LSTM模型復(fù)雜程度較高，導(dǎo)致其耗時較長，但模型學(xué)習(xí)效果更好，預(yù)測精度更高。結(jié)合圖5和表3分析可得，相比于LSTM模型、FC模型和RNN模型，Bi-LSTM模型雖運行時間較長，但是模型的誤差較小，準(zhǔn)確性更高，能夠?qū)崿F(xiàn)煤礦瓦斯?jié)舛鹊挠行ьA(yù)測。

表3 各模型預(yù)測誤差及運行時間

（二）Bi-LSTM 模型瓦斯?jié)舛榷嗖筋A(yù)測。為了進一步驗證Bi-LSTM模型的瓦斯?jié)舛阮A(yù)測性能，分別對瓦斯?jié)舛任磥頃r刻進行多步預(yù)測。設(shè)當(dāng)前時刻為T，預(yù)測超前5、10、15、20、25 和30步時刻的瓦斯?jié)舛龋瑘D6為Bi-LSTM模型瓦斯?jié)舛瘸岸嗖筋A(yù)測部分結(jié)果顯示，圖中顯示，隨著預(yù)測步數(shù)的增加，Bi-LSTM模型的預(yù)測曲線更加偏離原始數(shù)據(jù)，結(jié)合表4所示的超前多步預(yù)測誤差可知，Bi-LSTM模型超前5步預(yù)測效果最好，隨著超前時間步數(shù)的增加，數(shù)據(jù)之間時間相關(guān)性的降低，預(yù)測誤差不斷增加，預(yù)測精度也隨之下降。

表4 Bi-LSTM模型瓦斯?jié)舛榷嗖筋A(yù)測誤差

圖6 Bi-LSTM模型瓦斯?jié)舛榷嗖筋A(yù)測

四、結(jié)論

利用Bi-LSTM模型進行瓦斯?jié)舛阮A(yù)測，以煤礦采煤工作面瓦斯?jié)舛取L(fēng)速和溫度數(shù)據(jù)為基礎(chǔ)，通過與LSTM模型、FC模型和RNN模型比較分析，Bi-LSTM模型預(yù)測的平均絕對誤差和均方根誤差分別為0.00061和0.00847，預(yù)測效果優(yōu)于LSTM模型、FC模型和RNN模型。

在模型預(yù)測效率方面，Bi-LSTM 模型因其結(jié)構(gòu)較為復(fù)雜，運行時間較長，但其模型預(yù)測精度更高，可有效預(yù)測瓦斯?jié)舛龋瑸榱藢崿F(xiàn)煤礦瓦斯?jié)舛鹊臏?zhǔn)確預(yù)測，其時間的耗費是有價值的，基于Bi-LSTM 模型的煤礦瓦斯?jié)舛阮A(yù)測，能為煤礦瓦斯事故的防治提供科學(xué)的決策依據(jù)。

Bi-LSTM模型對于煤礦瓦斯短期預(yù)測效果較好，對于長期預(yù)測誤差升高，預(yù)測精度下降，可能受時間關(guān)聯(lián)性下降的影響，另外，煤礦井下環(huán)境復(fù)雜，瓦斯?jié)舛炔粌H受到時間、溫度和風(fēng)速影響，還受到煤層賦存條件、開采速度、濕度等因素影響，在未來的瓦斯?jié)舛阮A(yù)測研究中，應(yīng)充分考慮這些因素，探究影響因素之間內(nèi)在關(guān)聯(lián)性，進一步提高模型預(yù)測精度。