王民華,牛 顯
(1.山西能源學院 礦業工程系,山西 太原 030006;2.內蒙古工業大學 礦業學院,內蒙古 呼和浩特 010051)
采空區遺煤自燃是煤炭開采過程中面臨的主要災害之一,對采空區遺煤自燃特征參數的快速準確預測,是實現煤礦安全高效生產的重要的技術保障。煤自燃災害的防治應當遵循精準、快速、智能的原則,以實現煤自燃火災由被動治理向主動防控的根本性轉變[1],煤炭自燃智能預測預報,是礦井自燃災害主動防控的主要技術手段之一。近年來煤礦智能化開采是我國煤炭綜采技術發展的新階段,也是煤炭工業技術革命和升級發展的需求和必然方向,智能化開采的核心三要素為智能感知、智能決策和智能控制[2]。進行礦井災害智能決策研究,可以為煤礦智能化提供數據支持,準確及時修正控制決策方案,為礦井自適應智能化開采提供安全技術保障。
隨著計算機與信息科學技術的進步,煤自燃預測預報方法正朝著智能化的方向發展,多年來大量學者開展了機器學習在煤炭自燃預測方向的研究。王德明等[3]根據專家給出的危險性判別指標,建立了一種新的基于無導師神經網絡的聚類發火危險性預測模型;徐精彩等[4]運用動量法對BP 神經網絡進行了算法改進,建立了了煤自燃極限參數的BP 神經網絡預測模型;周福寶等[5]提出了一種基于BP 網絡的多參數火區復燃預測方法,并建立了預測模型;桂祥友等[6]運用BP 神經網絡的時間序列預測模型對煤炭自然發火進行預測;程結園等[7]提出了基于小波神經網絡的多傳感器信息融合技術應用于煤炭自燃火災的監測,建立一個煤炭自燃監測的綜合評判系統;趙偉等[8]建立了基于模糊C 均值聚類的方法的礦井待開采煤層自燃的可能程度預測模型;邊冰等[9]利用LVQ(學習向量量化)神經網絡建立了一種基于學習向量量化神經網絡的煤自然發火預報系統;溫廷新等[10]提出了基于KPCA-Fisher 判別分析的煤炭自燃預測模型;邢媛媛等[11]根據最小信息鑒別原理,利用反熵權法確定了評價指標的權重,構建了基于理想點法的煤炭自燃風險評價模型;孟倩[12]運用用支持向量機、粒子群算法、粗糙集等智能算法進行煤炭自燃預測的建模,并進行了模型預測對比;鄧軍等[13-15]建立了PCA-PSOSVM 預測模型、參數優化的PSO-RF 預測模型、COWA 修正的G1 組合權重云等模型用于識別煤礦自燃危險性。
綜上所述,在煤炭自燃數據驅動智能預測方向,經過多年研究,形成了大量研究成果,但能用于生產現場實際成功的預測模型案例鮮有報道。主要原因是數據樣本過少,以及現場監測樣本數據多為不發火狀態,數據樣本特征單一,足夠多的樣本容量和均勻的樣本分布是決定預測模型的準確性和穩健性的2 個關鍵因素[16]。在機器學習中煤炭自燃預測屬于典型的小樣本預測問題,目前對于小樣本數據增強和重構的有效方法之一,是運用GANs 生成式對抗網絡,生成虛擬樣本。GANs 作為一個具有“無限”生成能力的模型,利用欠完備的2 組樣本數據,生成與真實數據分布一致的數據樣本,并且能增強數據特征[17]。為此,通過生成式對抗網絡生成更加真實的采空區遺煤自燃樣本數據,提高模型的泛化能力,形成自適應的采空區遺煤自燃智能決策模型。
生成對抗網絡是一種無監督的學習方法,它是根據博弈論中的二人零和博弈理論提出的,GANs具有1 個生成器網絡和1 個判別器網絡,并通過對抗學習進行訓練[18]。GANs 示意圖如圖1。
圖1 GANs 示意圖Fig.1 Schematic diagram of GANs
GANs 訓練過程中,先將數據樣本噪聲z~PZ送到生成器。判別器對真實數據或生成數據中的部分樣本進行判斷。判別器的輸出可以表示為:
式中:Preal為判別器對真實樣本的判別概率;Pfake為判別器對生成樣本的判別概率;D(x)為生成器函數;G(z)為判別器函數;D(G(z))為復合函數。
生成器希望增大判別器G(z)的概率輸出Pfake,對給定的生成器,判別器則要在最小化Pfake的同時尋求Preal的最大化。判別器和生成器中損失函數為:
式中:LG、LD為生成器和判別器的損失函數;E為樣本的期望值。
在生成器和判別器之間建立1 個博弈關系,使2 個網絡可以同時訓練,其博弈模型目標函數可以表示為[18]:
式中:VGANs(G,D)為對抗網絡的價值函數。
GANs 網絡在使用權重剪枝的方式時,會讓大多數的權重極端化,會使得網絡的擬合能力大大減弱,同時,權重更新變化過大導致訓練不穩定,容易發生梯度消失或者梯度爆炸。2017 年蒙特利爾大學學者Martin[19]等提出一種WGANs-GP 的形式作為改進,用梯度懲罰(Gradient Penalty)的方式代替權重剪枝,使得權重的分布正常化,不再集中在剪枝范圍的兩極,緩解訓練困難的問題。
由于采空區觀測工作量大,埋管維護工作困難,所以采空區遺煤自然預測所使用的樣本數據容量較少,屬于典型的面向小樣本數據特征的預測,所建立的機器學習預測模型往往外推泛化能力較弱。通過WGANs-GP 學習原始數據樣本的內部分布信息,從而得到與小樣本分布一致的生成樣本,然后將生成樣本添加到原樣本中以達到數據增強的作用[20]。采用WGANs-GP 算法通過生成器D 能夠學習到采空區遺煤自燃監測數據的真實分布,那么生成器D 就能生成原來不存在采空區遺煤自燃監測數,但又很真實的樣本數據,然后把真實數據集和虛擬數據集進行合并,再運用機器學習算法訓練擴容增強的數據集建立采空區遺煤自燃預測模型。預測模型框架圖如圖2。
圖2 預測模型框架圖Fig.2 Frame diagram of prediction model
現場數據實測來源于晉煤控股三元福達煤業15101 工作面,15101 工作面煤層平均厚度4.5 m,采用一次采全高綜合機械化采煤法,礦井屬高瓦斯礦井,15#煤層自燃傾向性為Ⅱ級。15101 工作面現場監測方案為:在進回風巷共布置8 個測站,每個測站距離為15 m,預先把熱電偶線和束管布置在鋼管內,觀測有效工作面推進距離為150 m。工作面測點布置示意圖如圖3。
圖3 工作面測點布置示意圖Fig.3 Schematic diagram of measuring point layout in working face
隨工作面推進過程中共收集到包含工作面距離、采空區溫度、O2、CO、CO2、CH4信息的312 條數據信息,剔除數據噪聲共保留272 條數據用于預測模型的學習訓練。由于數據樣本中CO 數據只有3 號測站測得有效數據,CO 數據特征值不明顯,屬性的取值對特征的提取意義不大,數據樣本中剔除了CO數據,本次預測模型,采用工作面距離、O2、CO2、CH4為輸入值,采空區溫度為輸出預測值。
采用Facebook 公司發布的Python 機器學習庫PyTorch 來構建和訓練WGAN-GP 模型。WGAN-GP模型中判別器G 和生成器D 都是3 層全連通神經網絡,其中神經網絡的層數和神經元數量對于在當前樣本數據下模型所生成樣本數據的特征質量有決定性的作用,參考文獻[21-24],采用試錯法,確定了判別器G 和生成器D 的神經網絡結構參數。
生成器D 網絡結構參數:輸入維度100 的隨機噪聲;第1 層全連接神經網絡32 個神經元、LeakyReLU 激活函數;第2 層全連接神經網絡64 個神經元、LeakyReLU 激活函數;第3 層全連接神經網絡128 個神經元,LeakyReLU 激活函數;第3 層全連接神經網絡5 個神經元,Tanh 激活函數。
判別器G 網絡結構參數:輸入維度為5 的樣本;第1 層全連接神經網絡256 個神經元,LeakyReLU 激活函數;第2 層全連接神經網絡128個神經元,LeakyReLU 激活函數;第3 層全連接神經網絡1 個神經元。
訓練中為了保持對抗訓練平衡,設置判別器模型與生成器模型的更新次數為1∶2,以確保判別器損失值不會為0。其他參數具體設置為:學習率0.000 1、小批量大小16、adam 一階矩估計參數0.5、adam 二階矩估計參數0.999。
WGAN-GP 模型生成的數據樣本中,存在一定量的數據偏離了真實數據的上下限,例如溫度數據中存在小于20 ℃的數據,和實際情況不符,這種和實際情況不符生成的原始分布的數據加入訓練集后,將會嚴重影響模型的泛化能力。為了解決生成數據分布特征和實際情況不符的問題,采用斯皮爾曼等級相關系數對生成的虛擬數據和實測數據的相關性進行評價。虛擬數據預處理后,對各參數之間的相關屬性ρ 進行分析,其計算方式如下[25]:
式中:n 為數據的數量;di為2 個數據次序的差。
實測數據參數相關性分布圖如圖4,虛擬擴容數據參數相關性分布圖如圖5。由圖4 和圖5 可知,虛擬擴容數據各參數屬性之間的相關性和實測數據各參數屬性的相關性非常相近,說明擴容數據能夠很好表達實測數據的特征分布。
圖4 實測數據參數相關性分布圖Fig.4 Correlation distribution of measured data parameters
圖5 虛擬擴容數據參數相關性分布圖Fig.5 Correlation distribution of virtual capacity expansion data parameters
使用對抗神經網絡生成虛擬數據樣本的數量,不是越多越好,往往生成的虛擬數據樣本中存在特征不明顯的低質量數據,會影響后期預測模型的預測精度和外推能力,虛擬樣本的生成數量需要根據真實樣本數據特征,以及所預測問題的具體情況選擇,參照文獻[26-28],并結合研究數據集的特征,發現實測數據集擴容1 倍虛擬數據時,數據樣本集的特征分布和實測數據集非常相似,為此,使用1 倍的生成虛擬樣本進行真實樣本數據的擴充。生成的擴容數據集分布如圖6~圖9,由實測和擴容樣本數據集分布示意圖可知,所生成的數據集分布相似,并且比原實測數據集有一定的外擴。
圖6 實測和擴容溫度數據集分布示意圖Fig.6 Distribution diagram of measured and dilated temperature data sets
圖7 實測和擴容氧氣體積分數數據集分布示意圖Fig. 7 Distribution diagram of measured and expanded oxygen volume fraction data sets
圖8 實測和擴容甲烷數據集分布示意圖圖Fig. 8 Schematic diagram of the distribution of measured and expanded methane data sets
圖9 實測和擴容二氧化碳數據集分布示意圖Fig. 9 Distribution diagram of measured and expanded CO2 data sets
使用WGAN-GP 模型生成的數據樣本和現場實測的數據樣本進行混合,得到數據增強擴容的采空區遺煤自燃預測訓練數據集,使用AI 模型進行數據集的學習訓練,并建立采空區遺煤自燃預測模型。
機器學習算法在工業問題預測中應用較為廣泛,近年來發展較快的深度學習模型也已經在許多工業問題預測中進行了運用,例如DCNN、RNN、LSTM、GRU 等模型,在相關工業問題預測和機械故障診斷中都獲得了一定競爭力的性能,但是深度學習模型往往較為復雜,對于很多工業預測性問題的解決有一定的局限性,使用配置良好的簡單機器學習模型對工業性預測問題的解決,完全可以取得良好的效果。BP 神經網絡是工業預測中應用最為廣泛和成熟的人工神經網絡,為此,使用遺傳算法GA 對BP神經網絡的參數和結構進行尋優,消除BP 神經網絡的缺點建立采空區遺煤自燃預測的進化神經網絡(GABPNN)預測模型,并和其它模型進行對比分析。
神經網絡結構參數進化過程中,搜索空間取1個隱含層,節點數范圍為5~50;種群規模為35 個,雜交概率0.82,變異概率0.25;初始權值進化過程中,搜索范圍為-10.0~10.0;種群規模80 個,雜交概率0.96,變異概率0.05。BP 網絡學習率取0.1,動量項系數為0.5。在模型訓練過程中,隨機抽取樣本數量的20%為測試樣本。GA-BPNN 實測數據訓練集測試樣本如圖10,GA-BPNN 增強擴容訓練集測試樣本如圖11。
圖10 GA-BPNN 實測數據訓練集測試樣本Fig.10 GA-BPNN test sample of training set of measured data
圖11 GA-BPNN 增強擴容訓練集測試樣本Fig.11 GA-BPNN test sample of enhanced capacity expansion training set
為了進一步研究使用WGANs-GP 模型對實測數據進行增強擴容數據集對采空區遺煤自燃預測模型性能的影響,使用相同增強擴容的數據集分別建立了GA-SVM 預測模型和隨機森林RF 預測模型。
支持向量機(SVM)是基于統計學習理論的一種通用學習方法,采用遺傳算法(GA)對其參數優化,提高模型的訓練效果。支持向量機優化學習參數為3 個,懲罰系數C、不敏感損失系數ε、基函數帶寬δ。種群規模設置為80 個,雜交概率(交叉概率)0.9,變異概率0.1,倒序概率0.2。在模型訓練過程中,隨機抽取樣本數量的20%為測試樣本。GA-SVM 實測數據訓練集測試樣本如圖12,GA-SVM 增強擴容訓練集測試樣本如圖13。
圖12 GA-SVM 實測數據訓練集測試樣本Fig. 12 GA-SVM test sample of measured data training set
圖13 GA-SVM 增強擴容訓練集測試樣本Fig.13 GA-SVM test sample of augmentation and capacity expansion training set
隨機森林(RF)是一種基于分類樹的算法,它可以用于分類和回歸問題,它由決策樹的分類器構成,樹的構建遵從分類與回歸樹策略。隨機森林(RF)模型訓練速度快,容易做成并行化方法,對于不平衡數據集來說,隨機森林可以平衡誤差。隨機森林在解決回歸問題時,在超越訓練集數據范圍的預測能力較差。
決策樹的數量達到100 時,R2呈平緩趨勢且數值達到最大,決策樹的深度為4.5~5.5 時,模型擬合效果達到最好[29]。為此,訓練過程中決策樹量參數設置為100,決策樹深度參數設置為5。在模型訓練過程中,隨機抽取樣本數量的20%為測試樣本。RF 實測數據訓練集測試樣本如圖14,RF 增強擴容訓練集測試樣本如圖15。
圖14 RF 實測數據訓練集測試樣本Fig.14 RF test sample of training set of measured data
圖15 RF 增強擴容訓練集測試樣本Fig.15 RF test sample of enhanced capacity expansion training set
不同訓練數據集和模型預測性能指標見表1。由表1 可知,使用增強擴容的數據集進行訓練,3 種預測模型的R2指標均有提高,GA-BPNN 模型提高了12%,GA-SVM 模型提高了4%,RF 模型提高了3%,GA-BPNN 模型R 2 指標提高幅度最大;3 種預測模型MAE 指標均降低,GA-BPNN 模型降低了0.67 ℃,GA-SVM 模型降低了0.54 ℃,RF 模型降低了0.33 ℃;3 種預測模型RMSE 指標均降低,GABPNN 模型降低了0.41 ℃,GA-SVM 模型降低了0.46 ℃,RF 模型降低了0.39 ℃。增強擴容的數據集對3 種預測模型的泛化能力都有提高,其中GABPNN 模型預測性能提高幅度較大。
表1 不同訓練數據集和模型預測性能指標Table 1 Performance indicators predicted by different training data sets and models
1)采用WGAN-GP 生成式對抗神經網絡,進行反映真實數據特征分布的虛擬樣本生成過程中,需要根據實測數據及樣本實際合理范圍上下限進行數據的處理,虛擬數據擴容的數量對數據的相關性及后期模型預測精度的影響非常大。所使用的數據集,在擴容1 倍的虛擬樣本數據后,增強擴容數據集的各參數的相關性變化不大。
2)采用斯皮爾曼等級相關系數對生成的虛擬數據和實測數據的相關性系數進行計算,虛擬數據和實測數據集中各參數屬性的相關系數變化幅度較小,各指標相關性變化幅度均未超過20,數據集擴容后各參數相關性變化不大,較好保留了數據的特征分布。
3)使用增強擴容數據集進行3 種預測模型的訓練,各模型的預測性能均有提高,其中R2指標GABPNN 模型提高12%,GA-SVM 模型提高4%,RF 模型提高3%,;MAE 指標均降低,GA-BPNN 模型降低0.67 ℃,GA-SVM 模型降低了0.54 ℃,RF 模型降低0.33 ℃;RMSE 指標均降低,GA-BPNN 模型降低0.41 ℃,GA-SVM 模型降低0.46 ℃,RF 模型降低0.39 ℃。增強擴容的數據集對3 種預測模型的性能都有提高,其中GA-BPNN 模型預測性能提高幅度最大。