基于PSO-SRU 深度神經網絡的煤自燃溫度預測模型

賈澎濤，林開義，郭風景

（1.西安科技大學 計算機科學與技術學院，陜西 西安 710054；2.陜西建新煤化有限責任公司，陜西 黃陵 727300）

0 引言

我國對煤炭的需求短期內不會發生根本性變化，煤炭在能源結構中仍將長期處于主體地位[1-2]。長期大量開采導致采空區遺煤增多，煤自燃災害頻發[3-4]。煤自燃是一個復雜的動態氧化過程，一旦發生會造成巨大資源浪費和環境污染[5-6]。因此，開展煤自燃的溫度預測研究對防控煤自燃災害發生具有重要意義[7]。

近年來，學者們圍繞煤自燃溫度預測相關問題提出了多種方法，主要有測溫法、自燃實驗預測法和氣體分析法等[8-10]。其中氣體分析法根據煤體氧化升溫時不同溫度狀態會釋放不同濃度的氣體產物這一規律，通過監測煤自燃過程中氣體指標濃度預測煤自燃溫度[11-13]。氣體分析法因規律性強、靈敏度高而被廣泛應用[14-15]。鄧軍等[16]建立了支持向量回歸（Support Vector Regression,SVR）的煤自燃預測模型，并采用粒子群（Particle Swarm Optimization,PSO）選取最佳的核函數和懲罰因子，提高了預測精度，但該模型對參數選取敏感，易陷入局部最優。劉寶等[17]提出了基于相關向量機（Relevance Vector Machine,RVM）的煤自燃預測方法，簡化了模型參數選取，泛化性較好，但預測精度有待提高。昝軍才等[18]采用反向傳播（Back Propagation,BP）神經網絡學習煤溫與氣體指標的非線性映射關系，實現煤自燃溫度預測，但該方法易出現過擬合現象，泛化能力較差。鄭學召等[19]建立了基于隨機森林（Random Forest,RF）的煤自燃溫度預測模型，優化了決策樹深度和數量，參數優化簡單，泛化性好，但預測精度和模型魯棒性有待提高。

綜上可知，現有的煤自燃溫度預測方法存在預測模型泛化性不強、魯棒性較差的問題。針對上述問題，本文考慮真實煤自燃監測數據前后具有強關聯性，提出了基于PSO 算法優化簡單循環單元（Simple Recurrent Units,SRU）的煤自燃溫度預測模型-PSO-SRU 模型。將煤自燃多特征數據輸入SRU 預測模型，利用SRU 神經單元挖掘特征數據間的非線性關系，根據挖掘到的規律和當前煤自燃特征的輸入預測煤自燃溫度；通過改進的PSO 算法優化SRU 預測模型參數，提高了模型的預測精度和魯棒性。該模型可為利用深度神經網絡預測煤自燃溫度提供解決思路。

1 理論基礎

1.1 SRU

SRU 是循環神經網絡（Recurrent Neural Network,RNN）的優秀變體[20]，與長短期記憶網絡（Long Short Term Memory,LSTM）和門循環單元（Gate Recurrent Unit,GRU）等循環神經單元的結構一樣，都是基于“門控”結構構建。SRU 簡化了單元結構，使RNN更加輕便，其內部結構和網絡結構如圖1 所示。

圖1 SRU 內部結構和網絡結構Fig.1 Simple recurrent units(SRU) interior structure and network structure

SRU 結構計算過程如下：

式中：ft為遺忘門，用來決定單元狀態需要丟棄過去哪些信息，t為時刻；σF為遺忘門激活函數；WF為遺忘門細胞狀態的參數矩陣；Xt為輸入數據；UF,bF,UR,bR為需要在訓練過程中學習的參數向量；⊙為點乘運算符號；ct-1,ct為神經單元狀態；W為細胞狀態參數矩陣；rt為重置門，控制前一單元狀態有多少信息被寫入到當前細胞ht中；σR為重置門激活函數；WR為重置門細胞狀態的參數矩陣。

SRU 網絡結構由輕量循環（式（1）和式（2））和高速網絡（式（3）和式（4））2 個重要部分組成。輕量循環采用UF⊙ct-1的計算方式，降低單元與單元間的依賴程度，提高運算速度。高速網絡采用（1-rt）⊙Xt跳躍連接的方式，使梯度能夠直接向前傳播，緩解梯度消失和梯度爆炸問題。

1.2 PSO 算法

PSO 算法從擬態生物學的角度出發，將鳥群在空間內的覓食過程、狀態及行為抽象為無質量粒子在多維空間內搜索滿足最優適應度值的過程、狀態和行為。其核心思想是信息共享，通過粒子群中記錄的全局最優適應度和個體最優適應度更新粒子的速度和位置，計算自身的適應度，將信息分享給群體，各粒子調整自身的速度和位置，朝最優適應度粒子周圍聚集，達到搜索終止條件的最優適應度粒子的每個維度值即為全局最優解[21]。

在D維搜索空間下，PSO 算法的更新公式為

式中：νi，λi分別為第i個粒子的速度和位置，i=1，2，…，s，s為粒子數，通常取40；為慣性權重，通常取0.9；q為當前迭代次數；α1，α2為學習因子，控制著第q-1 次迭代的經驗對第q次迭代的影響程度，通常α1=α2=0.5；β1，β2為[0,1]內的隨機數；pbesti為個體粒子歷史最優位置；gbesti為全局最優個體粒子位置。

2 基于PSO-SRU 的煤自燃溫度預測模型

2.1 PSO-SRU 模型構建

PSO-SRU 模型架構如圖2 所示。通過煤自燃程序升溫實驗采集到n個時刻煤自燃數據樣本，令數據集合X={X1,X2,…,Xn}，Xt為第t個時刻樣本，Xt=[xt1,xt2,…,xtm]，xtj為第t個時刻第j個預警指標氣體濃度，t=1，2，…，n，j=1，2，…，m，m為預警氣體指標個數。PSO-SRU 模型構建過程如下：

圖2 PSO-SRU 模型架構Fig.2 Temperature prediction model framework for coal spontaneous combustion based on particle swarm optimization and simple recurrent unit（PSO-SRU）

（1）通過實驗采集煤自燃預警指標氣體濃度，對數據進行清洗、歸一化處理，計算氣體與煤溫相關性，篩選相關性氣體指標并將數據集劃分為訓練集和測試集。

（2）建立SRU 煤自燃溫度預測模型，將Xt輸入SRU 進行矩陣計算，通過式（1）-式（4）計算得到下一時刻煤自燃溫度。

（3）提升SRU 預測模型性能，將隱藏層神經元數L1，L2，學習率?及模型訓練次數e作為PSO 算法尋優對象，改進PSO 算法，提升尋優算法性能。

（4）用最優超參數建立SRU 預測模型，將測試集輸入參數最優的SRU 預測模型，得到煤溫預測結果。

2.1.1 數據采集及處理

實驗選取某礦采集的氣煤煤樣進行程序升溫實驗。裝煤總質量為1 kg，裝煤高度為17.5 cm，混合煤樣平均粒徑為 4.18 mm，空隙率為0.48%，平均升溫速率為0.3 ℃/min，供風量為120 mL/min。利用程序升溫裝置對煤樣進行加熱，并向程序升溫裝置送入預熱空氣，測定氣體產物，當溫度升高到400 ℃預定溫度時停止加熱。共得到625 組樣本數據，記錄氣煤煤樣氧化升溫過程中產生的多種氣體（如CO，CO2，CH4，C2H4，O2）濃度和溫度等。625 組原始數據中包含缺失值和異常值的數據，會使建模過程陷入混亂，導致輸出結果不可靠，通過剔除異常值并對缺失值進行插補，得到601 組數據，采用MinMaxScaler方法將數值映射到[0,1]之間。

2.1.2 預警氣體指標分析

不同氣體指標與煤溫隨時間變化關系如圖3 所示。從圖3（a）可看出，因為煤氧復合反應的發生，實驗環境中的O2體積分數呈現隨煤溫升高而逐漸減小的規律。從圖3（b）、圖3（c）可看出，從煤溫開始發生變化時，CO 和CH4體積分數呈現隨煤溫升高而不斷增大的趨勢，并且與煤自燃溫度變化有明顯的強相關性關系，具有很好的規律性，可以用于煤自燃預測預警的整個周期。從圖3（b）、圖3（d）可看出，CO2和C2H4體積分數在煤溫為100 ℃以前沒有明顯變化，而在煤溫達到100 ℃以后，能夠反映煤溫的劇烈變化，因此，可以作為煤自燃發生后期的預警氣體。

圖3 不同氣體指標與煤溫隨時間變化關系Fig.3 Gas indicators and coal temperature as time changes

2.2 SRU 預測模型參數尋優

2.2.1 改進PSO 算法

為了平衡全局搜索和局部搜索，提高PSO 算法尋優的性能，根據[-4，4]之間雙曲正切曲線變化規律對標準PSO 算法權重進行改進，使慣性權重隨粒子搜索迭代次數動態改變。改進后的PSO 算法權重更新公式為

改進后的權重隨迭代次數變化趨勢如圖4 所示。

圖4 動態的慣性權重Fig.4 Dynamic inertia weight

為了進一步避免算法陷入局部最小值，提高種群多樣性和跳出局部極值的能力，從擬態物理學角度出發，將粒子調整自身朝個體最優位置和全局最優位置飛行的過程看作是受到二者的引力作用。與此同時，所有粒子都避免自己成為全局最差粒子，紛紛遠離當前全局最差粒子，將粒子遠離全局最差粒子構造為一股排斥力，使粒子陷入局部極值時迅速跳出[24-25]。在前人研究的基礎上，綜合考慮粒子在飛行過程中受到的引力和排斥力，即粒子更新將同時受到2 個引力和1 個排斥力的影響，對粒子速度更新進行改進，改進后的粒子速度更新公式為

式中：gworsti為全局最差個體粒子位置；β3為[0，1]內的隨機數。

第q+1 次迭代時，粒子λi受到的個體最優粒子對其的引力為pbesti-λi，受到全局最優粒子對其的引力為gbesti-λi，受到全局最差粒子對其的排斥力為gworsti-λi，加入排斥力后，能使粒子更快地向全局范圍內適應度小的位置聚集，提高算法的收斂速度。

2.2.2 改進PSO 優化SRU 預測模型

（1）將獲取的煤自燃溫度和氣體指標原始數據進行數據預處理，將數據劃分為訓練集和測試集。

（2）確定參數尋優范圍，初始化粒子群參數。最大迭代次數設為1 000；尋優范圍設置如下：2 個隱藏層神經元數的取值范圍均為[1，200]，學習率邊界范圍為[0.000 1，0.01]，訓練次數尋優范圍為[1，500]。

（3）利用當前粒子群中各粒子的參數取值建立SRU 煤自燃溫度預測模型，學習訓練集中氣體指標與煤自燃溫度之間的非線性規律，再對測試集樣本進行預測。

（4）計算各粒子適應度，更新共享信息。記錄當前取得最小適應度的粒子，更新粒子群的全局最優位置gbesti；更新每個粒子從搜索開始后各自的歷史最優位置pbesti；記錄當前取得最大適應度的粒子，更新粒子群的全局最差位置gworsti。適應度計算公式：

（5）判斷是否達到終止條件。若未達到終止條件，根據迭代次數更新，并依據式（8）、式（6）更新每個粒子的速度和位置，然后轉步驟（2）繼續執行；否則執行步驟（6）。

（6）輸出全局最小適應度及全局最小適應度對應粒子的位置參數，該位置參數即為全局最優解。

3 實驗與結果分析

實驗環境配置如下：CPU 型號為i7-3612QM；GPU型號為RTX1080Ti；內存容量為12 GB；編程語言為Python-3.6；編程平臺為PyCharm-2019.2.5（Professional Edition）；集成環境管理為Anaconda Navigator-1.3.1；深度學習框架為PyTorch-1.6；機器學習框架為Scikitlearn-0.23.2。

3.1 預警指標擇優

煤氧復合作用下，煤體氧化升溫過程中會釋放不同濃度的氣體產物，需要分析各氣體指標與溫度在數據上的緊密程度，篩選出與煤自燃溫度相關性盡可能大的氣體指標。對插補過的指標氣體數據與煤樣溫度數據進行相關性分析，對數據的每一列均采用Kolmogorov-Smirnov 檢驗，其P-value 均小于0.001，采用Pearson 相關系數法分析相關性。

式中：θ為線性相關的程度；xt,yt為任意2 個特征指標的樣本值；為對應特征指標的均值。

選取與溫度相關系數大于0.7 的氣體指標O2，CO，CO2，CH4，C2H4作為預測模型輸入數據，煤溫作為預測模型目標輸出，將這些數據樣本按照70%訓練集、30%測試集進行劃分。各指標間相關性系數見表1。

表1 溫度與氣體指標間的相關性Table 1 Correlation between temperature and gas indexes

3.2 評價指標計算

為了評估PSO-SRU 模型性能，對模型的預測結果作出統一客觀的評價，選取平均絕對誤差（Mean Absolute Error,MAE）、均方根誤差（Root Mean Square Error,RMSE）、決定系數R2作為評價指標。

（1）MAE 計算公式為

MAE 是預測值與真實值之間絕對誤差的平均值，能避免誤差相互抵消。MAE 越小，說明預測越精準。

（2）RMSE 計算公式為

RMSE 能體現出預測值的離散程度，RMSE 越大，說明有較多或較大的偏差值出現，RMSE 越小，說明模型性能越好。

（3）R2計算公式為

R2可以判別模型擬合非線性關系的程度，取值范圍為[0,1]，數值越接近1，表示模型預測性能越好。

3.3 實驗結果分析

3.3.1 模型結構確定

為了選擇合適的隱藏層數，本文利用改進的PSO 算法分別優化隱藏層的SRU 預測模型，改變不同隱藏層數模型的訓練次數，進行MAE 和運行時間對比，結果如圖5 所示。

圖5 不同隱藏層數SRU 預測模型MAE 與時間對比Fig.5 Comparison of mean absolute errors(MAE) and running time under various hidden layer of simple recurrent units(SRU) perdiction model

從圖5 可看出，不同隱藏層SRU 預測模型的MAE 隨訓練次數增加逐漸減小，運行時間隨隱藏層數增加幾乎為線性增長。1 層隱藏層模型的最小MAE 始終大于2，3，4 層模型；3 層隱藏層模型的最小MAE 略高于2，4 層模型；4 層隱藏層模型的MAE 最小，雖然比2 層模型的MAE 略小，但運行時間是2 層模型的2.1 倍。因此，在綜合考慮預測精度和時效性的前提下，本文采用含有2 層隱藏層的SRU 構建PSO-SRU 模型。

3.3.2 模型參數優化

SRU 預測模型由輸入層、2 層隱藏層和1 層輸出層構成。為了驗證改進的PSO 算法性能，分別采用改進的PSO 算法和PSO 算法對含有2 層SRU 隱藏層的模型進行優化對比。尋優過程中二者的適應度變化曲線如圖6 所示。從圖6 可看出，改進的PSO 算法明顯比PSO 算法可更快求得全局最優解，并最終求解到全局最小適應度，說明改進的PSO 算法全局尋優能力更強，算法收斂速度更快。基于改進的PSO 算法最終尋找到的最優SRU 預測模型參數如下：L1=18，L2=18，?=0.001，e=21。

圖6 PSO 算法改進前后適應度變化曲線Fig.6 Fitness value change curves before and after improving particle swarm optimization（PSO）algorithm

3.3.3 性能對比

為了驗證PSO-SRU 模型的性能，在使用相同訓練集和測試集數據前提下，利用改進的PSO 算法對各對比模型參數進行優化。基于SVR 算法的預測模型[16]懲罰因子為9.16，核參數為12.47；基于BP 算法的預測模型[18]2 層隱藏層神經元數分別為12 和8；基于RF 算法的預測模型[19]決策樹數量為115，最大樹深為5。采用MAE、RMSE 和R2指標對不同預測模型的性能進行評價，結果見表2。

表2 不同預測模型的性能預測結果對比Table 2 Comparison of predictions using various models

由表2 分析可知，PSO-SRU 模型在測試集上的決定系數R2比基于SVR，RF 和BP 算法的預測模型分別提高了15.67%，11.63%和7.87%，且PSO-SRU模型的R2為0.96，說明其預測效果及性能最好，預測結果最接近真實值。在訓練集和測試集上的預測結果表明：基于BP 算法的預測模型容易出現過擬合；基于SVR 和RF 算法的預測模型在訓練樣本和測試樣本上預測誤差差距較小、泛化性較好，但預測精度不足；PSO-SRU 模型在訓練集和測試集上的R2差值為0.03，說明PSO-SRU 模型具有良好的泛化性。相較于基于SVR，RF 和BP 算法的預測模型，PSO-SRU模型在測試集上的MAE 分別降低了12.58，7.65，5.91 ℃，說明PSO-SRU 模型在測試樣本上的預測精度優于其他3 個模型；同時，RMSE 分別降低了22.65，17.45，8.94 ℃，說明PSO-SRU模型預測的煤自燃溫度離散化程度低，具有良好的魯棒性。

不同模型測試樣本真實煤溫與預測煤溫對比如圖7 所示。

圖7 不同模型測試樣本真實煤溫與預測煤溫對比Fig.7 Comparison of real and predicted temperatures of testing samples using different models

從圖7 可看出，基于SVR 算法的預測模型預測值偏離真實值程度最大，基于RF 算法的預測模型預測值離散化程度較大，模型魯棒性較差，基于BP 算法的預測模型預測值曲線雖然比基于SVR，RF 算法的預測模型更貼近真實值，但預測精度仍然低于PSO-SRU 模型。PSO-SRU 模型預測的煤溫曲線平滑，驗證了其用于提高煤自燃溫度預測精度、魯棒性和泛化能力的有效性。

4 結論

（1）PSO-SRU 模型利用SRU 挖掘煤自燃溫度與氣體指標特征之間的非線性關系，根據歷史監測數據預測出煤自燃溫度，并利用改進的PSO 算法對模型參數進行優化。相較于標準PSO算法，改進的PSO 算法在優化SRU 煤自燃溫度預測模型超參數的過程中，降低了預測模型選取參數的難度和模型結構復雜程度，提高了參數尋優效率。

（2）實驗結果表明：與基于SVR，RF，BP 算法的煤自燃溫度預測模型相比，PSO-SRU 模型在測試集上決定系數R2分別提高了15.67%，11.63%，7.87%，且R2為0.96，預測結果最接近真實值；MAE 分別降低了12.58，7.65，5.91 ℃，預測精度得到了提升；RMSE分別降低了22.65，17.45，8.94 ℃，預測曲線在拐點處更平滑，說明PSO-SRU 模型具有良好的魯棒性。