基于機(jī)器學(xué)習(xí)LSTM網(wǎng)絡(luò)的SO2排放濃度預(yù)測(cè)

王 琦，趙 靜，胡 磊，雷彥云，王鵬程

（1.山西大學(xué) 自動(dòng)化與軟件學(xué)院，太原030013；2.山西大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，太原030006；3.山西河坡發(fā)電有限責(zé)任公司，陽(yáng)泉045011）

當(dāng)前我國(guó)CFB 機(jī)組大多采用爐內(nèi)干法固硫+爐外煙氣石灰石-石膏濕法脫硫的手段來(lái)脫除SO2。但是這種方式慣性大、實(shí)時(shí)性較差，在負(fù)荷、煤質(zhì)等參數(shù)變動(dòng)，或運(yùn)行參數(shù)調(diào)整出現(xiàn)誤差時(shí)，爐內(nèi)脫硫效果會(huì)變差，那么脫硫塔入口SO2濃度就會(huì)越限，以致SO2排放超標(biāo)[1-2]。為達(dá)到超低排放水平，那么脫硫系統(tǒng)的控制精度將會(huì)要求更高。脫硫效率的影響因子多，同時(shí)相互具關(guān)聯(lián)性，則難于實(shí)時(shí)監(jiān)測(cè)，且測(cè)量結(jié)果準(zhǔn)確度低[3-4]。脫硫設(shè)施是一個(gè)動(dòng)態(tài)非線性系統(tǒng)，具有大遲滯、大慣性特點(diǎn)，所以對(duì)煙氣中SO2濃度的準(zhǔn)確預(yù)測(cè)，對(duì)于脫硫系統(tǒng)控制有重要意義。

目前研究人員采用的SO2濃度預(yù)測(cè)方案多為回歸分析、BP 神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等算法的獨(dú)立或組合應(yīng)用。回歸分析對(duì)歷史數(shù)據(jù)的要求精度更高，同時(shí)預(yù)測(cè)的誤差偏大；BP 神經(jīng)網(wǎng)絡(luò)方法在SO2濃度預(yù)測(cè)中雖有一定效果，但收斂速度慢且收斂困難，泛化能力較差，訓(xùn)練極易過(guò)擬合，一般引入其它優(yōu)化算法來(lái)優(yōu)化其參數(shù)達(dá)到提高預(yù)測(cè)精度的目的；還有用支持向量機(jī)做參數(shù)尋優(yōu)的設(shè)計(jì)[5]，但這些方法都沒(méi)把影響脫硫系統(tǒng)自身的時(shí)序慣性加入到算法中。因此對(duì)于脫硫系統(tǒng)非線性、時(shí)滯慣性大的特點(diǎn)，采用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）解決這種時(shí)序方面的問(wèn)題[6-7]。本文結(jié)合山西某電廠運(yùn)行數(shù)據(jù)的樣本情況及特點(diǎn)，提出了一種基于機(jī)器學(xué)習(xí)的LSTM 神經(jīng)網(wǎng)絡(luò)SO2濃度預(yù)測(cè)方案，對(duì)大數(shù)據(jù)下的樣本進(jìn)行分析并建模，因?yàn)橥瑫r(shí)把脫硫系統(tǒng)時(shí)序上的慣性考慮加入，得到了較理想的預(yù)測(cè)效果。

1 LSTM 算法原理

1.1 LSTM 算法概述

為了解決處理長(zhǎng)序列數(shù)據(jù)時(shí)，會(huì)有梯度消失或梯度爆炸的狀況，提出了RNN 的變形算法—LSTM網(wǎng)絡(luò)。LSTM 是一種改進(jìn)型的循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠彌補(bǔ)一般循環(huán)神經(jīng)網(wǎng)絡(luò)處理長(zhǎng)距離依賴能力不夠的缺陷，那么在處理時(shí)間序列間隔大、延遲相對(duì)長(zhǎng)的事件有更出眾的表現(xiàn)[8-10]。LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)原理如圖1 所示。

圖1 LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)原理圖Fig.1 Schematic diagram of LSTM recurrent neural network

LSTM 引入了3 個(gè)門(mén)來(lái)實(shí)現(xiàn)信息的傳遞： 遺忘門(mén)ft；輸入門(mén)it；輸出門(mén)ot。各自作用為：

（1）遺忘門(mén)ft：控制上一時(shí)刻的內(nèi)部狀態(tài)ct-1需要遺忘多少信息；

（2）輸入門(mén)it：控制目前時(shí)刻下的候選狀態(tài)ct有多少信息需保存；

（3）輸出門(mén)ot：控制目前時(shí)刻內(nèi)部狀態(tài)ct有多少信息需輸出給外部狀態(tài)。

LSTM 網(wǎng)絡(luò)的內(nèi)部狀態(tài)ct可以捕捉某時(shí)刻的關(guān)鍵信息，然后把此關(guān)鍵信息保存在一定的時(shí)間間隔內(nèi)，保存關(guān)鍵信息通過(guò)遺忘門(mén)ft和輸入門(mén)it來(lái)實(shí)現(xiàn)，因此內(nèi)部狀態(tài)ct保存信息的周期要長(zhǎng)于短期記憶，但同時(shí)又短于長(zhǎng)期記憶，所以稱長(zhǎng)短期記憶。

1.2 LSTM 算法計(jì)算過(guò)程

LSTM 單元為中間狀態(tài)，其輸入包含目前時(shí)刻的輸入xt及前一時(shí)刻輸出ht-1。首先經(jīng)過(guò)預(yù)處理后的輸入數(shù)據(jù)作為輸入層x（t），前一時(shí)刻隱藏狀態(tài)數(shù)據(jù)ht-1，與當(dāng)下輸入數(shù)據(jù)x（t）經(jīng)過(guò)一個(gè)激活函數(shù)sigmoid，得出ft的輸出f（t），這個(gè)輸出此刻已更新。數(shù)據(jù)大小在［0，1］之間，表示遺忘“上一層隱藏細(xì)胞狀態(tài)”的概率。表達(dá)式為

式中：Wf，bf在線性 關(guān)系里，為系數(shù)和偏 置；σ 是sigmoid。在it里，由i（t）和c～t完成更新細(xì)胞狀態(tài)，其中i（t）經(jīng)過(guò)sigmoid，計(jì)算出當(dāng)下的被更新值，c～t經(jīng)過(guò)tanh 激活函數(shù)，在LSTM 單元有新數(shù)據(jù)輸入時(shí)，ft更新成新?tīng)顟B(tài)，ot運(yùn)算式為

式中：Wi，bi，Wc，bc是線性關(guān)系的系數(shù)及偏置，細(xì)胞狀態(tài)的輸入信息依次過(guò)輸入門(mén)和遺忘門(mén)再計(jì)算，接下來(lái)在cell 中更新最終求得隱含層單元，公式為

輸出層輸出由隱藏層計(jì)算出，而這些計(jì)算又由輸出門(mén)控制。隱藏狀態(tài)ht的輸出更新，新的ht分成2 個(gè)模塊：Ot是新輸入序列數(shù)據(jù)x（t）的隱藏狀態(tài)ht-1，此為第1 模塊，經(jīng)sigmoid 算出； 第2 模塊由tanh、隱藏狀態(tài)C（t）共同運(yùn)算出結(jié)果，即：

式中：Wo，bo是線性關(guān)系的系數(shù)及偏置。

2 數(shù)據(jù)采集準(zhǔn)備及預(yù)處理

2.1 數(shù)據(jù)采集

本文的數(shù)據(jù)源于山西某電廠CFB 機(jī)組實(shí)際運(yùn)行數(shù)據(jù)，所采集數(shù)據(jù)間隔為1 min，取12月某天開(kāi)始連續(xù)86 h 脫硫系統(tǒng)歷史數(shù)據(jù)作為研究樣本。樣本數(shù)據(jù)包括鍋爐負(fù)荷、總風(fēng)量、吸收塔PH 值、吸收塔漿液濃度、原（凈）煙氣SO2濃度等13 項(xiàng)數(shù)據(jù)，涵蓋SO2排放濃度及其主要影響因素。

2.2 數(shù)據(jù)的準(zhǔn)備及預(yù)處理

2.2.1 SO2排放濃度預(yù)測(cè)輸入、輸出變量選取

（1）輸入變量的選取

輸入變量的選取很大程度上決定了在SO2排放濃度預(yù)測(cè)中能否獲得較為有效的預(yù)測(cè)結(jié)果，要選取全面詳細(xì)的輸入變量才可以得到準(zhǔn)確的預(yù)測(cè)結(jié)果。本文根據(jù)獲取的脫硫系統(tǒng)歷史數(shù)據(jù)結(jié)合實(shí)際問(wèn)題綜合地考慮了對(duì)SO2排放濃度影響的各種因素[11]，考慮數(shù)據(jù)的可采集性和精確性，選取鍋爐負(fù)荷、總風(fēng)量、原（凈）煙氣溫度、原（凈）煙氣濕度、原（凈）煙氣SO2濃度、吸收塔PH 值、吸收塔漿液位、吸收塔漿液濃度、原煙氣SO2濃度作為輸入變量。

（2）輸出變量的選取

本文選擇的輸出變量是凈煙氣SO2濃度。

2.2.2 數(shù)據(jù)的預(yù)處理

預(yù)測(cè)SO2排放濃度需要電廠大量歷史數(shù)據(jù)的支持，在收集數(shù)據(jù)過(guò)程中可能會(huì)受到傳輸?shù)母蓴_、采集數(shù)據(jù)設(shè)備的精度、人為失誤、系統(tǒng)故障等影響，往往會(huì)出現(xiàn)異常數(shù)據(jù)，數(shù)據(jù)異常對(duì)模型精度有嚴(yán)重的影響，所以需要進(jìn)行數(shù)據(jù)剔除去除壞值尖點(diǎn)[12]。剔除異常數(shù)據(jù)利用3σ 準(zhǔn)則：對(duì)于樣本X=｛x1，x2，…，xn｝，標(biāo)準(zhǔn)差為

式中： 測(cè)量值xi余下的誤差滿足式表示為有粗大誤差的壞值，剔除。

歸一化可以讓不同維度的變量特征在數(shù)值上有相對(duì)的比較能力，消除數(shù)據(jù)在量綱上的影響，進(jìn)而使分類器精度更高，利于數(shù)據(jù)的劃分工作。使用sklearn 的min max scal 函數(shù)進(jìn)行數(shù)據(jù)歸一化，將數(shù)據(jù)特征縮放至一定的最小最大值區(qū)間[13]。

3 SO2排放濃度預(yù)測(cè)建模及結(jié)果分析

3.1 SO2排放濃度預(yù)測(cè)建模

定義訓(xùn)練／測(cè)試集是機(jī)器學(xué)習(xí)的一個(gè)重要部分。因?yàn)轭A(yù)測(cè)模型由訓(xùn)練集生成，是監(jiān)督機(jī)器學(xué)習(xí)的核心[14]。通常使用80%的數(shù)據(jù)作為訓(xùn)練集，另外20%組成測(cè)試集。

所應(yīng)用程序的思路及作用：首先導(dǎo)入應(yīng)用的模塊，然后再定義神經(jīng)網(wǎng)絡(luò)的中間層，其中包括權(quán)重、偏差，之后應(yīng)用程序讀取本地文件數(shù)據(jù)，并調(diào)整數(shù)據(jù)的形狀，保證輸入和輸出數(shù)據(jù)的類型一致，便于機(jī)器學(xué)習(xí)。構(gòu)建神經(jīng)網(wǎng)絡(luò)層，1 層LSTM+3 層dense作為隱藏層，輸入變量為鍋爐負(fù)荷、總風(fēng)量、原（凈）煙氣溫度、原（凈）煙氣濕度、原（凈）煙氣SO2濃度、吸收塔PH 值、吸收塔漿液位、吸收塔漿液濃度、原煙氣SO2濃度，輸出變量為凈煙氣SO2濃度。如圖2所示，系統(tǒng)神經(jīng)網(wǎng)絡(luò)屬于多輸入單輸出狀態(tài)。

圖2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Neural network structure

模型預(yù)測(cè)值、真實(shí)值之間的偏差測(cè)量，可以設(shè)置一個(gè)誤差函數(shù)（loss function）來(lái)實(shí)現(xiàn)。通過(guò)梯度下降法（Gradient Descent）來(lái)不斷的降低這個(gè)偏差值[15]，來(lái)使得模型預(yù)測(cè)值逼近真實(shí)輸出值，然后設(shè)置訓(xùn)練次數(shù)和梯度下降法的調(diào)整精度，接著選用部分?jǐn)?shù)據(jù)作為訓(xùn)練集來(lái)驗(yàn)證模型的可靠性，最后輸出預(yù)測(cè)模型。程序?qū)W習(xí)如圖3 所示。

圖3 LSTM 程序?qū)W習(xí)流程Fig.3 LSTM program learning flow chart

3.2 建模仿真結(jié)果分析

依據(jù)機(jī)組脫硫系統(tǒng)數(shù)據(jù)訓(xùn)練集樣本繪制的圖形如圖4 所示。橫軸為運(yùn)行時(shí)刻，縱軸為該時(shí)刻對(duì)應(yīng)的SO2排放濃度數(shù)值。其中藍(lán)色線為訓(xùn)練集數(shù)據(jù)曲線，橘色為經(jīng)機(jī)器學(xué)習(xí)擬合出的SO2排放濃度曲線。盡管脫硫系統(tǒng)規(guī)律難以簡(jiǎn)單描述，并且數(shù)據(jù)波動(dòng)范圍大，但由圖可知，經(jīng)訓(xùn)練集擬合出的曲線能夠與原始數(shù)據(jù)有較好的擬合度，證明機(jī)器學(xué)習(xí)有效。

圖4 訓(xùn)練集建模結(jié)果Fig.4 Result of training set modeling

測(cè)試集建模結(jié)果如圖5 所示，經(jīng)程序?qū)W習(xí)后擬合出的圖形能夠有效地預(yù)測(cè)SO2排放濃度，曲線大部分與原始數(shù)據(jù)有較好地?cái)M合，機(jī)器學(xué)習(xí)的模型具備較好地預(yù)測(cè)作用。

圖5 測(cè)試集建模結(jié)果Fig.5 Test set modeling result

建模結(jié)果分析如圖6 所示，其中橫坐標(biāo)為時(shí)間，縱坐標(biāo)為提取的測(cè)試集SO2排放濃度真實(shí)值與預(yù)測(cè)值之間的誤差。該圖能更清晰地看出預(yù)測(cè)值與真實(shí)值相差較小，基本相差在-2.5 mg/Nm3～0.5 mg/Nm3這個(gè)范圍以內(nèi)，預(yù)測(cè)結(jié)果較為精確，說(shuō)明該機(jī)器學(xué)習(xí)所建模型的可靠性。

圖6 建模結(jié)果分析Fig.6 Analysis of modeling results

4 結(jié)語(yǔ)

基于機(jī)器學(xué)習(xí)LSTM 網(wǎng)絡(luò)的SO2排放濃度預(yù)測(cè)方法，以其超強(qiáng)的擬合能力在反映脫硫系統(tǒng)時(shí)序上的慣性方面有很好的預(yù)測(cè)效果，能為脫硫系統(tǒng)的自動(dòng)控制提供可靠參考依據(jù)。后續(xù)可以根據(jù)新數(shù)據(jù)來(lái)應(yīng)用模型得到更精確的預(yù)測(cè)值，也可以通過(guò)神經(jīng)網(wǎng)絡(luò)的不斷構(gòu)建和完善，越來(lái)越多的數(shù)據(jù)應(yīng)用也會(huì)進(jìn)一步提高模型的預(yù)測(cè)能力。