雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)的SO2排放濃度預(yù)測(cè)模型

蔣星明，曹順安，王民軍，陳東，董畢承

(1.武漢大學(xué) 動(dòng)力與機(jī)械學(xué)院，湖北 武漢 430072;2.浙江浙能中煤舟山煤電有限責(zé)任公司，浙江 舟山 316000)

2014年制定的《煤電節(jié)能減排升級(jí)與行動(dòng)計(jì)劃》要求，國內(nèi)火電站實(shí)現(xiàn)超低排放[1]?；痣娬境Ｓ玫臒煔饷摿蚣夹g(shù)為濕法煙氣脫硫，其中最為廣泛使用的是石灰石/石灰-石膏法，然而其有容易堵塞管道的缺點(diǎn)[2]。因此，脫硫系統(tǒng)用于監(jiān)測(cè)煙氣排放的設(shè)備煙氣連續(xù)排放檢測(cè)系統(tǒng)(CEMS)也容易產(chǎn)生探頭和傳感器堵塞老化的問題，導(dǎo)致SO2排放濃度無法得到較準(zhǔn)確的控制[3]。因此，通過人工智能的方法，建立脫硫系統(tǒng)SO2排放濃度的預(yù)測(cè)模型，不僅能夠精準(zhǔn)預(yù)測(cè)SO2排放濃度，也能對(duì)電廠運(yùn)行參數(shù)的調(diào)整起到指導(dǎo)作用，具有重要的實(shí)際意義和應(yīng)用價(jià)值。目前，人工智能已經(jīng)在脫硫系統(tǒng)的參數(shù)預(yù)測(cè)和智能調(diào)控方面得到廣泛的應(yīng)用[4-8]。門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GRU)具有結(jié)構(gòu)簡(jiǎn)單、參數(shù)少、訓(xùn)練時(shí)間短等諸多優(yōu)點(diǎn)，能同時(shí)有效解決由于網(wǎng)格的長期依賴而產(chǎn)生的預(yù)測(cè)精度不高的問題，已經(jīng)在交通流量預(yù)測(cè)[9]、徑流預(yù)測(cè)[10]以及電力負(fù)荷預(yù)測(cè)等[11]領(lǐng)域廣泛的應(yīng)用，但尚未見其在脫硫系統(tǒng)參數(shù)預(yù)測(cè)方面的應(yīng)用。針對(duì)脫硫系統(tǒng)的數(shù)據(jù)具有大慣性，且影響因素多的特點(diǎn)[12]，對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)化并引入逆向信息可以大幅度提高模型的訓(xùn)練速度和精度。因此，本文提出了一種基于雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)(biGRU)的預(yù)測(cè)模型，用于預(yù)測(cè)脫硫系統(tǒng)的SO2排放濃度，以指導(dǎo)生產(chǎn)實(shí)際。

1 基于biGRU的脫硫系統(tǒng)SO2排放濃度預(yù) 測(cè)模型

1.1 biGRU的基本原理

GRU中包含更新門zt和重置門rt，見圖1。更新門控制前一時(shí)刻的狀態(tài)信息保留到當(dāng)前狀態(tài)中的程度，而重置門則確定著當(dāng)前狀態(tài)與先前的信息結(jié)合的程度。

圖1 GRU結(jié)構(gòu)示意圖Fig.1 Structure diagram of GRU

GRU的原理是利用門單元控制歷史和當(dāng)前信息的傳遞，其一次向前傳遞過程如下：

(1)更新門zt和重置門rt同時(shí)對(duì)t-1時(shí)刻的隱藏狀態(tài)ht-1做線性變換，然后通過激活函數(shù)σ(·)將變換后的數(shù)值壓縮到[0,1]的區(qū)間范圍內(nèi)。zt越接近1，則表示現(xiàn)時(shí)刻更新信息越多；rt越接近1，則表示過去信息越多。更新門zt和重置門rt對(duì)應(yīng)的數(shù)學(xué)公式分別為式(1)和式(2)。

zt=σ(Wz·[Xt,ht-1])

(1)

rt=σ(Wr·[Xt,ht-1])

(2)

(3)

(4)

傳統(tǒng)的GRU結(jié)構(gòu)通常沿序列方向進(jìn)行單向傳播，每次計(jì)算只與過去信息相關(guān)。但在考慮到脫硫系統(tǒng)的未來數(shù)據(jù)受現(xiàn)在數(shù)據(jù)影響，能對(duì)實(shí)時(shí)數(shù)據(jù)產(chǎn)生反饋，需要利用未來的反饋信息對(duì)模型進(jìn)行修正。因此，所建立的biGRU網(wǎng)絡(luò)見圖2，biGRU在每個(gè)訓(xùn)練序列的前向和后向分別建立兩組GRU模型，GRU+為正向網(wǎng)絡(luò)模型，GRU-為反向網(wǎng)絡(luò)模型，兩組模型的隱藏層節(jié)點(diǎn)連接到同一個(gè)輸出層。這使得每個(gè)時(shí)間點(diǎn)輸入序列都能獲取完整的過去和未來信息，進(jìn)一步分析脫硫系統(tǒng)數(shù)據(jù)之間的相關(guān)性，更加準(zhǔn)確、全面地預(yù)測(cè)排放濃度。

圖2 biGRU結(jié)構(gòu)示意圖Fig.2 Structure diagram of biGRU

1.2 脫硫系統(tǒng)SO2排放濃度預(yù)測(cè)模型的建立

biGRU網(wǎng)絡(luò)在預(yù)測(cè)復(fù)雜非線性時(shí)變序列方面具有明顯的優(yōu)勢(shì)，并且PCA的數(shù)據(jù)降維方法也可以一定程度上簡(jiǎn)化運(yùn)算。因此，以歸一化和PCA降維后的數(shù)據(jù)作為biGRU模型的輸入數(shù)據(jù)。預(yù)測(cè)模型的結(jié)構(gòu)見圖3。

圖3 SO2預(yù)測(cè)模型結(jié)構(gòu)圖Fig.3 Structure diagram of SO2 prediction model

模型建立步驟如下：

第一，訓(xùn)練數(shù)據(jù)預(yù)處理。對(duì)歸一化后的數(shù)據(jù)進(jìn)行PCA降維操作，構(gòu)建輸入樣本用以訓(xùn)練模型。

第二，建立biGRU網(wǎng)絡(luò)模型。確定網(wǎng)絡(luò)的結(jié)構(gòu)，設(shè)置訓(xùn)練迭代次數(shù)、學(xué)習(xí)率等網(wǎng)絡(luò)參數(shù)，選擇優(yōu)化算法和損失函數(shù)。

第三，訓(xùn)練biGRU網(wǎng)絡(luò)模型。依據(jù)所選的優(yōu)化算法對(duì)網(wǎng)絡(luò)模型參數(shù)進(jìn)行優(yōu)化，建立脫硫系統(tǒng)SO2排放濃度預(yù)測(cè)模型。

第四，預(yù)測(cè)SO2排放濃度。對(duì)預(yù)測(cè)輸出數(shù)據(jù)進(jìn)行反歸一化處理，并利用評(píng)價(jià)函數(shù)對(duì)預(yù)測(cè)結(jié)果進(jìn)行分析和評(píng)價(jià)。

2 結(jié)果與討論

2.1 數(shù)據(jù)預(yù)處理

2.1.1 原始數(shù)據(jù) 原始數(shù)據(jù)集來源于某火力發(fā)電廠脫硫系統(tǒng)的SIS數(shù)據(jù)庫，該數(shù)據(jù)集包括了進(jìn)口溫度等15個(gè)特征變量在內(nèi)的7 640組數(shù)據(jù)，具體數(shù)據(jù)范圍見表1。將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，兩者比例為8∶2。

表1 原始數(shù)據(jù)范圍Table 1 Original input data range

2.1.2 數(shù)據(jù)歸一化 由表1可知，數(shù)據(jù)集中的變量存在數(shù)量級(jí)不一致的問題，直接采用原始的訓(xùn)練集進(jìn)行訓(xùn)練,會(huì)導(dǎo)致模型的不穩(wěn)定[13]。因此，在進(jìn)行后續(xù)分析之前，需要對(duì)原始的輸入變量做最大最小法歸一化，將數(shù)據(jù)歸一化至[0,1]區(qū)間內(nèi)。計(jì)算歸一化后輸入變量之間的相關(guān)系數(shù)，部分變量間的相關(guān)系數(shù)大于0.6，說明這些變量具有較高的重疊信息，需要對(duì)數(shù)據(jù)進(jìn)行降維簡(jiǎn)化。

2.1.3 PCA降維 目前，主成分分析(PCA)法是常用的降維方法，能減少運(yùn)算數(shù)據(jù)，保留原始特征信息[14]。該方法通過矩陣變換,將初始的多個(gè)特征線性組合成幾個(gè)互不相關(guān)的特征指標(biāo)，從而把高維數(shù)據(jù)低維化。由圖4可知，前7個(gè)主成分累計(jì)貢獻(xiàn)率已經(jīng)達(dá)到84.59%，以累計(jì)貢獻(xiàn)率85%為篩選標(biāo)準(zhǔn)，選擇前7個(gè)主成分作為模型的輸入變量。

圖4 主成分分析帕累托圖Fig.4 Pareto diagram of PCA

2.2 模型參數(shù)選擇

將降維后的數(shù)據(jù)作為模型的輸入，SO2排放濃度作為網(wǎng)絡(luò)的輸出。輸入層節(jié)點(diǎn)個(gè)數(shù)為7，輸出層節(jié)點(diǎn)個(gè)數(shù)為1，隱藏層神經(jīng)元個(gè)數(shù)設(shè)置為64，隱藏層層數(shù)設(shè)置為3，時(shí)間步長設(shè)為12，初始學(xué)習(xí)率設(shè)為0.001，批處理量設(shè)為500。

基于梯度下降的傳統(tǒng)算法中學(xué)習(xí)率一般保持不變，這將導(dǎo)致模型訓(xùn)練過慢，運(yùn)算效率過低。因此，采用了一種自適應(yīng)學(xué)習(xí)率的Adam優(yōu)化算法[15]。Adam優(yōu)化算法的作用是經(jīng)過偏置校正之后，會(huì)讓參數(shù)變得更加的平穩(wěn)，從而加快訓(xùn)練的過程。在模型訓(xùn)練過程中，還采用了dropout技術(shù)[16]，其原理為：在每一次訓(xùn)練中，部分神經(jīng)網(wǎng)絡(luò)單元將被隨機(jī)隱藏，相當(dāng)于將原始網(wǎng)格簡(jiǎn)化為隱藏節(jié)點(diǎn)較小的網(wǎng)格進(jìn)行訓(xùn)練，從而在提升訓(xùn)練速度的同時(shí)，防止過擬合現(xiàn)象的發(fā)生。dropout模塊設(shè)置在biGRU層中，丟棄率設(shè)置為0.3。

網(wǎng)格訓(xùn)練的損失函數(shù)選擇均方誤差(MSE)，計(jì)算方法如式(5)：

(5)

按照上述參數(shù)設(shè)置網(wǎng)絡(luò)，并進(jìn)行不同訓(xùn)練步長的訓(xùn)練，得到訓(xùn)練集和驗(yàn)證集損失函數(shù)的變化趨勢(shì)，見圖5。

由圖5可知，模型的訓(xùn)練集和驗(yàn)證集的損失函數(shù)都在前50次訓(xùn)練步長中迅速降低。在第100～300次訓(xùn)練步長中，兩者的損失函數(shù)呈緩慢下降趨勢(shì)，但未穩(wěn)定。當(dāng)訓(xùn)練步長達(dá)到300次之后，模型的訓(xùn)練集和驗(yàn)證集的損失函數(shù)都趨于穩(wěn)定。因此，模型的訓(xùn)練步長設(shè)置為300。

圖5 損失函數(shù)變化Fig.5 Changes of loss function

2.3 結(jié)果分析

為了更好地體現(xiàn)biGRU模型的預(yù)測(cè)精度以及泛化能力，還建立了傳統(tǒng)的RNN和LSTM模型，與biGRU模型進(jìn)行比較。模型的評(píng)價(jià)指標(biāo)包括對(duì)稱平均絕對(duì)百分比誤差(eSMAPE)和均方根誤差(eRMSE)，用于評(píng)價(jià)模型的預(yù)測(cè)精度，計(jì)算方法分別如式(6)和(7)：

(6)

(7)

biGRU、RNN以及LSTM模型的預(yù)測(cè)結(jié)果分別見圖6～圖8，表2為各模型的部分預(yù)測(cè)數(shù)據(jù)及eSMAPE和eRMSE的比較。

圖6 biGRU預(yù)測(cè)結(jié)果Fig.6 Prediction results of biGRU

圖7 RNN預(yù)測(cè)結(jié)果Fig.7 Prediction results of RNN

圖8 LSTM預(yù)測(cè)結(jié)果Fig.8 Prediction results of LSTM

表2 3種模型的預(yù)測(cè)結(jié)果比較Table 2 Comparison of prediction results of the three models

由表2可知，在脫硫系統(tǒng)SO2排放濃度的預(yù)測(cè)中，biGRU模型的對(duì)稱平均絕對(duì)百分比誤差為2.604%，均方根誤差為0.674 mg/Nm3。相比于RNN，分別下降了4.235%和1.942 mg/Nm3；相比于LSTM，分別下降了0.718%和0.443 mg/Nm3。說明biGRU模型不僅有效解決了RNN模型存在的記憶力缺失導(dǎo)致的長期預(yù)測(cè)效果不佳的問題，而且由于考慮了逆向信息對(duì)實(shí)時(shí)數(shù)據(jù)的影響，進(jìn)一步提高了模型訓(xùn)練的精度,預(yù)測(cè)結(jié)果波動(dòng)更小，穩(wěn)定性和準(zhǔn)確率也更高。

在實(shí)際生產(chǎn)中，基于biGRU的脫硫系統(tǒng)SO2排放濃度預(yù)測(cè)模型完全滿足對(duì)SO2排放濃度的實(shí)時(shí)預(yù)測(cè)的要求，可以更加準(zhǔn)確的將預(yù)測(cè)數(shù)據(jù)反饋給工作人員，以便工作人員在SO2排放濃度出現(xiàn)超標(biāo)趨勢(shì)時(shí)，及時(shí)進(jìn)行參數(shù)調(diào)控，保證脫硫系統(tǒng)的穩(wěn)定運(yùn)行。

3 結(jié)論

(1)基于biGRU的脫硫系統(tǒng)SO2排放濃度預(yù)測(cè)模型能夠?qū)⒒鹆Πl(fā)電廠脫硫系統(tǒng)信息監(jiān)測(cè)數(shù)據(jù)同時(shí)間序列相關(guān)聯(lián)，通過對(duì)數(shù)據(jù)的分析和訓(xùn)練，能夠準(zhǔn)確地預(yù)測(cè)脫硫系統(tǒng)SO2的排放濃度。

(2)相較于傳統(tǒng)RNN和LSTM模型，biGRU模型能夠解決記憶力缺失導(dǎo)致的長期依賴問題，同時(shí)引入了逆向信息的反饋，因而預(yù)測(cè)結(jié)果較好，泛化能力較高，其對(duì)稱平均絕對(duì)百分比誤差和均方根誤差相較于前兩者均有所降低。

(3)biGRU模型對(duì)深度學(xué)習(xí)在工業(yè)生產(chǎn)現(xiàn)場(chǎng)的應(yīng)用具有一定的實(shí)用價(jià)值，能夠在生產(chǎn)實(shí)際中起到有力的指導(dǎo)作用。