基于LSTM的焙燒時序數(shù)據(jù)的質(zhì)量預(yù)測模型

蘇志同，王春雷

（北方工業(yè)大學(xué) 信息學(xué)院，北京 100144）

0 引言

目前，國內(nèi)焙燒相關(guān)的研究包括，趙爽[1]通過大量實(shí)驗(yàn)表明焙燒參數(shù)對陽極質(zhì)量有很大的影響。李建元[2]通過調(diào)整焙燒升溫曲線，在一定程度上解決了焙燒陽極質(zhì)量較低的問題等等。在焙燒過程中，工藝參數(shù)的選擇多源于經(jīng)驗(yàn)，并且焙燒成品率不是很高。將深度學(xué)習(xí)技術(shù)應(yīng)用到焙燒時序數(shù)據(jù)的質(zhì)量預(yù)測上，有助于挖掘工藝參數(shù)與質(zhì)量參數(shù)之間的關(guān)系，有助于提升焙燒的成品率。焙燒過程產(chǎn)生的數(shù)據(jù)是時間序列數(shù)據(jù)[3]，可以用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），長短時記憶網(wǎng)絡(luò)（LSTM），門控循環(huán)單元網(wǎng)絡(luò)（GRU）來進(jìn)行訓(xùn)練和預(yù)測[4]。如果將時間序列數(shù)據(jù)拼接成一維矩陣，還可以使用一維卷積神經(jīng)網(wǎng)絡(luò)（CNN）和多層感知機(jī)（MLP）來進(jìn)行訓(xùn)練和預(yù)測[5]，但數(shù)據(jù)拉伸后，會丟失原時間序列數(shù)據(jù)在時間上的依賴關(guān)系。因此本文采用LSTM網(wǎng)絡(luò)來進(jìn)行焙燒質(zhì)量的預(yù)測。

1 數(shù)據(jù)預(yù)處理

獲取到的原始溫度數(shù)據(jù)表的數(shù)據(jù)結(jié)構(gòu)為[DateTime time, int LSH, int hd1,int hd2, int hd3, int hd4, int hd5, int hd5, int hd7, int hd8, int hd9]，其中Datetime為數(shù)據(jù)抽取的時間，LSH為當(dāng)前數(shù)據(jù)所屬爐室號，hd1～hd9為每個爐室的 1～9號火道的溫度數(shù)據(jù)。

其數(shù)據(jù)結(jié)構(gòu)如表1所示，其中t-1表示t-1，LS1表示1號爐室，A1為1號爐室火道1～9火道在t-1時刻溫度數(shù)據(jù)的拼接串。

表1 原始工藝參數(shù)數(shù)據(jù)Tab.1 Raw process parameter data

焙燒過程可測量的加熱階段分為1p，4p，5p，6p四個階段，每個階段加熱時間為32小時，每隔1小時記錄一次所有爐室的溫度數(shù)據(jù)情況，所以一條完整的溫度曲線應(yīng)該包含128條數(shù)據(jù)。將原始數(shù)據(jù)先按照爐室號分組，然后將每個爐室的1p，4p，5p，6p的記錄進(jìn)行組合，最終形成升溫曲線數(shù)據(jù)，其數(shù)據(jù)結(jié)構(gòu)如表2所示，其中B1、C1為1號爐室在t、t-1時刻的溫度數(shù)據(jù)的拼接串。得到升溫曲線后，將其與陽極的質(zhì)量參數(shù)數(shù)據(jù)對應(yīng)，由于每個爐室對應(yīng)8組陽極，故對該 8組陽極的質(zhì)量參數(shù)取平均值作為該升溫曲線所對應(yīng)的質(zhì)量參數(shù)數(shù)據(jù)。

表2 原始工藝參數(shù)抽取重組后數(shù)據(jù)Tab.2 Extraction and reconstruction of original process parameters

焙燒塊質(zhì)量參數(shù)共有7個評價指標(biāo)，分別為：HF，TJMD，DZL，ZMD，NYQD，CO2，RPZXS，分別代表灰分，體積密度，電阻率，真密度，耐壓強(qiáng)度，二氧化碳反應(yīng)性，熱膨脹系數(shù)。由于各評價指標(biāo)的量綱不同，需要對7個指標(biāo)的數(shù)據(jù)進(jìn)行歸一化處理。由于原質(zhì)量數(shù)據(jù)表中的C02和RPZXS屬性的缺失值較多，因此舍棄這兩個屬性作為質(zhì)量評價的指標(biāo)。部分原始質(zhì)量參數(shù)數(shù)據(jù)如表3所示。

2 預(yù)測模型與結(jié)果分析

本文選擇 python作為開發(fā)語言，應(yīng)用tensorflow1.12.0框架，建立質(zhì)量預(yù)測模型。

2.1 長短時記憶網(wǎng)絡(luò)（LSTM）

在傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)中的輸入層、隱含層以及輸出層之間是全連接的，但每層內(nèi)部的節(jié)點(diǎn)之間是無連接的。這種結(jié)構(gòu)導(dǎo)致傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)無法處理那些輸入之間前后有關(guān)聯(lián)的問題[6]。

表3 部分原始質(zhì)量參數(shù)數(shù)據(jù)Tab.3 Partial raw quality parameter data

與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，循環(huán)神經(jīng)網(wǎng)絡(luò)引入了定向循環(huán)，此時網(wǎng)絡(luò)中隱藏層之間的節(jié)點(diǎn)不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)能夠?qū)η懊娴男畔⑦M(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計算中。相比于傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)考慮了時間因素，能夠記憶之前存儲的內(nèi)容[7]。

循環(huán)神經(jīng)網(wǎng)絡(luò)解決了輸入信息前后關(guān)聯(lián)的問題，可以將先前的信息連接到當(dāng)前的任務(wù)上。但是，當(dāng)先前的信息和當(dāng)前任務(wù)之間的時間間隔不斷增大時，循環(huán)神經(jīng)網(wǎng)絡(luò)會出現(xiàn)梯度消失而喪失連接到如此遠(yuǎn)的信息的能力。長短期記憶網(wǎng)絡(luò)（LSTM）[8]較好的解決了這個問題。對于一個給定的輸入時間序列 x = ( x1, x2,… ,xT)，標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)會通過迭代求解來計算網(wǎng)絡(luò)隱含層向量 h = ( h1, h2,… ,hT)和輸出層向量 y = ( y1, y2,… ,yT)。

式中：xhW 、hhW 、hyW 分別表示由輸入層到隱含層、隱含層內(nèi)部、隱含層到輸出層的網(wǎng)絡(luò)權(quán)重系數(shù)；hb、yb分別表示隱含層和輸出層的偏差向量；σ表示隱含層神經(jīng)元的激發(fā)函數(shù)sigmoid函數(shù)。

在標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，通常是采用Sigmoid函數(shù)作為激發(fā)函數(shù)[9]。LSTM 則使用一個長短期記憶模塊替代了標(biāo)準(zhǔn)循環(huán)神經(jīng)網(wǎng)絡(luò)中簡單的隱含層神經(jīng)元，因此具備了學(xué)習(xí)長期信息的能力。

LSTM 是一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)，主要依靠經(jīng)過精心設(shè)計的“門”結(jié)構(gòu)來實(shí)現(xiàn)去除或者增加信息到細(xì)胞狀態(tài)的功能。門是一種讓信息選擇式通過的方法，LSTM擁有3個門，來保護(hù)和控制細(xì)胞狀態(tài)，分別為：輸入門、輸出門和忘門。圖1給出了一個典型的LSTM長短期記憶單元的結(jié)構(gòu)。

圖1 LSTM結(jié)構(gòu)示意圖Fig.1 LSTM structure

其用到如下公式計算輸出：

其中σ為sigmoid激活函數(shù)，a? b為矩陣乘法運(yùn)算，a×b為矩陣的點(diǎn)積，即矩陣的對應(yīng)位元素相乘。ft為遺忘門的輸出，其與 ct-1相乘表示對之前得到的信息保存的多少，it×ct構(gòu)成遺忘門的輸出，該結(jié)果表示要向歷史信息 ct中增加哪些信息， ct表示新的歷史信息。ot表示要輸出哪些內(nèi)容，ht表示該lstm單元最終的輸出。

2.2 模型建立

本文的數(shù)據(jù)來自某廠焙燒生產(chǎn)數(shù)據(jù)，先將原始的工藝數(shù)據(jù)進(jìn)行抽取整合歸一化，原始的質(zhì)量數(shù)據(jù)進(jìn)行歸一化，并將工藝與質(zhì)量參數(shù)映射對應(yīng)。以工藝數(shù)據(jù)作為模型的輸入，分批次的送入模型進(jìn)行訓(xùn)練模型中的權(quán)重矩陣和偏執(zhí)矩陣。并將質(zhì)量參數(shù)當(dāng)作標(biāo)簽，計算模型的損失函數(shù)，反向傳播，應(yīng)用Adam[10]優(yōu)化算法進(jìn)行參數(shù)更新。

本文采用交叉熵?fù)p失函數(shù)[11]，因?yàn)槠涫巧窠?jīng)網(wǎng)絡(luò)中常用的目標(biāo)函數(shù)，能較好衡量預(yù)測值與真實(shí)值之間的誤差。其公式如下：

其中m表示批次的樣本數(shù)量，n表示分類的類別數(shù)， p ( y(i)= j| x(i);θ)表示在網(wǎng)絡(luò)權(quán)值為θ的情況下，第i個樣本的標(biāo)簽等于第j類的概率，1 { y(i)=j}表示第i個樣本的標(biāo)簽 y(i)如果等于當(dāng)前類別，則取值為1，否則取值為0。準(zhǔn)確率為分類正確的樣本數(shù)與總樣本數(shù)的比值。

2.3 實(shí)驗(yàn)結(jié)果分析

根據(jù)圖2可知在迭代1200次后綜合準(zhǔn)確率達(dá)到接近90%。

表4 在各個指標(biāo)上預(yù)測的準(zhǔn)確率Tab.4 The accuracy of predictions on various indicators

圖2 迭代更新下Loss變化Fig.2 Loss under update of iteration

3 結(jié)語

本文在焙燒數(shù)據(jù)上應(yīng)用lstm預(yù)測模型，預(yù)測的準(zhǔn)確率較高，說明LSTM模型可以應(yīng)用到焙燒生產(chǎn)數(shù)據(jù)分析過程中，幫助挖掘工藝與質(zhì)量參數(shù)之間的潛在關(guān)系。輔助調(diào)整焙燒過程中的參數(shù)，改善焙燒塊的質(zhì)量，間接提升鋁廠的生產(chǎn)效益。