基于LSTM的焙燒時序數據的質量預測模型

蘇志同，王春雷

（北方工業大學 信息學院，北京 100144）

0 引言

目前，國內焙燒相關的研究包括，趙爽[1]通過大量實驗表明焙燒參數對陽極質量有很大的影響。李建元[2]通過調整焙燒升溫曲線，在一定程度上解決了焙燒陽極質量較低的問題等等。在焙燒過程中，工藝參數的選擇多源于經驗，并且焙燒成品率不是很高。將深度學習技術應用到焙燒時序數據的質量預測上，有助于挖掘工藝參數與質量參數之間的關系，有助于提升焙燒的成品率。焙燒過程產生的數據是時間序列數據[3]，可以用循環神經網絡（RNN），長短時記憶網絡（LSTM），門控循環單元網絡（GRU）來進行訓練和預測[4]。如果將時間序列數據拼接成一維矩陣，還可以使用一維卷積神經網絡（CNN）和多層感知機（MLP）來進行訓練和預測[5]，但數據拉伸后，會丟失原時間序列數據在時間上的依賴關系。因此本文采用LSTM網絡來進行焙燒質量的預測。

1 數據預處理

獲取到的原始溫度數據表的數據結構為[DateTime time, int LSH, int hd1,int hd2, int hd3, int hd4, int hd5, int hd5, int hd7, int hd8, int hd9]，其中Datetime為數據抽取的時間，LSH為當前數據所屬爐室號，hd1～hd9為每個爐室的 1～9號火道的溫度數據。

其數據結構如表1所示，其中t-1表示t-1，LS1表示1號爐室，A1為1號爐室火道1～9火道在t-1時刻溫度數據的拼接串。

表1 原始工藝參數數據Tab.1 Raw process parameter data

焙燒過程可測量的加熱階段分為1p，4p，5p，6p四個階段，每個階段加熱時間為32小時，每隔1小時記錄一次所有爐室的溫度數據情況，所以一條完整的溫度曲線應該包含128條數據。將原始數據先按照爐室號分組，然后將每個爐室的1p，4p，5p，6p的記錄進行組合，最終形成升溫曲線數據，其數據結構如表2所示，其中B1、C1為1號爐室在t、t-1時刻的溫度數據的拼接串。得到升溫曲線后，將其與陽極的質量參數數據對應，由于每個爐室對應8組陽極，故對該 8組陽極的質量參數取平均值作為該升溫曲線所對應的質量參數數據。

表2 原始工藝參數抽取重組后數據Tab.2 Extraction and reconstruction of original process parameters

焙燒塊質量參數共有7個評價指標，分別為：HF，TJMD，DZL，ZMD，NYQD，CO2，RPZXS，分別代表灰分，體積密度，電阻率，真密度，耐壓強度，二氧化碳反應性，熱膨脹系數。由于各評價指標的量綱不同，需要對7個指標的數據進行歸一化處理。由于原質量數據表中的C02和RPZXS屬性的缺失值較多，因此舍棄這兩個屬性作為質量評價的指標。部分原始質量參數數據如表3所示。

2 預測模型與結果分析

本文選擇 python作為開發語言，應用tensorflow1.12.0框架，建立質量預測模型。

2.1 長短時記憶網絡（LSTM）

在傳統的前饋神經網絡中，網絡中的輸入層、隱含層以及輸出層之間是全連接的，但每層內部的節點之間是無連接的。這種結構導致傳統的前饋神經網絡無法處理那些輸入之間前后有關聯的問題[6]。

表3 部分原始質量參數數據Tab.3 Partial raw quality parameter data

與傳統的前饋神經網絡不同，循環神經網絡引入了定向循環，此時網絡中隱藏層之間的節點不再無連接而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出。因此，循環神經網絡能夠對前面的信息進行記憶并應用于當前輸出的計算中。相比于傳統的前饋神經網絡，循環神經網絡考慮了時間因素，能夠記憶之前存儲的內容[7]。

循環神經網絡解決了輸入信息前后關聯的問題，可以將先前的信息連接到當前的任務上。但是，當先前的信息和當前任務之間的時間間隔不斷增大時，循環神經網絡會出現梯度消失而喪失連接到如此遠的信息的能力。長短期記憶網絡（LSTM）[8]較好的解決了這個問題。對于一個給定的輸入時間序列 x = ( x1, x2,… ,xT)，標準的循環神經網絡會通過迭代求解來計算網絡隱含層向量 h = ( h1, h2,… ,hT)和輸出層向量 y = ( y1, y2,… ,yT)。

式中：xhW 、hhW 、hyW 分別表示由輸入層到隱含層、隱含層內部、隱含層到輸出層的網絡權重系數；hb、yb分別表示隱含層和輸出層的偏差向量；σ表示隱含層神經元的激發函數sigmoid函數。

在標準的循環神經網絡中，通常是采用Sigmoid函數作為激發函數[9]。LSTM 則使用一個長短期記憶模塊替代了標準循環神經網絡中簡單的隱含層神經元，因此具備了學習長期信息的能力。

LSTM 是一種特殊類型的循環神經網絡，主要依靠經過精心設計的“門”結構來實現去除或者增加信息到細胞狀態的功能。門是一種讓信息選擇式通過的方法，LSTM擁有3個門，來保護和控制細胞狀態，分別為：輸入門、輸出門和忘門。圖1給出了一個典型的LSTM長短期記憶單元的結構。

圖1 LSTM結構示意圖Fig.1 LSTM structure

其用到如下公式計算輸出：

其中σ為sigmoid激活函數，a? b為矩陣乘法運算，a×b為矩陣的點積，即矩陣的對應位元素相乘。ft為遺忘門的輸出，其與 ct-1相乘表示對之前得到的信息保存的多少，it×ct構成遺忘門的輸出，該結果表示要向歷史信息 ct中增加哪些信息， ct表示新的歷史信息。ot表示要輸出哪些內容，ht表示該lstm單元最終的輸出。

2.2 模型建立

本文的數據來自某廠焙燒生產數據，先將原始的工藝數據進行抽取整合歸一化，原始的質量數據進行歸一化，并將工藝與質量參數映射對應。以工藝數據作為模型的輸入，分批次的送入模型進行訓練模型中的權重矩陣和偏執矩陣。并將質量參數當作標簽，計算模型的損失函數，反向傳播，應用Adam[10]優化算法進行參數更新。

本文采用交叉熵損失函數[11]，因為其是神經網絡中常用的目標函數，能較好衡量預測值與真實值之間的誤差。其公式如下：

其中m表示批次的樣本數量，n表示分類的類別數， p ( y(i)= j| x(i);θ)表示在網絡權值為θ的情況下，第i個樣本的標簽等于第j類的概率，1 { y(i)=j}表示第i個樣本的標簽 y(i)如果等于當前類別，則取值為1，否則取值為0。準確率為分類正確的樣本數與總樣本數的比值。

2.3 實驗結果分析

根據圖2可知在迭代1200次后綜合準確率達到接近90%。

表4 在各個指標上預測的準確率Tab.4 The accuracy of predictions on various indicators

圖2 迭代更新下Loss變化Fig.2 Loss under update of iteration

3 結語

本文在焙燒數據上應用lstm預測模型，預測的準確率較高，說明LSTM模型可以應用到焙燒生產數據分析過程中，幫助挖掘工藝與質量參數之間的潛在關系。輔助調整焙燒過程中的參數，改善焙燒塊的質量，間接提升鋁廠的生產效益。