基于長短時記憶神經網絡的帶鋼酸洗濃度預測

王 寧，劉毅敏

（武漢科技大學 信息科學與工程系，武漢430081）

在當前鋼鐵行業攻堅發展的關鍵時期，加強控制帶鋼產品的質量水平顯得分外重要。表面缺陷是影響鋼材質量的重要因素，其中主要以氧化鐵皮為主，工廠一般通過酸洗來進行清除。酸洗是軋鋼生產過程中至關重要的一步[1]，要使軋鋼成品表面質量好，就必須對酸洗液中的酸濃度和鐵離子濃度進行控制，使其保持在最合適的范圍之內。而精準的測量是控制的重要保證， 因此在軋鋼生產過程中，準確測量酸濃度和鐵離子濃度，對保障產品質量有著非常重要意義。

酸濃度測量主要包括在線測量和離線測量2種方法。離線測量方法在測量和控制方面存在滯后性，自動化程度不高，帶鋼的酸洗質量得不到保障。目前在線檢測主要以軟測量為主[2]，該方法具備變量可測量、模型可控制以及實時性較高的優勢。

近年來，隨著機器學習、神經網絡的快速興起和蓬勃發展，神經網絡被越來越多地運用在不同領域的參數預測中。其中，針對時間序列數據在不同領域的研究已經取得了不少成果，包括股票價格預測[3]、電力負荷預測[4]、空氣質量[5]等方面。在此針對某鋼廠酸洗濃度的時間序列數據，提出了一種基于長短期記憶LSTM 神經網絡的酸濃度預測方法，首先對LSTM 神經網絡模型進行訓練， 然后將待測數據輸入網絡模型后進行預測。

1 理論介紹

1.1 循環神經網絡

循環神經網絡RNN（recurrent neural network）又稱遞歸神經網絡[6]，是一種針對時間序列問題的深度神經網絡，在近年來的深度學習領域中得到了廣泛運用并在短時間內取得了顯著成果。

與一般的神經網絡相比，RNN 最為特別的地方就是它對隱藏層進行跨時間點的連接， 如圖1所示，隱藏層不僅給輸出層傳輸信息，而且還與下一時刻的隱藏層建立了聯系，將信息傳遞給下一時刻的隱藏層。這意味著當前時刻的輸出取決于歷史輸入序列和網絡工作狀態信息[7]。

圖1 RNN 網絡結構Fig.1 RNN network structure

將單個網絡單元展開，具體如圖2所示，其中U，V，W 為權重系數矩陣；O 為輸出變量；X 為輸入變量；S 為狀態變量。t 時刻的輸入和t-1 時刻的輸出同時確定t 時刻的節點輸出。每個隱藏層的輸入都包含著當前時刻的輸入和前一時刻隱藏層的輸出。

圖2 RNN 單個隱藏層單元展開圖Fig.2 RNN single hidden layer unit expansion diagram

由此可見，RNN 網絡相比于傳統神經網絡所擁有的特別之處， 就是在RNN 中每一步輸入及每一層均共享參數， 這種共享性表明RNN 在每一步都在做相同的操作，因此極大地減少了對模型學習參數的需求，從而降低模型復雜度，縮短訓練周期，又可以保障較高的精度。但同時，梯度消失的問題常發生于RNN 模型訓練的后期即當間隔不斷增大時，RNN 可能會失去學習相對久遠的信息的能力[8]。

1.2 LSTM 原理

節點記憶快速衰弱是普通的循環神經網絡存在的問題， 這個問題在LSTM 網絡模型中得到了很好的解決。為了解決梯度消失的問題，LSTM 應運而生，它是在RNN 基礎上的進行改進和優化的。LSTM比普通RNN 訓練更加容易， 原因是其模型結構中包含著一組記憶模塊，它們彼此關聯從而取代普通RNN 中的記憶單元。與此同時，LSTM 可以學習比較久遠的依賴信息，避免梯度消失問題[9]。

在圖3所示LSTM 神經元內部結構隱藏層的神經節點中，添加了一種被稱為記憶單元的結構來記憶過去的信息，并增加了輸入門、遺忘門和輸出門3種門[10]結構以控制歷史信息的使用。遺忘門的作用為決定是否以一定的概率來控制遺忘上一層的隱藏細胞狀態，通常采用激活函數來對遺忘門輸出值進行控制，使其輸出值在0 到1 之間，0 表示完全舍棄，1 表示全部保留。輸入門控制信息的輸入；輸出門確定輸出哪些信息。

圖3 LSTM 網絡單元Fig.3 LSTM network unit

該過程可表示為

式中：xt，ht分別為輸入序列、 輸出序列；it為輸入門的輸出；ft為遺忘門， 決定從之前狀態中丟棄的信息內容；ct為當前時刻t 的狀態；ot為輸出門的輸出；W，b 為參數矩陣。

2 LSTM 酸濃度預測模型的設計

在此，擬將溫度T，溶液密度D，電導率C 作為酸濃度的預測影響變量，通過結合長短時記憶神經網絡來訓練上述多維時序變量模型。在此，LSTM 時序信號預測網絡模型如圖4所示。該網絡模型分為3 個層次：輸入層、隱藏層和輸出層。其中，輸入層控制進入網絡的數據格式； 隱藏層是包含了若干LSTM 單元的結構，為整個預測模型的核心；輸出層則是一個全連接層，以獲得下一狀態的預測值。

圖4 LSTM 酸濃度預測模型結構Fig.4 LSTM acid concentration prediction model structure

在學習階段，將歷史生產階段采集到的T，D，C等傳感器值，以時間步為索引組織后作為網絡的學習樣本，同時鹽酸HCl 濃度H 和鐵離子濃度F 作為整個LSTM 預測網絡的目標值 （監督值）。因為LSTM 網絡具有結構遞歸的特點， 所以在上述時序學習樣本的作用下，LSTM 預測網絡將根據當前輸入Xi=［Ti，Di，Ci］， 以及其前N 個狀態的輸入Xi-N，Xi-N+1，…，Xi-1，預測出下一個狀態（或下幾個狀態）下的鹽酸濃度預測值H?i-1。而后，將預測值H?i-1與鹽酸濃度實際值Hi+1之間的平均絕對誤差MAE（mean absolute error） 作為學習過程的損失函數， 并結合Adam 算法在每次迭代過程做參數優化， 直至損失函數MAE 收斂。同時，還需要考慮過擬合，過擬合是多變量多參數深度神經網絡訓練過程中容易出現并嚴重影響網絡適應性的一個關鍵性問題。為此在設計3 層隱藏層的基礎上同時引入Dropout[11]算法。該算法是在訓練學習階段隨機丟棄一些單元及其連接，從而有效地緩解過擬合的問題。

輸出層計算預測輸出y?i與實際輸出yi的平均絕對值誤差，并將計算結果作為損失函數。平均絕對誤差是平均誤差幅度的明確度量，適用于大多數模型的平均誤差比較。隱藏層計算出損失函數的梯度，然后反向傳播來調整公式中的所有權值，在每一次迭代學習時，采用Adam[12]算法來生成優化參數，直到損失函數收斂。

3 預測試驗

3.1 試驗環境

試驗操作系統為Ubuntu1 6.04 長期維護版，編程語言為python 3.5， 算法庫采用了較為主流的Tensorflow，集成開發環境是PyCharm；硬件配置為CPU intel i7，內存8 GB。

3.2 試驗對象

所用試驗數據的來源為某鋼廠酸洗線1 號酸洗罐。其中，溫度、密度、電導率為現場傳感器所得，鹽酸和鐵離子濃度為實驗室滴定數據， 采用2018年9月至11月共102 組數據。

3.3 酸濃度預測試驗步驟

所提出的基于長短時記憶神經網絡的酸濃度預測步驟如下：

步驟1數據預處理。

1）對酸濃度時序數據進行偏差判斷及處理。

2）采用min-max 標準化法對數據進行標準化處理，即

式中：Xnorm為數據標準化后對應的值；Xmax為數據集中的最大值；Xmin為數據集中的最小值。

3）構造樣本集并分為訓練樣本集和測試樣本集。

步驟2模型參數設置，建立模型。

1）關于LSTM 神經網絡模型的參數設定，目前尚未統一可遵循的方法。在此，采用試湊法結合多次試驗結果，探尋效果最好、最合適的參數。模型的具體參數見表1。由表可知，隱藏層數為3，設置每層的神經單元數均為128； 考慮到樣本數可能會導致過擬合問題， 故在每層隱藏層后均加入Dropout算法以進行優化； 在訓練集時間窗的大小選擇上，經過多次試驗后發現訓練集時間窗以10 的效果為最好。另外，由于預測值包含酸濃度和鐵離子濃度，故在全連接層的輸出維度設置為Dense（2）。

表1 LSTM 網絡模型參數Tab.1 Parameters of LSTM network model

2）將訓練集輸入到設置好的LSTM 網絡模型中去進行訓練。

3）迭代完畢，訓練完成保存網絡模型。

步驟3測試模型，輸出結果。

1） 將測試數據集輸入到訓練完成的網絡模型中得到模型預測結果。

2）將模型預測結果進行反歸一化得到預測值，與真實值進行比較并繪制結果圖及誤差圖。

酸濃度預測的具體流程如圖5所示。

圖5 酸濃度預測流程Fig.5 Acid concentration prediction flow chart

4 試驗結果

損失函數趨勢如圖6所示。由圖可見，Epoch 約為600，模型的損失函數趨于穩定。結合試驗中其他參數的設定， 最終確定Epoch 為1000 時模型的平均絕對差MAE 最小，即預測效果最好。

圖6 損失函數趨勢Fig.6 Loss function trend graph

將訓練好的模型對樣本數據中最后9 個樣本點進行預測。鹽酸、鐵離子濃度預測效果如圖7所示。由預測圖可見，預測值與實際值擬合效果較好。

圖7 LSTM 酸濃度模型的鹽酸、鐵離子濃度預測效果Fig.7 Predictive effect of LSTM acid concentration model on hydrochloric acid and iron ion concentration

鹽酸、 鐵離子濃度預測的絕對誤差如圖8所示，圖中所示虛線為±10 g/L 鋼鐵行業內誤差標準規范，由圖可見鹽酸、鐵離子濃度預測誤差均在標準規范之內。

LSTM 模型的預測值與真實數據的對比見表2。由表可知，鹽酸、鐵離子質量濃度的預測絕對誤差值最大分別為6.25 g/L 和6.69 g/L，符合鋼鐵行業濃度誤差在-10～10 g/L 以內的規范要求。

圖8 LSTM 鹽酸、鐵離子濃度模型的預測誤差Fig.8 Prediction error of LSTM model for hydrochloric acid and iron ion concentration

表2 LSTM 模型的預測值與真實數據對比Tab.2 Comparison of LSTM model predicted values with actual data

2 種不同模型的預測效果見表3。由表可知，在此LSTM 模型預測效果，比最小二乘法OLS 求得的傳統回歸分析模型，預測的效果更好。

表3 不同模型的預測效果Tab.3 Prediction effects of different models

5 結語

針對帶鋼酸洗酸濃度的時序數據特點， 以及當前鋼鐵行業對軋鋼成品表面質量要求越來越高的現狀，提出了基于LSTM 的帶鋼酸洗酸濃度預測模型，實現了對酸洗液濃度的有效預測。以某鋼廠酸洗線的歷史數據為對象進行了實例驗證，結果顯示：基于LSTM 的帶鋼酸洗濃度預測模型具有較高的預測精度，LSTM 適用于酸濃度的預測研究，可有效提高酸濃度的預測精度；與傳統的回歸分析模型相比， 擁有更好的預測精度和更好的適用性。