基于DAE的加熱爐溫度軟測量預處理方法

崔嵐?鄭懷宇

摘 要：在軋鋼生產環節中，加熱爐溫度測量尤為重要，它決定最終鋼材性能和質量，并且溫度控制的實時性直接影響到整個系統的安全性能、單位產量、系統能耗量等關鍵問題。以鋼坯出口溫度的軟測量技術為研究背景，采用軟測量技術對現場生產數據和環境進行分析，形成了一種有效的數據預處理方法。

關鍵詞：加熱爐；軟測量；預處理；DAE；神經網絡

PRETREATMENT METHOD OF SOFT SENSOR FOR HEATING FURNACE TEMPERATURE BASED ON DAE

Cui Lan Zheng Huaiyu

（Benxi Iron and Steel （Group） Co.，Ltd. Benxi 117000， China）

Abstract：In the process of steel rolling production， the temperature measurement of heating furnace is very important. It determines the final steel performance and quality， and real-time temperature control affects the security of the whole system， unit output， system energy consumption and other key issues. Based on the research of soft-sensing technology of billet outlet temperature， this paper uses soft-sensing technology to analyze the field production data and environment， and forms an effective data preprocessing method.

Key words： heating furnace；soft sensing；pretreatment； DAE；neural network

1 軟測量技術

軟測量技術的基本思想就是函數擬合。選擇一組與待測變量密切相關、且容易測量的輔助變量，通過神經網絡或SVM（Support Vector Machine）等方法建立模型，并最終實現對待測變量的預測。軟測量模型的結構圖如圖1所示。

其中，y是待測變量，y*是預測過程中隨機采集的樣本數據，一般樣本數據采樣間隔比較大。 d1和d2分別是不可測擾動和可測擾動，u是控制輸入， x為輔助變量數據集。影響軟測量效果的因素主要有：輔助變量，數據預處理，軟測量模型的建立，軟測量模型的在線校正。軟測量模型的建立是核心，但數據預處理對模型的訓練影響很大。

2 數據的歸一化處理

輔助變量的選擇是影響預測質量的關鍵，且變量必須滿足獲取方便、與被測變量存在一定變化關系等關鍵條件[1，2]。通過對加熱爐生產過程工藝的分析，選擇了14個與鋼坯出口溫度相關的輔助變量，包括：8個溫度測量點、3個燃氣流量測量點、3個空氣流量測量點。14個變量的描述如表1所示。

由于上述各輔助變量之間存在量綱和數量級等因素的差異，而神經網絡的激活函數一般只對-1到1之間的數據敏感。本文歸一化處理的方式是將所有變量歸一化到（0，1）之間，以方便神經網絡的數據處理。歸一化是一種簡化計算的方式，即將有量綱的表達式經過變換，簡化為無量綱的表達式，并最終成為標量。公式（1）為本文選擇并使用的一種線性歸一化方法：

（ymax-ymin）×（x-xmin）

y= ——————————? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

（xmax-xmin）+ymin

其中，x是歸一化之前的數據，y是歸一化之后的數據。xmin、xmax分別對應處理前數據的最大值和最小值，而ymin、ymax則分別對應處理后數據的最大值和最小值，換言之兩者間接表示我們希望處理后得到的數據范圍。一般來講，我們設置ymin=0，ymax=1。

3 基于DAE的軟測量預處理

由于現場環境十分惡劣，同時各輔助變量的傳感器受環境影響或者長時間工作而老化、損壞等問題的存在，導致測量數據并不準確，從而影響模型的預測效果。這些問題均可以理解為輔助變量中存在噪聲，使用降噪自編碼機（Denosing Autoencoder，DAE）對輔助變量做進一步的預處理，可以起到數據降維的作用，并有效地增強模型的穩定性，提高數據的利用率。

DAE是在魯棒性得到改進的AE（Autoencoder），在逼近多變量非線性和復雜函數方面具有良好的性能。DAE可以學會消除噪聲，并可以在輸入數據增加一些噪聲后恢復原始輸入數據。DAE根據虛擬的標準添加噪聲，預期一個好的特征來表示將捕捉的穩定結構，以依賴性和規律性的形式呈現其觀察到的輸入分布特征，其結構如圖2所示[3-6]。當輸入數據存在高維度冗余，DAE通過腐敗過程迫使每個輸入的比例元素隨機置零來實現降維，而被置零的數據可以看成是傳感器失效導致數據無法測得結果。

DAE由輸入數據x、腐化數據x%、中間特征表示y和重構數據z組成。DAE的結構可以概括為編碼器fθ和解碼器gθ' 。DAE學習從輸入到表示的編碼器函數和從表示到輸入的解碼器函數。

DAE是一個典型的無監督學習模型，具有d維輸入x∈[0，1]和 維特征表示y∈[0，1]。輸入通過確定性映射編碼函數映射到隱藏表示：

y=fθ（x%）=S（Wx%+b）? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（2）

其中，S是sigmoid函數，W是一個d'×d的權值矩陣，b是一個偏置向量。

然后將y映射回輸入空間，z∈[0，1]d是x的重建向量，其解碼函數如下：

z=gθ（y）=s（W'y+b'）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中，W'是一個d'×d的權值矩陣，b'是對應的偏置向量，W'可以理解為矩陣W的轉置矩陣，即：

W'=WT? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

在訓練過程中，每個輸入樣本x（i）被映射到一個中間表示y（i），然后映射到一個重構的z（i） 。如果x是連續值向量，則重建的損失函數可以是傳統的平方誤差。

L（x，z）=||x-z||2? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

參數的優化是通過最小化平均重建誤差實現的，具體公式如下：

1

θ*，θ'*= arg min—ΣL（x（i），z（1））=

n

1

arg min—ΣL（x（i），gθ（fθ（x%（i））））

n

（6）

全部14個輔助變量作為DAE的輸入數據x，去噪之后得到一組新的輸入數據y。數據的腐化是隨機將部分輸入數據置零（刪除），而重構函數L（x，z）保證了去噪之后的輔助變量y仍然保持原始數據的相關性，能夠滿足建立軟測量模型的要求，從而保證了預測模型的準確性。基于DAE的軟測量預處理方法既考慮到了時間成本問題，對訓練樣本進行了降維，減少了運算負荷，也提高了輔助變量選擇時候得容錯率，其中軟測量模型的在線校正保證了后期運行的可靠性。

4 DAE的工程應用

實際生產中，選擇的輔助變量都是可以通過廉價快捷的方式迅速采集到的，并且這些數據都與主導變量之間存在緊密的關系。一般來講，我們可以采集到大量的輔助變量，但是使用傳統的，如BP神經網絡等監督式模型，往往無法充分利用這些輔助變量。針對這一思想，本文提出了DAE-LSTM框架。

LSTM算法全稱為Long short-term memory，最早是由 Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，是一種特定形式的循環神經網絡。由于DAE的輸入和輸出是相等的，因此利用這一特性可以建立一個三層堆疊式框架，實現無監督訓練。堆疊DAE網絡模型在無監督訓練階段得到的網絡參數將作為LSTM神經網絡的參數。該神經網絡框架的主要思想是利用DAE的無監督模式自主的挖掘輔助變量之間存在的關系，然后將參數輸入到LSTM神經網絡內部，利用LSTM神經網絡和標簽數據對整個網絡框架進行微調，最終得到完整的預測模型。其中，DAE的堆疊無監督訓練模型如圖3所示。

從上圖可以看出，輸入和重建結果在理論上是相等的。針對這一特性，該模型可以實現無監督訓練，其中訓練完成的參數W1、W2、W3將以轉置的形式轉換到LSTM神經網絡（圖中 表示隱含層）。

該軟測量模型的整體框架結構如圖4所示。圖中，Xu表示無標簽數據，（XL，Y）表示有標簽數據，Y表示鋼坯出口溫度。在預訓練階段，（XL，XL）將同時輸入到堆疊DAE框架中作為與訓練數據。當網絡訓練完成，三層網絡的參數 W1、W2、W3將以轉置的形式轉換到LSTM神經網絡，在LSTM神經網絡上利用帶標簽數據 進行微調。

5 試驗分析

本文將基于DAE-LSTM神經網絡的軟測量模型與未使用DAE算法進行預處理的LSTM神經網絡軟測量模型的預測結果進行對比。通過對比兩種方法，預測鋼坯出口溫度結果的均方根誤差（RMSE）、誤差平方和（SSE）、最大正誤差（MPE）以及最大負誤差（MNE），對比指標公式如下表所示。為了驗證本文提出的基于去噪自編碼機的LSTM神經網絡軟測量模型的先進性，本文選擇了兩組數據進行驗證，其中一組數據用于訓練，另一組數據用于測試。

首先，使用這兩組數據集在原始LSTM神經網絡建立的軟測量模型上進行測試。具體細節如表2所示。

從以下兩張圖中可以看出，圖5是在訓練數據集上對鋼坯出口溫度進行預測得到的仿真圖，圖6是其對應的誤差曲線。從圖5上的曲線可以看出，由于標簽數據的存在，導致訓練數據可以按照標簽數據的指引擬合出原始數據曲線的形狀，但是這是一種過擬合的表現，這一現象從圖6后端曲線可以很明顯的看出來。

由于過擬合現象的存在，導致系統可以很好的擬合訓練數據的標簽數據。由于過分的擬合導致所建立的預測模型喪失了泛化能力，其主要表現是所建立的模型無法適應訓練數據以外的數據。從圖7和圖8可以看出，預測模型完全無法得到與測試數據相吻合的軌跡，即使其基本的走勢都無法擬合。從圖8還可以看出，使用原始LSTM神經網絡建立的軟測量模型無法在測試數據集上起到效果，其預測得到的溫度數據完全是雜亂無章的。而出現這種現象的主要原因是在采集數據的時候存在一些噪聲干擾以及過擬合。

表3是使用原始LSTM神經網絡建立的軟測量模型在訓練數據集和測試數據集上的結果對比。很明顯在測試數據集上，由于過擬合和噪聲的存在，導致最大正誤差和最大負誤差都非常大，這些誤差的存在使系統無法滿足實際工程的需求。

圖9和圖10是使用基于去噪自編碼機的DAE-LSTM神經網絡建立的軟測量模型在訓練數據集上的結果。從圖9可以看出，DAE-LSTM神經網絡模型并沒有嚴格按照標簽數據的走勢進行擬合，僅僅是針對其特別突出的特征點進行擬合。由于DAE算法自行引入了噪聲，使得算法擁有一定的魯棒性，同時不會產生過擬合現象。更重要的一點是：由于DAE存在天然的降維特性，使得算法在運行時間效率上又得到了有效的提高。從表3和表4可以看出，模型訓練的時間和預測數據的時間都明顯降低，這是因為在訓練數據和測試數據的時候，DAE算法將部分數據腐化置零，所以DAE算法直接起到了降維的效果。

從圖11和圖12可以看出，由于引入了DAE算法，使得所訓練出來的模型魯棒性很強，同時沒有出現過擬合現象。從圖11可以看出，DAE-LSTM模型可以擬合原始標簽數據中比較突出的特征點以及部分關鍵特征點，而且忽略了標簽數據中的微小特征點，使得模型不至于出現過擬合，從而使模型具有很強的泛化能力。從圖12可以看出，在測試數據集上預測結果的誤差范圍在-10到10之間，這種精度完全滿足實際的工程需求，而且模型的運行速度也得到了明顯的提升。

為驗證DAE-LSTM較LSTM的優越性，分別將兩種算法的程序嵌入加熱爐PLC控制系統，并最終通過WinCC顯示加熱爐鋼坯出口的預測溫度，實際溫度的預測結果基本與仿真一致。

6 總 結

為了說明改進的LSTM網絡模型（DAE-LSTM）的優勢，為了保證比較強的說服力，本文選擇了兩組數據，一組作為測試數據集，另一組作為訓練數據集。本文將LSTM神經網絡模型和DAE-LSTM神經網絡模型分別在相同的訓練數據集上進行訓練，同時在相同的測試數據集上進行測試，仿真結果和實際工程應用表明本文所提出的方法是有效的。此外，DAE-LSTM神經網絡模型所需要的系統時間也遠遠小于LSTM神經網絡模型。從而證明了該模型的可用性、及時性、準確性。

參考文獻

[1] 柳小桐. BP神經網絡輸入層數據歸一化研究[J]. 機械工程與自動化， 2010（3）：122-123.

[2] 吳云鼎， 解保生， 丁仲鵑. 實時定量PCR的數據歸一化方法[J]. 昆明醫科大學學報， 2013， 34（3）：160-164.

[3] 袁靜， 章毓晉. 融合梯度差信息的稀疏去噪自編碼網絡在異常行為檢測中的應用[J]. 自動化學報， 2017， 43（4）：604-610.

[4] 孫文珺， 邵思羽， 嚴如強. 基于稀疏自動編碼深度神經網絡的感應電動機故障診斷[J]. 機械工程學報， 2016， 52（9）：65-71.

[5] Su L， Shi J， Zhang P， et al. Detecting multiple changes from multi-temporal images by using stacked denosing autoencoder based change vector analysis[C]. International Joint Conference on Neural Networks. IEEE， 2016：1269-1276.

[6] Geras K J， Sutton C. Scheduled denoising autoencoders[J]. Eprint Arxiv， 2014.