基于FDA-LSTM的冷軋過程多源異構時序數據處理及顫振預測

趙瀟雅，郜志英，周曉敏，宋寅虎

(北京科技大學 機械工程學院，北京 100083)

隨著“工業4.0”和“中國制造2025”等國家戰略[1]的提出，大數據對傳統工業技術帶來了革命性的挑戰和顛覆性的創新，而5 G時代的到來，更是對工業物聯網產生的海量大數據質量監控與分析提出了更高層次的精準性和時效性要求[2-3]，同時深度學習算法和工業人工智能使對多場多態海量數據信息進行特征提取與信息挖掘成為可能。目前數據處理面臨的三大挑戰[4]是錯誤的數據導致決策錯誤，數據不能直接重構現場結果，將數據轉化為有用的知識和決策。

板帶鋼作為各種工業產品的原材料，在工業生產中起著舉足輕重的作用，對板帶質量要求的提高也成了競相研究的熱點。我國的板帶鋼產業正面臨著向智能制造轉型的重大需求，板帶鋼生產過程中已經產生并積累了大量數據，在積累的工業大數據中，時間序列數據是最基本和最普遍的數據形式，因此對基于采樣時間點的時序數據的分析挖掘，能夠解決工程應用中的實際問題。在冷連軋過程中，由于軋制過程數據為多源數據采集系統采集到的多特征數據，存在采樣頻率不一致的問題，故需對數據進行頻率協同，建立一一對應的完整可用的樣本空間。針對離散樣本的擴充問題，可將離散數據轉化為連續函數，再以相同的步長讀取數據。Ramsay等[5-7]提出了函數型數據分析方法，給出了完整的理論框架和分析計算方法，定義其本質是將數據看作整體，而不是離散的采樣點。黎敏等[8]引入函數型數據分析方法將三維數據中的每個變量沿時間方向進行函數擬合，從而將三維離散數據矩陣轉化為二維函數矩陣。并對各個變量曲線求取二階導數，消除非平穩生產狀態所導致的均值波動現象，增加建模的準確性。徐鋼等[9]根據熔池反應所處的不同階段,利用函數型數據分析方法建立吹煉前期和吹煉后期的函數型預測模型。

軋機顫振是影響板帶質量最主要的原因之一,近年來國內外學者們[10-12]針對軋機顫振的建模與機理進行了一系列研究，分析得到了軋機顫振模型及影響軋機顫振的相關參數[13]。但影響顫振的相關因素較多，在工程實際應用中難以調控每一個參數，故需進一步篩選出與顫振相關性較強的參數。同時特征選擇[14]可以減少輸入數據的維度而減少模型復雜度，以篩選出對預測結果影響較大的特征。

由于生產過程的復雜性，物理模型的建立會引起明顯的誤差，機器學習經過特征提取和訓練過程，可揭示輸入和輸出之間隱藏和模糊的相關性。神經網絡可自動學習提取有用的特征，而不是由人工設定。因此，當數據豐富時，深度學習比傳統的機器學習方法獲得更好的性能。國內外學者利用多種神經網絡對顫振等故障進行了智能檢測，Liu等[15]提出了基于反向傳播神經網絡 (back propagation neural network,BPNN) 與遺傳算法 (genetic algorithm，GA) 的顫振狀態辨識模型，即BPNN-GA模型。謝鋒云等[16]提出基于廣義區間理論的廣義BP神經網絡切削顫振識別模型，利用廣義區間不確定性分析方法將測量不確定性量轉換為廣義區間量，并進行廣義區間形式的時頻特征提取，最后將廣義區間化的特征量代入廣義BP神經網絡識別模型中，對切削加工狀態進行識別。Kumar等[17]將輸入信號的均方差作為衡量顫振的指數參數，通過這些輸入和輸出參數，使用自適應神經模糊推理系統訓練顫振模型。劉陽等[18]基于長短時記憶 (long short-term memory，LSTM) 循環神經網絡建立軋機顫振能量值的智能預報模型，利用軋件規格、軋輥狀況、軋制工藝以及軋機振動狀態的歷史信息數據,對最為典型和振動頻繁的第五機架振動能量值加以預測。

本文針對冷連軋生產過程中的顫振問題，進行多源異構時序數據的分析與信息挖掘，改善工業時序數據來源廣泛、價值密度低、動態性強的缺陷，找到數據的統計規律以及不同物理特性的數據間的關聯性，從而建立顫振預測模型，以指導實際生產。

1 基于FDA的多源異構樣本數據

1.1 函數型數據分析

函數型數據分析方法將離散時間序列進行函數表達，即

yi,j,k=x(tk)+εi,j,k,k=1,2,…,K

(1)

式中：x(tk)為原始數據序列的函數在第k采樣點的函數值；εi,j,k為該點對應的擬合誤差，代表觀測數據中擾動因素、誤差或其他外生因素；擬合后的yi,j序列可以表示為函數xi,j(t)。

函數型數據分析的一般步驟為：

步驟1用基函數平滑法對離散數據進行展開。

基函數平滑法本質是將N個基函數線性組合，得到原始離散數據的函數表達，對于變量j，由Nj個基函數φj(t)=[φj,1(t),…,φj,Nj(t)]T的線性組合表示函數xi,j(t)，公式表示為

(2)

式中：xi,j(t)為擬合函數；ci,j=[ci,j,1,…,ci,j,Nj]T為系數向量。

(3)

(4)

步驟2添加懲罰項對擬合函數進行光滑

利用基函數平滑法對數據進行擬合時，擬合函數應對原始離散數據的主要特征盡可能地進行表達，為了應避免曲線過度擬合，導致曲線過度的波動或局部變化，引入粗糙度懲罰因子對曲線的擬合程度進行控制，使得離散數據的函數化表征更加合理。粗糙懲罰法是在基函數法的基礎上，通過增加懲罰項來對擬合曲線的曲率進行控制。

通常以二階導數平方的積分作為測度曲線的粗糙程度的懲罰項，即

(5)

由式(1)可知，擬合函數可寫成系數向量與基函數乘積的形式，將其代入式(5)得

(6)

步驟3采用最小二乘法計算系數向量

系數向量ci,j的估計采用最小二乘法，即最小化殘差平方和

(7)

式中：yi,j=(yi,j,1,…,yi,j,k,…,yi,j,K為原始數據；λ為懲罰因子的系數，平衡曲線擬合程度和曲線光滑程度。

定義ΦK×Nj為基函數矩陣在各觀測時間點上的取值，即

(8)

基于最小二乘法求解未知參數的方法，解得系數矩陣ci,j為

ci,j=(ΦTΦ+λR)-1ΦTyi,j

(9)

采用廣義交叉驗證方法(generalized cross-validation,GCV)求解懲罰系數λ的值，公式為

Sφ,λ=Φ(ΦTΦ+λR)-1ΦT

(10)

df(λ)=traceSφ,λ

(11)

(12)

式中：K為采樣點個數；λ在一定實數范圍內進行取值，當GCV(λ)的值最小時所對應的λ值即為懲罰系數。

1.2 基于FDA的樣本擴充

冷連軋生產過程數據采集系統采集到的數據主要包括振動數據采集系統采集到的振動能量數據、以及過程信息采集系統采集到的工藝參數數據。由于工業生產中采集到的多源異構時序數據存在大體量、多源性、連續采樣、價值密度低等問題，故需對原始數據進行數據預處理，包括數據轉換、數據清洗及時刻匹配，如圖1所示。

經數據預處理可得，工藝參數數據采樣間隔為5～8 s，振動能量數據采樣間隔為0.2 s。同時，分析冷連軋過程中產生的BPC數據可知，一些變量隨著時間發生波動，具有函數性質的特征，且變量與變量之間存在非線性關系，因此可采用函數型數據分析的方法對樣本進行擴充。

圖1 數據預處理步驟Fig.1 The steps of data preprocessing

軋制速度、軋制力等為非周期信號，因此選用含有多重節點的B-spline基函數作為擬合的基函數可更好實現地實現函數化的表達，且B-spline基函數有著很多優良的性質，有利于更深層次的數據分析。本節的BPC數據擴充步驟如圖2所示。

圖2 函數型數據分析算法步驟Fig.2 The steps of functional data analysis algorithm

以軋機第五機架的帶鋼速度為例進行函數擬合和插值，如圖3所示。

由圖3可得，函數型數據分析對數據的函數表達有一定的光滑度要求，最小二乘法擬合的方法可通過在最小二乘法的擬合標準均方差中加入粗糙度懲罰項實現函數光滑甚至導數的光滑的性質，函數型數據擬合的在處理突變位置有更好的效果，曲線更平滑，故本文采用函數型數據分析的方法實現樣本的擴充。

1.3 不同工藝參數的擬合效果

由于軋制過程復雜，每一卷軋制的時長不一致，為便于觀測多卷數據的函數型擬合效果，對采樣時間進行歸一化處理

(13)

式中：tk為第k個采樣點時間；Tk為歸一化后第k個采樣點時間；N為每一卷軋制的總時長。

圖3 函數型數據擬合和插值效果對比圖Fig.3 Comparison chart of the effect of functional data fitting and interpolation

歸一化后，對部分鋼卷的五機架帶鋼速度、四機架后張力進行函數型擬合，擬合效果如圖4所示。

圖4 函數型數據擬合效果圖Fig.4 Fitting effect diagram of functional data analysis

2 特征選擇及樣本空間構建

2.1 特征選擇

特征選擇是利用一系列的規則，得到特征重要程度的相對關系，自動選擇出對分類過程最重要的特征子集的過程。機器學習過程中，特征選擇是非常重要的一步，一方面遺漏掉重要特征會導致模型擬合能力不足；另一方面冗余特征也可能會帶來額外的計算量導致訓練時間過長，以及模型過擬合，對新樣本泛化能力不足等問題。因此只有選擇了合適的特征，模型的訓練才能成功。

特征選擇模型分為過濾式、封裝式和嵌入式3類[19]。在特征選擇中，最適合在探索階段使用的就是過濾式的方法，包括方差閾值法和單變量選擇法。單變量特征選擇有多種特征選擇方法，本文采用基于樣本相關系數的SelectKBest算法[20]對特征進行選擇。

SelectKBest算法是一種統計測試方法，能夠對每一個特征進行測試，衡量該特征和響應變量之間的關系，得到每個特征的重要性得分，去除得分不高的特征。具體算法如下：

步驟1對特征集X=(x1,x2,…,xN)和因變量y分別計算每一列數據的均值和標準差。

步驟2計算每個特征量xi和因變量y之間的樣本相關系數r

(14)

步驟3檢驗正態假定下兩個變量之間的相關性，用統計量f表示

(15)

步驟4判定假設檢驗結果，用統計量p表示，一般以p<0.05為顯著，p<0.01為非常顯著。

步驟5比較每個特征量的f和p值的大小對特征進行選擇。

2.2 樣本空間構建

本文以頻繁發生顫振的第五機架為研究對象，以與顫振相關的工藝參數為特征量，振動能量值作為輸出值，制作訓練模型的數據集。首先根據軋機顫振模型得到可能影響顫振的工藝參數，如入口油膜厚度、出口油膜厚度、軋制速度、前后張力等。且五機架振動發生與四機架的振動狀態相關，特征空間還應包括四機架的相關信息。因此，初步確定樣本空間為包含15個工藝參數為輸入特征以及一個振動能量值作為輸出參數的數據集，每一卷數據為一個樣本，原始樣本空間如圖5所示。

圖5 原始樣本空間Fig.5 Original sample space

選定原始數據集后再進一步進行特征量的選取：對于模型來說輸入減少，復雜度降低，學習的速度上升。而對于實際應用來說，這15個特征對分類結果影響較大，實際發生振動時，從可行性上是不可能調節全部工藝參數的，這時候調節幾個重要的特征就可以改變振動的結果，從而達到抑振或者消除振動的目的。

對原始數據集進行SelectKBest特征選擇，統計量f和p的值如表1所示。

表1 各特征數據的統計量Tab.1 Statistics of each characteristic data

由表1可得，機架前速度、四機架軋制速度、五機架軋制速度、四機架帶鋼速度、五機架帶鋼速度、四機架后張力的f值均大于5 000，p值均約等于0。由此可得，這6個特征量與振動能量值具有很強的相關關系，故選取這6個特征量作為輸入特征，從而建立如圖6所示的樣本空間。

圖6 特征選擇后的樣本空間Fig.6 Sample space after feature selection

3 基于LSTM神經網絡的顫振預測

由于軋機顫振的發生有很強的時序性，與軋機的歷史狀態密切相關，基于此特性，軋機顫振的預測可轉換為時間序列預測研究。而神經網絡作為常用于處理序列問題的深度學習模型，可用于顫振的智能預測。因此，本文采用LSTM神經網絡模型對顫振進行預測。

3.1 LSTM神經網絡模型構造

LSTM神經網絡的網絡結構如圖7所示，為單元狀態加門限的結構：

(1) 單元狀態——讓輸入向量沿時間軸向下流動，相當于一個傳送帶，傳送帶上的東西會隨著通過的重復模塊基于當時的輸入有所增減，如圖7(a) 所示，當前時刻單元狀態Ct計算公式為

(16)

式中，it，ft分別為輸入門、遺忘門的激活向量。

(2) 門限——在LSTM中由sigmoid函數、tanh函數和乘法加法控制的過程，包括遺忘門、輸入門、輸出門。

1) 遺忘門的結構如圖7(b) 所示，其激活向量ft計算公式為

ft=σ(Wxfxt+Whfht-1+bf)

(17)

式中：x=(x1,x2,…,xT-1,xT)為輸入的時間序列；h=(h1,h2,…,hT-1,hT)為隱含層序列；σ為激活函數，選取激活函數為sigmoid函數；W為權重矩陣；b為偏置向量。

it=σ(Wxixi+Whiht-1+bi)

(18)

(19)

式中，f為激活函數，選取激活函數為tanh函數。

3) 輸出門結構如圖7(d) 所示，其激活向量ot及隱含層序列h的計算公式為

ot=σ(Wxoxt+Whoht-1+bo)

(20)

ht=otf(Ct)

(21)

圖7 LSTM神經網絡結構圖Fig.7 LSTM neural network structure diagram

采用步長為4的LSTM神經網絡模型，即用歷史4步的信息去預測未來第5步的輸出，如圖8所示。

圖8 步長為4的LSTM神經網絡輸出步驟Fig.8 LSTM neural network output steps with a step size of 4

同時，采用Adam 一階優化算法替代傳統隨機梯度下降算法，它能基于訓練數據迭代地更新神經網絡權重W和偏置向量n。

神經網絡算法的基本流程如圖9所示。

圖9 LSTM神經網絡算法流程圖Fig.9 LSTM neural network algorithm flow chart

3.2 不同神經網絡模型預測精度對比

選用已建立的樣本空間作為觀測數據進行模型的訓練與測試，每一卷數據為一個樣本，其中每一卷數據的80%用于模型的訓練，20%用于模型的測試。同時為突出LSTM神經網絡預測效果，采用RBF神經網絡模型和RNN神經網絡模型進行對比分析。對10卷樣本進行訓練并測試，部分預測效果如圖10所示，測試集均方誤差如表2所示。

由圖10(a)可得，在1 440 s處振動能量值出現峰值，在此處RBF模型的預測峰值與實際峰值產生時間不一致，RNN模型的預測峰值只有較小的突增，LSTM模型預測峰值接近實際峰值。由圖10(b)得LSTM模型相較于其他兩個模型，其測試集預測結果的變化趨勢與實際數據的變化趨勢更加一致。同時表2的計算結果也顯示LSTM神經網絡模型測試集的均方誤差最小。

圖10 三種神經網絡預測效果對比Fig.10 Comparison of three kinds of neural network prediction effects

這是由于軋機振動能量值不僅與多個相互耦合的物理量相關，且與系統的歷史狀態相關，而RBF神經網絡模型只能學習到該時刻的信息，從而會使網絡學習到的信息不完整；RNN神經網絡引入時間步長，允許信息持續存在，但其存在長時依賴問題，會產生梯度爆炸或梯度消失，影響預測精度；LSTM神經網絡引入門的結構，使其具有長短期記憶功能，能在長時間的計算過程中，保留重要的信息，從而避免長時依賴問題。故針對冷連軋顫振問題，可采用LSTM神經網絡模型進行顫振的智能預測。

表2 測試數據集的均方誤差Tab.2 Mean square error of the test data set

3.3 LSTM神經網絡模型預測效果

采用閾值法對軋機振動狀態進行識別，通過收集缺陷周期、厚度波動范圍等信息，經過統計估計方法得到振動預警線(如圖11中虛線所示)，當振動能量值低于預警線時，認為軋機系統未發生振動，記為0；當振動能量值超過預警線，認為軋機系統發生振動，記為1。選取四卷振動樣本對LSTM神經網絡模型的預測效果進行驗證，如圖11所示，圖中模型預測峰值均超過振動預警線，繼續對10卷樣本進行訓練并測試，其振動狀態的預測結果如表3所示，均與實際狀態一致，故說明LSTM神經網絡模型能有效預測顫振的發生。

表3 五機架振動狀態Tab.3 Vibration state of 5th stand

圖11 LSTM神經網絡訓練集及測試集預測效果圖Fig.11 Neural network training set and test set prediction performance of vibrating roll

4 結 論

本文以某高速薄板帶五機架冷連軋機組為研究對象，針對冷連軋生產過程中的顫振問題，著眼于在工業數據驅動下，通過智能化解決“價值損失”和“決策優化”的問題，實現顫振的智能預測。

(1) 采用函數型數據分析的方法可解決顫振時空大數據在樣本構建和特征表征中的尺度差異問題，通過在最小二乘法的擬合標準均方差中加入粗糙懲罰項實現函數光滑甚至導數光滑，使其在處理突變處有更好的效果，增加樣本容量的同時提高樣本擴充的精度。

(2) 經過SelectKBest特征選擇可得，機架前速度、四機架速度等6個特征量與五機架振動能量值具有較強的相關關系，采用這6個特征量作為輸入向量來預測五機架振動能量值，可避免其他特征量的干擾，建立精度更高的網絡模型。

(3) 基于LSTM神經網絡建立預測模型對五機架振動能量值進行預測，并根據測試集的均方誤差與RBF、RNN神經網絡模型進行比較，發現LSTM神經網絡模型對于時序的預測具有較高的精度，同時采用閾值法驗證該模型能有效地預測顫振的發生。