基于TSNS-RAE的多模態過程故障檢測

郭小萍，李志遠，李 元

(沈陽化工大學 信息工程學院，沈陽 110142)

0 引言

隨著現代工業過程生產規模的不斷擴大以及生產過程復雜性的不斷提高，為了保證整個生產過程的安全性和可靠性，及時有效的故障檢測變得越發的重要，對其的研究也具有重大意義[1-2]。

現代工業生產過程大多是多模態的工業過程。多模態工業過程同時還具有動態性和非線性的特征。因此相較于普通單模態過程，多模態過程的監控要更加復雜。芯片制造過程[3]，青霉素發酵過程[4]和半導體生產過程[5]是最常見的多模態工業過程。

復雜多模態過程的監控，可以從數據標準化方法和故障檢測方法兩個方面進行研究。

多模態過程的一種監控策略是選擇合適的數據標準化方法。目前最常用的數據標準化方法是Z-Score標準化方法，但是該方法并不適用于多模態過程。局部近鄰標準化(NS)的數據處理方法[6-7]的提出有效的解決了Z-Score不能處理多模態數據的缺陷，NS方法雖然可以將多模態數據合并成單模態，但是忽略了樣本的時序相關性，在處理動態過程時檢測效果不佳。為了進一步完善NS在處理動態性生產過程的不足，馮等提出了時空近鄰標準化的數據處理方法[8]，該標準化方法不僅將多模態數據融合為單模態數據，同時還能消除前后數據之間的動態相關性，進而將故障數據與正常數據更好的分離開，達到更好的故障檢測效果。

多模態過程的另一種監控策略是選擇合適的故障檢測方法，主成分分析(PCA)[9]、偏最小二乘方法(PLS)[10]和獨立成分分析(ICA)[11]是最常用的故障檢測方法。這些方法都是基于數據驅動的傳統故障檢測方法。它們都是線性學習的降維方法，在處理非線性數據時效果不佳。

近年來，深度學習方法在圖像分類、目標檢測、自動駕駛等領域都有著深入的研究。相對于傳統的基于數據驅動的方法，深度學習模型可以提取多變量數據更深層次的數據特征，表現出強勁的處理各種非線性信息的能力[12]。常見的深度學習方法有卷積神經網絡[13]，循環神經網絡[14]，自動編碼器[15]。其中自編碼器的應用更為廣泛。目前常用的自編碼器模型有堆疊自編碼器(DAE)，魯棒自編碼器(RAE)，正交自編碼器(QAE)，變分自編碼器(VAE)。

本文選擇時空近鄰標準化方法(TSNS)為數據的標準化方法，選擇魯棒自編碼器(RAE)模型為故障的檢測方法，將兩種方法進行結合，提出基于TSNS-RAE的故障檢測方法來對多模態工業生產過程進行故障檢測。

1 數據的預處理

1.1 標準差標準化(Z-Score)

在進行故障檢測之前，需要對采集的數據集進行預處理。針對工業過程的特點選擇最合適的預處理方法來對數據進行標準化，對之后的故障檢測有著十分重要的意義。

(1)

(2)

(3)

Z-score 標準化使樣本集的每個特征具有均值為 0 標準差為 1的特點，消除了數據量綱的影響，使不同變量的方差(離散程度)相同。普通的Z-Score標準化方法在處理多模態數據時，無法將多模態數據轉換成單模態數據，導致檢測效果不佳。

1.2 鄰域標準化(NS)

為改善Z-Score方法處理多模態數據時的不足。Ma等提出了鄰域標準化方法(NS，neighborhood standardized)，該方法使用最近鄰樣本的近鄰集標準化當前樣本，NS的步驟如下：首先尋找樣本x的最近鄰樣本x1，其次尋找x1的前N近鄰樣本集，計算此近鄰集的均值m(N(x(1)))和標準差s(N(x(1)))，最后使用式(4)對x進行標準化：

(4)

鄰域標準化方法(NS)雖然可以將多模態數據轉換成單模態數據，但是該方法只考慮了空間上的近鄰信息，忽略了時間上的近鄰信息。所以NS在處理動態過程的工業數據時，往往忽略了數據的動態性，無法消除之前時刻樣本對后面時刻樣本的影響。無法保證所用的近鄰樣本應來自于樣本的相近時刻。

1.3 時空近鄰標準化(TSNS)

為了進一步改善NS方法的不足，馮等提出了TSNS方法。TSNS的步驟如下：首先在訓練集中尋找樣本x在時間方向上的前N近鄰樣本集N(x)= {x1(x)，…，xt(x)，…，xN(x)}，再尋找xt(x)在空間方向上的前K近鄰樣本集N(xt(x))={x1(xt)，…，xf(xt)，…，xK(xt)}，使用式(5)和(6)計算此樣本集的均值m(N(xt(x)))和標準差s(N(xt(x)))，最后 使用式(7)將x進行標準化處理得到標準化之后的樣本。

(5)

(6)

(7)

TSNS方法對數據進行標準化時不僅單純使用空間近鄰信息，還充分考慮時間序列信息的影響，使用來自于相近時刻的樣本近鄰集。經過TSNS處理之后的樣本在消除數據多模態的同時也消除了動態性，能夠實現故障與正常樣本在空間上的分離。為之后對過程數據進行故障檢測奠定基礎。

2 基于魯棒自編碼器(RAE)的故障檢測

2.1 普通自編碼器(AE)原理

普通的自動編碼器(AE)是一種常用的降維神經網絡，經常用于數據的降維和特征提取。它分為編碼器和解碼器兩部分，其結構如圖1所示。在對原始數據進行數據降維處理和特征提取時，需保持輸出層數據維數與輸入層輸入維數相同，而中間隱藏層數據維數則可以根據實際情況而設定。

圖1 自編碼器網絡結構示意圖

自編碼器由編碼和解碼兩步構成，輸入層原始數據經過編碼過程進行降維處理，在隱藏層得到數據的特征，然后對隱藏層特征進行解碼在輸出層得到原始數據的重構。自編碼器模型結構如下式：

hi=f(W1xi+b1)

(8)

(9)

式中，i=1，2，3···，I是采樣時間，xi∈RJ×1是第i個樣本，hi∈RK×1是原始輸入xi的特征。W1∈Rk×J和b1∈RK×1是輸入層到隱藏層之間的投影權重和偏置。r(xi)∈RJ×1是對提取特征hi的解碼或者說是對輸入數據xi的重構。W2∈RJ×K和b2∈RJ×1是隱藏層到輸出層的投影權重和偏置。

公式(8)和(9)中f(i)，g(i)是隱藏層和輸出層的激活函數，根據實際工業生產過程的特點，激活函數的選擇如下：

(10)

g(x)=x

(11)

一個好的自編碼器模型在提取數據特征時，應保持輸出端重構數據r(x)與輸入端原始數據X的差異盡可能的小。這個差異就叫作損失函數就是我們需要最小化的目標函數。普通自編碼器的目標函數如下：

(12)

式中，xi是第i個樣本數據點，r(xi)是第i個樣本的重構值。通過累積貢獻率方法選擇好好隱藏層的節點數K，設置好訓練次數之后，可以選擇Adam優化算法來對編碼器模型進行訓練，當損失函數值慢慢下降并最后收斂趨于穩定之后，編碼器的訓練階段完成。得到最小化的損失函數和自編碼器模型參數值。我們可以將此訓練好的編碼器用于之后的故障檢測之中。

自編碼器通過提取數據的深層特征來表示原始的過程數據。自編碼器模型訓練的效果與模型復雜度和待訓練的數據集的質量有著密切的聯系。當訓練集數據量較少或訓練集包含噪聲的時候，訓練出來的模型容易出現過擬合現象，即測試集數據在模型上的表現效果遠差于訓練集在模型上的表現效果。為了提高訓練數據集質量，在訓練之前需要把正常數據與噪聲隔離開。但是單純的把噪聲和冗余從訓練集數據中剔除是十分困難的做法。

2.2 魯棒自編碼器(RAE)原理

為了避免編碼器因為訓練數據量較少或噪聲干擾在模型訓練時出現的過擬合情況，對普通的自編碼器(AE)進行改造，提出魯棒自編碼器(RAE)的概念。

魯棒自編碼器相對比于普通編碼器，能夠將被噪聲污染的原始數據進行編碼解碼并且很好的提取數據特征和輸出原始數據的重構。這樣的編碼器更有利于處理復雜多變的過程數據。

因此在訓練模型之前可以人為的給訓練集加上高斯噪聲，達成對數據的損壞，編碼器如果可以從人為損壞的訓練數據集提取出數據特征，并且重構出原始數據，那么這個編碼器就便具有識別噪聲的能力，具有抗噪性，有更好的魯棒性，從而提高模型的泛化能力。

RAE就是通過對輸入數據進行一定程度的損壞，通過訓練來將其還原為原始數據空間來學習數據中關鍵特征的自編碼器。

RAE模型的示意圖如圖2所示，和普通自編碼器有著相似的結構[17]。

圖2 魯棒自編碼器示意圖

RAE與普通AE的區別就是訓練階段時在原始數據基礎上人為加入高斯噪聲ε，用加入噪聲之后的數據來作為模型輸入數據，而模型的訓練目標依舊是未加入噪聲的原始數據，魯棒自編碼器的目標函數如式(13)：

(13)

在理想情況下，公式(13)可以被等效成一個加了正則化項的自編碼器：

(14)

RAE模型的訓練過程與AE類似。分別選擇sigmod函數和恒等函數作為AE神經網絡的激活函數。通過累積貢獻率方法選擇好隱藏層的節點個數K，設置好訓練次數。選擇Adam算法作為優化器來加速神經網絡的訓練。將原始訓練數據x加入噪聲之后送入AE進而形成RAE模型。RAE模型隨著訓練次數的增加，損失函數越來越小，編碼器神經網絡的權值參數與偏置參數也在不斷的更新，當損失函數的值慢慢下降并最后收斂趨于穩定之后，RAE的訓練階段完成。得到最小化的損失函數和RAE模型參數值。

RAE模型訓練完成之后，原始訓練數據x被分成輸入數據的重構r*(x)和重構誤差ξ*(x)兩部分。分別對應于RAE的模型空間和殘差空間。如式(15)所示：

x=r*(x)+ξ*(x)

(15)

r*(x) 和ξ*(x)分別對應于輸入向量x的輸出重構值和殘差。在訓練階段，x在模型空間的投影就是模型輸出r*(x)，而在殘差空間的投影就是模型重構誤差ξ*(x)，與測量噪聲ε成正比關系。

2.3 RAE故障檢測方法

RAE模型訓練完成之后，將未加入噪聲的原始數據x送入離線訓練好的RAE模型中得到輸出的重構r*(x)。訓練好的RAE模型將原始數據空間分為模型空間和殘差空間，其中模型空間對輸入變化具有魯棒性，而殘差空間對輸入變化敏感。所以在殘差空間選擇SPE統計量作為故障監測統計量。RAE模型的訓練數據SPE統計量為

SPER=(r*(x)-x)T(r*(x)-x)

(16)

選擇核密度估計法(KDE)來計算殘差空間統計量SPER的閥值SPE_lim，這個閥值就是之后測試階段判斷是否存在故障的控制限。

3 基于TSNS-RAE的故障檢測方法

將TSNS與RAE進行結合，形成TSNS-RAE故障檢測方法。TSNS-RAE故障檢測流程圖如圖3所示。TSNS-RAE模型故障檢測主要分為離線建模和在線監測兩個階段。

離線建模階段和在線監測的步驟如下。

離線建模過程：

1)對正常工況運行下的原始數據進行時空近鄰標準化處理得到標準樣本X。

4)將未加入噪聲污染的標準樣本X送入訓練好的RAE模型之后，在殘差空間計算重構誤差從而求得SPE統計量。

5)利用核密度估計方法求SPE統計量的控制限SPE_lim。

在線監測過程：

1)從在線過程獲得新的測試集數據并運用TSNS進行預處理得到Xt。

2)將Xt直接送入離線過程訓練好的RAE模型并獲得輸出的重構值r*(Xt)。

3)計算在線監測時的SPE統計量并檢查其是否超過離線過程設定的控制限SPE_lim。若超過控制限就表示發生故障，若沒有超則表示正常。

4 數值案例仿真

使用一個動態非線性的數值案例過程來進行仿真。通過z-score，NS，TSNS這3種標準化方法的縱向對比來證明TSNS預處理對多模態過程檢測有著重要作用。數值案例過程有兩個輸入變量θ，t和兩個輸出變量x1，x2，模型如下：

(17)

其中：a為過程參數，本文取為0.3，e1和e2為隨機噪聲。過程正常運行產生500個樣本作為建模數據。再次，讓過程正常運行，但從2π時刻起在變量t上添加幅值為-3的階躍型擾動信號，共產生500個樣本作為測試數據。分別使用z-score標準化方法，NS標準化方法，和TSNS標準化方法對訓練數據和測試數據進行標準化處理，其中NS標準化的近鄰數N=4，TSNS標準化的時間近鄰數K=4，空間近鄰數N=5，數據經過3種方法標準化之后的結果如圖4所示。

圖4 3種標準化方法對多模態數值例子的處理結果

通過對圖三的幾種標準化方法相比較可以發現，普通的Z-Score標準化方法無法將故障數據與正常數據進行分離。NS標準化方法只考慮空間上的近鄰，忽略時間上的近鄰，無法消除過程動態性，所以一部分故障可以與正常樣本分離，而另一部分故障則沒有分離出來。TSNS標準化方法同時考慮了時間和空間上的近鄰，并且可以完全將故障樣本與正常樣本實現分離。

完成了對訓練數據的標準化處理之后，我們給標準化的數據額外加上高斯噪聲送入AE中形成RAE模型并進行訓練，隱藏層的維數設置為1，隱藏層的激活函數選擇sigmod函數，輸出層激活函數選取恒等函數。優化算法選擇為Adam優化算法，訓練次數設置為1 000次。用訓練數據訓練好RAE模型之后，根據核密度估計法在殘差空間求SPE統計量的控制限SPE_lim，然后將校驗數據和故障數據合并當成測試數據集進行標準化處理之后送入RAE模型，得到測試集的SPE統計量并和SPE_lim進行比較進而監測故障，為了方便觀測圖形，我們算SPE相關統計量時按照以10為底取其對數。3種標準化方法的故障檢測圖如圖5所示。

圖5 3種方法對多模態數值例子故障檢測結果

表1是RAE、NS-RAE、TSNS-RAE三種方法對多模態數值例子的故障檢測誤報率和檢測率的結果對比。從表1中可以看出，Z-Score標準化之后的RAE檢測結果最差，雖然沒有誤報，但是也沒有檢測出任何故障。NS-RAE故障檢測效果較RAE有一定的提升。而TSNS-RAE方法的故障檢測效果比RAE和NS-RAE方法的故障檢測效果都要好，通過這3種方法的縱向對比可得知TSNS-RAE方法有較低的誤報率和更高的檢測率，更好地驗證了TSNS在處理負雜多模態數據時的優越性。

表1 多模態數值例子的檢測結果對比

5 青霉素生產過程數據仿真

青霉素生產發酵過程是一種具有時變性，不同操作階段動態有不同特性，線性化程度不同以及非高斯性特點的典型的多模態生產過程。青霉素發酵過程中的代謝變化分為菌體生長，青霉素合成和菌體自溶3個階段[18]。圖6給出了青霉素發酵過程工藝流程圖。

圖6 青霉素發酵過程工藝流程圖

本文采用pensim仿真平臺生產青霉素數據，基于RAE，NS-RAE，TSNS-RAE算法進行故障檢測。pensim仿真平臺是由Cinar教授為首的研究小組創建開發的一款仿真軟件，專為研究青霉素發酵過程而設計。pensim仿真平臺在故障檢測研究中有著十分廣泛的應用[19]。同時由于其平臺數據具有多模態過程數據的特點，為驗證深度學習方法在多模態過程故障檢測與診斷方面帶來了很多便利。該平臺有5個輸入變量控制發酵過程參數變化，9個過程變量是菌體合成及生長中產生的，5個質量變量影響青霉素的產量[20]。設定仿真時間為400 h，采樣間隔為0.5 h，先在正常工況下產生一組數據作為離線訓練樣本。青霉素發酵過程可以在通氣率、攪拌功率和底物流速率這3個變量上引入干擾，分別有斜坡和階躍兩種干擾模式，通過調整兩種模式的幅度、干擾引入時間和終止時間來產生故障。本文采取了青霉素發酵過程中的12個主要變量進行實驗，同時設置了6種不同類型的故障作為待檢測樣本來驗證所提TSNS-RAE算法的有效性，故障類型如表2所示。

表2 青霉素生產過程的6種故障類型

基于數據驅動的故障檢測最常用的檢測方法是主成分分析(PCA)算法和K近鄰(KNN)算法。將這兩種檢測方法和TSNS相結合，形成TSNS-PCA和TSNS-KNN算法。選用TSNS-RAE算法法來進行故障檢測，并將其檢測結果與TSNS-PCA，TSNS-KNN進行橫向比較。TSNS方法的時間近鄰個數N=5，空間近鄰個數K=5。這些故障檢測方法均以置信水平為99%來確定監測模型的控制限；其中PCA依據85%的累計貢獻率來選取數據降維之后的主元個數。KNN算法的近鄰個數k=5。RAE模型依據85%的累計貢獻率選取編碼器隱藏層節點個數為6；激活函數依舊選擇Sigmod函數和恒等函數，選擇Adam算法為優化器加速RAE的訓練。RAE的訓練次數設置為1 500。完成編碼器的建模與故障檢測之后。我們選擇故障3和故障6的檢測結果來作圖，為了更好的圖形顯示效果，SPE相關統計量按照以10為底取對數。檢測效果圖如圖7和圖8所示。測試所用的不同方法的故障檢測率和誤報率均列在表3和表4中。

表3 不同方法的故障檢測率/%

表4 不同方法的故障誤報率 %

圖7 不同方法對故障3的檢測結果圖

圖8 不同方法對故障6的檢測結果圖

PCA作為最常用的故障檢測方法，將過程數據分成降維之后的主成分空間和殘差空間，分別對應T2統計量和SPE統計量，PCA原本只適用于單模態正態分布的數據，TSNS方法與PCA的結合消除了青霉素生產過程的多模態和動態性提升了PCA的檢測效果。但是PCA無法考慮過程的非線性，所以TSNS-PCA的檢測率與TSNS-KNN和TSNS-RAE相比效果不是很好。由故障3和故障6的實驗結果圖可以更直觀的看出檢測率較低。

KNN檢測方法使用過程數據樣本與其前k個近鄰樣本的距離平方和D2作為統計量，KNN方法考慮了工業過程的非線性，與TSNS方法結合之后對于多模態故障檢測有著不錯的檢測效果，在檢測率上會比PCA方法更好一點，誤報率較高，故障1，故障4和故障6有著很高的誤報率。由故障6的檢測結果圖可以更直觀的看出校驗數據存在著誤報。結合檢測率與誤報率，整體的檢測效果不如TSNS-RAE。

RAE作為深度學習方法，與傳統的基于數據驅動的方法相比，有著更好的特征提取和數據降維效果，訓練模型的損失函數越小，RAE對原始數據的重構越效果好。同時RAE模型有著抗噪性和魯棒性。對青霉素數據使用TSNS-RAE方法進行故障檢測，基本都有較好的故障檢測效果。由表3可知，故障2，故障3，故障5和故障6的SPE統計量的檢測率都達到了100%，故障1和故障4 的SPE統計量的檢測率分別達到99.1%和99.6%。由表4可知整體的誤報率都比較低。因此結合整體的檢測率與誤報率，通過對TSNS-PCA、TSNS-KNN、TSNS-RAE三種方法進行橫向對比可知TSNS-RAE對于復雜多模態過程有著更好的檢測效果。

6 結束語

根據多模態工業生產過程的數據特點，本文提出了一種基于TSNS-RAE的故障檢測方法。通過數值案例，將TSNS方法與常用的Z-Score方法、NS方法方法進行比較，突出TSNS方法在預處理復雜多模態數據時的優勢。通過青霉素生產過程實驗，將TSNS-RAE與TSNS-PCA、TSNS-KNN進行橫向對比，結合檢測率與誤報率，突出了TSNS-RAE在處理復雜多模態工業過程的優越性。

自動編碼器除了魯棒自編碼器之外，還有堆疊自編碼器，正交自編碼器，變分自編碼器等。每一種編碼器都有各自的優勢，今后的實驗可以針對不同的工業過程將TSNS方法與其他編碼器模型進行結合進行故障檢測。