一種魯棒半監督建模方法及其在化工過程故障檢測中的應用

周樂，宋執環，侯北平，費正順

?

一種魯棒半監督建模方法及其在化工過程故障檢測中的應用

周樂1，宋執環2，侯北平1，費正順1

（1浙江科技學院自動化與電氣工程學院，浙江杭州310024；2浙江大學控制科學與工程學院，浙江杭州 310027）

復雜化工過程的觀測樣本往往包含著測量噪聲與少量的離群點數據，而這些受污染的數據會影響數據驅動的過程建模與故障檢測方法的準確性。本文考慮了化工過程測量樣本的這一實際情況，提出了一種魯棒半監督PLVR模型（RSSPLVR），并利用核方法將其擴展為非線性的形式（K-RSSPLVR）。此類算法利用基于樣本相似度的加權系數作為概率模型的先驗參數，能有效消除離群點對建模的影響。利用加權后的建模樣本，本文通過EM算法訓練了RSSPLVR和K-RSSPLVR的模型參數，并提出了相應的故障檢測算法。最后，通過TE過程仿真實驗驗證了所提出方法的有效性。

故障檢測；魯棒模型；半監督；過程控制；過程系統；主元分析

引 言

在現代流程工業中，隨著集散控制系統（DCS）的應用和計算機技術的進步，工業現場采集和存儲了大量的在線和離線測量數據，基于多元統計分析的過程監測（MSPM）技術得到了快速發展，它具有基于數據、降維、易于可視化與易于實際應用等優點，在化工、制藥、半導體制造等多個工業領域得到了廣泛應用[1-7]。其中，主成分分析（PCA）和偏最小二乘估計（PLS）及其擴展方法是MSPM技術的代表性模型[8-11]。基于PCA的過程監測技術通過檢測過程變量的波動以有效監測生產過程是否發送了異常工況。然而，該類方法無法判別生產過程的波動是否影響了最終的產品質量。因此，當質量指標可測或部分可測時，基于PLS的過程監測技術能夠提取過程變量和質量指標間的約束關系，并通過監測PLS潛隱空間的變化以提前預知過程故障是否導致了產品質量的波動[12]。

傳統的PLS模型及其擴展方法均假設過程變量與質量指標的采樣率一致。然而，大部分的質量指標變量，往往因為測量困難或需要離線化驗等原因，其采樣率很低，難以獲得大量的建模數據。而與此同時，反應過程運行狀態的過程變量，則通過在線監測設備以較高的采樣率記錄和存儲。因此，利用實際生產過程中的過程變量（）和質量指標（）進行過程監測時，需要提取不同采樣率數據間的相關關系。為解決此類問題，Facco等[13-14]利用降采樣率方法對PLS模型進行了有效擴展，并將其應用于批次過程軟測量研究。此外，半監督學習方法能夠有效處理不同采樣率數據間的特征提取問題，并已廣泛應用于模式識別和機器學習領域[15-16]。Zhou等[17]提出了一種基于半監督的PLVR模型，以用于連續過程和間歇過程故障檢測。Zhu等[18]將魯棒半監督混合PPCA模型用于過程軟測量。

此外，由于測量缺陷或者外部干擾等原因，建模樣本往往包含著測量噪聲，以及一些受外部突變、測量錯誤等造成的離群點。而一旦此類包含著粗大誤差的數據被用于過程建模，則難以獲取能夠準確預測變量波動的過程模型。為處理包含離群點的過程建模問題，Stanimirova等[19]提出了一種基于球形PCA的魯棒模型，Chen等[20]提出了基于學生t-分布的魯棒PPCA模型，Zhu等[21]將魯棒PPCA模型擴展為混合模型的形式。這些方法中都使用了EM算法，因此能夠同時處理數據的缺失值和離群點問題，但卻只對過程變量進行了特征提取，并未考慮過程變量與質量指標間的約束關系。

因此，針對復雜測量環境下的帶離群點的過程變量與質量指標間的特征提取及故障檢測問題，本文提出了一種基于相似度的魯棒半監督PLVR模型（RSSPLVR）。在模型訓練之前以每個樣本點到其近鄰點的平均歐氏距離為標準，計算訓練樣本與其近鄰點的相似度指數并確定每個訓練樣本的加權系數。對于離群點數據，其加權系數相對正常數據較小，在建模時則提供了較少的有效信息。在進行模型訓練時，每個樣本的似然函數將乘以加權系數，以削弱離群點數據對建模的影響。通過上述方式，提供了一種對樣本數據的“軟”劃分，即提高了建模的魯棒性，也避免了因離群點誤判而錯誤刪除了有效建模數據。此外，考慮到實際工業過程中過程變量與質量指標間的非線性關系，本文進一步將魯棒半監督PLVR模型擴展為非線性的形式。為處理變量間的非線性關系，文獻[3]中提出了不同的非線性建模方法。其中，基于核投影的方法因其避免了復雜的非線性優化過程及良好的泛化能力而被廣泛應用[22-24]。因此，本文提出了一種基于核投影的非線性魯棒半監督PLVR模型（K-RSSPLVR）及其故障檢測方法，通過將原始數據投影至高維特征空間中，數據間的非線性關系轉化成了線性關系。在特征空間中，本文構建了基于核函數的2和SPE統計量以用于生產過程故障檢測。最后，通過TE過程仿真平臺驗證本文提出故障檢測方法的有效性。

1 半監督PLVR算法（SSPLVR）

作為一類概率半監督模型，SSPLVR能夠有效提取采樣率不同的過程變量（）與質量指標間（）的相關關系，其模型結構為[17]

=+(1)

=+(2)

其中，∈R×D和∈R×D分別為和的負載矩陣，潛隱變量∈R服從均值為0，方差為1的高斯分布。∈R和∈R為模型噪聲，其先驗分布也被定義為各向同性的高斯分布：～(0,2I)和～(0,2I)。此外，SSPLVR中的過程變量={1,2,…,}∈R×J與質量指標={1,2,…,}∈R×M的采樣率不同，且的采樣不規則且采樣率低，因此<。在本文中，假設建模樣本間相互獨立，即樣本順序可調整為前個變量為被質量指標標簽的過程變量，其潛隱變量由式（1）和式（2）共同計算，后-個變量為無標簽的過程變量，其潛隱變量由式（1）計算。SSPLVR的模型結構如圖1所示。文獻[17]給出了SSPLVR詳細的模型參數訓練方法。

盡管SSPLVR算法能夠有效利用不同采樣率的輸入輸出數據進行過程建模，但卻并未考慮建模數據的品質優劣。當建模樣本中包含著少量離群點時，SSPLVR中隱變量的投影方向較之原模型將會產生較大程度的偏離，這是因為SSPLVR算法均假設變量間服從多變量高斯分布，而這些概率分布函數很容易受異常樣本點的影響。因此，本文提出了一種魯棒的SSPLVR算法，以削弱建模樣本中包含的離群點對模型參數估計的影響。

2 魯棒半監督PLVR算法(RSSPLVR)

2.1 RSSPLVR模型

在魯棒半監督PLVR模型（RSSPLVR）中，所有的建模樣本被假設為各自獨立且服從不同的先驗高斯分布，即每個樣本的先驗分布被賦予了不同的加權系數。對于正常樣本其加權系數較大，對建模的貢獻度也大。反之，離群點數據對建模的貢獻度較小。考慮到離群點往往距離正常樣本的歐式距離較遠，本文采樣了一種基于樣本間平均歐氏距離的加權方法，在RSSPLVR模型訓練前首先計算各建模樣本的權重值。假設為觀測變量對和的權重值，其被定義為

其中，

因此，所有建模數據的指數似然函數可被寫為

在RSSPLVR模型中，完整的似然函數被分為兩部分，且各變量的先驗分布不同，由加權參數進行調節，以提高模型對離群點數據的魯棒性。其中，模型參數{,,2,2}可由期望最大化（expectation-maximization）算法估計得到。

2.2 RSSPLVR模型參數估計

在期望最大化（EM）算法中，首先在E步利用當前模型參數估計潛隱變量的后驗概率；之后，在M步分別針對各個參數求似然函數的一階偏導數，以獲取模型參數的更新值。最后，反復迭代E步和M步直至達到模型收斂條件。由于RSSPLVR的似然函數集被分成了兩部分，因此E步中的潛隱變量的后驗分布估計也需要按照樣本特征分兩部分計算。因此，潛隱變量的一階距和二階距分別為

(6)

(7)

在M步中，分別針對模型參數求取似然函數（4）的一階s偏導數，可得各模型參數的更新值為

(9)

(11)

(12)

其中，trace(.)為矩陣的跡。當E步與M步的結果反復迭代，直至似然函數值的變化足夠小時，模型參數訓練過程結束。在RSSPLVR中，樣本的加權參數被用于模型訓練中。由式（5）～式（8）可知，每個潛隱變量的后驗概率分布均與有關。因此，RSSPLVR通過加權參數的使用提高了模型的魯棒性，削弱了離群點對建模準確度的影響。

3 基于K-RSSPLVR算法的故障檢測

RSSPLVR有效解決了半監督算法對數據離群點的魯棒性問題，在獲取了準確的模型參數后，可建立相應的基于RSSPLVR的故障檢測算法。然而，大部分化工過程的測量變量均為非線性相關，這對基于RSSPLVR的故障檢測方法在化工過程中應用帶來了一定的局限性。因此，本節進一步提出了一種基于核擴展方法的非線性算法（K-RSSPLVR），以使其能夠適用于實際化工過程故障檢測。

3.1 K-RSSPLVR模型

在K-RSSPLVR中，原始數據首先被投影到高維特征空間中，其在高維空間中的投影值()和()被假設與隱變量間存在線性相關關系。而K-RSSPLVR的模型參數估計可通過如下等價變換關系得到。根據式（9）的結果，模型參數的更新值可被寫為

其中，、和分別被定義如下

(14)

根據式（17）的結果，可得如下等價變換關系

其中，=()()T,=()()T。同理可得模型參數的變換關系如下

(16)

其中，=()()T,=()()T。最后，將式（15）和式（17）的結果分別代入式（5）～式（8），可得K-RSSPLVR模型的E步為

(18)

(20)

(21)

其中，輔助變量和為

同理可得M步的更新結果為

(23)

3.2 基于K-RSSPLVR的故障檢測

在K-RSSPLVR模型構建后，兩個常用的過程統計量2和SPE可被用于建立基于K-RSSPLVR的故障檢測方法，當測試樣本test被采集后，其潛隱變量的期望值為

(25)

其中，var-1(test|test)為潛隱變量的方差。2統計量的控制限計算方法可參照文獻[8]，當測試樣本的2統計量超過了相應的控制限，則認為發生了過程故障。

此外，基于模型的預測誤差，還可構建SPE統計量以反應模型殘差空間的變化。由于K-RSSPLVR可以同時預測過程變量和質量指標的變化，因此本文分別構建了SPE和SPE統計量，其分別為

(27)

同理可得SPE的值為

(29)

其中基于質量指標的預測誤差構建的SPE統計量能夠反映過程故障是否影響了最終的質量指標，而基于過程變量的預測誤差構建的SPE統計量則主要反應過程狀態的波動。SPE統計量的控制限計算可參照文獻[26]中的方法。

4 仿真實例

本節將通過Tennessee Eastman（TE）過程仿真實例來研究和驗證K-RSSPLVR模型在化工過程建模和故障檢測的有效性[27-28]。它包括連續攪拌式反應器、冷凝器、氣液分離塔、壓縮機和再沸器5個主要操作單元，其主要控制方案和工藝流程可參考文獻[29-30]。TE過程一共包含了52個測量變量，其中有22個過程變量，19個質量變量（成分）和12個控制變量。本文選擇了16個常見的過程變量，并選擇了流體9的組分作為質量指標，各變量的詳細介紹可參考文獻[31]。為驗證故障檢測算法的有效性，TE過程還引入了21種常見的過程故障，其中16種為已知故障，5種為未知故障。這些故障中包括了階躍故障、過程漂移和閥門黏滯等不同類型。所有的故障數據均包含了960個采樣點，其中，過程故障在第161個采樣點引入。本文選取了960個正常工況下的樣本作為建模數據，其中，過程變量的采樣周期為3 min，質量指標的采樣周期為6 min，即利用了960個過程變量和480個質量變量構建了K-RSSPLVR。此外，為了模擬建模數據中包含離群點的情況，2%是正常數據幅值2倍的離群點被隨機添加在了建模數據中。同時，本文利用同一批包含少量離群點的建模數據構建了KPLVR模型和RKPLVR模型，以比較不同模型的建模與故障檢測效果。由于KPLVR和RKPLVR均需要一一對應的過程變量和質量變量數據，因此本文采用了降采樣率的方法，即選取了480個有質量變量標簽的過程變量，以保障與的采樣率一致。此外，K-RSSPLVR、KPLVR和RKPLVR均為基于核方法的非線性模型，其潛隱變量個數選擇方法可參考文獻[22]。本文中，這3種模型的潛隱變量個數均選擇為20，調節參數均為100，統計量置信度均為0.99。

首先，本文檢驗了不同模型在化工過程建模時的準確度。利用另一組正常的樣本的作為測試數據，基于以上3種算法的故障誤報率如表1所示。從結果可以看出，由于KPLVR模型并未考慮數據離群點對過程建模的影響。

表1 TE過程不同模型下的故障誤報率

當數據中僅存在少量離群點時，已嚴重影響了KPLVR模型潛隱變量的后驗分布，這也導致基于KPLVR的過程模型與實際工況嚴重失配，對于正常測試樣本的故障誤報率異常（2和SPE均為1）。因此，在此種情況下，已經無法利用KPLVR對TE過程進行故障檢測。相比之下，基于K-RSSPLVR和RKPLVR模型的3種統計量的故障漏報率均較低，這也說明魯棒模型均能有效消除少量離群點對過程建模的影響，從而獲得對生產過程描述較為準確的過程模型。

接下來，本文比較了基于K-RSSPLVR和RKPLVR故障檢測算法的有效性。選取TE過程所有的21種故障進行測試，過程故障數據均在第161個采樣點引入。分別在基于兩種模型的故障檢測漏報率如表2所示，其中檢測效果更好的統計量被加粗標注。由結果可知，對于大部分故障，基于K-RSSPLVR的統計量（尤其是2和SPE）的檢測結果都優于相應的基于RKPLVR的統計量。其中，本文選取了有代表性的故障10的檢測結果如圖2所示。

綜合以上仿真實驗結果可以得出，本文提出的基于K-RSSPLVR不僅對離群點數據具有一定的魯棒性，其故障檢測能力也得到了一定的提升。這是因為K-RSSPLVR是一種半監督學習模型，與有監督模型（RKPLVR）進行比較，半監督模型利用了更多的過程數據（無標簽數據），而無須限制過程變量與質量變量一一對應。而當大量的無標簽數據作為建模樣本被用于模型訓練時，由于半監督學習模型的潛隱變量提取了過程變量與質量變量的相關性，因此這些無標簽數據在建模時提升了模型的預測能力，能夠有效改善由于質量樣本較少而導致的預測誤差過大的問題。因此，基于K-RSSPLVR的故障檢測算法一方面增強了建模的魯棒性，同時減少了故障的漏檢率。

表2 TE過程基于K-RSSPLVR和RKPLVR的故障漏報率

5 結 論

本文提出了一種基于RSSPLVR和K-RSSPLVR的故障檢測算法。在魯棒半監督模型中，樣本加權系數（）作為概率模型的先驗參數被用于衡量建模樣本的可靠性。對于離群點數據，其樣本加權值增加了測量噪聲的不確定度，而降低了其對于建模的貢獻度。利用加權后的建模樣本，本文通過EM算法訓練了RSSPLVR的模型參數。此外，針對非線性化工過程，本文進一步將線性RSSPLVR擴展為非線性模型，并提出了基于K-RSSPLVR的故障檢測算法。最后，通過TE過程仿真實驗驗證了所提出的此類魯棒半監督模型在化工過程建模與故障檢測中的有效性。

References

[1] QIN S J. Survey on data-driven industrial process monitoring and diagnosis[J]. Annual Reviews in Control, 2012, 36(2): 220-234.

[2] 劉強, 柴天佑, 秦泗釗，等. 基于數據和知識的工業過程監視及故障診斷綜述[J]. 控制與決策, 2010, 25(6): 801-807. LIU Q, CHAI T Y, QIN S J,. Progress of data-driven and knowledge-driven process monitoring and fault diagnosis for industry process[J]. Control and Decision, 2010, 25(6): 801-807.

[3] GE Z, SONG Z，GAO F R. Review of recent research on data-based process monitoring[J]. Industrial & Engineering Chemistry Research, 2013, 52(10): 3543-3562.

[4] YIN S, DING S X, XIE X,. A review on basic data-driven approaches for industrial process monitoring[J]. IEEE Transactions on Industrial Electronics, 2014, 61(11): 6418-6428.

[5] LI W, YUE H H, VALLE-CERVANTES S,. Recursive PCA for adaptive process monitoring[J]. Journal of Process Control, 2000, 10(5): 471-486.

[6] YIN S, DING S X, HAGHANI A,. A comparison study of basic data-driven fault diagnosis and process monitoring methods on the benchmark Tennessee Eastman process[J]. Journal of Process Control, 2012, 22(9): 1567-1581.

[7] WOODALL W H，MONTGOMERY D C. Some current directions in the theory and application of statistical process monitoring[J]. Journal of Quality Technology, 2014, 46(1): 78.

[8] QIN S J. Statistical process monitoring: basics and beyond[J]. Journal of Chemometrics, 2003, 17(8/9): 480-502.

[9] MACGREGOR J F, JAECKLE C, KIPARISSIDES C,. Process monitoring and diagnosis by multiblock PLS methods[J]. AIChE Journal, 1994, 40(5): 826-838.

[10] CHEN J, LIU K C. On-line batch process monitoring using dynamic PCA and dynamic PLS models[J]. Chemical Engineering Science, 2002, 57(1): 63-75.

[11] LI G, QIN S J, ZHOU D. Geometric properties of partial least squares for process monitoring[J]. Automatica, 2010, 46(1): 204-210.

[12] ZHOU D, LI G, QIN S J. Total projection to latent structures for process monitoring[J]. AIChE Journal, 2010, 56(1): 168-178.

[13] FACCO P, DOPLICHER F, BEZZO F,. Moving average PLS soft sensor for online product quality estimation in an industrial batch polymerization process[J]. Journal of Process Control, 2009, 19(3): 520-529.

[14] MARJANOVIC O, LENNOX B, SANDOZ D,. Real-time monitoring of an industrial batch process[J]. Computers & Chemical Engineering, 2006, 30(10/11/12): 1476-1481.

[15] ZHU X, GHAHRAMANI Z, LAFFERTY J. Semi-Supervised Learning Using Gaussian Fields and Harmonic Functions[M]. ICML, 2003.

[16] MURPHY K P. Machine Learning: A Probabilistic Perspective[M]. The MIT Press , 2012.

[17] ZHOU L, CHEN J, SONG Z,. Semi-supervised PLVR models for process monitoring with unequal sample sizes of process variables and quality variables[J]. Journal of Process Control, 2015, 26: 1-16.

[18] ZHU J, GE Z, SONG Z. Robust semi-supervised mixture probabilistic principal component regression model development and application to soft sensors[J]. Journal of Process Control, 2015, 32: 25-37.

[19] STANIMIROVA I, DASZYKOWSKI M, WALCZAK B. Dealing with missing values and outliers in principal component analysis[J]. Talanta, 2007, 72(1): 172-178.

[20] CHEN T, MARTIN E, MONTAGUE G. Robust probabilistic PCA with missing data and contribution analysis for outlier detection[J]. Computational Statistics & Data Analysis, 2009, 53(10): 3706-3716.

[21] ZHU J, GE Z, SONG Z. Robust modeling of mixture probabilistic principal component analysis and process monitoring application[J]. AIChE Journal, 2014, 60(6): 2143-2157.

[22] LEE J M, YOO C, CHOI S W,. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical Engineering Science, 2004, 59(1): 223-23

[23] CHO J H, LEE J M, CHOI S W,. Fault identification for process monitoring using kernel principal component analysis[J]. Chemical Engineering Science, 2005, 60(1): 279-288.

[24] HU Y, MA H, SHI H. Enhanced batch process monitoring using just-in-time-learning based kernel partial least squares[J]. Chemometrics and Intelligent Laboratory Systems, 2013, 123: 15-27.

[25] YUAN X, YE L, BAO L,Nonlinear feature extraction for soft sensor modeling based on weighted probabilistic PCA[J]. Chemometrics and Intelligent Laboratory Systems, 2015, 147: 167-175.

[26] BOX G E. Some theorems on quadratic forms applied in the study of analysis of variance problems(Ⅰ): Effect of inequality of variance in the one-way classification[J]. The Annals of Mathematical Statistics, 1954, 25(2): 290-302.

[27] KANO M, NAGAO K, HASEBE S,. Comparison of multivariate statistical process monitoring methods with applications to the Eastman challenge problem[J]. Computers & Chemical Engineering, 2002, 26(2): 161-174.

[28] KU W, STORER R H, GEORGAKIS C. Disturbance detection and isolation by dynamic principal component analysis[J]. Chemometrics and Intelligent Laboratory Systems, 1995, 30(1): 179-196.

[29] LYMAN P R, GEORGAKIS C. Plant-wide control of the Tennessee Eastman problem[J]. Computers & Chemical Engineering, 1995, 19(3): 321-331.

[30] DOWNS J J, VOGEL E F. A plant-wide industrial process control problem[J]. Computers & Chemical Engineering, 1993, 17(3): 245-255.

[31] CHIANG L H, BRAATZ R D, RUSSELL E L. Fault Detection and Diagnosis in Industrial Systems[M]. Springer, 2001.

Robust semi-supervised modelling method and its application to fault detection in chemical processes

ZHOU Le1, SONG Zhihuan2, HOU Beiping1, FEI Zhengshun1

(1School of Automation and Electrical Engineering, Zhejiang University of Science and Technology, Hangzhou 310024,Zhejiang, China;2College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, Zhejiang, China)

In most complex chemical processes, measurements are often collected with noises and some outliers. These contaminated data would have negative effect on the accuracy of data-based process modelling and fault detection. A new robust semi-supervised PLVR model (RSSPLVR) was proposed by consideration of the real measuring environment in chemical processes and extended to a nonlinear model K-RSSPLVR with a kernel methodology. In both RSSPLVR and K-RSSPLVR, a weighted coefficient based on sample similarity among all observations was used as prior checking parameter of probability model to effectively eliminate influence of outliers on modelling. Model parameter training was accomplished by analysis of the weighted dataset with EM algorithm and a fault detection scheme was developed. Finally, TE process simulation demonstrated effectiveness of the proposed modelling methods.

fault detection; robust model; semi-supervised learning; process control; process systems; principal component analysis

10.11949/j.issn.0438-1157.20161205

TP 277

A

0438—1157（2017）03—1109—07

國家自然科學基金項目(61603342)；浙江省自然科學基金項目（LQ15F030006）；浙江省教育廳項目(Y201636867)。

2016-08-30收到初稿，2016-12-03收到修改稿。

聯系人及第一作者：周樂(1987—)，男，博士，講師。

2016-08-30.

ZHOU Le, zhoule@zust.edu.cn

supported by the National Natural Science Foundation of China (61603342), the Natural Science Foundation of Zhejiang Province (LQ15F030006) and the Educational Commission Research Program of Zhejiang Province(Y201636867).