多SVDD模型的多模態過程監控方法

楊雅偉，宋冰，侍洪波

（華東理工大學化工過程先進控制和優化技術教育部重點實驗室，上海 200237）

多SVDD模型的多模態過程監控方法

楊雅偉，宋冰，侍洪波

（華東理工大學化工過程先進控制和優化技術教育部重點實驗室，上海 200237）

現代工業過程往往具有多個運行模態，并且單一模態中的變量服從高斯與非高斯混合的復雜數據分布。針對多模態與復雜數據分布問題，基于局部離群概率（local outlier probability, LOOP）算法與支持向量數據描述（support vector data description, SVDD）算法，提出了一種名為MSVDD（multiple support vector data description, MSVDD）的多模態過程監控方法。首先，考慮到不同模態之間存在差異，利用差分策略以及局部離群概率算法對多模態數據進行聚類。其次，在每個單一模態下分別建立SVDD模型。然后，通過計算測試樣本對每個單一模態的離群概率選擇合適的模型進行過程監控。最后，在Tennessee Eastman（TE）平臺上進行仿真測試以驗證提出方法的可行性與有效性。

多模態；復雜數據分布；局部離群概率；支持向量數據描述；過程監控

生產過程往往具有多個運行模態，針對這一問題，學者們做了一些研究，提出了多種多模態過程監控方法。Zhao等[5]通過建立多個模型對多模態過程進行監控。對于這種多模型監控策略，在建模階段，對歷史數據集進行模態劃分，并在每一個模態中分別建立局部模型。在監控階段，若從多個局部模型中選擇最優模型進行監控，則需要確定準則挑選最優模型；若選擇多個局部模型而非單一局部模型進行監控，則需要確定準則對各個局部模型結果進行整合[6]。Tan等[7]提出了基于數據相似特性的模態識別方法用于模態劃分。文獻[8-9]分別采用貝葉斯分類方法、模糊C均值聚類方法實現對多模態數據的模態劃分。Xie等[10]將模糊C均值聚類方法與局部保持映射算法相結合應用于多模態化工過程監控。Ge等[11]將貝葉斯整合策略應用于多模態過程監控，取得了令人滿意的監測結果。由于高斯混合模型可用來描述多峰數據，Choi等[12]將高斯混合模型與主元分析方法相結合對多模態過程進行監控。Yu 等[13]將高斯混合模型與貝葉斯推斷方法相結合建立了一種概率監測指數用于過程監控。最近，Song 等[14]通過建立多個子空間，利用主元分析方法與局部離群因子算法對多模態過程進行監控。

實際工業生產過程受內、外界因素諸如反饋系統、非高斯噪聲的影響，所采集的數據并不嚴格服從高斯分布或某種非高斯分布，而是服從一種高斯與非高斯混合的復雜數據分布。在實際工業過程中采集的數據，僅僅部分變量服從高斯分布，其他變量服從不同類型的非高斯分布。針對此問題，根據獨立元分析方法、主元分析方法對數據分布假設條件的不同，Ge等[15]提出了將獨立元分析方法與主元分析方法相結合（independent component analysis-principal component analysis，ICA-PCA）的監控策略。Zhao等[16]將核函數引入到ICA-PCA模型中，提出了 KICA-PCA（kernel independent component analysis-principal component analysis）兩步建模方法用于間歇過程的故障檢測，解決了復雜數據分布，過程非線性問題。近年來，越來越多的無須數據分布假設的算法吸引了廣大學者的關注。Ma等[17]將移動窗策略引入局部離群因子（local outlier factor，LOF）算法中，實現了對具有時變特性過程的監控。文獻[18]基于SVDD算法提出了一種用于間歇過程監控的方法，取得了令人滿意的監控結果。

針對現代工業過程中存在的多模態與復雜數據分布問題，本文提出了一種新的名為MSVDD的過程監控方法。首先，考慮到不同模態之間存在差異，利用差分策略以及LOOP算法實現對多模態數據集的模態劃分。其次，利用SVDD算法在每個單一模態中分別建立模型，并得到SVDD模型的中心以及半徑。然后，計算測試樣本對每個單一模態的離群概率，選擇離群概率最小的模型進行過程監控。最后，通過TE過程仿真驗證MSVDD方法對于多模態過程監控的可行性與優越性。

1　基礎算法

1.1局部離群概率（LOOP）算法

LOOP算法是一種無監督的數據挖掘方法，最早應用于離群點檢測領域。LOOP值的大小表明一個樣本為離群點概率的大小。具體算法步驟如下。

（2）根據樣本ix的k個近鄰點集合計算ix的概率集距離（λ為權重系數）

（3）估計ix周圍樣本的分布密度，概率局部離群因子定義如下

（4）計算概率局部離群因子的標準差ep _lof如下

（5）利用高斯誤差函數，根據式（5）計算局部離群概率

由以上計算過程可以得到，loop(xi)取值范圍為[0,1]。loop( xi) 值越大， xi是離群點的概率越大。

1.2支持向量數據描述（SVDD）算法

SVDD算法是一種數據描述方法，最早提出應用于一階分類問題。隨著研究的深入，學者將SVDD算法拓展到過程監控領域以解決復雜數據分布問題。算法具體步驟如下。

其中，iξ為松弛變量。

（2）通過引入拉格朗日乘子以及核策略，將上述問題轉化為如下問題

2　MSVDD過程監控方法

為了解決現代工業過程中存在的多模態以及復雜數據分布問題，首先基于差分策略與LOOP算法將多模態數據進行聚類。然后，根據每一單模態中的數據分別建立SVDD模型，構造統計量并確定其控制限。最后，根據測試樣本對每個單一模態的局部離群概率選擇合適的模型進行監控。

2.1模態劃分

由于市場需求的變化、原料的變化等因素的影響，現代工業過程往往具有多個操作工況。當操作模態不同時，過程數據特性如均值與方差會存在很大的不同。由于建模數據X來自于多個操作模態，需要將多模態數據集通過聚類得到每個單一模態的數據。考慮到同一模態中的樣本具有相似性，不同模態的樣本具有差異性，并且樣本采樣具有時序性，將X進行差分得到差分矩陣Xc。確定差分步長為d，差分矩陣可以表示如下

由于建模數據X具有時序性，差分矩陣Xc中會包含一些由不同模態樣本差分得到的點。如果建模數據X包含B個操作模態，那么差分矩陣中將包含 d×B個不同模態樣本差分得到的點。考慮到差分步長 d 遠遠小于單一模態中樣本的個數，d×B個點在差分矩陣中的密度很小，利用離群點檢測方法LOOP進行檢測。通過LOOP算法找到這d×B個離群點，也就可以得到模態的切換點。

在差分矩陣中，不同模態樣本差分的點的LOOP值大于同一模態樣本差分的點的LOOP值。由于LOOP是一種概率，很難取到1，因此本文采用置信度0.99作為其閾值。

例如，Xe中包含30個模態1的數據，30個模態2的數據，差分步長選為1。差分矩陣可以表示如下

從式（11）可知，差分矩陣 Xec包含一個不同模態樣本差分的點。由于同一模態中的樣本具有相似性，所以差分矩陣 Xec中存在一個離群點。采用 LOOP算法對差分矩陣 Xec進行離群點檢測，可以得到點的位置，該位置即為模態切換的地方。切換點前的樣本為模態1中的樣本，切換點之后的樣本為模態2的樣本。

相較于傳統的聚類方法，本文提出的聚類算法是根據差分矩陣中不同模態樣本差分的點來找到模態切換點，因此不需要提前確定模態個數。另外，由于本文所提出的聚類算法不需要迭代過程，所以不會陷入局部最優。本文所提聚類算法假設訓練數據集中僅包含多個穩定模態的數據，不包含過渡模態。因此相鄰模態如果出現差異性緩慢發生的情況，本文所提方法不能對訓練數據進行很好的聚類。

2.2MSVDD方法

其中，biy為bY中的一個樣本，bky為支持向量。

對于測試階段的一個測試樣本xt，首先計算xt對每個單一模態的離群概率，選擇離群概率最小的模型b( b =1,2,…,B)作為其監控模型。然后，利用meanb, stdb對樣本xt進行標準化得到樣本yt。最后，定義其監控統計量如下

由式（13）可知，DIS的控制限為1。

2.3MSVDD過程監控方法步驟

離線建模過程：

（1）將建模數據X進行差分，得到矩陣Xc；

（2）利用LOOP算法對矩陣Xc剔除離群點，得到每個單模態數據集

（4）利用SVDD算法在每個單一模態中分別建立模型，得到中心以及半徑

在線監控過程：

（1）計算測試樣本xt對每個單一模態的離群概率，選擇離群概率最小的模型作為其監控模型；

（2）利用meanb, stdb對樣本 xt進行標準化得到yt；

（3）根據式（14）定義統計量DIS；

（4）判斷DIS是否超過1。

3　TE過程仿真

本節通過 Tennssee Eastman過程仿真驗證MSVDD方法的有效性與優越性。PCA方法是一種廣泛應用于過程監控的方法。此外，SVDD算法可以直接應用于過程監控。將本文提出的MSVDD方法與PCA，SVDD方法進行比較，驗證本文提出的MSVDD方法在監控多模態過程上的優越性。

TE過程由連續攪拌式反應器、氣液分離器、離心式壓縮機、再沸器、冷凝器5個主要操作單元組成，已被廣泛用于測試不同監控方法的監控性能[19-22]。TE過程一共有6個不同操作模態，本文選取9個被控變量、22個連續過程變量作為監控變量。TE過程的原理和變量詳細信息見文獻[14]。

多模態 TE過程設定了 20個故障，其中故障16～20未知，故障3、9、15幅值過小，因此本文選取剩余的12個故障測試方法的性能。建模數據包括500個模態1的正常數據和500個模態3的正常數據。測試過程中，過程首先運行在模態1下，采樣1000個數據，然后切換到模態3，采樣1000個數據。故障測試數據集均設定在第1200個樣本處發生故障。在PCA方法中，根據95%的方差貢獻度選擇主元個數。在SVDD和MSVDD方法中均采用高斯核函數（其中參數為sigma），參數設置如下：C=0.5，sigma=50。

圖1　TE過程模態3中2個變量的正態分布概率Fig.1　Probability plot for normal distribution of two variables in TE under mode 3

圖2　TE過程中模態1和模態3下變量散點圖Fig.2　Scatter plot of variable in TE under mode 1 and mode 3

圖1是TE過程模態3中2個變量的正態分布概率，從圖可看出，變量（汽提器塔底流量）服從高斯分布，變量（壓縮機功率）不服從高斯分布。圖2是TE過程中模態1和模態3下變量的散點圖，從圖可看出，不同的模態數據具有不同的均值與方差，其數據分布也不相同。總之，不同的模態具有明顯的差異性。對于TE過程的多模態訓練數據，首先采用提出的聚類算法進行聚類。在線監控時，選擇離群概率最小的模型作為當前樣本的監控模型。圖3是離線模態劃分結果。從該圖可看出，訓練數據集中前500個樣本被分為一類，對應于模態1；后500個樣本被分為一類，對應于模態3。模態1的數據建立第1個模型，模態3的數據建立第2個模型。圖4是在線模型選擇結果。從該圖可看出，測試數據集中前1000個樣本選擇模型1作為其監控模型；后1000個樣本選擇模型2作為其監控模型。

圖3　離線模態劃分結果Fig.3　Result of offline modes partition

圖4　在線模型選擇結果Fig.4　Result of online models selection

圖5　正常過程監測結果Fig.5　Monitoring results of normal database

圖5是3種方法對于正常數據集的檢測結果，3種方法均沒有檢測到故障的發生，并且誤報率均在可接受范圍內（5%）。表1列出來3種方法對模態3中12個故障的檢測結果。對于每一個故障，最小漏報率以加粗形式突出顯示。從表1可以看出，對于所有故障，相較于PCA與SVDD方法，MSVDD方法均可以取得最好的監控結果，說明了本文提出方法的優越性。

表1　模態3中故障數據集的漏報率Table1　Miss alarm rate of fault database in mode 3/%

圖6以圖示的形式展示了3種方法對于模態3中故障10的檢測結果。在圖6（a）～（c）中，PAC方法以及SVDD方法不能檢測到該故障的發生，漏報率均大于90%，幾乎所有的故障樣本均位于控制限以下。相比而言，本文提出的MSVDD方法可以及時有效地檢測到該故障的發生，故障漏報率僅為10%。

圖7以圖示的形式展示了3種方法對于模態3中故障14的檢測結果。在圖7（a）中，PCA的T2統計量不能檢測到故障的發生，漏報率大于90%。在圖7（b）與圖7（c）中，PCA的SPE統計量與SVDD方法可以檢測到故障的發生，但是檢測結果不能令人滿意，仍有相當一部分的故障樣本被錯誤地判定為正常樣本。在圖7（d）中，MSVDD方法能夠快速地檢測到故障的發生，并且故障樣本一直位于控制限以上，漏報率為 0%，說明了本文所提出方法的優越性。

圖6　模態3中故障10的檢測結果Fig.6　Monitoring results of fault 10 in mode 3

4　結　論

圖7　模態3中故障14的檢測結果Fig.7　Monitoring results of fault 14 in mode 3

針對現代工業過程中存在的多模態以及復雜數據分布問題，本文提出了一種新的多模態過程監控方法MSVDD。首先，根據提出的聚類方法對多模態數據進行模態劃分。相較于傳統的聚類方法，本文提出的聚類算法不僅不需要提前確定模態的個數，而且不會陷入局部最優。其次，在每個單一模態中建立SVDD模型。然后，根據測試樣本對每個單一模態的離群概率選擇模型。最后，通過TE過程仿真驗證所提出方法的有效性。

References

[1]Kruger U, Dimitriadis G. Diagnosis of process faults in chemical systems using a local partial least squares approach [J]. AIChE J., 2008, 54: 2581-2596.

[2]Lee J M, Yoo C K, Choi S W, Vanrolleghem P A, Lee I B. Nonlinear process monitoring using kernel principal component analysis [J]. Chem. Eng. Sci., 2004, 59: 223-234.

[3]Ge Z Q, Song Z H. Mixture Bayesian regularization method of PPCA for multi-mode process monitoring [J]. AIChE J., 2010, 56: 2838-2849.

[4]Jin H D, Lee Y H, Han C H. Robust recursive principle component analysis modeling for adapting monitoring [J]. Ind. Eng. Chem. Res., 2006, 45: 696-703.

[5]Zhao S J, Zhang J, Xu Y M. Monitoring of processes with multiple operation modes through multiple principle component analysis models [J]. Ind. Eng. Chem. Res., 2004, 43: 7025-7035.

[6]Ma H H, Hu Y, Shi H B. Fault detection and identification based on the neighborhood standardized local outlier factor method [J]. Ind. Eng. Chem. Res., 2013, 52: 2389-2402.

[7]Tan S, Wang F L, Peng J, Chang Y Q, Wang S. Multimode process monitoring based on mode identification [J]. Ind. Eng. Chem. Res., 2012, 51: 374-388.

[8]Liu J, Chen D S. Fault detection and identification using modified Bayesian classification on PCA subspace [J]. Ind. Eng. Chem. Res., 2009, 48: 3059-3077.

[9]Ge Z Q, Song Z H. Multimode process monitoring based on Bayesian method [J]. Journal of Chemometrics, 2009, 23: 636-650.

[10]Xie X, Shi H B. Multimode process monitoring based on fuzzy C-means in locality preserving projection subspace [J]. Chinese J. Chem. Eng., 2012, 20:1174-1179.

[11]Ge Z Q, Gao F R, Song Z H. Two-dimensional Bayesian monitoring method for nonlinear multimode processes [J]. Chem. Eng. Sci., 2011, 66: 5173-5183.

[12]Choi S W, Park J H, Lee I B. Process monitoring using a Gaussian mixture model via principal component analysis and discriminant analysis [J]. Comput. Chem. Eng., 2004, 28: 1377-1387.

[13]Yu J, Qin S J. Multimode process monitoring with Bayesianinference-based finite Gaussian mixture models [J]. AIChE J., 2008, 54:1811-1829.

[14]Song B, Shi H B, Ma Y X, Wang J P. Multi-subspace principal component analysis with local outlier factor for multimode process monitoring [J]. Ind. Eng. Chem. Res., 2014, 53: 16453-16464.

[15]Ge Z Q, Song Z H. Process monitoring based on independent component analysis-principal component analysis (ICA-PCA) and similarity factors [J]. Ind. Eng. Chem. Res., 2007, 46: 2054-2063.

[16]Zhao C H, Gao F R, Wang F L. Nonlinear batch process monitoring using phase-based kernel-independent component analysis-principal component analysis (KICA-PCA) [J]. Ind. Eng. Chem. Res., 2009, 48: 9163-9174.

[17]Ma Y X, Shi H B, Ma H H, Wang M L. Dynamic process monitoring using adaptive local outlier factor [J]. Chem. Intel. Lab. Syst., 2013, 127: 89-101.

[18]Ge Z Q, Song Z H. Bagging support vector data description model for batch process monitoring [J]. J. Process Control, 2013, 23: 1090-1096.

[19]Downs J J, Vogel E F. A plant-wide industrial process control problem [J]. Computers and Chemical Engineering, 1993, 17: 245-255.

[20]Ricker N L. Optimal steady-state operation of the Tennessee Eastman challenge process [J]. Comput. Chem. Eng., 1995, 19: 949-959.

[21]Wang L, Shi H B. Multivariate statistical process monitoring using an improved independent component analysis [J]. Chem. Eng. Res. Des., 2010, 88: 403-414.

[22]Zhao C H, Gao F R. Fault-relevant principal component analysis (FPCA) method for multivariate statistical modeling and process monitoring [J]. Chemom. Intell. Lab. Syst., 2014, 133: 1-16.

Multimode processes monitoring method via multiple SVDD model

YANG Yawei, SONG Bing, SHI Hongbo
(Key Laboratory of Advanced Control and Optimization for Chemical Processes of Ministry of Education, East China University of Science and Technology, Shanghai 200237, China)

Modern industrial processes always have multiple operation modes. Besides, the variable in the single mode often obey complex data distribution which is a mix of Gaussian distribution and non-Gaussian distribution. Considering the problems of both multimode and complex data distribution, a new multimode processes monitoring method called multiple SVDD is proposed based on the local outlier probability algorithm and the support vector data description algorithm. First, given that the differences exist between different modes, the clustering is conducted by employing the differential strategy and the local outlier probability algorithm. Second, the SVDD algorithm is used to build the monitoring model in each single mode. And then, the most suitable model is selected for each testing sample through calculating the outlier probability. Finally, the feasibility and efficiency are proved through the Tennessee Eastman process simulation.

multimode; complex data distribution; local outlier probability; SVDD; processes monitoring

引　言

為了保證生產安全，提高產品質量，需要對過程運行狀態進行實時監控。由于過程數據易于記錄與收集，多元統計過程監控技術得到迅速發展[1-4]。實際操作條件下，受進料組分變化、生產策略變更等因素影響，生產過程往往具有多個運行模態。此外，單一模態下采集的數據并不嚴格服從單一的高斯或非高斯分布，而是服從高斯與非高斯相混合的復雜數據分布。然而，傳統的多元統計過程監控方法假設系統運行在單一模態下以及采集的數據服從高斯分布。因此，直接將傳統的多元統計過程監控方法應用于實際生產過程中，將會導致高誤報率與高漏報率，進而影響產品質量。

date: 2015-04-14.

SHI Hongbo, hbshi@ecust.edu.cn

supported by the National Natural Science Foundation of China (61374140).

10.11949/j.issn.0438-1157.20150479

TP 277

A

0438—1157（2015）11—4526—08

2015-04-14收到初稿，2015-07-24收到修改稿。

聯系人：侍洪波。第一作者：楊雅偉（1979—），女，博士研究生。

國家自然科學基金項目（61374140）。