Dirichlet過程混合模型在非線性過程監控中的應用

羅 林，蘇宏業，班 嵐

（1.浙江大學 智能系統與控制研究所，浙江 杭州310027；2.北京科技大學 機械工程學院，北京 海淀100083）

故障診斷和性能監控在流程工業安全生產方面具有重要的作用.該方法可以分成定量建模［1］、定性建模［2］、數據驅動建模［3-5］.在當前 儀器儀 表和測量技術條件下，大量的過程數據被存儲下來，這些數據是數據驅動建模方法應用于性能監控的基礎.隨著統計學的發展，如：多變量統計、機器學習和模式識別，數據驅動方法在故障診斷的應用方面具有一定優勢.但是，由于質量／能量平衡和其他因素的限制，如：硬件傳感器較低的采樣率，常常使得過程變量間存在著嚴重的關聯，并且只有一小部分固有變量能夠反映出數據的波動.

傳統的多變量統計過程監測法，如主元分析、Fisher判別分析、獨立元分析和偏最小二乘，獲得了很大成功并廣泛地應用在工業過程中.但是，這些方法擁有一些局限性：首先，盡管這些方法能夠成功應對線性系統，但是過程中的非線性能夠退化這些方法的性能；其次，很少對工業流程和測量儀器中的非確定性進行討論；最后，難以得到概率性結論.對于非線性的情況，核方法能夠在一定程度上緩解非線性帶來的影響，但是基于核的方法高度依賴于所選擇的核函數［6］.

有限高斯混合模型（gaussian mixture model，GMM）［7-8］是一種廣泛用于處理過程數據隨機行為的方法.該方法不僅能夠對任意多峰概率密度進行近似，而且還可以對數據進行聚類分析，因此成為近年來的研究熱點之一.但是，這些方法通常使用Bayesian信息準則或基于熵［9］的方法對模型進行選擇.然而，這些方法有著顯著的缺陷：基于Bayesian信息準則的方法極易產生有噪聲的模型估計［10］；基于熵的模型選擇準則是非常易于過擬合的，因此常常對所要求的模型規模產生過估計［11］.

本文提出一種非參數Bayesian法，通過建立起一種Dirichlet過程混合模型，并利用近似推理來完成模型選擇過程.為了避免出現無窮問題［12］，在逆協方差矩陣上加入一種逆Wishart分布.結合高斯混合回歸得到預測變量的概率密度，并對非確定性進行度量，最后利用一種基于后驗概率的統計量對故障狀態和正常狀態進行區分.通過連續攪拌釜式反應器及田納西—伊斯曼化工過程上的實驗證明了該方法具有較高的故障診斷率.

1 有限混合模型

假設觀 測向量y ＝ ［y1，…，yN］中存在K 個簇，那么有限混合模型是根據如下過程建立的：首先根據簇標簽（或指示變量）的概率選擇出一個簇，然后由該簇所對應的假設分布來生成模型觀測.假設簇參數上的一種先驗：θ～G0，那么觀測向量、簇標簽和簇參數上的聯合分布為

式中：z＝ ｛zn為簇標簽（或指示變量），π ＝｛πn ｝為簇標簽的概率，θ ＝ ｛θk為簇所對應的參數，N 為樣本數.

對于給定數據集，根據貝葉斯定理可以計算出簇標簽的后驗概率為

對式（1）中的θ進行邊緣化可以得到似然函數，

從式（2）中分母的形式可以看出，簇標簽的后驗概率是很難解析計算出來的，因為需要對數據K 個分組的每一種潛在劃分進行加權和，解決該問題的方法之一是利用變分推理［13］.

2 變分Dirichlet混合過程模型

2.1 Dirichlet混合過程模型

在Dirichlet混合過程模型中，假設存在無限個簇，但只用有限數目個簇來生成模型觀測，利用后驗可以得到關于簇的數量、簇中的數據和簇相關參數的分布，可以理解為利用一種推理的方式來完成模型選擇過程.Dirichlet過程混合模型的基礎在于如何構建Dirichlet過程.考慮到后面的推理方法，采用stick-breaking法所建立的Dirichlet過程可以表示成如下形式：

其中，

式中：γ1和γ2為超參α上加入的一種超先驗.

式中：Rk為觀測向量y＝ ｛yn｝的逆協方差矩陣.當Rk的特征值趨于0時，概率密度將變得無窮大，那么將這種現象稱作無窮問題［12］.在使用極大似然法擬合GMM 的過程中，為了避免這種現象的產生，可以將逆Wishart分布作為一種先驗放置在Rk上［14］，那么模型狀態的高斯似然為

式中：W-1表示逆Wishart分布且自由度為ω 以及調和均值為Ψk，λk和mk表示的是高斯分布中的超參.

2.2 變分Bayesian推理

式中：Θ 為參數集合.

通過在q（z） 和q（Θ ） 上交替地對邊界進行優化即可以得到近似推理.

由于參數向量和隱含變量間是相互獨立的，那么對于截斷stick-breaking先驗，有

式中：q（·） 表示的是一種近似分布.將式（12）代入式（11）中并由貝葉斯定理，可以得到如下形式的下界，

假設參數上的先驗分布是共軛的，那么后驗密度函數與先驗密度函數間具有相同的函數形式，而函數對應的參數不同.利用先驗分布的共軛性及式（13）所 表 達 的 下 界，可 以 寫 出q （vk），q（α） 以 及q（μk，Rk）相應的更新形式，那么其后驗形式分別為

2.3 預測變量的概率密度

其中，協方差矩陣為

并且St表示Student t分布.這樣，可以估計出預測變量及其方差V ，

2.4 過擬合問題及數值實驗

用一個數值實驗說明基于變分Dirichlet過程混合模型（vbDPMM）對混合模型數量的魯棒性.考慮如下的數值模型：

式中：s為服從 ［0 ，1］ 區間上的一種正態分布，且噪聲項ξ～N （0，0.1.） 利用式（21）生成500個樣本，其中300個樣本用于訓練，200個樣本進行測試.數值模型的樣本分布如圖1 所示.將vbDPMM 與高斯混合模型（GMM）進行對比分析，選用預測殘差平方和PRESS（prediction error sum of square）為指標分析簇的數量K 對預測算法性能的影響.如圖2所示，從圖可以看出，當混合模型的數量K ＝2時，這2種方法的預測性能均達到最優情況，這與圖1所示的數據實際分布是吻合的.當K ≥3 時，GMM 的回歸性能出現了過擬合現象，雖然vbDPMM 的PRESS值也出現了一定的震蕩，但相比于GMM 而言，并沒有出現較為明顯的過擬合現象.

圖1 由式（21）所描述的數值模型Fig.1 Artificial model defined by（21）

圖2 對于不同數量的混合模型，GMM 與vbDPMM 間的性能比較Fig.2 Performance comparison between GMM and vb-DPMM for different numbers of mixture models

3 實 驗

3.1 基于變分Dirichlet混合過程的故障診斷

本文使用一種基于樣本局部Mahalanobis距離的測度對后驗中的變化進行度量.這種測度的形式如下：

式中：E ｛πk（v） ｝為πk（v） 的期望.可以利用T2和SPE統計量中所使用的概率密度估計法得到D 統計量控制上限.

綜上所述，可以得到這種基于變分Dirichlet過程混合模型回歸模型（vbDPMM）的故障診斷步驟：

Step 1：將訓練樣本規范化為零均值且單位方差.

Step 2：估計出截斷參數K ，使用Figueiredo-Jain（F-J）算法［16］.

Step 3：設定初始參數，利用式（12）、（14）、（15）、（16）以及相應的參數估計值，計算出E-step和M-step.

Step 4：利用式（13）計算得到下界Β（Y ），并檢驗自由能是否呈單調遞增趨勢.

Step 5：反復進行Step 3-4直至收斂.

Step 6：分別使用式（19）和（20）對預測估計Y＊及其非確定性度量V 進行計算.

Step 7：根據式（22）和（23）計算D 統計量，并利用核密度估計法對其控制限進行計算.

3.2 連續攪拌釜式反應器

將所提出的故障診斷方法應用于非絕熱連續攪拌釜式反應器（CSTR）模型.很多研究者均以此模型作為研究對象來檢驗其故障診斷方法能否應對簡單的工業過程.CSTR 是一種非線性動態系統，其模型可以表達為［17］

式中：cA為出口濃度；qV為反應物體積流量；V 為反應器體積，V ＝Ach，這里h是反應物高度，Ac為反應器的橫截面面積；cAf為進料濃度；k0為預指數非熱力因子；μB 為活化能；R 為Boltzmann理想氣體常數；t為反應物溫度；tf為進料溫度；tj為冷卻劑溫度；ΔH 為反應熱參數；ρ·cp為混合物密度和熱容量的乘積；U 為總的熱交換系數；Ah為熱交換面積，Ah＝πdh，這里，d 為反應器半徑.

CSTR 非 線 性 模 型 的 輸 入 變 量 為［qV，tj，cAf，tf］，輸出變量為［t， cA］，該模型變量的初始值及模型參數如表1 所示，采樣周期為0.02 min.數據均采自平穩狀態.現在定義2個用于衡量故障檢測效果的性能指標，其中錯報率（MDR）為

另外，檢測延遲（detection delay）是第1次正確報警的時刻與開始發生故障的時刻之間的樣本數，該量反映了檢測方法對于故障的敏感程度.

在第150個樣本點處引入qV流量傳感器故障，且偏差為15m3／h，并對此進行分析.如圖3、4所示分別是基于KPCA 和vbDPMM 的診斷結果，圖中的虛線是利用核密度估計［15］所得到的對應統計量99%置信控制限.從圖3中可以看出，KPCA 在沒有引入故障的情況下能夠準確檢測出系統的正常狀態，但是當引入故障之后，T2和SPE 統計量均在其控制限周圍震蕩，這說明KPCA 法不能連續地診斷出故障.而基于vbDPMM 的診斷方法在系統引入故障之后，不但能夠準確地給出故障引入的時間，而且所給出的診斷結果顯示，該故障始終存在于系統之中，如圖4所示.這說明所提出的方法.

表1 CSTR 系統參數Tab.1 Parameters in CSTR system

圖3 基于KPCA的方法對CSTR 中qV 流量傳感器故障的診斷結果Fig.3 Monitoring result of KPCA-based method for fault in F sensor of CSTR

無論在診斷延遲還是錯報率方面都要優于KPCA 法.

3.3 Tennessee Eastman過程模型

圖4 基于vbDPMM 的方法對CSTR 中qV 流量傳感器故障的診斷結果Fig.4 Monitoring result of vbDPMM-based method for fault in qV sensor of CSTR

Tennessee Eastman（TE）過程是一種接近于真實化工過程的模型，無論是在過程控制領域［18］還是過程監測領域［19-20］均將該模型當作一種用于方法比較的基準.在TE過程中，存在41個測量變量（其中22個為過程測量變量，19個組分測量變量）和11個操作變量（在實驗過程中，排除掉攪拌速度，因為沒有對其進行控制）.TE 模型一共定義了21 種故障（IDV（1）～IDV（21）），這些故障和變量的意義見文獻［5］.這里需要注意的是，應用于TE 模型的控制策略不同，相應地克服故障的能力也是不同的，因此會導致診斷結果存在差異［5］，這里選用文獻［21］中的控制策略.

在TE模型的所有故障中，故障19是一種典型的未知復雜故障，因此本文以此故障為例對基于KPCA 和vbDPMM 的方法進行討論.基于KPCA的過程監測如圖5所示.從中可以看出，當系統中存在未知故障19時，由于該故障影響著殘差空間，而是T2統計量以殘差空間為基礎計算得出的，所以大部分T2統計量在控制限附近震蕩，而SPE 統計量在控制限以下的樣本數明顯少于T2統計量，這說明由T2統計量所給出的故障報警沒有SPE 統計量給出的準確.但是在圖5（b）中可以看到，在第200-960個樣本之間，SPE 統計量還是存在著一定的錯報率.基于vbDPMM 的故障診斷方法是利用變分近似Bayesian推理得到變量的后驗概率，并以此為基礎得到D 統計量，因此其錯報率明顯要比基于KPCA 的方法要小很多，如圖6所示.

圖5 基于KPCA的方法對TE模型中故障19的診斷結果Fig.5 Monitoring result of KPCA-based method for fault 19in TE process

可以利用式（24）以及檢測延遲的定義分別計算出TE過程中所有21個故障的錯報率和檢測延遲，這里用DD 來表示檢測延遲，分別如圖7、8所示.從圖7中可以看出，與KPCA 相比，所提出的方法能夠更準確地診斷出TE 過程中的故障，并且該方法能夠得到令人滿意的漏報率，如圖8所示.注意，由于被檢測變量中所引入的干擾十分微小，所以圖7和8中對于故障3、故障9和故障15具有較高的錯報率和檢測延遲［5］.

圖6 基于vbDPMM 的方法對TE 模型中故障19的診斷結果Fig.6 Monitoring result of vbDPMM-based method for fault 19in TE process

圖7 基于KPCA和vbDPMM 方法對TE過程中故障的錯報率Fig.7 Missing detection rate of KPCA and vbDPMM for TE process

圖8 基于KPCA和vbDPMM 方法對TE過程中故障的檢測延遲Fig.8 Detection delay of KPCA and vbDPMM for TE process

4 結 語

本文提出的非參數Bayesian 故障診斷方法是一種將推理過程和模型選擇有效地結合在一起的方法，該方法采用非參數Bayesian的基本框架，利用stick-breaking構造法建立起一種Dirichlet混合過程，在變分推理過程中采用截斷作用，并根據自由能反復修正截斷模型，使得模型選擇和推理過程有機地結合在一起.隨后，使用高斯混合回歸得到預測變量的概率密度和非確定性度量，從而對工業流程中的非確定性進行討論.最后，利用推理過程所得到的參數、預測變量估計值和非確定性度量得到了一種能夠對后驗中的細微變化進行度量的統計量.通過在CSTR 和TE 化工模型上的研究顯示出，該方法能夠更加準確地檢測出多種故障.

（

）：

［1］VENKATASUBRAMANIAN V，RENGASWAMY R，YIN K.，et al.A review of process fault detection and diagnosis part I：Quantitative model-based methods［J］.Computers and Chemical Engineering，2003，27（3）：293-311.

［2］VENKATASUBRAMANIAN V，RENGASWAMY R，KAVURI S N.A review of process fault detection and diagnosis part II：Qualitative models and search strategies［J］.Computers and Chemical Engineering，2003，27（3）：313-326.

［3］VENKATASUBRAMANIAN V，RENGASWAMY R，KAVURI S N，et al.A review of process fault detection and diagnosis part III：Process history based methods［J］.Computers and Chemical Engineering，2003，27（3）：327-346.

［4］QIN S J.Survey on data-driven industrial process monitoring and diagnosis［J］.Annual Reviews in Control，2012，36（2）：220-234.

［5］SHEN Y，STEVEN X D，ADEL H，et al.A comparison study of basic data-driven fault diagnosis and process monitoring methods on the benchmark Tennessee Eastman process［J］.Journal of Process Control，2012，22（9）：1567-1581.

［6］LIN L，HONGYE S，BAOFEN Z，et al.Generalized convexity-based inexact projection method for multiple kernel learning［J］.Journal of Intelligent and Fuzzy Systems，2014，27（4）：1825-1835.

［7］YU J，QIN S J.Multimode process monitoring with Bayesian inference-based finite Gaussian mixture models［J］.American Institute of Chemical Engineers，2008，54（7）：1811-1829.

［8］TAO C，JIE Z.On-line multivariate statistical monitoring of batch processes using Gaussian mixture model［J］.Computers and Chemical Engineering，2010，34（4）：500-507.

［9］MCLACHLAN G，PEEL D.Finite mixture models［M］.John Wiley ＆Sons：New York，USA，2000.

［10］RUSSELL E L，CHIANG L H，BRAATZ R D.Fault detection in industrial processes using canonical variate analysis and dynamic principal component analysis［J］.Chemometrics and Intelligent Laboratory Systems，2000，51（1）：81-93.

［11］CHATZIS S P，KOSMOPOULOS D，VARVARIGOU T.Signal modeling and classification using a robust latent space model based on t distributions［J］.IEEE Transactions on Signal Processing，2008，56（3）：949-963.

［12］DAVID B.Bayesian Reasoning and Machine Learning［M］.Cambridge University Press：New York，USA，2012.

［13］ATTIAS H.A variational bayesian framework for graphical models［C］∥Advances in Neural Information Processing Systems.Denver：MIT Press，2000：209-215.

［14］LIN L，LEI X，KRUGER U，et al.A novel Bayesian robust model and its application for fault detection and automatic supervision of nonlinear process［J］.Industrial ＆ Engineering Chemistry Research.2015，54（18）：5048-5061.

［15］CHEN Q，KRUGER U，MERONK M，et al.Synthesis of T2and Q statistics for process monitoring［J］，Control Engineering Practice，2004，12（6）：745-755.

［16］FIGUEIREDO M，JAIN A K.Unsupervised learning of finite mixture models［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence.2002，24（3）：381-396.

［17］CHO J H，LEE J M，CHOI S W，et al.Fault identification for process monitoring using kernel principal component analysis［J］.Chemical Engineering Science，2005，60（1）：279-288.

［18］RICKER NL.Decentralized control of the tennessee eastman challenge process［J］.Journal of Process Control，1996，6（4）：205-221.

［19］ZHIQIANG G，ZHIHUAN S.Performance-driven ensemble learning ICA model for improved non-Gaussian process monitoring［J］.Chemometrics and Intelligent Laboratory Systems，2013，123：1-8.

［20］LEI X，XIAOZHONG L，JIUSUN Z.Shrinking principal component analysis for enhanced process monitoring and fault isolation［J］.Industrial ＆ Engineering Chemistry Research，2013，52（49）：17475-17486.

［21］LARSSON T，HESTETUN K，HOVLAND E，et al.Self-Optimizing control of a large-scale plant：the Tennessee Eastman process［J］.Industrial ＆Engineering Chemistry Research，2001，40（22）：4889-4901.