基于局部保序降維的SVDD故障檢測方法

謝彥紅，薛志強，李 元

(沈陽化工大學 理學院， 遼寧 沈陽 110142)

現代工業生產過程復雜、規模龐大，在實現高度自動化的同時又要保證控制的安全性、可靠性與準確性，因此對過程的監控以及故障診斷尤為重要.但通常工業過程很難建立準確的過程機理模型，而且不斷變化的過程很難應用模型來進行管理，因此，基于歷史數據的過程控制與檢測方法取得越來越多成果.基于數據驅動的故障診斷方法就是對歷史數據進行分析處理，從而在不需知道系統精確解析模型的情況下完成對系統的故障診斷[1].

主元分析(principal component analysis，PCA)是一種基于數據驅動的故障檢測方法[2].PCA是通過對過程變量的樣本協方差矩陣進行特征值分解，選取前一個最大的特征值所對應的特征向量作為投影方向.將原始數據空間分為正交且互補的主元子空間(principle component subspace，PCS)和殘差子空間(residual subspace，RS)，PCS包含原始數據的變化信息，RS主要包含了噪聲的影響.針對PCS和RS采用Hotelling’sT2和SPE兩種統計量來檢測故障是否發生變化.PCA 方法解決了線性、單工況的過程故障檢測問題，但由于T2和SPE要求數據服從多元高斯分布,對非線性過程數據則不能進行有效檢測[3].針對PCA的缺陷，Kim等[4]提出基于核主成分分析(kernel principal component analysis,KPCA)方法，通過將原始空間線性不可分數據投影到高維空間轉換為線性可分數據，并且通過原始空間的核運算代替高維空間的點乘運算. 謝等[5]提出自適應遞歸KPCA方法，解決了KPCA計算復雜的問題.考慮到過程的動態性，Ku等[6]提出了DPCA(dynamic principal component analysis,DPCA)方法.童等[7]考慮到不同測量變量之間的相關性，提出了基于互信息的分散式DPCA故障檢測方法.以PCA為基本方法的故障檢測策略都對離群值特別敏感，當數據中有離群值出現，PCA尋找的投影方向就會受到影響，從而影響全局建模及檢測.

針對離群值影響投影方向的問題，He等[8]提出局部保持投影(locality preserving projection，LPP).LPP通過在拉普拉斯特征映射算法(laplacian embedding，LE)[9]的基礎上引入線性變換，解決了LE不能處理“out of sample”，即新數據的問題.作為線性降維方法，LPP與PCA的區別在于降維后最大程度保持了原始數據的局部結構特性，同時最大程度弱化了離群值對尋找投影方向的影響.由于LPP尋找的投影方向為非正交方向，Cai等[10]利用正交基函數提出正交LPP(orthogonal LPP，OLPP).Bao等[11]為了保持數據集局部和全局的信息，提出了稀疏全局局部保持投影(sparse global-local preserving projections，SGLPP)，保持了數據集的全局結構和局部結構，并通過稀疏變換向量提取了變量之間的相關性.然而，和PCA方法一樣，LPP適用于單模態故障檢測，對于多模態結構數據檢測能力不足.

Tax等[12-13]首次提出支持向量數據描述(support vector domain description，SVDD)是一種單值分類方法，可以實現對目標樣本集建立包含最多樣本的最小體積超球面模型，被廣泛地應用于故障檢測領域.SVDD不僅具有較好的線性數據處理能力，同時具有較好的非線性處理能力.但是SVDD存在計算量較大、訓練階段時間較長的問題.本研究提出LPP-SVDD故障檢測方法，采用LPP將原始觀測數據集降到低維子空間中，將低維特征空間的數據利用SVDD建立故障檢測模型，并確定監控統計量及其控制限.

1 基本方法

1.1 LPP原理介紹

LPP算法是一種線性降維方法，其目的是在降維的同時最大化保留局部近鄰信息.

給定數據集X=[x1,x2,…,xm]∈Rn，其中：m為X的樣本數；xi為n×1維列向量；n為X的維數，也就是其變量數.LPP算法通過尋找投影矩陣v,使得yi=vTxi.其中：Y=[y1,y2,…,ym]∈Rd；yi是d×1維列向量，d

min[∑ij(yi-yj)2]W.

(1)

其中:W為權值矩陣，它表示數據集X樣本間的關系，其內部元素wij定義為

(2)

其中:xj為xi的k近鄰,k為近鄰數；t為參數，通常依據數據特征進行調選；wij的含義為當xj在xi的近鄰集內時，會對應一個權值wij，如果不在則權值為0.式(1)可轉化為

最終的優化目標函數為

(3)

為保證wij存在唯一解，加入約束條件vTXDXTv=1.使目標函數取v的最小值，可轉換為求解式(4)的廣義特征問題的最小特征值問題.

XLXTv=λXDXTv.

(4)

其中:λ為特征方程的特征值，將其從小到大排列，取前d個最小特征值對應的特征向量構成投影矩陣vn×d.對于新的數據樣本x*，可得投影后的樣本y*=vTx*，y*為d×1維列向量.

(5)

采用T2統計量監控主元子空間數據變化信息.

(6)

其中Λ是X的協方差矩陣.T2的控制限為

(7)

采用SPE統計量監控殘差子空間數據變化信息.

(8)

SPE的控制限為

(9)

1.2 SVDD原理介紹

SVDD方法目標是構建一個超球面.超球面需要滿足其體積最小，同時保證包含全部(大多數)數據.構建超球面的目標函數

F(R,a)=R2.

(10)

其中：R表示超球面的半徑；a表示球心.

當數據中出現偏離的數據時，會導致構建的超球面不能有效地描述數據邊界，此時構建的目標函數需要引入松弛向量ξi來調節離散數據對超球面的影響.

(11)

其中：C是懲罰系數，它權衡超球面包含數據個數和超球體積的比率關系，通常利用公式(12)[14]計算得到.

(12)

其中：d與置信度相對應，選取99%置信度，則d=0.01.

為了保證超球體的體積最小，建立約束條件

(xi-a)T(xi-a)≤R2+ξi.

(13)

從而轉化為求解最優化問題

利用拉格朗日乘子法求解最優化問題.

L(R,a,ξi,α,β)=R2+

s.t.αi≥0,βi≥0.

(14)

解(14)式得

(15)

可知球心是所有數據點的線性組合.數據xi都會被分配系數αi，其中非零系數αi對應的數據xα被稱為支持向量，超球體的大小、輪廓正是由支持向量決定的.把式(15)帶入式(14)，拉格朗日函數問題轉化為

(16)

通常原始空間數據不會呈球狀分布，無法利用一個準確的球面邊界來描述數據.因此通過映射將數據投影到高維空間，使高維空間數據呈球狀分布，構建包含高維空間數據的超球面，引入核函數代替高維空間數據之間的內積運算.由于高斯核[15]表現出更加穩定的數據描述能力，因此通常選取高斯核函數[16-17]作為映射對應的函數:

KG(xi,xj)=exp[-(xi-xj)2/s2].

(17)

其中s為核參數.將式(17)帶入式(16)，得

(18)

通過計算式(19)得到支持向量xα到球心a的距離

(19)

新的樣本到球心的距離

(20)

將Rα設定為控制限，當Dist≤Rα時，可以認為該樣本為正常樣本，反之，則為異常樣本.

2 故障檢測

支持向量數據描述方在數據維數較大時，建模消耗時間和新樣本決策時間均較長[18-20].本研究提出使用LPP進行數據維數約減結合支持向量數據描述的故障檢測策略，將此故障檢測方法分為兩個步驟：第一步，離線建模；第二步，在線檢測.

2.1 離線建模

給定Xm×n由m個樣本和n個監測變量組成數據集：

(1) 對Xm×n利用Z-Score方法進行標準化處理，得到標準化數據集

(21)

其中：μ為1×n維樣本均值向量;σ為m×n維的樣本標準差對角矩陣.其目的是使數據中心移至坐標原點，并且消除數據不同量綱間的影響.

(3) 令數據集Xnew={xi_new},i=1,…,m，利用式(19)計算控制限Rα.

2.2 在線檢測

(3) 通過式(20)計算新的數據樣本到球心的距離Dist，如果Dist≤Rα，可以認為新的數據為正常數據，反之，則該數據為故障數據.

3 仿真實驗

3.1 數值仿真

為了可視化，參考文獻[21]生成多模態數值例子.生成方式如下：變量x1為多模態結構，其前250個樣本服從均值為0、標準差為0.3的正態分布，后250個樣本服從均值為15、標準差為1.5的正態分布.

訓練樣本集Xtraining由變量x1、x2、x3組成，按式(22)共生成500個樣本.

(22)

其中e為高斯噪聲.

測試樣本集由校驗樣本集Y和故障樣本集F兩部分組成.Y按Xtraining生成方式生成80個樣本.F生成方式如下：f1為基變量，其前5個樣本服從均值為1.2、標準差為0.2的正態分布，后5個樣本服從均值為7.5、標準差為0.6的正態分布.數據散點圖如圖1所示.

圖1 多模態數據散點圖

訓練數據分為兩個疏密程度差異較大的模態，各模態分別有250個樣本.校驗數據分布相同，每個模態各50個樣本.故障樣本的前5個樣本是靠近密集模態的小尺度故障，后5個樣本是位于訓練樣本兩個模態中間的故障.

圖2為kNN方法對數據仿真檢測圖(近鄰數選取為3).kNN方法采用的統計量可以反饋數據的多模態特性.從圖2可以看出：同時位于模態間的5個故障可以被檢測出來，但靠近密集模態的5個小尺度故障卻沒被檢測出來.由于控制限主要被稀疏模態的統計量所決定，密集模態統計量的范圍被稀疏模態所湮沒，因此故障沒有被檢測出來.

圖2 kNN檢測圖

圖3為降維后樣本前三近鄰的保序圖.由圖3可知：通過調整參數使得降維前后同一樣本的近鄰保序，最終確定LPP的參數k為3、t為0.095.降到二維時，第一近鄰的保序率為98.4%，第二近鄰的保序率為95.0%，第三近鄰的保序率為90.0%.

圖3 保序圖

圖4 和圖5 分別是LPP檢測圖和LPP降維后低維空間散點圖.從圖4和圖5中可以看出LPP降維之后依然保留了數據的多模態結構.由于LPP的統計量要求數據服從多元高斯分布，因此不能有效地檢測多模態結構數據.

LPP：k=3，t=0.095，PCs=2

圖5 LPP降維后低維空間散點圖

采用SVDD方法在Xtraining建模后檢測測試集Xtest.通過式(12)確定SVDD懲罰因子C為0.2，通過多次實驗，得到核參數σ為0.27時，SVDD方法在線檢測的結果最穩定，如圖6所示.

SVDD：C=0.2，σ=0.27

從圖6可以看出：相比于kNN,SVDD的優越性在于可將所有故障全部檢測出來.

圖7為LPPSVDD的檢測圖，圖8為SVDD與LPPSVDD建模累計時間對比圖，圖9 為SVDD與LPPSVDD檢測時間對比圖.由圖7～圖9可知：SVDD存在離線建模和在線檢測計算量大、耗時長的問題；LPPSVDD繼承了SVDD的檢測性能，同時縮減了在線檢測的時間，提高了檢測的及時率.

LPP：k=3，t=0.095，PCs=2;SVDD：C=0.2，σ=0.07

圖8 建模累計時間對比圖

圖9 檢測累計時間對比圖

3.2 半導體工藝實驗

本節所應用的半導體數據來源于美國德州儀器公司的半導體生產過程實際數據.半導體工藝過程[22-24]是典型的間歇過程，包含氣體流動、壓力穩定、等離子點火階段、AI蝕刻、底層錫和氧化物的過度腐蝕、通風等6個過程.在理想情況下，蝕刻過程是平穩的，即數據各特征的軌跡不會偏移.但反應器內殘留物的積累使設備腐蝕老化、上流工序發生變化使材料產生差異、過程監控傳感器的監控發生漂移等原因都會使過程數據產生變化.

數據集是典型的三維數據結構，由實驗29、實驗31、實驗33共129生產批次組成，每一生產批次對應不等長的采樣時間和相同的21個檢測變量,其中變量EndPt A的軌跡圖如圖10所示.

圖10 EndPt A 軌跡圖

由于數據缺失，第二個實驗的第22正常批次數據只有3個采樣時刻，因此該批次不作為監控批次.本節采用統計模量分析方法將半導體數據集進行展開，選取變量數據的均值、方差、偏度、峭度四種模量信息來代替數據信息，針對數據包里的107個批次和21個故障批次進行數據預處理，隨機從3個實驗中各抽取兩個批次作為校驗數據.故障類型參見表1.

具體實驗過程參考數值仿真實驗.圖11～圖14分別為kNN、LPP、SVDD和LPPSVDD檢測圖.圖15為SVDD、LPPSVDD兩種方法檢測累計耗時對比圖.

表1 故障類型

圖11 kNN檢測圖

LPP:k=3,t=2.5,PCs=30

由圖11～圖14知：半導體數據分為三個模態，kNN、LPP并未檢測出全部故障.SVDD和LPPSVDD兩種方法均能檢測出半導體過程中的21種故障,但由圖15可知SVDD所消耗時間遠遠多于LPPSVDD.

SVDD:C=0.2,σ=9

LPP:k=3,t=1.8,PCs=30；SVDD:C=0.9,σ=2.8

圖15 檢測累計耗時對比圖

4 結 論

傳統的SVDD方法擁有較強的數據適應能力和檢測能力，但是往往建模階段計算量大，消耗時間較長.為了保證在不影響SVDD檢測能力的前提下，降低檢測時間，提高檢測的及時性，本研究提出基于LPPSVDD的故障檢測方法，通過LPP對數據維數進行約減，降低SVDD計算量，縮減了檢測時間，提高故障檢測的及時率及準確率.故障診斷與分離將為下一步研究方向.