基于主成分分析-孿生支持向量機的工業系統故障監測

朱振杰， 杜付鑫, 楊旺功

(1. 山東大學 a. 高效潔凈機械制造教育部重點實驗室，b. 機械工程國家級實驗教學示范中心，c. 機械工程學院，山東 濟南 250061； 2. 北京林業大學 信息學院，北京 100083)

工業4.0概念的提出代表著智能化時代的來臨。為了適應世界制造產業的發展新需求，我國需要利用各種信息化技術手段促進工業制造產業的新變革[1]； 但是，隨著各種設備不斷增多并趨于更加智能化，現代工業系統變得越來越復雜，在整個系統運行過程中發生各種各樣故障的概率也越來越大，在某些情況下可能引起系統的整體癱瘓[2]，因此，必須對工業系統進行實時、準確的監測，從而保證系統安全穩定運行[3-4]。

工業系統的監測任務需要對出現故障進行及時檢測與識別，但是，現代工業系統十分復雜，故障的檢測與識別面臨巨大的挑戰。傳統的監測方法存在故障檢測精度不高、處理速度慢的問題。此外，大部分監測方法僅進行故障檢測，對故障的類型無法做到準確識別[5-6]，機器學習技術作為一種先進的計算機輔助手段[7-9]，能夠有效解決該問題，對此，研究人員提出了許多的相關方法。例如，張成等[10]提出了一種基于加權k近鄰(KNN)規則的多模態間歇過程故障檢測方法，將原始數據投影到低維空間，對過程數據進行降維以便降低計算復雜度，然后通過加權KNN聚類完成過程故障檢測任務。作為一種使用最廣泛的數據降維算法，多元統計的主成分分析(PCA)在高維數據特征提取方面具有優異的性能，因此,趙曉君等[11]提出將PCA和KNN聚類相結合設計了一種通用的在線故障診斷算法。類似地，Yang等[12]提出了基于PCA-支持向量機的生物化學產品制造過程故障診斷與檢測方法，同樣得到了較好的準確性。

孿生支持向量機(twin support vector machine，TWSVM)是一種新型的基于統計學習理論的機器學習方法[13]。作為傳統SVM的一種變形算法，TWSVM不僅繼承了其優秀的學習能力，而且運行效率提高了4倍。本文中利用PCA-TWSVM實現故障類型的識別。首先，采用PCA方法對涉及的復雜故障變量進行降維，并對提取的主要故障變量進行判斷，完成故障檢測；然后，利用TWSVM進行故障類型的識別，結合PCA方法實現系統監測，進一步改善工業系統故障的識別綜合性能。

1 基于PCA的變量降維

在進行常規的Logistic回歸分析之前，本文中利用統計產品與服務解決方案軟件SPSS 19.0 的PCA主成分提取功能來進行故障變量的數據降維，操作界面如圖1所示。

作為一種最常用的線性降維方法，PCA能夠在盡量保證信息量不丟失的情況下，通過投影對原始特征進行降維。假設模型樣本由工業系統故障特征變量構成，每個樣本有n個特征，需要從這些特征變量中提取主要影響因子。m個訓練樣本為x1,x2,…,xm，對應的標準差為S1,S2, …,Sm, 那么標準化變換的方法為

圖1 統計產品與服務解決方案軟件SPSS19.0的主成分分析降維操作界面

Yj=aj1x1+aj2x2+…+ajmxm,j=1,2,…,m，

(1)

式中ajm為訓練樣本xm對應的系數因子。

從j=1開始依次對式(1)的變換結果進行主成分分析。首先，如果Y1的數值等于相應特征值的正交單位向量的2范數，且Y1的方差最大，則可以確定Y1為第一主成分；其次，如果Y2的數值等于相應特征值的正交單位向量的2范數，Y1與Y2的協方差為0且Y2的方差最大，則可以確定Y2為第二主成分。按照上述方法重復進行m次，以此類推可以得到多個主成分。

在累積方差貢獻率計算過程中，第i個主成分Yi的貢獻率ηi為

(2)

則前m個主成分的總貢獻率c為

(3)

式中：λi為主成分矩陣的特征值；k為保留主成分個數。

圖2為累積方差貢獻率示意圖，一般情況下確保c的值大于85%。在這個條件下可以確保損失的

圖2 累積方差貢獻率示意圖

信息不至于太多，也能夠達到減少變量、簡化數據結構的目的，提取出反映工業系統整體過程的前k個主成分。以其中一個公因子為例，其統計分析的表達式為

F1=-0.16Z1+0.161Z2+0.145Z3+0.199Z4-

0.131Z5-0.167Z6+0.137Z7+0.174Z8+

0.131Z9-0.037Z7+0.174Z8+0.131Z9-

0.037Z10，

(4)

式中：F1為某個數據樣本；Z1—Z10分別為不同公因子； 數字代表變量間的相關系數，數值越大時相關性越大。

2 基于PCA-TWSVM的故障監測與故障類型識別

2.1 基于PCA的故障檢測

故障檢測可以通過偏離程度的大小來實現，而PCA故障檢測的建立需要2個統計量，即HotellingT2統計量(簡稱T2統計量)和平方預報誤差(square prediction error，SPE)統計量。T2統計量的計算公式為

(5)

式中：Λ=diag(λ1,λ2,…,λk)為前k個主成分的特征值矩陣；yi為測試數據歸一化后的樣本向量；P為主成分模型的負荷矩陣。

T2統計量的控制限L為

(6)

式中：α為置信度；F(k,m-1),α為自由度為(k,m-1)的F分布臨界值。

當置信度為α時，SPE統計量σSPE為

(7)

式中：I-PPT為殘差子空間的投影；I為單位矩陣。

SPE統計量的控制限Q為

(8)

其中

(9)

(10)

式中cα為高斯分布水平是1-α的置信極限。

本文中選擇T2統計量和SPE統計量都大于各自的控制限作為故障檢測的標準。

2.2 基于TWSVM的故障類型識別

作為傳統機器學習(SVM分支)的一種改進版本，TWSVM尋找的是一對不平行的超平面，因此具有更加優異的分類能力，非常適用于解決近似類型的樣本分類問題[14-17]。此外，與傳統SVM相比，TWSVM進行2個SVM型問題求解，因此計算效率更高。當樣本個數為m時，標準SVM的時間復雜度約為O(m3)，而TWSVM時間復雜度為O[2(m/2)3]，計算時間約為標準SVM計算時間的1/4。

在實際應用案例中，大多數據樣本都不是簡單的二元分類。由于在故障數據特征空間中進行簡單的線性TWSVM分類已經無法得到令人滿意的分類結果，因此，對于非線性分類問題，即線性不可分時，需要引入核函數解決該問題。假設在n維實數空間n中，樣本總數為m=m1+m2，其中m1為正類樣本點個數，m2為負類樣本點個數，那么尋求非線性TWSVM超平面的方法為

K(xT,CT)u1+b1=0,K(xT,CT)u2+b2=0 ，

(11)

式中：K為核函數, 采用高斯核徑向基核函數作為TWSVM核函數；x為輸入樣本矩陣；C=(AB)T，其中A為由正類樣本組成的m1×n型樣本矩陣，B為由負類樣本組成的m2×n型矩陣；u1、u2分別為正、負類樣本的超平面法向量；b1、b2分別為正、負類樣本的超平面偏移量。

同理，通過以下2個二次規劃可以求解得到將正、負類樣本劃分開的平面[13-14]：

s.t.K(B,CT)u1+e2b1≥e2,

(12)

s.t.K(A,CT)u2+e1b2≥e1,

(13)

然后求解分類的超平面，采用的分類決策函數為

(14)

結合PCA方法，通過TWSVM對特征變量進行故障類型識別的具體實施步驟如圖3所示。

圖3 基于主成分分析(PCA)-孿生支持向量機(TWSVM)的故障類型識別步驟

3 實驗結果與分析

3.1 實驗數據選取

為了驗證本文中提出的PCA-TWSVM故障類型識別方法的性能，在MATLAB仿真平臺利用加利福尼亞大學歐文分校(UCI)提出的用于機器學習的標準數據庫UCI[15]進行驗證分析。從UCI數據庫中選取了隸屬工業過程數據集中的Steel Plates Faults(鋼板故障)數據集，共包含7類故障，特征維數為27。具體實驗樣本數據集參數見表1，其中隨機選擇了800個樣本作為測試樣本。實驗過程中每一類樣本的分類如表2所示。

表1 實驗數據集參數

表2 樣本分類情況

3.2 故障檢測結果

由于本數據集的特征數較多，因此先利用 PCA方法對每個類別的數據樣本進行降維處理，設置c大于或等于90%，計算出相應的主成分個數為9。最后計算出不同置信度時的T2統計量和SPE統計量結果，如圖4所示。從圖中可以看出：當置信度α=0.85、0.95時，有較多的正常數據存在錯誤判斷； 當置信度α=0.99時，T2、SPE統計量的結果中超過控制限的數據均相對較少，因此，對于Steel Plates Faults數據集的故障檢測，置信度α的最佳取值為0.99。后續結合PCA的TWSVM故障類型識別中，置信度α取值也為0.99。

(a)Hotelling T 2統計量

(b)SPE統計量圖4 不同置信度α時的Hotelling T 2統計量和平方預報誤差(SPE)統計量及控制限

3.3 故障類型識別

在上述PCA故障數據集降維處理之后，進行TWSVM故障類型識別實驗，并且與現有的加權KNN[10]、PCA-KNN[11]和PCA-SVM[12]3種類型識別方法進行對比分析。為了驗證方法的可行性，實驗重復進行20次，測試樣本與訓練樣本的設置見表2。4種方法的故障識別準確率如圖5所示，綜合性能對比見表3。從結果對比可以看出，相比于其他3種方法，本文中提出的PCA-TWSVM方法的識別效果最好，運行時間也有效縮短，對于故障類型識別具有更好的綜合性能。

KNN—k鄰近算法； PCA—主成分分析算法； SVM—支持向量機； TWSVM—孿生支持向量機。圖5 不同方法的鋼板故障識別的準確率

表3 不同方法對鋼板故障類型的綜合識別性能

4 結語

本文中提出利用PCA實現工業系統故障的檢測，并使用TWSVM方法進行故障類型的識別。通過UCI數據庫中的Steel Plates Faults數據集進行了實驗測試，得出如下結論：相比加權KNN、PCA-KNN和PCA-SVM這3種方法，PCA-TWSVM方法在工業系統故障類型識別方面具有更高的準確率和執行效率。