基于主元分析的SVM動態過程質量異常模式識別

劉玉敏，張 帥

LIU Yu-min, ZHANG Shuai

(鄭州大學 商學院，鄭州 450001)

0 引言

現代工業不斷向復雜化和連續化方向發展，自動化生產及加工過程會產生大量的實時動態數據。隨著信息技術的進步，對動態數據實時采集進而實現質量監控已成為可能。以控制圖為代表的傳統質量監控方法在對動態過程監控中無法有效利用實時數據，因此，基于人工智能的動態過程質量異常模式識別方法引起了愈來愈多學者的關注。而如何有效地提高智能監控的識別精度以及減少模型計算復雜度是動態過程質量診斷的核心問題[1,2]。

目前，國內外學者對動態過程質量異常模式識別的研究主要集中在基于特征提取和分類器優化兩個方面[3～7]。在特征提取方面，很多學者使用數據的原始特征對異常模式進行識別和診斷，但是由于數據中往往包含大量噪聲，使用原始數據并不能取得很好的識別效果。Susanta等人提出了用9種幾何圖形特征的提取方法對原始樣本數據進行特征提取，取得了不錯的識別效果[8]。Vahid等利用小波特征和統計特征結合作為分類器的輸入，對控制圖模式進行識別[6]。在分類器優化方面，學者們嘗試著將SVM算法與其他方法相結合來實現對生產動態過程的質量異常模式識別[7,9,10]。肖應旺提出一種多支持向量機的方法，對生產過程進行監控和診斷[7]。蔣少華等構建了基于四個高斯核函數支持向量機的MSVM識別模型，用于識別鼓風爐冶煉過程的質量異常模式[11]。吳常坤等通過多支持向量機的異常模式識別框架，分別對趨勢、階躍、趨勢階躍混合和周期等控制圖異常模式進行識別[12]。

綜上所述，雖然現有特征提取方法可以在一定程度上提高識別效率，但是未能考慮到動態數據的實際特點，提取、識別過程中耗時較多，不能滿足對動態過程的實時監控。在分類器優化中，由于SVM的核函數及其參數對識別效果有著較大影響，對于SVM參數的選取仍沒有權威的方法，所以當前分類器很難在實際生產過程中得到廣泛的推廣和應用。因此，本文提出了一種基于主元分析的SVM質量異常模式識別模型。首先運用主元分析對原始數據進行特征提取，繼而，采用PSO算法對SVM分類器參數進行全局尋優，接著，采用優化后的SVM分類器對生產過程的質量異常模式進行識別。最后，通過仿真實驗對模型加以驗證，并與其它識別模型進行識別精度的對比。

1 動態過程質量異常模式

在連續生產加工的動態過程中，由于受到諸多因素的交互影響，基本的質量異常模式主要有以下六種，分別為正常模式（NOR）、向上趨勢模式（IT）、向下趨勢模式（DT）、向上階躍模式（US）、向下階躍模式（DS）和周期模式（CC）。具體表現形式如圖1所示。

圖1 質量異常模式

圖1（a）為正常模式，其主要表現形式為質量特性值在設計均值附近隨機波動。圖1（b）為周期模式，其表現為質量特性值以一定周期進行波動，通常加工部件松動或者電控設備電壓不穩定會造成這種模式地出現。當質量特性值隨時間地推移出現逐漸上升或者下降的現象時，動態過程被認為處于向上趨勢或向下趨勢模式如圖1（c）、（d）中所示，通常由于設備老化造成這類模式。階躍模式則表現為在某一時刻質量特性值突然出現大幅上升或者下降如圖1（e）、（f）中所示，通常由更換部件等因素造成。動態過程只有在正常模式下才可以使生產成本達到最小化，其他五種質量異常模式都會造成動態過程的異常波動，引起生產成本的增加。

上述六種模式基本代表了動態過程的異常情況，通常被作為異常模式研究的對象。因此，對動態過程的質量異常模式識別與診斷能夠實時監控生產過程，及時發現異常因素，減少異常波動對生產的影響，從而減少生產成本，提高生產效率。

2 基于PCA的SVM動態過程質量異常模式識別模型

在進行動態過程質量異常模式識別時，通常需要對樣本數據進行預處理，以消除樣本數據中存在的大量噪聲，提高識別精度；接著選用合適的分類器優化方法，對分類器的結構、參數進行優化；最后，提出質量異常模式識別的方法。本文首先運用主元分析方法對樣本數據進行特征提取，將數據特征進行降維、去噪處理；接著，利用PSO算法對支持向量機的參數進行全局優化，得到五個基于PSO算法的SVM分類器；最后，提出一種基于PCA的SVM動態過程質量異常模式識別方法。

2.1 基于PCA的數據特征提取

圖2 原始樣本數據投影

在生產過程中，質量特性值之間無法避免地會存在較大的相關性，這導致樣本數據特征被反復使用[13]。運用PCA方法對樣本數據進行特征提取，可以極大地消除原始樣本數據中存在的多重共線性，有效地去除了數據中的冗余信息和噪聲。主成分分析的基本思路是借助一個正交變換，將分量相關的原隨機變量轉換成分量不相關的新變量。從幾何角度，將原變量系統變換成新的正交系統，使之指向樣本點散布最開的正交方向，進而對多維變量系統進行降維和去噪處理[13]。

本文將原始數據進行PCA特征提取前后數據分布情況進行對比，由于版面原因，不能將所有數據特征分布展示，所以只是有選擇地將原始樣本數據的第1、30、55維原始特征進行投影和特征提取后的第一、二、三主元特征的投影進行說明。如圖2所示，未進行PCA特征提取時的原始樣本數據中，六種基本模式的投影相互重疊，難以區分。

然而，通過對原始樣本數據進行PCA特征提取，我們可以從圖3中發現，樣本數據在第一主元和第二主元建立的特征空間上的投影能夠明顯地區分周期模式和趨勢模式，但是正常模式和階躍模式還有部分重疊。我們引入第三主元進行投影發現向上趨勢模式、向下趨勢模式、向上階躍模式和向下階躍模式已經完全區分開，沒有重疊。由此可知，對原始樣本數據進行PCA預處理后，不僅降低了數據維數，減少模型復雜程度，而且還將原始樣本數據的特征突出出來，為后續的分類器分類創造了良好的條件。

2.2 基于SVM的分類器設計

SVM是一種能夠有效解決針對小樣本數據的分類器。支持向量機的核心思想是通過建立線性的超平面來解決線性可分問題。在線性可分的情況下，利用Lagrnage乘子法可以將尋求最優分類面轉化為其對偶問題，求解該問題可得到最優分類函數：

針對生產動態過程質量異常模式所涉及的非線性問題，通過引入核函數，將樣本數據映射到高維特征空間，使原本線性不可分的問題 ，在高維特征空間轉化為線性可分的問題，這樣就可以對其進行分類[14]。核函數k(xi, x)的引入，可得到SVM的分類函數為：

根據其他一些學者的研究發現，用支持向量機做分類時，最大的問題就是如何選取模型的參數[15]。在進行模式識別時，一旦參數選取不合理，識別精度就會受到很大影響。所以，對SVM分類器進行參數尋優是在質量異常模式識別的一個十分關鍵的步驟。由于粒子群算法無需編碼，操作實現比較簡單，另外其收斂速度快，使得粒子群算法在優化SVM參數方面得到了廣泛應用。本文在進行SVM分類器參數尋優時采用粒子群算法，以期能夠快速地找到合適的參數，幫助分類器提高其識別性能。

2.3 動態過程質量異常模式識別流程

從支持向量機的識別原理上可以發現，SVM是專門用于解決二分類問題的。然而，不考慮混合模式情況下，質量異常模式就有6種基本模式，顯然屬于多分類問題。用SVM來解決質量異常模式識別時，就必須建立多個SVM分類器進行分層次分階段識別。因此，本文將“一對一”和“一對多”分類方法結合起來，提出了一種新的識別方法，如圖4所示，其中SVM1-3為“一對多”分類器用于識別正常模式和周期模式；SVM4-5為“一對一”分類器用于識別上升趨勢模式和向下趨勢模式以及向上階躍模式和向下階躍模式。

圖3 特征數據投影

圖4 質量異常模式識別模型

如圖4所示，本文動態過程質量異常模式識別方法可以概括為如下三步：

首先，在進行分類前，先對原始樣本數據進行PCA預處理提取出來樣本數據的特征，將訓練樣本和測試樣本的數據進行降維，形成新的訓練樣本和測試樣本作為分類器的輸入向量。

其次，通過分類器SVM1判斷樣本數據是否屬于正常模式（NOR）。當分類器輸出為1是，表示該模式為正常。若分類器輸出為-1，利用SVM2分類器進行識別。同樣地，當分類器輸出為1時，判斷該模式為周期模式。

最后，用SVM3分類器識別趨勢模式和階躍模式。將識別出來的趨勢模式放入SVM4分類器進行識別向上趨勢和向下趨勢模式；將識別出來的階躍模式放入SVM5分類器中識別向上階躍和向下階躍模式。

利用該識別方法，可以在第一次分類時檢驗出樣本數據是否正常，這在實際生產過程中極大地提高了識別效率。不僅如此，生產動態過程質量模式主要集中于正常模式、周期模式、趨勢模式和階躍模式，本文針對這四種模式建立了三個“一對多”分類器就可以全部識別，對趨勢模式和階躍模式建立了兩個“一對一”分類器，這樣極大地避免了六種模式混在一起錯分的情況，提高了識別精度。

3 仿真分析

本文通過Monte Carlo方法對動態過程的質量異常模式進行仿真，并與其他識別方法的結果進行對比，驗證了所提出的方法的有效性。

3.1 實驗設計

根據其他學者的研究經驗，采用Monte Carlo仿真方法來獲得生產動態過程中的仿真數據，即：

其中，Y(t)為t時刻的動態數據質量特性值；μ為質量特性的均值，為簡化仿真實驗，通常取為在t時刻下，由偶然因素造成的隨機干擾，通常為服從的高斯白噪聲；d(t)為異常因素干擾項。動態數據的各種模式主要就是依靠d(t)的變化而形成的，模式數據如下表所示。

在進行數據仿真的時候，利用上述公式對生產動態過程的六種基本模式進行仿真，每組數據均為60維（60個數據點），每種模式生成100組數據，共生成600組數據，總計仿真36000個質量特性值。每種模式的前40組數據作為支持向量機的訓練樣本，后60組數據作為測試樣本。質量異常模式識別的基本規則就是分類器根據訓練樣本的數據特征，總結和計算出分類的規律進而建立一定的判斷規則，然后在遇到新的質量特性值時，可以根據已經建立的判斷規則對其進行分類[11]。通過對生產動態過程的樣本數據進行對比實驗發現，選取高斯核為核函數時，六種模式的整體識別效果較高，因此仿真實驗選取高斯核作為分類器的核函數。

表1 樣本數據仿真參數

表2 識別結果

3.2 實驗結果及分析

為驗證所提出的基于主元分析的PSO-SVM識別模型的性能，分別采用SVM和PSO-SVM與本文提出的方法做對比，采用同樣的樣本數據進行測試。得到的結果如表1所示。從表1可以看出，未經PCA特征提取，直接用原始樣本數據進行訓練、分類時，是識別精度達到91.5%，對正常模式和周期模式的識別有很大誤差。采用PSO-SVM分類方法，整體識別精度有所提高，但是也很難發現有實質性地提高。然而，利用本文所提出的方法，對正常模式的識別，識別精度從82.1%提升到98.3%,效果十分明顯。此外，利用所提出的識別方法可以使平均識別精度達到97.5%，識別結果要優于其他常用的分類方法，特別是對趨勢模式的識別能夠達到100%，驗證了本文提出的識別方法的有效性，為生產動態過程的質量異常模式識別提供了新的方法。

4 結論

動態過程的質量異常模式識別為生產自動化過程在線監控和診斷提供了必要支持，針對動態過程的實際特點，提出了的一種基于主元分析的SVM質量異常模式識別方法。該方法具有以下兩個特點，一是運用PCA方法對原始樣本數據進行降維處理，發揮了PCA特征提取的優勢，消除了原始數據中包含的大量噪聲，避免了復雜的計算，簡化了后續分類器識別的復雜性；二是利用PSO算法對SVM進行參數尋優，優化后可極大提高分類器的性能，同時保證了分類器具有很好的泛化能力。仿真實驗結果表明，這種動態過程質量異常模式識別方法是有效的，并通過與其他識別方法對比發現其具有較高的識別精度，為生產動態過程實現在線監控和診斷提供了一種新的思路。

[1]Shewhart M. Interpreting Statistical Process Control(SPC)Charts Using Machine Learning and Expert System Techniques[A].Aerospace and Electronics Conference[C].Processing of the IEEE1992 National,1992.

[2]Chen, N., Zhou,S.Delectability study for statistical monitoring of multivariate dynamic processes[J].IIE Transactions,2009, 41(7),593-604.

[3]Cheng C S. A Multi-layer Neural Network Model for Detecting Changes in the Process Mean[J].Computers&Industrial Engineering(S0360-8352),1995,28(1):51-61.

[4]Guh R S, Hsich Y C.A Neural Network Based Model for Abnormal Pattern Recognition of Control Charts[J].Computer & Industrial Engineering (S0360-8352),1999,36(1):97-108.

[5]Guh R S, Zorriassatine F.On Line Control Chart Pattern Detection and Discrimination—A Neural Network Approach[J].Arti fi cial Intelligence in Engineering(S0954-1810),1999,13(4):413-425.

[6]Vahid R, Reza G. Application of the PSO-SVM Model for Recognition of Control Chart Patterns[J].ISA Transactions,2010, 49:577-586.

[7]肖應旺.基于小波變換核主元分析和多支持向量機的過程監控[J].小型微型計算機系統,2011,32(7):1348-1353.

[8]Susanta K, Shankar C. Feature-based recognition of control chart patterns[J].Computers & Industrial Engineering,2006,51(5):726-742.

[9]Wang C H, Kuo W. identi fi cation of control chart patterns using wavelet filtering and robust fuzzy clustering[J].Journal of Intelligent Manufacturing, 2007,18(3):343-350.

[10]Cherkassky V,Ma Y.Practical selection of SVM parameters and noise estimation for SVM regression [J]. Neural Networks,2004,17(1):113-126.

[11]蔣少華,桂衛華,陽春花,等.基于核主元分析與多支持向量機的監控診斷方法及其應用[J].系統工程理論與實踐,2009,29(9):153-159.

[12]吳常坤,趙麗萍.基于小波分析和SVM的控制圖模式識別[J].中國機械工程,2010, 21(13):1572-1576.

[13]楊世元,吳德會.基于PCA和SVM的控制圖失控模式智能識別方法[J].系統仿真學報,2006,18(5):1314–1318.

[14]王萌, 孫樹棟. 基于相異度核空間的支持向量機算法[J].系統工程理論與實踐,2013,33(6):1596-1600.

[15]張敏,程文明.基于自適應粒子群算法和支持向量機的控制圖模式識別[J].工業工程,2012,15(5):125-129.