基于特征選擇與SVM的質量異常模式識別

劉玉敏，趙哲耘

（鄭州大學 商學院，鄭州 450001）

0 引言

隨著工業物聯網的興起，現代化工廠安裝了大量的信息傳感設備，這使得實時采集能有效反映生產和加工過程運行狀態的數據流，進而實現質量監控成為現實。這些數據流總體反映了連續生產過程的運行狀態，而其運行狀態直接影響產品質量的優劣。由于過程中受到人、機、料、法、環、測等因素的影響，動態過程質量模式可分為正常模式和異常模式兩大類。當動態數據流呈現出質量異常模式時，通常表明機器設備存在潛在問題，需要作出調整。因此，對數據流進行降維，并建立高效的異常監控模型，成為了質量監控的核心問題[1]。

目前，對于過程質量異常監控方法的研究多圍繞基于特征提取的質量異常模式識別展開，其中應用的特征主要有時域特征[2]、形狀特征[3]、小波分解特征[4]等。例如，Hassan[5]提取了原始數據的6種時域特征，該特征具有維度低、表征能力強的特點；Ranaee等[6]將形狀特征與時域特征進行混合，利用支持向量機對6種質量模式進行了有效的識別。劉玉敏[7]使用一維離散小波分解近似系數同小波重構序列的4個形狀特征進行混合。綜上所述，當前特征提取的方法主要是通過單一數據特征或混合。然而，研究表明，單一種類特征對于原始數據描述能力有限，而高維混合特征會提高模型的復雜度進而降低其識別效率。因此，如何提取維度低并包含豐富信息的特征，并構建與分類任務復雜度相匹配的高精度識別模型成為了動態過程質量異常模式識別的關鍵。本文提出了一種基于特征選擇的混合特征集與支持向量機相結合的動態過程質量異常模式識別方法。

1 質量異常模式分類

在動態過程中，由于受到不同因素的影響，其質量特性數據流也呈現不同的波動模式。其中，隨機因素影響下的質量特性數據流在目標值上下隨機游走，在動態過程中屬于正常模式。當質量特性數據流波動呈現趨勢、階躍和周期等狀態時，表明過程受到異常因素的影響，此刻處于異常狀態[8]，如圖1所示。

2 基于特征選擇的質量異常模式識別模型

2.1 一維離散小波分解

雖然動態過程產生的原始數據流能夠較為全面地反映動態過程運行狀態，但由于高噪聲、高維度等特點，若將

其直接應用于分類任務中會造成較低的識別精度和識別效率。為對數據流的整體和局部變化特征進行提取和增強，使用一維離散小波分解（Discrete Wavelet Transform,DWT）將原始數據流轉化為高頻細節部分和低頻近似部分，經過L層變換后，過程數據流的整體變化趨勢信息被分解到了最后一層的低頻近似系數中，而其噪聲被分解在各層的高頻系數中[9]。記P0X=X，通過正交投影PjX和QjX將j-1層的小波近似系數Pj-1X分解為：

式（1）至式（3）中，h(n)和g(h)分別為低通、高通濾波器的脈沖響應，p為權系數的長度。cAj和cDj分別為數據流在j層小波分解中的低頻近似系數和高頻細節系數；j=1,2,3,...,L,L=0,1,2,...,N/2j-1，N為原始數據流長度，j為最大分解層數；φ(t)和ψ(t)分別為定標函數與子波函數。中點坐標為

2.2 質量異常模式的形狀特征與時域特征

不同的動態過程質量模式都存在其獨特幾何形狀。形狀特征是在通過對原始數據進行變換或計算而得到的能有效表達各個質量異常模式的數字量。本文采用以下幾種形狀特征參與特征選擇[10]：

（1）對模式序列不作分段提取，可以得到SB和PSMLSC特征：

式中，N為模式數據序列長度；ti為第i個數據點到原點的距離；yi為第 i個采樣點的采樣值

（2）將模式序列進行固定分段，可得到SRANGE和REAE特征：

式中，sjk為模式序列的第j段與第k中點連線的斜率，每段對應的n1取值分別為1、16、31、46；MSE為整個模式序列的最小二乘估計的均方誤差值，MSEjk為將第j段與第k段數據點重組后所得到的序列的最小二乘估計的誤差值。

（3）對模式序列做不固定分割，其中分割后的兩段數據序列的最小二乘估計的合并均方誤差（PMSE）的最小值點為分割點，可以得到ABDPE特征：

式中，B為整個序列的最小二乘擬合直線的斜率，Bj（j=1,2）分別為分割后的兩段序列的最小二乘擬合直線斜率。

現有的研究表明，時域特征能夠刻畫樣本數據的基本特征，并能有效地對質量異常模式進行區分，本文選取了均方幅值、標準差、峰值、方根幅值、平均值、峭度和最大值7個特征來識別質量異常模式，具體公式見表1。

表1 時域特征

2.3 一種基于分類精度的序列前向選擇方法

序列前向選擇方法（Sequential Forward Selection，SFS）是一種啟發式搜索方法，先把目標特征集定義為空集，按照特征評估函數，加入使其最大的一個特征，最后得到達到要求的特征子集。相比序列前向選擇方法，廣義序列前向選擇方法是根據特征評估函數向現有特征集中加入r個特征，使得特征評估函數達到最大值從而得到滿足要求的特征子集。基于分類精度的序列前向選擇方法[11]（sequential forward selection based on classification accuracy，CA-SFS）是序列前向選擇法和廣義序列前向選擇法的混合，可根據需要來靈活改變r的取值，若添加一個特征對于分類精度沒有提高，即可加入2個、3個甚至更多的特征組合，本文為了避免計算過于復雜，在此設定r≤4。本文將低頻小波近似系數作為特征選擇起點，將分類器的分類精度作為特征評估函數，加入使其分類精度提升最大的特征或特征組合，直到得到滿足要求的特征集。基于分類精度的序列前向選擇識別過程如圖2所示。

圖2 基于分類精度的序列前向選擇識別過程

2.4 SVM多分類設計

支持向量機（Support Vector Machine，SVM）能夠有效地解決小樣本下的線性不可分的二分類問題。其原理是通過核函數將線性不可分的數據映射到高維空間尋找最優分類超平面，從而實現低維空間的非線性分類，結構風險最小化原則使得支持向量機較其他分類器具有泛化能力強的特點。其分類原理如下：

式中，C為懲罰因子，C的大小會對分類器的容錯能力產生影響；ξi為松弛變量。使用核函數k（xi,x）替代簡單的內積后，可得到SVM的判別函數：

由SVM判別函數可知，單個的SVM僅能解決二分類問題，常用的二分類SVM有一對一、一對多、半對半等。而對于本文的六分類問題，需要多個支持向量機組成聯合分類器（MSVM）來實現對于動態過程的六種模式識別。并且，SVM中罰函數和核函數參數的選擇直接影響到對于分類誤差的寬容度和核映射后的數據分布，進而對其分類精度造成影響。因此，模型參數的選擇成為了構建支持向量機分類模型的亟需解決的關鍵問題[12]。粒子群算法（Particle Swarm Optimization，PSO）是一種基于迭代的優化算法，相較于常見的遺傳算法和網格搜索法，具有無需編碼、全局尋優能力強、耗時短等優點，且能夠避免人工參數選擇的主觀性和片面性，因此，本文選用PSO算法對支持向量機的參數進行自動尋優，從而提升識別模型的分類精度。圖3為本文構建的多分類支持向量機模型。

圖3 質量異常模式識別模型

核函數能夠將高維空間的內積轉化為低維空間的內積，能夠在解決線性不可分問題的同時避免“維度災難”，但核函數的選擇仍缺乏理論指導。高斯核函數（Radial Basis Function，RBF）具有較少的核函數參數，具有較低的訓練復雜度和較好的分類性能，被廣泛用于SVM分類中。因此，本文選用RBF核函數來實現支持向量機分類器的非線性分類（RBF-SVM），公式如下：

3 仿真實驗設計

3.1 樣本數據生成及參數設置

由于實際生產過程中的異常數據難以批量獲取，且大都需要破壞性試驗來擴充異常樣本量，其成本較高、實用性較差。因此本文采用蒙特卡洛（Monte Carlo，MC）方法生成所需要的正常和異常樣本數據：

x(t)=μ+γ×σ+d(t)'t=1'2'…'n

式中，μ為設計目標值；σ為過程能力標準差；γ為隨機因素造成的波動服從高斯白噪聲，過程固有，無法去除或去除成本較高；d(t)為異常因素導致的波動，可查明原因并消除。每種模式的仿真公式見表2。

表2 Monte Carlo仿真公式

3.2 數據特征提取

利用蒙特卡洛法生成仿真數據，其中對每種質量模式生成120組仿真樣本，其中隨機抽取20個為訓練樣本，共計120組測試樣本，其余600組為測試集，每組樣本均包含連續60個質量特性觀測點。首先，針對階躍模式與趨勢模式識別率整體較低的特點，對原始數據進行一維離散小波分解，采用Db4母小波函數對數據流進行尺度為3的一維離散小波分解，得到一個低頻近似系數和三個高頻細節系數。觀察表明，第三層低頻近似系數cA3有效去除了原始數據中的噪聲信號，保留了動態數據流的整體變化特征。

表3 特征選擇實驗過程

表3為特征選擇的實驗過程，從中可以看出，在第一輪的特征選擇中，將全部的12個形狀特征作為備選，分別依次參與小波特征的混合。從表3可看出，本文特征選擇中使用了四次SFS方法和兩次GSFS方法。因此本文選擇的特征集合為：小波特征集、峭度、最大值、ABDPE、SB、峰值、SRANGE、均方幅值和均值。相比12個特征全部混合，本文選擇出來的特征與小波特征混合使得識別精度有了顯著提高。選取的混合特征向量為：

Zbest=[cA3峭度最大值ABDPE SB峰值SRANGE均方幅值均值]

3.3 最優特征集下的SVM訓練及參數優化結果

本實驗基于Matlab2014b和Libsvm工具箱，并對核函數參數g，罰函數c,加速常數c1和c2初始化參數值進行設定。本文模型PSO算法參數設定、識別精度及參數見表4。

表4 RBF-SVM參數優化結果

3.4 實驗結果分析

（1）實驗一：一般SFS方法和本文所用的CA-SFS方法的識別精度對比

本實驗對比了SFS方法和本文方法所選取的混合特征集，所選取的特征集和對應的分類效果如圖4和圖5所示。兩圖橫軸的特征為本次特征選擇中分類精度最高的特征組合維數，從圖4中可看出，當使用SFS方法時，精度在97%上下波動，而第22維識別精度最高達到97.17%。圖5為本文選擇的CA-SFS方法，本方法是通過將SFS和GSFS方法相結合來尋找目標特征集。本方法所選擇的22維最優混合特征集的識別精度達到了98.3%。實驗表明，本文選擇的方法優于SFS方法，在相同特征維數下，有效地提高了對于質量異常模式的總體識別率。

圖4 SFS方法選擇不同數目特征集的分類準確性

圖5 本文所提方法選擇特征集的分類準確性

（2）實驗二：基于不同特征的質量模式識別精度對比

為驗證本文所選擇特征的有效性，本實驗對比了原始特征、小波形狀混合特征、小波時域混合特征、小波時域形狀混合特征（多特征）和本文所提方法得到的混合特征作為PSO-SVM的輸入進行質量異常模式識別的效果。實驗結果如表5所示。

從表4的識別結果進行對比后可知：

（1）本文選擇的特征能在較大程度上兼顧特征維數和分類器的分類效率，但如何改善對于正常模式的識別精度，還需要進一步改進特征集的表達能力和識別方法，從而提高模型對于質量異常模式的識別精度。

（2）單一種類特征（7維時域特征、5維形狀特征）與小波特征混合所取得的識別精度相比多特征混合較低。這是因為單一種類的特征使得對質量模式表達能力有限。本文所提方法能夠在整體變化特征的完整性的基礎上剔除時域特征和形狀特征中多余的信息，提高了模型的識別精度并兼顧其計算效率。

（3）本文得到的最優特征相對于多特征混合具有較高的識別精度，這是因為在質量異常模式識別中，并不是特征的維數越高識別精度越高，過多的特征具有較多的冗余和噪聲；雖然較低的特征維數具有訓練復雜度低等優點，但較少的特征會造成質量異常模式的信息缺失，使得對各模式的識別精度和表達能力有限。

表5 識別結果

4 結束語

本文在綜合分析已有特征選擇方法的基礎上，從5維形狀特征和7維時域特征中選擇出9個特征與小波低頻近似系數進行混合作為模式分類特征，以粒子群算法進行參數尋優過的支持向量機作為分類器。低頻系數能夠凸顯質量模式的整體變化趨勢，形狀特征和時域特征能夠強化數據的局部特性，理論分析和仿真實驗表明，本文所提方法通過選擇后的特征向量與小波低頻系數進行混合，刪除不必要的特征，保留能提升識別性能的特征集合，提高了分類器的效率和識別精度。但質量異常模式識別中，哪些特征能夠對質量異常模式做出較為完備的表達、如何較少小波分解造成的信息缺失，還需要進一步研究。

[1]劉玉敏,周昊飛.動態過程質量異常模式ANN-SVM識別模型及仿真分析[J].統計與決策，2016,(9).

[2]Petros X,Talayeh R.A Weighted Support Vector Machine Method for Control Chart Pattern Recognition[J].Computer&Industrial Engineering,2014,(70).

[3]Gauri S K,Chakraborty S.Feature-based Recognition of Control Chart Patterns[J].Computer&Industrial Engineering,2006,(51).

[4]吳長坤,趙麗萍.基于小波分析和SVM的控制圖模式識別[J].中國機械工程，2010,21(13).

[5]Hassan A,Shariff M.Improved SPC Chart Pattern Recognition Using Statistical Features[J].International Journal of Production Research,2003,41(7).

[6]Ranaee V,Ebrahimzadeh A.Application of the PSO-SVM Model for Recognition of Control Chart Patterns[J].ISA Transaction,2010,49(4).

[7]劉玉敏,周昊飛.基于多特征混合與支持向量機的動態過程異常監控[J].計算機集成制造系統,2015,21(10).

[8]劉玉敏,周昊飛.基于小波重構與SVM-BPNN的動態過程在線智能監控[J].系統工程理論與實踐,2016,36(7).

[9]劉玉敏,趙哲耘.基于多特征與MSVM的動態過程異常監控[J].組合機床與自動化加工技術,2017,(2).

[10]宋李俊,趙虎.基于融合特征與支持向量機的控制圖模式識別[J].計算機應用研究,2014,31(3).

[11]易超群,李建平,朱成文.一種基于分類精度的特征選擇支持向量機[J].山東大學學報：理學版,2010,45(7).

[12]張敏,程文明.基于自適應粒子群算法和支持向量機的控制圖模式識別[J].工業工程,2012,15(5).