基于融合特征約減和支持向量機的控制圖模式識別

趙春華 汪成康 華 露 鄭思宇 梁志鵬

三峽大學機械與動力學院，宜昌，443002

基于融合特征約減和支持向量機的控制圖模式識別

趙春華 汪成康 華 露 鄭思宇 梁志鵬

三峽大學機械與動力學院，宜昌，443002

為提高產品加工過程中質量監測的智能化程度，在運用控制圖描述質量波動的基礎上，提出了一種基于融合特征約減的KPCA-SVM控制圖分類方法。先通過蒙特卡洛模擬生成控制圖數據集，提取統計特征和形狀特征,并將其與原始特征相融合，運用核主成分分析對高維融合特征降維，再使用遺傳算法優化支持向量機的參數。通過仿真實驗，將降維前后、不同分類器的識別精度進行了比較，結果表明運用所提方法能夠得到更好的識別效果。

控制圖；模式識別；特征融合；降維；核主成分分析；支持向量機

0 引言

控制圖作為統計過程控制的一種基本工具，已廣泛用于各種生產過程的質量管控。該工具在統計學的假設檢驗原理的基礎上，記錄和監測產品某些關鍵質量特性的波動情況[1]。隨著相關研究的進一步深入，人們發現僅憑觀察波動是否超過上下限難以判斷控制圖是否會發生突然惡化，因此有學者對控制圖的模式現象進行了研究，探究了各異常模式產生的原因，并針對各異常模式制定了相應的處理方案[2]。

為滿足企業對產品質量監測過程的智能化需求，目前國內外學者運用控制圖模式識別來實現產品質量波動的智能化監測，并對如何運用模式識別技術來快速識別控制圖模式進行了大量的研究。要實現控制圖的模式識別，首先需要提取控制圖的特征，目前特征提取的方法主要有幾何特征提取、統計特征提取與小波分析等[3]。在分類器的選擇上，GHOMI等[4]、CHENG等[5]運用神經網絡識別控制圖模式取得了一定的效果，雖然神經網絡具有很強的自學習能力，但也存在著擬合速度慢、樣本需求量大等問題[6]。有學者將支持向量機(support vector machine，SVM)應用在控制圖識別中，先運用粗糙集[7]對時域特征集進行維數約減，再運用遺傳算法(genetic algorithm，GA)[7]、粒子群算法[8]對SVM的參數進行優化。上述研究表明，特征維數的約減對控制圖識別精度的提高有一定幫助，使用智能算法優化參數后的SVM分類效果比優化前的好，但上述研究只提取了時域特征，特征集難以表示控制圖的完整信息。為了更加完整地保留控制圖的信息，宋李俊等[9]將控制圖的原始特征和形狀特征進行融合，很好地保留了控制圖的信息，獲得了較好的識別效果，但特征融合后，特征維數急劇增加，導致出現冗余特征，增加了計算復雜度。

針對上述問題，本文在現有研究的基礎上，提出了一種基于融合特征約減的方法對高維的控制圖特征集進行降維，運用SVM識別控制圖的模式。實驗結果表明，該方法能夠很好地保持控制圖的特征信息，同時提高識別精度，降低運算復雜度。

1 控制圖識別基本理論

1.1 控制圖模式現象

受實際生產過程中各種因素的影響，產品質量的波動呈現出一定的規律性，這使得控制圖也呈現出不同的模式，包括正常模式(NOR)和6種異常模式：上升階躍型(US)、下降階躍型(DS)、上升趨勢型(IT)、下降趨勢型(DT)、周期型(CYC)和系統型(SYS)[10]，如圖1所示。

1.2 控制圖描述方法

在研究控制圖模式識別的方法時，最佳的數據來源是生產實際，但在現實情況下，大多數企業并不能為研究提供所需的大量質量數據，因此在研究控制圖識別方法時，往往運用蒙特卡洛模擬來產生不同模式控制圖的仿真數據[5]。基于此，可設置出如下不同類型控制圖采樣值的仿真生成式。

(a)上升階躍型 (b)下降階躍型

(c)上升趨勢型 (d)下降趨勢型

(e)周期型 (f)系統型

圖1 控制圖的異常模式Fig.1 Various unnatural control chart patterns正常型控制圖采樣值的生成式為

y(t)=μ+σr(t)

(1)

式中，y(t)為某過程點的質量特性值；t為控制圖中監測點的位置；μ、σ分別為樣本集的均值和均方差；r(t)為制造過程中正常范圍內的隨機擾動，其值服從標準正態分布。

上升/下降階躍型控制圖采樣值的生成式為

y(t)=μ+σr(t)±ks

(2)

其中，k的取值為0或1，k=0表示控制圖在t點不發生階躍，k=1表示控制圖在t點發生階躍；當模式為上升階躍型時，k前的符號為正，下降階躍型則為負；s為階躍的幅值。

上升/下降趨勢型控制圖采樣值的生成式為

y(t)=μ+σr(t)±tg

(3)

其中，g為上升/下降趨勢的斜率，當模式為上升趨勢型時，t前符號為正，反之則為負。

周期型控制圖采樣值的生成式為

y(t)=μ+σr(t)+asin(2πt/T)

(4)

式中，a為振幅；T為周期。

系統型控制圖采樣值的生成式為

y(t)=μ+σr(t)+d(-1)t

(5)

式中，d表示系統模式的偏離的均值程度。

2 控制圖融合特征約減

2.1 控制圖特征的提取

本文結合文獻[3]與文獻[11]，共提取出控制圖的12種特征(6種統計特征和6種形狀特征)用于特征融合。統計特征包括平均值M、標準差DS、偏度S、峰度K、均方值VMS和平均自相關系數A：

(6)

(7)

(8)

(9)

(10)

(11)

式中，N為控制圖原始特征點的個數，即序列長度。

形狀特征包括分段中點斜率的均值fAASL、分段中點斜率的極差fSRANGE、模式和均值線圍成的面積與方差的比值fACLPI、全部采樣點的最小二乘線性擬合線條斜率的符號量值fSB、均值線和模式線條的交點數與最小二乘線和模式線條的交點數的差fPSMLSC、最小二乘線和所有數據點匹配的均方誤差的均值與最小二乘線和6個子集的一半數據點匹配的均方誤差的均值的比率fREAE：

(12)

fSRANGE=maxsjk-minsjk

(13)

(14)

(15)

(16)

(17)

(18)

(19)

2.2 三類特征的融合

圖2 特征融合的過程Fig.2 Process of feature fusion

2.3 基于核主成分分析的特征約減算法

融合后的特征雖然能更加充分地表示控制圖的特征，但維數較大，存在冗余特征，增大了分類模型計算的復雜度。本文運用核主成分分析(kernel principal component analysis, KPCA)的方法對其降維。KPCA是主成分分析(principal component analysis，PCA)方法的非線性推廣，它運用核空間的思想將數據非線性映射到高維特征空間，然后再運用PCA方法對高位數據降維[12]。相較于PCA方法，KPCA方法在降維前輸入的特征集具有更多的特征維數，同時降維前特征集的非線性特征也保留得更好。下面介紹KPCA降維的主要過程。

設Xm×n(m為樣本個數，n為特征維數)為原始特征空間，xi(i=1，2，…，m)為原始特征集合中的樣本。將原始特征非線性地變換映射到高維空間H中，得到非線性映射Φ(X)，其結構為m×n′ (n′?n)，然后求得Φ(X)的協方差矩陣：

C=ΦT(X)Φ(X)/m

(20)

C的特征值λ和特征向量ν滿足

λν=Cν

(21)

則存在一組參數αi，使得

(22)

定義一個核矩陣Km×m，其中

Kij=Φ(xi)Φ(xj)j=1，2，…，m

(23)

可得式(21)的等價形式：

mλα=Kα

(24)

α=(α1，α2，…，αm)

在特征空間中，對特征向量α運用PCA進行特征提取后，得到滿足主元貢獻率的前k個特征向量。一般來說，為保證特征信息的完整性，前k個主元的累計貢獻率應在85%～95%。基于此，將Φ(X)在各主元方向投影可得降維后的低維特征空間X′(X′為通過KPCA方法降維得到的數據)，計算公式如下：

(25)

然后運用應用范圍最為廣泛的高斯核函數計算核函數K(xi，X)：

(26)

式中，δ為高斯徑向基函數的寬度。

3 SVM分類技術

SVM是一種基于結構風險最小化原則的模式識別方法。處理線性不可分的樣本時，通過運用非線性映射的方法，將其映射到高維特征空間中，使其線性可分[13]。運用SVM進行分類時，需要選擇合適的核函數類型，以及懲罰函數c與核函數g的值。根據文獻[7]的研究結果，本文選擇高斯核函數作為SVM分類器的核函數。在選擇懲罰函數c與核函數g的值時，運用遺傳算法對其尋優：對訓練集進行交叉驗證(cross validation，CV)并得到對應的準確率后，將此準確率作為GA中的適應度函數值，對SVM的參數進行優化。遺傳算法的計算過程如圖3所示。

圖3 遺傳算法計算流程Fig.3 Calculation flow of genetic algorithm

4 仿真實驗驗證

4.1 仿真數據集的產生

根據控制圖的蒙特卡洛描述方法，參考文獻[6]中的相關取值，取μ=0，σ=1，s∈(1，3)，g∈(0.1，0.26)，a∈(1.5，2.5)，T=8，d∈(1，3)。使用此規則共生成1400個樣本集，包括7種控制圖類型(正常型和6種異常型)，每種類型生成200個樣本(100個作為訓練集，余下的100個作為測試集)，每個控制圖包括40個采樣點。然后參照提取統計特征和形狀特征的方法，提取樣本集的12種統計特征和形狀特征，將之與40個原始特征融合，使數據集中每個樣本的特征維數都為52。

4.2 控制圖融合特征的約減

根據KPCA算法，對高維融合特征降維處理，可算得前28個主成分的累計貢獻率達到了95.20%，所有主成分的累計貢獻率變化情況如圖4所示。

圖4 累計貢獻率的變化情況Fig.4 Change of cumulative contribution

由運算結果和圖4可看出，通過KPCA方法提取前28項主元，不但降低了過程樣本的維數，而且使統計特征、形狀特征和樣本的原始特征得到了很好的保留。按照KPCA的特征選取標準，可將這28項主成分替代原有的52項特征構成新的樣本集，對后續SVM分類模型的構建難度和計算速度可以起到優化效果。

4.3 分類模型的訓練與參數優化

將經KPCA降維后的特征集分為訓練集和測試集，運用包含700個樣本的訓練集對基于遺傳算法的SVM參數優化模型的適應度進行交叉驗證，設終止代數為100，種群數量為20，最終獲得了優化后的懲罰函數c與核函數參數g的值，分別為69.8176、3.6278。控制圖識別精度隨進化代數的變化如圖5所示。

4.4 實驗結果分析

4.4.1 降維前后的識別精度

使用參數優化后的SVM分類器對測試集進行分類。為驗證對融合特征使用KPCA降維的有效性，將降維前后各控制圖類型的識別精度和總體平均識別精度進行比較，結果見表1。

由表1可知，在將樣本特征降至28維后，識別精度有了較大提升，相較于高維特征集，運用低維特征集識別上升趨勢型與下降趨勢型時有更高的準確率；在識別其他類型時，運用降維后的特征集所得到的識別精度也更加穩定可靠。另外，由于維數得到了大量約減，所以降低了計算復雜度，提升了運算速度。

圖5 基于GA的SVM參數優化過程Fig.5 Optimization of SVM parameters based on GA

維數精度(%)均值NORUSDSITDTCYCSYS5293．291009610077801001002898．7198999810010096100

4.4.2 與其他分類器識別精度的比較

為了進一步驗證KPCA-GA-SVM分類器的性能，仍然采用降維前的52維融合特征，分別運用普通的SVM、經GA優化參數的SVM(GA-SVM)、多層感知器神經網絡(multi layer perceptron neutral network，MLPNN)[9]、經網格搜索(grid search，GS)優化參數的SVM[9](輸入的特征集包括五種形狀特征和原始特征)即GS-SVM、本文方法進行比較。5種不同模型的分類器識別效果如表2所示。

表2 不同分類器的識別精度

由表2可以看出，維特維數是52時，SVM、GA-SVM與MLPNN分類的精度較本文方法低，且存在特征冗余的情況；GS-SVM分類器對45維融合特征(5維形狀特征和40維原始特征)進行分類的效果有所提高，但仍然存在特征冗余度高、計算慢的缺點；本文方法KPCA-GA-SVM不僅剔除了冗余特征，還提高了分類的準確率。

5 模型的應用

為保證手機產品的裝配質量，在生產手機外殼時，殼體上的電源鍵孔、音量鍵孔等開口寬度都需要達到很高的加工精度。為保證某旗艦手機外殼出線產品的合格率，必須運用檢測設備及人員對該外殼電源鍵孔寬度進行全檢。已知該孔寬度的設計質量標準為 (1.5±0.02)mm，現將實際生產過程中連續80次檢測數據繪制成控制圖(圖6)。

圖6 電源鍵孔寬度的均值控制圖Fig.6 Mean control chart of the width of powerbwtton hole

將這80個數據以40為寬度向右逐個移動取值(當采樣數據不滿40個時，將蒙特卡洛模擬正常型得到的仿真數據插入前端)，經特征提取、融合后，運用KPCA-GA-SVM分類器對控制圖進行識別。當識別到第40號樣本時，識別結果為上升趨勢型；當識別到第63號樣本時，識別結果為下降階躍型。根據此識別結果，參考文獻[11]中這兩種異常模式的產生原因，可得產生上升趨勢型的原因是更換了新材料、刀具磨損和操作者疲勞等；產生下降階躍型的原因是加工機器或檢測方法的變化等。經逐步排查，發現兩處異常分別是由刀具磨損和檢驗方法不標準導致的，與實際情況相符。上述案例說明本文所提出的分類器能夠有效識別實際加工中的產品質量波動情況，驗證了該分類模型在實際生產中的應用價值。

6 結論

(1)提取出控制圖的統計特征、形狀特征，將之與原始特征串聯，形成融合特征集合。融合后的特征既保留了原始特征包含的全局特性信息，又提取了多種統計特征和形狀特征，強化了樣本集的特征表達，使控制圖信息得到了更完整的描述。

(2)運用核主成分分析的方法對融合后的高維特征降維，不僅有效剔除了融合特征集中的冗余特性，還提升了分類器的識別精度，降低了分類模型的復雜度。

(3)運用遺傳算法對支持向量機的參數進行優化，解決了對分類器性能影響極大的參數選擇的問題，仿真結果表明，該算法有效提升了分類器識別的準確率。

(4)采用基于融合特征約減的KPCA-GA-SVM分類器進行控制圖識別，在保證控制圖特征完整度的前提下，充分發揮了核主成分分析方法在維數約減上的優勢；運用GA-SVM對降維后的融合特征進行分類，既提高了分類器的識別能力，又避免了復雜的運算。

[1]BAIKJW,KANGHW,KANGCW,etal.TheOptimalControlLimitofaG-EWMAGControlChart[J].InternationalJournalofAdvancedManufacturingTechnology, 2011, 56(1):161-175.

[2]GAURISK,CHAKRABORTYS.RecognitionofControlChartPatternsUsingImprovedSelectionofFeatures[J].Computers&IndustrialEngineering, 2009, 56(4):1577-1588.

[3]RANAEEV,EBRAHIMZADEHA.ControlChartPatternRecognitionUsingaNovelHybridIntelligentMethod[J].AppliedSoftComputing, 2011, 11(2):2676-2686.

[4]GHOMISMTF,LESANYSA,KOOCHAKZADEHA.RecognitionofUnnaturalPatternsinProcessControlChartsthroughCombiningTwoTypesofNeuralNetworks[J].AppliedSoftComputing, 2011, 11(8):5444-5456.

[5]CHENGC,HUANGK,CHENP.RecognitionofControlChartPatternsUsingaNeuralNetwork-basedPatternRecognizerwithFeaturesExtractedfromCorrelationAnalysis[J].PatternAnalysisandApplications, 2015, 18(1):75-86.

[6] 黃愛芹. 基于數據驅動的調節閥故障診斷方法研究[D]. 濟南:山東大學, 2015.HUANGAiqin.RecognitionofControlChartPatternsUsingaNeuralNetwork-basedPatternRecognizerwithFeaturesExtractedfromCorrelationAnalysis[D].Jinan:ShandongUniversity, 2015.

[7] 項前, 徐蘭, 劉彬,等. 基于粗糙集與支持向量機的加工過程異常檢測[J]. 計算機集成制造系統, 2015, 21(9):2467-2474.XIANGQian,XULan,LIUBin,etal.ProcessingAnomalyDetectionBasedonRoughSetandSupportVectorMachine[J].ComputerIntegratedManufacturingSystems, 2015, 21(9):2467-2474.

[8] 劉玉敏, 周昊飛. 基于多特征的PSO-MSVM動態過程質量異常模式識別[J]. 計算機應用研究, 2015(3):713-716.LIUYumin,ZHOUHaofei.RecognitionofQualityAbnormalPatternsforDynamicProcessBasedonMulti-featureswithPSO-MSVM[J].ApplicationResearchofComputers, 2015(3):713-716.

[9] 宋李俊，趙虎. 基于融合特征與支持向量機的控制圖模式識別[J]. 計算機應用研究, 2014(3):937-941.SONGLijun,ZHAOHu.RecognitionofControlChartPatternsBasedonFeatureFusionwithSupportVectorMachine[J].ApplicationResearchofComputers, 2014(3):937-941.

[10]XANTHOPOULOSP,RAZZAGHIT.AWeightedSupportVectorMachineMethodforControlChartPatternRecognition[J].Computers&IndustrialEngineering, 2014, 70:134-149.

[11] 吳蒼. 基于SPC控制圖模式的自動生產線產品質量動態監控方法及應用[D]. 重慶:重慶大學, 2013.WUCang.QualityDynamicMonitoringMethodBasedonSPCControlChartPatternRecognitionforAutomaticProductionLineandApplication[D].Chongqing:ChongqingUniversity, 2013.

[12] 李太福, 易軍, 蘇盈盈, 等. 基于KPCA子空間虛假鄰點判別的非線性建模的變量選擇[J]. 機械工程學報, 2012, 48(10):192-198.LITaifu,YIJun,SUYingying,etal.VariableSelectionforNonlinearModelingBasedonFalseNearestNeighboursinKPCASubspace[J].JournalofMechanicalEngineering, 2012, 48(10):192-198.

[13] 趙春華, 董海江, 鐘先友. 風電齒輪箱故障診斷的SVM參數優化[J]. 中國機械工程, 2015(16):2222-2225.ZHAOChunhua,DONGHaijiang,ZHONGXianyou.SVMParameterOptimizationinFaultDiagnosisforWindPowerGearBox[J].ChinaMechanicalEngineering, 2015(16):2222-2225.

(編輯 張 洋)

Control Chart Pattern Recognition Based on Fusion Feature Reduction and SVM

ZHAO Chunhua WANG Chengkang HUA Lu ZHENG Siyu LIANG Zhipeng

College of Mechanical and Power Engineering,China Three Gorges University,Yichang, Hubei,443002

In order to improve the intelligence of quality monitoring in machining processes, the paper proposed a control chart classification method based on fusion feature reduction and KPCA-SVM, on the basis of quality fluctuation which was described by control chart. Firstly, the Monte Carlo method was applied to generate the control chart data sets, statistical features and shape features were extracted to fuse with original features, then kernel principal component analysis was applied to reduce dimensionality of high dimensional fusion feature sets. Finally, genetic algorithm was used to optimize parameters of SVM. Recognition accuracy were compared through the simulation experiments with the applications of dimensionality reduction and different classification models, the results demonstrate that the higher recognition accuracy may be achieved by using the proposed method.

control chart; pattern recognition; feature fusion; dimension reduction; kernel principal component analysis(KPCA); support vector machine(SVM)

劉明周，男，1968年生。合肥工業大學機械與汽車工程學院教授、博士研究生導師。主要研究方向為制造過程監測與控制、制造系統建模與仿真和CIMS等。發表論文 160余篇。王 強(通信作者)，男，1987年生。合肥工業大學機械與汽車工程學院博士研究生。Email：wq_hfut@163.com。凌 琳，女，1987年生。合肥工業大學機械與汽車工程學院講師。

2016-06-24

國家自然科學基金資助項目(51205230)；湖北省自然科學基金資助項目(2015CFB445)；宜昌市自然基礎科學研究與應用項目(A15-302-a02)；賽爾網絡下一代互聯網技術創新項目(NGⅡ20150801)。

TH165.4;TP391.4

10.3969/j.issn.1004-132X.2017.08.009