基于集成支持向量機的控制圖異常模式識別

張 瑩，褚 娜

（1.武漢理工大學 物流工程學院，湖北 武漢 430063；2.港口物流技術與裝備教育部工程研究中心，湖北 武漢 430063）

0 引言

在生產過程的質量管控中，控制圖作為統計過程控制（SPC）的一種基本工具常被用來監(jiān)控過程中的異常波動。傳統控制圖是通過圖上的樣本點數據是否超過上下控制限來判斷過程是否異常，無法判斷生產過程異常的原因，近來控制圖模式識別的研究在質量管控中得到了很多學者的關注，它是通過識別異常數據自身的規(guī)律，進而根據專家知識庫找到對應異常數據模式產生的原因，并尋找相應的糾正措施。例如港口的配煤，主要是由多品種的煤炭按照一定比例混合。將控制圖模式識別運用于港口的配煤中，當發(fā)生異常時識別出異常原因，提醒操作人員及時調整異常工序，能夠有效的降低生產成本，促進港口經濟發(fā)展和環(huán)境效益提升。

關于控制圖模式識別的研究，一般先利用小波變換對數據進行特征提取。然后選擇合適的識別分類器進行控制圖模式識別。在識別分類器的選擇中，機器學習的方法被廣泛應用于控制圖模式識別中。Addeh，等提出蜜蜂算法對高數目徑向基函數神經網絡進行參數尋優(yōu)，提高了泛化能力和網絡識別精度。Zan，等提出一維卷積神經網絡，該模型的識別精度、收斂速度和迭代時間明顯優(yōu)于傳統的多層感知器模型。劉貝貝，等指出了概率神經網絡的控制圖模式識別性能主要取決于對平滑因子的設定，利用粒子群算法對平滑系數進行尋優(yōu)。而神經網絡對于小樣本數據沒有較好的泛化性，網絡結構也相對復雜，易于過擬合。Cuentas，等提出由于支持向量機具有優(yōu)異的泛化性能，在統計過程控制應用中取得了顯著的效果。宋李俊，等提出了融合特征提取和支持向量機控制圖異常模式識別方法，實驗表明對于小樣本也有較好的識別性能。Zhou，等提出了混合核函數的模糊支持向量機的方法，對比概率神經網絡和多層感知網絡等具有良好的性能。他們將該模型運用到連桿部件的生產中，表明該方法在實際應用中具有較好的效果。蔣兆，等提出了一種基于遺傳算法對多核函數最小二乘支持向量機中參數進行優(yōu)化的識別模型，利用仿真實驗證明了該識別模型在小批量生產中具有應用價值。

另一方面，為了改善監(jiān)測模型識別精度不高、容易陷入局部優(yōu)化的問題，許多學者采用AdaBoost算法對多個支持向量機進行集成。Jin，等提出了基于Relief算法和AdaBoost-SVM的內部裂紋缺陷檢測方法，對比常用分類器具有更好的識別性能和泛化能力。呂鋒，等提出一種基于多重提升的荷爾蒙遺傳SVM集成學習方法，并將其應用于網絡故障診斷，提高故障分類準確率。Bhosle，等提出了混合鄰近算法和徑向基函數核支持向量機作為AdaBoost的弱分類器，識別乳房X線照片為良性或惡性，提高早期識別乳腺癌的效率。Zheng，等將AdaBoost-SVM方法應用到變換器功率晶體管的故障診斷，提高了故障診斷的精度。可以看出SVM作為AdaBoost的弱分類器，在故障診斷、圖像識別等領域具有較強的應用價值，受到了學者們的普遍關注。但是AdaBoost集成算法中每個弱分類器的權重依賴于自身分類誤差，并且一味地提高錯誤樣本的權重，這些缺點降低了模型的識別率。

綜合目前已有研究發(fā)現，AdaBoost和SVM結合的算法在模式識別領域已有研究，但在統計過程控制中，尤其針對控制圖異常模式識別的研究中，還沒有考慮將該算法引入進來。為了更好地對產品質量進行控制，本文采用AdaBoost-SVM 模型對控制圖進行異常模式識別，為了提高質量檢測效率，本文針對SVM 識別精度不高、容易陷入局部優(yōu)化，AdaBoost 算法更新權重不足的問題，進一步提出了基于改進的AdaBoost-SVM 的控制圖模式識別方法，并研究其監(jiān)測效率。最后將該模型運用于港口配煤模擬實驗中，對其關鍵質量特性進行監(jiān)測，以提高煤炭質量，降低生產成本。

1 控制圖模式識別

1.1 控制圖原理

1.2 控制圖模式分類

傳統控制圖通過判斷樣本點是否超過上下控制限來監(jiān)測生產過程的狀態(tài)，而對部分過程異常因素的監(jiān)控靈敏度不高并且無法識別具體的異常模式。在實際生產過程中需要及時報警并快速地找出過程異常的原因，調整相應的工序，避免造成生產損失。由此可見，控制圖異常模式識別對于生產制造企業(yè)產品的質量控制和診斷具有重要意義。美國西部電氣公司總結了控制圖模式（CCP）的相關概念，并對控制圖模式的類型進行了探討和分析。目前基于控制圖模式識別診斷的研究，主要以6種基本模式為主，分別為：正常、周期、上升趨勢、下降趨勢、向上階躍、向下階躍模式。

2 基于AdaBoost-SVM的控制圖異常模式識別模型構建

本文提出了基于AdaBoost-SVM的控制圖異常模式識別，其主要步驟為數據預處理、參數優(yōu)化和模式識別，如圖1所示。在數據預處理時，先運用小波分析將監(jiān)測到的數據進行小波分解和重構，消除噪音對抽樣數據的影響；其次利用網格搜索和交叉驗證法對SVM中的參數進行尋優(yōu)；最后運用SVM作為AdaBoost的弱分類器，集成強分類器進行控制圖異常模式識別。具體仿真步驟如下：

第一步：生成仿真數據。通過蒙特卡羅模擬生成六種控制圖模式數據。

第二步：數據預處理。選擇合適的小波函數，通過小波變化進行分解和系數重構，達到消除噪音的目的。

第三步：參數優(yōu)化。利用網格搜索和交叉驗證對SVM中的參數懲罰因子c和核參數g進行尋優(yōu)。

其次，可以舉一些優(yōu)秀的“阿姨”的例子，展示給她們看，這個職業(yè)可以到達的高度和狀態(tài)，為阿姨樹立學習的榜樣。可以將國內外家政服務人員的學習和教育經歷展示給阿姨看，英國、菲律賓等家政培訓課程和學員學習情況，都可介紹給阿姨看，目的是希望阿姨認識到，這個工作不像她們想象的那樣簡單，有很多方面可以做得更好，但必須經過艱苦的學習和自我改變。

第四步:模式識別。利用改進的AdaBoost-SVM模型進行控制圖模式識別。

圖1 基于改進的AdabBoost-SVM的控制圖模式識別框架

2.1 基于交叉驗證的SVM網格參數優(yōu)化

在SVM 中，選擇合適的核函數和參數值對SVM 的學習能力來說非常重要。徑向基函數（RBF）作為核函數具有很強的學習能力，能夠快速的解決非線性問題，在模式識別、故障診斷等許多問題的研究中表現出很好的性能。核參數g 和懲罰因子c 的選取對SVM 的性能影響較大。如果g 值選取不當，會出現“過學習”或“欠學習”現象；而懲罰因子c 越高，越容易過擬合，c 越小，越容易欠擬合。因此，本文將選擇RBF 函數作為SVM 的核函數，采用網格搜索和交叉驗證法尋找合適的懲罰因子和核參數。

交叉驗證的基本思想是將數據集分割成N份，使用其中的1份作為測試集，剩余的N-1份作為訓練集，并將訓練好的模型用于測試集上。網格搜索的基本原理是將SVM中參數c和g分別劃分一個區(qū)間范圍，并計算出對應各參數變量值組合的準確率，逐一擇優(yōu)，以得到該區(qū)間內的最佳參數組合值。因此本文將利用交叉驗證法檢驗每組（c，g）的準確率，具體步驟如下:

第一步：設置參數范圍。取g=[-x，x]，c=[-y，y]，并設置步長為L。

第二步：采用k折交叉驗證方法。將訓練集劃分為k份，選其中k-1份數據用于模型的訓練，留下一份數據作為測試集。重復上述步驟k次，可得k次分類準確率，取其平均值作為該組參數(c，g)的分類準確率。

第三步：選取最優(yōu)參數組合。遍歷網格上所有的參數組合，選取分類準確率最大的一組參數組合。

2.2 基于改進的AdaBoost-SVM的識別模型

AdaBoost 算法的原理是在迭代過程中賦予多個弱分類器不同的權重，得到一個強分類器。傳統的AdaBoost算法存在明顯的不足，在迭代過程中對錯誤樣本賦予較大的權重，正確樣本賦予較小的權重，容易導致錯誤樣本權重無限的增加，正確樣本被忽視，影響樣本訓練效果。基于此不足，本文對AdaBoost算法進行改進：（1）更新弱分類器權重時，僅考慮弱分類器訓練誤差率，未考慮樣本權重分布情況。R反應了樣本權重分布情況，R越大說明被正確分類樣本越多；反之說明被錯誤分類樣本越多。加入k*exp(R)，使R越小，弱分類器權重越小。（2）更新訓練樣本權重時，為了改善對錯誤樣本的過度關注，加入l 調節(jié)因子，減少錯誤樣本權重增長速度和正確樣本權重減緩速度。本文提出的改進AdaBoost-SVM 識別模型，其具體的訓練步驟如下：

}(x,y),(x,y),...,(x,y) ，其中x是樣本特征向量，y是樣本對應的類別標簽，輸入初始迭代次數t=1，總迭代次數T。

3 仿真實驗

3.1 仿真數據

在實際生產中存在著噪聲干擾，因此將隨機因素作為噪聲加入正常控制圖模式中，各種異常因素加入相應的異常控制圖模式中。為了更加貼合實際，提高分類模型的泛化能力，在每種控制圖異常模式中設置不同程度的偏移，保證數據的多樣性。對采用蒙特卡羅仿真產生的不同模式下的樣本數據進行研究，詳細的樣本點數據公式描述如下：

其中y(t)表示t時刻的工序質量值，q(t)表示t時刻的隨機因素，x(t)表示t時刻的異常干擾因素。表1給出了控制圖的六種模式以及相應的模式表達式，為了討論方便，不失一般性，此處取μ=0、σ=1。本文一共生成1 080組數據（即6種模式，每種模式180組），每組數據包含10 個特征值，即一共生成1 080*10 的數據集。其中取720*10為訓練集（每種模式120組）；取360*10為測試集（每種模式60組）。各模式下的具體參數設置見表1。

表1 每種模式的參數設置

3.2 參數優(yōu)化

為了更好地對控制圖數據進行模式識別，利用小波分析進行特征提取，消除數據中包含的噪音，其方法是通過提取少量的數據來代表控制圖模式數據中的數據變化趨勢。本文采用db3小波函數來對控制圖模式數據進行分解，將低頻近似系數與小波重構數據的形狀特征相結合，作為控制圖模式數據的特征。將預處理好的數據，放入采用SVM作為改進的Ada-Boost弱分類器識別器的識別模型中，其中SVM的參數優(yōu)化是通過網格搜索法和交叉驗證法對懲罰因子c和核參數g進行參數尋優(yōu)。方法如下:設置c和g的范圍都是[2，2]，對該范圍內的參數進行網格搜索和5折交叉驗證，得到最優(yōu)的參數組合是[16，12.125 7]，訓練集的準確率為96.805 6%。

3.3 模式識別實驗結果及分析

本文將用預處理好的數據，取每種模式的60組數據作為測試集，即一共生成360*10的測試集。設置對照試驗，對比各種算法的識別性能：（1）BP神經網絡的輸入層神經元為10，隱含層個數為2。（2）采用參數優(yōu)化后的SVM分類器進行模式識別。（3）采用方法一中的BP神經網絡作為AdaBoost的弱分類器進行模式識別。（4）采用參數優(yōu)化后的SVM分類器作為AdaBoost的弱分類器進行模式識別。（5）利用本文提出的改進后的AdaBoost-SVM進行模式識別。測試結果見表2。

表2 每種識別方法的識別率（%）

對表2的結果分析如下：（1）BP神經網絡對六種控制圖模式的平均識別率為81.67%左右，而單獨使用SVM的平均識別率為89.44%。相比于傳統的BP神經網絡分類方案，SVM訓練的時間雖然比神經網絡慢，但是其性能卻表現得更好。

（2）對比單一分類器，集成分類器識別率更高。說明將多個弱分類器集成為強分類器，對提高控制圖模式識別率有一定的價值。

（3）可以看出，使用改進后的AdaBoost-SVM集成分類器相比AdaBoost-SVM 集成分類器，每種模式的識別率得到了大大的提升。改進后的AdaBoost-SVM集成分類器平均識別率達到97.78%。

對比發(fā)現識別性能有明顯的提高，綜上所述，在控制圖數據相同的情況下，對比單一的分類器和集成分類器，發(fā)現集成SVM算法對于控制圖模式識別有一定的價值，本文進一步提出的改進AdaBoost-SVM 算法具有較高的準確率。

4 實驗驗證

4.1 實驗設計

本文將AdaBoost-SVM控制圖識別模型應用于物流港口配煤中。在散貨碼頭物流裝備實驗室中進行模擬實驗，假設需要生成的混配煤的物料比例為1:2，實驗過程由斗輪取料機取料到各皮帶機上運輸，最后通過斗料機進行混合生成混煤。設置兩條皮帶機均以1m/s勻速運行，抽樣檢測5組60s內各皮帶機上物料的質量，計算得到的各皮帶運輸機的瞬時流量作為配煤工藝的關鍵質量特性，采用均值控制圖進行控制圖模式識別。主要的監(jiān)測流程是：將瞬時流量輸入到本文的模型進行識別，判斷配煤的過程狀態(tài)。如果處于正常狀態(tài)則繼續(xù)生產；處于異常狀態(tài)則進一步判斷異常的模式，發(fā)出報警并根據專家知識庫對應異常模式下的原因調整工序。

4.2 實驗結果及分析

模擬實驗中，人為的加入干擾因素導致各皮帶機瞬時流量出現偏移。實驗設置皮帶機一在運輸物料前，從第45個采樣點開始，周期性的改變斗輪取料機取料量；在第20-26個采樣點時，皮帶機二前端放置一張紙片，改變此處皮帶張力，使其出現向上階躍異常模式。將采集的數據放入AdaBoost-SVM 模型中，進一步測試本文模型在實際生產環(huán)境中的可行性。如圖2所示，對兩個皮帶機的瞬時流量繪制均值控制圖，瞬時流量要求分別是W=（4±0.3）kg/s、Q=（8±0.3）kg/s。將采集到的數據點采用與仿真實驗相同的窗口寬度（n=10）在控制圖上移動取值，分別得到51和42個樣本。將樣本輸入到訓練好的模型中進行特征提取和模式識別，結果如圖3所示。

圖2 皮帶運輸機瞬時流量控制圖

圖3 瞬時流量模式識別

將瞬時流量作為關鍵質量特性輸入到控制圖在線監(jiān)測系統中。當皮帶運輸機一的控制圖在第45個點監(jiān)測到異常時，將其輸入到改進的AdaBoost-SVM模型識別異常模式，運用模型識別出在49-60個點時為周期模式，此時識別模型的性能指標ARL=5；當皮帶運輸機二的控制圖在第20個點監(jiān)測到異常時，將其輸入到改進的AdaBoost-SVM 模型識別異常模式，運用模型識別出在23-26個點時為向上階躍模式，此時ARL=4。上述實驗中ARL的值均小于質量管理體系手冊中規(guī)定的25，識別性能較好，能及時報警，且識別異常模式與實際的實驗設計相符。改進后的Ada-Boost-SVM模型識別與實際模擬實驗情況吻合，由此可以說明，改進的AdaBoost-SVM 模型在實際生產過程中對監(jiān)測到異常狀態(tài)，并及時調整工藝規(guī)則和實施糾正預防措施都具有應用價值。

5 結語

通過對關鍵工序質量特性進行控制圖異常模式識別，在線監(jiān)測產品生產過程中的狀態(tài)。本文主要通過小波分析對蒙特卡羅仿真數據進行數據預處理后，將處理好的數據放入參數優(yōu)化后的SVM 中，最后將SVM作為AdaBoost的弱分類器進行模式識別。為了比較識別的效果，設置對照實驗結果表明：對比單一使用SVM和BP神經網絡，發(fā)現SVM相比BP神經網絡具有較高的識別準確率；將單一分類器和集成分類器相比較，結果表明在每種模式下集成分類器具有更好的識別性能，平均識別率達到96%以上；改進后的AdaBoost-SVM分類器相比傳統集成分類器，控制圖模式識別率進一步提高，達到97.78%。最后通過對皮帶機瞬時流量進行監(jiān)測，得出的結果和實際的模擬實驗相同，進一步證明了在實際生產中的應用價值。