一種組合模型狀態監測方法研究

李小珉　張　波　尹　明

(海軍工程大學電子工程學院　武漢　430033)

?

一種組合模型狀態監測方法研究

李小珉張波尹明

(海軍工程大學電子工程學院武漢430033)

摘要目前在狀態監測過程中分類器的類型和參數的選擇對狀態監測率有很大影響,而且任何單一模型使用過程中都會出現不理想的方面,提出一種參數優化與組合模型相結合的新方法。結合支持向量機(SVM)能夠處理分類問題和隱馬爾科夫模型(HMM)適合處理連續信號的特點,同時考慮到SVM的參數設置對結果影響較大,采用粒子群算法(PSO)對SVM進行優化,最終形成組合模型HMM-PSOSVM。通過實驗驗證了其具有良好的模擬電路早期狀態監測能力。

關鍵詞特征提取; 狀態監測; 組合模型

A State Monitoring Method of Combination Model

LI XiaominZHANG BoYIN Ming

(School of Electrical Engineering, Naval University of Engineering, Wuhan430033)

AbstractSelecting the suitable type and parameters of the classifier has a great influence on state monitoring rate in the state monitoring process currently, and any single model will appear not ideal aspect in using process, a novel method combined with a parameter optimization and combination model is put forward. Because the Support Vector Machine(SVM) can deal with classification problems and Hidden Markov Model(HMM) is suitable for the characteristics of processing continuous signal, at the same time, taking into account the parameter of SVM has great impact on the results, using the Particle Swarm Optimization algorithm(PSO) to optimize SVM, and ultimately forming the HMM-PSOSVM combination model. The experimental results show that the new method has excellent capability of monitoring incipient fault.

Key Wordsfeature extraction, state monitoring, combination model

Class NumberTP277

1引言

故障預測與健康管理(PHM),代表了一種方法的轉變,它的重點是利用先進的傳感器的集成,并借助各種智能算法對不同部位采集的數據信息進行分析,評定出系統的狀態情況,然后綜合各種保障資源對故障進行定位、隔離和預測[1]。這種技術的提出不僅可以根據系統當前的健康狀態和資源實現故障的排除,而且可以根據系統健康狀態的評估實現故障的預測,在故障發生之前進行維護保養,節省壽命周期費用[2]。

狀態監測是PHM技術的基礎和重點,通過狀態監測實時掌握系統狀態情況,在此基礎上評估系統健康狀況,進而實現故障的診斷和預測。電子系統的狀態監測是利用傳感器采集狀態數據信息,通過智能算法和模型評估系統當前狀態,此方法標志著傳統故障診斷方式向智能故障預測方式的轉變。基于PHM技術的電子系統狀態監測主要包括特征提取、狀態識別與預測等模塊[3],其方法體系如圖1所示。

圖1　狀態監測方法體系

在狀態監測過程中分類器及其參數的選擇至關重要,直接影響著監測和識別結果,而目前為止任何單一模型使用過程中都會出現不理想的方面,本文將針對這一問題提出一種參數優化與組合模型相結合的優化方法,并通過仿真實驗進行驗證。

2常用狀態監測器及其優化

2.1隱馬爾科夫模型HMM

隱馬爾科夫模型(HMM)是一種通過概率統計方法對事件與信號之間的隨機過程進行描述的雙重隨機概率模型。一重過程是使用Markov鏈對狀態的概率轉移進行描述,另一重是描述狀態與觀察值之間的關系。由于模型狀態不是直觀可見的,只能通過狀態轉移的隨機過程來評估事件的狀態[4]。

HMM可以定義為五個基本參數集合:λ=(S,V,π,A,B)。

1)S為有限狀態集合,S=(S1,S2,…,SN),N表示狀態個數,狀態之間相互關聯,可以視情況相互轉換,如果模型在t時刻的狀態是Si,那么Si∈(S1,S2,…,SN);

2)V為有限觀察符號集合,V=(V1,V2,…,VM),M表示對應狀態下的觀測值的個數,若模型在t時刻的觀測值是Vi,那么Vi∈(V1,V2,…,VM);

3)π是初始化概率向量,π=(π1,π2,…,πN),πi=p(qi=si),i=1,2,…,N,π指的是初始階段第一狀態選取選擇狀態集合中某個狀態時的概率,而且∑πi=1;

4)A是狀態轉移矩陣,A={aij},個別情況下某狀態可以轉變為其他狀態,aij是由當前狀態i轉變為其他狀態j時的概率;

5)B是觀察概率矩陣,bij表示當處于狀態xi時出現觀測序列xj的概率。所以HMM可以表示為λ=(S,V,π,A,B),或者簡化表示為λ=(π,A,B),其中π、A表示模型中狀態序列輸出,B表示是模型的觀察值序列輸出。

2.2非線性支持向量機SVM

支持向量機(SVM)是上個世紀90年代中期Vapnik和合作者在統計學理論基礎上,建立的一套針對小樣本和分類問題,采用結構風險最小化準則(SRM)的基于核的新型機器學習法[5]。

設輸入向量x經核函數從輸入空間Rn映射到高維空間中:

因為在輸入空間映射到高維空間的非線性過程只需要應用到內積過程(φ(x1)·φ(x2)),不用考慮φ的具體形式,所以這里定義核函數K(x,y),且令K(x,y)=φ(x)·φ(y)。在非線性情況下,尋找最優超平面時,只需要運用合適的核函數代替線性支持向量機分類超平面條件中的點積,即可得到非線性支持向量機的拉格朗日函數的對偶形式:

(1)

求解可得非線性高維空間的決策函數:

(2)

2.3基于粒子群優化算法(PSO)的SVM

粒子群算法(PSO)是由Kennedy和Eberhart等于1995年開發的一種智能優化算法,其基本思想來源于對鳥群簡化社會模型的研究及行為模型。粒子群算法將粒子群中的個體都看做是沒有體積和質量的微粒,通過粒子對環境的學習和適應,利用個體和群體之間飛行經驗的綜合飛行結果來調整粒子的飛行速度及所處的位置。它是一種基于群體智能的演化計算方法,通過群體中粒子間的合作與競爭產生的群體智能指導優化搜索。其特有的記憶使其可以動態跟蹤當前的搜索情況調整其搜索策略,是一種更高效的并行搜索算法[6]。PSO具有原理簡單、收斂速度快等優點,需要調節的參數較少[7]。下面對PSO中的相關參數進行簡單分析。

1) 慣性因子w

w能反映出前一時刻的速度對當前速度的影響,能直接左右算法全局以及局部搜索能力。w值越大,算法全局搜索能力就越強;反之算法的局部搜索能力越強。適合的慣性因子能較好地平衡算法的局部搜索能力和全局搜索能力,而且不同的情況下慣性因子的取值是不一樣的,所以要根據實際情況,選擇最優慣性參數w。

為了使PSO取得更好的搜索能力,首先在前期需要較強的全局搜索能力,這時慣性因子的取值要偏大,在后期就需要對局部區域進行高精度搜索(局部搜索能力),此時慣性因子的取值要盡量小一點。所以慣性因子w在取值時,剛開始取值要大,隨后逐漸減小,因此慣性因子w是隨著時間的增大而逐漸遞減的變化值。

2) 群體規模m

種群規模越大,包含的粒子越多,此時參與搜索的粒子也就越多,此時的粒子群算法具有較好的搜索能力,但計算時間會增加。根據文獻[8]實驗證明當種群中粒子數量增大到一定后,該算法的搜索能力就沒有明顯的變化,大多數文獻在實驗時一般將粒子群的種群數量取為50,當研究問題較為復雜時可以適當增加粒子的數量。

3) 加速因子c1和c2

加速因子c1和c2的作用是分別用來調節粒子飛向個體最優方向和群體最優方向的概率[9],當加速因子取值較小時,粒子飛向目標區域的概率較小;當加速因子取值增大時,粒子飛向目標區域的概率增加,但是當取值過大就有可能直接飛越而過。

當c1取零而c2不為零時,粒子沒有自身的認知能力[10],該狀態下的粒子能夠到達新的搜索空間,但是如果粒子數量較多,問題比較復雜時,容易僅局限于局部最優。

當c2取零而c1不為零時,粒子間信息互不共享,“只有認知”模型[10],該狀態下的粒子之間沒有相互聯系,各粒子的運動相互獨立,該情況下的算法很難取得最優解。

當c1和c2同時取零時,粒子既沒有“認知”能力,相互間也沒有信息共享,所以該狀態下的粒子會按照原來的速度飛行,直到飛到邊界,該情況下的算法只能搜索很小的區域。

4) 最大速度Vmax

粒子的最大速度Vmax影響著粒子搜索空間的能力,當Vmax取值加大時,粒子的搜索能力變強,但是可能出現粒子越過最優搜索空間的問題;當Vmax取值較小時,粒子局部搜索能力強,但可能出現達不到空間最優區域,而僅局限于局部最優。

支持向量機中對核函數的選擇沒有較好的標準和方法,雖然已經提出很多種理論方法通過選擇期望風險最小的參數作為最優參數,但是在實際使用中選擇最優參數范圍比較難以把握,而且精度比較低。粒子群算法通過群體中各微粒相互協調與合作來尋找最優解,而且該方法需要調節的參數比較少,易于實現。下面將通過PSO算法對SVM進行優化,以RBF作為核函數,通過對懲罰系數C、核參數σ的優化得到最優SVM模型[11]。具體過程如下:

1) 確定搜索空間

由于σ過大時會出現“欠學習”現象,過小時則會出現“過學習”現象,而且根據高斯核函數的定義可以知道σ的值與‖x-y‖2的值有關,但是在應用中σ的值比訓練樣本最小間距小的話會出現σ的值無限接近于零的現象,而σ的值大于樣本最大間距就會出現σ的值接近于無窮大的現象,所以可以設置σ的值的搜索范圍:{min(‖x-y‖2×10-2),max(‖x-y‖2×10-2)},并且可以逐步縮小搜索空間來提高效果。

懲罰因子C主要受到Lagrange乘子α的影響,為了取得適當的C值進行訓練可以進行如下方法:當C>C1時可以取適當的值進行訓練,求得Lagrange乘子α;當C≤C1時則需要重新取C的值,直到C1遠小于C時為止,所以可以定義懲罰因子C的搜索空間為(0,C1)。

2) 初始化

對PSO算法中的每個微粒隨機定義一組{C,σ},粒子會在空間中與狀態相互對應的節點間相互運動,此時微粒在運動中可以根據目標函數的信息進行搜索。

POS-SVM實現步驟[12]是:

1) 初始化粒子群算法調節參數(粒子群規模m,慣性因子W,粒子自身加速系數C1,全局加速系數C2,粒子的初始位置和速度等);

2) 計算各微粒的適應值;

3) 將各微粒適應值與最佳位置Pi比較,重新選擇其中的最優值作為最新最佳位置;

4) 將所有微粒最佳位置與全局最佳位置Pg比較,若優于Pg則取其為新的全局最佳位置,否則Pg保持不變;

5) 計算慣性因子W,求得新的位置和速度;

6) 若滿足終止條件則停止搜索,此時的輸出值就是SVM的最優參數,若不滿足條件則返回第二步繼續搜索。

3HMM-PSOSVM組合模型

根據HMM和SVM分別作為狀態監測器的原理和方法,通過實驗可以得出HMM在處理連續信號方面表現理想,能夠很好地反映樣本間的相似度,而SVM在處理分類問題方面表現理想,能夠很好地體現不同樣本間的差異。所以將HMM和粒子群優化的SVM模型的優點結合起來構成組合模型[13],實現優勢互補的組合模型能很好地識別電子系統的不同狀態,組合模型結構設計如圖2所示。

該組合模型共分成四個層次:輸入層、隱馬爾科夫訓練和識別模塊、支持向量機訓練和識別模塊、輸出層。輸入模塊中通過傳感器實時監測電路系統中的狀態,提取出電子系統的狀態特征,并將特征信號通過預處理,去除原始特征中的冗余性、高維性,預處理后的特征能夠更好地反應出電路的狀態信息。隱馬爾科夫訓練和識別模塊中,根據電路不同情況MC分析中容差的設置,不同的HMM模型輸出的最大似然值可能會出現相似現象,這時不能僅僅通過最大似然值的大小來判斷電路系統的狀態。所以可以引入SVM的訓練和識別模塊,利用支持向量機較好的分類能力來解決模式識別中出現誤判的問題,同時HMM訓練和識別模塊中對連續信號的處理能力也可以彌補支持向量機在處理分類問題中因不進行時序信號方面特征的處理而出現誤判的不足。最后通過輸出模塊將最終的結果輸出反饋出來。

圖2　HMM-PSOSVM狀態監測模型

組合模型識別問題分為隱馬爾科夫模型和支持向量機兩個層次,首先將測試樣本經過預處理后提取出含有豐富狀態信息的數據特征,然后將處理后的測試特征序列輸入到HMM模型的分類層中,通過分析樣本間的相似度,排除P(V|λi)較小的樣本,將剩下的測試樣本與設定的閾值進行比較,如果經過隱馬爾科夫模型訓練后的測試樣本的最大似然值大于設定的閾值則直接輸出分類效果,如果小于設定的閾值則將其進一步輸入到支持向量機的識別層次;利用SVM解決二分類問題的優勢進行分類并輸出結果,這樣可以很好地減少計算量,并能有針對性地提高分類識別率,這樣的組合模型在保證分類效率的同時也節約了時間。

4仿真實驗

具體實驗如下:

1) 電路選擇,采用如圖3所示的標準二階高通濾波器作為實驗電路:

圖3　二階高通濾波器

設置R1=6.2kΩ,R2=6.2Ω,R3=6.2kΩ,R4=1.6Ω,R5=5.1kΩ,R6=10kΩ,C1=5nF,C2=5nF,激勵源設為2V,幅角為0°,電路輸出點作為測試點,實驗時選擇R1、R2、R3、R4、C1、C2作為故障元件,設置電路中電阻的容差為±10%,電容的容差范圍為±5%。故障分為增大和減少兩類(電阻和電容向上超出容差范圍和向下超出容差范圍兩類),再加上正常態則電路共有13類狀態;

2) 將通過MC分析提取出的100組數據采用非線性特征提取方法進行預處理和特征提取;

3) 設置隱馬爾科夫模型的參數初始值,并將處理好的各狀態的特征向量輸入到HMM模型中進行訓練,建立不同狀態的HMM模型;

4) 建立支持向量機二分類器,由于該電路有12種故障狀態外加正常狀態共有13種狀態,所以采用一對一策略建立二分類器;

5) 參數優化。采用PSO對采用高斯核函數的SVM的參數進行優化;

6) 狀態識別。將測試數據輸入到訓練好的13個HMM模型,通過前向—后向算法計算對應的最大似然值,將計算出來的似然值與設定的閾值(當最小似然值與最小值的差值,本次實驗時取值為2進行對比,若滿足條件則直接輸出識別結果,如果不滿足條件則輸入到SVM分類層中進行二次狀態識別,并輸出最終狀態類別。

實驗結果分析:

從表1所示的結果中可以看出: 1) 經過粒子群參數優化后的支持向量機分類能力有所提升,所以參數優化方法在提升模型分類能力的同時也能提升系統整體的狀態監測能力; 2) 隱馬爾科夫模型和粒子群參數優化的支持向量機組成組合模型在狀態識別率方面表現良好,比采用單一模型做狀態監測器時的識別率都要高,說明該組合模型既具有隱馬爾科夫模型在處理連續信號問題方面的優勢,又有支持向量機在處理分類問題方面的優點,實現了兩模型優勢上的互補。

表1　不同狀態監測器時的識別率

5結語

由于HMM能很好地體現樣本間的相似度,比較適合處理連續信號,而SVM能夠很好地反映不同樣本間的差異,在處理分類問題方便表現突出,所以根據這兩種模型的優點提出一種新模型HMM-SVM,這種組合模型在兼顧兩者優點的同時也能解決HMM處理似然值相似時分類能力不強,以及支持向量機在處理分類問題時因時序性問題而分類效果不佳的缺點。另一方面由于SVM在參數選擇方面方法和思想不夠統一,沒有較好的參數優化方法,所以提出一種基于PSO優化的SVM參數優化方法,通過實驗驗證優化后的SVM在分類問題方面比不采用參數優化方法時的分類效果好。基于以上結論,本文提出了基于HMM-PSOSVM的組合模型,通過驗證該方法的狀態識別率有較大提升。

參 考 文 獻

[1] 張寶珍.國外綜合診斷,預測與健康管理技術的發展及應用[J].計算機測量與控制,2008,16(5):591-594.

ZHANG Baozhen. Development and Applications of Integrated Diagnostics, Prognostics and Health Management Technologies of Abroad[J]. Computer Measurement & Control,2008,16(5):591-594.

[2] 張寶珍,曾天翔.先進的故障預測與狀態管理技術[J].測控技術,2003,22(11):26-31.

ZHANG Baozhen, ZENG Tianxiang. Advanced Prognostics and Health Management Technology[J]. Measurement and Control Technology,2003,22(11):26-31.

[3] Adams C, Zimmerman J. Joint strike fighter: Faster, cheaper, simpler support[J]. Avionics Today, April,2003.

[4] 馮長建.HMM動態模式識別理論,方法以及在旋轉機械故障診斷中的應用[D].杭州:浙江大學,2002.

FENG Changjian. HMM Dynamical Pattern Recognition Theories, Methods and Applications in Faults Diagnosis of Rotating Machine[D]. Hangzhou: Zhejiang University,2002.

[5] Vapnik V. The nature of statistical learning theory[M]. Springer Science & Business Media,2000.

[6] 張艷.基于粒子群優化支持向量機的變壓器故障診斷和預測[D].成都:西華大學電氣及其自動化學院,2011.

ZHANG Yan. Transformer Fault Diagnosis and Prediction Based on Particle Swarm Optimize Support Vector Machine[D]. Chengdu: Xihua University, School of electrical and automation,2011.

[7] Eberhart K. A New Optimizer Using Particle Swarm Theory[J].Proceedings of the Sixth International Symposium on Micro Machine and Human Science,Nagoya,1995:39-43.

[8] 高芳,崔剛.智能粒子群優化算法研究[D].哈爾濱:哈爾濱工業大學,2008,6:11-26.

GAO Fang, CUI Gang. Research on Intelligent Particle Swarm Optimization Algorithm[D]. Harbin: Harbin Institute of Technology,2008,6:11-26.

[9] 李寧.粒子群優化算法的理論分析與應用研究[D].武漢:華中科技大學,2007:24-67.

LI Ning. Analysis and Application of Particle Swarm Optimization[D]. Wuhan: Huazhong University of Science and Technology,2007:24-67.

[10] Kennedy J. The partical swarm:social adaptation of knowledge[J]. Proceedings of IEEE International Conference on Evolutionary Computation,1997:303-308.

[11] 張曉南,張宏梅.基于優化PSO-SVM模型的軟件可靠性預測方法[J].計算機應用,2011,31(7):1762-1764.

ZHANG Xiaonan, ZHANG Hongmei. Software reliability prediction based on improved PSO-SVM model[J]. Journal of Computer Application,2011,31(7):1762-1764.

[12] 劉麗芳,張文愛.粒子群算法的改進及應用[D].太原:太原理工大學,2008,5:10-13.

LIU Aifang, ZHANG Wenai. Modification and Application of Particle Swarm Optimization Algorithm[D]. Taiyuan: Taiyuan University of Technology,2008,5:10-13.

[13] 于美娟,馬希榮.基于SVM和HMM混合模型的動態手勢識別技術研究[D].天津:天津師范大學,2011,6:25-37.

YU Meijuan, MA Xirong. The Research of Dynamic Gesture Recognition Technology Based on SVM and HMM Hybrid model[D]. Tianjin: Tianjin Normal University,2011,6:25-37.

中圖分類號TP277

DOI:10.3969/j.issn.1672-9722.2016.01.005

作者簡介:李小珉,女,副教授,碩士生導師,研究方向:電路與系統的研究。張波,男,碩士研究生,研究方向:綜合測試與故障診斷。尹明,男,講師,研究方向:電子裝備測試技術。

收稿日期:2015年7月10日,修回日期:2015年8月26日