基于改進(jìn)SVM的模擬電路故障診斷

周紹磊，廖 劍，史賢俊，戴邵武

（海軍航空工程學(xué)院控制工程系，山東煙臺(tái)264001）

模擬電路由于自身存在故障模型欠佳、元件容差、故障參數(shù)連續(xù)和電路非線性等特點(diǎn)[1]，使得其故障診斷技術(shù)發(fā)展緩慢。20世紀(jì)90年代以來(lái)，隨著人工智能技術(shù)研究的復(fù)興，越來(lái)越多的學(xué)者將其應(yīng)用到模擬電路故障診斷中，并取得了顯著的成果[1-7]。基于機(jī)器學(xué)習(xí)的故障診斷方法，如神經(jīng)網(wǎng)絡(luò)[1-4]（Neural Networks，NN）和支持向量機(jī)[5-7]（Support Vector Machine，SVM），由于不需要精確的數(shù)學(xué)模型，因而非常適合于有容差的模擬電路故障診斷，但NN 基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，在訓(xùn)練的過(guò)程中普遍存在收斂速度慢、容易陷入“局部最優(yōu)”且當(dāng)故障樣本有限時(shí)其泛化能力難于保證等缺點(diǎn)。文獻(xiàn)[5-7]對(duì)模擬電路診斷技術(shù)研究的不斷深入和發(fā)展，提出了基于SVM 的模擬電路故障診斷技術(shù)并取得了較好的識(shí)別效果。SVM 作為一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，克服了NN 方法的固有缺點(diǎn)，在解決小樣本、非線性及高維模式識(shí)別等問(wèn)題中表現(xiàn)出結(jié)構(gòu)簡(jiǎn)單、全局最優(yōu)和泛化能力強(qiáng)等特點(diǎn)，被看作是對(duì)傳統(tǒng)分類器的一個(gè)好的替代，已在模擬電路故障診斷得到成功應(yīng)用[5-9]。但SVM 在構(gòu)造最優(yōu)分類超平面時(shí)，僅僅關(guān)注了數(shù)據(jù)整體類間的可分離性，而忽視了類內(nèi)數(shù)據(jù)的結(jié)構(gòu)信息[10]，導(dǎo)致在數(shù)據(jù)中存在非線性流形結(jié)構(gòu)時(shí)，其分類邊界過(guò)于光滑，嚴(yán)重影響了SVM 的分類性能。一般電路的輸出和電路的故障機(jī)理之間往往存在著非線性關(guān)系[11]，因而標(biāo)準(zhǔn)SVM 僅僅關(guān)注類間間隔信息對(duì)模擬電路故障診斷分類問(wèn)題來(lái)說(shuō)是遠(yuǎn)遠(yuǎn)不夠的。針對(duì)上述情況，本文提出一種融合數(shù)據(jù)分布先驗(yàn)信息的改進(jìn)支持向量機(jī)故障診斷方法，該方法通過(guò)在標(biāo)準(zhǔn)SVM 中加入對(duì)數(shù)據(jù)流形局部分布的約束，有效提高了模型的診斷精度。

1 SVM及其不足

1995年，Vapnik[12]基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則提出SVM 分類算法，由于其能有效解決小樣本、非線性及高維模式識(shí)別等問(wèn)題，且通常具有良好的學(xué)習(xí)和推廣能力而得到廣泛研究并已成功應(yīng)用于故障診斷等領(lǐng)域。

對(duì)于線性不可分問(wèn)題，對(duì)每個(gè)樣本引入一個(gè)松弛變量ξi，支付一個(gè)代價(jià)ξi，將間隔軟化。目標(biāo)函數(shù)由原來(lái)的變成

式（3）中，C＞0 稱為懲罰參數(shù)，一般由應(yīng)用問(wèn)題決定，用以在最大化間隔和最小化錯(cuò)分程度之間尋求一個(gè)滿意的平衡。

相應(yīng)的約束條件變?yōu)椋?/p>

由式（2）可以得到定理1。

定理1：SVM 的類間可分離性滿足wSbw≥4，其中，Sb=(μ1-μ2)(μ1-μ2)T為類間散布矩陣，μi為第i類的均值，i=1,2。

由于篇幅所限，詳細(xì)證明請(qǐng)參見(jiàn)文獻(xiàn)[10]。

從定理1顯見(jiàn)，標(biāo)準(zhǔn)SVM在約束條件中自然地暗含了對(duì)類間可分離性的一個(gè)下界，這與模式識(shí)別的大間隔準(zhǔn)則要求是一致的。但是，SVM卻忽視了類內(nèi)先驗(yàn)的結(jié)構(gòu)信息，這些信息對(duì)于分類問(wèn)題至關(guān)重要。文獻(xiàn)[10]指出，對(duì)于復(fù)雜的模式識(shí)別問(wèn)題，如果僅僅關(guān)注數(shù)據(jù)的類間間隔而忽略數(shù)據(jù)的先驗(yàn)分布信息，將使訓(xùn)練得到的分類器邊界過(guò)于光滑，從而對(duì)于復(fù)雜問(wèn)題的分類精度將明顯下降。同時(shí)，對(duì)于大部分模擬故障診斷問(wèn)題，由于電路的輸出和電路的故障機(jī)理之間往往存在著非線性關(guān)系，且故障樣本常局部嵌入在一個(gè)低維流形上。因此，如果只關(guān)注故障樣本的類間間隔，將不能得到很好的分類診斷效果。

2 改進(jìn)SVM及其故障診斷

為了更好地在SVM 中融入數(shù)據(jù)的先驗(yàn)結(jié)構(gòu)信息，本文提出一種基于改進(jìn)支持向量機(jī)，試圖在構(gòu)造最優(yōu)分類超平面時(shí)同時(shí)考慮數(shù)據(jù)的整體類間間隔和數(shù)據(jù)流形的局部信息，使分類超平面對(duì)數(shù)據(jù)分布敏感。為了更好地描述本文方法，先給出如下定義。

根據(jù)光譜圖理論[13]，具有權(quán)重矩陣W的加權(quán)鄰接圖G能有效刻畫(huà)樣本流形的局部幾何結(jié)構(gòu)，但僅有一個(gè)整體圖并不足以反映樣本間的判別結(jié)構(gòu)。為此，可以針對(duì)類內(nèi)樣本和類間樣本分別構(gòu)建加權(quán)鄰接類內(nèi)圖Gw和類間圖Gb，分別用于刻畫(huà)數(shù)據(jù)流形的局部結(jié)構(gòu)信息和局部判別信息。

定義2（局部離散度矩陣）[14]：設(shè)Lw和Lb分別為圖Gw和Gb的拉普拉斯矩陣，則矩陣Hw=XLwXT=稱為局部類內(nèi)圖離散度矩陣；矩陣稱為局部類間圖離散度矩陣，其中，的權(quán)重矩陣，T(·)為一l×l對(duì)角矩陣，其對(duì)角線上元素定義為統(tǒng)稱為局部離散度矩陣。

上述定義中，局部類內(nèi)圖離散度矩陣Hw體現(xiàn)了輸入樣本流形的局部結(jié)構(gòu)信息，局部類間圖離散度矩陣Hb體現(xiàn)了輸入樣本流形的局部判別信息。

定義3（局部信息差度量）：類似于標(biāo)準(zhǔn)SVM，假設(shè)分類器具有線性形式：f(x)=wTx+b，則

稱為局部信息差度量，其中，δ∈( 0,1] 為局部信息平衡參數(shù)，ΔH=δHw-(1-δ)Hb=XΔLXT為局部信息差矩陣，ΔL=δLw-(1-δ)Lb。

上述定義中，參數(shù)δ用于在輸入樣本流形的局部幾何結(jié)構(gòu)（局部類內(nèi)緊性）和局部判別信息（局部類間散性）之間尋求一個(gè)滿意的平衡。當(dāng)δ增大時(shí)，偏向于保持局部幾何結(jié)構(gòu)同時(shí)減少對(duì)局部判別信息的懲罰；反之，則放松對(duì)局部幾何結(jié)構(gòu)的要求，加大懲罰局部判別信息。只要在適當(dāng)?shù)摩闹迪?，ΔS就能既較好地保持局部幾何結(jié)構(gòu)，又具有較好的模式判別信息。

根據(jù)模式識(shí)別的大間隔準(zhǔn)則，在輸出空間中，期望在圖Gw中的近鄰樣本盡可能的緊湊，同時(shí)在圖Gb中的近鄰樣本盡可能的分散。因此，改進(jìn)SVM 方法的原始優(yōu)化問(wèn)題可描述為：

式（6）、（7）中：C＞0 是一個(gè)懲罰參數(shù)；λ≥0 是正則化參數(shù)，調(diào)節(jié)局部流形信息的相對(duì)重要性；ξ=[ξ1,…,ξl]為松弛向量。

類似于標(biāo)準(zhǔn)SVM 的推導(dǎo)方法，將原始問(wèn)題轉(zhuǎn)化為求其對(duì)偶問(wèn)題的最優(yōu)解，于是可得原始優(yōu)化問(wèn)題（6）、（7）的對(duì)偶問(wèn)題為

式（8）～（10）中：αi為L(zhǎng)agrangian乘子；I為單位矩陣；且改進(jìn)SVM原始優(yōu)化問(wèn)題中投影向量w*和偏置變量b*分別為：

同標(biāo)準(zhǔn)SVM，對(duì)于線性不可分問(wèn)題，同樣可以顯式地把樣本映射到高維特征空間中，然后在特征空間中構(gòu)造分類超平面。因篇幅所限，本文不進(jìn)行討論。

與標(biāo)準(zhǔn)SVM 一樣，基于改進(jìn)SVM 的模擬電路故障診斷方法分為訓(xùn)練和診斷2 個(gè)階段。首先，對(duì)待診斷電路施加激勵(lì)，采用合適的故障特征提取方法提取電路在不同故障狀態(tài)下的特征組成訓(xùn)練集；然后，使用改進(jìn)SVM方法訓(xùn)練診斷分類器對(duì)故障分類。

3 故障診斷實(shí)例

3.1 電路模型、參數(shù)及故障仿真設(shè)置

本文以兩級(jí)四運(yùn)放低通濾波器電路[15]為例進(jìn)行實(shí)驗(yàn)分析。兩級(jí)四運(yùn)放低通濾波器的電路結(jié)構(gòu)及元件標(biāo)稱值如圖1所示（電阻的單位為Ω）。其中設(shè)定電路中電容容差為±10%，電阻容差為±5%。輸入節(jié)點(diǎn)為Vin，設(shè)定輸入激勵(lì)信號(hào)是幅值為5 V、寬度為10 μs的窄脈沖。故障模式設(shè)置與文獻(xiàn)[15]完全一致，15 種軟故障如表1所示。

圖1 兩級(jí)四運(yùn)放低通濾波器Fig.1 Two-stage four-op-amp low-pass filter

表1 電路中軟故障模式Tab.1 Soft fault modes in circuit

3.2 特征提取

給兩級(jí)四運(yùn)放低通濾波器電路施加幅值為5 V、寬度為10 μs 的窄脈沖，用Pspice 仿真采樣電路Vout節(jié)點(diǎn)電壓值，采樣率為500 K samples/s，采樣時(shí)間為400 μs，每種故障模式及正常模式各進(jìn)行50次Monte-Carlo 分析，共采樣800 組數(shù)據(jù)，每種故障狀態(tài)的部分響應(yīng)輸出波形如圖2 所示。然后，根據(jù)文獻(xiàn)[15]的計(jì)算方法，對(duì)所有采樣數(shù)據(jù)進(jìn)行最優(yōu)分?jǐn)?shù)階傅里葉變換（Fractional Fourier Transform，F(xiàn)rFT）得到相應(yīng)16 種故障模式（包括正常狀態(tài)）的800組201維特征向量。本文只是利用文獻(xiàn)[15]取得的故障特征數(shù)據(jù)用于降維對(duì)比，并不討論模擬電路最優(yōu)故障特征的提取問(wèn)題，所以詳細(xì)的故障特征提取步驟和故障特征樣本集獲取請(qǐng)參見(jiàn)文獻(xiàn)[15]。

3.3 基于改進(jìn)SVM的模擬電路故障診斷

使用網(wǎng)格搜索法搜索最佳的改進(jìn)SVM 參數(shù)，多分類問(wèn)題采用一對(duì)一策略，訓(xùn)練多故障分類器對(duì)電路進(jìn)行診斷，結(jié)果如表2 所示，表中NF 表示電路正常狀態(tài)。表2 還列出了基于SVM[8]和LS-SVM[7]方法的故障診斷率。從表2中可知，SVM和LS-SVM方法的故障診斷率相當(dāng)，而融合了數(shù)據(jù)先驗(yàn)分布信息的改進(jìn)SVM 方法的故障診斷正確率要明顯高于SVM 和LSSVM方法，可見(jiàn)所提方法具有一定的優(yōu)勢(shì)。

圖2 電路各種故障狀態(tài)的脈沖響應(yīng)Fig.2 Impulse response of TSLPF circuit under different fault status

表2 電路故障診斷率Tab.2 Diagnosis rate of circuit fault

4 結(jié)束語(yǔ)

本文針對(duì)標(biāo)準(zhǔn)SVM 在模擬電路故障診斷應(yīng)用中的不足，提出了基于改進(jìn)支持向量機(jī)的模擬電路故障診斷新方法。該方法通過(guò)在標(biāo)準(zhǔn)SVM中加入對(duì)數(shù)據(jù)流形局部分布的約束，并在懲罰系數(shù)中引入數(shù)據(jù)的全局分布信息設(shè)計(jì)了一種依賴于數(shù)據(jù)分布的新型SVM，新方法取得的分類效果優(yōu)于標(biāo)準(zhǔn)SVM。采用兩級(jí)四運(yùn)放低通濾波器電路驗(yàn)證了方法的有效性，并與SVM和LS-SVM 方法進(jìn)行對(duì)比，結(jié)果表明所提方法能有效提高模擬電路的故障診斷率，具有較大的應(yīng)用優(yōu)勢(shì)。

[1] AMINIAN M，AMINIAN F. A modular fault-diagnostic system for analog electronic circuits using neural networks with wavelet transform as a preprocessor[J]. IEEE Transactions Instrument Measure，2007，56（5）：1546-1554.

[2] AMINIAN M，AMINIAN F. Neural-network based analog circuit fault diagnosis using wavelet transform as preprocessor[J].IEEE Transactions on Circuit System II：Export Briefs，2000，47（2）：151-156.

[3] AMINIAN M，AMINIAN F. Fault diagnosis of nonlinear circuits using Neural Networks with wavelet and Fourier transforms as preprocessors[J].Journal of Electronic Testing，2001，17：471-481.

[4] AMINIAN M，AMINIAN F.Analog fault diagnosis of actual circuits using neural networks[J]. IEEE Transactions on Instrument Measure，2002，51（3）：544-550.

[5] HUANG J，HU X G，YANG F. Support vector machine with genetic algorithm for machinery fault diagnosis of high voltage circuit breaker[J]. Measurement，2011，44：1018-1027.

[6] LONG B，TIAN S L，MIAO Q，et al. Research on features for diagnostics of filtered analog circuits based on LS-SVM[J]. IEEE Autotestcon，Baltimore，MD，2011，9：360-366.

[7] LONG B，TIAN S L，WANG H J. Diagnostics of filtered analog circuits with tolerance based on LS-SVM using frequency features[J]. Journal of Electronic Testing，2012，28：291-300.

[8] 孫永奎，陳光礻禹，李輝.靈敏度分析和SVM診斷模擬電路故障的方法[J].電子科技大學(xué)學(xué)報(bào)，2009，38（6）：971-975.

SUN YONGKUI，CHEN GUANGJU，LI HUI.Fault diagnosis method for analog circuits using sensitivity analysis and SVM[J]. Journal of University of Electronic Science and Technology of China，2009，38（6）：971-975.（in Chinese）[9] 宋國(guó)明，王厚軍，姜書(shū)艷，等.最小生成樹(shù)SVM的模擬電路故障診斷方法[J].電子科技大學(xué)學(xué)報(bào)，2012，41（3）：412-417.

SONG GUOMING，WANG HOUJUN，JIANG SHUYAN，et al.Fault diagnosis approach for analog circuits using minimum spanning tree SVM[J]. Journal of University of Electronic Science and Technology of China，2012，41（3）：412-417.（in Chinese）

[10] XUE H，CHEN S C，YANG Q. Structural support vector machine[J]. Lecture Notes in Computer Science，2008，5263（1）：501-511.

[11]崔江，王友仁.一種新穎的基于混合故障字典方法的模擬故障診斷策略[J]. 電工技術(shù)學(xué)報(bào)，2013，28（4）：272-278.

CUI JIANG，WANG YOUREN.A novel strategy of analog fault diagnosis based on hybrid fault dictionaries[J].Transactions of China Electrotechnical Society，2013，28（4）：272-278.（in Chinese）

[12] VAPNIK V N. The nature of statistical learning theory[M].New York：Springer-Verlag，1995：59-87.

[13] YAN S，XU D，ZHANG H，et al. Graph embedding and extensions：a general framework for dimensionality reduction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（1）：40-51.

[14]陶劍文，王士同.局部保留最大信息差ν-支持向量機(jī)[J].自動(dòng)化學(xué)報(bào)，2012，38（1）：97-108.

TAO JIANWEN，WANG SHITONG. Locality-preserved maximum information variance v-support vector machine[J]. Acta Automatica Sinica，2012，38（1）：97-108.（in Chinese）

[15]羅慧，王友仁，崔江.基于最優(yōu)分?jǐn)?shù)階傅立葉變換的模擬電路故障特征提取新方法[J].儀器儀表學(xué)報(bào)，2009，30（5）：997-1001.

LUO HUI，WANG YOUREN，CUI JIANG. New approach to extract analog circuit fault features based on optimal fractional Fourier transform[J]. Chinese Journal of Scientific Instrument，2009，30（5）：997-1001.（in Chinese）