基于核極限學習機的模擬電路故障診斷研究

?

基于核極限學習機的模擬電路故障診斷研究

陳紹煒，柳光峰，冶帥

(西北工業(yè)大學電子信息學院，陜西西安710072)

摘要:核函數(shù)極限學習機有效地避免了極限學習機(ELM)模型固有的隨機性和支持向量機(SVM)模型求解的復雜性，而且具有更快的學習速度和更好的泛化性能。因此，提出了基于核極限學習機的模擬電路故障診斷新方法，描述了電路故障特征的選取過程，建立了以核極限學習機為基礎的模擬電路故障診斷模型。實驗結果表明，該方法故障診斷準確率大于99%，性能優(yōu)于支持向量機和極限學習機。

關鍵詞:模擬電路;故障診斷;支持向量機;核函數(shù);核極限學習機

隨著電子工業(yè)的發(fā)展，電子設備的復雜性越來越高，其中的模擬器件和電路不可缺少。理論分析和實際應用表明，這些設備中的模擬電路較數(shù)字電路更容易發(fā)生故障。另外，隨著超大規(guī)模模擬電路的發(fā)展和電子器件復雜性的提高，對模擬電路運行可靠性的要求更為嚴格。因此，模擬電路故障診斷技術越來越重要。

隨著人工智能技術的發(fā)展，特別是神經網絡具有自學習能力、高超的分類能力和良好的魯棒性等優(yōu)點，吸引了大量的學者研究基于神經網路的模擬電路故障診斷方法，并取得了較好的研究成果。迭代算法已經在前饋神經網絡的訓練中應用了多年Huang等研究發(fā)現(xiàn)前饋神經網絡的輸入層連接權值無需迭代調整根據(jù)這一思路，提出了一種新的神經網絡訓練框架［1］，并稱之為極限學習機(extreme learning machine，ELM)。該方法隨機設置隱含層輸入權值，一次性求解出輸出權值的最小二乘解來完成網絡的訓練。極限學習機具有速度極快、泛化性好的特點，已經在分類問題中廣泛應用。由于ELM算法隨機初始化的特點，難以建立基于小樣本的非線性模型。核ELM (KELM)解決了ELM算法隨機初始化的問題，并且對模型學習參數(shù)具有較好的魯棒性［2］。

本文將核極限學習機應用于模擬電路故障診斷，以雙二次濾波器電路為診斷實例，實驗結果表明:該方法分類準確率高、推廣能力好，具有很高的魯棒性。

1　核函數(shù)極限學習機

1. 1核函數(shù)

核函數(shù)使用的基本原理是通過非線性函數(shù)Φ把輸入空間樣本數(shù)據(jù)映射到高維特征空間，然后在高維特征空間進行數(shù)據(jù)的處理。核函數(shù)技術關鍵點在于通過引入核函數(shù)，就可以把非線性變換后的高維空間的內積運算轉變?yōu)樵驾斎肟臻g中的核函數(shù)的計算。

設xi和xj為數(shù)據(jù)空間中的樣本點，原始數(shù)據(jù)空間到高維特征空間的映射函數(shù)為Φ，因此，核函數(shù)方法就可以表示為實現(xiàn)向量內積的變換:

式中:〈Φ(xi)，Φ(xj)〉為內積，K(xi，xj)為核函數(shù)。

采用核函數(shù)映射是為了提高數(shù)據(jù)的線性可分程度，但是只有選擇了合適的核函數(shù)才能做到這一點。并非所有的函數(shù)都可以作為核函數(shù)，對于核函數(shù)的構造，有如下嚴格的限制條件:

Mercer定理:對于任意的對稱函數(shù)，它是某一特征空間中的內積運算的充分必要條件是，對于任何不恒為零的Φ(x)，并且

在核函數(shù)方法的應用中，核函數(shù)的選擇及相關參數(shù)的設定是核函數(shù)問題的關鍵和難點所在，到目前為止沒有太多的理論作為指導。對于核函數(shù)的選擇只要滿足Mercer核理論即可作為核函數(shù)。但現(xiàn)實工程應用中，其實沒必要去設計出其他的核函數(shù)，使用比較常見的核函數(shù)就可以滿足一般應用的需求，核參數(shù)的選擇則根據(jù)具體的核函數(shù)具體分析。下面為幾種比較常用的核函數(shù):

1)高斯核函數(shù):

2)線性核函數(shù):

K(x，xi) = x·xi

3) p階多項式核函數(shù):

K(x，xi) =［(x·xi) + 1］p

4)感知機核函數(shù):

K(x，xi) = tanh［a(x·xi) + b］

1. 2核函數(shù)極限學習機

傳統(tǒng)的基于神經網絡的學習算法多采用基于最小化訓練誤差的經驗風險最小化原則的方法采用輸人輸出數(shù)據(jù)近似一個非線性函數(shù)，但這種方法通常需要較多的訓練樣本、較長的學習時間，而且會導致學習模型的過擬合。Vapnik提出基于統(tǒng)計學習理論和結構風險最小化原則的SVM建模方法［3］通過引人核特征空間映射和訓練誤差懲罰參數(shù)有效的避免了這一問題，但求解過車復雜、模型參數(shù)敏感度高。ELM算法是2006年由Huang等提出了一種新型單隱層前饋神經網絡模型，由于其無需反復調整隱層參數(shù)，并且將傳統(tǒng)單隱層前饋神經網絡參數(shù)訓練問題轉化為求解線性方程組，利用求得的最小范數(shù)最小二乘解作為網絡輸出權值，整個訓練過程一次完成。因此，訓練速度得到極大的提高，且泛化性能更好。

與傳統(tǒng)的學習算法不同，針對輸入輸出數(shù)據(jù)，ELM的目標是同時最小化訓練誤差和輸出權重的范數(shù)，可表示為:

式中，β是連接隱含節(jié)點的權重向量，h(xi)稱為隱層核映射。

從標準優(yōu)化理論的觀點看，上述的優(yōu)化問題可采用簡化的約束優(yōu)化問題求解，則上述目標可重新改寫為:

式中，ξi為訓練誤差，C為懲罰參數(shù)。

基于KKT理論，ELM的訓練等價于解決如下的對偶優(yōu)化問題:

式中，每個拉格朗日算子αi均對應于第i樣本。可得到如下的KKT優(yōu)化條件:

式中，α=［αi，…，αN］T。

ELM的輸出表達式可直接表示為:

因此，ELM算法可歸納如下:

對于訓練樣本(xi，ti)，其中xi=［xi1，xi2，…，xin］T∈Rn，ti=［ti1，ti2，…，tim］T∈Rm，激勵函數(shù)g(x)和L個隱含層節(jié)點，L≤N:

1)隨機產生輸入到隱含層權值向量ai和隱節(jié)點偏置值bi;

2)計算網絡的隱含層輸出矩陣H;

3)計算輸出權值β=HT(+ HHT)－1T或β=(+ HTH )－1HTT。

采用Mercer條件，ELM算法中的公式用核矩陣形式表示出來［4-5］:

②錨桿布置：錨桿排距1.0 m，每排13根。拱基線位置每側各打設一根，拱基線往下各布置5根錨桿，間距0.9 m。

因此，ELM輸出函數(shù)可以表示為:

核函數(shù)ELM算法中，隱含層節(jié)點的特征映射函數(shù)g(x)的具體形式可以不用給出，而只需要知道核函數(shù)K(x，xi)的具體形式就可以求出輸出函數(shù)的值。同時，因為核函數(shù)直接采用內積的形式，在求解輸出函數(shù)值時不必去求解隱含層節(jié)點的個數(shù)。

因此，核函數(shù)ELM(KELM)算法可概括為［6］:

給定一個含有N個樣本的訓練樣本集{ (xi，ti) | xi∈Rn，ti∈Rm，i = 1，2，…，N}，及核函數(shù)K(x，xi)，計算輸出方程:

可以看出，基于核函數(shù)的極限學習機可以通過單步實現(xiàn)。如果隱含層特征映射函數(shù)h(x)已知，ELM核函數(shù)的計算方法:

2　模擬電路故障診斷的KELM方法

模擬電路的故障可分為軟故障和硬故障，元件的實際值超出了容差范圍，則電路發(fā)生了軟故障，如發(fā)生了開路或短路，則電路發(fā)生了硬故障。集成度增加使得模擬電路的測試節(jié)點有限，因此不可能測到電路內部的信息以幫助故障診斷，而電路的響應包含了電路內部所有元件的信息，從不同角度反映了電路的工作特性。在適當?shù)募钚盘栂拢M電路故障特征均能單值地反映在響應曲線上，模擬電路故障診斷的KELM方法是提取電路的響應作為故障特征，并用KELM對這些故障特征進行故障辨識和分類。

模擬電路故障診斷工作可分為故障特征提取和故障分類兩部分，包括3個主要步驟:

第1步對待測電路進行靈敏度分析，選擇對輸出影響較大的元件作為故障元件，設置故障并提取各狀態(tài)下的輸出響應;

第2步對輸出響應信號進行小波包分解，得到各狀態(tài)下故障特征樣本，并對樣本歸一化處理;

第3步訓練KELM。將歸一化后的電路特征數(shù)據(jù)組成訓練樣本(xi，ti)，i = 1，2，…，N，選擇核函數(shù)求解(11)式得最優(yōu)分類函數(shù);

第4步用訓練好的KELM進行故障診斷。

3　故障診斷實例

以雙二次濾波器電路［7］作為診斷實例，電路如圖1所示，電路中無源器件具有±5%容差范圍。無源器件的標稱值為: R1= 10 kΩ，R2= 10 kΩ，R3= 10 kΩ，R4=10 kΩ，R5=10 kΩ，R6=10 kΩ，C1=20 nF，C2=20 nF。假設該電路中無源器件發(fā)生單故障，且發(fā)生故障時，該器件的值位于［50%，95%］∪［105%，150%］。

圖1　雙二次濾波器

對電路進行靈敏度分析，元件R1和C2變化時，對電路的頻率響應影響最為顯著。作為診斷實例，故障元件選擇了R1和C2，根據(jù)發(fā)生故障時元件值變化的假設，故障模式分為4種類型如表1所示，符號分別表示偏大和偏小類型故障。

表1　故障類

對電路進行參數(shù)分析，可以比較在故障模式和正常模式下的輸出電壓波形的差異。圖3為R1正常和故障下的輸出電壓幅頻特性。

圖2　R1正常和故障下的輸出電壓幅頻特性

從圖2中可看出，在1～30 kHz頻率范圍內，輸出電壓Vout對應幅值變化最大。因此，可以在1～100 kHz頻率范圍內選取一組采樣點。本文選取12個采樣點的信號幅值即頻率分別為100、1 000、2 000、3 000、4 000、5 000、6 000、7 000、8 000、9 000、10 000、30 000下所對應的輸出電壓V的幅值。分別對每一種模式類別下的電路進行90次蒙特卡羅(Monte-Carlo)分析，其中60種用于訓練，另30種用于測試。

將特征訓練集輸入分類器中進行訓練，最后將測試集輸入訓練好的分類器檢驗分類器的性能。分別采用ELM、SVM和K-ELM分類器對電路進行了驗證，濾波器的故障診斷仿真結果如表2所示。

SVM算法［8-9］選用高斯核，使用LIBSVM工具包，ELM的參數(shù)是懲罰因子C和隱含層節(jié)點L，SVM和高斯核ELM的參數(shù)分別為懲罰因子C和核參數(shù)a。

表2　測試結果

上述結果表明，KELM的訓練精度和測試精度要比ELM及SVM好很多，而且在訓練時間方面存在優(yōu)勢，因此文中的方法具有較低的錯誤率和很好的推廣能力。

4　結論

本文把KELM應用到模擬電路的故障診斷，提取了被測電路的頻域特征作為故障特征，以雙二次濾波器為實例，選擇高斯核函數(shù)建立KELM模型，實驗結果表明KELM是一種適應性好的模擬電路故障診斷方法，獲得了滿意的診斷效果。但是在KELM參數(shù)的選取上，因為目前還沒有形成具體的算法，本文只是把交叉驗證算法應用于KELM參數(shù)優(yōu)化當中，而對于更好的優(yōu)化方法值得進行深入研究。

參考文獻:

［1］Huang G B，Zhu Q Y，Siew C K．Extreme Learning Machine: Theory and Applications［J］．Neurocomputing，2006，70(1/2/ 3) : 489-501

［2］Huang G B，Zhou H，Ding X，Zhang R．Extreme Learning Machine for Regression and Multi-Class Classification［J］．IEEE Trans on Systems Man and Cybernetics-Part B: Cybernetics，2011，42(11) : 513-529

［3］魯昌華，汪涌，王玲飛．基于PCA和SVM的模擬電路故障診斷［J］．電子測量與儀器學報，2008，22(3) : 66-68 Lu Changhua，Wang Yong，Wang Lingfei．Fault Diagnosis of Analog Circuit Based on PCA and SVM［J］．Journal of Electronic Measurement and Instrument，2008，22(3) : 66-68 (in Chinese)

［4］Deng W，Zheng Q，Zhang K．Reduced Kernel Extreme Learning Machine．Advances in Intelligent Systems and Computing，2013，226: 63-69

［5］Huang G B，Wang D H，Lan Y．Extreme Learning Machines: A Survey［J］．International Journal of Machine Leaning and Cybernetics，2011，10(8) : 107-122

［6］Zong W，Zhou H，Huang G，Lin Z．Face Recognition Based on Kernelized Extreme Learning Machine［C］∥Second International Conference，AIS 2011，Burnaby，BC，Canada，2011: 263-272

［7］袁海英，陳光．模擬電路的可測性及故障診斷方法研究［J］．電子測量與儀器學報，2006，20(5) : 17-20 Yuan H Y，Chen G．Research on Testability Problem and Fault Diagnosis Method in Analog Circuit［J］．Journal of Electronic Measurement and Instrument，2006，20(5) : 17-20 (in Chinese)

［8］孫永奎，陳光，李輝．支持向量機在模擬電路故障診斷中應用［J］．電子測量與儀器學報，2008，22(2) : 72-75 Sun Y K，Chen G，Li H．Support Vector Machine for Analog Circuit Fault Diagnosis［J］．Journal of Electronic Measurement and Instrument，2008，22(2) : 72-75 (in Chinese)

［9］Long Bing，Li Min，Wang Houjun，Tian Shulin．Diagnostics of Analog Circuits Based on LS-SVM Using Time-Domain Features ［J］．Circuits，Systems，and Signal Processing，2013，32(6) : 2683-2706

A Method of Fault Diagnosis for Analog Circuit Based on KELM

Chen Shaowei，Liu Guangfeng，Ye Shuai

(Department of Electronics Engineering，Northwestern Polytechnical University，Xi’an 710072，China)

Abstract:The KELM algorithm with the characteristic of fast learning speed and strong generalization is used to construct soft sensor models; this overcomes the randomization of ELM and the complexity solution process of SVM．So a new method for analog circuit fault diagnosis based on kernel extreme learning machine (KELM) algorithm is proposed in this paper．The method for extracting the fault signatures of the circuit under test is proposed and the analog circuit fault diagnosis model based on KELM is established．The simulation results and their analysis testify preliminarily that the proposed approach for analog circuit fault diagnosis achieves excellent performance，obtaining a fault diagnosis accuracy rate of greater than 99%．

Key words:analog circuits，fault diagnosis，kernel function，KELM (Kernel extreme learning machine)

作者簡介:陳紹煒(1970—)，西北工業(yè)大學副教授，主要從事數(shù)據(jù)與計算機通信和嵌入式開發(fā)的研究。

收稿日期:2014-09-25基金項目:航空科學基金(2012ZD53051)資助

文章編號:1000-2758(2015) 02-0290-05

文獻標志碼:A

中圖分類號:TP301．6