基于K-means聚類與概率神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法

李 楠,鄧 威,王 晨,吳光輝

(1. 南京航空航天大學(xué)航空學(xué)院，江蘇 南京 210016; 2. 中國商飛民用飛機試飛中心試飛運行部，上海 201323;3. 國防科技大學(xué)衛(wèi)星導(dǎo)航研發(fā)中心，湖南 長沙 410073; 4. 中國商飛北京民用飛機技術(shù)研究中心，北京 102211; 5. 太原理工大學(xué)，山西 太原 030024)

0 引 言

目前，模擬電路已廣泛應(yīng)用于航空電子系統(tǒng)[1]。模擬電路的失效會影響航空電子系統(tǒng)的功能，引起系統(tǒng)故障，甚至引發(fā)墜機等安全事故。因此，模擬電路故障診斷在航空故障診斷領(lǐng)域得到了廣泛關(guān)注，模擬電路故障診斷技術(shù)成為了航空電子系統(tǒng)安全穩(wěn)定運行的重要技術(shù)保障，其有效實施可以快速準確地檢測并定位電路的故障，減少系統(tǒng)帶故障運行時間、停機時間以及維護成本，消除由于故障損傷的積累而帶來的安全隱患。

為快速準確地實現(xiàn)故障診斷，特征提取與分類器算法相結(jié)合故障診斷技術(shù)在電網(wǎng)、電機、逆變器、模擬電路等對象上都得到了廣泛的研究與應(yīng)用[2-4]。針對模擬電路的軟故障診斷問題，何怡剛[5]等人提出了一種隨機算法、靈敏度分析、免疫遺傳算法與神經(jīng)網(wǎng)絡(luò)相結(jié)合的軟故障診斷方法，鐘建林[6]等人通過構(gòu)造描述特定電路狀態(tài)的特征區(qū)間向量，提出了一種基于多頻響應(yīng)波形相似度的軟故障診斷方法；針對模擬電路的特征提取問題，小波分形[7]、核判別分析[8]、小波包變換[9]、符號分析[10]、經(jīng)驗?zāi)B(tài)分解[11]、主成分分析[12]等特征提取技術(shù)被廣泛應(yīng)用于模擬電路的數(shù)據(jù)預(yù)處理過程；針對模擬電路診斷中傳統(tǒng)測試性模型故障分辨率低的問題，朱敏等人[13]提出一種基于故障對布爾表的模擬電路測試性分析與故障診斷方法。針對容差模擬電路參數(shù)故障診斷問題，線性規(guī)劃方法、系統(tǒng)搜索算法[14]、矩陣方程迭代算法[15]被用來求解最優(yōu)的故障解集。針對模擬電路模型訓(xùn)練以及診斷效率低的問題，蟻獅算法[16]、粒子群優(yōu)化算法[17-19]、遺傳算法[20-21]等優(yōu)化技術(shù)被廣泛應(yīng)用于模擬電路故障診斷模型的訓(xùn)練過程中。

在上述模擬電路故障診斷方法中，研究人員通常會將故障診斷問題轉(zhuǎn)化為一個分類問題，通過設(shè)計高效、準確的分類器模型實現(xiàn)模擬電路的故障診斷。如最早一批將分類器技術(shù)用于模擬電路故障診斷的Aminian教授技術(shù)團隊，他們基于神經(jīng)網(wǎng)絡(luò)進行模擬路故障診斷取得了大量的研究成果[22-23]。如支持向量機、k近鄰、隨機森林等智能分類器[24-25]被廣泛用于模擬電路故障診斷，并取得了較好的診斷效果。

概率神經(jīng)網(wǎng)絡(luò)(PNN)作為一種神經(jīng)網(wǎng)絡(luò)分類器，具有學(xué)習(xí)過程簡單、穩(wěn)定性高、收斂貝葉斯最優(yōu)解速度快等優(yōu)點，基于PNN的故障診斷方法也被廣泛應(yīng)用于各種產(chǎn)品和系統(tǒng)中。相對于其他的分類器，PNN的可擴展性更強，可以根據(jù)診斷需求的不同，快速對診斷模型進行更新，特別適用于模擬電路故障診斷故障類型多的特點。然而由于概率神經(jīng)網(wǎng)絡(luò)模型中模式層神經(jīng)元是影響故障診斷準確性和診斷效率的一個重要因素，傳統(tǒng)的PNN方法采用所有的訓(xùn)練樣本作為模式層神經(jīng)元將導(dǎo)致診斷模型診斷效率低，故障診斷準確性不穩(wěn)定等問題。

針對上述問題本文提出了一種基于K-means與概率神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法，通過新定義的聚類有效性指標確定聚類數(shù)量，采用K-means對同一故障狀態(tài)下的訓(xùn)練數(shù)據(jù)進行聚類分析，剔除了訓(xùn)練數(shù)據(jù)中的離群點數(shù)據(jù)，以聚類分析得到的聚類中心作為模式層神經(jīng)元樣本，用于構(gòu)建概率神經(jīng)網(wǎng)絡(luò)診斷模型，從而提高診斷模型的診斷準確性和診斷效率。

1 概率神經(jīng)網(wǎng)絡(luò)

概率神經(jīng)網(wǎng)絡(luò)是Specht博士于1990年依據(jù)Bayes準則，在徑向基神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出的一種前饋型人工神經(jīng)網(wǎng)絡(luò)。該方法將Bayes概率理論與Parzen窗函數(shù)相結(jié)合，利用概率密度函數(shù)中的無參估計來進行Bayes決策，它將輸入模式映射到相應(yīng)的輸出中進行分類。傳統(tǒng)的PNN基本結(jié)構(gòu)如圖1所示，主要由四層構(gòu)成：輸入層、模式層、求和層和輸出層。

圖1 概率神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

1) 輸入層。輸入層不執(zhí)行任何計算，只用來對數(shù)據(jù)進行接收，接收到數(shù)據(jù)之后需要將其傳輸?shù)侥Ｊ綄?，其中，輸入神?jīng)元的數(shù)目等于輸入向量的維數(shù)。

2) 模式層。模式層用于計算輸入向量與訓(xùn)練集中每個模式之間的匹配關(guān)系，訓(xùn)練樣本的數(shù)量決定了模式層神經(jīng)元的數(shù)量，在模式層中，神經(jīng)元與訓(xùn)練樣本一一對應(yīng)。每個模式層的神經(jīng)元在接收從輸入層傳遞而來的數(shù)據(jù)后根據(jù)該公式計算，從而可以得到模式層的輸出結(jié)果。

式中：σ——平滑系數(shù)；

x= [F1,F2,···,Fn]——輸入向量；

xij——第j類的第i個模式層神經(jīng)元向量。

3) 求和層。求和層中的一個神經(jīng)元對應(yīng)一種分類模式，求和層通過稀疏鏈接連接模式層。求和層神經(jīng)元和模式層神經(jīng)元連接的條件為它們對應(yīng)同一個分類模式，通過對其輸出值進行求和，該類別的最大可能性可以被求出。類別間的輸出沒有關(guān)系。計算公式如下：

其中Nj為第j類樣本總數(shù)。

4) 輸出層。輸出層根據(jù)貝葉斯決策規(guī)則選擇后驗概率最大的類作為分類結(jié)果，計算公式如下：

式中：C(x)——輸入向量x的估計類；

m——類的總數(shù)。

2 K-means聚類分析

K-means算法是一種比較簡單的無監(jiān)督學(xué)習(xí)方法，最早是在1867年Macqueen最先提出來，該方法需要給定一個樣本分類的個數(shù)K，然后將實現(xiàn)輸入的N個數(shù)據(jù)按照一定的規(guī)則劃分為K個聚類，使得所獲的聚類中的對象相似度高，而不同聚類中的對象相似度低。該算法的核心思想是以空間中K個點為中心進行聚類，將最靠近它們的對象歸為一類，通過不斷的迭代計算，逐步更新各自的聚類中心。K-means算法描述如表1所示。

表1 K-means算法描述

K-means算法的具體流程如下：

1) 輸入：K，DATA[N]；

2)選擇K個初始的聚類中心，例如C[0]=DATA[0],···,C[K-1]=DATA[K-1]；

3)對 DATA [0 ],···,DATA[N]，分別與C[0],···,C[K-1]比較，如果與C[i]差值最小，i=1,2 ,···,K-1，則把該數(shù)據(jù)標記為Ci類；

4）對歸為k類的點，重新計算聚類中心μk；

其中t為Ck的元素個數(shù)。

5）重復(fù)迭代，直到聚類中心變化不大為止。

在算法中選取歐氏距離作為相似性和距離判斷的準則，計算每類中各點到聚類中心的距離平方和：

損失函數(shù)定義為：

xi屬于Ck類時，rik=1；xi不屬于Ck類時，rik=0。

3 基于K-means與概率神經(jīng)網(wǎng)絡(luò)的診斷方法

3.1 基本原理

基于K-means與概率神經(jīng)網(wǎng)絡(luò)的診斷方法的流程如圖2所示，主要包括模型訓(xùn)練與故障診斷兩個過程。首先需要收集、獲取電路各個狀態(tài)下的數(shù)據(jù)，將其按比例劃分為訓(xùn)練樣本數(shù)據(jù)與驗證樣本數(shù)據(jù)，針對訓(xùn)練樣本數(shù)據(jù)，采用基于K-means聚類的模式層神經(jīng)元優(yōu)選算法對訓(xùn)練樣本數(shù)據(jù)進行篩選處理，獲得最終的模式層神經(jīng)元樣本，根據(jù)優(yōu)選后的訓(xùn)練樣本構(gòu)建概率神經(jīng)網(wǎng)絡(luò)診斷模型，實現(xiàn)故障診斷。

圖2 診斷方法實施流程圖

3.2 基K-means的模式層神經(jīng)元優(yōu)選算法

基于K-means的模式層神經(jīng)元優(yōu)選算法主要是通過對同一狀態(tài)下的數(shù)據(jù)進行K-means聚類分析，根據(jù)聚類有效性指標確定聚類個數(shù)K，并尋找到聚類中心作為模式層神經(jīng)元樣本。具體流程如表2所示。

表2 模式層神經(jīng)元優(yōu)選流程

聚類有效性指標——CH指標，CH越小代表此時類自身越緊密，類與類之間越分散，即聚類結(jié)果更優(yōu)，公式如下：

式中： N C——類的總數(shù)；

4 實驗與分析

典型的有源濾波電路被用于驗證本文方法的有效性，電路如圖3所示，電路的輸入電壓為5 V，設(shè)有3個測試點，所以電阻和電容的容差設(shè)置為5%，仿真持續(xù)時間設(shè)定為10 ms，選取某一時間段內(nèi)波形的最大電壓值作為測試點的特征數(shù)據(jù)。電路的故障清單如表3所示，主要包括1個正常狀態(tài)，6個故障狀態(tài)。在每個狀態(tài)下進行了500次的蒙特卡洛仿真分析，每種狀態(tài)下獲取了500個數(shù)據(jù)樣本，7個狀態(tài)，共3 500個樣本，其中各個狀態(tài)下的400個樣本用于訓(xùn)練，100個用于驗證。

圖3 有源濾波電路

表3 電路故障狀態(tài)列表

基于K-means的模式層神經(jīng)元優(yōu)選算法對正常狀態(tài)下的400個樣本數(shù)據(jù)以K=1 ,···,100進行聚類分析，每選取一個K值，將通過式（7）進行一次聚類有效性指標的計算，最終得到100個聚類有效性指標值，得到的聚類有效性指標如圖4所示，從圖可知，當(dāng)K值取1的時候聚類有效性指標最大，隨著K值得增加，聚類有效性指標也逐漸變小，當(dāng)K值取40的時候聚類有效性指標值趨于平緩，因此，本文選取最終的K值為40。通過K-means聚類分析可以得到40個聚類中心，這40個聚類中心將作為模式層神經(jīng)元的訓(xùn)練樣本。由于聚類中心不會是該訓(xùn)練數(shù)據(jù)集的離群點，因此，這種方式不僅大大減少了概率神經(jīng)網(wǎng)絡(luò)中模式層神經(jīng)元的數(shù)量，還可以通過樣本優(yōu)選將離群點剔除。按照上述相同的操作，可以對其他6個故障狀態(tài)進行模式層神經(jīng)元樣本優(yōu)選,從而確定所有的模式層神經(jīng)元樣本集合。

圖4 聚類有效性指標

聚類中心的數(shù)目對建模效果有較大影響，聚類數(shù)目和故障診斷準確率之間的關(guān)系分析如圖5所示。從圖中可知，隨著聚類數(shù)量的增加，故障診斷的準確率也在不斷增加，當(dāng)聚類數(shù)量達到40的時候故障診斷的準確率趨于穩(wěn)定。

圖5 聚類數(shù)目和故障診斷準確率關(guān)系

根據(jù)上一步得到的所有類別下模式層神經(jīng)元訓(xùn)練樣本，訓(xùn)練了概率神經(jīng)網(wǎng)絡(luò)模型，其中輸入層神經(jīng)元數(shù)量為3，模式層神經(jīng)元數(shù)量為280，求和層神經(jīng)元數(shù)量為7，輸出層神經(jīng)元數(shù)量為1。最后用700個驗證數(shù)據(jù)輸入模型，進行故障診斷，驗證方法的有效性。主要從診斷模型規(guī)模、診斷準確性、故障診斷時間上對比本文方法與傳統(tǒng)的PNN方法以及隨機PNN方法。傳統(tǒng)PNN方法采用所有的訓(xùn)練樣本作為模式層神經(jīng)元進行訓(xùn)練，即模式層神經(jīng)元為2 800個；隨機PNN是在訓(xùn)練樣本集中隨機抽取280個訓(xùn)練樣本作為模式層神經(jīng)元進行訓(xùn)練，因此它的模型規(guī)模大小與本文方法一樣。

3種方法針對訓(xùn)練樣本數(shù)據(jù)的故障診斷結(jié)果對比如表4所示，針對測試數(shù)據(jù)的故障診斷結(jié)果對比如表5所示。從表4中可看出，雖然傳統(tǒng)PNN方法對于訓(xùn)練數(shù)據(jù)的故障診斷結(jié)果達到了100%，但是傳統(tǒng)PNN的方法利用了所有的訓(xùn)練樣本進行模型訓(xùn)練，需要2 800個模式層神經(jīng)元，故障診斷時間需要27 s，并且從表5可知，雖然傳統(tǒng)PNN對訓(xùn)練數(shù)據(jù)有較高的分類準確率，但模型泛化能力不足，易出現(xiàn)過擬合現(xiàn)象，導(dǎo)致對測試數(shù)據(jù)的分類準確率較低。

表4 對訓(xùn)練數(shù)據(jù)的診斷結(jié)果比較

表5 對測試數(shù)據(jù)的診斷結(jié)果比較

隨機PNN方法在故障診斷時間和模式層神經(jīng)元數(shù)量上與K-means-PNN方法接近，但在對于訓(xùn)練數(shù)據(jù)的故障診斷準確性以及測試數(shù)據(jù)的故障診斷準確性上，K-means-PNN方法都具有明顯優(yōu)勢。

傳統(tǒng)PNN方法由于使用所有的訓(xùn)練樣本作為模式層神經(jīng)元，模式層神經(jīng)元數(shù)量是K-means-PNN方法的10倍，這增加了模型的復(fù)雜性，加大了診斷過程的計算量，因此故障診斷的時間大大增加了，該方法的故障診斷時間是K-means-PNN方法的近3倍，并且，訓(xùn)練數(shù)據(jù)中很可能因為噪聲、容差的影響存在一些離群點，這些離群數(shù)據(jù)會導(dǎo)致診斷準確性下降，從表5可看出，對于訓(xùn)練數(shù)據(jù)，傳統(tǒng)方法比K-means-PNN方法在故障診斷準確性上低了近1個百分點。

隨機PNN方法雖然通過隨機抽取的方式大大減少了模式層神經(jīng)元樣本，節(jié)省了故障診斷時間，但各類樣本中抽取多少個樣本數(shù)據(jù)作為模式層神經(jīng)元仍然是個問題，抽取的樣本數(shù)量會影響故障診斷模型的性能，如果抽取的樣本數(shù)量太多，雖然可以增加模型的穩(wěn)定性，減輕離群點的影響，但同樣會增加模型復(fù)雜性、增加故障診斷時間；抽取的樣本數(shù)量太少，雖然可以降低診斷模型的復(fù)雜性、節(jié)省故障診斷時間，但模型的穩(wěn)定性會降低，離群點對模型的影響會更大。此外，由于模式層神經(jīng)元樣本是通過隨機抽取的，這個過程中存在很大的隨機性，離群點數(shù)據(jù)有可能被選為模式層神經(jīng)元樣本，這會大大降低模型的故障診斷準確性。

而本文提出的K-means-PNN方法通過構(gòu)建聚類有效性指標函數(shù)確定模式層神經(jīng)元的數(shù)量，采用K-means聚類的方式，選取聚類中心作為模式層神經(jīng)元，可以避免離群點對故障診斷準確性的影響，通過訓(xùn)練樣本優(yōu)選，使得訓(xùn)練樣本大大減少，降低了模型的復(fù)雜程度以及計算量，因此所需要的故障診斷時間也大大降低。該方法可以實現(xiàn)較少的訓(xùn)練樣本情況下達到較高的故障診斷準確性。

此外，本文方法與BP神經(jīng)網(wǎng)絡(luò)（BPNN）、KNearest Neighbor算法（KNN）、Random Forest算法（RF）在故障診斷準確率方面進行了比較，故障診斷結(jié)果對比如表6所示，本文提出的K-means-PNN方法均優(yōu)于上述3種方法。

表6 與不同分類器算法結(jié)果比較

5 結(jié)束語

本文提出了基于K-means與概率神經(jīng)網(wǎng)絡(luò)相結(jié)合的模擬電路故障診斷方法，通過K-means聚類與聚類有效性指標的綜合分析，給出了模式層神經(jīng)元優(yōu)選流程，篩選出合適的訓(xùn)練樣本數(shù)據(jù)作為概率神經(jīng)網(wǎng)絡(luò)的模式層神經(jīng)元參與訓(xùn)練，以較少的訓(xùn)練樣本，實現(xiàn)了高故障準確性的故障診斷，減少了模型的復(fù)雜度，大大節(jié)省了故障診斷時間，通過與傳統(tǒng)PNN方法、隨機PNN方法、BP神經(jīng)網(wǎng)絡(luò)算法、KNN算法、以及RF算法的對比，說明了本文方法在故障診斷準確性以及故障診斷時間上的優(yōu)越性能。