基于動態(tài)軟聚類的航空電子部件LMKELM診斷模型

戴金玲,許愛強

(海軍航空大學,山東 煙臺 264001)

0 引 言

隨著航空電子設備不斷信息化與智能化,故障診斷技術作為維修保障體系的重要組成部分,急需進一步被研究。然而航空電子設備故障模式多樣、樣本規(guī)模偏小、交聯(lián)關系復雜,給故障診斷帶來了極大的困難。

針對模塊級電子部件的故障診斷方法,國內(nèi)外學者進行了大量研究,相比于深度學習[1-4]需要大量的樣本,基于核的學習算法[5]則不需太多樣本,因此適用于本文的小樣本前提條件[6-7]。其中,多核學習[8-9](multiple kernel learning,MKL)通過核函數(shù)及其參數(shù)的選擇,具有較強的泛化性能。文獻[10-12]研究了多核函數(shù)的選擇、組合與優(yōu)化,得到了更強的非線性表達能力與穩(wěn)定性,同時也導致更高的計算復雜度。為解決這一問題,文獻[13]提出了增量MKL方法,有效控制了計算量?？紤]到MKL的優(yōu)點,多核超限學習機(multiple kernel extreme learning machine,MKELM)被應用到了模擬電路、變壓器、局域網(wǎng)等故障診斷領域[14-17],極大提高了多種復雜故障的診斷精度,而如何在繼承樣本局部特征與防止過度學習之間尋找一個平衡點則成為了新的研究熱點。

為進一步體現(xiàn)基核函數(shù)在不同樣本空間的可用性差異,文獻[18-21]提出了局部MKL (local MKL,LMKL),包括面向樣本的LMKL(sample-based LMKL,S-LMKL)算法[22-23]和面向群組的LMKL(group-based LMKL,G-LMKL)算法[24-25]。S-LMKL算法充分體現(xiàn)了樣本類內(nèi)多樣性,例如文獻[26]將樣本的近鄰信息納入每個樣本的學習過程,有效提高了診斷效果,但也帶來了較高的計算復雜度和過度學習的風險。相比之下,G-LMKL可以控制聚類數(shù)目,具有更高的靈活性[27]。文獻[28]采用了近鄰傳播聚類的方法,將局部權(quán)重擬合到各個樣本上,可有效抵御過擬合的風險,但粗暴的“硬聚類”也可能損失樣本的多樣性特征。文獻[29]針對文獻[28]的“硬聚類”,引入了隸屬度的概念對樣本進行“軟聚類”,更好地考慮了聚類內(nèi)部基核的可用性差異,但其聚類數(shù)目需要憑經(jīng)驗與實驗提前自行確定,即“靜態(tài)聚類”,在確定聚類數(shù)目的過程中花費的成本是較高的。同時,文獻[18]最早提出的局部多核模型中,帶來了困難的局部權(quán)重二次非凸問題,一種解決方法[18,28]是通過構(gòu)造一系列選通函數(shù),經(jīng)過兩步交替優(yōu)化策略近似求解局部權(quán)重,如何選擇選通函數(shù)成為一大難點;另一種方法[25,29]則是根據(jù)初始對偶優(yōu)化問題,對參數(shù)進行3步交替優(yōu)化,以獲得參數(shù)解,但其結(jié)果準確性有待研究。

在故障診斷的過程中,以下3個關鍵問題制約著優(yōu)化問題的求解:① 依賴經(jīng)驗決定聚類數(shù)目的“靜態(tài)聚類”方法是否為最佳;② 硬聚類可能帶來診斷準確性的下降;③ 關于局部權(quán)重的求解是困難的二次非凸問題。因此,本文結(jié)合航空電子設備及其故障診斷的特點,提出了一種基于動態(tài)軟聚類的局部多核超限學習機(dynamic fuzzy clustering LMKLELM,DFC-LMKELM)診斷模型,主要貢獻如下:

(1) 區(qū)別于需要提前確定聚類數(shù)目的“靜態(tài)聚類”,受文獻[30-31]啟發(fā),提出基于局部密度的動態(tài)均值聚類算法(density-based fuzzy C-means algorithm,DB-FCM),依據(jù)性能代價函數(shù)自適應確定最佳聚類數(shù)目,并將該信息融入模糊C均值聚類算法(fuzzy C-means algorithm,FCM)中。在繼承G-LMKL的局部特征表達能力及ELM高效計算特點的同時,根據(jù)樣本特點自適應地確定聚類數(shù)目,發(fā)掘各聚類之間的差異,優(yōu)化了診斷效果。

(2) 面向二次非凸的局部權(quán)重求解問題,通過兩步交替策略優(yōu)化問題,分別從輸入與特征空間的聚類特征出發(fā),構(gòu)造兩種選通函數(shù)模型參數(shù)近似得到局部權(quán)重。將局部權(quán)重融合FCM的隸屬度信息,在保持聚類特征的同時,完成了LMKELM關于局部權(quán)重的求解。

1 問題描述

(1)

將式(1)的Lagrange函數(shù)分別對βq與ξi求偏導,同時使偏導結(jié)果為0,從而得到式(1)的對偶優(yōu)化形式為

(2)

式中,αi為Lagrange乘子,對應于ELM的模型參數(shù),并且αi=[αi1,αi2,…,αim]T,α=[αi,α2,…,αn]T。

求解式(2)所示對偶優(yōu)化問題,一般通過交替優(yōu)化的方法,不斷更新Lagrange乘子與局部核權(quán)重,并獲得以下決策函數(shù)

(3)

2 基于DB-FCM的LMKELM模型

2.1 基于局部密度的動態(tài)聚類方法

為實現(xiàn)動態(tài)軟聚類,本文提出DB-FCM。該算法首先通過局部密度算法得到了按局部密度降序排列的聚類中心,并限定了聚類中心數(shù)目,以性能代價函數(shù)為依據(jù)來獲得最佳聚類數(shù)。將該最佳聚類數(shù)目代入FCM中,從而獲得故障樣本對于各個聚類的隸屬度。

定義 1樣本xi的局部密度ρi定義為

(4)

式中,dij表示樣本xi和xj之間的距離;dc表示截斷距離。dc為所有dij按降序排列,第p%(其中p∈[2,5])的距離。文中距離均為Euclidean距離。

定義 3假設兩個樣本xi、xj之間的距離dij

定義 4假設在數(shù)據(jù)集X之中包含有t個樣本xs,xs+1,…,xt-1,xt,若對任意i∈[s,t-1],均有xi+1對xi是直接密度可達,則稱xs對xt為密度可達。

定義 5將直接密度可達或密度可達的兩個樣本稱為鄰居。

定義 6將沒有鄰居的樣本點稱為邊緣點。

初始聚類中心選擇原則是:局部密度大、即被越多鄰居包圍的點,如圖1中A點為局部密度最大的點,若A不屬于任何聚類,則A為聚類中心,B、C、D為A的直接密度可達點,E為間接密度可達點,F為邊緣點。

圖1 局部密度圖Fig.1 Picture of local density

通過對p的限定確定最大聚類中心數(shù)目,采用迭代求解的過程獲得隸屬度矩陣及最佳聚類數(shù)目,具體步驟如下:

步驟 2計算樣本距離矩陣D=(dij)n×n及dc,根據(jù)式(4)得到樣本點局部密度ρ=(ρi)n,idx為局部密度按降序排列的名次標簽。

步驟 3按idx標簽依次選取樣本點xidx(j),若xidx?V且Neighbor(xidx(j))的數(shù)量大于1,則xidx(j)為下一個聚類中心點,更新V和Cmax,并將xidx(j)及其所有鄰居標簽為已分類。

步驟 4若所有樣本點已標簽或迭代結(jié)束,執(zhí)行步驟5;否則執(zhí)行步驟3。

步驟 5輸入訓練數(shù)據(jù)集,設定模糊聚類數(shù)目kn=2。

步驟 7若kn

隸屬度矩陣Ukn={uij}(1≤i≤n;1≤j≤C),其中,uij表示第i個樣本落入第j個聚類的隸屬度,即第i個樣本屬于第j個聚類的可能性。且Ukn滿足:

2.2 基于動態(tài)軟聚類的診斷模型優(yōu)化

(5)

(6)

顯然,J(α,γ)是一個關于α和γ的多目標函數(shù)。求解該函數(shù)采取兩步交替優(yōu)化的方法交替更新Lagrange乘子α與局部核權(quán)重γ,然后通過選通函數(shù)近似得到α和γ的值。

2.2.1 固定γ并更新α

(7)

圖2 增廣矩陣K′Fig.2 Augmented matrix K′

將式(7)中目標優(yōu)化函數(shù)對α′求偏導,并使結(jié)果為0,可得

α′=(K′+I/C)-1y′

(8)

式中,I是一個m×n階的單位矩陣。通過對α反向量化操作可得α=Vec-1(α′)。

2.2.2 固定α并更新γ

結(jié)合聚類信息后,簡化式(6),令

(9)

(10)

式(10)是關于γ的二次非凸問題。參考文獻[28]中的做法,本文將分別根據(jù)訓練數(shù)據(jù)在輸入空間與特征空間的統(tǒng)計特性,采用兩種選通函數(shù)來解決二次非凸問題。

2.2.3 選通函數(shù)

(1)面向輸入空間選通函數(shù)M1

定義輸入空間中第g個聚類在第q個基核上的選通函數(shù)為

(11)

(12)

(13)

由式(12)、式(13)可得目標函數(shù)J(γ)關于模型參數(shù)的梯度,通過梯度下降法不斷迭代各個參數(shù),則有

(14)

式中,τ11(t)和τ12(t)表示迭代步長,在迭代過程中通過線性搜索的方法可得。

(2)面向特征空間選通函數(shù)M2

定義特征空間中第g個聚類在第q個基核上的選通函數(shù)為

(15)

(16)

(17)

(18)

由式(17)、式(18)可得目標函數(shù)J(γ)關于模型參數(shù)的梯度,然后同樣通過梯度下降法迭代各個參數(shù),即

(19)

式中,τ21(t)和τ22(t)為迭代步長,在迭代過程中采用線性搜索方法得到。

2.3 診斷決策

(20)

DFC-MKELM決策模型如圖3所示,整體框架總結(jié)如圖4所示。假設模型中測試樣本的輸出為f(z)={f(1)(z),f(2)(z),…,f(m)(z)},其中m為輸出節(jié)點的數(shù)量,f(l)(z)表示第l個節(jié)點的輸出結(jié)果,最終測試樣本z的故障診斷如下:

(21)

圖3 DFC-MKELM決策模型圖Fig.3 Decision-making model of DFC-MKELM

3 算法流程

為簡化表達,將DFC-MKELM在不同選通函數(shù)下的診斷模型分別表示為M1-DFCMKELM和M2-DFCMKELM。故障診斷模型的具體流程圖如圖4所示,具體算法步驟如下。

圖4 DFC-MKELM診斷模型流程圖Fig.4 Flowchart of DFC-MKELM diagnosis model

步驟 5令t=1,根據(jù)式(10)計算可得目標函數(shù)表達式Jt(γ)。

步驟 7執(zhí)行步驟4～步驟6;通過式(10)計算Jt+1(γ);如果|Jt+1(γ)-Jt(γ)|>10-3,t=t+1,返回步驟7;否則執(zhí)行步驟8。

4 實驗分析

為了驗證算法的有效性,將算法應用于兩個數(shù)據(jù)集中。將SimpleMKL[9]、GMKL-ELM[17]、l1-FCLMKELM[29]、M2-LCMKELM[28]作為比較算法。進行實驗前,所有數(shù)據(jù)均進行Z-score標準化處理,把非高斯核矩陣正規(guī)化為具有單位跡,即tr(Kq)=1。正則化因子采用5倍交叉驗證的方式從{10-2,0.1,1,10,102,103,104}中選出;所提方法中涉及的DB-FCM算法中參數(shù)設置為p=5,m=2,Tmax=100;AP算法中λ=0.8,最大迭代次數(shù)設置為1 000。實驗平臺為Matlab 2018 a,電腦配置為2.27 GHz Pentium Dual-Core CPU,2GB RAM。

4.1 人工數(shù)據(jù)集驗證

本節(jié)首先驗證算法在Gauss4人工數(shù)據(jù)集[25]上的有效性。該數(shù)據(jù)集共1 200個樣本,包含兩種類別,各類別分別服從兩種高斯分布,具體先驗概率、均值、協(xié)方差信息如下:

ρ11=0.25,ρ12=0.25,ρ21=0.25,ρ22=0.25

隨機選擇數(shù)據(jù)集中的2/3作為訓練樣本,剩余1/3為測試樣本,實驗共進行10次。首先根據(jù)DB-FCM算法對訓練樣本進行聚類,參數(shù)p=5的條件下,最佳聚類數(shù)目為3?；嗽O置為線性核、多項式核(參數(shù)為2)、高斯核(參數(shù)為1)。作為評價指標,將分類精度、F1值和G-mean以“均值±標準差”的形式記錄于表1。

表1 Gauss4數(shù)據(jù)集指標值Table 1 Index values of Gauss4 static

由表1可知,與其他方法相比,本文診斷模型的性能指標值均為最優(yōu)。原因如下:

(1) 同樣作為LMKL方法,與SimpleMKL將局部核權(quán)重擬合到每個確定樣本不同,本文模型考慮了每個樣本的局部特征信息,一定程度上抑制了過學習問題;

(2) 同樣作為G-LMKL方法,與GMKL-SVM、M2-LCMKELM的“硬聚類”方法相比,本文模型中融入了隸屬度信息,實現(xiàn)了“軟聚類”,從而更完整地描述了聚類內(nèi)部多樣性,使診斷精度更高;

(3) 同樣作為基于“軟聚類”的LMKL方法,與l1-FCLMKELM的“靜態(tài)軟聚類”方法相比,本文模型所提的“動態(tài)軟聚類”方法自適應地確定了最佳聚類數(shù)目,進一步提高了診斷精度。

如圖5為SimpleMKL、l1-FCLMKELM、M2-LCMKELM與本文M2選通模型的接收者操作特征(receiver operating characteristic,ROC)曲線。顯然,本文模型的曲線下方面積(area under the curve,AUC)大于其他曲線,更直觀地展現(xiàn)了性能優(yōu)勢。

圖5 Gauss4數(shù)據(jù)集的ROC曲線Fig.5 ROC curves of Gauss4 data

為驗證“動態(tài)軟聚類”所確定的最佳聚類數(shù)目的有效性,本文隨機設置了10個聚類數(shù)目進行訓練與測試,將其關系折線圖繪制于圖6中。由圖6可見,當聚類數(shù)目為3時,診斷精度達到了第一個極高值,說明了“動態(tài)軟聚類”算法的有效性;而后隨著聚類增加而呈現(xiàn)不規(guī)律的波動;當聚類與樣本數(shù)相同時,本文方法演變?yōu)槊嫦驑颖镜腖MKL方法,產(chǎn)生了過學習的風險,診斷精度也因此下降。

圖6 聚類數(shù)目與診斷精度關系Fig.6 Relationship between of clusters number and diagnosis accuracy

4.2 旋轉(zhuǎn)變壓器激勵發(fā)生器故障診斷實例

本節(jié)以旋轉(zhuǎn)變壓器激勵發(fā)生電路為例驗證算法的性能,其組成框圖如圖7所示。自動測試系統(tǒng)(automatic test system,ATS)共包括9個測試項目,±15 V電源電壓值、+5 V與+10 V電源電壓值、信號頻率與幅值、正弦模塊輸入電壓值、信號頻率穩(wěn)定度和電路板工作溫度。旋轉(zhuǎn)變壓器共分為4個模塊,由電源模塊供電,由正弦信號模塊產(chǎn)生磁繞組所需的正弦信號以提供激勵,由頻率控制模塊、幅值調(diào)理及驅(qū)動能力調(diào)節(jié)模塊來控制激勵的類別輸出。

圖7 旋轉(zhuǎn)變壓器電路圖Fig.7 Circuit diagram of rotary transformer

用F0,F1,F2,F3及F4分別表示正常模式、控制模塊故障、幅值調(diào)理及驅(qū)動能力調(diào)節(jié)模塊故障、電源模塊故障以及正弦信號產(chǎn)生模塊故障。ATS共采集5種模式下的原始數(shù)據(jù)樣本數(shù)為32,22,20,24及28。

隨機選擇原始數(shù)據(jù)中的1/2作為訓練樣本,剩余1/2為測試樣本。設置多核及其參數(shù)分別為:線性核,多項式核(參數(shù)2),高斯核(參數(shù)2,10,20,30,40,50)。首先采用DB-FCM獲得最佳聚類數(shù)目為4,并對訓練樣本進行聚類,可得表2所示隸屬度矩陣。

表2 隸屬度矩陣Table 2 Membership matrix

本節(jié)將本文模型與SimpleMKL、GMKL-ELM、l1-FCLMKELM、M2-LCMKELM 4種方法分別基于采集數(shù)據(jù)進行訓練與診斷,圖8為各方法的混淆矩陣,圖9為本文模型聚類方法的局部權(quán)重分布,表3為各方法的性能指標值,可見:

(1) 作為局部多核學習方法,所有方法均實現(xiàn)100%的訓練診斷精度,驗證了該類方法的有效性。

(2) 相比于SimpleMKL、GMKL-ELM、l1-FCLMKELM 3種方法,M2-LCMKELM本文模型實現(xiàn)了零漏警與零虛警,表現(xiàn)優(yōu)異,驗證了選通函數(shù)的良好性能。

(3) 相比于4種比較算法,M1-DFCMKELM分別將診斷精度提高了6.35%、3.17%、0和1.59%;M2-DFCMKELM則提高了7.94%、4.76%、1.59%和4.37%,驗證了本文模型的有效性。數(shù)據(jù)顯示l1-FCLMKELM的診斷率也是偏高的,而該方法也融入了隸屬度信息,進一步驗證了隸屬度信息的融入能更充分地挖掘類內(nèi)多樣性。

(4) 本文模型中,M2選通函數(shù)的診斷精度略高于M1選通函數(shù),原因在于M1選通函數(shù)的局部權(quán)重為稀疏解,而M2選通函數(shù)則是非稀疏解,如圖9所示。相比于稀疏解,非稀疏解包含了更全面的權(quán)重信息,因此診斷精度更高。

為進一步驗證本文模型有效性,表4給出了各方法的F1值與G-mean的性能指標值,顯然本文模型依然表現(xiàn)最優(yōu)。此外,為比較各方法的時間開銷,通過分別實驗10次并以“均值±標準差”的形式記錄于表5,由表可見:

(1) 相比于一般的MKL方法,LMKL方法的訓練時間普遍更長;4種LMKL方法花費的時間則相似,其中相比于采用范數(shù)約束的LMKL(即l1-FCLMKELM),采用選通函數(shù)的LMKL方法訓練時間甚至更短。

(2) 相比于其他4種方法,本文模型所用測試時間均為最低;由于M1-DFCMKELM局部權(quán)重為稀疏解,其測試時間最短。

(3) 相比于在線故障診斷方法,線下診斷方法對實時性的要求較低,少量時間的代價以換取更高的診斷精度是值得的,同時由于面向的樣本規(guī)模較小,在時間上的開銷差別是可忽略的。

圖8 各方法混淆矩陣Fig.8 Confusion matrices of different algorithms

圖9 DFC-MKELM的局部權(quán)重分布圖Fig.9 Localized weights distribution of DFC-MKELM

表3 各方法指標值Table 3 Index of methods %

表4 各方法的F1分數(shù)和G-meanTable 4 F1 score and G-mean of the methods

表5 各方法的時間消耗Table 5 Time cost of methods s

5 結(jié) 論

針對航空電子部件模塊級故障診斷問題,本文提出了基于DFC-LMKELM故障診斷模型。以Gauss4數(shù)據(jù)集及旋轉(zhuǎn)變壓器激勵發(fā)生電路為例,驗證了本文模型的性能,結(jié)果表明:

(1) 在聚類數(shù)目方面,相比于根據(jù)經(jīng)驗或反復試驗確定聚類數(shù)量的l1-FCMKELM,基于局部密度的動態(tài)軟聚類方法能夠自適應獲得最佳聚類數(shù)目,節(jié)約了時間與經(jīng)驗成本,并驗證了有效性。

(2) 在診斷時間方面,相比于一般的MKL方法,本文模型所用訓練時間有所增加,但測試時間有所減少,用少量時間的代價換取了診斷精度的提高。

(3) 在診斷精度方面,相比于一般的MKL方法(SimpleMKL、GMKL-SVM)、基于“靜態(tài)軟聚類”的LMKL方法(l1-FCMKELM)和基于“硬聚類”的LMKL方法(M2-LCMKELM),本文模型在漏警和虛警方面表現(xiàn)的更加優(yōu)異,并將診斷精度平均值分別提升了2.78%和4.37%。