基于增量稀疏核極限學習機的柴油機故障在線診斷

劉 敏， 張英堂， 李志寧， 范紅波

(陸軍工程大學石家莊校區 七系， 石家莊 050003)

柴油機故障在線診斷是在設備不停機狀態下對其運行中故障進行及時發現、診斷并排除，從而維護設備安全可靠運行的有效手段.在線診斷具備對實時樣本進行再學習以更新自我診斷精度的能力，從而解決了離線診斷因基于少量標記樣本進行一次性學習而導致的診斷模型準確性與泛化性較差的問題.但是在線診斷中，由于樣本在線貫序累積，利用新舊樣本全體對診斷模型重復建模，會導致模型膨脹、過學習和更新時間過長，所以難以滿足在線處理的實時性與準確性要求[1-2].

樣本稀疏化和增量式建模是解決以上問題的有效方法[3-4].文獻[1]中提出在線貫序極限學習機，實現了新樣本擴充后模型的增量更新，但由于極限學習機泛化性能較差，且未對樣本進行稀疏化，模型在線診斷效率有待提高.Huang等[5]提出的核極限學習機(KELM)，相比于極限學習機和支持向量機等，具有較快學習速度和更好的穩定性與泛化性.文獻[6]中提出在線貫序核極限學習機(OSKELM)分類模型，但未對樣本進行前向稀疏與后向刪減，且未限制模型規模，從而導致模型膨脹和在線更新效率較低.文獻[7]中基于滑動時間窗與Cholesky分解提出了帶有遺忘機理的在線KELM(FOKELM)，雖具備舊樣本后向刪減能力，在一定程度上限制了模型膨脹，但由于無法區分新樣本中的有效和冗余樣本，導致在線模型的泛化性與時效性較差.文獻[8]中提出了基于近似線性獨立(ALD)的OSKELM(ALD-OSKELM)，通過預設誤差閾值篩選有效樣本更新學習模型，實現了樣本的有區別取舍，但閾值設定的人為經驗誤差較大，自適應性較差.

針對在線診斷中樣本稀疏化效率低、模型膨脹和更新速度慢等問題，本文提出了增量稀疏核極限學習機(ISKELM)算法.首先基于瞬時信息測量篩選有效新增樣本，通過字典擴充與修剪策略，在線構造具有預定規模的稀疏核函數字典；然后提出改進的減樣學習算法對核函數權重矩陣進行遞推更新，最終實現ISKELM分類器的在線增量建模.故障分類實驗結果表明，ISKELM模型極大地提高了故障在線診斷速度且具有較高的分類精度，并能更好地滿足在線診斷的時效性與準確性需求.

1 增量稀疏核極限學習機基本原理

(1)

式中：β=[β1β2…βL]T,為隱層輸出權重矩陣；h(ui)=[h1(ui)h2(ui)…hL(ui)]，為一個從n維輸入空間到L維隱層特征空間的特征映射向量.

ELM的訓練目標是訓練誤差和輸出權重范數的最小化，可以表述為

(2)

通過解最優化方程可得

β=HT(γ-1I+HHT)-1Y

(3)

式中：H=[h(u1)Th(u2)T…h(ut)T]T，為所有輸入的映射矩陣；Y=[y1y2…yt]T，為輸入對應的目標輸出矩陣；γ為懲罰系數.應用Mercer條件定義核矩陣G=HHT；G(i,j)=h(ui)·h(uj)T=k(ui,uj).由此可得KELM模型的輸出為

(4)

式中：

(5)

(6)

分別為核函數矩陣和KELM的輸出權重矩陣.

由式(4)可知，隨著樣本數的增加，模型的計算復雜度急劇增大，在線化處理困難.因此，本文通過篩選有效樣本并刪除冗余樣本對k(·)進行稀疏化處理，從而提高建模效率.稀疏表征理論中定義由匹配信號中不同模式的基函數組成的變換矩陣為字典[9].參考上述定義，可利用核函數矩陣k(·)中的有效元素構造稀疏核函數字典如下：

Dt={k(c1,·),k(c2,·),…,k(cm,·)}

(7)

則ISKELM模型在t時刻的輸出可定義為

(8)

式中：{c1,c2,…,cmt}?{u1,u2,…,ut}，ci為第i個有效樣本;m為當前模型的階數；αi,t為t時刻第i個核函數的權重，且m?t.

設t+1時刻，得到新的未標記樣本為ut+1，利用已有模型對其進行預測標記得到初始預標記樣本(ut+1,yt+1)：

(9)

為了從大量初始預標記樣本中篩選有效預標記樣本，對稀疏核函數字典進行增量擴充，本文提出了基于瞬時信息測量的稀疏核函數字典在線構造方法.

2 基于瞬時信息測量在線構造稀疏核函數字典

定義1假設在Tt下，訓練樣本ut+1的瞬時后驗概率為pt(ut+1|Tt)，則ut+1中包含的可以轉移到當前字典Dt的信息量定義為ut+1在時刻t的瞬時條件自信息量，即

I(ut+1|Tt)=-lgpt(ut+1|Tt)

(10)

定義2假設在Tt下，字典Dt的元素個數為m，核中心ci(1≤i≤m)的瞬時后驗概率為pt(ci|Tt)，則將字典Dt在時刻t所具有的平均自信息量定義為Dt的瞬時條件熵，即

(11)

(12)

于是，對于Tt下的字典Dt={k(c1,·),k(c2,·),…,k(cm,·)}，基于KDE的核中心瞬時條件PDF可表示為

(13)

因此，輸入ut+1的瞬時條件自信息量和字典Dt的瞬時條件熵分別為

本文基于I(ut+1|θ,Tt)和H(Dt|θ,Tt)篩選有效樣本并剔除冗余樣本，在線構造稀疏化核函數字典，其基本過程包括擴充階段和修剪階段，如圖1所示.本文采用的核函數均為單位范數核，即?u∈U，k(u,u)=1.

圖1 核矩陣Gt的變化過程Fig.1 Kernel matrices Gt of growing size

2.1 稀疏核函數字典在線擴充策略

設et=[11…1]T∈Rm×1，字典Dt的Gram矩陣為Gt，計算矩陣St=Gtet，即

(16)

根據KDE，字典Dt中第i個核中心ci在Tt下的瞬時條件概率為pt(ci|θ,Tt)=St(i)/m.所以字典Dt的瞬時條件熵為

(17)

(18)

(19)

中第i個核中心的瞬時條件概率

(20)

(21)

(22)

2.2 稀疏核函數字典在線修剪策略

當字典Dt的大小達到預定規模，即m=M時，在t+1時刻將執行修剪策略.從m+1個潛在元素中選擇m個元素，使得所選元素具有最大的瞬時條件自信息量.

(23)

(24)

(25)

(26)

(27)

(28)

字典中每個元素具有的瞬時自信息量越大，說明彼此之間越不相似，字典所包含的信息量也越大[4].為最大化字典中每個元素的瞬時自信息量，可通過如下公式確定要刪除的元素的下標：

(29)

(30)

得到，Gt+1由后續算法得到.

由以上分析可知，本文提出的方法根據新舊樣本對字典更新的貢獻差異性對大規模樣本進行稀疏化，在加入新樣本前刪除重要性最小的樣本，提高了稀疏核函數字典在線構造效率與精度.而且字典構造計算復雜度為O(m)，在稀疏化條件下，m值有限且較小，滿足實際在線應用的需求.

3 ISKELM核權重矩陣遞推更新

3.1 增樣學習算法

當字典規模小于M時，如果新的訓練樣本滿足2.1節中的條件，則用于擴充字典，同時對核權重矩陣α=(γ-1I+G)-1Y進行遞推更新.在t時刻，記At=γ-1I+Gt.

對于訓練樣本(ut+1,yt+1)，則有

(31)

式中：kt=[k1,t+1k2,t+1…km,t+1]T；vt=γ-1+kt+1,t+1.利用塊矩陣求逆公式，可得At+1的逆矩陣為

(32)

圖2 矩陣變換前的AtFig.2 At before matrix transformation

3.2 改進的減樣學習算法

(33)

(34)

根據公式(33)和(34)可得

(35)

(36)

(37)

本文提出的方法基于當前模型對核權重矩陣進行增量遞推更新，無需對新舊樣本全體進行重復性批量學習，極大地縮短了訓練時間，遞推更新計算復雜度為O(m2)，滿足實際在線應用需求.

4 實驗應用與分析

4.1 UCI標準數據分類實驗

為驗證本文方法的有效性，選取UCI標準數據庫中的iris、liver和Diabetes數據集進行分類實驗.利用ISKELM模型進行在線分類與診斷的具體過程如圖3所示.

圖3 ISKELM在線分類與診斷流程圖Fig.3 Online classification and fault diagnosis flow chart of ISKELM

表1 各診斷模型對3個數據集的在線訓練時間與測試準確率Tab.1 Online training time and test accuracy of every diagnosis model for 3 data sets

iris、liver和Diabetes數據集的特征維數分別為4、6和8，類別數分別為3、2和2.分別從3個數據集中任選500個樣本作為訓練樣本，其中100個作為已標記樣本對ISKELM進行訓練，建立初始分類器，其余400個作為初始預標記樣本，并將其按每組50個樣本分為8組，模擬在線數據對初始分類器進行訓練更新.任選200組數據作為測試樣本，用于驗證分類器的分類性能.

圖4 訓練準確率P隨L與m的變化關系曲線Fig.4 Curves of training accuracy P varies with L and m

由圖4可知，分別取FOKELM的時間窗長L=19，ISKELM的字典規模m=15，可使得模型分類精度最高且規模最小，同時可防止模型過度膨脹.進而通過網格搜索法獲得FOKELM與ISKELM的(γ,θ)最佳值分別為(487,2.33)和(365,1.24).

根據以上4種分類器的最優參數建立初始診斷模型，進而利用3個數據集的400個初始預標記樣本對各模型進行在線訓練更新，并利用200個測試樣本對最終模型進行分類性能測試，得到各診斷模型的在線訓練時間與測試準確率如表1所示.

由表1可知，對于3個數據集，4種分類器均具有較高的分類準確率， ISKELM的分類精度高于99%，滿足故障診斷要求.同等條件下，ISKELM的在線建模效率遠高于另外3種分類器，對3個數據集的在線訓練速度分別為FOKELM的 6.17 倍，OSKELM的 14.79 倍和SVM的 66.57 倍.這是由于SVM需要不斷對全體新舊樣本進行重復批量式建模而耗費了大量時間， OSKELM未對樣本稀疏化且模型不斷膨脹導致在線建模時間過長，而FOKELM未對新增樣本進行篩選導致訓練時間延長.綜上分析可知，ISKELM具有較高的在線建模速度和分類精度，滿足故障在線診斷需求.

圖5所示為ISKELM增量更新過程中初始預標記樣本數與有效預標記樣本數之間的關系曲線.由圖可知，在整個訓練過程中對于400個新增訓練樣本只有240個樣本參與了ISKELM模型的更新，因此訓練時間極大縮減.

圖5 ISKELM中在線樣本稀疏化過程曲線Fig.5 Online sample sparseness process curve of ISKELM

4.2 柴油機故障在線診斷實驗

柴油機故障在線診斷實驗在F3L912型柴油機實驗臺架上進行.實驗中，在第1缸上分別設置了8種不同工況：正常工況、進氣門間隙過大、進氣門間隙過小、排氣門間隙過大、排氣門間隙過小、進氣門漏氣、排氣門漏氣和1缸失火.采集第1缸缸蓋振動信號作為診斷信號，采樣頻率設置為40 kHz，采樣長度為1 s，每種工況下采集50組信號.實驗臺架如圖6所示，正常工況和1缸失火2種典型工況下采集的缸蓋振動信號對比如圖7所示.

圖6 F3L912型柴油機試驗臺架Fig.6 Experiment bench of F3L912 diesel engine

圖7 缸蓋振動信號時域波形Fig.7 Time domain waveform of the cylinder head vibration signal

圖8 缸蓋振動信號能量特征三維分布圖Fig.8 Three-dimensional graph of energy characteristics of cylinder head vibration signal

缸蓋振動信號中不同振源的振動能量集中于不同頻帶，在不同故障模式下，各頻帶能量分布特征不同[10].對各工況下的振動信號降噪后，經過db4小波包2層分解，得到4個子頻帶，計算前3個分量的能量并進行歸一化構造故障特征向量[E1E2E3]，用于故障模式識別.圖8所示為8種工況下的能量特征三維分布圖.由圖可見，不同工況下的故障特征具有良好的類內聚集性和類間離散性，可以用于故障分類.

8種工況下共得到400個實驗樣本，隨機選取300個樣本作為訓練樣本，其余100個作為測試樣本.訓練樣本中隨機選取100個作為已標記樣本訓練初始診斷模型，其余200個作為初始預標記樣本，并將其按每組20個樣本分為10組，模擬連續變化的故障數據流在線訓練初始診斷模型.分別將ISKELM、SVM、OSKELM和FOKELM模型設置為對比實驗.各模型的核函數統一選用高斯核函數.在模型初始化階段，通過網格搜索法獲得SVM與OSKELM的結構參數(γ,θ)的最佳值分別為(315,2.07)和(396,4.22).通過研究訓練準確率P隨L和m的變化關系得到FOKELM的時間窗長L=13，ISKELM的字典規模m=7，進而利用網格搜索法獲得FOKELM與ISKELM的(γ,θ)最佳值分別為(635,5.11)和(583,6.52).根據各模型的最優參數建立初始診斷模型，然后利用200個初始預標記樣本對各模型進行在線訓練更新，并利用100個測試樣本對最終模型進行分類測試，得到各診斷模型的在線訓練時間與測試準確率如表2所示.

表2各診斷模型對柴油機故障樣本的在線訓練時間與測試準確率

Tab.2Onlinetrainingtimeandtestaccuracyof4methodsfordieselenginediagnosissamples

方法 訓練時間/s測試準確率/%SVM13.6125100OSKELM2.241595.0FOKELM1.107898.5ISKELM0.1541100

由表2可見，與其他3種模型相比，本文提出的ISKELM利用基于前向稀疏與后向刪減的樣本稀疏化策略和增量遞推建模方法，在保證具有較高分類精度的同時，極大地縮短了在線訓練時間，提高了在線建模效率，能夠更好地滿足柴油機故障在線診斷的實時性與準確性要求.

5 結語

針對柴油機故障樣本在線累積、診斷模型膨脹和批量建模速度慢等問題，建立了ISKELM故障在線診斷模型.該模型具有結構稀疏和規模有限的特點，根據樣本對模型更新貢獻大小對樣本進行自適應前向稀疏與后向刪減，提高了在線樣本稀疏化效率，并限制了模型膨脹.ISKELM采用增樣學習和改進減樣學習算法對核權重矩陣進行增量遞推更新，降低了算法復雜度，提高了模型在線更新速度.實驗結果表明，與SVM、OSKELM和FOKELM等現有診斷模型相比，在分類精度基本相同的情況下，ISKELM具有更高的樣本稀疏化效率和在線建模效率，可快速準確地實現柴油機故障在線診斷.