基于收縮極限學習機的故障診斷魯棒方法

陳劍挺，吳志國，葉貞成，朱遠明，程 輝

(1.華東理工大學 化工過程先進控制和優(yōu)化技術(shù)教育部重點實驗室，上海 200237；2.安徽海螺集團有限責任公司，安徽 蕪湖 241000)

0 引 言

隨著人工智能和計算機技術(shù)的高速發(fā)展，基于數(shù)據(jù)驅(qū)動的故障診斷技術(shù)已成為工業(yè)界的熱門研究領域，而極限學習機(extreme learning machine，ELM)的提出，為故障診斷技術(shù)提供了一種新的解決方案。ELM具有訓練速度快，泛化精度高的特點[1]。但是在實際工業(yè)過程中，由于生產(chǎn)環(huán)境的影響，導致采集到的數(shù)據(jù)中帶有噪聲是一種常態(tài)現(xiàn)象，常規(guī)的ELM魯棒性不強，容易受到噪聲的干擾。

基于此，Horata等[2]提出了一種基于迭代重加權(quán)最小二乘法(iteratively reweighted least squares，IRWLS)的魯棒ELM，通過對樣本數(shù)據(jù)添加權(quán)重的方式進行迭代訓練，提高了算法的魯棒性。在此基礎之上，Chen等[3]在ELM的目標函數(shù)中引入正則項，提出了基于迭代重加權(quán)最小二乘法的正則化魯棒ELM算法框架，提高了算法的穩(wěn)定性和泛化能力。羅等[4]將該思想應用到在線學習上，并提出了一種權(quán)重變化和決策融合的極限學習機在線故障檢測算法模型，并通過集成的方式提高模型的綜合決策能力。Chen等[5]結(jié)合相關(guān)熵準則提出了一種基于KMPE(kernel mean p-power error)損失的相關(guān)熵正則化極限學習機，用KMPE相關(guān)熵損失代替常規(guī)ELM的平方損失項，進一步提高了算法的魯棒性。文獻[6]在此之上提出了基于混合相關(guān)熵損失的魯棒學習方法。但是以上的方法針對的都是標簽噪聲問題，對于帶有特征噪聲的數(shù)據(jù)集，訓練出來的算法模型仍存在較大的偏差。鑒于此，Kasun等[7]在分類之前對特征進行提取，提出了一種多層學習架構(gòu)，利用ELM自編碼器(ELM-AE)來構(gòu)建深層網(wǎng)絡，以提取更好的特征表示。Tang等[8]提出了層級ELM(HELM)算法，并在其中提出了一種基于ELM的稀疏自編碼器，通過該稀疏自編碼器，HELM可以獲得原始數(shù)據(jù)的更稀疏的特征表示，進一步提高多層ELM的分類性能，但是其在對抗噪聲方面并沒有給出較好的解決方案。

為此，本文針對特征噪聲問題提出了一種收縮極限學習機(contractive-extreme learning machine，CELM)魯棒算法模型，該方法主要分為兩個階段，第一個階段為特征提取層，通過自編碼器對輸入數(shù)據(jù)進行重構(gòu)，并將隱層輸出值關(guān)于輸入的雅克比矩陣的F范數(shù)引入到目標函數(shù)中，進而提取出更具魯棒性的抽象特征表示，該階段的隱層層數(shù)可以調(diào)整，且每一層都是獨立訓練，隱層的參數(shù)訓練好之后就不再進行調(diào)整。第二個階段為常規(guī)的ELM層，將第一階段提取出的抽象特征表示作為輸入，對該層進行訓練。仿真實驗對比結(jié)果表明，提出的方法在魯棒性方面和分類準確率上都有很好的性能。

1 極限學習機ELM原理

極限學習機是一種單隱層前饋神經(jīng)網(wǎng)絡[1]。其模型結(jié)構(gòu)如圖1所示。

圖1 ELM模型結(jié)構(gòu)

hj(xi)=g(aj·xi+bj)，aj∈Rn,bj∈R

(1)

(2)

T是訓練數(shù)據(jù)集標簽

(3)

β∈RL×m是輸出權(quán)重矩陣

β=[β1，β2，…,βL]T

(4)

輸出節(jié)點對輸入xi的預測結(jié)果由下式給出

(5)

取預測結(jié)果的最大值作為標簽

(6)

其中，c∈(1,2,…,m)。

對于ELM算法，其輸入權(quán)重矩陣a和偏置量b是隨機確定的，確定之后即不再改變。

因此，網(wǎng)絡訓練的目標函數(shù)為

(7)

采用最小二乘法求解式(7)中的目標函數(shù)得到隱層的輸出矩陣

β=H?T

(8)

其中，H?是隱層輸出矩陣H的Moore-Penrose廣義逆矩陣

H?=(HTH)-1HT

(9)

為了進一步提高ELM的穩(wěn)定性以及泛化能力，l2范數(shù)正則項被引入到了正則化ELM(RELM)之中，網(wǎng)絡的目標函數(shù)為

(10)

β=(λI+HTH)-1HTT

(11)

2 收縮極限學習機算法模型

文獻[7]和文獻[8]研究結(jié)果表明，如果能夠提取更有效的特征表示，ELM能夠獲得更好的性能。本文中采用自編碼器來提取新特征。

2.1 自編碼器

自編碼器[9]的原理：首先對輸入特征進行歸一化，然后使用編碼器將n維輸入x映射到L維隱層h，公式如下

h=f(x)=sh(Wx+bh)

(12)

其中，sh(·) 是一個激活函數(shù)，本文使用的是Sigmoid函數(shù)

(13)

W是一個dL×dn維的矩陣，bh是dL維的偏置向量，而解碼器g將L維的隱層表示重新映射成y

y=g(h)=sg(W′h+by)

(14)

W′=WT

(15)

自編碼器，通過最小化訓練集Dn上的重構(gòu)誤差來訓練并找到參數(shù)θ={W,bh,by}，其對應于最小化式(15)中的網(wǎng)絡目標函數(shù)

(16)

收縮自編碼器[10](contractive-autoencoder，CAE)以隱層輸出關(guān)于輸入的雅克比矩陣的F范數(shù)作為自編碼器目標函數(shù)的懲罰項。并通過最小化重構(gòu)誤差與該雅克比矩陣的F范數(shù)的平方，使得提取出的特征表示圍繞訓練樣本的小幅變化具有魯棒性，即該懲罰項使得特征空間的映射在訓練樣本的鄰域內(nèi)是緊縮的。網(wǎng)絡的目標函數(shù)如式(17)所示

(17)

其中

(18)

(19)

(20)

文獻[10]中給出了特征表示可采用的標準衡量如下：①可以很好地重構(gòu)輸入數(shù)據(jù)；②對輸入數(shù)據(jù)一定程度下的擾動具有魯棒性。

引入l1范數(shù)或者l2范數(shù)作為懲罰項的自編碼器主要符合第一個標準，而當以隱層輸出關(guān)于輸入的雅克比矩陣的F范數(shù)作為自編碼器目標函數(shù)的懲罰項時所提取到的特征相對更符合第二個標準。

2.2 提出的CELM魯棒算法模型

在工業(yè)控制系統(tǒng)中，采集到的數(shù)據(jù)往往會帶有噪聲，為了提高ELM算法模型的魯棒性，本文提出了一種收縮極限學習機魯棒算法模型。

結(jié)構(gòu)如圖2所示。CELM的模型分為兩個階段，第一個階段為無監(jiān)督的特征提取層，該層通過CAE收縮自編碼器從輸入中提取抽象特征表示，挖掘訓練樣本之間的隱藏信息。第一個階段隱層的輸出可以表示為

Hi=g(Hi-1Wi)

(21)

其中，Hi是第i層隱層的輸出，且H0=x。Wi為第i層的輸出權(quán)重矩陣，通過求解式(17)得到Wi，Wi確定之后就不需要再進行微調(diào)，再利用求得的Wi將第i-1層的特征表示映射到第i層隱層空間。第一階段的每一層都是獨立的模塊，分開單獨訓練。

圖2 CELM算法模型結(jié)構(gòu)

第二階段采用的是有監(jiān)督的常規(guī)ELM層，將第一階段從輸入數(shù)據(jù)中提取出的抽象特征表示隨機映射到L維隱層空間得到ELM層的隱層矩陣，再應用式(11)訓練網(wǎng)絡。

3 算法模型性能分析

由于故障診斷問題本質(zhì)上是分類問題。本文首先以Mnist手寫體數(shù)據(jù)集，以及11個UCI測試數(shù)據(jù)集為基準對本文提出的收縮極限學習機(CELM)算法模型進行分類性能分析，并與常規(guī)的HELM，ELM，SVM等算法進行對比。并通過在Mnist數(shù)據(jù)集中添加特征噪聲的方式驗證提出的方法的魯棒性，最后再利用TE過程進行實驗分析。

本文采用3.6GHz CPU，16G RAM，64位主機，在Python3.5環(huán)境下進行測試。

3.1 算法評價方法

本實驗的性能評價指標選用ACC(準確率)。計算公式如下

正查準率：P-Precision=TP/(TP+FP)

(22)

負查準率：N-Precision=TN/(TN+FN)

(23)

正查全率：P-Recall=TP/(TP+FN)

(24)

負查全率：N-Recall=TN/(FP+TN)

(25)

準確率：

ACC=(TP+TN)/(ALL)

(26)

其中，TP，TN，F(xiàn)P，F(xiàn)N為表1表示分類問題混淆矩陣的元素。

表1 混淆矩陣

3.2 算法分類準確性測試

Mnist手寫體數(shù)據(jù)集是由60 000個訓練圖像和10 000個測試圖像組成，樣本數(shù)字是0-9。Mnist數(shù)據(jù)集測試結(jié)果見表2。

表2 Mnist數(shù)據(jù)集測試結(jié)果

圖3為Mnist數(shù)據(jù)集測試結(jié)果。就分類精度而言，CELM明顯優(yōu)于ELM和HELM算法模型；就中間隱層數(shù)而言，CELM的中間隱層數(shù)為2時的分類精度高于中間隱層數(shù)為1時。

圖3 Mnist數(shù)據(jù)集測試結(jié)果

對于UCI數(shù)據(jù)集，本文將80%數(shù)據(jù)集作為訓練數(shù)據(jù)，20%數(shù)據(jù)作為測試數(shù)據(jù)。對ELM，HELM，CELM分別測試20次，取平均結(jié)果。UCI數(shù)據(jù)集測試結(jié)果見表3。

根據(jù)測試集的結(jié)果，可以得出除了在Adult數(shù)據(jù)集中，CELM的分類精度會低于ELM，在其它數(shù)據(jù)集中CELM的分類精度都在ELM之上，且在White_wine_quality，Red_wine_quality，Wine，Seeds，Letter，Glass，Ecoli以及Dermatology中CELM的精度都是最高的，尤其在White_wine_quality數(shù)據(jù)集中，CELM的分類精度要比ELM高出12.8%，在Red_wine_quality數(shù)據(jù)集中，CELM的分類精度比ELM高出11.8%。通過表3可以得出，CELM的分類性能較好。

表3 UCI數(shù)據(jù)集測試結(jié)果

3.3 算法模型魯棒性測試

為了驗證所提出的CELM對特征噪聲數(shù)據(jù)的魯棒性，本文選用Mnist數(shù)據(jù)集，并在其訓練樣本中加入混合高斯噪聲。噪聲生成公式如下

(27)

表4 算法魯棒性測試結(jié)果

在圖4中可以看出，隨著噪聲強度的增加，CELM，ELM和HELM的分類精度也隨之下降。ELM的下降幅度最大，在添加了方差為0.5的高斯噪聲后分類準確率下降到了81.7%，說明常規(guī)的ELM在抗噪聲方面性能較差。HELM與本文提出的CELM相比較，兩者在方差為0.5的高斯噪聲下分類準確率都保持在了91%以上，但是隨著噪聲強度的增強，HELM下降速率更快，兩者的精度差也逐漸加大。因此，可以得出本文提出的算法模型在較ELM和HELM具有更好的魯棒性。

圖4 添加不同級別噪聲后的實驗結(jié)果

3.4 TE故障數(shù)據(jù)集仿真分析

本小節(jié)中，分別以ELM，HELM以及本文提出的CELM對TE過程分別進行實驗分析。TE過程共有52個測量變量，并且可以模擬20種不同的故障類型。

本文中選取其中10種不同故障類型以及正常過程的所有訓練數(shù)據(jù)訓練出一個分類模型，并以各種類型的1/3數(shù)據(jù)集作為訓練數(shù)據(jù)集，2/3數(shù)據(jù)集作為測試數(shù)據(jù)集，對本文提出的CELM算法模型進行故障診斷性能分析。測試結(jié)果見表5。

由表5結(jié)果可得，針對上述故障類型，CELM較ELM，HELM有7種類型的分類精度最優(yōu)，分別是正常類型、故障4、故障5、故障8、故障10、故障12以及故障20。

表5 10種不同故障類型的診斷性能比較(ACC)

表6為算法模型的平均訓練時間。與ELM和HELM相比，CELM模型訓練時間平均值有所增加，但在故障診斷方面的精度更高。

表6 3種算法模型的訓練時間平均值

綜上所述，本文提出的算法模型在準確率方面有較好的表現(xiàn)，且較ELM，HELM具有更好的魯棒性，但是模型訓練效率方面較ELM，HELM耗時要多一些。

4 結(jié)束語

本文針對工業(yè)系統(tǒng)中采集的數(shù)據(jù)變量多，且普遍帶有特征噪聲的現(xiàn)象，提出了一種基于收縮極限學習機的魯棒算法模型。首先本算法模型以多層ELM網(wǎng)絡模型結(jié)構(gòu)為基礎，然后利用自編碼器，并將隱層輸出值關(guān)于輸入的雅克比矩陣的F范數(shù)引入到目標函數(shù)中，提取出圍繞輸入的微小變化具有魯棒性的抽象特征表示，最后以常規(guī)的ELM層作為分類器進行訓練。本文所提出的算法模型CELM在Mnist數(shù)據(jù)集、UCI數(shù)據(jù)集、帶有混合噪聲的Mnist數(shù)據(jù)集以及TE數(shù)據(jù)集上進行測試分析，實驗結(jié)果表明，CELM較ELM、HELM具有更高的分類精度、更好的魯棒性，以及更優(yōu)的故障診斷精度。但是在本文中，CELM相比ELM以及HELM的訓練時間較長，因此后續(xù)筆者下一步的重點在于優(yōu)化隱層權(quán)重矩陣的計算過程，以提高模型的訓練效率。