極限學習改造稀疏自動編碼機及其在故障診斷中的應用

宋坤駿 林建輝 丁建明 西南交通大學

極限學習改造稀疏自動編碼機及其在故障診斷中的應用

宋坤駿 林建輝 丁建明 西南交通大學

傳統棧式稀疏自動編碼機的全局權值微調算法基于反向傳播，由于深度神經網絡損失函數的非凸性質，反向傳播算法極易陷入局部極小值，且前幾層網絡的權值往往得不到充分訓練。為此引入極限學習算法到深度神經網絡的訓練中來，將多個通過二階Hessian-Free方法訓練后的稀疏自動編碼機層疊起來，然后通過正則化ELM算法確定最后輸出層的權值。結果表明二階Hessian-Free方法克服了最速下降法存在的鋸齒型收斂問題,并保留了牛頓方法計算Hessian矩陣的時間和空間開銷。將機車振動數據分別用離散傅里葉變換和量子傅里葉變換轉換到頻域后作為特征輸入網絡,檢測結果表明網絡的泛化能力和訓練速度都有了可觀的提升。

極限學習；稀疏自動編碼機；滾動軸承；故障

1 引言

機車走行部中的滾動軸承是故障頻發的一個部件。目前各種故障診斷方法在提取特征的時候主要基于人工經驗或專家知識，例如簡易診斷中，主要選擇了時域波形峭度系數參數、加速度有效值參數兩個指標作為故障判斷參數，精密診斷方法則進一步考慮了故障的特征頻率，利用不同零部件故障的特征頻率不同實現故障定位。這些人工選取的特征能夠滿足多數場合下故障診斷系統的需要。但通常軸承及轉向架的故障模式復雜，實際信號中各種噪聲混雜，普通的信號處理方法除需要提取特征外，還要過濾各種噪聲，而有研究表明機器學習算法中加入噪聲實際上起到了一種正則化的作用，可以增加網絡的泛化性能。因此噪聲如何去除，以及去除多少實際上是相當需要技巧的一門學問。基于深度學習理論的去噪自動編碼機可以自動學習一些特征并能在學習特征過程中自動完成降噪。可以說是達到了噪聲消除和提高泛化能力之間的平衡，同時省去了研究各種去噪算法的精力和計算特征的耗時。

當前在故障診斷領域類似極限學習的快速學習算法和類似深度學習的無需先驗知識的特征學習方法的研究包括：嚴文武等人采用獨立成分分析(ICA)提取故障特征，并用ELM算法進行工業過程故障分類,通過與概率神經網絡和支持向量機等的對比研究表明ICA-ELM方法有更快的訓練速度和更高的分類準確率。秦波等人先對信號進行EMD分解，然后提取與原信號相關度較大的IMF分量的能量作為特征向量送入BP、SVM、PSO-SVM與 GA-SVM和ELM等分類器中，通過對比試驗證明了ELM方法在實時性和準確率上都勝過上述傳統機器學習算法。龐榮等人將離散傅里葉變換后的轉向架故障信號送入降噪自動編碼機進行特征學習，并將學到的特征送入BP神經網絡進行故障辨識，對轉向架關鍵部件非全拆故障識別正確率能夠達到100%。

此外本文分別用經典快速傅里葉變換和量子傅里葉變換將機車振動數據轉換到頻域后再輸入所得深度網絡，對比結果表明量子傅里葉變換能夠有效削弱噪聲對于信號特征提取的干擾，顯著減少網絡的輸入維數。

2 代價敏感學習

通常機器學習算法的損失函數不論是交叉熵還是誤差平方和損失函數都沒有體現出不同類別間的代價敏感性,而在實際應用特別是故障診斷中，不同類別錯分類的代價恰恰是差異懸殊的。例如漏判故障遠比將正常情況誤判為故障工況的損失要大。本文引進代價敏感性的方法是取加權誤差平方和作為損失函數,其對應的最優權值可由加權最小二乘法求出解析解。加權最小二乘線性回歸問題中系數的最優估計由下式給出

這里矩陣H∈Rm×m的第i行第j列元素（1≤i≤m.1≤j≤m）為第j個基函數hj在第i個采樣點xi上的取值，W是各個權重組成的對角矩陣diag（W1，W2，...，Wm），而Z是函數采樣值向量。是自變量采樣點向量α2，...，αm）是各個采樣點對應的疊加系數組成的向量。

加權最小二乘法的損失函數為最小的充分必要條件是HTWH是正定矩陣。

假設給定特征x的條件下，樣本屬于類Ci的幾率是P(Ci| x)，那么將該樣本歸為類Cj的風險等于條件損失L（Cj|Ci）關于上述條件幾率的加權和。

代價敏感性體現在對于固定的i和流動的j，損失函數 L（Cj|Ci）是不同的。條件損失矩陣L（Cj|Ci）是預先給定的算法輸入，這跟神經網絡的權值是通過后天訓練得到的是不同的。因此說任何不包含先驗信息的損失函數 (例如上面的交叉熵損失函數)都不可能體現代價敏感性。為將損失函數改造成代價敏感的，可在原有損失函數基礎上引進權重因子，其中的權重Wi可以理解為幾率P（Ci|x）。已知交叉熵損失函數是專門為解決迭代學習權值過程中收斂速率飽和的問題而設計出來的一種損失函數，但是如果能夠直接求出最優權值的解析解，那么就不存在迭代學習的必要了，因而此時選用誤差平方和代替交叉熵函數也是可以的，以下小節中就是這么做的。

3 極限學習機理論

極限學習機是一種新型的單隱層前饋神經網絡訓練算法，其輸入層的權值和偏置參數是隨機指定的無需通過迭代計算得到，因此其計算效率較傳統BP網絡有了大幅提高，同時其泛化能力沒有下降反而有所提升。最原始的ELM算法流程十分簡單，其輸出層表達式為

這里h(x)=[h1(x)，h2(x)，...hL(x)]是隱含層激活函數向量，第i個分量函數hi(x)同隱藏層第i個神經元的權值和偏置參數(ai，bi)有關。而β=[β1，β2，...，βn]是待求的隱藏層輸出權值，由如下最小二乘問題求出：

Bartlett關于前饋神經網絡泛化能力的研究表明：眾多滿足誤差范數最小的最小二乘解中，回歸系數向量的范數越小，則網絡的泛化能力越好，因此滿足權值平方和最小的Moore-Penorse最小二乘解是所有最小二乘解中泛化能力最好的，取其為ELM隱層輸出權值的計算公式如下

這里關于m個輸入樣本的隱層輸出矩陣定義為

而關于m個輸入樣本的訓練數據目標矩陣則由下式定義

上述基于經驗風險的算法可能存在對樣本數據的過擬合，為此加入一項正則化項到ELM損失函數的表達式中，同時將上一小節的加權最小二乘理論加以運用以改造損失函數提現代價敏感性，最終得到代價敏感正則極限學習機輸出層權值的公式為

其中I是維數等于隱層神經元數目的單位矩陣。

4 稀疏去噪編碼機理論

深度表示學習中一種常見的無監督學習算法是稀疏自動編碼機，表示的稀疏性是指隱藏層的輸出神經元中大多數神經元的值都低于激活閾值，通常利用平均激活度

來表達，其輸出表達式為

其中hw,b(x)=[h1(x→),h2(x→),...,hm(x→)]是輸出層向量，其第i個分量為

這里我們取激活函數f為tanh函數，相比sigmoid函數來說，在權值更新時沒有同步增大和同步減小的偏向性。為體現出稀疏性約束,只需添加一項基于KL-Divergence的懲罰項懲罰過大的激活度即可，由此得到完整的損失函數為

5 量子傅里葉變換

通常需要將原始時域信號變換到頻域作為特征輸入神經網絡中進行故障診斷。變換方法可以是經典傅里葉變換也可以是量子傅里葉變換。量子傅里葉變換充分利用了量子力學的態疊加原理，使得在一次變換中可以同時完成所有變換系數的計算。相比經典傅里葉變換其計算速度能有指數級別的增加。

QFT對于任意量子位態矢的作用由如下態疊加式定義

式中n=2m,而m是量子態位數，態 代表信號的數值，其在基礎矢量展開式上的展開系數就等于整數j的二進制表示中的各位數字，這些數字取值只能為0或1，而 的量子傅里葉變換后所得態矢量在同一組基礎矢量上的展開式系數則可以取復數值。

上述量子計算方法的過程如下所示：

①初始化：將輸入輸出寄存器都初始化為0

②for時刻t=0到p，do：

③振動信號轉為量子態表示：為與量子線路兼容，需將采集到的振動信號以二進制表示，并放置在輸入輸出寄存器中

為避免對整數和小數部分分別進行量子傅里葉變換，上述振動信號統一取小數點后l位，再將所有采樣點上測量數值乘以10l化為整數。這個預處理的開銷很小，但是能夠顯著降低算法的執行時間。

④QFT變換：每一制備的量子態 ，實施QFT變換，得到，并存儲在寄存器out中

其中p=m+n是量子位數，量子態 的數目為2p。上式同時完成了2p-1次計算。

⑤特征提取：對輸出寄存器的量子態 ，進行測量，使其塌縮到固定值，得到對應樣本的概率分布，其公式為

圖5和圖6所示為量子傅里葉變換后所得頻譜，為了比較的方便已和經典傅里葉變換所得頻譜歸一化到同一標度，由圖可見，量子傅里葉變換能夠更加凸顯出信號的特征頻率，將輸入網絡的特征取為概率幅度大于0.5的概率幅值對應的頻率后可以看到，量子傅里葉變換提取的特征頻率對應的概率幅值比起經典傅里葉變換給出的功率幅值更能體現出信號中的干涉效應，能夠達到消除噪聲更加良好的結果。然而量子傅里葉變換最大的優勢還是在于其計算的并行性質，以及閾值設定的便利性和顯著的特征降維效果。

雖然量子算法提取出的特征比起經典傅里葉變換少了許多，但是由于其所得特征同故障關聯度較高，因而網絡的訓練速度不但沒有下降反而有所上升，且分類準確率也有所上升。說明量子傅里葉變換在并行計算大大改善網絡訓練速度的同時能夠有效提高網絡的預測性能。

6 基于極限學習的棧式稀疏自動編碼機

實驗所取棧式稀疏自動編碼機模型的參數如下表1所示。

表1 SDAE模型參數

將前一稀疏自動編碼機的隱層輸出作為后一個稀疏自動編碼機的輸入即得棧式稀疏自動編碼機，直接套用代價敏感正則化ELM輸出層公式求出棧式稀疏自動編碼機中最后一層的輸出權值最優解為 (假設一共有N層隱藏層)

上式中H是最后一層隱藏層的輸出矩陣。

上述稀疏自動編碼機的輸出還需要送入分類器進行故障識別和分類。這里選用的分類器是另一個代價敏感的正則化極限學習機，同時還選用了其他分類器如支持向量機，BP算法訓練的單隱層神經網絡做對比研究，研究結果請參見下一小節。

7 實驗數據分析

將上述算法應用到滾動軸承的故障診斷中，采用的數據為青島四方機車廠的振動加速度數據。采樣頻率為10 kHz，采樣時段為機車速度從30 km/s加速到100 km/s的過程，在30 km/s、50 km/s和100 km/s各采集10 s的振動數據。分別測量橫向、縱向和垂向三個方向的加速度分量。故障模式分為外圈內面故障和滾柱燒蝕故障兩種。原始信號數據先做歸一化處理。然后再做離散傅里葉變換得到頻域特征后送入深度網絡進行學習。

將每一故障信號分成多段，每段含有256個數據點作為一個樣本。取前2/3的數據作為訓練集，取后1/3數據作為測試集。訓練集和測試集均由兩個軸承兩種故障工況信號樣本混合而成，均先進行離散傅里葉和量子傅里葉變換得到頻域表示后再送入極限學習機進行辨識。仿真得到兩種故障工況下時域信號波形如圖1、圖3所示；頻域信號波形如圖2、圖4所示；量子傅立葉變換后所得頻譜如圖5、圖6所示。

圖1 外圈內表面故障工況下軸承時域振動波形

圖2 外圈內表面故障工況下軸承頻域振動波形(垂向加速度)

圖3 滾柱燒蝕故障工況下軸承時域振動波形(垂向加速度)

圖4 滾柱燒蝕故障工況下軸承頻域振動波形(垂向加速度)

圖5 外圈內表面故障工況下量子傅里葉變換后所得頻譜(垂向加速度,已將概率幅值歸一化為同經典快速傅里葉變換同一標度)

圖6 滾柱燒蝕故障工況下量子傅里葉變換后所得頻譜(垂向加速度,已將概率幅值歸一化為同經典快速傅里葉變換同一標度)

對比量子傅里葉變換提取的特征和經典傅里葉變換提取的特征可以知道量子變換算法能夠更加有效地凸顯頻譜的中頻段部分,對于故障特征頻率發生在中頻段的故障不失為一種很好的特征提取算法。

將變換后頻譜輸入如表2所示3種故障模型中訓練，可得各次實驗故障識別率和運行耗時，從中可見各種算法的識別率以ELM-SAE為最高,SVM次之，而傳統的BP算法最低,而在運行耗時上批量式的ELM算法最低，其次是在線式的ELM和SVM，最慢的是批量式的BP算法。

表2 各次實驗的故障識別率和運行耗時

圖7所示為模型深度同隱藏層神經元數的關系，由圖可見，隨著隱層神經元數目的增加，模型預測準確率基本呈現單調增加趨勢。

圖7 模型準確率同隱層神經元數關系

8 結束語

本文將極限學習機同稀疏自動編碼機有機結合，利用極限學習算法的性能優勢很好地改進了堆疊稀疏自動編碼機的訓練速度，同時也免除了反向傳播算法容易陷入局部極小的缺點。此外本文分別利用經典傅里葉變換和量子傅里葉變換算法提取特征,結果表明量子算法能夠同時對比實驗結果表明所提出的算法相比其他一些傳統算法有效地改進了訓練的準確度，不失為一種較為實用的在線故障診斷算法。

[1]Martens J Deep learning via Hessian-free optimization[C] International Conference on Machine Learning.2010：735～742.

[2]Vincent P,Larochelle H,Bengio Y,et al.Extracting and composing robust features with denoising autoencoders[C]//International Conference. 2008：1096～1103.

[3]Daniel J W.The Conjugate Gradient Method for Linear and Nonlinear Operator Equations[J].Siam Journal on Numerical Analysis,1967,4(1)：10～26.

[4]Bartlett P.The sample complexity of pattern classification with neural networks：the size of theweights is more importantthan the size of the network[J].IEEE Transactions on InformationTheory.1998,44(2)：525～536.

[5]Vincent P,Larochelle H, Lajoie I, et al. Stacked Denoising Autoencoders：Learning Useful Representations in a Deep Network with a Local Denoising Criterion[J].Journal of Machine Learning Research, 2010,11(12)：3371～3408.

[6]Zhenbing Zhao,Ning Liu,and Le Wang."Localization of multiple insulators by orientation angle detection and binary shape prior knowledge."IEEE Transactions on Dielectrics and Electrical Insulation, 22(6),2015：3421～3428.

[7]何星,王宏力,陸敬輝,等。基于優選小波包和ELM的模擬電路故障診斷[J]。儀器儀表學報,2013,34(11)：2614～2619。

[8]嚴文武,潘豐。基于ICA-ELM的工業過程故障分類[J]。計算機工程, 2015,41(10)：290～294。

[9]秦波,劉永亮,王建國,等.基于極限學習機的滾動軸承故障診斷方法[J].組合機床與自動化加工技術,2016(5)：103～106.

[10]龐榮,余志斌,熊維毅,等.基于深度學習的高速列車轉向架故障識別[J].鐵道科學與工程學報,2015(6)：1283～1288.

[11]潘峰,趙海波.Online Sequential Extreme Learning Machine Based Multilayer Perception with OutputSelfFeedback for Time Series Prediction[J].Journal of Shanghai Jiaotong University(Science),2013,18 (3)：366～375.

責任編輯：許耀元

來稿日期：2017-02-17