基于棧式降噪自編碼的故障診斷

朱煜奇，黃雙喜，楊天祺，孫潔香

（1.清華大學 自動化系，北京 100084；2.北京機械工業(yè)自動化研究所，北京 100120）

基于棧式降噪自編碼的故障診斷

朱煜奇1，黃雙喜1，楊天祺1，孫潔香2

（1.清華大學 自動化系，北京 100084；2.北京機械工業(yè)自動化研究所，北京 100120）

提出一種基于棧式降噪自編碼網絡的故障診斷方法，把深度學習應用于設備故障診斷。建立深層網絡模型，采取逐層貪婪編碼的方式進行預訓練，實現高維深層故障特征的自適應提取和挖掘，再使用反向傳播算法對模型進行監(jiān)督式微調。方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了傳統(tǒng)機器學習方法對人為提取樣本特征的依賴，并有效克服梯度消失、局部極值等問題。通過滾動軸承數據實驗，驗證該方法對故障的識別能力和泛化能力。

故障診斷；棧式降噪自編碼；深度學習；滾動軸承

0 引言

通過機器學習挖掘生產數據的內在信息，可以實現基于狀態(tài)的設備維護。滾動軸承作為制造設備變速機構的重要組成部分，具備豐富的數據積累，以滾動軸承為對象研究智能化的故障診斷方法具有一定的典型性和可推廣性。

傳統(tǒng)故障診斷可歸納為特征提取和狀態(tài)分類兩個步驟。傳統(tǒng)特征提取需經過復雜的信號處理和多變量的主觀選擇，對診斷結果造成主觀影響。傳統(tǒng)機器學習分類算法面臨維數災難、過擬合等問題，只能學習樣本的低維淺層特征，且缺少必要的泛化能力[1～3]。深度學習為克服上述問題提供了新思路。Hinton等提出無監(jiān)督預訓練加后期微調的訓練框架，使用自編碼網絡[4]和深度置信網絡[5]等模型，實現深度網絡結構對高維抽象特征的提取，并以逐層貪婪的訓練原則克服了多層網絡結構的梯度消失和局部極值問題[5,6]。目前深度學習對工業(yè)生產數據的挖掘仍處于摸索階段，在設備維護和故障診斷領域有著廣闊的想象空間。

綜合上述背景，本文提出一種基于棧式降噪自編碼網絡的故障診斷方法，將深度學習應用于設備故障診斷。該方法建立深層網絡模型，利用逐層貪婪編碼的方法實現高維深層故障特征的自適應挖掘，顯著提升故障識別能力和泛化能力。相比傳統(tǒng)機器學習，該方法集成了特征提取和狀態(tài)分類兩大步驟，擺脫了人為提取樣本特征對經驗的依賴和復雜運算，有效克服梯度消失、局部極值等問題，能夠適應復雜的設備診斷需求。

1 基于棧式降噪自編碼的故障診斷

1.1 基本自編碼網絡

自編碼網絡（Autoencoder，AE）基本模型是一個三層前向網絡結構，包括輸入層X，中間層（隱層）Y，輸出層Z，其中輸入層和輸出層維數相同，隱層維數較小，網絡結構如圖1所示。理解AE可以分編碼和解碼兩個階段，其核心思想是逼近一個恒等函數，在隱層實現降維的同時盡可能完整地保留特征信息[7]。

圖1 基本自編碼網絡

解碼階段，m維隱層向量y通過同樣的方式反向重構為n維向量z，非線性解碼函數可以作如下表示：

經過編碼和解碼兩個步驟，AE將x壓縮為y再重構為z。由于維度m＜n，隱層表達向量y實現了對輸入特征的編碼和降維；由于保證重構誤差最小化，可以認為編碼向量y很好地保留了輸入向量x所包含的特征信息；最后，以重構輸入向量為目標的訓練過程避免了人為添加樣本標簽，減少了對主觀經驗的依賴，也更加適應海量數據的應用場景。綜上所述，AE模型可以非監(jiān)督、自適應地實現樣本特征的提取和降維。

1.2 降噪自編碼網絡

在現實場景中，考慮到樣本的個體差異以及噪聲對樣本輸入的影響，同類樣本往往不會表現出嚴格相同的特征。這就需要分類器具備一定的魯棒性和泛化能力。基本AE的訓練直接以真實信號為輸入進行編碼重構，因此在面對噪聲干擾時可能因為過擬合而影響分類效果。

降噪自編碼網絡（DenoisingAutoencoder，DAE）通過人為向輸入端引入噪聲解決上述問題[7]，實踐中可以采用masknoise作為修正，即隨機造成輸入缺失（置0）。記經過修正的輸入向量為x′，則DAE的原理可作如下表示：

在DAE的訓練過程中，輸入向量x′是含有人為噪聲的信號，而重構誤差L(x,z)表達了編碼向量y對真實信號x的重構能力，如圖2所示。由此可見，DAE追求的是存在擾動的情況下對真實信號的重構能力，由此得到的特征表達具有更好的魯棒性和泛化能力。

圖2 降噪自編碼網絡

1.3 棧式堆疊和逐層貪婪訓練

堆疊多個DAE可以得到深層神經網絡，實現對高維深層特征的提取[4]。當訓練完一個DAE單元后，編碼部分已經可以實現輸入向量到隱層編碼的映射，因此只需保留編碼部分作為DAE訓練結果。已知DAE各層輸入輸出都滿足歸一化要求，因此可以將一個DAE的隱層編碼向量作為另一個DAE的輸入，作進一步的編碼和降維。記原始輸入樣本為x0，第i層DAE的編碼結果為xi，則各層DAE編碼可以表示為：

如此層層堆疊得到的模型稱為棧式降噪自編碼網絡（Stacked Denoising Autoencoder，SDAE），整體訓練這樣的深層網絡會引起梯度消失，因此需要采用逐層貪婪的原則，對每一層DAE進行單獨訓練，并保證重構誤差最小化。假設每一層DAE編碼都能實現比較好的重構效果，則SDAE作為整體就能實現高維特征的深度提取和降維，如圖3所示。

1.4 分類器預訓練和微調

在傳統(tǒng)機器學習的觀點中，從原始數據到實現分類需要經過特征提取和狀態(tài)分類兩步，其中基于樣本的機器學習主要發(fā)生在狀態(tài)分類階段，特征提取被認為是訓練模型之前的預處理。而在本文給出的方法中，逐層貪婪訓練同樣能實現樣本特征的提取和降維，區(qū)別在于SDAE訓練會使用到樣本數據，所以這是一種自適應的非監(jiān)督的預訓練[4]。

在SDAE的輸出特征之后接上分類模型即可實現樣本分類。例如以softmax分類作為輸出，可以得到以獨熱編碼（One-Hot code）表示分類結果的分類器，如圖3所示。一個N分類的獨熱編碼可作如下表示：

圖3 SDAE分類器

基于逐層貪婪訓練得到的分類器已經能實現較為準確的分類，但是逐層最優(yōu)并不能保證堆疊之后分類器整體最優(yōu)。此時如果有經過分類標簽的樣本數據，就可以采用BP等算法對整個分類器進行監(jiān)督式訓練，進一步實現微調[4]。因為有自編碼預訓練作為基礎，此時的BP訓練有較好的初值作為基礎，不容易陷入局部極值。

1.5 基于深度學習的軸承故障診斷

將SDAE深度分類模型應用于設備狀態(tài)識別，可以實現設備故障診斷。分析軸承故障通常采用振動信號作為對象，既可以采取時域分析，也可轉換到頻域分析，經試驗頻域信號所體現的特征更為顯著，更加適合用作分類器輸入。傳統(tǒng)機器學習能處理的特征維數有限，需要將原始頻域序列轉換為少數中間變量或人為選取某些特征頻率；本文提出的SDAE方法可以從高維特征出發(fā)進行工作狀態(tài)識別，因此可以直接采用頻譜序列作為分類器輸入，最大限度保留了樣本信息，提升診斷效果和泛化能力。綜上，構建以軸承振動信號頻譜序列為輸入、以獨熱分類編碼為輸出的SDAE分類器，可以實現基于深度學習的軸承故障診斷。

2 應用實例

2.1 實驗數據集

本文采用美國Case Western Reserve University軸承數據中心的故障數據[8]驗證SDAE模型的診斷效果，以SKF6205-2RS滾動軸承為對象，通過電火花加工在軸承的內圈、滾動體、外圈制造人為損傷，在電機箱體采集振動加速度信號，研究不同的軸承故障模式下振動數據的表現。統(tǒng)一選取1馬力負載、每分鐘1772轉、采樣頻率12kHz的驅動端振動信號作為依據，每500個采樣點作為一條樣本序列，選取正常狀態(tài)加9種故障模式共10個工作狀態(tài)，對每種狀態(tài)隨機選取3/4的樣本用作訓練集，剩余1/4樣本用作測試集。表1描述了樣本數據信息。

2.2 診斷模型設計

根據前文描述的方法，將上述樣本經過FFT變換為頻譜序列并歸一化，SDAE分類器以500維的頻譜序列作為輸入，10位獨熱分類編碼作為輸出。經試驗，本文設計5層SDAE模型，各層神經元數量為：500-300-100-50-10，noising mask概率設為0.1。在預訓練階段，逐層貪婪訓練的迭代次數設置為3；在微調階段，采用BP算法進行整體優(yōu)化，迭代次數設置為30。為減少隨機影響，重復進行10次診斷試驗，并結合其他經典方法比較診斷效果。

表1 樣本數據集描述

2.3 實驗結果

圖4展示了SDAE及其他分類模型對測試樣本的診斷結果。在設定的實例場景下，SDAE診斷模型可以準確識別不同位置、不同程度的軸承故障，10次試驗均能保證100%的正確率，體現出色的識別和泛化能力。

圖4 各模型診斷準確率

對照試驗中，經典反向傳播網絡BP采用和SDAE相同的5層結構但不采用逐層貪婪預訓練，識別能力整體遜于SDAE模型，診斷正確率在25.23%～79.81%之間浮動，性能十分不穩(wěn)定。PCA+SVM方法選取10個特征分量作為SVM輸入，最終診斷正確率只能保持在46%左右，但是相比BP方法穩(wěn)定很多。文獻[9]給出的EMD+SVM方法在特征提取方面做出改進，能保證94.61%的平均正確率，具有較高的識別率，診斷結果也十分穩(wěn)定。相較而言，本文提出的SDAE方法能夠自適應地挖掘故障特征，具有更強的診斷能力和泛化性能。

深入分析訓練方法對診斷效果的影響。圖5具體展示第5次SDAE試驗、第5次BP試驗和第8次BP試驗的訓練迭代誤差曲線。SDAE以逐層貪婪訓練避免了梯度消失，又通過非監(jiān)督預訓練得到更為合理的迭代初值，表現出更為穩(wěn)定的診斷效果。BP方法面對深層網絡會出現梯度消失陷入局部極值，迭代結果受隨機初值影響，故診斷效果不穩(wěn)定。

圖5 各模型診斷準確率

深入分析特征提取對診斷效果的影響。對樣本進行聚類并投影到以特征向量為坐標的空間中，可以觀察所選特征對樣本的區(qū)分能力。圖6描述原始信號經三層DAE挖掘得到的特征，可見同一故障模式下的樣本較好地聚集在一起，能比較明顯地區(qū)分不同狀態(tài)下的樣本。圖7描述PCA對樣本特征的提取，結果表明同類樣本能實現一定程度的聚集，但不同故障模式下的樣本有比較嚴重的重疊。這是因為高維特征向低維空間投影的過程中損失了大量的特征信息，導致某些相似狀態(tài)不能得到很好地區(qū)分，最終影響診斷效果。

3 結論

本文提出一種基于棧式降噪自編碼網絡的故障診斷方法，將深度學習應用于設備故障診斷，通過實驗證明了方法的有效性，結果表明：

1）所提出的方法能實現故障特征的自適應提取和降維，擺脫了對專家診斷經驗和復雜信號處理的依賴，成功實現特征提取和狀態(tài)分類兩大步驟的集成；

圖6 SDAE特征可視化

圖7 PCA特征可視化

2）所提出的的方法成功利用深層神經網絡挖掘高維樣本特征，遵循逐層貪婪訓練和預訓練加微調的方式，有效克服傳統(tǒng)機器學習面臨的梯度消失和局部極值問題，顯著提升故障識別效果和泛化能力；

3）以滾動軸承故障診斷為例驗證所提出的的方法，對照傳統(tǒng)機器學習診斷方法進行，證明了該方法的有效性。

[1] Bengio Y, Goodfellow I J,Courville A. Deep learning[J]. Nature, 2015,521:436-444.

[2] LeCun Y,Bengio Y, Hinton G. Deep learning[J].Nature, 2015, 521(7553):436-444.

[3] Bengio Y. Learning deep architectures for AI[J].Foundations and trends? in Machine Learning,2009,2(1):1-127.

[4] Hinton G E, Salakhutdinov R R.Reducing the Dimensionality of Data with Neural Networks[J].Science, 2006,313(5786):504.

[5] Hinton G E, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets.[J].Neural Computation,1989,18(7):1527-1554.

[6] Bengio Y, Lamblin P, Popovici D,et al.Greedy layer-wise trainingof deep networks[C].Advances in Neural Information Processing Systems 19, Proceedings of the Twentieth Conference on Neural Information Processing Systems,Vancouver,British Columbia, Canada, December. DBLP,2007:153-160.

[7] Vincent P,Larochelle H,Bengio Y, et al.Extracting and composing robust features with denoisingautoencoders[C].International Conference.2008:1096-1103.

[8] Bearing data center.Case Western Reserve University[EB/ OL].[2016-12-31].Available: http://csegroups.case.edu/ bearingdatacenter/pages/download-data-file.

[9] 胡榮華,樓佩煌,唐敦兵,劉明燈.基于EMD和免疫參數自適應SVM的滾動軸承故障診斷[J].計算機集成制造系統(tǒng),2013,(02):438-447.

Fault diagnosis based on stacked denoising autoencoder

ZHU Yu-qi1, HUANG Shuang-xi1, YANG Tian-qi1, SUN Jie-xiang2

TP206+.3

A

1009-0134(2017)03-0152-04

2016-11-20

國家高技術研究發(fā)展計劃項目（2015AA043702）

朱煜奇（1992 -），男，上海人，碩士研究生，主要從事企業(yè)信息化與集成研究。