基于E2E Deep VAE-LSTM的軸承退化預測應用研究

摘 要：針對額外提取數據特征的方法需要花費大量時間和人力成本、軸承退化的線性預測精度低等問題，以及時序數據具有時間依賴關系的特點，提出了端到端的結合長短時記憶網絡的深度變分自編碼器模型（E2E Deep VAE-LSTM）用于軸承退化預測。通過改進VAE的結構，并結合LSTM，該模型可以在含有異常值的數據集上直接進行訓練和預測；使用系統重建誤差表征軸承退化趨勢，實現了軸承退化的非線性預測。在三個真實數據集上的實驗結果表明，E2E Deep VAE-LSTM模型可以得到滿意的預測結果，預測精度均高于現有的幾種AE類模型及其他幾種方法，且具有良好的泛化能力和抗過擬合能力。

關鍵詞：自編碼器；深度自編碼器；降噪自編碼器；變分自編碼器；長短時記憶網絡；剩余壽命預測；無監督學習

中圖分類號：TP183 文獻標志碼：A

文章編號：1001-3695（2022）07-027-2091-07

doi：10.19734/j.issn.1001-3695.2021.11.0676

基金項目：貴州省自然科學技術基金資助項目（黔科合基礎［2019］1088）

作者簡介：周壯（1993-），男（土家族），貴州銅仁人，碩士研究生，主要研究方向為故障診斷、異常檢測；周鳳（1976-），女（通信作者），貴州貴陽人，副教授，碩導，主要研究方向為自動化技術、計算機軟件及計算機應用、大數據分析及應用（41544782@qq.com）．

Application research on bearing degradation prediction based on E2E Deep VAE-LSTM

Zhou Zhuanga，Zhou Feng^b?

（a.State Key Laboratory of Public Big Data，b.College of Computer Science amp; Technology，Guizhou University，Guiyang 550025，China）

Abstract：Aiming at the problems that the methods of additionally extracting data features needed a lot of time and labor cost，the low accuracy of linear prediction of bearing degradation，and the time dependence of time series data，this paper proposed an end-to-end deep variational autoencoder（VAE） model combined with long-short term memory networks（E2E Deep VAE-LSTM） for bearing degradation prediction.By improving the structure of VAE and combining with LSTM，this model directly trained and predicted on datasets containing outliers，and used the system reconstruction error to characterize the bearing degradation trend，realized the nonlinear prediction of bearing degradation.Experimental results on three real datasets show that the E2E Deep VAE-LSTM model can obtain satisfactory prediction results，the prediction accuracy is higher than several existing AE models and other methods，and it has good generalization ability and anti-overfitting ability.

Key words：autoencoder（AE）；deep AE；denoising AE（DAE）；VAE；LSTM；remaining useful life prediction；unsupervised learning

0 引言

軸承廣泛存在于各類工業設備中^［1］，且通常是旋轉類設備的核心零部件，與旋轉機械的健康狀況以及機械設備可靠性直接相關，軸承是該類設備故障的主要故障源^［2］。軸承在運轉過程中其狀態會經歷從正常到失效的過程，若能夠實時監測軸承的運行狀態，則可通過分析軸承的歷史運行數據來預防軸承故障的發生，從而避免不必要的經濟損失，還可以有效節約人力成本。

自編碼器（autoencoder，AE）^［3］是深度學習中一類重要的無監督學習模型，能夠從大量無標簽數據中學習數據蘊涵的有效特征^［4］。AE具有模型結構簡單、學習能力強、無監督、應用成本低等特點，很適合用于工業場景中對工業設備進行異常診斷分析。薛嫣等人^［5］將滾動軸承數據的時域、頻域、時頻域故障特征作為LSTM預測模型的輸入，相比于SVM具有更高的準確率。Li等人^［6］基于故障特征在時域和頻域的局部特征，利用反向傳播網絡從不同尺度的信號中學習有意義的特征，從而提高了故障診斷準確率。文獻［7，8］分別將AE與 DAE 應用于滾動軸承故障診斷中，使用其深度結構實現振動信號的抽象特征提取，克服了傳統人工特征提取的局限，提升了故障診斷準確率。Yu^［9］提出了一種基于負相關學習的選擇性堆疊降噪自編碼器（stacked DAE，SDAE）集成模型，可以提取含噪聲振動信號的有效故障特征，結合負相關學習和粒子群算法得到了穩定性與泛化性能優秀的模型。Zhao 等人^［10］將VAE引入故障診斷框架中，通過增擴少數類的振動信號樣本，構建出類別平衡的訓練樣本，并代入CNN中進行分類，促進了診斷準確率的提升。文獻［11］對比分析了各類異常檢測算法在軸承退化方面的應用情況，結果表明基于重建模型的神經網絡可以很好地預測軸承早期故障。

針對額外提取數據特征的方法需要花費大量時間和人力成本，且軸承退化的線性預測精度低等問題，以及時序數據具有時間依賴關系的特點，本文在VAE模型的基礎上，結合LSTM，提出了端到端的結合長短時記憶網絡的深度變分自編碼器模型（E2E Deep VAE-LSTM），可將軸承運行數據直接作為模型的輸入，由模型自動學習軸承退化特征，實現對發動機軸承的退化預測。對比現有的幾種AE類模型及其他幾種方法，在三個真實數據集上的實驗表明，E2E Deep VAE-LSTM具有強大的自動學習軸承退化特征的能力，還能夠在含有異常值的數據集上進行訓練和預測，可得到滿意的預測結果和較高的預測精度，避免設備因零部件失效帶來的損失。本文還實現了軸承退化的非線性預測，大多數研究都是將軸承的退化過程設置為線性退化^{［12～15］}，而非線性退化在實際場景中更為常見^{［16，17］}，可以預見到E2E Deep VAE-LSTM模型在工業設備監測中將會有更廣闊的應用。

1 相關理論

1.1 AE及其幾類變體

1.1.1 AE

自編碼器分為編碼階段和解碼階段，其整體結構對稱，編碼階段的隱層數量與解碼階段相同。典型的自編碼器模型結構如圖１所示。編碼階段是一個數據壓縮過程，強制模型學習數據的主要特征；解碼階段是一個解壓縮過程，以重建輸入信號。AE的目的就是要在輸出層重建輸入數據，最理想的情況就是輸出信號與輸入信號x完全一樣，按照圖１所示的結構，自編碼器的編碼、解碼過程^［4］可描述為

編碼過程：

解碼過程：

其中：We、be為編碼權重和偏置；h為中間隱藏狀態；Wd、bd為解碼權重和偏置，通常Wd=WTe；σe、σd為非線性變換，常用的有ReLU、sigmoid、tanh等。

在AE中，損失函數通常可取平方誤差損失函數或交叉熵損失函數^［18］，即最小化輸出信號與輸入信號x之間的誤差，平方誤差損失函數與交叉熵損失函數分別為

編碼階段可以看成是通過一種確定性的映射將輸入信號轉換為隱層表達，而解碼階段則是盡量將隱層表達重新映射為輸入信號。自編碼器中的參數——權重W和偏置b，通過反向傳播算法^［5］來實現更新，其中η為學習率。

1.1.2 Deep AE

深度自編碼器^［19］在AE的基礎上通過增加隱藏層數量實現，將上一隱藏層的輸出當做下一隱藏層的輸入^［20］。增加隱藏層數可以提升模型的學習能力，學習數據更深層次的數據特征，Deep AE模型結構如圖2所示。Deep AE內部隱藏層數一般不能太深^［4］，太深的隱藏層容易導致模型過擬合，甚至會降低模型性能。

1.1.3 DAE

降噪自編碼器（DAE）^［21］是在AE的基礎上給輸入數據加入隨機噪聲，破壞局部原始輸入數據，然后通過訓練重建得到無噪聲的數據，從而提高模型的魯棒性。DAE模型結構如圖3所示。

其中：x是原始數據；f是噪聲因子；N（0，I）是高斯分布。

1.1.4 SDAE

堆疊降噪自編碼器（SDAE）^［22］應用了Deep AE的思想，是在DAE的基礎上增加隱藏層的數量實現的，上一層的輸出加上噪聲后成為下一層的輸入，SDAE可以獲得比深度信念網絡^［23］（DBN）更優秀的性能表現，提高了分類性能。SDAE模型結構如圖4所示。

1.1.5 VAE

變分自編碼器 （variational autoencoder，VAE）^［24］是AE的一類重要變體，VAE本身是作為生成模型提出的，旨在通過對樣本分布的學習，采用估計分布近似逼近樣本真實分布，進而由估計分布生成原始樣本的類似樣本^［25］。VAE模型結構如圖5 所示。

圖5中，z是隱變量，μ和σ是隱變量z的均值和標準差，分別通過一個網絡層計算得到，z一般使其服從高斯分布，即P（z）～N（0，I）。VAE的損失函數為

其中：Q（z|x）為近似后驗分布；P（x|z）為解碼過程需要學習的條件分布；P（z）為先驗分布；DKL為KL散度。第一項根據實際需要可選擇二值交叉熵或者平方誤差，第二項KL散度為

為了解決模型因為隨機采樣而無法使用反向傳播算法的問題，VAE引入了重參數技巧。首先引入一個參數ε～N（0，I），對其采樣，然后通過如下線性變換得到z：

z=μ+εσ（10）

1.2 LSTM

長短時記憶網絡（long-short term memory，LSTM）^［26］是循環神經網絡（RNN）的一種變體，也是一種帶有記憶功能的神經網絡，能夠學習時序數據中的時間依賴關系。LSTM解決了RNN模型在長序列訓練過程中會出現的梯度爆炸和梯度消失問題，因此被廣泛應用于時序數據相關領域中。LSTM的固有特性使其成為涉及時間序列、非線性數據流的異常檢測任務的理想選擇^［27］。LSTM引入了細胞狀態（cell state）的概念，并通過門（gate）結構來實現信息狀態的控制與傳遞。LSTM單元結構如圖6所示。圖中，σ為激活函數sigmoid，取值為［0，1］，tanh函數將狀態值控制在［-1，1］，表示Hadamard乘積，⊕表示矩陣加法。

LSTM由遺忘門（forget gate）、輸入門（input gate）和輸出門（output gate）三個門控制細胞狀態和隱含輸出狀態構成。

遺忘門用于遺忘一些細胞狀態：

輸入門輸入當前狀態信息，細胞狀態由tanh網絡層轉換得到：

2 E2E Deep VAE-LSTM模型

2.1 模型思想

E2E Deep VAE-LSTM模型基于VAE與LSTM改進得到：a）使用LSTM單元替代隱藏層原有的普通神經元，以提升模型對時序數據的學習能力；b）在計算均值和標準差的網絡層前增加兩層編碼層，以提升模型特征提取能力；c）在解碼階段增加一層隱藏層提升模型的解碼能力，即將VAE變成了深度VAE。

數據可以直接輸入模型，在編碼階段實現特征的自動提取，解碼階段重建輸入信號，通過系統的重建誤差設定異常閾值，實現軸承退化的端到端預測。E2E Deep VAE-LSTM模型結構如圖7所示，圖中“A”表示LSTM單元。

E2E Deep VAE-LSTM軸承退化預測流程如圖8所示。原始數據進行歸一化處理后直接作為神經網絡模型的輸入，由模型實現軸承退化特征的自動提取；接著開始模型訓練，學習訓練集的數據分布；然后對訓練集數據進行預測，得到訓練集數據的重建誤差分布，并以此設定誤差閾值；再由訓練好的模型對測試集數據進行預測，同樣得到測試集的重建誤差分布；最后通過閾值和所有數據的重建誤差對比，得到最終的預測結果。

2.2 參數改進

a）經過實驗探究，本文所用損失函數在VAE原有損失函數的基礎上進行了改進，提升KL散度在損失函數中的比例，將KL散度的比例由-1/2增加至-1/20；涉及到標準差σ的，將1+log σ²-μ²-σ²改為1+σ²-μ²-eσ，增大了σ項，結果如式（17）所示，其中N為輸入數據的維度。

b）改進隱變量采樣方式，由原有的線性采樣變成非線性采樣，將σ改為e^σ2，同樣增大了σ項，可以增大隱變量z的采樣值。

c）降低參數ε采樣的標準差，原來的ε從標準高斯分布中采樣，均值和標準差分別為με=0和σε=1，降低后的標準差為σε=0.05，均值με=0不變，可以使ε采樣更密集。

2.3 數據歸一化

數據輸入模型前對數據進行最大最小歸一化處理，將數據壓縮到［0，1］，數據歸一化可以加快神經網絡的訓練^［28］。

最大最小歸一化為

3 實驗及分析

3.1 數據集

3.1.1 數據集來源

本文使用的三個數據集來自NASA Bearing Data Set^［29］，原始數據包中包含三個數據集，每個數據集描述了一個測試失敗的實驗。每個數據集由單獨的文件組成，這些文件是以特定間隔記錄的1 s振動信號快照；每個文件由20 480個點組成，采樣率設置為20 kHz。本文對其進行了重采樣，整理得到三個數據集，數據集信息如表1所示。

3.1.2 軸承實驗臺介紹

一根軸上安裝了四個軸承，通過摩擦帶將交流電機連接到軸上，使轉速恒定保持在2 000 RPM。通過彈簧機構向軸和軸承施加6 000 lbs的徑向載荷。所有軸承均采用強制潤滑。Rexnord ZA-2115雙列軸承安裝在軸上，如圖9所示。PCB 353B33高靈敏度石英ICP加速計安裝在軸承箱上（數據集2的每個軸承有兩個加速計（x軸和y軸），數據集1和3的每個軸承有一個加速計）；傳感器位置也如圖9所示。

3.1.3 數據集預覽

三個數據集預覽如圖10所示，橫軸表示實驗時間，時間分別為8 d、34 d、31 d，縱軸表示加速度值。數據集1、3有四組值，數據集2有八組值。三個數據集具有不同的數據特征與退化趨勢，數據集的后期均出現了很大的波動直到最終失效，表示軸承退化失效的過程。數據集1前期數據沒有任何異常值，后期數據有較大波動；數據集2前后期均含有異常值，后期（開始退化前）有小幅波動；數據集3前期含有異常值，總體比較平穩。三個數據集的數據特征和退化趨勢各異，更能考驗模型的學習能力與泛化能力。

3.1.4 數據集劃分

對于數據集1，選取不含有異常值的數據（數據集的50%）作為訓練集，訓練集的20%作為驗證集，其余數據作為測試集。對于數據集2、3，選取數據集的80%作為訓練集，訓練集的20%作為驗證集，訓練集和驗證集均含有異常值，其余數據作為測試集。三個數據集的訓練集和驗證集預覽如圖11所示。

3.2 實驗設置

3.2.1 實驗環境

本文實驗軟件、硬件環境如表2所示。

3.2.2 模型設置

a）激活函數。模型激活函數使用修正線性單元（rectified linear unit，ReLU）：

=max（0，Wx+b）（20）

b）優化器。選用Adam^［30］優化器，Adam具有收斂速度快、能夠自適應地調整學習率、對內存需求少等優點。

c）初始化策略。選用Keras深度學習框架中的glorot_uniform初始化方法，其使用的均勻分布的取值是［-limit，limit］，其中unitsin表示輸入神經元的數量，unitsout表示輸出神經元的數量。

其他超參數設置如表3所示。

3.3 實驗及分析

3.3.1 E2E Deep VAE-LSTM實驗

E2E Deep VAE-LSTM模型在三個數據集上的實驗結果如下。

1）模型準確率

如圖12所示，accuracy曲線收斂后，可得模型在三個數據集上的平均訓練、驗證準確率分別為95.81%、94.12%；94.41%、91.99%；94.94%、95.19%。模型在訓練集和驗證集上的準確率較高，說明模型學習到了數據蘊涵的特征，且沒有出現過擬合現象，表明模型具有良好的抗過擬合能力。

2）誤差分布

圖13表示模型在訓練集上的系統重建誤差（采用平均絕對誤差（mean absolute error，MAE））分布情況。該分布表示正常數據的誤差分布，據此可設定模型的誤差閾值，超過閾值的數據將被視為異常數據，三個數據集的閾值分別為t1=0.1，t2=0.05，t3=0.06。

MAE與平均誤差相比，MAE由于離差被絕對值化，不會出現正負抵消的情況，所以MAE能更好地反映預測值誤差的實際情況^［31］。MAE的計算公式為

3）退化預測

模型在三個數據集上的預測結果如圖14所示，其中實線表示模型的重建誤差，虛線表示誤差閾值。模型在三個數據集上都提前預測到了軸承的退化失效，對于三個數據集，模型均可以提前3 d預測到軸承失效。通過監測重建誤差的變化，系統可以通知操作人員及時介入維護，避免因設備突然失效而造成損失。實驗結果證明了E2E Deep VAE-LSTM模型具有良好的泛化能力與滿意的預測精度。另外，從預測結果可以看出，使用系統重建誤差來表征軸承退化趨勢，重建誤差曲線與軸承實際退化曲線很相似，表明E2E Deep VAE-LSTM模型實現了軸承退化的非線性預測，可以更真實地預測軸承退化。

通過改進模型結構并結合VAE逼近采樣的方式，以克服異常值的影響，因此無須進行單獨的去噪處理。三個數據集上的實驗結果證明了E2E Deep VAE-LSTM模型可以在含有異常值的數據集上直接進行訓練和預測。而多數應用研究都是在不含異常值的數據集上進行訓練，需要進行單獨的去噪處理^{［32，33］}、刪除異常值^［34］等操作。在現實場景中，含有異常值的數據更為常見，對于含有異常值的數據進行學習建模具有重要意義。

3.3.2 對比分析

為了進一步驗證E2E Deep VAE-LSTM模型的性能，本文對比了AE、Deep AE、DAE、SDAE、VAE等模型在三個數據集上的表現，并將文獻［17，35，36］提出的三種方法結合系統重建誤差在三個數據集上進行了對比。其中，文獻［17］單獨提取數據特征構建健康指數（health index，HI），再基于HI使用非線性預測框架（nonlinear）預測剩余壽命（remaining useful life，RUL）；文獻［35］先單獨提取時域、時頻域數據特征，再用堆疊自編碼器（stacked autoencoder ，SAE）融合數據特征，最后使用LSTM進行RUL預測；文獻［36］提取多個時域、頻域數據特征作為神經網絡輸入，設計了基于注意力機制的CNN-BiLSTM算法進行退化特征提取。實驗結果如表4、5所示。

從表4可以看出，E2E Deep VAE-LSTM模型在訓練集和驗證集上的準確率都要優于幾種AE類模型，相比于Deep AE，本文模型在三個數據集上的訓練、驗證準確率分別提升了3.5%、2.4%；2.9%、0.6%；2.2%、4.0%。相比于文獻［17，35，36］提出的方法，E2E Deep VAE-LSTM模型同樣具有一定的優勢。從表5可以看出，本文模型在三個數據集上的預測精度均達到了最高。

另外，從對比實驗中還有如下發現：

a）AE、Deep AE在三個數據集上都很容易過擬合，當bottleneck層的unit數達到4左右，模型就會出現過擬合現象，對于Deep AE，則需要引入dropout^［37］正則化策略防止過擬合，才能達到一定的模型性能，且AE與Deep AE的泛化能力較差，在不同數據集上需要選用不同的模型結構。從Deep AE的實驗結果來看，增加模型深度可以有效提升模型性能。

b）DAE、SDAE由于添加了數據噪聲，改變了數據分布特征，不容易發生過擬合。但總體來看，DAE和SDAE比較難達到較高的模型性能（本文中DAE類模型在驗證集上表現均較差），且會花費更大的代價，如系統開銷更大、訓練時間更長。相比于DAE類模型在圖像^{［38，39］}、語音^{［40，41］}等相關領域廣泛的應用，從本文的實驗結果來看，DAE類模型在本文所使用數據類型的應用中不是理想的選擇。DAE類模型由于數據噪聲，會增加模型的訓練時間，并且模型對噪聲因子的選擇比較敏感，過小的噪聲因子難以有效檢驗算法，過大的噪聲因子則會使輸入樣本嚴重失真，降低模型性能^［18］。

c）基于VAE模型進行了探究實驗，結果如圖15所示。圖中2-3表示模型有一層隱變量層和一層解碼層，神經元數分別為2和3，其他表示同理。可以看到，VAE簡單的模型結構就可獲得不錯的模型性能，同時VAE的泛化能力與抗過擬合能力較強，表明VAE模型具有較大的應用潛力與改進空間，因此本文選用VAE模型作為基礎模型來進行改進。從實驗結果來看，本文提出的E2E Deep VAE-LSTM模型驗證了這幾點。

d）基于AE的各類模型的深度一般不會太深，太深的模型意義不大，模型性能并不能得到有效提升甚至還會下降，且容易導致過擬合。

e）本文模型在與文獻［17，35，36］方法的對比實驗中，HI-nonlinear方法時間成本較低，但模型性能不高，雖然是非線性預測，但仍遵循固定的退化公式，相對于真實復雜的RUL退化來說精度較低。SAE-LSTM模型與本文模型相比，結構較簡單，但對于復雜數據集，由于最后預測中仍使用單一LSTM模型，泛化性能并不高。在同樣的實驗設置下，CNN-BiLSTM-AM模型雖然能達到不錯的模型性能和預測結果，但是由于模型結構復雜，訓練時間約為本文模型的3～7倍，經濟效益不高。同時這三種方法均需要額外進行特征工程與異常值處理，需要花費大量時間與人力成本。

綜上，E2E Deep VAE-LSTM模型在抗過擬合能力、泛化能力、預測精度等方面均優于現有的幾種AE類模型及其他幾種方法，并且可以有效節約時間與人力成本，具有很大的應用潛力，可以預見到E2E Deep VAE-LSTM模型在工業設備監測中將會有更廣闊的應用。

4 結束語

本文提出了E2E Deep VAE-LSTM模型，無須額外提取數據特征，可將軸承運行數據直接輸入模型以實現端到端的訓練和預測，E2E Deep VAE-LSTM模型可以實現特征的自動提取。在三個數據特征各異的數據集上的實驗結果表明，E2E Deep VAE-LSTM模型具有強大的自動學習軸承退化特征的能力，同時具有良好的泛化能力與抗過擬合能力，可以得到滿意的預測結果，預測精度均高于現有的幾種AE類模型及其他幾種方法。系統可以提前通知操作人員介入維護，避免設備因零部件失效而造成損失。本文證明了E2E Deep VAE-LSTM模型可以在含有異常值的數據集上直接進行訓練和預測，并且實現了軸承退化的非線性預測，這兩方面在實際場景中有重要意義，可以預見到E2E Deep VAE-LSTM模型在工業設備監測中將會有更廣闊的應用。另外，本文使用全生命周期數據進行研究，但在實際場景中，全生命周期數據通常不易獲得，非全生命周期數據更為常見，因此在接下來的工作中，將會基于非全生命周期數據的設備剩余壽命預測進行研究。

參考文獻：

［1］Qiu Hai，Lee J，Lin Jing，et al.Robust performance degradation assessment methods for enhanced rolling element bearing prognostics［J］.Advanced Engineering Informatics，2003，17（3-4）：127-140.

［2］王奉濤，蘇文勝.滾動軸承故障診斷與壽命預測［M］.北京：科學出版社，2018.（Wang Fengtao，Su Wensheng.Fault diagnosis and life prediction of rolling bearing［M］.Beijing：Science Press，2018.）

［3］Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors［J］.Nature，1986，323（6088）：533-536.

［4］袁非牛，章琳，史勁亭，等.自編碼神經網絡理論及應用綜述［J］.計算機學報，2019，42（1）：203-230.（Yuan Feiniu，Zhang Lin，Shi Jinting，et al.Theories and applications of auto-encoder neural networks：a literature survey［J］.Chinese Journal of Computers，2019，42（1）：203-230.）

［5］薛嫣，朱靜，翟怡萌，等.基于LSTM的風機滾動軸承剩余壽命預測研究［J］.工業控制計算機，2020，33（6）：108-110.（Xue Yan，Zhu Jing，Zhai Yimeng，et al.Research on RUL of rolling bearings based on long short term memory［J］.Industrial Control Computer，2020，33（6）：108-110.）

［6］Li Jimeng，Yao Xifeng，Wang Xiangdong，et al.Multiscale local features learning based on BP neural network for rolling bearing intelligent fault diagnosis［J］.Measurement，2020，153（3）：107419.

［7］Zhang Yuyan，Gao Liang，Li Xinyu，et al.A novel data-driven fault diagnosis method based on deep learning［C］//Proc of International Conference on Data Mining and Big Data.Cham：Springer，2017：442-452.

［8］Lu Chen，Wang Zhenya，Qin Weili，et al.Fault diagnosis of rotary machinery components using a stacked denoising autoencoder-based health state identification［J］.Signal Processing，2017，130（1）：377-388.

［9］Yu Jianbo.A selective deep stacked denoising autoencoders ensemble with negative correlation learning for gearbox fault diagnosis［J］.Computers in Industry，2019，108（6）：62-72.

［10］Zhao Dongfang，Liu Shunlin，Gu Dan，et al.Enhanced data-driven fault diagnosis for machines with small and unbalanced data based on variational auto-encoder［J］.Measurement Science and Techno-logy，2020，31（3）：035004.

［11］郭慧娟.基于異常檢測算法的滾動軸承性能退化評估［D］.南昌：華東交通大學，2018.（Guo Huijuan.Rolling bearing performance degradation assessment based on anomaly detection algorithm［D］.Nanchang：East China Jiaotong University，2018.）

［12］Tian Zhigang.An artificial neural network method for remaining useful life prediction of equipment subject to condition monitoring［J］.Journal of Intelligent Manufacturing，2012，23（2）：227-237.

［13］Babu G S，Zhao Peilin，Li Xiaoli.Deep convolutional neural network based regression approach for estimation of remaining useful life［C］//Proc of International Conference on Database Systems for Advanced Applications.Cham：Springer，2016：214-228.

［14］Ren Lei，Sun Yaqing，Cui Jin，et al.Bearing remaining useful life prediction based on deep autoencoder and deep neural networks［J］.Journal of Manufacturing Systems，2018，48（7）：71-77.

［15］Yao Dechen，Li Boyang，Liu Hengchang，et al.Remaining useful life prediction of roller bearings based on improved 1D-CNN and simple recurrent unit［J］.Measurement，2021，175（4）：109166.

［16］Yin Shen，Zhu Xiangping.Intelligent particle filter and its application to fault detection of nonlinear system［J］.IEEE Trans on Industrial Electronics，2015，62（6）：3852-3861.

［17］Yang Feng，Habibullah M S，Shen Yan.Remaining useful life prediction of induction motors using nonlinear degradation of health index［J］.Mechanical Systems and Signal Processing，2021，148（2）：107183.

［18］來杰，王曉丹，向前，等.自編碼器及其應用綜述［J］.通信學報，2021，42（9）：218-230.（Lai Jie，Wang Xiaodan，Xiang Qian，et al.Review on autoencoder and its application［J］.Journal on Communications，2021，42（9）：218-230.）

［19］Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks［J］.Science，2006，313（5786）：504-507.

［20］Schlkopf B，Platt J，Hofmann T.Greedy layer-wise training of deep networks［C］//Proc of the 19th International Conference on Neural Information Processing Systems.Cambridge，MA：MIT Press，2006：153-160.

［21］Vincent P，Larochelle H，Bengio Y，et al.Extracting and composing robust features with denoising autoencoders［C］//Proc of the 25th International Conference on Machine Learning.2008：1096-1103.

［22］Vincent P，Larochelle H，Lajoie I，et al.Stacked denoising autoenco-ders：learning useful representations in a deep network with a local denoising criterion［J］.Journal of Machine Learning Research，2010，11（12）：3371-3408.

［23］Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18（7）：1527-1554.

［24］Kingma D P，Welling M.Auto-encoding variational Bayes［EB/OL］.（2014-05-01）.https：//arxiv.org/pdf/1312.6114.pdf.

［25］胡銘菲，左信，劉建偉.深度生成模型綜述［J］.自動化學報，2022，48（1）：40-74.（Hu Mingfei，Zuo Xin，Liu Jianwei.Survey on deep generative model［J］.Acta Automatica Sinica，2022，48（1）：40-74.）

［26］Hochreiter S，Schmidhuber J.Long short-term memory［J］.Neural Computation，1997，9（8）：1735-1780.

［27］Hundman K，Constantinou V，Laporte C，et al.Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2018：384-395.

［28］Andrew N.Gradient descent in practice I-feature scaling［EB/OL］.（2016-03-31）.https：//www.cnblogs.com/Answer1215/p/13546179.html.

［29］Lee J，Qiu H，Yu G，et al.Bearing dataset：NASA Ames prognostics data repository［DB/OL］.（2017-08-20）.http：//ti.arc.nasa.gov/project/prognostic-data-repository.

［30］Kingma D，Ba J.Adam：a method for stochastic optimization［EB/OL］.（2017-01-30）.https：//arxiv.org/pdf/1412.6980.pdf.

［31］茆詩松，程依明，濮曉龍.概率論與數理統計教程［M］.北京：高等教育出版社，2004.（Mao Shisong，Cheng Yiming，Pu Xiaolong.Probability theory and mathematical statistics course［M］.Beijing：Higher Education Press，2004.）

［32］王典.基于LSTM參數動態更新的滾動軸承剩余壽命預測［J］.機電工程技術，2021，50（5）：25-28.（Wang Dian.Residual life prediction of rolling bearing based on dynamic updating of LSTM parameters［J］.Mechanical amp; Electrical Engineering Technology，2021，50（5）：25-28.）

［33］Shi Huaitao，Guo Jin，Yuan Zhe，et al.Incipient fault detection of rol-ling element bearings based on deep EMD-PCA algorithm［J］.Shock and Vibration，2020，2020：article ID 8871433.

［34］Yang Yinghua，Yao Dandan，Liu Xiaozhi.Remaining useful life prediction based on stacked sparse autoencoder and echo state network［C］//Proc of the 39th Chinese Control Conference.Piscataway，NJ：IEEE Press，2020：5922-5926.

［35］Han Tian，Pang Jiachen，Tan A C.Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network［J］.Journal of Manufacturing Systems，2021，61（10）：576-591.

［36］趙廣謙，姜培剛，林天然.基于CNN-BiLSTM網絡及注意力機制的智能滾動軸承剩余壽命預測方法［J］.機電工程，2021，38（10）：1253-1260.（Zhao Guangqian，Jiang Peigang，Lin Tianran.Remaining life prediction of rolling bearing based on CNN-BiLSTM model with attention mechanism［J］.Mechanical amp; Electrical Engineering Magazine，2021，38（10）：1253-1260.）

［37］Srivastava N，Hinton G E，Krizhevsky A，et al.Dropout：a simple way to prevent neural networks from overfitting［J］.Journal of Machine Learning Research，2014，15（56）：1929-1958.

［38］張一飛，陳忠，張峰，等.基于棧式去噪自編碼器的遙感圖像分類［J］.計算機應用，2016，36（S2）：171-174，188.（Zhang Yifei，Chen Zhong，Zhang Feng，et al.Remote sensing image classification based on stacked denoising autoencoder［J］.Journal of Computer Applications，2016，36（S2）：171-174，188.）

［39］Larrazabal A J，Martínez C，Glocker B，et al.Post-DAE：anatomically plausible segmentation via post-processing with denoising autoencoders［J］.IEEE Trans on Medical Imaging，2020，39（12）：3813-3820.

［40］Badi A，Park S，Han D K，et al.Correlation distance skip connection denoising autoencoder （CDSK-DAE） for speech feature enhancement［J］.Applied Acoustics，2020，163（6）：107213.

［41］Lu Xugang，Tsao Y，Matsuda S，et al.Speech enhancement based on deep denoising autoencoder［C］//Proc of InterSpeech.2013：436-440.