Bi?LSTM神經網絡用于軸承剩余使用壽命預測研究

申彥斌　張小麗　夏勇　楊吉　陳雙達

摘要： 為有效獲得軸承退化過程，設計一種改進損失函數的卷積自編碼器（Convolutional Autoencode），使其可從多傳感器采集的振動信號中提取軸承健康狀態，避免了局部信息的丟失，同時得到了更深層次的故障特征。提出了一種基于雙向長短時記憶網絡（Bi?directional LSTM）的循環神經網絡結構，利用其對時間序列數據的處理能力，學習軸承在實際工作過程中的退化規律，實現對軸承的剩余使用壽命預測。此外，為進一步提升模型的預測準確率及泛化能力，設計接收隨機長度樣本的Bi?LSTM網絡進行訓練，使得模型接收連續數據而不是分段的數據。最后，使用NASA的IMS數據集進行了驗證和對比試驗，得出本文所構建的CE?Bi?LSTM軸承健康預測模型相較于其他方法具有更準確的預測能力。

關鍵詞： 故障診斷; 滾動軸承; Bi?LSTM網絡; 多傳感器樣本; 變長度輸入

中圖分類號： TH165+.3; TH133.33; TN911.7 ? ?文獻標志碼： A ? ?文章編號： 1004-4523（2021）02-0411-10

DOI：10.16385/j.cnki.issn.1004-4523.2021.02.022

引 ?言

滾動軸承是旋轉機械中最關鍵的部件之一，機械設備在經過長時間、高強度的運行后，其內部軸承極容易發生損壞[1]。在運行過程中軸承會承受各種機械應力和熱應力，超過40%的電動機故障與軸承故障有關[2]。軸承的失效在工程實踐中可能造成巨大的生產損失和人員傷亡，因此，為控制機械設備的故障風險，有效提高旋轉機械設備正常運行的持續性、可靠性、可維護性，保證作業安全，降低運營維護成本，有必要深入研究滾動軸承的狀態監測和故障預測方法。若提前發現并排除潛在故障，既能保障設備安全、可靠、高效地工作，又可以避免出現突發事故，減少人力財力損失。因此，對軸承進行準確的故障檢測和剩余使用壽命預測對降低設備維護成本和減少停機時間具有重大意義[3]。特別地，基于當前設備健康狀態實時預測其性能退化情況在如今的制造業已發展成為一個活躍的研究領域[4]。近年來，涉及機械故障預測的相關研究層出不窮，主要研究方向為基于物理模型和基于數據驅動的健康預測[5]。基于物理模型的方法在很大程度上依賴于物理系統領域的專業知識，模型通常表現出較弱的泛化能力[6]。而基于數據驅動的預測方法由于其較強的適應能力近幾年來被廣泛應用[7]。機器學習作為典型的數據驅動方法，根據實時、歷史數據和關系型數據，構造出近似模型來逼近真實情況，建立預測模型。在此基礎上，Wu等[8]提出了一種基于自回歸滑動平均法（ARIMA）的旋轉機械振動特性趨勢分析方法。為提高預測精度，Liu等[9]提出了利用二次規劃來提升魯棒性。此外，Wu等[10]利用了隨機森林回歸方法來預測銑削過程中的刀具磨損。隨著現代計算能力的快速提升，計算效率的提高，深度學習方法因其在復雜系統中強大的學習能力，已成為預測領域的新興研究課題之一[11]。在生物大腦結構的啟發下，深度學習成為一種在深層結構中自動學習數據特征的監督/非監督機器學習技術。深度學習在大多數情況下，利用振動信號來監測滾動軸承的健康狀況，因為信號中包含了故障發生的重要信息[12]。Hasani等[13]提出了一種基于自動編碼器的預測方法，用于準確識別軸承退化起始點。Wang等[14]提出了一種基于深度置信網絡（DBN）的拋光材料去除率預測方法。Liao等[15]提出了一種含有正則化項的玻爾茲曼機（RBM）來預測機器剩余使用壽命。Wang等[16]將卷積神經網絡（CNN）用于從時頻譜中學習特征，從而對故障自動識別。然而，以上文獻所介紹方法對滾動軸承進行健康狀態及剩余壽命預測至少還存在以下問題需要解決：1）從軸承原始振動信號有效地提取健康特征量是進行后續健康狀態及壽命預測的關鍵步驟[17]，目前廣泛使用的方法是通過降維將多個時頻域統計特征融合為一個統一的健康特征量，這種策略的目的在于去除多余的特征量，并獲取便于識別的低復雜度健康狀況信息[18]，實現數據的可視化。然而軸承在出現一些故障之前，經常難以獲得統計特征有價值的極值;2）在預測過程中，由于支持向量回歸（SVR）等機器學習方法和DBN，CNN等神經網絡模型只能學習到單一時刻的振動信號規律，無法發現多個時間序列數據中有用的特征和相關性。

循環神經網絡（RNN）主要用途為處理和預測時序數據，已被應用于預測軸承的健康狀況[19]。受先前研究的啟發，本文采用RNN的一個重要結構——長短時記憶網絡（LSTM），利用其長期記憶的特性來捕捉時間序列數據中的相互關系，獲得更好的預測準確率。相較于標準的RNN，長短時記憶網絡使用歷史信息來幫助當前決策，可以有效克服訓練過程中“長期依賴”的問題。Zhang等[20]將“波形熵”作為軸承健康指標輸入到LSTM中用于預測其剩余使用壽命。Li等[21]設計了一種基于核主成分分析（KPCA）的改進軸承健康指標，并堆疊多層循環神經網絡進行健康預測。為更進一步提取原始振動信號中的故障信息，接收多個傳感器時序信號輸入，本文利用卷積自編碼器（Convolutional Autoencode）提取軸承健康狀態的同時還原輸入信號，并設計可變長度輸入的雙向長短時記憶網絡（Bi?directional LSTM），采取預測?還原逐步迭代的方法形成CE?Bi?LSTM預測模型，充分學習軸承振動信號時序特征，使得模型的泛化性大大提升。

1 CE?Bi?LSTM模型及預測方法

針對由滾動軸承損壞所導致的試驗裝備故障以及工程實際裝備故障，本文提出的CE?Bi?LSTM預測過程主要經歷由基于改進卷積自編碼器網絡的軸承退化特征提取和基于RNN網絡Bi?directional LSTM模型的軸承健康狀態預測兩個步驟。其中，前者利用滾動軸承壽命周期內的原始數據生成健康狀態特征曲線，后者通過訓練Bi?directional LSTM來預測未來軸承健康狀態。

1.1 健康狀態特征量提取

1.1.1 卷積自編碼器退化特征提取

提取滾動軸承退化特征的傳統方法主要是對軸承振動信號做頻譜分析，一般在時域內、頻域內以及時頻域內提取各種統計量作為特征，表1為時頻域常用特征統計特征量。然而，這些統計量各自具有不同的范圍，在特征提取過程中各個量之間的權重關系也不得而知[22]。在傳統滾動軸承故障診斷模型中，其診斷效果往往會受到大量隨機噪聲的干擾[23]，鑒于滾動軸承原始振動數據通常具有較高的維度和深層次的非線性分布規律[24]，本文利用深度卷積自編碼器對原始數據進行降維特征提取，由于被迫的降維，自編碼器會自動習得訓練樣本的特征。

2 試驗驗證及方法對比

本節內容將該方法應用于經典滾動軸承數據集中，驗證方法在故障預測中的有效性。并將所提出的模型與已有方法進行了比較，驗證其性能是否得到改善。

2.1 數據集介紹及樣本生成

為驗證本文所提方法的有效性，本次驗證使用辛辛那提大學智能維護系統中心（IMS）的開放實驗數據設計訓練樣本。如圖6所示，本實驗平臺使用4個Rexnord Za?2115雙列軸承進行了軸承退化試驗。通過彈簧機構將6000 lb（2721.55422 kg）的徑向載荷施加在軸和軸承上，在每個軸承的外殼上安裝了兩個加速度傳感器，一個測垂直方向振動信號，另一個測水平方向振動信號。所有故障都是在超過設計壽命后發生的，軸承在發生故障時已經運行了1億轉。實驗過程中每隔10 min測量一次振動信號，主軸轉速恒定在2000 r/min，采樣頻率為20 kHz，每個樣本包含20480個數據點。軸承從健康到損壞一共采樣2156次，其中軸承4發生滾動體損壞，故采用軸承4振動信號進行模型有效性的驗證，圖7為軸承4生命周期內沿水平和垂直方向采集的原始振動信號。

2.2 網絡訓練及驗證結果

2.2.1 模型構建

深度學習方法的網絡結構設計對網絡的性能有很大的影響，過多的隱層和隱單元可以改善預測結果，但也會使模型過于復雜，計算量增加。然而，目前還沒有成熟的理論基礎來有效地選取這些超參數[32]。本次模型構建經反復嘗試對比來搜索最優超參數。卷積自編碼器的最終參數選擇如下：卷積及池化層數為2，各層卷積核數目分別為32和64，核寬度為10，批量大小為30，訓練輪數為2000，損失函數中λ=0.2，η=0.01，ζ=100。

對于bi?directional LSTM，采用兩層堆疊的方式，由于單時間步輸入為二維數據，故先經一層單核卷積運算得到長度為1024的一維數據，則LSTM隱藏層節點個數同樣為1024。網絡單次訓練批量大小設為為20，訓練輪數設為500。

將Sigmoid函數作為全連接層激活函數，因此生成健康狀態值范圍保持在0到1之間。同時，采用自適應學習率算法（AdaGrad）對所有網絡進行訓練，免去了對學習速率參數的選取。網絡待訓練參數以隨機高斯分布初始化，平均值為0，標準差為0.1。根據文獻[33]設置bi?directional LSTM訓練時輸入數據的長度損失β=0.5。

2.2.2 結果分析

首先，利用上節所構造卷積自編碼器對已有訓練數據集X_life=[x_1，x_2，…，x_2156]進行訓練，經預設輪數訓練后，再將原始時序數據輸入網絡中提取健康特征量后做平滑處理。圖8為軸承所提取到一維健康特征隨時間退化曲線F_life=[f_1，f_2，…，f_2156]。由圖可知，軸承退化過程中，其健康狀態量在各個時間段內都表現出局部不同的規律，整個運行退化過程可分為三個階段，在Ⅰ階段試驗剛開始進行，軸承健康狀態特征量較小且隨時間變化非常平穩;在Ⅱ階段，軸承處于健康運行狀態，在局部有不合理突起，代表軸承在運行過程中因突發狀況而產生的無效數據點，由于循環神經網絡學習到的是時序數據的整體趨勢，這類數據點并影響不到模型性能;而在Ⅲ階段，健康特征量波動幅度加大，同時由于式（9）加入損失函數，使得軸承健康特征曲線整體變化趨勢具有全局的單調性，從而符合實際工況先驗知識以便于后續bi?directional LSTM網絡的預測。

很明顯，直觀上僅從少量已有健康特征量還難以得出軸承運行狀態的準確預測。接下來，利用2.1生成的數據集對1.3節所提bi?directional LSTM模型做訓練，經預設訓練輪數后，如圖9所示，網絡代價函數值趨近于0，證明模型有效地學習到了原始數據基于時序的分布規律。圖10為測試樣本在bi?directional LSTM模型上單次迭代的未來健康狀態預測表現，顯然，曲線被較好地進行了擬合，即本節所提出的方法能夠很好地學習到軸承的退化趨勢。另外，得益于LSTM網絡結構結合所有歷史信息對未來做預測的特點，可以看出局部某些較大的數值波動并不會影響到模型對整個軸承退化趨勢的學習效果。

而對于軸承剩余使用壽命的預測，則根據本文 提出模型的方法，需要進行多次迭代輸入，在每一次迭代中，前一次預測的最后一次輸出附加在當前輸入的末尾，當前迭代的最后輸出等于或大于預設閾值時，預測結束，軸承壽命利用總迭代次數結合預測時間步滯后值計算得出。圖11顯示了利用不同時刻測試數據對軸承做剩余壽命預測的結果，通過將預測的退化趨勢與實際的退化曲線進行比較，可以發現使用愈早期的數據進行預測，預測誤差愈大。當取時間步100附近的測試數據進行預測時，模型無法感知到軸承在之后具有損壞趨勢，因此不能對其壽命做有意義的評估;而測試數據取自120附近時間步時，模型顯示出良好的退化趨勢預測能力;進一步當測試數據取自145左右時，軸承剩余壽命的評估誤差將進一步減小。可以看出，本文所提模型對軸承的故障發生以及使用壽命可以做到有效的預測評估。

2.3 方法對比驗證

為驗證本文所提方法的有效性和優越性，本節利用其他方法與其做對比實驗。具體包括：1）人工提取振動信號將時頻域特征輸入至與提出算法相同的網絡結構（Bi?LSTM）;2）支持向量回歸（SVR）方法;3）深度卷積神經網絡（DCNN）模型;4）卷積自編碼器提取特征輸入單向長短時記憶網絡（LSTM）模型。其中，方法（1）在原始數據各時段中提取表1中所列出的10個統計特征量作為輸入樣本;方法（2）采用徑向基核函數使SVR模型具有非線性擬合能力;方法（3）構造三個卷積層（池化層）的卷積神經網絡模型，每層以ReLU函數作為其激活函數;方法（4）采用與本文提出的模型相同的網絡結構，Bi?LSTM結構單元由基本LSTM結構單元替換。所有網絡待訓練參數以相同的分布初始化，每種方法取相同時間段測試數據分別重復20次，以20次預測結果的均方誤差作為衡量各種方法優劣的量化指標，其對比結果如表2所示。可以看出，文中所提出的CE?Bi?LSTM模型明顯優于其他方法。

3 結 ?論

針對滾動軸承剩余使用壽命評估方法，本文提出的CE?Bi?LSTM預測模型，充分利用了卷積自編碼器提取多維數據內在分布特征的能力和LSTM學習時序數據隨時間變化規律的能力。同時，對其網絡結構和數據輸入方式進行改進。為處理設備因實際工況干擾帶來的數據不確定性問題，模型輸入采用多傳感器采集的多通道數據、并且設計不定長度輸入的bi?directional LSTM網絡結構。通過改進卷積自編碼器損失函數，使其提取到的特征量既保留了數據內在分布特征，又加入“軸承沿時間方向逐漸退化”的先驗知識，有效提升了模型的魯棒性。相較于其他方法，CE?Bi?LSTM通過逐步迭代輸入的方式不僅可以對軸承剩余使用壽命做評估，還可對其后續任意時刻運行狀態進行預測。

本文采用開放實驗數據對模型有效性進行驗證，并對結果進行分析。可以看出，利用本文提出的模型預測軸承健康以及剩余使用壽命，其誤差保持在可接受范圍內，這在機械設備運轉中可以提供有效的維護策略和指導。此外，軸承故障閾值的確定和一些神經網絡的結構參數調整在故障預測問題上還是具有挑戰性和研究意義的。因此，今后還將對這些問題進行更多的研究。

參 考 文 獻：

[1] Tian Y，Ma J，Lu C.Rolling bearing fault diagnosis under variable conditions using LMD-SVD and extreme learning machine[J].Mechan. Mach. Theory，2015，90：175-186

[2] Zarei J，Poshta J.Bearing fault detection using wavelet packet transform of induction motor stator current[J].Tribol. Int.， 2007，40（5）： 763-769

[3] Meng Z，Zhan X，Li J.An enhancement denoising autoencoder for rolling bearing fault diagnosis[J]，Measurement， 2018， 130： 448-454.

[4] Wu D，Liu S，Zhang L，et al.A fog computing-based framework for process monitoring and prognosis in cyber-manufacturing[J].Manuf. Syst.， 2017，43：25-34

[5] Qian Y N，Yan R Q，Gao R X.A multi-time scale approach to remaining useful life prediction in rolling bearing[J].Mechan. Syst. Signal Process，2016， 83： 549-567.

[6] Shao H D，Jiang H K，Li X Q.Rolling bearing fault detection using continuous deep belief network with locally linear embedding[J].Comput. Ind.， 2018， 96： 27-39.

[7] Liu J，Wang W，Ma F.A data-model-fusion prognostic framework for dynamic system state forecasting[J].Eng.Appl. Artif. Intell.， 2012， 25： 814-823

[8] Wu W，Hu J，Zhang J.Prognostics of machine health condition using an improved ARIMA-based prediction method[C].ICIEA 2007， Second IEEE Conf. Ind. Electron. Appl.， 2007： 1062-1067.

[9] Liu K，Gebraeel N Z，Shi J.A data-level fusion model for developing composite health indices for degradation modeling and prognostic analysis[J].IEEE Trans. Autom. Sci. Eng.， 2013，10（3）： 652-664.

[10] Wu D，Jennings C，Terpenny J. A comparative study on machine learning algorithms for smart manufacturing：Tool wear prediction using random forests[J].Manuf. Sci. Eng.， 2017， 139（7）： 71018.

[11] Ma M，Sun C，Chen X.Discriminative deep belief networks with ant colony optimization for health status assessment of machine[J].IEEE Trans. Instrum. Meas.， 2017， 66（12）： 1-11.

[12] Zheng J D，Cheng J S，Yang Y，et al.A rolling bearing fault diagnosis method based on multi-scale fuzzy entropy and variable predictive model-based class discrimination[J].Mechan. Mach. Theory， 2014， 78（16）： 187-200

[13] Hasani R M，Wang G，Grosu R.An automated auto-encoder correlation-based health monitoring and prognostic method for machine bearing[J]. arXiv： 1703.06272， 2017.

[14] Wang P，Gao R X，Yan R.A deep learning-based approach to material removal rate prediction in polishing[J].CIRP Ann. Manuf. Technol.， 2017，66（1）： 429-432.

[15] Liao L，Jin W，Pavel R.Enhanced restricted Boltzmann machine with prognosability regularization for prognostics and health assessment[J].IEEE Trans. Ind. Electron， 2016，63（11）： 7076-7083.

[16] Wang P，Ananya，Yan R，et al.Virtualization and deep recognition for system fault classification[J].J. Manuf. Syst.， 2017， 44（2）： 310-316.

[17] Yu J B.Bearing performance degradation assessment using locality preserving projections and Gaussian mixture models[J]. Expert Syst.Appl.， 2011， 38（6）： 7440-7450.

[18] Kang S Q，Ma D Y，Wang Y J，et al.Method of assessing the state of a rolling bearing based on the relative compensation distance of multiple-domain features and locally linear embedding[J].Mechan.Syst.Signal Processing， 2017， 86（part A）： 40-57.

[19] 趙建鵬，周俊. 基于長短時記憶網絡的旋轉機械狀態預測研究[J]. 噪聲與振動控制， 2017， 37（4）： 155-159.

ZHAO Jianpeng， ZHOU Jun. State prognosis of rotary machines based on long/short term memory recurrent neural network[J]. Noise and Vibration Control， 2017， 37（4）： 155-159.

[20] Zhang B，Zhang S H，Li W H. Bearing performance degradation assessment using long short-term memory recurrent network[J].Computers in Industry， 2019， 106： 14-29.

[21] Li X Q，Jiang H K，Xiong X，et al. Rolling bearing health prognosis using a modified health index based hierarchical gated recurrent unit network[J].Mechanism and Machine Theory， 2019， 133： 229-249.

[22] Lei Y.Intelligent Fault Diagnosis and Remaining Useful Life Prediction of Rotating Machinery[M]. Xi'an： Xi'an Jiaotong University Press， 2016.

[23] Guo L，Li N P，Jia F，et al.A recurrent neural network based health indicator for remaining useful life prediction of bearings[J].Neurocomputing， 2017， 240： 98-109.

[24] Kan M S， Mathew J.A review on prognostic techniques for non-stationary and non-linear rotating systems[J].Mechan. Syst. Signal Processing， 2015， 62-63： 1-20.

[25] Shao H D， Jiang H K， Li X Q.Rolling bearing fault detection using continuous deep belief network with locally linear embedding[J].Comput. Ind.， 2018， 96： 27-39.

[26] Mahamad A K， Saon S， Hiyama T. Predicting remaining useful life of rotating machinery based artificial neural network[J].Comp. Math. Appl.， 2010， 60（4）： 1078-1087.

[27] Lipton Z C， Berkowitz J， Elkan C. A critical review of recurrent neural networks for sequence learning[J]. arXiv：1506.00019，2015.

[28] Hochreiter S，Schmidhuber J J. Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[29] Bottou L.Large-scale machine learning with stochastic gradient descent[C].Proc. COMPSTAT，2010：177-186.

[30] Greff K， Srivastava R K， Koutnik J， et al. LSTM：A search space odyssey[J].IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（10）： 2222-2232.

[31] Hinton G E. Learning multiple layers of representation[J].Trends Cogn. Sci.， 2007， 11（10）： 428-434.

[32] Shao H D， Zhao H W， Jiang H K， et al. An enhancement deep feature fusion method for rotating machinery fault diagnosis[J].Knowl.-Base.Syst.， 2016， 119： 200-220.

[33] Liu H，Zhou J Z， Zheng Y， et al. Fault diagnosis of rolling bearings with recurrent neural network based autoencoders[J].ISA Transactions， 2018， 77： 167-178.

Bi?LSTM neural network for remaining useful life prediction of bearings

SHEN Yan-bin， ZHANG Xiao-li， XIA Yong， YANG Ji， CHEN Shuang-da

（The Ministry of Education Key Laboratory of Road Construction Technology and Equipment，

School of Construction Machinery， Chang'an University， Xi'an 710064， China）

Abstract： Rolling bearing is a key part of rotating machine and its healthy condition is of significance on safety in production. The prediction for operating condition and residual lifetime of the rolling bearing is one of main challenges in intelligent diagnosis field. In order to attain the whole process of rolling bearing degradation， a method of Convolution Autoencode with improved loss function is proposed in this paper. The proposed method can obtain the condition of rolling bearing from vibration signals collected by multi-sensors avoiding the loss of local information as well as achieving fault character in deeper layer. Then a cyclic neural network structure based on bi-directional long and short time memory （Bi?LSTM） is suggested in this paper to learn the principle of rolling bearing degradation in practical work by means of its ability to process the time series data， which realizes the residual lifetime prediction of the rolling bearing. In addition， with the aim of improving the prediction accuracy and ability to be used widely of model， the Bi?LSTM network is trained by receiving the sample with random length to make the model accept continuous data instead of segmented data. Finally， the IMS data set from NASA is utilized to operate experiment and comparative test. The result shows that the proposed prediction model of rolling bearing lifetime based on CE-Bi?LSTM exhibits higher precision than that of other methods.

Key words： fault diagnosis; rolling bearing; Bi-LSTM network; multi-sensor sample; variant length input

作者簡介： 申彥斌（1995-），男，碩士研究生。E-mail：shen18710939565@qq.com

通訊作者： 張小麗（1983-），女，博士，副教授，碩士生導師。E-mail：lilyzhang@chd.edu.cn