基于LSTM參數動態更新的滾動軸承剩余壽命預測

王 典

（西安工程大學機電工程學院，西安 710600）

0 引言

設備的失效或故障會帶來極大的安全隱患，對設備剩余使用壽命的預測和提前維護是非常有必要的［1-2］。基于深度學習的方法是RUL預測中最流行的方法之一［3］。

堆疊自動編碼器作為傳統的深度學習方法，能夠提取到更加精確的特征，但是由于剩余壽命預測的時間相關性特點，AE方法無法提取到時序數據的時間相關性特征［4-5］，因此后來人們提出循環神經網絡模型（RNN）。RNN能夠建立數據之間的時間相關性關系，但其記憶能力有限，存在梯度消失的問題［6］。長短期記憶神經網絡（LSTM）應運而生，其在保持RNN網絡結構的基礎上重新設計了計算節點，使其能夠記住較長時間之前的信息，在語音識別等領域效果顯著［7-8］。然而LSTM在設備RUL預測上的應用是極少的，如何利用非全生命周期數據，以及如何利用LSTM的優勢對這類數據建立有效的RUL預測模型是非常重要的問題［9-10］。

本文以網絡參數優化為目標，提出了一種基于代價最小化的參數，實時更新LSTM預測模型，能夠利用非全生命周期數據建立RUL預測模型，并隨著設備運行利用采集到的數據對已建立的模型參數進行逐步優化更新。通過仿真實驗驗證了所提出的實時更新LSTM模型在小樣本的時間序列預測中具有很強的適用性和更高的準確性。

1 LSTM預測模型

LSTM是一種用于時間序列分析的RNN網絡，其在RNN的基礎上引入了判斷信息是否符合要求的門限結構來控制信息的累積速度——輸入門、遺忘門、輸出門，其核心是一個Sigmoid神經網絡層和一個Pointwise乘法操作。Sigmoid層的輸出在0～1，0為不允許任何量通過，1為允許任意量通過。借助這種結構對新信息進行記憶和更新，從而解決長期依賴的問題。LSTM單元結構如圖1所示，每一個LSTM的神經單元是由細胞狀態即長期狀態和短期狀態、輸入門、遺忘門、輸出門所組成。

圖1 LSTM單元結構

所謂的細胞狀態，可以將其理解為一個存儲信息的容器，通過輸入門、遺忘門、輸出門的過程控制，逐步對容器中的信息進行增減變化和輸出。在每一個神經單元中，細胞狀態經歷了遺忘門的遺忘過程，輸入門的輸入過程以及向輸出門進行輸出信息的過程。

LSTM的網絡訓練過程描述如下。

步驟1：進行訓練數據預處理（歸一化等操作）。

步驟2：初始化網絡的權重偏置參數以及網絡的超參。

步驟3：LSTM的前向運算過程，得到LSTM的預測值。

步驟4：求出預測值與實際值之間誤差（常見有均方誤差等）。

步驟5：判斷是否達到誤差閾值或最大迭代次數，是則退出訓練，否則利用BPTT算法進行網絡參數的更新，然后轉向步驟3循環進行，直到滿足條件，退出循環。LSTM工作流程如圖2所示。

圖2 LSTM訓練流程

2 參數實時更新的LSTM預測模型

本文從實際問題出發，在只有少量的非全生命周期樣本下建立模型。首先采用離散小波變換對已知滾動軸承振動數據進行去噪并提取時頻域特征完成LSTM的訓練與測試，然后利用在線監測數據得出該時刻相應的預測值，下一時刻新的數據來時即可作為該預測值的真實值，將求出的預測值與真實值的誤差加入樣本整體誤差中對模型參數進行迭代更新，通過這樣循環更新參數。

假設實際時間序列為X（x1，x2，x3，…，xn），改進后的LSTM步驟如下。

步驟1：將X（x1，x2，x3，…，xn）擴維成X，其中n為時間序列長度，k為樣本維度，樣本個數為n-k+1，訓練數據的標簽為y= （xk，xk+1，…，xn）。

步驟2：初始化網絡參數，例如遺忘門的權重Wf和偏置bf，同理還有輸入門、輸出門等。設置誤差閾值Error_Cost，最大迭代次數Max_iter等超參。

步驟3：計算t時刻需要從t-1時刻的細胞狀態遺忘的哪些信息。首先計算遺忘門的輸出ft=σ（Wf·［ht-1，xt］+bf），然后將遺忘門的輸出與t-1時的細胞狀態進行乘法操作ft·Ct-1。

步驟4：計算t時刻哪些輸入信息可以留在t時刻的細胞狀態中。一是輸入門的輸出it=σ（Wi·［ht-1，xt］+bi）；二是用tanh層創建一個新的候選值相量=tanh（WC·［ht-1，xt］+bC），然后將輸入門的輸出與候選值相量進行乘法操作it·。

步驟5：計算t時刻的細胞狀態Ct，是由遺忘門和輸入門對細胞狀態共同作用的結果Ct=ft·Ct-1+it·。

步驟6：計算t時刻的網絡輸出。首先計算輸出門的輸出ot=σ（Wo·［ht-1，xt］+bo），然后得到當前時刻的輸出，即預測值ht=ot·tanh（Ct）。

步驟7：計算樣本整體誤差并判斷是否達到誤差閾值或最大迭代次數，是則退出訓練，否則利用BPTT算法進行網絡參數的更新。

步驟8：新樣本Xn+1（xn-k+2，…，xn+1）與θ0進行步驟3～6所示LSTM的前向運算得到hn+1，利用該網絡得出新樣本的預測值hn+1，當采集到數據Xn+2（xn-k+3，…，xn+2）時，即可將xn+2作為預測值hn+1的真實值標簽，計算總體誤差error=error+（hn+1-xn+2）2。再利用BPTT算法將模型參數更新為θ1=（Wf-λ·ΔWf，…，bf-λ·Δbf），其中λ為學習率，ΔWf和Δbf分別為各層神經元權值和偏置的梯度矩陣和向量。由于加入新數據時參數初始化即為歷史數據的最優點附近，故達到新數據更優的全局最優解只需幾步的更新。

步驟9：當下一時刻的預測值達到故障點時即發出故障預警，及時做出反應，防止更大的損失甚至安全事故發生。

其中，xt、ht分別為t時刻網絡的輸入和輸出；W和b分別為輸入門、輸出門、遺忘門和細胞狀態的權重矩陣和偏置；σ為Sigmoid函數；φ為tanh函數。

最后通過BPTT算法進行誤差計算和梯度計算得到LSTM模型的優化參數。

改進LSTM流程如圖3所示。

圖3 壽命預測模型框架結構

3 實驗分析

本文搭建基于代價最小化的參數實時更新LSTM預測模型，通過小波降噪與時頻域特征提取，最大程度地保留了原始信號中包含的滾動軸承退化信息，并充分利用LSTM網絡處理時間序列數據的優勢，提高了壽命預測精度。

3.1 實驗數據處理

本文實驗數據采用美國辛辛那提大學軸承實驗室試驗數據，其采樣頻率20 kHz，每隔10 min采集1個實驗樣本。滾動軸承運行前中期較為穩定，其振動數據也處于相對平穩狀態，因此本文對滾動軸承磨損前中期不予分析。

滾動軸承退化預測最重要的是在其失效前進行及時、準確地預測，但滾動軸承剩余壽命預測的準確性很大程度上取決于數據降噪和特征提取。為提高深度特征提取的準確性，本文在進行時頻域特征提取之前，首先采用小波降噪對原始數據進行處理，原始信號及小波去噪后的波形圖如圖4所示。經過對比可以看出，經過小波降噪可以去除與滾動軸承退化無關的冗余信息，提高預測精度。

圖4 小波降噪結果

3.2 開始預測點（SPT）選擇

由于滾動軸承的壽命相對其他零部件較長，其壽命預測起始點的選擇會影響模型訓練和測試的效率以及準確性，進而將影響壽命預測的準確性，所以選擇合適的滾動軸承剩余壽命預測起始點，對于提高預測精度和減少預測時間是極其重要的。

在滾動軸承運行早期對其壽命進行預測，在一定程度上會明顯降低預測精度，相對而言，在滾動軸承壽命后期預測其壽命無法起到提前維修或者更換的目的。因此能在保證一定預測精度下，選擇合適的SPT點進行滾動軸承壽命預測是十分必要的［11-13］。

為進一步驗證開始預測點對預測結果的影響，本文選擇不同的預測起始點進行模型訓練。不同起始點的預測結果對比如表1所示。從表中可以看出，開始預測點越早模型訓練時間越長，在保證一定預測精度的同時，選擇從第684組樣本數據開始進行剩余壽命預測效果較好。

表1 不同起始點的預測結果對比

3.3 LSTM模型預測

為了確定被測軸承何時到達預期壽命，根據3.2節起始預測點的選擇完成對模型的訓練和測試。預測結果如圖5所示，實線為實際壽命，虛線為改進LSTM預測的壽命曲線。可以明顯看出，通過LSTM得到的預測值與真實值變化趨勢相同，這表明對滾動軸承振動信號采用時頻域特征提取后進行LSTM剩余壽命預測的方法是有效的。

圖5 LSTM壽命預測

為驗證LSTM可以充分利用具有時間相關性的退化歷史數據的優越性，將本文方法與BP神經網絡和ELM進行對比試驗。表2所示為3種方法的預測誤差，基于參數動態更新的LSTM壽命預測方法RMSE=0.072 7，MAPE=0.206 5，小于其他兩種方法，因此該方法可以準確預測滾動軸承剩余壽命。

表2 預測誤差

4 結束語

針對傳統LSTM模型無法有效利用非全生命周期的數據建立優秀的RUL預測模型，以及無法合理利用在線數據的問題，提出以誤差最小化為目標的參數動態更新方法，以解決小樣本數據的在線建模以及模型修正問題。以美國辛辛那提大學軸承實驗室數據為例，證明該方法能夠有效地用于滾動軸承壽命預測中，在工程應用方面具有較高的實際價值。基于目前的工作，后續可以展開進一步研究，比如從LSTM模型參數入手，尋求更有效的參數優化方法。此外，未來也可以將非數值型的數據，比如圖片數據進行數據融合，使得抽取出來的特征更加全面，更準確地建立預測模型。