基于BiLSTM與注意力機制的剩余使用壽命預測研究

趙志宏， 李 晴， 楊紹普， 李樂豪

(1. 石家莊鐵道大學 信息科學與技術學院，石家莊 050043；2. 石家莊鐵道大學 省部共建交通工程結構力學行為與系統安全國家重點實驗室，石家莊 050043)

當今社會已進入工業化快速發展的階段，對于各種機械設備的要求也越來越高，在各個應用領域剩余使用壽命(remaining useful life，RUL)預測技術都尤為重要。剩余使用壽命預測是預測某一機械設備從當前時刻保持正常運行的剩余時間或者失效時間[1]。理想情況下，剩余使用壽命預測側重于在系統或者某一設備發生故障之前預警，給維修人員預留足夠的時間，對于機械設備進行維護[2]，能夠降低設備的維修成本，節約維護時間。

剩余使用壽命預測方法大致可以分為兩類：基于模型的方法和基于數據驅動的方法[3]。基于模型的方法主要是通過構建一個數學模型來描述機械設備的退化過程。某一機械設備的剩余使用壽命受自身制造工藝和操作環境等影響。理想情況下，構建過程不但需要經過測量后系統的實際參數，而且需要研究者對系統有充足的先驗知識[4]。然而在現實中，實際情況非常復雜，出現的情況各不相同，大多數機械設備不能用簡單的數學模型來預測RUL。

基于數據驅動的剩余使用壽命預測一般分為兩種：機器學習方法和統計學方法。傳統機器學習剩余使用壽命預測方法主要分為兩個步驟：①分別在時域、頻域或時頻域人工提取特征；②構建剩余使用壽命預測模型[5]，方法有人工神經網絡[6]、灰色預測方法[7]、馬爾科夫模型[8]、支持向量機[9]等。但傳統機器學習的剩余使用壽命預測方法通常是淺層機器學習模型，存在著對多元復雜時間序列預測時選擇模型及參數和特征提取困難、函數關系難以表達、預測結果受工況和環境影響等問題。

近年來，深度學習作為機器學習的新方法，具有強大的自動提取特征能力，被廣泛應用在不同領域。基于深度學習的剩余使用壽命預測摒棄了傳統剩余使用壽命預測手工提取特征的方法，通過構建一個多層的深度體系結構神經網絡從獲取的原始時間序列中自主的學習層次化的特征。Babu等[10]提出了一種基于卷積神經網絡(convolutional neural networks，CNN)的剩余使用壽命預測方法，將卷積層和池化層應用于多通道傳感器數據的時間維上，通過深層結構學習低層原始傳感器信號的抽象表示，獲取深層次特征信息。楊宇等[11]提出了全參數動態學習深度信念網絡，在原始振動信號中提取深層特征信息,減少了訓練時間，提高了預測結果精度。唐旭等[12]通過從多元時間序列中提取到的時域特征輸入到長短期記憶網絡(long short-term memory，LSTM)中進行剩余使用壽命預測，取得了較準確的結果。Ren等[13]利用深度自動編碼器聯合時頻特征壓縮和計算結果輸入到DNN(deep neural networks)中進行剩余使用壽命預測。

以上基于深度學習的剩余使用壽命預測方法未能充分利用深度學習模型提取多元時間序列中深層特征信息。雙向長短期記憶網絡(bi-directional long short term memory，BiLSTM)對于處理基于時間序列的預測具有一定的優勢，可以有效避免時間依賴帶來的梯度消失或者梯度爆炸等問題。Mnih等[14]提出的注意力機制(Attention)被廣泛應用于各個方面。注意力機制通過計算不同特征的注意力概率，對模型中的不同特征賦予不同權重，已有研究表明，注意力機制可以更好地利用提取到的特征信息[15]。

本文提出一種基于BiLSTM與注意力機制(BiLSTM-Attention)的剩余使用壽命預測模型。BiLSTM的優點是可以將前向和后向信息相結合，自動獲取其中隱藏的特征信息，以提高剩余使用壽命預測能力。在剩余使用壽命預測中，BiLSTM是將獲取的全部時間序列統一作為神經網絡的輸入，以進行特征提取。此外，本文采用了注意力機制對于各個BiLSTM輸出的特征值分配不同的權重，以提高剩余使用壽命預測的準確性。將本文所提出的BiLSTM-Attention預測模型與現有的LSTM、BiLSTM模型在公共數據集上進行試驗。試驗結果表明本文提出的BiLSTM-Attention預測模型可以更準確地預測剩余使用壽命。

1 理論背景

1.1 BiLSTM

由于RNN(recurrent neural network)在處理時間序列存在長期依賴、梯度消失或者梯度爆炸等問題，研究人員提出了LSTM用于解決RNN出現的問題[16]，但LSTM只能處理前向信息輸入神經網絡獲取預測的結果，BiLSTM通過前向和后向信息神經網絡獲取預測的結果，往往在預測方面BiLSTM的預測結果優于LSTM[17]。BiLSTM結構如圖1所示。

圖1 BiLSTM結構圖

在前向層某一時刻ti(i=1,2,…,n)正向計算，將獲得的時刻ti前向隱含層的輸出保存，得到Mf，Mf計算公式如式(1)；在后向層ti(i=n,…,2,1)反向計算，將獲得的時刻ti后向隱含層的輸出保存，得到Mb，Mb計算公式如式(2)；然后將前向層和后向層每個時刻ti獲得對應的輸出相結合獲得最后的輸出Yt，Yt計算公式如式(3)，其中wi(i=1,2,…,6)為權重

Mf=f(w1xt+w2Mf-1)

(1)

Mb=f(w3xt+w5Mb-1)

(2)

Yt=g(w4Mf+w6Mb)

(3)

本文研究的是基于時間的序列數據，通過以上分析使用BiLSTM用于提取輸入數據的特征，獲取隱藏在時間序列中的特征信息。

1.2 注意力(Attention)機制

注意力機制最早應用于機器翻譯[18]，現在已經廣泛應用于各種時間序列處理[19]。注意力機制的本質為計算某一特征向量的的加權求和[20]。注意力機制有很多種實現方式，本文采用的是乘法注意力機制中的Scaled Dot-Product Attention方法，其計算主要分為3個步驟。

步驟1將query和每個key進行點積計算得到權重。

步驟2使用Softmax函數對權重歸一化處理。

步驟3將權重和對應的value加權求和獲得Attention。

Attention計算公式為

(4)

式中： queries，keys，values的矩陣表示Q,K,V，Q=K=V=L,L為注意力層的輸入；dk為queries,keys,values的向量維度。

2 基于BiLSTM與注意力機制預測方法

本文設計的基于BiLSTM與注意力機制相結合的網絡結構如圖2所示。主要由批標準化(batch normalization，BN)層、BiLSTM層、注意力層和全連接層組成。BiLSTM中LSTM單元數設為64；全連接層為2層，Dense_1輸出維度設置為10，Dense_2輸出維度設置為1；在輸入層之后和注意力層之后使用BN層。該模型既能夠自動提取原始信號時序特征信息，又能夠突出關鍵特征信息，具有較強的特征提取能力。

圖2 基于BiLSTM與注意力機制預測模型圖

基于BiLSTM與注意力機制預測的主要步驟如圖3所示。

圖3 基于BiLSTM與注意力機制預測模型流程圖

首先，對于多元時間序列的預測，先通過設定周期長度獲得連續的時間序列，然后依次向后滑動直至一個周期結束，此時將獲得若干組多元時間序列，即為不同發動機的時間序列訓練集。將原始信號經過數據處理后，輸入到BN層，BN層具有一定的正則化作用，可以避免過擬合和梯度消失的問題，提高模型穩定性和泛化性、加快訓練速度并提高深度神經網絡的性能。

其次，BiLSTM通過學習每個時刻ti前、后向的單元信息獲得各個時間步輸出值，學習時間序列前向和后向之間蘊含的信息，在解決時間序列依賴性和梯度爆炸等問題的基礎上自動獲取全面的特征信息。

然后Attention層對時序數據信息的進一步篩選，有選擇的學習模型訓練過程中的中間特征，通過權重分配的方式，將其與輸出序列關聯起來，過濾無用信息，突出關鍵信息，提高模型預測結果的準確性。

最后，全連接層進行降維，得到最終的剩余使用壽命預測結果，為提高預測結果準確性，采用加權平均降噪的方法對于預測結果處理。

3 剩余使用壽命預測試驗

3.1 數據集

選擇公開的C-MAPSS[21]數據集進行剩余使用壽命預測試驗，C-MAPSS數據集如表1所示。分為4個子數據集，使用美國國家航空航天局開發的基于模型的模擬程序C-MAPSS生成的模擬數據[22]。

表1 C-MAPSS數據集

C-MAPSS數據集存儲為n×26矩陣，其中n對應于每個子集中的數據點的數量。每一行是在一個操作時間周期內獲取的數據，共有26列，其中第1列為引擎號，第2列為操作周期號，第3～第5列為3個操作設置，第6～第26列為21個傳感器值[23]。數據中的3個操作設置會顯著影響發動機性能。假設發動機內的每個軌跡是發動機的壽命周期，當每臺發動機在不同的初始條件下進行模擬時，這些條件被認為是正常條件(無故障)。對于訓練集中的每個發動機軌跡，最后一個數據條目對應于發動機被宣布為不正常或故障狀態的時刻。另一方面，測試集包含故障前一段時間的數據，目的是預測每臺發動機測試集中的RUL。對于C-MAPSS數據集中每個子集都有測試軌跡的實際RUL值。

3.2 數據預處理

由于不同的操作設置可能導致不同的傳感器值，而得到的數據代表的物理特性不同。因此，為消除數據不規范對預測效果的影響，在進行任何訓練和測試之前，必須進行數據歸一化處理，原始數據通過處理將限定在[0,1]內，計算公式如式(5)

(5)

3.3 評分函數

為了比較評估模型在測試數據上的性能，需要一些客觀的性能度量，主要采用了兩種評價指標：評分函數和平均絕對誤差(mean absolute error，MAE)。

本文使用PHM2008數據挑戰中的評分函數，計算公式如式(6)

(6)

式中：n為測試集中的引擎數；S為計算的評分；d=Restimated-Rreal，Restimated為剩余使用壽命預測值，Rreal為剩余使用壽命真實值。

MAE[24]：單一依靠評分函數有時會因為異常值(比如d過大或過小)的出現影響對模型整體預測性能的評價，因此需要結合MAE共同評價。MAE值越小表示結果越精確，模型越有效。MAE的使用還可以避免人為降低評分函數值的現象發生，其計算公式如式(7)

(7)

3.4 試驗過程及結果分析

3.4.1 數據處理

本節主要以C-MAPSS數據集子集FD001的數據為例進行描述試驗。FD001數據集分為訓練數據、測試數據和測試數據對應的真實RUL，其中訓練數據有20 631個運行周期樣本的訓練數據，測試數據有13 096個運行周期樣本的測試數據。訓練集和測試集記錄了發動機在若干運行周期下3個操作設置值和21個傳感器監測數據，其中操作設置值如圖4所示。首先是對于輸入的數據序列進行歸一化的數據預處理，對于得到的特征值可視化，去除不隨時間變換的特征以減少計算量，提高計算性能。通過操作設置值和傳感器監測數據分析可知，刪去在發動機退化過程中始終未改變的一個操作設置和7個傳感器數據，使用18個通道數據進行分析，將獲取的數據進行歸一化處理，使數據大小在[0,1]內。

圖4 操作設置值

3.4.2 試驗結果

根據訓練集的設置，提取FD001對應的測試集和測試集對應的真實RUL。分別提取FD001中的兩個操作設置和16個傳感器監測值組成的18個變化的待預測序列，輸入到訓練集得到的預測模型中進行預測，最后將訓練得到的預測RUL和真實RUL輸入到評分函數中進行處理，獲取對應的分數。利用BiLSTM-Attention方法得到的發動機預測RUL結果如圖5所示，由圖5可知，運行周期數較小時預測較為準確，隨著運行周期數增加，設備出現故障，預測曲線出現波動，準確性降低。FD001和FD003為單故障類型數據，FD002和 FD004為多故障類型數據，FD001和FD003預測結果與FD002和FD004相比較為準確。

圖5 C-MAPSS測試集發動機的預測RUL結果

3.4.3 評價結果比較

為說明本文提出的BiLSTM-Attention預測模型的有效性和可行性，選擇了LSTM、BiLSTM與已有論文中深度卷積神經網絡(deep convolutional neural network，DCNN)、隨機森林(random forest，RF)和支持向量機(support vector machine, SVM)預測模型在同樣的C-MAPSS數據集中4組子集試驗訓練，獲取不同預測方法得到的評分和MAE進行比較。不同預測方法評分函數、MAE對比如表2所示。從表2可知，本文提出的BiLSTM-Attention預測模型與LSTM和BiLSTM方法相比，BiLSTM-Attention預測方法在評分函數和MAE兩個方面均獲得較好的結果。以FD001為例，評分函數LSTM最高，依次為BiLSTM和BiLSTM-Attention，降低了77.13%；MAE中BiLSTM最高，依次為LSTM和BiLSTM-Attention，降低7.12%(見表2)。

表2 C-MAPSS數據集預測結果比較

將表2與已有論文方法相比，BiLSTM-Attention預測模型的評分函數在子集FD001中低于DCNN 和SVM方法，但高于RF方法；在子集FD002中低于DCNN、SVM和RF方法；在子集FD003中低于SVM方法，高于DCNN和RF方法；在子集FD004中低于RF和SVM方法，高于DCNN方法。

通過以上結果分析可知本文提出的BiLSTM-Attention預測模型比LSTM和BiLSTM具有更好的數據特征提取能力。綜上所述，本文提出的BiLSTM-Attention預測模型在航空發動機剩余使用壽命預測結果更準確。

3.4.4 不確定性試驗

為了評估不確定性對傳感器測量結果的影響，使用BiLSTM-Attention預測模型進行多次試驗，不同子集不同評價指標波動值，如表3所示。所獲得的均方根誤差(root mean squard error，RMSE)和MAE顯示了所提出模型的顯著穩定的性能。

表3 BiLSTM-Attention不確定性試驗

3.4.5 復雜度比較

為了說明本文所提出的BiLSTM-Attention預測模型與LSTM和BiLSTM預測模型相比的優點，對于以上3種模型進行復雜性對比，包括模型參數量和訓練時間的對比。

模型參數量對比結果如表4所示。由表4可知，BiLSTM-Attention預測模型參數量多于LSTM和BiLSTM預測模型。模型訓練時間取決與硬件情況，本文試驗采用的硬件為：處理器:lntel(R) Core(TM) i5-6200U CPU @2.30 GHz 2.40 GHz；已安裝的內存(RAM):8.00 GB；系統類型：64位操作系統，基于x64的處理器。模型訓練時間如表5所示。由表5可知，BiLSTM-Attention預測模型訓練時間多于LSTM和BiLSTM預測模型。

表4 不同預測方法參數量對比

表5 不同預測方法訓練時間對比

3.5 泛化性試驗

為驗證本文所提出的BiLSTM-Attention預測模型的泛化能力，使用PHM2012軸承數據集[27]進行驗證。該數據集包括3種工況下17個軸承水平方向和垂直方向兩個加速度傳感器采樣得到的的全壽命周期振動數據，第1種和第2種工況各7個軸承，第3種工況3個軸承，分別命名為Bearing 1-1～Bearing 1-7，Bearing 2-1～Bearing 2-7，Bearing 3-1～Bearing 3-3，采樣頻率為25.6 kHz，每10 s采集一次數據，每次采樣時間為0.1 s。本文驗證采用的是水平方向的振動數據。本文在不考慮工況影響的情況下，使用14個軸承的數據作為訓練集，將剩余的軸承數據作為測試集進行試驗。以Bearing 2-6為例，軸承水平方向原始全壽命周期振動信號如圖6所示。對于原始數據進行處理，行數等于加速度采集的次數，列數等于采集一次的數據長度。每行數據的標簽，表示該行對應的軸承剩余使用壽命。假設第i行數據的剩余使用壽命標簽為yi，表示當前時刻的剩余使用壽命與使用壽命的比值如式(8)所示。式8中m為行數，即軸承的實際壽命。經過歸一化處理后的剩余使用壽命標簽，可以降低不同軸承、不同工況、不同剩余使用壽命值之間的影響，提高剩余使用壽命預測的準確性。

圖6 軸承全壽命周期原始信號

(8)

按照C-MAPSS數據集相同的試驗方法使用基于BiLSTM與注意力機制預測模型對于PHM2012數據進行試驗。Bearing 2-6在LSTM、BiLSTM和BiLSTM-Attention不同模型剩余使用壽命預測結果如圖7所示。由圖7可知，BiLSTM-Attention預測結果與真實值相比浮動較小，優于LSTM和BiLSTM。Bearing 2-6在LSTM、BiLSTM和BiLSTM-Attention不同模型剩余使用壽命預測評價指標如表6所示。由表6可知，BiLSTM-Attention預測結果評價指標均小于LSTM和BiLSTM。

圖7 不同模型剩余使用壽命預測結果

表6 不同預測方法對比

4 結 論

本文提出一種基于BiLSTM與注意力機制的設備剩余使用壽命預測模型，從多元時間序列數據中估計設備的剩余使用壽命。本文主要結論：

(1) 基于BiLSTM-Attention設備剩余使用壽命預測方法利用BiLSTM網絡能夠提取設備運行狀態特征信息，通過注意力機制給提取到的特征信息分配不同的權重，從而更好地提取設備的健康狀態信息。

(2) 注意力機制的引入能夠提高深度神經網絡模型剩余使用壽命預測的準確性。

(3) BiLSTM-Attention模型與LSTM、BiLSTM方法相比得到的壽命預測評價指標更好，壽命預測的準確性更高。