一種基于DCNN-LSTM混合模型的RUL預測方法

溫海茹，陳雯柏

(北京信息科技大學 自動化學院， 北京 100101)

在航空航天、軍工裝備、工業制造業領域，研究關鍵設備的剩余使用壽命(Remaining Useful Life,RUL)，對有效改進維護策略和避免發生故障具有重要的實際意義。剩余使用壽命是可靠性分析中的重要指標之一，是指關鍵設備從運行條件開始當前時刻到失效時刻的時間間隔[1]。在大數據背景下，傳統的壽命預測技術正逐漸向人工智能預測方向轉變，在利用人工智能技術進行剩余壽命預測方面，數據驅動的壽命預測方法成為主流，根據文獻[2]數據驅動的方法可分為統計數據驅動方法和機器學習方法。統計數據驅動方法需要已知退化模型并依賴狀態監測數據。基于機器學習的方法可輸入多種類型的數據不局限于狀態監測數據且能夠解決退化模型未知的問題,按深度可分為淺層機器學習方法和深度學習方法。對于淺層機器學習的壽命預測方法，文獻[3]提出一種基于最小二乘法和支持向量機結合的壽命預測方法并成功應用于數字電路74LS280剩余壽命預測。文獻[4]提出一種基于PSO-BP神經網絡的刀具壽命預測，利用粒子群算法(PSO)優化網絡權重，克服了BP神經網絡反向傳播收斂速度慢的問題。這些淺層方法不能提取設備數據之間的深層特征，大多數還是依賴信號處理技術，難以處理海量數據。對于深度學習的壽命預測方法，文獻[5]構建了一種卷積神經網絡(Convolutional Neural Networks,CNN)，在所獲取的監測信號中使用時間變量序列來實現剩余壽命預測，自動提取空間特征。文獻[6]提出一種利用循環神經網絡(RNN)方法對軸承設備健康狀態進行長期預測。這些方法要么只考慮空間特征提取，要么只考慮時序數據時間相關性，都比較單一。長短時記憶(Long Short Term Memory,LSTM)網絡作為非線性循環神經網絡中的一種，雖然能夠處理數據的時序性和非線性關系[7]，但是它不能挖掘非連續數據之間的潛在特征和有效信息，預測精度還有待提高。

針對上述算法的不足，本文提出一種深度學習混合網絡模型，將深度卷積神經網絡(Deep Convolutional Neural Networks,DCNN)與長短時記憶網絡結合進行剩余壽命預測。首先利用滑動時間窗的方法從原始數據中進行樣本制備，構造連續特征圖，作為DCNN的輸入；然后利用網格搜索法優化算法模型，并提取特征形成特征向量；最后將卷積中提取的特征輸入到一個堆疊的長短時記憶網絡中，以學習長期和短期的時間依賴關系，并通過全連接層作為回歸層來輸出剩余壽命值，提高了預測精度。

1 DCNN-LSTM模型

1.1 CNN卷積模型

CNN卷積模型作為深度學習理論中主流網絡之一，已經在工業領域應用取得了巨大成功，包括計算機視覺、自然語言處理、語音識別等方面[8]。本文所提出的算法不同于計算機視覺方面的二維卷積操作，而是利用一維卷積來提取時間序列上的深層特征，不設置池化層。

如圖1所示，輸入的數據以二維的樣式輸入，一維表示特征的時間序列，另一維表示傳感器所采集到的特征。每層卷積層包含若干個同樣大的卷積核，通過卷積核計算整個輸入數據，提取每個輸入樣本的局部特征并依次組合，產生更高層、更抽象的特征空間。所有特征空間組合在一起后作為下一層CNN的輸入。

圖1 一維卷積原理示意圖

1.2 LSTM網絡模型

LSTM網絡是處理時間序列的一種網絡結構，它是根據循環神經網絡改進得來的。長短時記憶網絡能夠解決RNN在實際應用中出現的梯度爆炸和消失的問題[9]，可以學習時間序列長短時的依賴關系。此網絡有三層結構，分別為輸入層、隱含層和輸出層，并設計了記憶單元，歷史信息分別受到了輸入門、遺忘門和輸出門的影響。

圖2 LSTM單元結構示意圖

當前時刻臨時記憶單元：

(1)

記憶單元：

(2)

輸入門：

i(t)=σ(Wxix(t)+Whih(t-1)+

Wci(t-1)+bi)

(3)

遺忘門：

f(t)=σ(Wxfx(t)+Whfh(t-1)+

Wcfc(t-1)+bf)

(4)

輸出門：

o(t)=σ(Wxox(t)+Whoh(t-1)+

Wcoc(t-1)+bo)

(5)

計算LSTM單元的輸出：

h(t)=o(t)·tanh(c(t))

(6)

式(1)～(6)中：σ表示sigmoid激活函數；W表示輸入權重；b表示權重偏置。

2 DCNN-LSTM混合算法實現

2.1 時間窗口

為了提高深度學習模型的預測準確度，需要在模型構建之前確認樣本輸入大小。復雜系統設備產生的故障數據往往是時間序列的，而研究基于剩余壽命預測的多變量時間序列的問題與研究在單個時間步長內多變量數據值相比，通常能從多變量時間序列數據中獲取更多信息。時間序列處理具有更大的潛力，可以提供更好的預測性能。本文采用時間窗口進行數據準備以處理多變量時間信息。如圖3所示，不同傳感器監測的傳感器數據代表不同的特征，把設備多個傳感器值作為網絡的輸入并利用滑動窗口來構建DCNN-LSTM模型的訓練樣本。

圖3 時間滑動窗口示意圖

輸入形式為(batch_size,time_step,feature_nums)，分別表示訓練過程中批處理的樣本數量、時間序列長度、特征維度。時間窗口的長度為DCNN-LSTM模型的時間步長time_step，窗口的高度為傳感器維數n,窗口以n*time_step的大小沿著時間軸滑動，每滑動一個時間步長，就得到一個訓練樣本。

2.2 DCNN-LSTM混合模型

本文提出的DCNN-LSTM網絡混合模型如圖4所示。

圖4 DCNN-LSTM混合模型框圖

DCNN-LSTM模型主要分為2個部分：深度卷積神經網絡(DCNN)部分實現對空間特征的提取，堆疊長短時記憶網絡(LSTM)部分實現對序列時間依賴性的特征提取及剩余使用壽命的輸出。假設多個傳感器監測到設備的數據為Xn=[x1,x2,…,xt,…,xTn]∈Rm×Tn。其中m為每個設備上的傳感器數量，n為設備的時間序列長度，各個設備上采集到的m維測量值向量表示為x(t)=[x1(t),x2(t),…,xm(t)]∈Rm×1，其中xm(t)為t時刻下設備傳感器所得到的傳感器值，Tn為故障發生的時間。在t時刻，將x(t)作為網絡的輸入，網絡的輸出作為當前時刻的剩余壽命輸出值。更深的網絡意味著模型具有更深的特征抽取能力，因此模型設置一維卷積(conv1D)層數為5層，卷積核數目按層數依次設為32、16、16、16、16，卷積核大小為2～6，時間窗口大小為10～30。因為模型參數數量較少，所以本文在卷積層后不加池化層，并使用零填充的方法使時間窗口大小保持不變。卷積核沿著時間軸進行卷積運算，實現多傳感器數據自動融合并直接輸出給堆疊的長短時記憶網絡。對于LSTM部分，不同的LSTM層在空間相連，時間序列數據從上層輸出到下一層。每層LSTM都包含許多LSTM神經元，以提取數據的時間依賴性。在每層LSTM中，神經元之間進行彼此信息的交換，實現時間性的連接。此外，每個神經元的輸出不僅要在下一刻循環進入自身，還要與其他神經元共享。要提高模型精確性，確定時間窗口大小以及LSTM部分的層數和神經元數量十分重要，因此要進行參數優化。在模型訓練的過程中，訓練數據的剩余壽命值是已知的，通常用最小化J值的方法來求取訓練過程的損失函數值。通常使用式(7)來進行優化。

(7)

模型采用Adam優化算法來更新網絡的權值，在每層LSTM后加入Dropout正則化技術來降低過擬合帶來的影響，參數大小為0.5，整個網絡都采用rule激活函數并引入了Early-Stopping機制，當模型損失不在變化是停止訓練。最后將LSTM層之后的特征向量連接到全連接層(Dense)，輸出剩余壽命值。

2.3 混合模型參數優化

在固定卷積層數和卷積核數目的前提下，本文進行堆疊的長短時記憶網絡結構優化，涉及到的模型結構參數包括長短時記憶網絡層數和神經元的數量，這是堆疊的LSTM網絡模型的重要超參數，直接影響結構模型預測的準確率。網絡搜索法是一種窮舉搜索方法[10]，首先對LSTM層數和神經元數量進行排列組合形成一個二維網格，并驗證網格中的每個參數以選擇最佳網絡結構參數。最后具備最佳驗證預測性能的參數被認為是最優的，并用于剩余壽命模型預測中。對于網格搜索算法而言，搜索比較全面而且利用到的每組參數是相互獨立的，并行性較高，在參數一定的條件下，其運算復雜度比較出眾。此方法容易實現，對計算資源的要求比較低。故選擇網格搜索法進行優化可降低計算時間。其網格優化參數如表1所示。

表1 優化模型參數

2.4 模型評價指標

剩余壽命預測算法性能評估常用評分函數(Score Function)和均方根誤差(RMSE)作為評價指標。式(9)表示評分函數，其中N是測試集樣本的個數，di為剩余壽命預測值和真實值的差值，并給出預測結果不同的懲罰權重。當di為非負數時，機器設備會在預計發生故障之前失效，會造成判斷滯后，懲罰系數較大；當di為負數時，表示預測提前，懲罰系數較小。預測提前有助于制定維修計劃規避風險，故di不大于0時，其絕對值越小越好。式(10)表示均方根誤差，對提前或滯后預測給出相同的懲罰。

di=RULpre-RULact，i=1,2,…,N

(8)

(9)

(10)

如圖5所示，函數Score是非對稱指標，若預測值大于真實值，隨著誤差的增加，懲罰將呈指數級增長，而較晚的預測可能會導致設備嚴重故障。RMSE是對稱性的指標，對剩余壽命預測高低的懲罰是一樣的，RMSE值越小，表明誤差越小，預測精度越高。使用這2種指標能夠全面的衡量算法的性能。

圖5 綜合性能算法指標曲線

3 實驗研究與分析

本文在Windows10下采用Tensorflow、Keras框架來實現提出的網絡結構。所用編程語言版本是Python3.6，所有實驗都是在Inter Core i7-7700HQ(2.8GHz)CPU、16GB RAM的計算機上進行的。

3.1 C-MAPSS數據描述與預處理

如表2所示，美國NASA卓越故障預測研究中心的C-MAPSS數據集[11]包含4個子數據集，每個子數據集分為訓練集和測試集，且每個子集包含了26列數據：發動機編號，發動機運行周期，3列可操作的運行環境設置和21列不同傳感器采集的時序數據。

表2 C-MAPSS數據集

接著利用卡爾曼濾波方法對多傳感器監測到的時間序列數據進行濾波處理，之后為了消除操作條件變化對數據的影響，對每個傳感器監測到的數據進行歸一化處理，采用min-max標準化的方法，將數據歸一化到[0,1]范圍內。此訓練集沒有給出發動機從開始到結束的明確剩余使用壽命，故要自行添加標簽。在發動機運行初期，考慮到設備比較新，使用分段線性函數代替線性函數作為剩余壽命值，設最大剩余壽命值為125個周期。

3.2 模型參數分析

針對FD001數據集進行了實驗，在100個發動機單元中選擇了變化比較明顯的傳感器數據，構建了DCNN-LSTM模型，并通過網格搜索法將長短時記憶網絡層數和神經元數量形成一個二維的網格，并將每個組合的節點參數作為候選參數。考慮到計算資源和時間限制，將LSTM層數設置為1～4，神經元數量50到200，利用網格搜索和交叉驗證確定了3層LSTM，每層LSTM中100個神經元參數結構可以實現DCNN-LSTM模型最佳性能。每兩個參數作為一個組合，表3記錄了部分參數組合，選擇7個訓練結果比較好的組合參數對比分析。

表3 不同LSTM層數和神經元數量的性能參數

通過比較組合中的參數和訓練時長，可以看出此算法模型訓練時長能夠隨著網絡層數的增加和神經元數量的增加而逐漸延長。雖然組合1的訓練時間比較短，但是為了更好地得到預測精確值，在固定DCNN層數不變的條件下，最終選擇了3層LSTM為最佳。傳感器監測到的數據都為時間序列數據，具有時序特征，因此DCNN-LSTM模型的預測準確率也會受到滑動窗口大小的影響。圖6給出了不同時間窗口大小下FD001測試集RMSE和訓練時長的變化情況。可見隨著時間窗口的增大，RMSE逐漸減小。實驗結果表明，當時間窗口制備的樣本數據增多時，DCNN-LSTM模型提取的時序特征增多，訓練時間增加，預測誤差減小。

圖6 不同時間窗大小測試集的RMSE和訓練時長直方圖

RMSE遞減幅度變緩慢，表明輸入樣本達到一定數據量時，對訓練模型的準確率影響減小，不必再增加數據量。當時間窗口大小為30時，RMSE最小，故窗口大小為30是模型最佳選擇。

3.3 算法對比分析

經過實驗確定模型參數和模型結構后，運行DCNN-LSTM模型 6次并記錄最終預測結果，同最好的RUL傳統方法多層感知器(Multi-Layer Perceptron，MLP)、 支持向量回歸(Support Vector Regression，SVR)、相關向量回歸(Relevance Vector Regression，RVR)和CNN及單一的LSTM進行比較。證明了在4個相同公開數據集下，DCNN-LSTM混合模型預測效果更好。實驗結果用以下公式來衡量算法的改進程度，即：

(11)

表4為評價指標Score在不同數據集上的預測結果。可以看到，DCNN-LSTM方法在CMAPSS數據上的性能表現都超過了傳統的機器學習方法和單一的CNN與LSTM網絡。在子集FD001和FD003上相對于較好的LSTM 模型，Imp指數分別提高了10.05%和36.61%。這表明DCNN部分可以有效地提取單一環境下的故障退化信息，LSTM可以有效地捕獲序列前后的時間關系，此算法能大大提高剩余使用壽命預測精度。針對運行環境復雜、多故障的子集FD002和FD004，DCNN-LSTM方法在Score上比單一的LSTM方法提高了60%左右，表明越深層的網絡結構對故障模式、操作模式較多的數據越敏感，對預測精度的提高越有效率。表5為 RMSE在不同數據集上的預測結果。

表4 Score在不同數據集上的預測結果

表5 RMSE在不同數據集上的預測結果

由表5可知：DCNN-LSTM模型的RMSE最小，性能均超過單一的LSTM網絡和單一的CNN網絡，提升指數Imp達到9.8%。這意味著所提出的DCNN-LSTM模型具有最佳的預測性能，同時也證明了此算法在發動機剩余使用壽命預測問題上的有效性。

圖7是測試集中隨機選取的4臺發動機單元壽命退化過程曲線，反映了渦扇發動機真實的RUL變化。從圖7(c)可見，中期RUL預測值小于真實值，退化過程存在較早預測的傾向，但幅度不大。從圖7(a)、圖7(b)、圖7(d)中可明顯看到，當設備開始退化時，預測值有些波動，具有較晚預測的傾向；隨著運行周期的增加，在中后期RUL值較小時，即故障發生程度較大時，預測結果很少有波動，基本上可擬合真實的曲線。可見多層長短時記憶網絡能夠提取和保留數據的歷史信息，也反映出DCNN網絡深層提取特征的優勢。

圖7 FD001中4臺渦輪發動機RUL預測結果曲線

圖8給出了100臺發動機輸出的預測值和真實值曲線。剩余使用壽命(RUL)值比較大的發動機故障退化不明顯，部分預測結果誤差較大，但是大部分還是可觀的。當發動機的RUL偏小時，即故障程度較大，退化明顯時，預測結果可以很好的追蹤真實值，預測精度明顯增強，顯示出了所提算法的優越性。

圖8 FD001中100臺渦輪發動機預測曲線

4 結論

針對復雜系統設備RMSE的預測精度日益提高的要求，本文構建了一種深度學習混合的DCNN-LSTM網絡系統模型。優勢如下：1)利用滑動時間窗口構造輸入樣本利于發現微小故障；構建深層的卷積神經網絡處理多傳感器數據便于提取深層空間特征，降低壽命預測的不確定性；固定卷積層數不變，堆疊長短時記憶網絡能夠較好的處理復雜系統設備多傳感器數據的時序性和非線性關系。2)本文方法兼顧深層卷積神經網絡和長短時記憶網絡特點，使用CMAPSS數據集驗證并與淺層的機器學習和單一的深度學習模型相比，提高了剩余壽命的預測精度。3)利用簡單的網格搜索法優化參數，降低了計算資源；自動融合多傳感器數據特征，不需人工提取特征，對于其他工業領域設備而言具有可移植性。