基于RCNN-ABiLSTM的機械設備剩余壽命預測方法

閆嘯家, 梁偉閣,*, 張 鋼, 佘 博, 田福慶

(1. 海軍工程大學兵器工程學院, 湖北 武漢 430033; 2. 大連艦艇學院導彈與艦炮系, 遼寧 大連 116016)

0 引 言

對機械設備進行預測和健康管理(prognostics and health management, PHM)有利于提高其安全性,防止災難性事故發生[1]。而剩余壽命(remaining useful life, RUL)的準確預測是PHM研究領域中的關鍵任務[2],可以為設備維修建立最佳維護策略提供決策支持[3]。

RUL預測可以動態感知機械設備健康狀態的未來變化,目前較為流行的有模型驅動的預測方法、數據驅動的預測方法和混合驅動的預測方法三類[4]。模型驅動和混合驅動的預測方法需要通過已知的力學原理和機械原理建立明確的數學模型,進而分析設備的性能退化過程[5]。然而大型機械設備的結構復雜,使用環境和故障模式多樣,建立精確的性能退化模型代價過高,應用范圍受到極大限制。而數據驅動的預測方法僅通過對設備運行過程中的監測數據進行性能特征挖掘,從而展現內外部環境所導致設備性能的劣化,該方法規避了機械設備復雜機理的數學建模,逐步成為RUL預測的研究熱點。

數據驅動的預測方法主要分為統計分析和機器學習兩類方法[6]。統計分析方法通過對設備失效時間數據進行統計分析,利用參數估計構造RUL的分布函數,然后通過分布擬合隨機變量的關系實現RUL預測[7]。黃亮等[8]通過融合機械設備的歷史退化數據和實時監測數據,建立了多階段Wiener過程性能退化模型,從而實現發動機RUL的預測。袁慶洋等[9]利用電機溫度作為退化特征,建立了多段Wiener過程模型以預測電機RUL。馮磊等[10]提出了半隨機濾波-期望最大化算法,成功解決了隱含退化過程的RUL在線預測問題。Kundu等[11]綜合考慮了模型參數估計過程中設備的工作參數和監測信號,從而建立威布爾加速損傷回歸模型來描述不同工作狀態下設備的故障特征。Zhang等[12]利用設備融合監測信息建立了基于Gamma退化過程的RUL預測模型。王澤洲等[13]在傳統Wiener退化模型中引入擴散系數與漂移系數的比例關系,從而實現漂移系數和擴散系數的同步更新。Wu等[14]基于隨機系數Wiener過程對復雜機械設備的RUL進行預測,具有更高的預測精度和更低的預測不確定性。然而,隨著智能傳感器的發展,通常使用多種組網傳感器收集多源數據來全面反映設備運行狀態,統計分析方法難以從信號差異大、采樣策略多和數據價值低的大數據中提取退化特征信息,同時基于耦合多維變量的RUL分布求解難題仍未解決。以深度學習為代表的機器學習可以對原始監測數據進行特征提取和訓練,不必構建具體的退化模型便可模擬性能退化過程,同時深度學習方法克服了淺層機器學習方法[15]難以提取深度特征的缺陷,通過對多傳感器性能參數組成的多維數據進行深度特征提取,充分利用學習時間序列蘊含的信息對RUL進行更為精確的預測。

深度循環神經網絡(recurrent neural network, RNN)適用于處理時間序列,從中挖掘反映設備性能退化的潛在特征,而其衍生模型長短期記憶(long short term memory,LSTM)網絡可以解決RNN模型無法學習長時間特征關系及梯度消失等問題[16],對于解決設備的RUL預測問題具有明顯優勢。Zheng等[17]通過多層LSTM堆疊以構建深層LSTM結構,提高了RUL預測精度。王鑫等[18]通過多層網格參數搜索,對LSTM預測模型優選參數,并利用飛機故障試驗對方法的有效性和實用性進行了驗證。Sheng等[19]構建了可以挖掘不同退化狀態信息的多尺度LSTM,具有更好的預測性能。宋亞等[20]提出自編碼器與雙向LSTM(bidirectional LSTM, BiLSTM)網絡融合模型,對于高維海量狀態監測數據的處理獲得了較好的效果。孫世巖等[21]使用擴增后的數據訓練BiLSTM網絡,解決了訓練樣本數量不足的問題,同時準確描述了軸承的退化趨勢。Chen等[22]利用卷積神經網絡(convolutional neural network, CNN)提取監測數據的空間特征,從而對設備的RUL進行準確的預測。盡管LSTM在處理時序性數據時表現出良好的效果,但面對長時間序列時難以捕捉關鍵退化信息,從而導致性能退化時間點的識別準確率較低。

為了解決上述問題,本文提出一種基于殘差CNN和注意力BiLSTM網絡(residual CNN-attentional BiLSTM network, RCNN-ABiLSTM)的RUL預測模型。首先,利用CNN從多維傳感器信號中提取深度特征向量,同時利用殘差網絡結構有效解決深層CNN帶來的梯度消失問題;其次,針對傳感器數據的前后序列相關性,利用BiLSTM學習CNN所提空間特征的退化信息,捕獲時間序列中長距離相關特征,并借助注意力機制計算時間特征的重要性程度,加強關鍵時間特征對RUL預測的表達,從而有效提高模型RUL預測準確度。

1 模型理論

1.1 RCNN

傳統CNN的結構如圖1所示,主要由卷積層、池化層和全連接層組成[23]。卷積層能夠提取輸入數據的特征,池化層對卷積層所提特征按照特定規則進行選擇和過濾,而全連接層一般與輸出層進行連接,相當于傳統前饋神經網絡的隱藏層,實現最后的輸出維度變換。模型可以從多維樣本中自適應提取空間特征,易于實現樣本重構和特征提取,可以有效獲取性能退化信息[24]。

圖1 CNN結構Fig.1 Structure of CNN

(1)

式中:W1、W2和W3分別為單向殘差模塊3個卷積層的權重矩陣;f(·)表示批歸一化(batch normalization, BN)操作和ReLU激活函數的函數映射;?為卷積運算。則單個模塊的非線性映射函數為

(2)

對式(2)求偏導,可得

(3)

圖2 ResNet模塊Fig.2 ResNet module

由式(3)可知,通過構建輸入到輸出的直連通道可以有效解決梯度消失的問題。對比圖2(a)和圖2(b),根據全壽命周期數據集特點,單向殘差模塊將經典殘差模塊第2個卷積層的卷積核尺寸由2×2替換為2×1。同時,實際卷積過程實現了卷積核的單向移動,不會對時間序列的前后相關性進行破壞,即對機械設備傳感器數據的單一時間序列進行信息融合,不改變數據的時序關系,進而提取與RUL相關聯的特征。

1.2 BiLSTM網絡

RUL預測的主要途徑是從機械設備傳感器數據中學習與設備性能退化的時空信息,而RNN可以充分利用數據的時間相關特性對時域序列數據進行處理,然而當單一時序數據的長度很大或時間很短時,RNN會存在梯度消失、梯度爆炸等問題[27]。

LSTM引入記憶細胞概念,由輸入門、遺忘門、選擇門和輸出門4個相互連接的結構組成,通過比較記憶信息和當前信息,選擇重要信息,遺忘次要信息,使網絡獲得更強的記憶能力,能夠緩解長序列RNN訓練過程中梯度消失與爆炸的問題,其網絡拓撲結構如圖3所示。

圖3 LSTM網絡結構圖Fig.3 LSTM network structure diagram

其中，ht-1、ht分別為t-1時刻和t時刻的隱藏狀態;ct-1、ct分別為t-1時刻和t時刻的門控單元狀態;xt為t時刻的輸入。遺忘門ft負責對上一節點輸入的信息進行選擇性遺棄;輸入門it將記憶信息與當前信息進行融合,輸入至選擇門gt中;選擇門gt對融合信息進行選擇性記憶;輸出門ot決定當前門控單元狀態對隱層輸出的影響。當前門控單元狀態ct受上一時刻門控單元狀態、遺忘門、輸入門和選擇門共同影響,而記憶單元的輸出由輸出門ot和門控單元狀態ct共同決定,具體計算過程如下所示:

(4)

式中:Wf和bf、Wi和bi、Wg和bg以及Wo和bo分別為遺忘門、輸入門、選擇門和輸出門的權重和偏置矩陣;σ(·)為Sigmoid激活函數,將輸出變換到[0,1]區間內;tanh(·)為雙曲正切激活函數,將輸出變換到[-1,1]區間內。

記憶單元或稱門控單元是LSTM網絡的核心,通過若干記憶單元構成前向傳播鏈式結構[16],可以實現信息的統籌和傳遞。由式(4)可知,記憶單元可以對信息流進行精準的控制,通過整合所有時刻內部狀態信息和輸入信息,保證模型訓練過程中梯度下降的穩定性。為了加深對原始時間序列特征提取的層次,進一步提高模型輸出的準確性,將兩個方向不同的獨立的LSTM疊加在一起構成BiLSTM網絡,具體結構如圖4所示。

圖4 BiLSTM網絡結構圖Fig.4 BiLSTM network structure diagram

將xt輸入至前向層,從0時刻到t時刻正向計算出向前隱含層的輸出hf;輸入至反向層,從t時刻到0時刻反向計算出向后隱含層的輸出hb。最后,將前向層和反向層的輸出結果輸入至全連接層,得到最終輸出h:

h=f(hf,hb)

(5)

式中:f(·)是全連接層的映射函數。

2 機械設備RUL預測模型

2.1 預測模型概述

在機械設備RUL預測中,性能退化規律的重要信息主要存儲于歷史時間序列中。傳統機器學習方法一般根據先驗知識從時間序列中選取與性能退化相關特征,這種方法會破壞歷史數據的時序性,導致預測精度較低。而RCNN不僅能夠充分挖掘數據潛在規律,自動提取重要特征,而且可以改善深層CNN訓練過程中梯度消失的問題。基于注意力機制的BiLSTM網絡能夠更好地從RCNN所提取特征中學習性能退化的規律,更容易捕獲時間序列中長距離相關特征,當RUL預測中輸入時間序列過長時,注意力機制可以通過對輸入特征賦予不同的權重,利用有限運算資源從大量信息中篩選出關鍵信息,過濾或弱化其他冗余信息,使模型更加關注對性能退化影響大的特征,以此來解決時間序列過長導致的信息丟失問題。因此,本文提出的RCNN-ABiLSTM機械設備RUL預測方法,能夠利用融合模型深入挖掘傳感器數據中豐富的規律信息與退化趨勢,提高RUL預測的精度。

2.2 RCNN-ABiLSTM結構

本文所設計并構建的RCNN-ABiLSTM結構如圖5所示。該模型主要由輸入層、特征提取層、時間序列信息學習層以及輸出層組成。將機械設備傳感器數據輸入至單向殘差模塊中,通過反復卷積操作加深網絡深度,將所提多維特征圖輸入至全連接層獲得最終輸出,完成時間序列深度特征的提取。BiLSTM模塊從所提特征中學習機械設備隨時間變化的規律,注意力模塊通過引入權值概率來突出注意力集中的時間段,同時加強各段之間的聯系以幫助網絡捕獲關鍵時間序列信息。最后,利用輸出層對當前RUL做出精準預測。

圖5 RCNN-ABiLSTM模型結構圖Fig.5 Structure of RCNN-ABiLSTM model

2.2.1 輸入層

輸入層負責將機械設備歷史傳感器數據輸入至預測模型中。記運行工況和不同類型傳感器監測數據為相關特征時間序列矩陣X=(x1,x2,…,xT)=(x1,x2,…,xN)T,展開可表示為

(6)

2.2.2 特征提取層

特征提取層負責提取輸入時間序列的特征。通過構建若干單向殘差模塊組成RCNN框架,同時在模塊中添加最大值池化層,以保留更多的數據波動信息。經過卷積和池化操作后原始數據被映射到隱層特征空間,選取ReLU激活函數進行激活,搭建全連接結構將其轉換為一維結構,并簡化參數以提高訓練速度。輸入為單個時間序列,構建3層殘差模塊結構如圖6所示,其計算過程為

R1=F(X?W1+b1)=ReLU (X?W1+b1)

(7)

P1=max (R1)+b2

(8)

R2=F(P1?W2+b3)=ReLU (P1?W2+b3)

(9)

R3=F(R2?W3+b4)=ReLU (R2?W3+b4)

(10)

Ho=Sigmoid (R3×W4+b5)

(11)

圖6 特征提取層結構Fig.6 Feature extraction layer structure

由圖6可知,假設輸入數據的大小為14×1,卷積核的數目為2,首先經過殘差卷積操作1后,變為大小為2×13×1的兩個特征圖;其次經過尺寸為2×1的最大值池化操作后,得到2×12×1的輸出;然后經過殘差卷積操作2和3后,得到大小為8×10×1的輸出;之后將輸出節點展開為全連接層,利用激活函數計算出特征提取層的最終輸出,從而實現提取特征降維。

2.2.3 時間序列信息學習層

對于機械設備RUL預測任務,作為輸入的傳感器數據特征是一段連續的具有強相關性的時間序列,從而要求網絡具有一定的“記憶功能”,通過學習前后信息的差異對當前設備的RUL進行判斷。特征提取層可以從不同角度挖掘數據特征,但難以學習具有明顯時間相關性的序列信息。因此,在特征提取層后添加了BiLSTM模塊和注意力模塊,使得網絡可以對時間序列信息進行學習。如圖5所示的時間序列信息學習層,將BiLSTM模塊的輸出作為注意力模塊的輸入,解決長時間序列信息丟失的問題。

BiLSTM模塊:BiLSTM從前后兩個方向對RCNN提取的深度特征進行學習。如圖5所示,將每個時刻t的特征輸入至前向層和反向層,得到前向輸出hft和后向輸出hbt,最終通過式(5)計算出BiLSTM模塊的輸出ht,t∈[1,T]。

注意力模塊:記t時刻內剩余壽命標簽為Y=(y1,y2,…,yt,…,yT)。首先通過全連接神經網絡計算ht的特征權重參數Wt,用來表示由ht所得目標值Y′與Y的相關性,突出注意力集中的時間段,然后利用Softmax函數實現權重歸一化,得到所有特征權重之和為1的權值概率Pt,最后根據權值概率對輸入ht進行加權求和,計算出注意力模塊的輸出st。所述計算過程如下:

Wt=tanh (wht+b)

(12)

(13)

(14)

式中:w為全連接層的權重系數;b為偏差向量。

2.2.4 輸出層

將注意力模塊的輸出作為輸出層的輸入,通過全連接層計算出設備的剩余壽命預測值Y′=[y′1,y′2,…,y′t,…,y′T]T,計算公式可表示為

y′t=Sigmoid (wost+bo)

(15)

式中:y′t為第t時刻模型的預測值;wo為權重矩陣;bo為偏置系數;激活函數選擇Sigmoid函數。

3 驗證與分析

3.1 數據集介紹

美國航空航天局的C-MAPSS航空發動機數據集[28]是RUL預測領域應用最為廣泛的公共數據集之一,包含了不同故障模式和工作條件下渦扇發動機從正常運行到故障失效的4組傳感器監測數據,且將21種傳感器作為能夠表征發動機運行狀況的典型指標。每組數據由訓練集、測試集和RUL標簽組成,訓練集包含發動機整個壽命周期的全部數據,測試集只包含測試發動機從初始狀態開始前一部分的數據,RUL標簽是與測試集相對應的發動機最后監測時刻的RUL。其中,各個數據文件中包含不同數量的發動機,每臺發動機帶有不同程度的初始磨損,因此每臺發動機監測數據的序列長度也不同,4組監測數據的具體信息如表1所示。

表1 航空發動機數據集

3.2 驗證過程及結果分析

3.2.1 數據預處理

本文以FD001為例展示驗證的具體過程。觀察到數據集中setting_3與7個傳感器數值無變化,為提高計算速度,剔除無意義數據,同時將運行周期也作為輸入特征之一,即可得到17個輸入特征的數據集。其次,原始數據含有大量高斯隨機噪聲,首先使用窗寬為10的濾波函數對數據進行降噪處理,以降低數據的波動。

由于多維監測數據具有不同的量綱,所以在模型構建前須進行歸一化預處理。本文選用最小-最大標準化方法將數據統一至[0,1]范圍內,具體公式如下:

(16)

為了利用有限的序列深入挖掘性能退化規律,同時將時間序列轉化成BiLSTM網絡擅長處理的三維輸入格式,采用滑動時間窗分割方法對歸一化后的數據進行處理。這樣既可以充分保留相鄰序列之間的時間相關性,又可以提高訓練集樣本的數量,使模型具有更高的魯棒性和泛化能力。記發動機原始時間序列長度為T,特征維度為N,利用窗寬為S的滑動窗沿著時間序列滑動,將每滑動一個步長所截取的時間序列疊加至第3個維度,形成(T-S,S,N)的三維張量,計算過程如下:

X1:T-S=x1:1+S⊕x2:2+S⊕…xi:i+S…⊕xT-S:T

(17)

式中:X1:T-S為轉換后的三維張量;xi:i+S為從第i個時間周期開始長度為S的序列;⊕表示窗口內數據在第3個維度的連接,從而形成三維張量。

發動機在運行初期狀態良好,性能退化量可忽略不計,但到了使用末期,發動機的性能會隨著時間的延長而急劇下降。如果將發動機性能迅速劣化之前監測數據的標簽設置為總運行周期減去當前運行周期數,會增加剩余壽命預測結果的滯后性。因此,可以認為發動機開始急速退化之前的RUL保持不變,即為訓練集的RUL標簽設置閾值,使之成為分段線性函數。研究表明,將訓練集RUL標簽突變臨界值設置為第130個運行周期預測效果較好[29],RUL標簽設置結果如圖7所示。

圖7 RUL標簽設置Fig.7 RUL label setting

3.2.2 超參數設置

本模型所涉及的主要超參數有:網絡結構、學習率、批尺寸、迭代次數、Dropout率等。模型超參數對模型性能的優劣有較大的影響,因此通過調節單個參數來使得模型預測誤差最低,從而獲取最優超參數組合。

同時,為了準確反映不同超參數模型在測試集的預測值與真實值之間的誤差距離,采用均方誤差MSE作為評價指標來調節超參數:

(18)

以批尺寸參數為例,模型超參數調節過程如圖8所示。由圖8可知,批尺寸為64時MMSE最小,因此64是模型最合理的批尺寸參數。其中，MMSE為30次實驗結果所得MSE的均值。表2是通過30次重復實驗獲得的最優超參數組合,表中其他超參數設置方法均按上述方法進行。

圖8 不同批尺寸試驗結果(MMSE為30次試驗結果所得MSE的均值)Fig.8 Different batch size test results (MMSE is the mean of MSE obtained from 30 trials)

表2 最優超參數組合

3.2.3 模型訓練與結果分析

將預處理后的高維時間序列輸入RCNN進行特征提取,原始數據共有17個特征,經過5個殘差單元和最大值池化操作后數據維度降低至7,然后將降維特征輸入到BiLSTM中進行時間信息學習。將訓練集按照7:1的比例劃分為訓練集和驗證集,若驗證集的誤差在連續10個訓練時期內沒有下降趨勢時,為防止模型過擬合,提前停止訓練。訓練過程中的測試誤差與訓練誤差變化情況如圖9所示,訓練與測試的評價指標隨著訓練時期數的遞增而逐漸趨于平穩與一致,訓練誤差從1 852降低至234,測試誤差從1 794逐漸減小至263。

圖9 RUL預測訓練誤差與測試誤差曲線圖Fig.9 RUL prediction training error and test error curves

將測試集輸入至訓練后的模型中,RUL預測結果如圖10所示。

圖10 FD001測試集RUL預測結果Fig.10 FD001 test set RUL prediction results

為比較RUL大小對模型預測的影響,將FD001測試集中所有的發動機根據真實RUL值從大到小進行重新排序,結果如圖11所示。當RUL值較大時,發動機處于健康狀態,表明設備運行狀況良好。由圖11可知,發動機剛開始運行時,RUL預測誤差較大,同時波動較為劇烈且表現出明顯的滯后性。但經過長時間運行后,預測RUL收斂在真實RUL周圍,預測性能顯著增強。因此,設備歷史信息越充分,性能退化信息越明顯,模型的預測誤差越小。

圖11 FD001發動機重新排序預測結果Fig.11 FD001 engine reordering prediction results

在FD001數據集中隨機選取4個發動機的連續RUL預測結果,如圖12所示。由圖可以看出RCNN-ABiLSTM模型的深層卷積結構能夠有效提取引擎退化的深度特征,即使引擎剛開始運轉時歷史數據較少,難以預測RUL大小,模型預測值也較為接近臨界值130。隨著運行周期的增加,發動機的性能退化量逐漸積累,BiLSTM可以學習時間序列前后的時序關系,同時注意力機制自適應選取性能退化關鍵時間點。模型通過融合二者在空間和時間特征學習的優勢,有效提升較長時間段的預測精度。由圖12可知,在發動機性能退化中后期,模型能夠較好的擬合真實性能退化曲線,RUL預測結果愈發精確且穩定性較高。因此,本文所提模型有較強的空間深度特征提取能力和較長時序特征的記憶能力。

圖12 4臺發動機RUL預測結果Fig.12 Four engines RUL prediction results

3.3 模型對比分析

為了客觀評估不同模型在測試集上的準確度和泛化能力,采用均方根誤差RMSE和評分函數Score對RUL預測效果進行評價[15]。

RMSE用于衡量預測值同真實值之間的偏差,其計算公式為

(19)

由于發動機較高的安全性要求,不及時維修造成的災難性后果所引起的成本遠大于過度維修資源的成本,因此評分函數對高估RUL的情況施加更高的懲罰。Score分數越低,表明模型的預測性能越好,計算公式如下:

(20)

為了驗證提出的RCNN-ABiLSTM融合模型進行發動機RUL預測的有效性,分別構建了支持向量回歸[15]、CNN[15]、LSTM[17]、CNN-LSTM[30]、Autoencoder-BiLSTM[20]作為對比模型,所得結果如表3所示。由表3可知,相較于淺層機器學習方法和單層深度學習模型,文獻[30]中提出的CNN-LSTM雖然在子集FD003上表現略遜于LSTM,但在復雜多故障模式條件子集FD002和FD004上預測效果更好。文獻[20]中提出的Autoencoder-BiLSTM將自編碼器作為特征提取工具,同時利用BiLSTM捕捉雙向長程依賴特性,相較于CNN-LSTM誤差,預測結果進一步提升,但在FD002和FD004上表現出明顯的預測滯后性。RCNN-ABiLSTM考慮到注意力機制提取長時間序列關鍵退化信息的優越性,在所有的測試集上預測精度顯著提升。結果表明,本文所提出的融合模型不僅有效降低了RUL預測誤差,而且對于運行條件復雜和故障模式多變的發動機傳感器數據,能夠準確尋找到退化時間點,提高設備的使用安全性。

表3 不同預測模型對比結果

4 結 論

針對機械設備監測數據呈現出非線性、多維度、大規模等特點,關鍵退化信息容易淹沒在長時間序列中,本文提出一種基于RCNN與ABiLSTM的機械設備RUL預測方法,通過CMAPSS數據集對模型進行多方面驗證與測試,試驗結果表明:

(1) 設備歷史信息越充分,性能退化信息越明顯,模型的預測誤差越小。

(2) RCNN-ABiLSTM模型通過RCNN模型深度挖掘多維監測數據的退化特征,同時ABiLSTM可以學習時間序列前后的時序關系,利用注意力機制自適應選取性能退化關鍵時間點。模型通過融合二者在空間和時間特征學習的優勢,有效提升較長時間段的預測精度。

(3) 相較于淺層機器學習方法、單層深度學習模型和多層深度學習模型,利用RCNN-ABiLSTM模型對運行條件復雜和故障模式多變的多維機械設備監測數據進行處理,能夠準確尋找到退化時間點,提高設備的使用安全性。