一種基于MSDCNN-LSTM的設備RUL預測方法

劉暢, 陳雯柏

(北京信息科技大學 自動化學院, 北京 100192)

預測與健康管理系統(prognosis and health management,PHM))旨在通過模型和算法監測、預測和管理系統的健康狀態。如今設備朝著大型化、復雜化方向發展，故障問題不可避免。作為PHM的核心研究問題之一，剩余壽命預測(remaining useful life,RUL)可以為設備建立最佳維護策略提供決策支持[1]。

對于復雜的系統，例如渦輪發動機，由于其結構復雜，故障模式多種多樣以及操作條件的不確定性，難以建立物理失效模型[2]?；跀祿寗拥姆椒o需先驗知識和復雜的物理建模過程[3]，逐漸成為RUL預測的主流方法。通過分析設備的傳感器監測數據，從而挖掘設備性能下降的內在規律。

機器學習具有強大的函數映射能力和數據處理能力，在基于數據驅動的RUL預測中得到了廣泛應用，如支持向量回歸(support vector regression,SVR)[4]，深度置信網絡(deep belief network,DBN)[5]和深度可分離卷積網絡(deep separable convolutional network,DSCN)[6]的預測方法。然而這些方法沒有很強的特征提取能力。Babu等[7]首次嘗試使用卷積神經網絡(convolutional neural network,CNN)預測發動機的RUL，提高了自動提取多維特征的能力。然后，Li等[8]通過使用深度CNN(DCNN)結構以及時間窗口數據處理來提高預測精度。為了使CNN模型學習更詳細的特征，Li等[9]提出了具有不同卷積核大小的DCNN(MS-DCNN)。但是，這些方法忽略了傳感器狀態監測數據的時間相關性。

對于時間序列的學習，LSTM網絡使用門控機制和遞歸單元結構，具有很強的信息存儲能力，同時也避免了遞歸神經網絡的梯度消失問題。Zheng等[10]通過LSTM模型來預測航空發動機的RUL。 由于時間序列中的隨機性和非平穩性，僅LSTM網絡無法獲得更好的結果。所以Kong等[11]提出CNN和長短時記憶網絡(long short-term memory,LSTM))融合的算法，來學習空間時間特征。Xia等[12]提出了一種基于卷積雙向長短時記憶且具有多個時間窗口的整體框架(MTW CNN-BLSTM ensemble)。但是對于高維空間數據的潛在特征和有效信息提取能力不足，RUL預測受到模型精度的影響。

因此，本文提出了一種基于多尺度深度卷積神經網絡和長短時記憶網絡融合(multi-scale deep convolutional neural network and long short-term memory,MSDCNN-LSTM)的剩余壽命預測方法來提高預測精度。首先通過最小-最大標準化和滑動時間窗口處理原始傳感器監測數據；然后MSDCNN模型對處理后的數據進行不同尺度特征學習，LSTM增強了設備退化期間時間序列的記憶能力，并實現RUL預測；最后在商用模塊化航空推進系統仿真(commercial modular aero-propulsion system simula-tion,C-MAPSS)數據集上證明了所提出方法的有效性。

1 MSDCNN模型

CNN有局部感知和參數共享的特點，在特征提取方面有很大的優勢。用于監測設備運行狀態的多個傳感器采集到的數據包含大量信息，因此使用MSDCNN來提取更多詳細特征。MSDCNN由多層MSCNN組成。一維MSCNN結構圖如圖1所示。

圖1 一維MSCNN結構圖

在本研究中,輸入數據是二維向量,用長和寬表示:長為特征數量,寬為每個特征的時間序列。二維數據經過時間窗口處理后,得到的每個樣本尺寸表示為(Nw,m),其中Nw表示窗口大小,m表示特征數量。一維多尺度卷積層包括與輸入樣本卷積的多尺度卷積核和生成的特征映射圖。一維卷積核是二維向量,長為設置的不同尺度卷積核F1,F2,F3,寬與輸入數據的寬度相同(m),卷積核的個數均為Fn。F1,F2,F3同時對輸入數據沿時間序列方向進行卷積操作,步長為1。為了使多尺度卷積后的輸出保持相同的維度,使用了零填充的方法。在卷積操作后均使用激活函數來增加模型的非線性。每個尺度的卷積操作表示為

(1)

式中:φ表示非線性激活函數;wu,v和bu,v分別表示第u個尺度中第v個的卷積核的權重和偏置項。

每個尺度的卷積核得到的特征圖可以表示為

(2)

最后每個尺度得到的特征圖拼接在一起作為下一層的輸入。因此,每個樣本經MSCNN模型處理,得到的輸出尺寸為(Nw,Fn×3)。MSCNN模型的多尺度結構,可以對空間不同尺度特征提取,以便獲取更詳細的特征。

2 LSTM模型

LSTM模型適用于處理時間序列信息,廣泛用于機器學習,語音識別和自然語言處理等領域[13]。LSTM模型可以更好地學習時間序列長短期之間的關系,它由輸入層、隱藏層和輸出層組成,有3個門控單元和記憶單元,如圖2所示。

圖2 LSTM結構圖

當前的臨時記憶單元

(3)

記憶單元:此刻保留著重要長期記憶的細胞狀態

(4)

輸入門:有選擇地將新信息記錄到單元中

it=σ(wxixt+whiht-1+wcict-1+bi)

(5)

遺忘門:選擇性地遺忘單元狀態中的信息

ft=σ(wxfxt+whfht-1+wcfct-1+bf)

(6)

輸出門

ot=σ(wxoxt+whoht-1+wcoct-1+bo)

(7)

輸出

ht=ot·tanh(ct)

(8)

式中:σ表示sigmoid激活函數;wxc,whc,wxi,whi,wci,wxf,whf,wcf,wxo,who,wco表示權重;bc,bi,bf,bo表示偏置項。LSTM中包含很多神經元,神經元彼此交換信息以實現時間連接以提取數據的時間依賴性特征,并在每一層后面添加激活函數。此外,每個神經元的輸出不僅在下一刻循環進入自身,還與其他神經元共享。使用Adam優化算法更新模型的權重。最后,在LSTM模型后添加一個神經元,代表RUL的輸出值。

3 基于MSDCNN-LSTM的剩余壽命預測方法

3.1 數據處理

多個傳感器監測到的數據維度高,具有不同量綱,所以首先使用最小-最大標準化方法將數據統一到[-1,1]的范圍內。假設傳感器監測到的數據為X=[X1,X2,…,Xi,…,Xn]∈Rm×n,其中m為傳感器的數量,n為時間序列的長度。設備運行到第i個周期時對應m維傳感器測量值可以表示為Xi=[xi,1,xi,2,…,xi,j,…,xi,m]∈Rm×1。每個測量值xi,j經過最小-最大標準化處理[14],可以表示為

(9)

標準化后的數據經過時間窗口處理。由于監測數據是多變量時間序列,包含更多的信息。所以通過時間窗口的大小來確定輸入模型序列的尺寸,處理過程如圖3所示。大小為Nw的窗口沿著時間序列滑動,每滑動一個單元將會反饋滑塊內的數據,這些數據作為預測模型的輸入。

圖3 滑動時間窗口

在數據處理過程中,時間窗口得到的數據之間的連接可以表示為[8]

Xi:i+Nw-1=xi?xi+1?…?xi+Nw-1

(10)

式中:Xi:i+Nw-1表示從第i個時間周期開始的長度為Nw的序列;?表示窗口內每行數據的連接,形成一個長序列。因此,預測模型的輸入尺寸是Nw×m,為了得到更多的數據,滑動窗口的步長設為1。

3.2 MSDCNN-LSTM融合模型

經過時間窗口處理得到的多維傳感器數據作為MSDCNN-LSTM融合模型的輸入,融合模型流程如圖4所示。MSDCNN和LSTM同時對輸入數據進行處理,其中MSDCNN由3層MSCNN組成。每一層MSCNN通過設置不同大小的卷積核可實現多尺度特征提取,然后整合到一起作為下一層的輸入。Flatten將MSDCNN-LSTM模型處理后的多維數據一維化,最后設置Dense層為一個單元,代表輸出的RUL值。

圖4 MSDCNN-LSTM流程圖

3.3 減少過擬合

減少過擬合主要體現在兩部分:在融合模型中添加L2正則化項和在驗證集中使用early stopping方法。由于模型參數多,樣本數量少,在訓練集上訓練好的模型其泛化能力較差。L2正則化是基于L2范數,可以有效解決過擬合問題。在每一個多尺度卷積層和LSTM層加入L2正則化,公式表示為[9]

(11)

式中:Co表示RMSE損失函數;λ為正則項系數;w為權重;n為權重參數的數量。

同時,取訓練集后5%的數據作為驗證集,early stopping用于在驗證集上驗證模型的性能。實驗設置當驗證誤差在連續10個Epoch沒有下降趨勢時,訓練過程將通過early stopping提前終止。

4 實驗結果及分析

4.1 實驗數據集及設置

本文實驗在配置為Intel(R) Xeon(R) CPU E5-2620 v4 @ 2.10 GHz.NVIDIA GeForce TITAN XP的服務器上進行。使用C-MAPSS數據集來驗證所提出的方法。C-MAPSS數據集根據操作條件和故障模式分為FD001,FD002,FD003和FD004 4個子集,如表1所示。每個子集分為訓練集和測試集,其中FD002和FD004有6個操作條件,FD003和FD004有2個故障模式。并采用分段線性函數表示真實RUL值,最大剩余壽命值設為125。

表1 C-MAPSS數據集

RMSE為對稱函數,對于超前和滯后效果是一樣的。然而Score函數是非對稱函數,它對滯后預測更為敏感,因為滯后預測通常會帶來更嚴重的后果,所以給予比超前預測更強的懲罰。因此,使用這2個指標可以全面衡量算法的性能。Score和RMSE的值越低,模型的預測能力越好。

4.2 預測模型結果

觀察到FD001子集內有7個傳感器數值無變化。為了節省計算資源,剔除無意義的數據,得到14個傳感器為2,3,4,7,8,9,11,12,13,14,15,17,20,21。

多尺度卷積核的大小對實驗精度有重要影響,本文使用了3種尺度的卷積核,經過大量實驗,當中間卷積核為大小為12時可以取得較好結果。為了驗證卷積核大小對實驗結果的影響,以12為中心,公差為d,d=0,1,2,3,4,5,6,7,在FD001數據集上進行對比實驗。如圖5所示,橫軸為卷積核之間的公差,縱軸為2種評價指標RMSE和Score,可以看出,當d=5時,RMSE和Score均取得了最小值,因此本實驗選擇的多尺度卷積核大小分別為7,12和17。

圖5 卷積核大小對預測結果的影響

為了證明提出的MSDCNN-LSTM融合模型的有效性,以FD001數據集為例進行分析。模型具體的參數設置見表2。

表2 MSDCNN-LSTM模型參數

圖6展示了FD001數據集上隨機選出4個引擎單元的預測結果。由圖可以看出MSDCNN模型其多尺度結構能夠有效提取發動機退化的詳細特征,即使剛開始運轉時難以預測,預測值也更接近于設置值125。隨著運行周期的增加,LSTM可以有效獲取時間序列前后之間的關系。結合二者優勢,融合模型同時在時間和空間上學習特征,從圖中可以看出其預測趨勢穩定,能夠較好地擬合真實退化曲線,有效地提高了RUL預測精度。所以提出的模型有較強的空間詳細特征提取能力并增強了時間序列的記憶能力。

圖6 FD001中4臺發動機的RUL預測結果

為了比較模型在全部測試集上的預測效果,圖7給出了FD001測試集上所有引擎單元根據RUL值從小到大排序后的預測結果。由圖可以看出,發動機剛開始運轉時,RUL值較大,預測誤差也相對較大。在發動機經過長時間運行或將要發生故障時,退化信息較為明顯,預測性能顯著增強。提出的融合模型體現出較好的預測效果。

圖7 FD001中100臺發動機預測結果

圖8 預測誤差分布直方圖

圖8顯示了4個數據集的測試引擎誤差分布直方圖。橫坐標表示預測RUL與實際RUL之間的差值,縱坐標表示與誤差區域相對應的發動機的數量。FD001和FD003的預測誤差分布主要在[-20,30]之間,FD002和FD004預測誤差分布主要在[-40,40]之間。根據表1,數據集FD002和FD004包含了6個操作條件的數據,因此帶來更大的預測挑戰。由公式(12)可知Score對于滯后預測給予了更強的懲罰,誤差大于零部分值越大,得到的Score分數就越高,從圖可以看出本文提出的模型對于誤差大于零的部分提升效果明顯,因此能顯著降低Score值。

4.3 模型對比分析

為了證明提出的MSDCNN-LSTM融合模型的可行性，同近幾年的方法進行比較。與深度置信網絡(deep belief network,DBN)[5]、CNN[7]、LSTM[10]、DCNN[8]、CNN-LSTM[11]和MS-DCNN[9]方法對比結果如表3所示。

由表3可以看出，盡管MS-DCNN模型在子集FD001和FD003的RMSE上取得了更高的預測精度，但是所提出的MSDCNN-LSTM模型結果與其相差很小，并且在復雜多操作條件子集FD002和FD004上預測精度顯著提升。結果表明，所提出的融合模型對于故障模式和運行條件復雜的數據敏感，并可以有效提高RUL預測精度。這對于多維度故障特征越來越復雜的設備RUL預測具有重要意義。因此，所提出的方法在預測任務中非常有前景。

表3 C-MAPSS數據集上MSDCNN-LSTM與其他模型的對比結果

5 結 論

本文提出一種基于MSDCNN-LSTM的RUL預測方法，通過MSDCNN模型提取空間中不同尺度的詳細特征，并利用LSTM模型擬合復雜系統多傳感器數據的時序性和非線性關系，可以有效解決數據維度高和時間序列長期依賴的問題。在C-MAPSS數據集上，與其他最新方法比較，驗證了本文提出的方法對于航空發動機剩余壽命預測的有效性，尤其對于操作條件復雜的子集FD002和FD004提升效果明顯。

在未來，我們將提高模型在簡單數據集下的工作性能，使模型可以更廣泛地應用于更多操作系統。雖然模型的性能表現出很高的優勢，但在實際應用中數據丟包現象十分嚴重，非常有必要在小樣本的情況下進一步討論模型的預測能力，以實現工程應用的目標。