基于CDBN與BiLSTM的多元退化設備剩余壽命預測

牟含笑，鄭建飛,*，胡昌華，趙瑞星，董青

1. 火箭軍工程大學 導彈工程學院，西安 710025 2. 火箭軍裝備部駐西安地區第三軍事代表室，西安 710100

預測與健康管理(Prognostics and Health Management, PHM)技術通過實時監測的健康狀態信息評估設備的可靠性，預測設備的剩余壽命(Remaining Useful Life, RUL)，并在此基礎上制定合理的維修策略，從而保證設備安全可靠運行。對于工作在復雜環境下的多元退化設備，其退化過程往往可以由多個性能參量表征，因此需要根據多方面的狀態信息來評估其健康狀況，以免由于設備的潛在故障或安全隱患造成較大的生命財產損失。例如，發動機大部分故障都是由氣路部件故障引起的，而這些故障變化通常都會反映在氣路參數中，包括發動機在部分重要截面氣流的壓力、溫度、發動機轉速以及耗油率等參數。因此，僅依靠單一傳感器的監測數據并不能準確反映多元退化設備的健康狀態和性能退化趨勢，需要綜合考慮多個傳感器的性能監測數據，更全面地評估其健康狀態，為設備后續的運行規劃和維修決策提供支持。

為充分利用多元退化設備的監測數據，國內外研究人員在多源傳感器融合以及RUL預測領域做了大量研究。任子強等將多傳感器數據進行線性組合構造出一個復合健康指標(Health Index, HI)，進而采用線性維納過程對該HI進行退化建模。García Nieto等采用混合粒子群算法優化了支持向量機(Support Vector Machine, SVM)中的超參數，該組合方法提高了航空發動機RUL預測準確度。彭鴻博和蔣雄偉采用核主元分析算法提取了發動機的健康指數，并結合相關向量機進行預測，有效利用了反映發動機性能退化的低維信息。盡管統計數據驅動方法和傳統的基于機器學習的方法在RUL預測方面取得了不少成果，但均面臨難以自動處理大規模監測數據的難題。

深度學習由于具有強大的數據分析和學習能力，能更好地對多元退化設備監測獲得的大規模狀態信息進行深度特征提取，因而在PHM領域得到了快速發展。Li等提出使用深度卷積神經網絡提取退化特征，提高了航空發動機RUL的預測準確度。在鋰電池容量退化預測中，Zhang等在構造長短期記憶(Long Short-Term Memory, LSTM)網絡時采用dropout方法防止訓練過擬合，相較于SVM和循環神經網絡，LSTM網絡預測的準確性明顯提高。基于深度學習的RUL預測方法無需任何設備退化的先驗知識即可進行預測，但是，現有基于深度學習的RUL預測方法得到的結果通常僅為點估計而非區間估計，預測結果的不確定性無法衡量，因此無法直接應用于后續的維修決策。

鑒于此，融合深度學習和統計數據驅動的RUL預測方法得到了廣泛關注。Hu等提出在使用深度置信網絡(Deep Belief Network, DBN)提取反映軸承退化的HI后，進一步選用擴散過程進行分析，得到了軸承RUL的概率密度函數(Probability Density Function, PDF)。彭開香等提出了一種融合DBN和隱馬爾可夫模型的混合模型來計算設備RUL，實現了設備健康狀態的自動識別。上述方法通過深度學習提取高維非線性監測數據隱含的退化特征作為HI，進而利用傳統的退化建模方法來刻畫設備的退化趨勢，但其得到的HI沒有實際物理意義，對應的失效閾值難以確定，并且退化建模和參數估計的相關計算和推導也較為繁瑣。

在工程實際中，大型復雜多元退化設備的運行狀態通常受多種操作條件和環境變化影響，其相關先驗知識匱乏且獲取代價昂貴，退化建模和推導較為困難。融合無監督和有監督的深度學習模型能更好地挖掘多元退化設備性能監測數據之間的時序關聯信息，從而提高RUL預測準確度。

連續深度置信網絡(Continuous Deep Belief Network, CDBN)是一種典型的無監督學習模型，其在DBN基礎上引入了獨立的高斯噪聲，可以更好地處理連續性輸入數據，減小重構誤差，并且能夠實現數據降維，適用于時間序列的深度特征提取階段。Xu等使用CDBN預測城市用水需求，相較于SVM等方法預測準確度明顯提高。喬俊飛等提出一種雙隱層CDBN，并應用于大氣二氧化碳預測問題，初步驗證了該網絡在工業應用中的可行性。盡管CDBN在連續性數據預測中展現了一定的優勢，但其長期預測性能較差，因此常與其他模型混合使用。

設備退化過程是一個在時間上具有前后依賴關系的連續變化過程，處理當前信息時也有必要整合未來的信息。雙向長短期記憶(Bidirectional Long Short-Term Memory, BiLSTM)網絡能夠以前向和后向2種方式捕獲數據間的動態依賴性，適用于時間序列的預測階段。Zhang等基于BiLSTM網絡處理由操作條件變化和環境干擾引起的不確定性，有效平滑了退化軌跡和預測結果?？凳貜姷忍岢鲆环N基于改進稀疏自編碼器和BiLSTM的滾動軸承RUL預測方法，提高了模型的收斂速度，并且降低了預測誤差。雖然BiLSTM具有強大的時序信息處理能力，但對多維數據的非線性擬合能力不足。

針對上述不足，本文研究了一種融合無監督和有監督的深度學習框架，提出基于CDBN與BiLSTM的RUL預測方法。引入無監督的CDBN能夠充分利用獲得的大規模、非線性、高維化連續性監測數據，對設備的多元退化狀態進行自動有效的深度特征提取，實現高維原始監測數據到低維退化特征的抽象表示，避免了人工特征提取的低效率以及所帶來的預測不確定性。通過提取的退化特征構造反映設備偏離初始健康程度的HI，進而輸入到有監督的BiLSTM網絡進行預測，能夠充分利用退化設備過去和未來的信息，從前向和后向2個方向捕獲HI序列間的動態依賴關系，從而提高RUL預測結果的準確性。這種組合方法無需推導構造的HI對應的失效閾值，并且能夠大幅提升計算和預測效率。在此基礎上，通過蒙特卡洛(Monte Carlo, MC)仿真技術對預測的RUL分布進行擬合，能有效解決常見深度學習模型中預測結果不確定性難以度量的問題，為后續健康管理提供可靠依據。

1 基于CDBN的健康指標構建

CDBN是一個多隱藏層的混合概率圖模型，由多個CRBM(Continuous Restricted Boltzman Machine)堆疊而成。通過無監督學習，可以更好地提取連續性輸入數據的深層特征，同時降低輸入數據維度。

1.1 CRBM基礎理論

連續受限玻爾茲曼機通過在可視層添加一個均值為0的高斯噪聲從而引入一個連續隨機單元。CRBM主要包括可視層、隱藏層以及層間連接，其層內無連接，具體結構如圖1所示。

圖1 CRBM結構示意圖Fig.1 Structure of CRBM

CRBM的可視層用于接收輸入數據，隱藏層用于提取特征，通過最小化對比散度(Minimizing Contrastive Divergence, MCD)算法將隱藏層數據重構回可視層，計算輸入數據與重構數據之間的誤差，根據誤差值調整網絡參數，通過逐層訓練對原始數據特征進行深度挖掘。以下用同一符號表示可視層和隱藏層神經元的狀態，令表示神經元的輸出，為其他神經元對神經元的輸入，則可表示為

(1)

式中：函數的表達式為

(2)

該函數表示漸近線在和處的sigmoid函數，參數決定sigmoid曲線的斜率，即噪聲控制項，為神經元的所有輸入，表達式為

(3)

其中：為CRBM的連接權重；為常數項；(0,1)表示均值為0、方差為1的高斯噪聲，其概率分布為

(4)

CRBM采用MCD算法進行連接權重和噪聲控制項參數的迭代更新：

(5)

(6)

1.2 CDBN構造健康指標

本文以2個CRBM為例，相應的CDBN結構如圖2所示。CDBN訓練過程中，從左至右每相鄰2層神經元作為一個CRBM，上一層CRBM的輸出作為下一層CRBM的輸入。對于單個CRBM，當隱藏層神經元個數小于可視層神經元個數時，可實現數據降維。將多元退化設備的性能監測數據經預處理后輸入CDBN，通過MCD算法逐層確定每個CRBM的連接權重和噪聲控制參數，進而基于式(1)計算各層神經元的狀態，充分挖掘設備運行期間的退化狀態信息。

本文將多元退化設備的監測數據代入CDBN網絡進行訓練，提取設備初始健康特征和退化特征，構造出衡量設備退化偏離初始健康狀態程度的HI如下：

(7)

式中：為實時退化特征；為初始健康特征；為HI序列長度。

圖2 CDBN結構示意圖Fig.2 Structure of CDBN

為了有效評價本文與其他方法構造的HI，采用文獻[21]所提魯棒性和趨勢性指標對HI進行性能度量。

1) 魯棒性

由于測量不確定性、退化過程的隨機性以及設備運行狀態受環境影響產生的變化，HI曲線通常包含隨機波動。因此，性能較好的HI應該對這些干擾具有較強的魯棒性，記為

(8)

2) 趨勢性

設備隨運行時間累積而逐漸退化，因此，設備的退化特征與運行時間相關。本文用HI和時間之間的相關系數衡量其趨勢性，記為

(9)

式中：為設備運行時間；為當前監測時刻。

由式(8)和式(9)可以看出，衡量HI魯棒性和趨勢性的評價指標取值范圍為[0,1]，與所構造HI的性能呈正相關。

2 基于BiLSTM網絡的時間序列預測

BiLSTM由前向LSTM和后向LSTM共同構成，前向LSTM獲取輸入序列的過去信息，后向LSTM獲取輸入序列的未來信息，因此能夠更加深入的挖掘設備監測數據所包含的時序信息。

=(·[-1,]+)

(10)

=(·[-1,]+)

(11)

(12)

(13)

=(·[-1,]+)

(14)

=?()

(15)

式中：、、、分別表示遺忘門、輸入門、輸出門和單元狀態的權重矩陣；、、、分別表示遺忘門、輸入門、輸出門和單元狀態的偏置；和分別是sigmoid激活函數和tanh激活函數。

(16)

(17)

(18)

圖3 LSTM結構示意圖[25]Fig.3 Structure of LSTM[25]

圖4 BiLSTM結構示意圖Fig.4 Structure of BiLSTM

3 基于CDBN與BiLSTM的RUL預測

考慮到一類監測數據呈現大規模、非線性、高維化等特點的多元退化設備，本文提出一種基于CDBN與BiLSTM網絡的剩余壽命預測方法，主要分為2部分，第1部分是利用CDBN對監測到的退化數據進行無監督深層特征提取，構造出反映設備退化的HI；第2部分是根據構造的HI，利用BiLSTM網絡挖掘其時序信息和退化趨勢，預測多元退化設備的RUL。多元退化設備的RUL預測流程如圖5所示。具體步驟為

1) 數據預處理

圖5 CDBN-BiLSTM預測模型Fig.5 CDBN-BiLSTM prediction model

在工程實際中，由于受到外部擾動，多元退化設備獲得的性能監測數據往往包含大量隨機噪聲，而數據濾波是去除噪聲還原真實數據的一種數據處理技術。本文采用卡爾曼濾波對原始數據進行降噪處理，以提高數據的平滑度。

多元退化設備基于多個傳感器進行性能監測，獲得的監測數據表示不同的物理特性。為得到更好的神經網絡訓練結果，需要對監測數據進行歸一化處理。由于CDBN要求輸入數據的范圍為[0,1]，本文采用min-max歸一化方法對降噪后的數據進行處理，將數據縮放至0～1之間，保留數據間的時空關系，具體公式為

(19)

式中：,()為第個設備中第個傳感器在時刻的監測數據；min(:,)和max(:,)分別表示第個傳感器所有時刻數據的最小值和最大值；′,()為歸一化后的值。

2) 健康指標構建

將經過預處理的數據集輸入CDBN網絡進行無監督特征提取，通過調整超參數使重構誤差最小，得到初始健康特征和退化特征，利用式(7)構造反映設備退化偏離初始健康狀態程度的HI。

3) 滑動時間窗處理

滑動時間窗處理技術不僅可以將原始時間序列數據轉換為所需的序列數據，而且能夠保留原始時間序列數據的局部依賴性。為滿足BiLSTM網絡對輸入數據的要求，利用滑動時間窗處理HI，得到反映設備退化趨勢的時間序列訓練集和測試集。

4) RUL預測

將訓練集輸入BiLSTM網絡進行訓練，其輸出與樣本標簽進行對比，將每次迭代得到的輸出誤差進行反向傳播從而更新BiLSTM門控節點的權重矩陣，最后得到訓練好的網絡模型。其中，訓練標簽為每組時間序列的下一個監測點所對應的RUL。將測試集代入訓練好的BiLSTM網絡，得到RUL的預測結果。

5) RUL區間估計

RUL的不確定性度量對于保障設備安全有效運行至關重要，貝葉斯神經網絡方法假設神經網絡模型內部連接權重為服從某一分布的隨機變量而非固定系數，利用貝葉斯理論確定權重后驗分布，通過權重的隨機性刻畫出預測結果的不確定性。文獻[29]已經證明，使用dropout的傳統深度學習模型等價于對應的基于變分推斷的貝葉斯深度學習模型，主要公式及說明如下：

(20)

貝葉斯神經網絡通過隨機化權重系數來刻畫預測結果的不確定性，然而在實際中，由于神經網絡結構通常比較復雜，權重系數的后驗分布(|,)難以直接求得，需要根據變分推斷思想構造一個近似分布()來逼近該后驗分布，并通過最小化KL散度來確定最優的近似變分分布，基于此得到的目標函數為

(21)

綜上，本文基于文獻[29]的結論，在所提網絡模型中引入dropout，等價實現模型隨機權重系數變分推理過程，并通過MC仿真技術得到由隨機權重系數引入的RUL預測結果不確定性。

6) 性能度量

為了衡量所提預測模型的優劣，本文選取常用的2個性能度量指標：評分函數(Scoring function, Score)和均方根誤差(Root Mean Square Error, RMSE)對RUL預測效果進行評價。

Score的計算公式為

(22)

式中：=RUL′-RUL，RUL′為RUL預測值，RUL為RUL真實值。

RMSE可以衡量全測試循環數據序列的預測結果，其計算公式為

(23)

一般而言，Score和RMSE的數值越小意味著預測效果越好。

4 實例驗證

航空發動機作為提供飛機動力的關鍵設備，對于航空器的正常運轉起著至關重要的作用。相關事故調查統計結果表明，發動機故障是導致飛機飛行事故的主要原因之一。因此，對發動機的健康狀態進行監測與評估，并對其進行準確地RUL預測是保障飛行安全的重要手段，也是飛機健康管理的關鍵環節。航空發動機結構復雜，狀態監測變量類型多，獲得的監測數據維度高、數量大，屬于一種典型的多元退化設備。因此，本文以航空發動機數據集為例，對所提的基于CDBN與BiLSTM的多元退化設備剩余壽命預測方法進行驗證。

4.1 數據集描述

CMAPSS數據集是由NASA經過仿真實驗獲取的發動機從正常運行至失效的性能退化數據集，共有發動機在不同工作狀態和故障模式下的4組監測數據，其中包含了21個能夠表征航空發動機工作狀態的典型指標。每組數據包括訓練集、測試集以及RUL標簽3部分，訓練集為發動機的失效數據，測試集為測試發動機的退化數據，RUL標簽與測試集相對應，為每個測試發動機最后監測時刻的RUL，具體信息如表1所示。

表1 CMAPSS數據集Table 1 CMAPSS dataset

4.2 實驗過程及結果分析

本文選取FD001數據集進行實驗，訓練集和測試集分別包含100臺發動機的狀態監測數據，篩選出14個變化較明顯的變量數據作為輸入，進行濾波及歸一化處理，代入CDBN網絡提取發動機退化特征，并通過式(7)計算得到HI，進而輸入BiLSTM網絡進行RUL預測。通過設置dropout，得到由隨機權重系數引入的預測不確定性，最后通過MC仿真得到區間估計結果。CDBN與BiLSTM網絡的主要參數設置如表2所示。

表2 CDBN與BiLSTM網絡參數Table 2 Parameters of CDBN and BiLSTM network

4.2.1 CDBN提取健康指標

本文采用CDBN來融合多傳感器的監測數據，實現設備的深層退化特征提取，具體過程如下：

假定航空發動機的原始監測數據經濾波以及歸一化后可表示為=[,,…,]，其中，(0≤≤)表示CDBN第輸入神經元的特征序列，為輸入特征的總數。本文選擇有變化的14個變量，將這些特征當作CDBN的輸入，采用MCD算法，即式(5)和式(6)逐層確定每個CRBM的模型參數，然后基于式(1)可計算出CDBN各層神經元的狀態。換句話說，可實現對輸入數據的完美抽象表示，即通過多重CRBM可自動提取出反映設備健康狀態的深層次特征。因而，CDBN的輸出可視為輸入數據的深層次特征，可表示為=[,,…,]，其中，(0≤≤)表示CDBN第輸出神經元的特征序列，為CDBN輸出神經元總數。本文設置的CDBN網絡結構為14-7-1，通過堆疊2個CRBM進行自動特征提取，可以將輸入的14維數據映射到1維的深層退化特征，實現了對多傳感器數據的融合。

在構造的CDBN中，具體參數設置如表2所示時重構誤差最小。此時通過無監督訓練，將輸出的退化特征與初始健康特征按式(7)處理得到發動機HI。圖6為100臺發動機訓練集和測試集數據構建出的HI，刻畫發動機隨著運行周期的增加偏離初始健康狀態的程度。從圖中可以看出，在性能退化前期，HI變化較慢，而隨著運行時間的累積，HI偏離初始健康狀態的速率逐漸加快，與實際設備的運行退化趨勢相符。

本文選用魯棒性和趨勢性2種指標來評價所構造HI的優劣，對比了主成分分析(Principal Component Analysis, PCA)、DBN和本文所提方法CDBN，測試集平均評價指標結果對比如表3所示。可以看出，通過CDBN提取的HI，魯棒性和趨勢性均優于其他常用的降維方法，因此能更好地挖掘性能監測數據中隱含的設備退化深層特征。

圖6 CDBN提取的健康指標Fig.6 Health index extracted by CDBN

表3 HI評價指標對比Table 3 Comparison of HI evaluation indexes

4.2.2 BiLSTM預測剩余壽命

發動機各性能監測變量在退化初期均變化較小，因此提取的HI在退化初期變化也比較緩慢。為了提高模型預測的準確性，假定設備在運行初期無退化，將設備RUL標簽設為分段線性，最大值設為發動機的平均壽命125。由于1號發動機僅有31個測試循環，將滑動時間窗設置為30。為防止過擬合，同時，得到由隨機權重系數引入的RUL預測不確定性，將dropout設置為0.2，MC仿真的采樣次數設置為1 000次。具體網絡結構參數設置如表2所示，此時得到的Score和RMSE最小，因此基于以上網絡參數得到測試集RUL預測結果。為便于觀察，根據測試數據集中各發動機最后監測點處RUL標簽值，按照從大到小順序排列，可得如圖7中的預測結果。

圖7 100臺發動機RUL預測結果Fig.7 RUL prediction results for 100 engines

圖7中，綠色線為100臺發動機的真實RUL，粉色線為經過分段線性處理后的RUL標簽，通過MC仿真技術對預測結果進行區間估計，得到預測RUL的均值為圖中藍線所示，并給出了預測結果95%的置信區間。由圖7可以看出，本文所提方法的RUL預測均值與真實RUL基本吻合，預測結果的95%置信區間基本能覆蓋真實RUL，并且置信區間的寬度隨著發動機真實RUL變小而有逐漸變窄的趨勢。這是因為發動機隨著運行時間的累積，故障特征逐漸增強，其退化特征和趨勢能更好地被所提網絡捕獲，因此預測結果更好。

在設備退化初期，由于性能監測數據較少，預測的RUL均值與真實RUL之間存在一定偏差。表4給出了測試集中不同監測數據量下4臺發動機的RUL預測結果，結果表明，獲得的監測數據越充分，退化趨勢越明顯，本文所提方法的預測效果越好。此外，本文通過MC仿真技術給出預測RUL的95%置信區間，可以幫助運維人員對預測結果的可信度進行衡量。

本文對比了文獻[8,12,32-33]與所提方法的預測效果，結果如表5所示。相較于淺層機器學習方法SVR和單一有監督的深度學習模型CNN、Deep LSTM以及DCNN，文獻[12]中提出的混合預測模型Semi-supervised setup效果更好。本文所提方法CDBN-BiLSTM考慮到融合無監督與有監督學習模型的優越性，結合CDBN和BiLSTM網絡的優勢，預測結果得到進一步改善。

表4 不同監測數據量下RUL預測結果對比

表5 不同方法RUL預測結果對比

為進一步觀察本文所提方法的預測結果，圖8 給出了部分測試發動機的全測試循環RUL預測結果。由于發動機的性能退化狀態與實時有效的監測數據有關，監測數據越全，預測效果越好，因此這里選取測試循環比較多的4臺發動機實例，分別為第24臺、34臺、76臺和第100臺，給出其一次全測試循環的RUL預測結果。

圖8 單個發動機RUL預測結果Fig.8 RUL prediction results for single engine

由圖8可以觀察到，盡管在測試循環前期預測值與實際RUL之間存在一定誤差，但隨著發動機單元運行時間的累積，本文所提方法的預測結果較準確，具有一定的工業參考價值，因為對發動機的后期狀態進行準確評估，可以有效保障飛機的飛行安全，降低運行維護成本。

圖9和圖10分別給出了第76臺發動機和第100臺發動機通過MC仿真技術得到的最后6個監測點處RUL的PDF，以及RUL預測全測試循環95%置信區間?？梢钥闯?，隨著設備運行周期的增加，故障特征不斷增強，本文所提預測方法的預測效果較好，并且得到的區間估計結果能為后續的健康管理環節提供依據。

圖9 76號發動機RUL區間估計Fig.9 RUL interval estimation for No.76 engine

圖10 100號發動機RUL區間估計Fig.10 RUL interval estimation for No.100 engine

5 結 論

針對一類監測數據呈現大規模、非線性、高維化等特點的多元退化設備，本文提出了一種基于CDBN與BiLSTM網絡的剩余壽命預測方法。該方法充分利用了監測獲得的性能退化數據，能更好地挖掘多元退化設備的退化趨勢，提高RUL預測準確度。通過在CMAPSS數據集進行驗證并與其他文獻所提方法對比，可以得到以下結論：

1) 本文基于CDBN對監測到的性能退化數據進行分析，提取反映多元退化設備隱含深層次特征的HI，實現了高維原始監測數據到低維退化特征的抽象表示，與常用降維方法相比，通過本文方法提取的HI魯棒性和趨勢性更好。

2) 在RUL預測階段，本文利用BiLSTM網絡挖掘所構造HI的時序信息，并通過MC仿真技術得到了RUL的區間估計，可獲得更精確的RUL預測結果及分布形式，該結果可直接用于發動機后續的運行規劃、維修決策等健康管理活動中。

本文通過CDBN實現對監測數據的無監督特征提取，在未來的研究中，將考慮構建一種新的網絡模型，通過不同的無監督學習模型提取多個健康指標來反映設備的健康狀態，并基于這些健康指標開展多個退化規律融合，以及多個判決準則與所提模型融合的相關研究，以進一步有效利用獲得的監測數據，提取多元退化設備的深層退化特征，從而提高剩余壽命預測結果的準確性。