基于工況聚類和殘差自注意力的發動機剩余使用壽命預測

趙洪利 張奔 張青

摘 要：針對多工況的航空發動機剩余使用壽命（RUL）預測精度較低的問題，本文提出了一種基于工況聚類分析和殘差自注意力的發動機剩余使用壽命預測方法。首先，通過聚類將不同的工況進行劃分，并構建線性回歸分析模型篩選出符合發動機性能變化的退化參數；其次，通過卷積神經網絡，獲取數據中隱含的發動機性能退化特征；再次，利用雙向長短期記憶神經網絡挖掘時序退化特性并對其進行記憶；最后，結合殘差自注意力機制對退化特征分配不同的權重來實現發動機剩余使用壽命預測。在美國國家航空航天局（NASA）的 C-MAPSS多工況數據集上進行了消融試驗，驗證了該方法的有效性。結果表明，該方法評分和均方根誤差均最優，可為發動機剩余使用壽命預測提供一定的參考。

關鍵詞：多工況； 航空發動機； 剩余壽命預測； 聚類分析； 殘差自注意力

中圖分類號：V239 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2023.04.004

基金項目： 中國民航大學試驗技術創新基金項目（2021CXJJ90）；中央高校基本科研業務費中國民航大學專項（3122021049）

人工智能轉型時期的飛行安全作為國家空中運輸安全的重要組成部分，事關空中安全保障，也是國家發展經濟的前提。在飛行安全保障體系中，航空發動機是保證航空運輸安全的關鍵。剩余使用壽命（RUL）預測是發動機預測與健康管理（PHM）的一項重要技術[1]，預測算法的目標是在設備失效前獲得其剩余使用壽命，從而實現理想的維修策略。科學可靠的RUL預測結果，可以為決策者提供有價值的參照信息，以采取適當的維護策略，避免發動機意外停機從而帶來不可估量的嚴重后果。

RUL預測最常用的方法一般有兩類：基于模型的方法和基于數據信息驅動的方法。建模的辦法就是結合機械設備故障之后的物理原理，運用先驗知識來建立正確的數學模型，并預估其剩余使用壽命[2-4]。由于不同設備具有完全不同的失效機理，并且很多情況下設備的失效原理難以準確獲知，建立精確的模型十分困難，所以這種方法很難推廣。目前使用比較普遍的是基于數據驅動的方法，其中，深度學習模型可以有效地處理復雜非線性系統問題，挖掘數據內在的映射關系，近年來成為壽命預測領域的熱點。Li等[5]提出了一個由5層二維卷積層組成的深度卷積網絡（DCNN）來預測發動機的RUL，通過深度的卷積框架實現多次非線性變換，以此來捕獲更為高級的抽象特征；Mo等[6]提出了一個以Transformer編碼器為主的預測模型，以捕獲發動機時間序列中短期和長期的依賴關系，實現較為精準的RUL預測；Zhang等[7]提出了一種多目標深度置信網絡（DBN）來實現發動機的RUL預測；李浩等[8]采用堆棧自編碼器（SAE）提取壓縮數據特征，雙向長短期記憶神經網絡（BLSTM）挖掘數據時序特性以實現RUL預測；Chen等[9]采用核主成分分析（KPCA）對數據進行非線性特征提取，使用門控循環單元（GRU）優化循環神經網絡，解決梯度消失的問題，實現發動機RUL預測。

上述基于深度學習的航空發動機RUL預測的研究中，缺乏對多工況數據集的探討。工況是指飛機運行過程（起飛、巡航和降落等）中所處的環境狀況或者運行條件。飛機每天飛行都會經歷不同的工況，這些變化的工況不僅使發動機系統的退化過程復雜化，而且降低了神經網絡模型捕獲退化特征的能力。另外，航空發動機的運行數據呈多元時間序列，而且具有時間相關性，其中不同的時序特征在同一時間維度上存在不同的退化程度，某個子序列的退化程度高于其余子序列，以往的基于深度學習的航空發動機RUL預測研究中沒有考慮發動機不同數據的特征差異和退化程度。為此，本文建立了基于工況聚類分析和殘差自注意力機制的發動機RUL預測模型（CNN-BLSTM-Att）。通過對多工況數據集的聚類分析，消除復雜工況的變化對數據分析的影響；在CNN-BLSTM的模型中引入殘差自注意力機制，對重要的退化信息給予足夠的關注，從而降低其他無關部分的影響，輸出關鍵信息，達到更準確地預測航空發動機RUL的目的。

1 CNN-BLSTM-Att航空發動機RUL預測模型

1.1 CNN原理

卷積神經網絡（CNN）用來獲取序列信號的重要局部特性[10]。CNN的內核主要由兩個部分構成，即卷積層和池化層。卷積層利用滑動的濾波器窗口對輸入參數進行機器學習，然后利用共享的權值完成參數的更新，得到輸入數據的特征映射。池化層一個最重要的目的是對卷積運算后得到的特征映射進行降維，從而減緩內存的計算壓力。基本的CNN結構如圖1所示。

1.2 BLSTM原理

長短期記憶神經網絡（LSTM）是遞歸神經網絡（RNN）的一個優化結果。通過使用不同的門控機制來控制數據的傳遞，可有效克服發動機退化數據訓練過程中的梯度爆炸。雙向長短期記憶神經網絡（BLSTM）由兩個輸入相同但信息傳輸方向相反的LSTM組成[11]，分別為前向LSTM和后向LSTM。BLSTM結構圖如圖2所示。

1.3 殘差自注意力機制原理

殘差自注意力機制（Att）可為輸入信息的各個特征賦予不同的權重，為更相關的部分輸出更大的權重，從而減少其他不相關部分的影響 [12]。殘差自注意力機制同樣會將輸入的數據轉化為Q、K和V三個特征矩陣，分別代表信息、鍵和值，計算過程如圖3所示。

1.4 深度混合模型構建

本文提出的CNN-BLSTM-Att模型如圖4所示，主要由輸入層、CNN層、BLSTM層、Att層和全連接層構成。發動機退化參數是模型的輸入，利用在卷積層上的權值實現參數調整，得到退化數據的特征映射，再經過池化層進行降維處理；BLSTM層學習數據的時序退化信息；Att層對不同的退化信息分配不同的權值來強調重要信息，經全連接層輸出預測結果，完成壽命預測。

1.5 預測流程

基于工況聚類和深度混合模型的發動機RUL預測流程如圖5所示，具體操作步驟如下：（1） 首先，對CMAPSS[13]數據集進行預處理，包括發動機多工況數據的工況聚類分析、退化參數的篩選、退化數據的濾波、平滑處理和歸一化處理。（2） 在進行數據預處理之后，將滑動時間窗處理的二維特征矩陣分組，分別構成深度混合模型的訓練和測試的三維數據集，然后建立合適的健康閾值（剪輯響應）以及相應的RUL標簽。通過以上操作，基于深度混合模型的輸入與輸出數據構建完成。（3） 建立基于工況聚類的CNN-BLSTM-Att深度混合模型。（4） 在訓練階段，使用Adam算法基于訓練數據集來訓練深度混合模型；訓練數據集被隨機分成幾個小批量，并采用L2LOOS來約束損失函數中的權值；并在模型的計算過程中進行Dropout運算，用于防止深度混合模型訓練過程中的過度擬合。（5） 在最終的測試模型階段，使用訓練好的深度混合模型，基于測試數據集來預測每臺航空發動機的實時RUL，之后采用模型預測指標對其進行評估。

2 試驗

2.1 數據集描述

本文使用的是美國國家航空航天局（NASA）公開的渦扇引擎退化監測數據集（C-MPASS）[13]，見表1。有4個子數據集，每個子類都有不同數量的工況條件和故障狀態。

本試驗選用多工況（6種工況條件）的FD002數據集，該數據集進一步分為訓練子集和測試子集。每臺發動機包含三個工作狀況監測參數（飛行高度、馬赫數與推力桿角度）和21個性能監測參數，性能監測參數見表2。

2.2 數據預處理

2.2.1 航空發動機多工況數據的聚類分析

在FD002數據集中存在6種工況，并且工況的變化發生在每臺發動機運行階段的任何時期，從而使得各個工況下的性能監測參數混雜在一起，隨機選取10臺發動機的全壽命周期內原始性能監測參數進行可視化顯示，結果如圖6所示。

圖6選取了序號為2、3、4的傳感器參數，其中橫坐標代表完整的運行周期，縱坐標代表傳感器參數的變化量，不同顏色代表不同發動機的退化數據。由圖可見，在發動機運行周期內，由于工況的不斷變化，數據集2中的傳感器信號盡管變化幅度不盡相同，但是各個信號看起來十分相似，這些參數不能有效地顯現出退化趨勢，從而進一步增加了FD002數據集處理的復雜性。因此，為了能夠在連續的發動機運行周期內有效顯現出各個傳感器參數的退化信息，本文通過K-means聚合方式，對FD002的訓練數據和測試數據開展了數據分析，并通過歐式距離法計算每一數據與聚心之間的相似程度，將數據集以6種工況進行劃分。其劃分的6種工況直觀分布如圖7所示，6種工況的參數聚類劃分結果見表3。表3中，H為飛行高度，Ma為飛行馬赫數；TRA為推力桿角度。

隨機選取10臺發動機數據處理效果，如圖8所示。由圖可見，標準化處理后的數據消除了由不同工況穿插所造成的差異性，在連續的運行周期內，所選的三個發動機傳感器參數顯現出了比較明顯的退化趨勢。

2.2.2 退化參數篩選

21個性能監測參數的斜率大小如圖9所示，其中傳感器1和18的監測參數的模型斜率幾乎沒有變化，說明風扇進口溫度、風扇轉速命令值與多工況下的發動機退化過程最不相關，因此選取其余的19個性能監測參數作為CNNBLSTM-Att模型的輸入項。

2.2.3 退化數據濾波、平滑和歸一化處理

使用一維數字濾波器、局部加權回歸對所選的參數進行濾波與平滑處理，清除原始噪聲；歸一化采用Minmax縮放，將原始數據映射到[0，1]區間。隨機選取某臺發動機的T24、T50、p30、T30和NC歸一化數據進行可視化顯示，如圖10所示。

2.3 設置剪輯響應

在傳統的RUL估計目標值分配方法中，RUL隨時間線性減小。這個定義意味著系統的健康狀態隨時間線性下降。在實際應用中，組件或者系統的退化在開始使用時可以忽略不計，當組件或者系統接近RUL結束時，其衰退過程會加劇。為了更好地模擬發動機RUL的時變特性，采用分段線性模型更加符合其實際的退化過程[14]，并設置剪輯響應為125，如圖11所示。該模型將最大RUL值限制為恒定值，在運行一定程度后開始線性退化。

2.4 模型性能評價標準

為了評價多工況深度混合模型預測RUL的性能和可靠度，評估標準采用均方根誤差（RMSE）和評分函數（Score）。二者的定義分別如式（8）和式（9）所示

式中，T表示真實的RUL；P表示預測的RUL；N表示發動機數量。

2.5 模型訓練

基于圖4中的CNN-BLSTM-Att模型結構，對模型進行訓練，主要步驟有：（1）對FD002數據集的訓練集和測試集進行數據預處理，滑動時間窗口的大小設定為50，選取航空發動機的19個性能監測參數和每臺發動機的工作循環數作為時間窗的特征值，組成50×20的特征矩陣；（2）該特征矩陣在卷積層中做一維卷積運算，卷積層設置100個卷積通道，卷積步長設置為1，卷積核的尺寸為48×20，進行抽象特征提取，經過最大池化層，對提取的發動機性能退化抽象特征進行降維處理；（3）通過BLSTM學習其時序特征，設置BLSTM的隱藏層層數為4層，單元數為99個；（4）使用殘差自注意力機制，對輸入的數據特征賦予不同的權重，通過全連接層進一步輸出預測結果。其中，在最大池化層、雙向長短期記憶神經網絡和第一個全連接層后引入Dropout技術，且大小為0.3，可有效防止模型的過擬合現象。

針對多工況的航空渦扇發動機數據，本試驗方法可以消除多工況所帶來的影響，有效提取各個發動機傳感器參數中的退化特征；將殘差自注意力機制與深度學習相結合，捕捉航空發動機中不同部件之間的關鍵退化特征，最終得到航空發動機的RUL。每層的網絡輸出結果見表4。

2.6 試驗結果分析

本文提出的模型（基于工況聚類分析的CNNBLSTM-Att）RMSE測試結果、模型訓練損失（LOSS）與迭代次數的關系如圖12所示。不同的顏色代表不同的模型性能指數，深灰色代表測試RMSE，紅色代表訓練LOSS；橫坐標代表模型的優化迭代循環次數，縱坐標表示不同模型性能指數的變化量。由圖可見，測試RMSE與訓練LOSS的變化趨勢基本一致，驗證了本文模型在訓練和測試過程中具有較好的魯棒性，實現了模型訓練與測試的一致性。隨著迭代循環次數的增加，其測試RMSE和訓練LOSS逐漸下降，當迭代循環次數達到370次時，測試RMSE和訓練LOSS趨于平緩，輸出了穩定的預測結果。

本文采用消融試驗，基于FD002與FD004多工況數據集驗證了采用工況聚類分析和殘差自注意力機制方法的有效性。試驗中主要對比了4種不同的模型：CNN-BLSTM網絡（模型1）、CNN-BLSTM-Att網絡（模型2）、基于工況聚類分析的CNN-BLSTM網絡（模型3）和本文提出的模型（模型4）。試驗結果見表5。

從消融試驗的結果來看，在FD002和FD004的兩組不同的數據集中，模型4的RMSE和Score值最低預測效果最好。為了更直觀地分析不同模型的預測效果，將FD002數據集中4種模型的實際值與預測值之差的誤差正態分布圖進行可視化分析，如圖13所示。

橫坐標代表4種不同的模型結構，縱坐標代表實際值與預測值的誤差區間，每個模型中的曲線表示誤差的正態分布情況。由圖可見，模型1的誤差分布相比于其他三個模型最為分散，誤差值主要聚集在（-40，40）的區間范圍內，并且總體誤差范圍也最大，在（-70，110）的區間范圍內，由此說明模型1的預測精度最低；模型4的誤差區間相比于其他三個模型聚集最為集中，誤差值主要聚集在（-10，10）的區間范圍內，并且模型4的總體誤差范圍也相對較小，因此在4個不同的模型中其預測精度最高。

圖14展示了模型4和模型2，雙方均為同一模型結構的前提下，在FD002的數據中發動機RUL預測的對比結果，以此來驗證采用工況聚類分析的有效性。為了便于觀測和分析，將測試集中的發動機按真實RUL標簽從大到小進行排序。橫坐標代表FD002測試集中的259臺發動機，縱坐標代表各發動機對應的RUL。黑色的線代表發動機真實的剩余使用壽命。由圖14可知，基于工況聚類分析的模型預測的發動機RUL預測值與實際值更為接近，尤其是在RUL值較小的區域中，預測的準確性更高。這是因為考慮了發動機多工況下退化趨勢不明顯的問題，采用工況聚類分析減少了工況的變化對發動機RUL預測的影響；并且對于處理之后的數據，當發動機接近故障臨近狀態時，其故障特征會提高，因此更容易被網絡層所捕獲以便去學習發動機的退化特性，實現更好的預測效果。

為了深入評估本文模型的穩定性能，并驗證采用殘差自注意力機制的有效性，對模型4和模型3均進行工況聚類分析的前提下，在FD002測試集中對每臺發動機RUL的實際值與預測值的誤差進行可視化分析，如圖15所示。圖中橫坐標表示測試集中的259臺發動機，縱坐標表示發動機RUL真實值與模型預測值之差。當縱坐標大于0時，屬于提前預測，提前預測可能會導致額外的發動機維護成本；當縱坐標小于0時，則屬于滯后預測，滯后預測對于發動機運行有著巨大的安全隱患。因此，就發動機的退化狀況來說，提前預測要優于滯后預測。CNN-BLSTM-Att模型相比于CNN-BLSTM模型有著相對較小的滯后預測和提前預測，這是因為在CNN-BLSTM模型中融入殘差自注意力機制，將輸入的數據分為Q，K，V三個特征矩陣，并在計算過程中引入殘差連接來優化特征權重，通過縮放點積來計算各個內在數據之間的相似相關性，對發動機退化數據中的每個隱藏特征進行了區分，進一步輸出重要信息，有效提高了發動機RUL的預測精度。因此，基于工況聚類分析的CNNBLSTM-Att模型的預測結果更加符合發動機的綜合評估標準。

為了驗證本文提出的方法在航空發動機RUL預測領域的性能，與其他文獻在多工況數據上的預測結果進行比較。對比結果見表6，本文提出的方法在RMSE和Score評價指標上均優于其他方法，可以更有效地預測航空發動機RUL。

3 結束語

本文對多工況數據集的航空發動機RUL預測方法進行了深入研究，得到以下結論：

（1）對于多工況發動機數據不能在運行周期內顯現出退化趨勢的問題，可對工況進行聚類分析，依據聚類劃分的結果進行Z-score標準化處理，消除由工況不斷變化所帶來的差異性。這樣處理較好地減少了工況的變化對退化趨勢分析的影響，實現了對退化特征的深度挖掘，可以更有效地提高深度學習模型在多種工況下預測RUL的穩定性。

（2）針對傳統的深度學習模型，沒有考慮發動機性能退化數據中各個特性具有不同重要程度的問題，可導入殘差自注意力機制，給更重要的退化信息分配更大的輸出權重，以學習關鍵的退化特性和時序特征，可有效提高發動機RUL預測的精度。

參考文獻

[1]Lee J， Wu F， Zhao W， et al. Prognostics and health manage‐ment design for rotary machinery systems：Reviews， methodolo‐ gy and applications[J]. Mechanical Systems and Signal Pro‐cessing，2014，42（1-2）：314-334.

[2]Lei Y， Li N， Gontarz S， et al. A model-based method for remaining useful life prediction of machinery[J]. IEEE Transactions on Reliability，2016， 65（3）：1314-1326.

[3]葛怡.航空發動機幾種典型故障建模仿真與預測[D].西安：西安理工大學，2020. Ge Yi.Modeling simulation and prediction of several typical faults of aero-engine [D]. Xi’an： Xi’an University of Technology，2020.（in Chinese）

[4]趙琳，王藝鵬，郝勇.在軌飛輪故障診斷混合框架設計[J].光學精密工程，2018，26（7）：1728-1740. Zhao Lin， Wang Yipeng， Hao Yong. Design of hybrid frame for in-orbit flywheel fault diagnosis [J]. Optics and Precision Engineering， 2018， 26（7）：1728-1740. （in Chinese）

[5]Li X， Ding Q， Sun J Q. Remaining useful life estimation in prognostics using deep convolution neural networks[J]. Reliability Engineering & System Safety， 2018， 172：1-11.

[6]Mo Y， Wu Q， Li X， et al. Remaining useful life estimation via transformer encoder enhanced by a gated convolutional unit[J]. Journal of Intelligent Manufacturing， 2021， 32（7） ：1997-2006.

[7]Zhang C， Lim P， Qin A K， et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（10）：2306-2318.

[8]李浩，王卓健，李哲，等.基于堆棧自編碼器和DeepAR的航空發動機剩余壽命預測[J].推進技術， 2022，43（11）：72-80. Li Hao， Wang Zhuojian， Li Zhe， et al. Residual life prediction of aero-engine based on stack autoencoder and DeepAR[J]. Propulsion Technology， 2022，43（11）：72-80.（in Chinese）

[9]Chen J， Jing H， Chang Y， et al. Gated recurrent unit based re‐current neural network for remaining useful life prediction of nonlinear deterioration process[J].Reliability Engineering Sys‐tem Safety， 2019， 185：372-382.

[10]施立瑞，王帥帥，肖昊.面向航空目標檢測的神經網絡加速器設計[J].航空科學技術，2022，33（5）：89-96. Shi Lirui， Wang Shuaishuai， Xiao Hao. Design of neural net‐work accelerator for aeronautical target detection [J]. Aeronau‐tical Science & Technology，2022，33（5）：89-96.（ in Chinese）

[11]Liu H， Liu Z Y， Jia W Q， et al. A novel deep learning-based encoder-decoder model for remaining useful life prediction [C]// Proceedings of the 2019 International Joint Conference on Neural Networks （IJCNN）， 2019： 1-8.

[12]郭毅博，李舜堯，陳艷華，等.基于時間序列的飛機燃油測量方法[J].航空科學技術，2022，33（5）：63-68. Guo Yibo， Li Shunyao， Chen Yanhua， et al. Aircraft fuel measurement method based on time series [J]. Aeronautical Science & Technology，2022，33（5）：63-68.（in Chinese）

[13]Saxena A， Kai G， Simon D， et al. Damage propagation modeling for aircraft engine run-to-failure simulation[C]// 2008 International Conference on Prognostics and Health Management. IEEE， 2008.

[14]Yu W， Kim I Y， Mechefske C. An improved similarity-based prognostic algorithm for RUL estimation using an RNN autoencoder scheme[J]. Reliability Engineering & System Safety， 2020， 199：106926.

[15]韓光潔，史國華，緱林峰，等.一種用于航空發動機RUL預測的推理網絡模型[J].小型微型計算機系統，2022，43（6）：1217-1220. Han Guangjie， Shi Guohua， Gou Linfeng， et al. An inference network model for aero-engine RUL prediction [J]. Minimicrocomputer Systems，2022， 43（6）：1217-1220. （in Chinese）

Engine Remaining Useful Life Prediction Based on Operating Condition Clustering and Residual Self-attention

Zhao Hongli， Zhang Ben， Zhang Qing

Civil Aviation University of China， Tianjin 300300， China

Abstract： Aiming at the problem that the prediction accuracy of the remaining useful life of the aero-engine with multi condition is low， an engine Remain Useful Life（RUL） prediction method based on operating conditions clustering analysis and residual self-attention is proposed. Firstly， different operating conditions are divided by clustering， and a linear regression model is constructed to screen out the degradation parameters that are in line with the engine performance changes. Secondly， the engine performance degradation characteristics hidden in the data are obtained by convolutional neural network. Thirdly， bidirectional long short-term memory neural network is used to mine the temporal degradation characteristics and memorize them. Finally， the residual self-attention mechanism is used to assign different weights to the degradation features to predict the remaining life of the engine. The ablation experiments on NASA C-MAPSS multi condition datasets demonstrate the effectiveness of the proposed method. The results show that the method has the best score and root mean square error， which can provide a certain reference for the prediction of the remaining life of the aero-engine.

Key Words： multi condition； aero-engine； remaining useful life prediction ； clustering analysis； residual self-attention