基于特征重疊與集成學(xué)習(xí)的渦扇發(fā)動(dòng)機(jī)剩余壽命預(yù)測

周先燁，陳里里，王 彪，白懷偉

（重慶交通大學(xué) 機(jī)電與車輛工程學(xué)院，重慶 400074）

現(xiàn)今民航客機(jī)主要采用渦扇發(fā)動(dòng)機(jī)，雖然其推力大、效率高、燃油和噪音比較低，但具有迎風(fēng)面積大和高速阻力升高等缺點(diǎn)。為確保使用安全與經(jīng)濟(jì)性、提高設(shè)備可靠性，需要進(jìn)行渦扇發(fā)動(dòng)機(jī)的剩余壽命提前預(yù)測，以便為各企業(yè)提供有效信息，減少損失、提高經(jīng)濟(jì)效益。

在國內(nèi)外研究中，對(duì)設(shè)備進(jìn)行健康管理以及壽命預(yù)測主要有2 種方式，根據(jù)設(shè)備運(yùn)行機(jī)制建立物理分析模型和對(duì)設(shè)備運(yùn)行的數(shù)據(jù)驅(qū)動(dòng)方式進(jìn)行預(yù)測。物理建模方式對(duì)專業(yè)人員要求較高，在設(shè)備RUL 方面帶來一定的挑戰(zhàn)，因此對(duì)設(shè)備數(shù)據(jù)分析建模預(yù)測應(yīng)用較為廣泛。文獻(xiàn)[1]提出了一種基于機(jī)器學(xué)習(xí)模型采用Stacking 多模型融合，以絕緣柵雙極型晶體管（IGBT）為對(duì)象進(jìn)行壽命預(yù)測，融合了4 種機(jī)器學(xué)習(xí)算法模型，結(jié)果表明，多模型融合的機(jī)器學(xué)習(xí)模型對(duì)IGBT 壽命預(yù)測的均方誤差平均降低了93%。文獻(xiàn)[2]針對(duì)太陽能光伏發(fā)電對(duì)環(huán)境變化特點(diǎn)，提出一種基于堆疊集成學(xué)習(xí)方法的預(yù)測模型，選擇在單個(gè)模型中具有卓越性能的極限梯度增強(qiáng)（XGBoost）與Stacking 集成學(xué)習(xí)比較，結(jié)果表明，Stacking的均方根誤差比XGBoost 低1.84%。文獻(xiàn)[3]基于堆疊集成的思想，構(gòu)建了臺(tái)風(fēng)災(zāi)害下用戶停電的預(yù)測模型，驗(yàn)證了Stacking 模型能很好地實(shí)現(xiàn)臺(tái)風(fēng)災(zāi)害下用戶停電的預(yù)測。近幾年使用深度學(xué)習(xí)對(duì)設(shè)備RUL預(yù)測也逐漸延伸，文獻(xiàn)[4]對(duì)精密機(jī)床加工進(jìn)行精度研究，根據(jù)主軸熱伸長率提出一種機(jī)床主軸位移的關(guān)鍵溫度點(diǎn)選擇算法和熱誤差估計(jì)方法，對(duì)溫度點(diǎn)進(jìn)行聚類建立數(shù)據(jù)集，提出長短期記憶（LSTM）建模方法，建立主軸熱誤差與關(guān)鍵溫度點(diǎn)變化的關(guān)系，結(jié)果表明，在不同溫度變化下，所提LSTM 模型和關(guān)鍵溫度點(diǎn)選擇算法的最大均方根誤差（RMSE）在0.6 μm以內(nèi)，其深度學(xué)習(xí)預(yù)測方法具有更好的魯棒性。

以渦扇發(fā)動(dòng)機(jī)為研究對(duì)象的實(shí)驗(yàn)有很多，使用Stacking 集成學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比，或者雙向長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（BiLSTM）與傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行實(shí)驗(yàn)對(duì)比來體現(xiàn)出改進(jìn)的優(yōu)點(diǎn)，但是方式較為單一。本研究基于Stacking 集成算法模型與LSTM 改進(jìn)的BiLSTM 進(jìn)行對(duì)比驗(yàn)證，并與單一機(jī)器學(xué)習(xí)模型和LSTM 預(yù)測效果比較，在數(shù)據(jù)處理時(shí)不采用傳統(tǒng)的特征選擇與降維，而是使用GBDT與隨機(jī)森林2 種算法模型特征重要性排序，再進(jìn)行特征重疊選擇取并集。經(jīng)過Stacking 集成學(xué)習(xí)進(jìn)行預(yù)測并采用隨機(jī)搜索進(jìn)行參數(shù)尋優(yōu)，后與BiLSTM以及其他算法模型對(duì)比驗(yàn)證后，對(duì)設(shè)備RUL 進(jìn)行預(yù)測分析結(jié)果，在發(fā)動(dòng)機(jī)剩余壽命預(yù)測方面實(shí)現(xiàn)商用價(jià)值。

1 數(shù)據(jù)處理

1.1 數(shù)據(jù)描述

本文使用的數(shù)據(jù)集來自美國國家航天局（NASA）公開的渦扇發(fā)動(dòng)機(jī)仿真數(shù)據(jù)集（C-MAPSS），模擬其不同工況下的退化過程，數(shù)據(jù)集由多個(gè)多元時(shí)間序列組成，但可認(rèn)為是來自同一類型一系列引擎。數(shù)據(jù)包括26 列序列名，分別是引擎編號(hào)、循環(huán)周期時(shí)間序列、引擎操作設(shè)置1～3 號(hào)以及21 個(gè)傳感器反饋數(shù)據(jù)1～21 號(hào)。研究主要目的是通過發(fā)動(dòng)機(jī)故障問題累加達(dá)到設(shè)備系統(tǒng)故障這一段周期進(jìn)行剩余周期壽命預(yù)測，從而提前獲得設(shè)備故障信息進(jìn)行早期維護(hù)與更換。

1.2 FP-GBDT-RF 特征選擇

特征選擇是為了過濾非關(guān)聯(lián)、冗余和嘈雜的特征，降低學(xué)習(xí)難度和提高模型可解釋性。通過尋找強(qiáng)相關(guān)和非冗余的特征子集，可以為機(jī)器學(xué)習(xí)和模式識(shí)別提供更穩(wěn)定的結(jié)果，其主要方法有過濾法、包裝法、嵌入法[5]。本研究基于嵌入法提出FP-GB DT-RF 進(jìn)行特征提取，是基于GBDT 和隨機(jī)森林（RF）算法進(jìn)行特征選擇，此方法相較于單一特征選擇，能夠加強(qiáng)因子重要性，首先2 種模型分別對(duì)特征進(jìn)行重要性排序，并設(shè)定閾值K，對(duì)所選的K 個(gè)特征向量進(jìn)行特征重疊取（FP）后輸出，其原理如圖1 所示。

圖1 FP-GBDT-RF 原理圖Fig.1 Schematic diagram of FP-GBDT-RF

2 算法優(yōu)化

2.1 Stacking 集成算法

特征工程階段對(duì)數(shù)據(jù)FP-GBDT-RF 特征選擇后，利用循環(huán)控制采用十折交叉驗(yàn)證[6]法對(duì)平衡后的訓(xùn)練集進(jìn)行劃分以抑制過擬合現(xiàn)象，防止線性依賴。采用Stacking 模型融合，該算法為異質(zhì)集成算法，分為基學(xué)習(xí)器和元學(xué)習(xí)器2 層，第一層基學(xué)習(xí)器模型M1 采用隨機(jī)森林模型（RF），隨機(jī)森林使用Bootstrap 采樣，即有放回的包外估計(jì)保留驗(yàn)證集，內(nèi)部多個(gè)不同決策樹采用窮舉法切分變量，在預(yù)測階段，隨機(jī)森林將內(nèi)部多個(gè)決策樹的預(yù)測結(jié)果取平均得到最終結(jié)果。M2 采用KNN，KNN 以線性關(guān)系作為基礎(chǔ)，通過一種距離度量關(guān)系（通常為曼哈頓距離或歐幾里得距離）尋找與待預(yù)測點(diǎn)相近的K 個(gè)點(diǎn)，取K 個(gè)點(diǎn)平均值進(jìn)行回歸預(yù)測，能對(duì)復(fù)雜數(shù)據(jù)低維處理；M3 采用XGBoost[7]進(jìn)行模型融合，處理大數(shù)據(jù)速度快、效果好、內(nèi)部提升決策樹、魯棒性強(qiáng)、在回歸預(yù)測方面敏感度強(qiáng)。在得到每個(gè)模型的預(yù)測值后，通過基學(xué)習(xí)器預(yù)測輸出至第二層元學(xué)習(xí)器模型GBDT 并進(jìn)行訓(xùn)練。其模型原理如圖2 所示。

圖2 Stacking 處理框圖Fig.2 Processing block diagram of Stacking

2.2 隨機(jī)搜索尋優(yōu)

在超參數(shù)優(yōu)化方法中[8]，網(wǎng)格搜索作為暴力搜索，對(duì)每組數(shù)據(jù)都進(jìn)行遍歷同時(shí)參數(shù)優(yōu)化，參數(shù)值連續(xù)并可能耦合狀態(tài)，搜索時(shí)間長，算力大且耗時(shí)。隨機(jī)搜索是在當(dāng)樣本數(shù)量非常大的時(shí)候，通過局部搜索范圍也可以找到最優(yōu)值或近似值，并試圖接近最好的參數(shù)解耦，因此采用隨機(jī)搜索對(duì)Stacking 參數(shù)進(jìn)行尋優(yōu)。

2.3 雙向長短時(shí)記憶網(wǎng)絡(luò)模型（BiLSTM）

在使用深度學(xué)習(xí)處理時(shí)間序列問題時(shí)，RNN 是序列模型，優(yōu)缺點(diǎn)同時(shí)表現(xiàn)為狀態(tài)依賴上一時(shí)刻輸入，將上一時(shí)刻的輸出作為當(dāng)前時(shí)刻隱藏節(jié)點(diǎn)輸入[9]，具有一定的順向性與長期依賴。當(dāng)時(shí)間序列數(shù)據(jù)量大且復(fù)雜時(shí)，隱藏節(jié)點(diǎn)儲(chǔ)存消耗增多，權(quán)重循環(huán)矩陣連續(xù)相乘導(dǎo)致高次冪，面臨梯度消失與梯度爆炸問題。為解決這一問題，改變RNN 結(jié)構(gòu)體誕生出LSTM。LSTM 記憶單元替換RNN 隱藏層的神經(jīng)元結(jié)構(gòu)，引入了遺忘門、記憶門與神經(jīng)元結(jié)構(gòu)來減少梯度消失與爆炸問題，同時(shí)有效地解決了RNN 的長期依賴問題，另外可通過梯度剪切閾值防止梯度爆炸，結(jié)構(gòu)如圖3 所示，其中LSTM 公式如下：

圖3 LSTM 結(jié)構(gòu)圖Fig.3 Structure diagram of LSTM

式中：ft、it、ξi、ct、ot、ht分別表示當(dāng)前時(shí)刻的遺忘門、輸入門、當(dāng)前神經(jīng)元狀態(tài)、神經(jīng)元、輸出門以及隱藏單元。

BiLSTM 主要是由Forward 層在當(dāng)前t 時(shí)刻通過神經(jīng)元狀態(tài)來對(duì)信息進(jìn)行記憶與遺忘，輸出時(shí)序前一時(shí)刻隱藏狀態(tài)hfd，同理Backward 層對(duì)當(dāng)前t 時(shí)刻進(jìn)行操作輸出后一時(shí)刻當(dāng)前隱藏狀態(tài)hb。前向傳播層與后向傳播層共同決定輸出層，得到新的結(jié)果改變LSTM 的單向梯度決策問題，其t 時(shí)刻雙向傳播時(shí)隱藏狀態(tài)為

BiLSTM 在當(dāng)前時(shí)刻狀態(tài)的模型結(jié)構(gòu)如圖4所示。yi為序列正向傳播時(shí)上一個(gè)神經(jīng)元的輸出，yo為序列反向傳播時(shí)上一個(gè)神經(jīng)元的輸出。

圖4 BiLSTM 當(dāng)前時(shí)刻狀態(tài)Fig.4 Current time state of BiLSTM

3 實(shí)驗(yàn)過程與分析

3.1 實(shí)驗(yàn)流程

本研究主要使用Stacking 集成算法模型與BiLSTM模型進(jìn)行對(duì)比試驗(yàn)，根據(jù)渦扇發(fā)動(dòng)機(jī)模擬故障狀態(tài)過程，C-MAPSS 共有4 個(gè)子數(shù)據(jù)集，選擇其中的FD001 子數(shù)據(jù)集作為研究數(shù)據(jù)，本研究使用FD001 數(shù)據(jù)集Train_FD001 為訓(xùn)練集，Test_FD001為測試集，RUL_FD001 為最終預(yù)測值。其中包含100臺(tái)發(fā)動(dòng)機(jī)，共20360 個(gè)訓(xùn)練樣本點(diǎn)和13095 個(gè)測試樣本點(diǎn)。具體實(shí)現(xiàn)流程如下：

（1）對(duì)FD001 整體數(shù)據(jù)集進(jìn)行清洗；

（2）分別使用GBDT 與隨機(jī)森林（RF）進(jìn)行特征重要性排序，設(shè)定閾值K，選出K=12 個(gè)特征，分別輸出KGBDT和KRF；

（3）對(duì)兩模型輸出KGBDT和KRF進(jìn)行特征重疊，將所取的并集部分進(jìn)行輸出（FP-GBDT-RF）；

（4）特征重疊后的輸出進(jìn)行十折交叉驗(yàn)證，再劃分訓(xùn)練集和測試集，同時(shí)取評(píng)價(jià)指標(biāo)平均值，輸出結(jié)果；

（5）將結(jié)果輸入Stacking 融合模型，其中M1 為RF，M2 為KNN，M3 為XGBoost，進(jìn)行回歸預(yù)測；

（6）Stacking 模型使用隨機(jī)搜索進(jìn)行超參數(shù)優(yōu)化，重復(fù)步驟（4）進(jìn)行回歸預(yù)測；

（7）將步驟（3）結(jié)果輸入BiLSTM、LSTM 神經(jīng)網(wǎng)絡(luò)模型、RF、KNN 和XBoost 模型回歸預(yù)測；

（8）將機(jī)器學(xué)習(xí)模型（RF、KNN、XGBoost、Stacking）與深度學(xué)習(xí)模型（LSTM、BiLSTM）進(jìn)行效果對(duì)比驗(yàn)證，通過評(píng)價(jià)指標(biāo)進(jìn)行結(jié)果分析。

3.2 評(píng)價(jià)指標(biāo)

為印證融合分析Stacking 集成學(xué)習(xí)與BiLSTM神經(jīng)網(wǎng)絡(luò)模型對(duì)渦扇發(fā)動(dòng)機(jī)剩余使用壽命預(yù)測效果，采用均方根誤差（RMSE）和決定系數(shù)R2作為評(píng)價(jià)指標(biāo)[10]，計(jì)算公式如下：

均方根誤差：

決定系數(shù)：

式中：n 為樣本數(shù)量；yi為樣本數(shù)量i 的真實(shí)值；為樣本數(shù)量i 的預(yù)測值。MAE 值相對(duì)于對(duì)波動(dòng)敏感性誤差弱于RMSE，因此選用RMSE 作為預(yù)測效果指標(biāo)，RMSE 值越小，表示模型預(yù)測效果越接近數(shù)據(jù)真實(shí)值，具有較優(yōu)的精確度。同時(shí)使用R2為擬合優(yōu)度，其值為0 到1，值越大表示模型有更好的擬合性能。通過不同評(píng)價(jià)標(biāo)準(zhǔn)對(duì)Stacking 融合模型、機(jī)器學(xué)習(xí)（XGBoost、KNN、RF）、深度學(xué)習(xí)（LSTM、BiLSTM）十折交叉驗(yàn)證取均值進(jìn)行預(yù)測效果驗(yàn)證，結(jié)果如表1所示。

表1 不同模型評(píng)價(jià)指標(biāo)結(jié)果對(duì)比Tab.1 Comparison of evaluation index results of different models

由表可以看出，RF、KNN、XGBoost 機(jī)器學(xué)習(xí)模型通過特征堆疊后進(jìn)行訓(xùn)練得到RMSE 精確度表現(xiàn)較好，在擬合優(yōu)度方面都達(dá)到了0.94 左右，相比于深度學(xué)習(xí)的LSTM 與BiLSTM 2 種模型，經(jīng)過特征堆疊再訓(xùn)練的RMSE 值未得到提升，同時(shí)R2擬合優(yōu)度均未達(dá)到0.9，相比于Stacking 集成學(xué)習(xí)模型與其他5 種模型進(jìn)行比較RMSE 值最低，比較接近真實(shí)值，誤差較小，擬合優(yōu)度R2為0.95，具有更好的擬合趨勢。與同數(shù)據(jù)其他論文研究結(jié)果對(duì)比，本文通過特征重疊后使用Stacking 集成學(xué)習(xí)RMSE 值有明顯的降低，R2擬合優(yōu)度略優(yōu)，另外在整體運(yùn)行時(shí)間方面為30.46 s。從結(jié)果可以看出，Stacking 集成網(wǎng)絡(luò)綜合表現(xiàn)最好，也體現(xiàn)出特征堆疊的方法在有限的環(huán)境下適用于機(jī)器學(xué)習(xí)與集成學(xué)習(xí)，在深度學(xué)習(xí)以及其他應(yīng)用中還須進(jìn)一步驗(yàn)證。

對(duì)設(shè)備RUL 進(jìn)一步未來預(yù)測，取FD001 前80個(gè)設(shè)備編號(hào)進(jìn)行預(yù)測，使用機(jī)器學(xué)習(xí)（圖5）和深度學(xué)習(xí)（圖6）進(jìn)行效果預(yù)測。如圖5 所示，BiLSTM 與LSTM 預(yù)測效果與真實(shí)值分布情況具有一定的偏差。如圖6 所示，整體的幾種模型預(yù)測效果均表現(xiàn)良好，但集成學(xué)習(xí)的預(yù)測效果更接近設(shè)備RUL 最真實(shí)的分布情況，具有一定的代表性。

圖5 BiLSTM 與LSTM 模型預(yù)測結(jié)果Fig.5 Prediction effects of BiLSTM and LSTM models

圖6 單一模型與Stacking 模型預(yù)測結(jié)果Fig.6 Prediction effect of single model and Stacking

4 結(jié)語

為進(jìn)一步準(zhǔn)確預(yù)測設(shè)備剩余壽命，本文使用公開C-MAPSS 數(shù)據(jù)集，首次提出使用2 種單一的機(jī)器學(xué)習(xí)模型（GBDT 與RF）進(jìn)行特征重要性排序，并設(shè)定特征閾值，再進(jìn)行特征重疊取并集，使原數(shù)據(jù)更少更好地保留原有信息。后使用集成學(xué)習(xí)并進(jìn)行隨機(jī)搜索進(jìn)行超參數(shù)優(yōu)化，同時(shí)改進(jìn)雙向長短時(shí)記憶網(wǎng)絡(luò)，與多個(gè)單一機(jī)器學(xué)習(xí)模型和LSTM 進(jìn)行預(yù)測效果驗(yàn)證。結(jié)果證明，經(jīng)過特征重疊后集成學(xué)習(xí)在各方面表現(xiàn)有明顯優(yōu)勢，提升了模型性能的同時(shí)也保證模型穩(wěn)定性，為各種設(shè)備進(jìn)行準(zhǔn)確壽命預(yù)測提供可靠性研究。