基于可自動(dòng)擴(kuò)展的LSTM模型的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)方法

摘 要：對(duì)航空發(fā)動(dòng)機(jī)進(jìn)行實(shí)時(shí)狀態(tài)監(jiān)測(cè)和健康管理可以有效降低發(fā)動(dòng)機(jī)故障風(fēng)險(xiǎn)，確保飛機(jī)飛行安全。準(zhǔn)確預(yù)測(cè)航空發(fā)動(dòng)機(jī)的剩余壽命是有效監(jiān)測(cè)發(fā)動(dòng)機(jī)運(yùn)行狀態(tài)的一種重要手段，其中長(zhǎng)短期記憶（long-short term me-mory，LSTM）網(wǎng)絡(luò)常被使用。但由于航空發(fā)動(dòng)機(jī)復(fù)雜的機(jī)械結(jié)構(gòu)與運(yùn)行模式，使用傳統(tǒng)的LSTM網(wǎng)絡(luò)對(duì)航空發(fā)動(dòng)機(jī)的剩余壽命進(jìn)行單次預(yù)測(cè)后，所得預(yù)測(cè)結(jié)果的準(zhǔn)確率不足以滿足其壽命預(yù)測(cè)的精度要求。基于LSTM網(wǎng)絡(luò)的廣泛使用以及它對(duì)時(shí)間序列數(shù)據(jù)的有效預(yù)測(cè)能力，考慮到采用多級(jí)預(yù)測(cè)的方法能夠有效降低預(yù)測(cè)誤差，提出了一種新型的可自動(dòng)擴(kuò)展的長(zhǎng)短期記憶（automatically expandable LSTM，AELSTM）預(yù)測(cè)模型。AELSTM模型依托多個(gè)子模塊逐級(jí)連接的網(wǎng)絡(luò)結(jié)構(gòu)，不斷地提取前一級(jí)模塊的輸出誤差作為后一級(jí)模塊的訓(xùn)練值，形成了誤差的多級(jí)預(yù)測(cè)機(jī)制，有效降低了模型的預(yù)測(cè)誤差，提升了預(yù)測(cè)結(jié)果的準(zhǔn)確性。基于美國(guó)國(guó)家航空航天局發(fā)布的C-MAPSS數(shù)據(jù)集的四個(gè)子集對(duì)AELSTM模型的預(yù)測(cè)效果進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的LSTM網(wǎng)絡(luò)相比，AELSTM模型在四個(gè)子集上的均方根誤差平均減少了95.44%，同時(shí)它的預(yù)測(cè)效果也優(yōu)于現(xiàn)有的一些先進(jìn)算法。實(shí)驗(yàn)充分驗(yàn)證了AELSTM模型在提升航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè)準(zhǔn)確度方面的有效性及優(yōu)勢(shì)。

關(guān)鍵詞：剩余壽命預(yù)測(cè)；自動(dòng)擴(kuò)展；航空發(fā)動(dòng)機(jī)；長(zhǎng)短期記憶網(wǎng)絡(luò)；子模塊級(jí)聯(lián)

中圖分類號(hào)：TP202.1 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2023）08-011-2311-12

doi： 10.19734/j.issn.1001-3695.2023.01.0010

Remaining useful life prediction method of aero-engine based on auto-expandable LSTM model

Hu Likun He Xujie Yin Linfei

（a. School of Electrical Engineering， b. Advanced Control amp; Intelligent Power Systems Engineering Technologies Research Center， Guangxi University， Nanning 530004， China）

Abstract：Real-time condition monitoring and health management of aero-engines can effectively reduce the risk of engine failure and ensure the safety of aircraft flight. Accurate prediction of the remaining life of an aero-engine is an important tool for effective monitoring of the engine operating condition， in which LSTM network is often employed. However， because of the complex mechanical structure and operation mode of aero-engine， the accuracy of the prediction results obtained after a single prediction of the remaining life of the aero-engine using the traditional LSTM network is not sufficient to meet the accuracy requirements of its life prediction. Based on the widespread use of LSTM network and its ability to effectively predict time series data， and considering that a multi-level prediction approach can effectively reduce the prediction error， this paper proposed a novel automatically expandable LSTM （AELSTM） prediction model. The AELSTM model relied on the network structure of multiple sub-modules connected level by level， and continuously extracted the output error of the previous level module as the training value of the next level module， forming a multi-level prediction mechanism of the error， which effectively reduced the prediction error of the model and improved the accuracy of the prediction results. Finally， this paper tested the predictive effectiveness of the AELSTM model based on four subsets of the C-MAPSS dataset published by NASA. The experimental results indicate that the root-mean-square error of the AELSTM model decreases by 95.44% on average over the four subsets compared with the traditional LSTM network， and it also outperforms some existing state-of-the-art algorithms in prediction. The experiments fully verify the effectiveness and advantages of the AELSTM model in improving the accuracy of remaining life prediction of aero-engines.

Key words：remaining useful life prediction; automatic expansion; aero-engines; long-short term memory network; sub-module cascade

0 引言

作為飛機(jī)的動(dòng)力裝置和核心部件，航空發(fā)動(dòng)機(jī)價(jià)格昂貴、結(jié)構(gòu)復(fù)雜、工作環(huán)境惡劣［1］。航空發(fā)動(dòng)機(jī)必須在強(qiáng)氣流沖擊等極限環(huán)境下長(zhǎng)期保持可靠穩(wěn)定的運(yùn)行［2］。根據(jù)美國(guó)國(guó)家航空航天局的統(tǒng)計(jì)，近年來(lái)，民用航空領(lǐng)域中發(fā)動(dòng)機(jī)故障約占飛機(jī)機(jī)械故障總數(shù)的30%［3］。因此，對(duì)航空發(fā)動(dòng)機(jī)進(jìn)行準(zhǔn)確的剩余壽命（remaining useful life，RUL）預(yù)測(cè)，可以使維修人員及時(shí)監(jiān)控發(fā)動(dòng)機(jī)的運(yùn)行狀態(tài)，有效評(píng)估其健康狀況，提前作出預(yù)防性維修決策，為發(fā)動(dòng)機(jī)的安全穩(wěn)定運(yùn)行提供有力保障［4］。

近年來(lái)，RUL的預(yù)測(cè)方法主要包括基于模型和基于數(shù)據(jù)驅(qū)動(dòng)的方法［5］。當(dāng)設(shè)備的退化機(jī)制和影響因素被充分了解時(shí)，基于模型的預(yù)測(cè)方法通過(guò)對(duì)設(shè)備進(jìn)行準(zhǔn)確的物理建模，從而清晰地把握設(shè)備的壽命變化規(guī)律，實(shí)現(xiàn)設(shè)備RUL的準(zhǔn)確預(yù)測(cè)［6］，文獻(xiàn)［7～9］中提到了一些著名的基于模型的預(yù)測(cè)方法。建立航空發(fā)動(dòng)機(jī)的整體模型需要構(gòu)建精確的部件物理模型（如發(fā)動(dòng)機(jī)軸承、風(fēng)扇葉片、進(jìn)排氣閥、液壓系統(tǒng)等），并利用這些部件的常見故障模式和歷史數(shù)據(jù)來(lái)預(yù)測(cè)航空發(fā)動(dòng)機(jī)的RUL。然而，航空發(fā)動(dòng)機(jī)的動(dòng)態(tài)響應(yīng)和各部件之間的相互作用往往非常復(fù)雜，很難為它們構(gòu)建一個(gè)準(zhǔn)確的物理模型。因此，基于模型的預(yù)測(cè)方法在適應(yīng)性和可擴(kuò)展性方面表現(xiàn)不佳［10］。與基于模型的方法不同，基于數(shù)據(jù)驅(qū)動(dòng)的方法有效揭示了傳感器數(shù)據(jù)和系統(tǒng)退化程度之間的關(guān)系［11］，它具有強(qiáng)大的概括能力，無(wú)須太多的經(jīng)驗(yàn)知識(shí)［12］。基于數(shù)據(jù)驅(qū)動(dòng)的方法通過(guò)挖掘數(shù)據(jù)之間的規(guī)律性，直接建立端到端的預(yù)測(cè)模型，提取與設(shè)備性能退化相關(guān)的潛在信息［13］。基于監(jiān)測(cè)數(shù)據(jù)，可以實(shí)現(xiàn)對(duì)航空發(fā)動(dòng)機(jī)RUL的精確預(yù)測(cè)。因此，目前在RUL預(yù)測(cè)研究領(lǐng)域，基于數(shù)據(jù)驅(qū)動(dòng)的方法已經(jīng)發(fā)展成為先進(jìn)的預(yù)測(cè)方法，受到科學(xué)家們的青睞［14］。在基于數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法中，主要包括淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法兩種類型。淺層機(jī)器學(xué)習(xí)方法是基于對(duì)機(jī)械故障響應(yīng)的理解，通常提取和推斷幾個(gè)代表特征，如通過(guò)健康指標(biāo)來(lái)預(yù)測(cè)設(shè)備的退化［15］，文獻(xiàn)［16～20］介紹了幾種常見的淺層機(jī)器學(xué)習(xí)方法。深度學(xué)習(xí)算法可以直接從大量的原始傳感器數(shù)據(jù)中建立健康指標(biāo)，學(xué)習(xí)優(yōu)化的特征，并在沒有特征工程的情況下對(duì)設(shè)備的RUL進(jìn)行預(yù)測(cè)，有效提高了預(yù)測(cè)的準(zhǔn)確性和魯棒性，所以深度學(xué)習(xí)算法在預(yù)測(cè)領(lǐng)域中的應(yīng)用更為廣泛。表1列出了常見的RUL預(yù)測(cè)方法的特點(diǎn)。

基于深度學(xué)習(xí)算法的RUL預(yù)測(cè)方法主要包括卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）［21］和長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)［22］。CNN是RUL預(yù)測(cè)領(lǐng)域一個(gè)常見的解決方案［23］，已經(jīng)擁有許多的應(yīng)用實(shí)例。例如，馬忠等人［24］采用一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)航空發(fā)動(dòng)機(jī)的RUL進(jìn)行預(yù)測(cè)，使用不同的一維卷積核提取序列趨勢(shì)信息特征，而后將特征輸入至構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)得到剩余壽命的預(yù)測(cè)值。Li等人［25］提出了一個(gè)多尺度的深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，利用多尺度塊來(lái)卷積時(shí)態(tài)傳感器數(shù)據(jù)的時(shí)間維度，大大提升了模型對(duì)復(fù)雜特征的學(xué)習(xí)能力。Liu等人［26］提出了一種基于雙重注意力的數(shù)據(jù)驅(qū)動(dòng)模型，其主要通過(guò)CNN和Transformer架構(gòu)實(shí)現(xiàn)，通過(guò)對(duì)不同重要程度的特征賦予不同權(quán)重來(lái)實(shí)現(xiàn)對(duì)復(fù)雜特征的精確學(xué)習(xí)。此外，另一種主流的深度學(xué)習(xí)預(yù)測(cè)方法是LSTM。設(shè)備的RUL預(yù)測(cè)主要是基于傳感器采集的時(shí)間序列數(shù)據(jù)，而LSTM網(wǎng)絡(luò)由于其特殊的門控結(jié)構(gòu)，可以調(diào)節(jié)細(xì)胞內(nèi)和細(xì)胞外的記憶，緩解梯度消失和爆炸的問(wèn)題［27］，特別適用于長(zhǎng)期序列數(shù)據(jù)的學(xué)習(xí)。LSTM被大量應(yīng)用于RUL預(yù)測(cè)領(lǐng)域［28］。許多基于LSTM的改進(jìn)模型被提出用于RUL預(yù)測(cè)。胡啟國(guó)等人［29］提出了一種基于核主成分分析和雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的多信息融合壽命預(yù)測(cè)模型，先通過(guò)核主成分分析對(duì)多維退化數(shù)據(jù)集進(jìn)行降維處理和信息融合，再利用雙向長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對(duì)帶有多維退化信息的航空發(fā)動(dòng)機(jī)剩余壽命進(jìn)行預(yù)測(cè)，取得了良好的預(yù)測(cè)效果。Ma等人［30］提出的基于卷積的LSTM網(wǎng)絡(luò)對(duì)LSTM的輸入到狀態(tài)和狀態(tài)到狀態(tài)的轉(zhuǎn)換進(jìn)行卷積運(yùn)算，該方法可以從時(shí)、頻域提取特征并捕捉長(zhǎng)期依賴關(guān)系，有效提高了RUL的預(yù)測(cè)精度。Fan等人［31］建立了一個(gè)融合自回歸綜合移動(dòng)平均模型和LSTM的混合預(yù)測(cè)模型，可以有效地處理線性和非線性數(shù)據(jù)，比單一模型的預(yù)測(cè)更準(zhǔn)確。Elsheikh等人［32］提出了一種適合RUL預(yù)測(cè)的雙向LSTM網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)采用雙向順序處理方法，使其更適合于RUL等中間預(yù)測(cè)情況。張加勁［33］在前者的基礎(chǔ)上提出一種基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)和雙向LSTM網(wǎng)絡(luò)融合模型，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取特征，雙向LSTM網(wǎng)絡(luò)用于獲取特征中的長(zhǎng)短期依賴關(guān)系，而后使用注意力機(jī)制來(lái)突出特征中的重要部分以提高模型預(yù)測(cè)的準(zhǔn)確率。Xiao等人［34］通過(guò)在LSTM網(wǎng)絡(luò)中加入噪聲，并對(duì)感覺指標(biāo)進(jìn)行相關(guān)分析，構(gòu)建新的退化特征，作為L(zhǎng)STM網(wǎng)絡(luò)的輸入，有效地提高了模型的預(yù)測(cè)性能。王旭等人［35］提出一種基于卷積自編碼器與LSTM的預(yù)測(cè)模型，其利用卷積自編碼器構(gòu)建航空發(fā)動(dòng)機(jī)的健康因子，而后通過(guò)LSTM建立健康因子與RUL間的特征關(guān)系來(lái)實(shí)現(xiàn)RUL預(yù)測(cè)。張其霄等人［36］提出一種基于貝葉斯優(yōu)化的LSTM算法，即利用貝葉斯優(yōu)化算法對(duì)LSTM網(wǎng)絡(luò)的超參數(shù)進(jìn)行迭代優(yōu)化，對(duì)LSTM的預(yù)測(cè)準(zhǔn)確率有明顯改善。Zhao等人［37］提出了一種預(yù)測(cè)方法，其可以根據(jù)每個(gè)考慮的時(shí)間實(shí)例的重要性為其分配一個(gè)自學(xué)習(xí)權(quán)重，有效提高了航空發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)效果。Wang等人［38］提出利用深度森林分類器和LSTM建立離線健康狀態(tài)估計(jì)和退化趨勢(shì)預(yù)測(cè)模型進(jìn)行在線RUL預(yù)測(cè)。

根據(jù)上述有關(guān)LSTM的若干應(yīng)用實(shí)例可以發(fā)現(xiàn)，這些在傳統(tǒng)LSTM網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)的預(yù)測(cè)模型能夠取得較為可觀的預(yù)測(cè)效果，進(jìn)一步驗(yàn)證了LSTM網(wǎng)絡(luò)在預(yù)測(cè)領(lǐng)域中具有很高的適用價(jià)值。可是這些模型的預(yù)測(cè)精度仍存在一定的提升空間，并且由于這些模型不具備根據(jù)不同預(yù)測(cè)場(chǎng)景的需求動(dòng)態(tài)調(diào)整預(yù)測(cè)誤差的能力，有必要開發(fā)一個(gè)預(yù)測(cè)精度更高、應(yīng)用范圍更廣的模型應(yīng)用于航空發(fā)動(dòng)機(jī)RUL的預(yù)測(cè)。

本文提出了一種新型的預(yù)測(cè)模型——可自動(dòng)擴(kuò)展的長(zhǎng)短期記憶（automatically expandable LSTM，AELSTM）模型。AELSTM模型采用多個(gè)LSTM子模塊級(jí)聯(lián)的結(jié)構(gòu)，依賴于LSTM能夠有效預(yù)測(cè)時(shí)間序列數(shù)據(jù)的優(yōu)勢(shì)，實(shí)現(xiàn)了各級(jí)子模塊輸出誤差的逐級(jí)傳遞和逐級(jí)預(yù)測(cè)，保證了預(yù)測(cè)誤差的逐級(jí)下降。此外，AELSTM模型還可根據(jù)其均方根誤差（root-mean-square error，RMSE）的大小動(dòng)態(tài)調(diào)整子模塊的級(jí)聯(lián)過(guò)程，當(dāng)模型的RMSE小于預(yù)測(cè)場(chǎng)景的精度要求或子模塊的級(jí)聯(lián)次數(shù)達(dá)到特定數(shù)值時(shí)，模型便可自動(dòng)終止子模塊的級(jí)聯(lián)擴(kuò)展過(guò)程。所提的模型借助自動(dòng)擴(kuò)展的算法機(jī)制打破了LSTM本身預(yù)測(cè)精度的限制，并可通過(guò)對(duì)預(yù)測(cè)誤差的閾值調(diào)整完成不同預(yù)測(cè)精度場(chǎng)景下的預(yù)測(cè)任務(wù)。對(duì)于航空發(fā)動(dòng)機(jī)高精度的預(yù)測(cè)要求與多場(chǎng)景的工況而言，AELSTM模型在其RUL的預(yù)測(cè)問(wèn)題上具有明顯的優(yōu)勢(shì)。本文工作的亮點(diǎn)包括：a）本文提出了一種新型的基于數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)模型AELSTM，并應(yīng)用于航空發(fā)動(dòng)機(jī)RUL預(yù)測(cè)領(lǐng)域，較傳統(tǒng)LSTM和其他預(yù)測(cè)模型而言，預(yù)測(cè)精度得到了有效提升；b）AELSTM模型可以根據(jù)不同場(chǎng)景下的預(yù)測(cè)精確度要求自動(dòng)調(diào)整子模塊的級(jí)聯(lián)數(shù)目，直至最后一級(jí)子模塊產(chǎn)生的預(yù)測(cè)誤差在設(shè)定的預(yù)測(cè)精度之內(nèi)。這一特點(diǎn)保證了AELSTM模型在其他預(yù)測(cè)領(lǐng)域仍能表現(xiàn)出良好的適用性。美國(guó)國(guó)家航空航天局發(fā)布的商用模塊化航空推進(jìn)系統(tǒng)模擬（commercial modular aero-propulsion system simulation，C-MAPSS）數(shù)據(jù)集具有數(shù)據(jù)量大、數(shù)據(jù)特征多的特點(diǎn)。實(shí)驗(yàn)結(jié)果表明，AELSTM模型在C-MAPSS數(shù)據(jù)集的四個(gè)子集上均表現(xiàn)出色，這也驗(yàn)證了AELSTM模型具備有效處理龐大數(shù)量的多特征數(shù)據(jù)的能力。

1 基礎(chǔ)理論

1.1 RNN及長(zhǎng)期依賴問(wèn)題

1.2 LSTM網(wǎng)絡(luò)的基本理論

2 AELSTM預(yù)測(cè)模型

AELSTM模型是基于傳統(tǒng)LSTM網(wǎng)絡(luò)演變發(fā)展而來(lái)的，其基本結(jié)構(gòu)如圖4所示。AELSTM模型是由多個(gè)相同的子模塊逐級(jí)連接構(gòu)成的，每個(gè)子模塊均包含一個(gè)LSTM層、多個(gè)全連接層以及一個(gè)回歸輸出層。AELSTM模型的運(yùn)行機(jī)制是：模型依靠多個(gè)子模塊擴(kuò)展級(jí)聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，從第二個(gè)子模塊開始，便不斷地將前一個(gè)子模塊的預(yù)測(cè)誤差作為輸出訓(xùn)練值傳遞給后一個(gè)子模塊。在這種機(jī)制下，自第二個(gè)子模塊起，之后的所有子模塊都是在對(duì)上一級(jí)子模塊的輸出誤差進(jìn)行預(yù)測(cè)。LSTM網(wǎng)絡(luò)在時(shí)序數(shù)據(jù)預(yù)測(cè)中的良好表現(xiàn)，導(dǎo)致AELSTM模型中每個(gè)子模塊的預(yù)測(cè)精度都能夠保持一定水準(zhǔn)，這使得單個(gè)網(wǎng)絡(luò)模塊訓(xùn)練時(shí)累積下來(lái)的較大預(yù)測(cè)誤差在經(jīng)過(guò)多級(jí)子模塊的連續(xù)預(yù)測(cè)后一定能夠縮減到可允許的誤差范圍內(nèi)。而預(yù)測(cè)誤差越小，說(shuō)明預(yù)測(cè)值越能反映真實(shí)值的變化規(guī)律，則模型的預(yù)測(cè)精度就越高。在預(yù)測(cè)算法的控制下，當(dāng)模型的預(yù)測(cè)誤差小于設(shè)定的預(yù)測(cè)精度或模型中的子模塊數(shù)量達(dá)到設(shè)定值時(shí)，代表著數(shù)據(jù)的預(yù)測(cè)過(guò)程已經(jīng)完成，此時(shí)AELSTM模型會(huì)自動(dòng)終止子模塊擴(kuò)展級(jí)聯(lián)的過(guò)程，輸出末級(jí)子模塊對(duì)上一級(jí)子模塊預(yù)測(cè)誤差的預(yù)測(cè)值。而后經(jīng)過(guò)各級(jí)子模塊預(yù)測(cè)值的逐級(jí)累加，最終得到原始數(shù)據(jù)準(zhǔn)確的預(yù)測(cè)結(jié)果。此外，AELSTM模型還有一個(gè)優(yōu)勢(shì)，就是其可以根據(jù)不同預(yù)測(cè)場(chǎng)景的精度要求，動(dòng)態(tài)調(diào)整參與擴(kuò)展級(jí)聯(lián)的子模塊數(shù)量，直至預(yù)測(cè)誤差達(dá)到滿意的預(yù)測(cè)精度。因此，AELSTM模型能夠很好地保證數(shù)據(jù)擬合效果，有效提升預(yù)測(cè)精度。

綜上所述，AELSTM模型應(yīng)用于數(shù)據(jù)預(yù)測(cè)領(lǐng)域具備以下優(yōu)勢(shì)：a）AELSTM模型的級(jí)聯(lián)結(jié)構(gòu)，保證了其可以利用下一級(jí)子模塊來(lái)預(yù)測(cè)上一級(jí)子模塊的預(yù)測(cè)誤差，這一特性保證了模型的預(yù)測(cè)誤差是隨著子模塊擴(kuò)展級(jí)聯(lián)進(jìn)程的不斷推進(jìn)而逐漸減小的；b）AELSTM模型可以根據(jù)設(shè)定的預(yù)測(cè)精確度對(duì)子模塊的級(jí)聯(lián)過(guò)程進(jìn)行動(dòng)態(tài)調(diào)整，當(dāng)最后一級(jí)子模塊的預(yù)測(cè)誤差達(dá)到了設(shè)定的預(yù)測(cè)精度要求時(shí)子模塊的擴(kuò)展級(jí)聯(lián)過(guò)程便可自動(dòng)終止，這一特點(diǎn)保證了AELSTM模型的預(yù)測(cè)誤差始終能夠有效控制在所需預(yù)測(cè)精度的范圍內(nèi)；c）本文采用級(jí)聯(lián)的方式搭建出AELSTM模型，其相當(dāng)于是由包含同等數(shù)量的神經(jīng)元組成的寬度網(wǎng)絡(luò)經(jīng)過(guò)通道裁剪所形成的，這使得AELSTM模型的訓(xùn)練時(shí)間和計(jì)算內(nèi)存比相同神經(jīng)元組成的寬度網(wǎng)絡(luò)更少。多個(gè)神經(jīng)網(wǎng)絡(luò)的級(jí)聯(lián)固然會(huì)使得其運(yùn)算成本比單個(gè)神經(jīng)網(wǎng)絡(luò)更高，但是它擴(kuò)充了神經(jīng)元的數(shù)量，使模型更容易地學(xué)習(xí)復(fù)雜特征，提升了模型的學(xué)習(xí)能力；同時(shí)，相較于寬度學(xué)習(xí)的方式，級(jí)聯(lián)結(jié)構(gòu)的運(yùn)算成本更低，具有更高的運(yùn)行效率。因此本文所提的級(jí)聯(lián)結(jié)構(gòu)是一種更為合理的網(wǎng)絡(luò)優(yōu)化方式。

3 案例研究與分析

3.1 C-MAPSS數(shù)據(jù)集介紹

本文選擇了航空發(fā)動(dòng)機(jī)RUL預(yù)測(cè)領(lǐng)域的通用數(shù)據(jù)集C-MAPSS來(lái)驗(yàn)證AELSTM模型的預(yù)測(cè)效果。C-MAPSS軟件通過(guò)對(duì)航空渦扇發(fā)動(dòng)機(jī)的關(guān)鍵部件進(jìn)行模擬，從而得到航空渦扇發(fā)動(dòng)機(jī)的性能退化全過(guò)程。模擬的部件包括風(fēng)扇、壓縮機(jī)和渦輪等［41］。

C-MAPSS數(shù)據(jù)集由四個(gè)數(shù)據(jù)子集組成，編號(hào)分別為FD001、FD002、FD003、FD004，每個(gè)子集包含不同數(shù)量的航空發(fā)動(dòng)機(jī)、不同數(shù)量的航空發(fā)動(dòng)機(jī)的運(yùn)行數(shù)據(jù)樣本以及不同的航空發(fā)動(dòng)機(jī)運(yùn)行狀態(tài)模式。數(shù)據(jù)集中的每個(gè)時(shí)間序列都是一臺(tái)航空發(fā)動(dòng)機(jī)的運(yùn)行數(shù)據(jù)樣本，每個(gè)序列的末端都是這臺(tái)航空發(fā)動(dòng)機(jī)實(shí)際的RUL值；訓(xùn)練集的數(shù)據(jù)樣本是多臺(tái)航空發(fā)動(dòng)機(jī)在完整生命周期下的運(yùn)行數(shù)據(jù)，即包含從發(fā)動(dòng)機(jī)開始工作到性能完全下降的時(shí)間區(qū)間；測(cè)試集的數(shù)據(jù)樣本是包含多臺(tái)航空發(fā)動(dòng)機(jī)在完整生命周期中的一段時(shí)間內(nèi)的運(yùn)行數(shù)據(jù)。與子集FD001和FD003相比，子集FD002和FD004包含更多的航空發(fā)動(dòng)機(jī)數(shù)量、運(yùn)行狀態(tài)模式和總數(shù)據(jù)樣本。

C-MAPSS數(shù)據(jù)集中的數(shù)據(jù)樣本是26維數(shù)據(jù)的形式。即一個(gè)數(shù)據(jù)樣本包括26個(gè)變量，分別是發(fā)動(dòng)機(jī)編號(hào)、發(fā)動(dòng)機(jī)當(dāng)前的運(yùn)行周期、發(fā)動(dòng)機(jī)的3個(gè)運(yùn)行設(shè)置參數(shù)以及發(fā)動(dòng)機(jī)上21個(gè)傳感器在每個(gè)時(shí)期的采樣數(shù)據(jù)。在這26列數(shù)據(jù)中，有些變量與預(yù)測(cè)信息無(wú)關(guān)，有些變量在發(fā)動(dòng)機(jī)的整個(gè)生命周期中具有恒定值，這些無(wú)關(guān)或恒定的變量對(duì)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)沒有實(shí)際意義。因此，可以從原始數(shù)據(jù)樣本包含的26個(gè)維度的變量中刪除這些無(wú)關(guān)或恒定變量，將剩余的變量應(yīng)用于發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)中。數(shù)據(jù)樣本的具體變量如表3所示。

3.2 AELSTM模型的評(píng)價(jià)指標(biāo)

3.3 FD001（案例1）

圖6展示了AELSTM模型在FD001數(shù)據(jù)集上訓(xùn)練的過(guò)程中，隨著子模塊級(jí)聯(lián)次數(shù)逐漸增長(zhǎng)，六個(gè)評(píng)價(jià)指標(biāo)數(shù)值的變化曲線。其中，圖6中各子圖的橫坐標(biāo)表示AELSTM模型中已經(jīng)級(jí)聯(lián)的子模塊個(gè)數(shù)，縱坐標(biāo)表示不同評(píng)價(jià)指標(biāo)的具體數(shù)值。表4展示了AELSTM模型在子模塊進(jìn)行10次級(jí)聯(lián)后，相較于未級(jí)聯(lián)的模型，六個(gè)評(píng)價(jià)指標(biāo)數(shù)值的下降率。

從圖6可以看出，隨著子模塊級(jí)聯(lián)數(shù)量的逐漸增加，反映AELSTM模型預(yù)測(cè)精度的六個(gè)評(píng)價(jià)指標(biāo)紛紛呈現(xiàn)下降的態(tài)勢(shì)，這說(shuō)明模型的預(yù)測(cè)精度是隨著級(jí)聯(lián)過(guò)程的進(jìn)行而逐步提高的。結(jié)果表明，與沒有開展子模塊級(jí)聯(lián)過(guò)程的模型相比，級(jí)聯(lián)后模型的預(yù)測(cè)精度明顯提高，并且級(jí)聯(lián)次數(shù)越多，模型的預(yù)測(cè)精度就提升得越明顯。此外，觀察到六項(xiàng)評(píng)價(jià)指標(biāo)均呈現(xiàn)先陡峭后平緩的下降態(tài)勢(shì)，說(shuō)明前期的級(jí)聯(lián)過(guò)程對(duì)模型預(yù)測(cè)精度的提高起著比較關(guān)鍵的作用，相比之下，后期的級(jí)聯(lián)過(guò)程對(duì)模型預(yù)測(cè)精度的提高作用不太明顯。

圖8和9分別展示了不同數(shù)目（0～10個(gè)）的子模塊級(jí)聯(lián)時(shí)，AELSTM模型在50次迭代訓(xùn)練的過(guò)程中損失函數(shù)和RMSE的動(dòng)態(tài)變化曲線。其中損失函數(shù)和RMSE均可用來(lái)表現(xiàn)數(shù)據(jù)的預(yù)測(cè)值與真實(shí)值之間的差距，所以可以用它們來(lái)衡量AELSTM模型的預(yù)測(cè)效果。損失函數(shù)和RMSE的值越小，預(yù)測(cè)值與實(shí)際值的差距程度就越小，模型的預(yù)測(cè)精度也就越高。

隨著子模塊級(jí)聯(lián)數(shù)量的增加，損失函數(shù)和RMSE普遍呈現(xiàn)出先急劇后平緩的下降態(tài)勢(shì)，當(dāng)訓(xùn)練迭代次數(shù)達(dá)到一定數(shù)量后損失函數(shù)和RMSE不再出現(xiàn)明顯下降，而是趨于穩(wěn)定。在訓(xùn)練迭代次數(shù)相同的情況下，級(jí)聯(lián)數(shù)量越多，損失函數(shù)和RMSE的值越低。增加訓(xùn)練迭代次數(shù)固然能夠增強(qiáng)模型的訓(xùn)練效果，因而在一定程度上也會(huì)提升AELSTM模型的預(yù)測(cè)能力，但子模塊級(jí)聯(lián)數(shù)量的改變也可以直接影響模型的預(yù)測(cè)效果，級(jí)聯(lián)數(shù)量越多，模型的預(yù)測(cè)精確度也就越高。

以下對(duì)ε與AELSTM模型中子模塊級(jí)聯(lián)數(shù)量之間的具體關(guān)系進(jìn)行了探討。例如，表5展示了當(dāng)ε的值分別為2.2、2.1、2.0、1.9、1.8、1.7、1.6和1.5時(shí)，AELSTM模型在FD001上的預(yù)測(cè)過(guò)程終止時(shí)相應(yīng)的子模塊級(jí)聯(lián)數(shù)量。隨著誤差精度ε的提升，子模塊的級(jí)聯(lián)數(shù)量呈現(xiàn)出穩(wěn)定或上漲態(tài)勢(shì)，但并不是當(dāng)誤差精度發(fā)生輕微變化時(shí)子模塊的級(jí)聯(lián)數(shù)量就立刻改變，只有當(dāng)模型在該級(jí)聯(lián)次數(shù)下的預(yù)測(cè)能力不足以滿足誤差精度要求時(shí)才會(huì)進(jìn)行下一次的子模塊級(jí)聯(lián)。因此，AELSTM模型能夠根據(jù)不同預(yù)測(cè)場(chǎng)景特點(diǎn)準(zhǔn)確調(diào)整參與級(jí)聯(lián)的子模塊數(shù)量。總體而言，ε越小，子模塊的級(jí)聯(lián)數(shù)量越多，AELSTM模型的預(yù)測(cè)準(zhǔn)確度就越高。

圖11（a）（b）分別展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中預(yù)測(cè)誤差的分布情況和訓(xùn)練時(shí)間。圖11（a）表明，隨著子模塊級(jí)聯(lián)次數(shù)的逐漸增加，模型預(yù)測(cè)誤差的變化范圍逐漸縮小。

3.4 FD002（案例2）

圖12展示了AELSTM模型在FD002數(shù)據(jù)集上訓(xùn)練期間不同子模塊數(shù)量下六個(gè)評(píng)價(jià)指標(biāo)的變化曲線，其與案例1所得的實(shí)驗(yàn)結(jié)果類似。隨著級(jí)聯(lián)數(shù)量的增加，AELSTM模型的六個(gè)評(píng)價(jià)指標(biāo)繼續(xù)呈現(xiàn)出由快到慢的下降趨勢(shì)；級(jí)聯(lián)數(shù)量大約增加到五個(gè)后，各評(píng)價(jià)指標(biāo)的變化開始趨于穩(wěn)定。從整體結(jié)果來(lái)看，級(jí)聯(lián)數(shù)量增加的過(guò)程就是AELSTM模型的預(yù)測(cè)誤差降低的過(guò)程。表6展示了AELSTM模型在子模塊第10次級(jí)聯(lián)后，與無(wú)級(jí)聯(lián)的模型相比六個(gè)評(píng)價(jià)指標(biāo)的下降率。

圖13展示了AELSTM模型的訓(xùn)練過(guò)程中，通過(guò)對(duì)FD002中訓(xùn)練集數(shù)據(jù)進(jìn)行預(yù)測(cè)所輸出的預(yù)測(cè)結(jié)果。與圖7所得的結(jié)論相似，在子模塊進(jìn)行10次級(jí)聯(lián)后（圖13（b）），模型的預(yù)測(cè)精度較無(wú)級(jí)聯(lián)的 （圖13（a））已經(jīng)有了明顯提升，但是提升效果相較案例1略差一些，原因是FD002的訓(xùn)練集中包含的發(fā)動(dòng)機(jī)數(shù)量與訓(xùn)練數(shù)據(jù)樣本是四個(gè)子集中最多的，數(shù)據(jù)量的增加一定程度上影響了模型的訓(xùn)練效果。

圖14和15分別展示了不同數(shù)量（0～10個(gè)）的子模塊級(jí)聯(lián)時(shí)，AELSTM模型在50次迭代訓(xùn)練的過(guò)程中損失函數(shù)和RMSE的動(dòng)態(tài)變化曲線。與圖8和9所得結(jié)論相似，增加訓(xùn)練迭代次數(shù)在一定程度上能夠提高模型的預(yù)測(cè)能力，但當(dāng)訓(xùn)練迭代次數(shù)達(dá)到30次后，預(yù)測(cè)能力的提升程度變得可以忽略不計(jì)，而級(jí)聯(lián)數(shù)量的增加使得AELSTM模型的預(yù)測(cè)精度提高得更為明顯。實(shí)驗(yàn)結(jié)果再次說(shuō)明，級(jí)聯(lián)的機(jī)制能有效降低模型的預(yù)測(cè)誤差，子模塊的級(jí)聯(lián)數(shù)量越多，模型的預(yù)測(cè)精確度越高。

圖16（a）展示了AELSTM模型在FD002測(cè)試集上得到的259臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線；圖16（b）展示的是從圖16（a）中提取放大的第一臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線。從中不難得到與案例1相似的結(jié)論，即經(jīng)過(guò)子模塊級(jí)聯(lián)的模型預(yù)測(cè)準(zhǔn)確度明顯優(yōu)于無(wú)級(jí)聯(lián)的模型，實(shí)驗(yàn)結(jié)果再次驗(yàn)證了子模塊的級(jí)聯(lián)過(guò)程在提高模型的預(yù)測(cè)精度中所起的關(guān)鍵作用。

同理，ε的值與模型中子模塊的級(jí)聯(lián)數(shù)量有著顯著聯(lián)系。這里將ε的值分別設(shè)為3.00、2.99、2.98、2.97、2.96和2.95，當(dāng)級(jí)聯(lián)終止時(shí)，AELSTM模型中包含的子模塊數(shù)量如表7所示。這里同樣可以得出與案例1相同的結(jié)論，即ε越小，模型中級(jí)聯(lián)的子模塊數(shù)量越多，模型的預(yù)測(cè)精度就越高。

圖17（a）展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中預(yù)測(cè)誤差的分布情況。與案例1類似，隨著子模塊級(jí)聯(lián)數(shù)量的增加，模型預(yù)測(cè)誤差的變化范圍依舊逐漸縮小。圖17（b）展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中的訓(xùn)練時(shí)間。

3.5 FD003（案例3）

AELSTM模型在FD003數(shù)據(jù)集上的訓(xùn)練過(guò)程中，模型的六個(gè)評(píng)價(jià)指標(biāo)的變化曲線如圖18所示。

與前兩種情況類似，在案例3中，隨著子模塊級(jí)聯(lián)數(shù)量的增加，六個(gè)評(píng)價(jià)指標(biāo)的數(shù)值同樣呈現(xiàn)由急到緩的下降趨勢(shì)，評(píng)價(jià)指標(biāo)的逐級(jí)下降再次驗(yàn)證了AELSTM模型的預(yù)測(cè)精度是隨著子模塊級(jí)聯(lián)數(shù)量的增加而逐漸提升，并且模型預(yù)測(cè)精度的提升主要依賴于前五次的級(jí)聯(lián)過(guò)程。表8展示了AELSTM模型在子模塊第10次級(jí)聯(lián)之后與無(wú)級(jí)聯(lián)模型相比六個(gè)評(píng)價(jià)指標(biāo)的下降率。表8清晰地表明，在案例3中經(jīng)過(guò)級(jí)聯(lián)后的AELSTM模型，其各項(xiàng)評(píng)價(jià)指標(biāo)的下降率都是四個(gè)案例中最高的，說(shuō)明模型在案例3上取得了最為滿意的訓(xùn)練效果。

圖19展示了AELSTM模型的訓(xùn)練過(guò)程中，通過(guò)對(duì)FD003中的訓(xùn)練集數(shù)據(jù)進(jìn)行預(yù)測(cè)所輸出的預(yù)測(cè)結(jié)果。可以看出，模型在級(jí)聯(lián)前后的預(yù)測(cè)結(jié)果的差異非常明顯，級(jí)聯(lián)后的模型（圖19（b））較無(wú)級(jí)聯(lián)的模型（圖19（a））的預(yù)測(cè)效果顯著增強(qiáng)，并且預(yù)測(cè)結(jié)果中預(yù)測(cè)值與實(shí)際值的擬合程度也是四個(gè)案例中最佳的。實(shí)驗(yàn)展現(xiàn)了AELSTM模型在FD003中出色的訓(xùn)練效果。

與前兩個(gè)案例結(jié)果相似，模型在FD003數(shù)據(jù)集上的訓(xùn)練過(guò)程中，其損失函數(shù)和RMSE總體上隨著子模塊級(jí)聯(lián)數(shù)和訓(xùn)練迭代次數(shù)的增加逐漸降低；當(dāng)訓(xùn)練迭代次數(shù)達(dá)到一定數(shù)量時(shí)，損失函數(shù)和RMSE將趨于穩(wěn)定。相比之下，級(jí)聯(lián)數(shù)量的增加對(duì)模型的預(yù)測(cè)精度的提升更為明顯。

在本案例中對(duì)ε的值和級(jí)聯(lián)終止時(shí)子模塊的級(jí)聯(lián)數(shù)量之間的關(guān)系進(jìn)行了探究。將ε的值分別設(shè)置為0.50、0.40、0.30、0.20、0.15和0.12，結(jié)果如表9所示。從表9中可以再次得知，AELSTM模型完全可以通過(guò)調(diào)整ε的值來(lái)調(diào)節(jié)其預(yù)測(cè)過(guò)程，最終達(dá)到控制預(yù)測(cè)精度的目的。

圖22（a）展示了AELSTM模型在FD003的測(cè)試集上獲得的100臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線，圖22（b）展示的是從圖22（a）中提取放大的第一臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線。從圖22（b）中可以看出，黑色曲線（無(wú)級(jí)聯(lián)的模型預(yù)測(cè)結(jié)果）始終在藍(lán)色曲線（發(fā)動(dòng)機(jī)RUL的實(shí)際值）之下，預(yù)測(cè)效果還不甚理想；而紅色曲線（子模塊10次級(jí)聯(lián)后）已基本實(shí)現(xiàn)了與藍(lán)色曲線重合，這再一次印證了前兩個(gè)案例的結(jié)論，說(shuō)明級(jí)聯(lián)后的AELSTM模型能夠有效提升預(yù)測(cè)結(jié)果的準(zhǔn)確性，并且能收獲理想的預(yù)測(cè)效果（見電子版）。圖23（a）展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中的預(yù)測(cè)誤差分布情況。可以看出，隨著子模塊級(jí)聯(lián)數(shù)量的增加，模型預(yù)測(cè)誤差的變化范圍逐漸縮小，并且從第四次級(jí)聯(lián)后預(yù)測(cè)誤差的分布逐漸趨于恒定。圖23（b）展示了AELSTM模型的訓(xùn)練時(shí)間。

3.6 FD004（案例4）

針對(duì)案例4，AELSTM模型的訓(xùn)練過(guò)程中六個(gè)評(píng)價(jià)指標(biāo)的變化曲線如圖24所示。與前三種情況類似，隨著子模塊級(jí)聯(lián)數(shù)量的增加，六個(gè)評(píng)價(jià)指標(biāo)的數(shù)值均呈現(xiàn)先陡峭后平緩的下降趨勢(shì)，并且六項(xiàng)評(píng)價(jià)指標(biāo)均是在子模塊首次級(jí)聯(lián)后呈現(xiàn)出最大的下降率。隨著級(jí)聯(lián)過(guò)程的持續(xù)進(jìn)行，模型的預(yù)測(cè)誤差逐漸保持平穩(wěn)，沒有表現(xiàn)出明顯的下降。這一現(xiàn)象再次說(shuō)明，AELSTM模型在訓(xùn)練過(guò)程中其預(yù)測(cè)的準(zhǔn)確度隨著級(jí)聯(lián)次數(shù)的增加而逐漸提升，且最初的幾次級(jí)聯(lián)對(duì)模型預(yù)測(cè)精度的提升影響最為明顯，后期的級(jí)聯(lián)對(duì)模型預(yù)測(cè)精度的影響改變較小。

表10展示了AELSTM模型在子模塊第10次級(jí)聯(lián)后與沒有子模塊級(jí)聯(lián)時(shí)的模型相比，六項(xiàng)評(píng)價(jià)指標(biāo)的數(shù)值下降率。綜合前三個(gè)案例可以看出，經(jīng)過(guò)子模塊的10次級(jí)聯(lián)過(guò)程，模型的預(yù)測(cè)精度有了很大的提高，預(yù)測(cè)誤差大幅降低，再次驗(yàn)證了所提方法的有效性。

圖25展示了AELSTM模型在訓(xùn)練過(guò)程中，通過(guò)對(duì)FD004中訓(xùn)練集數(shù)據(jù)進(jìn)行預(yù)測(cè)所得到的預(yù)測(cè)結(jié)果。與前三個(gè)案例相似，相較于無(wú)級(jí)聯(lián)的模型（圖25（a）），經(jīng)過(guò)子模塊10次級(jí)聯(lián)后的模型（圖25（b））的預(yù)測(cè)精度有了明顯提升。

圖26和27分別展示了AELSTM模型在50次訓(xùn)練迭代過(guò)程中，不同的子模塊級(jí)聯(lián)數(shù)量下（0～10次）模型的損失函數(shù)和RMSE的動(dòng)態(tài)變化曲線。與前三個(gè)案例類似，在FD004上對(duì)AELSTM模型進(jìn)行訓(xùn)練時(shí)，模型的損失函數(shù)和RMSE總體上依舊隨著子模塊的級(jí)聯(lián)數(shù)量和訓(xùn)練迭代次數(shù)的增加而降低。但是相比之下，級(jí)聯(lián)數(shù)量的增加對(duì)模型的預(yù)測(cè)精度的提高更為明顯。

圖28（a）展示了AELSTM模型在FD004測(cè)試集上獲得的248臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線，圖28（b）展示的是從圖28（a）中提取放大的第一臺(tái)發(fā)動(dòng)機(jī)的RUL預(yù)測(cè)曲線。在圖28（b）中，黑色曲線無(wú)法準(zhǔn)確反映藍(lán)色曲線的變化規(guī)律，說(shuō)明無(wú)級(jí)聯(lián)模型的預(yù)測(cè)誤差還很大；紅色曲線始終圍繞藍(lán)色曲線上下波動(dòng)，說(shuō)明經(jīng)過(guò)10次級(jí)聯(lián)后的模型輸出的預(yù)測(cè)值已經(jīng)能接近發(fā)動(dòng)機(jī)RUL的實(shí)際值（見電子版）。

本案例中將ε分別設(shè)置為2.00、1.90、1.80、1.70、1.60、1.50、1.40，則AELSTM模型在級(jí)聯(lián)停止時(shí)的子模塊數(shù)量如表11所示。同樣，ε越小，級(jí)聯(lián)的子模塊就越多，模型的預(yù)測(cè)精度也就越高。

圖29（a）展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中的預(yù)測(cè)誤差變化情況。隨著級(jí)聯(lián)的子模塊數(shù)量不斷增加，模型的預(yù)測(cè)誤差變化范圍依舊呈現(xiàn)逐漸縮減的態(tài)勢(shì)。圖29（b）展示了AELSTM模型在子模塊級(jí)聯(lián)過(guò)程中的訓(xùn)練時(shí)間。

3.7 討論

此外，本文還在FD001數(shù)據(jù)集上開展實(shí)驗(yàn)，分析了AELSTM模型不同參數(shù)對(duì)其預(yù)測(cè)效果產(chǎn)生的影響。這里采用SMME（即最大誤差與平均誤差之和）來(lái)衡量AELSTM模型的預(yù)測(cè)效果，SMME的值越小，模型的預(yù)測(cè)精度越高。圖30展示了AELSTM模型在三種不同參數(shù)下（即全連接神經(jīng)網(wǎng)絡(luò)（deep neural networks，DNN）單元數(shù)、DNN層數(shù)和LSTM單元數(shù)）的SMME。圖30中，（a）是子模塊包含5個(gè)DNN層的情況；（b）是子模塊包含300個(gè)LSTM單元的情況；（c）是子模塊包含150個(gè)DNN單元的情況。理論上，在增加DNN層數(shù)和LSTM單元的數(shù)量后，模型可以達(dá)到更好的預(yù)測(cè)效果。然而，DNN層數(shù)和LSTM單元的數(shù)量越多，不可避免地會(huì)帶來(lái)更多復(fù)雜的問(wèn)題（如計(jì)算能力、梯度、激活函數(shù)等）需要解決。經(jīng)過(guò)多次測(cè)試發(fā)現(xiàn)，當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)達(dá)到一定值并繼續(xù)增加，RUL預(yù)測(cè)效果的提高并不明顯。

圖30表明，在同時(shí)考慮三種子模塊的網(wǎng)絡(luò)參數(shù)的情況下，若其中兩個(gè)參數(shù)保持一致單獨(dú)增加第三個(gè)參數(shù)，SMME的值有時(shí)反而會(huì)增加。這種實(shí)驗(yàn)現(xiàn)象說(shuō)明，單純?cè)黾覦NN層數(shù)、DNN單元或LSTM單元不能有效保證模型預(yù)測(cè)誤差減小，也就是說(shuō)，僅僅依靠提高網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性無(wú)法有效提升模型預(yù)測(cè)的準(zhǔn)確性。

為了驗(yàn)證AELSTM模型在航空發(fā)動(dòng)機(jī)壽命預(yù)測(cè)領(lǐng)域的前沿性，本文將AELSTM模型在C-MAPSS中展現(xiàn)出的預(yù)測(cè)效果與其他先進(jìn)算法進(jìn)行了比較。表12列出了C-MAPSS中的數(shù)據(jù)經(jīng)過(guò)多種算法預(yù)測(cè)后所得的RMSE值。除了引言部分提到的極限學(xué)習(xí)機(jī)［17］、隨機(jī)森林［18］、多尺度卷積神經(jīng)網(wǎng)絡(luò)［25］以及雙重注意力機(jī)制架構(gòu)［26］外，還包括雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的自編碼器方法［42］、多目標(biāo)深度信念網(wǎng)絡(luò)集成方法［43］、混合深度循環(huán)神經(jīng)網(wǎng)絡(luò)［44］以及基于相似度的粒子濾波方法［45］等多種先進(jìn)的剩余壽命預(yù)測(cè)算法。總體而言，與FD002和FD004子集相比，所有列出算法在FD001和FD003上的RMSE值更小，這是因?yàn)镕D002和FD004子集中包含更多的發(fā)動(dòng)機(jī)運(yùn)行條件、更復(fù)雜的故障模式與更大體量的訓(xùn)練數(shù)據(jù)。此外，相對(duì)于深度學(xué)習(xí)算法來(lái)說(shuō)，兩種淺層學(xué)習(xí)方法的表現(xiàn)顯得稍差一些。值得一提的是，在所有列出的算法中，AELSTM模型在四個(gè)子集上所得的RMSE均為最小，這表明與其他先進(jìn)的預(yù)測(cè)算法相比，AELSTM模型在航空發(fā)動(dòng)機(jī)的剩余壽命預(yù)測(cè)領(lǐng)域表現(xiàn)得更為突出。

對(duì)應(yīng)于不同的預(yù)測(cè)場(chǎng)景，誤差精度與子模塊的設(shè)置也有一定差異。就誤差精度的設(shè)置而言，并不是設(shè)置的誤差精度越高越好，事實(shí)上，如果設(shè)置的精度過(guò)高，可能會(huì)導(dǎo)致模型的運(yùn)算時(shí)間過(guò)長(zhǎng)，反而會(huì)對(duì)模型的預(yù)測(cè)效率產(chǎn)生影響。如果對(duì)于一些成本較低或是易損耗的元器件，在對(duì)它們進(jìn)行壽命預(yù)測(cè)時(shí)，誤差精度就可以不用依據(jù)航空發(fā)動(dòng)機(jī)的預(yù)測(cè)標(biāo)準(zhǔn)設(shè)定，可以適當(dāng)放寬，只要不對(duì)元器件大致使用壽命的判斷產(chǎn)生影響即可。對(duì)于子模塊級(jí)聯(lián)數(shù)量的設(shè)定，通過(guò)本文的四個(gè)案例可以得知，當(dāng)子模塊的級(jí)聯(lián)數(shù)量大于5時(shí)，模型預(yù)測(cè)誤差的減少效果已經(jīng)較為顯著；隨著網(wǎng)絡(luò)深度的增加，當(dāng)級(jí)聯(lián)至10個(gè)模塊左右時(shí)，網(wǎng)絡(luò)性能的提升效果就不太明顯。為了兼顧模型的預(yù)測(cè)效果和運(yùn)行效率，本文選擇將子模塊的級(jí)聯(lián)數(shù)量設(shè)定為10進(jìn)行研究。總體而言，對(duì)于其他領(lǐng)域的預(yù)測(cè)過(guò)程，誤差精度的設(shè)置只需要根據(jù)具體問(wèn)題多次嘗試，可以初始時(shí)設(shè)定大一些，然后再根據(jù)實(shí)際預(yù)測(cè)效果逐步進(jìn)行調(diào)整，直至滿足預(yù)測(cè)要求；而子模塊的級(jí)聯(lián)數(shù)量則根據(jù)實(shí)際預(yù)測(cè)場(chǎng)景需求將其大致設(shè)定在5～10即可。

實(shí)驗(yàn)證明，AELSTM模型在預(yù)測(cè)過(guò)程中只有前幾次的子模塊級(jí)聯(lián)過(guò)程會(huì)對(duì)模型的預(yù)測(cè)效果產(chǎn)生明顯影響，后續(xù)的級(jí)聯(lián)過(guò)程對(duì)預(yù)測(cè)效果的影響逐漸減弱，并且更多的級(jí)聯(lián)會(huì)導(dǎo)致更長(zhǎng)的訓(xùn)練時(shí)間，影響AELSTM模型的預(yù)測(cè)效率。因此，在實(shí)際使用AELSTM模型時(shí)，適度精簡(jiǎn)模型結(jié)構(gòu)是很有必要的。事實(shí)上，并不是所有的設(shè)備元器件都具有高精度的壽命預(yù)測(cè)標(biāo)準(zhǔn)，在不影響使用者對(duì)設(shè)備元器件的壽命進(jìn)行判斷的前提下，適當(dāng)對(duì)誤差精度進(jìn)行放寬反而能使模型的運(yùn)算成本更低、響應(yīng)速度更快。因此，根據(jù)具體的使用場(chǎng)景需求合理選擇誤差精度才能使得AELSTM模型收獲更加優(yōu)秀的預(yù)測(cè)表現(xiàn)。

4 結(jié)束語(yǔ)

本文提出了一個(gè)基于AELSTM模型的預(yù)測(cè)方法來(lái)預(yù)測(cè)航空發(fā)動(dòng)機(jī)的剩余壽命。實(shí)驗(yàn)利用美國(guó)國(guó)家航空航天局發(fā)布的C-MAPSS全壽命數(shù)據(jù)集中的四個(gè)數(shù)據(jù)子集作為訓(xùn)練和測(cè)試樣本，通過(guò)MSE、RMSE、MAE、MAPE、SMAPE和SMME六個(gè)評(píng)價(jià)指標(biāo)的變化規(guī)律來(lái)評(píng)價(jià)AELSTM模型的預(yù)測(cè)效果。實(shí)驗(yàn)結(jié)果表明，所提出的子模塊擴(kuò)展級(jí)聯(lián)的機(jī)制有效提高了模型的預(yù)測(cè)準(zhǔn)確率，也為未來(lái)其他設(shè)備的壽命預(yù)測(cè)研究提供了新的思路與方法。本文工作的主要結(jié)論如下：

a）AELSTM模型采用的子模塊拓展級(jí)聯(lián)機(jī)制，極大地改善了傳統(tǒng)LSTM網(wǎng)絡(luò)預(yù)測(cè)精度不足的缺陷。隨著子模塊級(jí)聯(lián)數(shù)量的增加，模型的預(yù)測(cè)誤差越來(lái)越小，預(yù)測(cè)準(zhǔn)確度也越來(lái)越高。此外，AELSTM模型可通過(guò)調(diào)節(jié)ε的數(shù)值大小來(lái)控制子模塊的擴(kuò)展級(jí)聯(lián)過(guò)程，這使得AELSTM模型具備動(dòng)態(tài)調(diào)整預(yù)測(cè)誤差的能力，從而滿足不同應(yīng)用場(chǎng)景下的預(yù)測(cè)需求。

b）本文探討了AELSTM模型的網(wǎng)絡(luò)參數(shù)（即DNN單元、DNN層數(shù)和LSTM單元數(shù)）的變化對(duì)其預(yù)測(cè)誤差帶來(lái)的影響。實(shí)驗(yàn)結(jié)果表明，在保持其中兩個(gè)參數(shù)一致，單獨(dú)修改第三個(gè)參數(shù)的條件下，無(wú)法保證預(yù)測(cè)誤差的穩(wěn)定減小。這也意味著單一依靠增加網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性不能有效提高模型預(yù)測(cè)的準(zhǔn)確性。

對(duì)未來(lái)的工作有以下幾點(diǎn)展望：a）可以利用所提出的AELSTM模型對(duì)其他關(guān)鍵設(shè)備（如滾動(dòng)軸承和工業(yè)鋰電池）的RUL預(yù)測(cè)開展進(jìn)一步研究；b）通過(guò)應(yīng)用各種優(yōu)化算法優(yōu)化AELSTM模型的初始權(quán)重和閾值，來(lái)降低AELSTM模型的訓(xùn)練復(fù)雜度和訓(xùn)練時(shí)間；c）可以考慮采用性能更高的傳感器來(lái)提高采集到的數(shù)據(jù)樣本的質(zhì)量；d）AELSTM模型可以考慮與其他RUL預(yù)測(cè)模型進(jìn)一步結(jié)合來(lái)提高預(yù)測(cè)精度；e）如何設(shè)定合適的誤差閾值來(lái)調(diào)控模型預(yù)測(cè)準(zhǔn)確度和預(yù)測(cè)效率之間的相對(duì)平衡。

參考文獻(xiàn)：

［1］王璽，胡昌華，任子強(qiáng)，等. 基于非線性Wiener過(guò)程的航空發(fā)動(dòng)機(jī)性能衰減建模與剩余壽命預(yù)測(cè) ［J］. 航空學(xué)報(bào)，2020，41（2）： 223291. （Wang Xi，Hu Changhua，Ren Ziqiang，et al. Performance degradation modeling and remaining useful life prediction for aero-engine based on nonlinear Wiener process ［J］. Acta Aeronautica et Astronautica Sinica，2020，41（2）： 223291.）

［2］Miao Huihui，Li Bing，Sun Chuang，et al. Joint learning of degradation assessment and RUL prediction for aeroengines via dual-task deep LSTM networks ［J］. IEEE Trans on Industrial Informatics，2019，15（9）： 5023-5032.

［3］Liu Junqiang，Lei Fan，Pan Chunlu，et al. Prediction of remaining useful life of multi-stage aero-engine based on clustering and LSTM fusion ［J］. Reliability Engineering amp; System Safety，2021，214（10）： 107807.

［4］劉君強(qiáng)，謝吉偉，左洪福，等. 基于隨機(jī)Wiener過(guò)程的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 航空學(xué)報(bào)，2015，36（2）： 564-574. （Liu Junqiang，Xie Jiwei，Zuo Hongfu，et al. Residual lifetime prediction for aeroengines based on Wiener process with random effects ［J］. Acta Aeronautica et Astronautica Sinica，2015，36（2）： 564-574.）

［5］Xiang Sheng，Qin Yi，Luo Jun，et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction ［J］. Reliability Engineering amp; System Safety，2021，216（12）：107927.

［6］Wu Jun，Su Yongheng，Cheng Yiwei，et al. Multi-sensor information fusion for remaining useful life prediction of machining tools by adaptive network based fuzzy inference system ［J］. Applied Soft Computing，2018，68（7）： 13-23.

［7］Chiachío J，Jalón M L，Chiachío M，et al. A Markov chains prognostics framework for complex degradation processes ［J］. Reliability Engineering amp; System Safety，2020，195（3）： 106621.

［8］Saxena A，Goebel K，Simon D，et al. Damage propagation modeling for aircraft engine run-to-failure simulation ［C］// Proc of International Conference on Prognostics and Health Management. Piscataway，NJ： IEEE Press，2008： 1-9.

［9］Shi Yue，Zhu Weihang，Xiang Yisha，et al. Condition-based maintenance optimization for multi-component systems subject to a system reliability requirement ［J］. Reliability Engineering amp; System Safety，2020，202（10）： 107042.

［10］Liu Datong，Xie Wei，Liao Haitao，et al. An integrated probabilistic approach to lithium-ion battery remaining useful life estimation ［J］. IEEE Trans on Instrumentation and Measurement，2015，64（3）： 660-670.

［11］Wu Jun，Hu Kui，Cheng Yiwei，et al. Data-driven remaining useful life prediction via multiple sensor signals and deep long short-term memory neural network ［J］. ISA Trans，2020，97（2）： 241-250.

［12］Zhang Zhizheng，Song Wen，Li Qiqiang. Dual-aspect self-attention based on transformer for remaining useful life prediction ［J］. IEEE Trans on Instrumentation and Measurement，2022，71： 1-11.

［13］Ren Lei，Cui Jin，Sun Yaqiang，et al. Multi-bearing remaining useful life collaborative prediction： a deep learning approach ［J］. Journal of Manufacturing Systems，2017，43（4）： 248-256.

［14］Wu Jiyan，Wu Min，Chen Zhenghua，et al. Degradation-aware remaining useful life prediction with LSTM autoencoder ［J］. IEEE Trans on Instrumentation and Measurement，2021，70： 3511810.

［15］Qian Yuning，Yan Ruqiang. Remaining useful life prediction of rolling bearings using an enhanced particle filter ［J］. IEEE Trans on Instrumentation and Measurement，2015，64（10）： 2696-2707.

［16］Khelif R，Chebel-Morello B，Malinowski S，et al. Direct remaining useful life estimation based on support vector regression ［J］. IEEE Trans on Industrial Electronics，2017，64（3）： 2276-2285.

［17］Berghout T，Mouss L H，Kadri O，et al. Aircraft engines remaining useful life prediction with an adaptive denoising online sequential extreme learning machine ［J］. Engineering Applications of Artificial Intelligence，2020，96（11）： 103936.

［18］Mawonou K S R，Eddahech A，Dumur D，et al. State-of-health estimators coupled to a random forest approach for lithium-ion battery aging factor ranking ［J］. Journal of Power Sources，2021，484（2）： 229154.

［19］劉文溢，劉勤明，葉春明，等. 基于改進(jìn)退化隱馬爾可夫模型的設(shè)備健康診斷與壽命預(yù)測(cè)研究 ［J］. 計(jì)算機(jī)應(yīng)用研究，2021，38（3）： 805-810. （Liu Wenyi，Liu Qinming，Ye Chunming，et al. Equipment health diagnostics and prognostics method based on improved degenerated HMM ［J］. Application Research of Compu-ters，2021，38（3）： 805-810.）

［20］Ordóez C，Lasheras F S，Roca-Pardias J，et al. A hybrid ARIMA-SVM model for the study of the remaining useful life of aircraft engines ［J］. Journal of Computational and Applied Mathematics，2019，346（1）： 184-191.

［21］LeCun Y，Bengio Y，Hinton G. Deep learning ［J］. Nature，2015，521（7553）： 436-444.

［22］Zhang Jianjing，Wang Peng，Yan Ruqiang，et al. Long short-term memory for machine remaining life prediction ［J］. Journal of Manu-facturing Systems，2018，48（7）： 78-86.

［23］Song Xiao，Chen Kai，Li Xu，et al. Pedestrian trajectory prediction based on deep convolutional LSTM network ［J］. IEEE Trans on Intelligent Transportation Systems，2021，22（6）： 3285-3302.

［24］馬忠，郭建勝，顧濤勇，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 空軍工程大學(xué)學(xué)報(bào)： 自然科學(xué)版，2020，21（6）： 19-25. （Ma Zhong，Guo Jiansheng，Gu Taoyong，et al. A remaining useful life prediction for aero-engine based on improved convolution neural networks ［J］. Journal of Air Force Engineering University： Natural Science Edition，2020，21（6）： 19-25.）

［25］Li Han，Zhao Wei，Zhang Yuxi，et al. Remaining useful life prediction using multi-scale deep convolutional neural network ［J］. Applied Soft Computing，2020，89（4）： 106113.

［26］Liu Lu，Song Xiao，Zhou Zhetao. Aircraft engine remaining useful life estimation via a double attention-based data-driven architecture ［J］. Reliability Engineering and System Safety，2022，221（5）：108330.

［27］周壯，周鳳. 基于E2E Deep VAE-LSTM的軸承退化預(yù)測(cè)應(yīng)用研究 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（7）： 2091-2097. （Zhou Zhuang，Zhou Feng. Application research on bearing degradation prediction based on E2E Deep VAE-LSTM ［J］. Application Research of Computers，2022，39（7）： 2091-2097.）

［28］Hochreiter S，Schmidhuber J. Long short-term memory ［J］. Neural Computation，1997，9（8）： 1735-1780.

［29］胡啟國(guó)，白熊，杜春超. 基于KPCA-BLSTM的航空發(fā)動(dòng)機(jī)多信息融合剩余壽命預(yù)測(cè) ［J］. 航空工程進(jìn)展，2022，13（3）： 157-163，170. （Hu Qiguo，Bai Xiong，Du Chunchao. Remaining useful life prediction of aero-engine multi-information fusion based on KPCA-BLSTM ［J］. Advances in Aeronautical Science and Enginee-ring，2022，13（3）： 157-163，170.）

［30］Ma Meng，Mao Zhu. Deep-convolution-based LSTM network for remaining useful life prediction ［J］. IEEE Trans on Industrial Informatics，2021，17（3）： 1658-1667.

［31］Fan Dongyan，Sun Hai，Yao Jun，et al. Well production forecasting based on ARIMA-LSTM model considering manual operations ［J］. Energy，2021，220（4）： 119708.

［32］Elsheikh A，Yacout S，Ouali M S. Bidirectional handshaking LSTM for remaining useful life prediction ［J］. Neurocomputing，2019，323（1）： 148-156.

［33］張加勁. 基于注意力機(jī)制和CNN-BiLSTM模型的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 電子測(cè)量與儀器學(xué)報(bào)，2022，36（8）： 231-237. （Zhang Jiajing. Remaining useful life estimation of aeroengine based on CNN-BiLSTM and attention mechanism ［J］. Journal of Electronic Measurement and Instrumentation，2022，36（8）：231-237.）

［34］Xiao Lei，Tang Junxuan，Zhang Xinghui，et al. Remaining useful life prediction based on intentional noise injection and feature reconstruction ［J］. Reliability Engineering amp; System Safety，2021，215（11）： 107871.

［35］王旭，艾紅. 基于CAE與LSTM的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 北京信息科技大學(xué)學(xué)報(bào)： 自然科學(xué)版，2020，35（4）： 57-62. （Wang Xu，Ai Hong. Prediction of the remaining life of aerospace engine based on CAE and LSTM ［J］. Journal of Beijing Information Science amp; Technology University： Natural Science Edition，2020，35（4）： 57-62.）

［36］張其霄，董鵬，王科文，等. 基于貝葉斯優(yōu)化LSTM的發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 火力與指揮控制，2022，47（4）： 85-89. （Zhang Qixiao，Dong Peng，Wang Kewen，et al. Residual service life prediction for aircraft engines based on Bayesian optimal long short-term memory network ［J］. Fire Control amp; Command Control，2022，47（4）： 85-89.）

［37］Zhao Huimin，Liu Haodong，Jin Yang，et al. Feature extraction for data-driven remaining useful life prediction of rolling bearings ［J］. IEEE Trans on Instrumentation and Measurement，2021，70： 3511910.

［38］Wang Cunsong，Zhu Zhenghong，Lu Ningyun，et al. A data-driven degradation prognostic strategy for aero-engine under various operational conditions ［J］. Neurocomputing，2021，462（10）： 195-207.

［39］楊麗，吳雨茜，王俊麗，等. 循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述 ［J］. 計(jì)算機(jī)應(yīng)用，2018，38（S2）： 1-6，26. （Yang Li，Wu Yuqian，Wang Junli，et al. Research on recurrent neural network ［J］. Journal of Computer Applications，2018，38（S2）： 1-6，26.）

［40］王欣，孟天宇，周俊曦. 基于注意力與LSTM的航空發(fā)動(dòng)機(jī)剩余壽命預(yù)測(cè) ［J］. 科學(xué)技術(shù)與工程，2022，22（7）： 2784-2792. （Wang Xin，Meng Tianyu，Zhou Junxi. Remaining useful life prediction for aircraft engine using attention-based LSTM［J］.Science Technology and Engineering，2022，22（7）： 2784-2792.）

［41］Saxena A，Goebel K. Turbofan engine degradation simulation data set［DB/OL］. （2010-09-22）. https：//c3.ndc.nasa.gov/dashlink/resources/139/.

［42］Yu Wennian，Kim I Y，Mechefske C. An improved similarity-based prognostic algorithm for RUL estimation using an RNN autoencoder scheme ［J］. Reliability Engineering and System Safety，2020，199（7）： 106926.

［43］Zhang Chong，Lim P，Qin A K，et al. Multiobjective deep belief networks ensemble for remaining useful life estimation in prognostics ［J］. IEEE Trans on Neural Networks and Learning Systems，2016，28（10）： 2306-2318.

［44］Xia Min，Zheng Xi，Imran M，et al. Data-driven prognosis method using hybrid deep recurrent neural network ［J］. Applied Soft Computing，2020，93（8）： 106351.

［45］Cai Haoshu，F(xiàn)eng Jianshe，Li Wenzhe，et al. Similarity-based particle filter for remaining useful life prediction with enhanced performance ［J］. Applied Soft Computing，2020，94（9）： 106474.