循環神經網絡在剩余使用壽命預測中的應用綜述

吳東燃? 夏藝? 王婧? 古書懷

摘? 要：準確的剩余使用壽命預測對于提高工業設備及復雜系統的使用價值、降低設備生命周期成本具有重要意義。循環神經網絡具有時間維度上的記憶性且能夠參數共享，比較適用于剩余使用壽命預測。文章基于循環神經網絡對剩余使用壽命預測展開深入的研究，將搜集文獻法分為三種：基于單一循環神經網絡的預測方法，以循環神經網絡為主、以其他神經網絡為輔的混合網絡預測方法，以及循環神經網絡與其他算法相結合的預測方法。最后，文章從魯棒性研究、泛化性研究和優化預測模型三個方面提出了下一步的研究建議。

關鍵詞：循環神經網絡；長短時記憶網絡；門控循環單位；預測性維護；剩余使用壽命

中圖分類號：TP18? ? 文獻標識碼：A? 文章編號：2096-4706（2023）24-0061-06

Review on the Application of Recurrent Neural Networks in the Prediction of Remaining Service Life

QIU Peizhen， WU Dongran， XIA Yi， WANG Jing， GU Shuhuai

（School of Data Science and Engineering， South China Normal University， Guangzhou? 510631， China）

Abstract： Accurate prediction of remaining service life is of great significance for improving the using value of industrial equipment and complex systems， and reducing equipment lifecycle costs. Recurrent neural networks have memory in the time dimension and can share parameters， making them more suitable for predicting remaining service life. This paper conducts in-depth research on the prediction of remaining service life based on recurrent neural networks. The literature collection methods are divided into three types： prediction methods based on a single recurrent neural network， hybrid network prediction methods mainly based on recurrent neural networks and supplemented by other neural networks， and prediction methods combining recurrent neural networks with other algorithms. Finally， it proposes further research recommendations from three aspects： robustness research， generalization research， and optimization of prediction models.

Keywords： recurrent neural network; Long Short-Term Memory; gate recurrent unit; predictive maintenance; remaining service life

0? 引? 言

剩余使用壽命（Remaining Useful Life， RUL）是指從當前時間點到產品使用壽命結束之間的時間段[1]。RUL預測是預測性維護（Predictive Maintenance）[1]最重要的組成部分。準確的RUL預測有助于將計劃維護轉向預測性維護，有效減少維護成本和避免因重大設備故障帶來的災難性后果。

在RUL預測中，需要建立性能良好、穩定可靠的模型，對設備狀態進行準確的辨識和預測。經過多年的研究和探索，神經網絡在RUL預測領域展現出強大的優勢。基于神經網絡的RUL預測方法旨在以原始測量數據或基于原始測量數據提取的特征作為神經網絡的輸入，通過一定的訓練算法不斷調整網絡的結構和參數，利用優化后的網絡在線預測設備的剩余使用壽命，預測過程中無須提供任何先驗信息，完全基于監測數據得到預測結果。

循環神經網絡（Recurrent Neural Network， RNN）是一類以序列數據為輸入，在序列的演進方向上進行遞歸，且其所有節點（循環單元）均以鏈式進行連接的遞歸神經網絡[2]。不同于傳統神經網絡，RNN允許信息持續存在，它能挖掘數據中的時序信息和語義信息，在處理連續時間序列數據方面具有很高的效率。時序數據是一種隨時間變化的數據，可在一定程度上反映出設備在不同時間點的運行情況。在RUL預測中，大多數設備傳感器數據本質上是時序數據，可用于識別設備性能的退化趨勢和潛在問題，從而對設備進行預測性維護。

本文所討論的RNN是廣義上的RNN，包括最基本的RNN，以及在RNN的基礎上進行改進得到的多種變體，如常用的長短期記憶神經網絡（LSTM）、雙向長短時記憶網絡（BiLSTM）、門控循環單元（GRU）等[2]。這些變體的特殊結構彌補了RNN的不足，可以幫助提高RUL預測的效率和準確性。

在實際的工業生產中，采用RNN進行RUL預測的過程中常常會遇到模型參數眾多、訓練復雜度較高，需要消耗大量時間和計算資源進行訓練的問題。因此，將優化算法與RNN模型相結合，可以有效地優化RNN模型，提高其性能和訓練效率。常見的優化算法包括梯度下降法（GD）、隨機梯度下降法（SGD）、遺傳算法（GA）和粒子群算法（PSO）等[3]。優化算法可以優化RNN模型的權重和偏置參數，逐漸提高模型的精度和泛化能力。優化算法和RNN相結合的方法逐漸成為機器學習領域極為重要的方法，在許多領域廣被采用。

本文作者在中國知網、IEEE、SCIENCEDIRECT、SCI和ACM Digital Library等數據庫中進行了兩組關鍵詞（領域關鍵詞和技術關鍵詞）的搜索。前者包括“RUL”，后者包括“RNN”“LSTM”“GRU”。從2017年至今，根據相關程度篩選出42篇論文（不包括綜述）。截至2023年2月，已有多篇論文回顧了與RUL預測相關的主題。文獻[4]側重點為軸承故障分類和基于機器學習的RUL預測技術。文獻[5]側重點為RNN方法在機械故障診斷中的研究現狀。現有綜述多是論述機器學習方面的內容，范圍較廣。而對擅于處理有時間序列特征的數據的RNN在RUL預測中的應用，暫無相關綜述。為填補這一空白，本文將主要基于RNN對RUL的預測展開深入研究，將所有涉及RNN在RUL預測領域的文獻進行統計與篩選，挑選出代表性論文進行綜述。最后從魯棒性研究、泛化性研究、優化預測模型三個方面對RNN在RUL預測中的應用進行了展望。

1? 基于單一RNN的預測方法

1.1? 基于LSTM的RUL預測方法

有學者定量評估各種最先進的RNN結構對RUL預測性能的影響，證明了變體方法比原RNN的性能更好[6]。而LSTM[2]作為最常見和最著名的RNN變體之一，經常被學者應用于RUL預測中。在飛機渦扇發動機[7]、滾動軸承[8]和傳感器[9]等設備數據的RUL預測應用中均取得了不錯的效果。圖1為LSTM的結構圖，由遺忘門、輸入門和輸出門組成。遺忘門決定丟棄上一狀態的哪些信息；輸入門決定在此刻的單元格狀態中存儲哪些新信息；輸出門決定要輸出何種信息，用來控制單元狀態ct的內容傳遞到輸出值ht的比例。

單向LSTM存在只能沿著時間軸向前傳遞信息的局限性，而BiLSTM可以雙向傳遞信息，從而可以更好地捕捉時間序列數據中的相關性，成為學者研究的熱點[10]。

當傳統的LSTM不能滿足要求時，學者往往通過改進LSTM來達到理想結果，基于權值放大的長短期記憶神經網絡（WA-LSTM）就是其中的一種[11]。WA-LSTM通過對不同時間步的權重進行加權放大，提高了預測準確率。多細胞LSTM（MCLSTM）也是其中一種改進的LSTM模型[12]。MCLSTM可以在每個時間步驟上使用多個LSTM單元來學習不同的特征，這使得它可以增強網絡的表示能力。

當單個LSTM不能滿足實際生產的要求時，可以將堆疊LSTM（S-LSTM）投入到應用中[13]。S-LSTM可以更好地學習和捕捉時間序列數據中的長期依賴關系，減少過擬合的風險。

1.2? 基于GRU的RUL預測方法

GRU[2]的結構比LSTM簡單，參數也較少，且不需要像LSTM那樣存儲多個狀態，因此GRU的計算效率相對LSTM來說更高，也更適合短序列。圖2為GRU的結構圖，它在LSTM模型的基礎上進行了改進，將遺忘門和輸入門合并成更新門，同時將狀態單元與隱藏層合并成重置門。研究人員將GRU用于RUL預測中，取得了不錯的成效[14]。

在傳統GRU的基礎上，研究人員提出了增強記憶門控循環單元（RMGRU）網絡，與傳統的GRU相比，RMGRU在處理長序列或長時間記憶的任務上具有優勢，且能夠更好地泛化到不同的任務上。將RMGRU用在RUL預測中也能取得不錯的成果[15]。

單向GRU只能考慮過去的信息，而BGRU可以同時考慮過去和未來的信息。這使得BGRU能夠更好地處理輸入序列中的復雜模式，成為RUL預測領域的研究熱點[16]。

LSTM的記憶單元可以更好地捕捉長期依賴關系，而GRU的門控單元可以更好地控制信息流的開關，將GRU和LSTM結合在一起可以充分利用它們各自的優點，得到更好的泛化能力和計算效率[17]。

2? 以RNN為主的混合網絡預測方法

2.1? RNN與CNN結合模型

卷積神經網絡（CNN）具有較強的分類能力，能夠處理高維數據，適用于多維信息的處理，且CNN可以捕捉局部特征，可以用于檢測信號中的局部特征。圖3為CNN結構圖，由卷積層、池化層和全連接層組成。卷積層對輸入數據進行特征提取，池化層進行特征選擇和信息過濾，全連接層將特征圖展開為向量，然后進行分類或回歸。將LSTM和CNN結合可以同時捕捉全局特征和局部特征，從而提高了預測的準確性。在RUL預測研究中，學者結合使用CNN和LSTM來提取特征[18]。通常，學者使用CNN提取特征，然后將CNN提取的信息作為LSTM的補充，將LSTM和CNN有機地結合增強預測能力[19]。

為了突破單向LSTM的局限，學者也常將BiLSTM與CNN結合應用于RUL預測中，讓CNN提取空間特征，BiLSTM提取時間特征[20]。

與LSTM相比，GRU在處理長序列時具有更高的效率，并且可以更好地處理高維數據，因此有些學者也將CNN與GRU結合應用于RUL領域[21]。

在實際生產中，面對不同特征的數據，也可以將RNN與CNN再結合其他結構，以達到更好的效果。由于多時間窗口集成框架可以利用不同時間尺度的信息來提高預測精度和魯棒性，有學者將其用于準確預測狀態監測數據的長度存在高度不一致情況下的RUL[22]。多尺度卷積神經網絡（MSCNN）是一種用于圖像處理的深度學習模型，可以同時處理不同尺度的特征，并從中提取更加豐富的信息，因此也有學者將其應用在RUL預測中[23]。

2.2? RNN與自動編碼器結合模型

自編碼器（Auto-Encoders， AE）是一種神經網絡模型，由編碼器和解碼器兩個主要組件組成，圖4為自編碼器的結構圖。AE可以有效地實現信息降噪，做到在不同維度上進行特征提取。研究人員將AE和RNN結合起來進行RUL預測，將它們結合起來，可以利用RNN的序列建模能力對序列數據進行編碼和解碼，使得AE能夠處理序列數據，降低過擬合風險[24]。

在此基礎上，研究人員將LSTM與自編碼器相結合，通過AE的降噪和特征提取來提高LSTM的穩定性和魯棒性，從而緩解模型的過擬合和欠擬合問題[25]。當需要通過雙向處理來捕捉數據的前后文關系時，也可以將AE和BiLSTM相結合[26]。BiLSTM作為時態建模工具，捕捉特征之間的雙向長程依賴關系。

此外，研究人員還將GRU和AE進行了結合。AE可以通過學習數據的特征表示來提取數據的有用信息，而GRU可以通過門控機制來捕捉數據的動態變化，二者相得益彰[27]。

除了傳統的AE，研究人員還將AE的變體和RNN及其變體相結合，以達到更好的效果，卷積自編碼器（CAE）就是其中的一種。研究人員將CAE與RNN及其變體進行結合，用于RUL預測中[28]。與傳統的AE不同，CAE使用卷積層代替全連接層，能夠提取更深層次的特征。

變分自編碼器（VAE）也是自動編碼器的一個變種，與標準AE不同的是，VAE具有概率解釋，其編碼器輸出的是潛在空間的概率分布，而不是單個編碼向量。學者將其應用于RUL預測，也取得了不錯的效果[29]。

2.3? RNN與注意力機制結合模型

注意力機制[30]是一種可以增強神經網絡模型對輸入數據關注度的結構，可以在計算能力有限的情況下，過濾掉重要程度較低的信息，將計算資源分配到主要信息處理，提高當前任務中關鍵工作的效能。研究人員常將注意力機制與LSTM結合應用在RUL預測中[31]。

BiLSTM對較長序列的處理能力仍有不足。而將注意機制與BiLSTM集成，能夠選擇性地處理部分信息，模型可以更加精確地選擇需要關注的部分[32]。注意力機制常常與優化算法相結合，以達到最優效果。PSO即為一種常見的算法，是學者研究的熱點[33]。

在實際的工業應用中，研究人員為了網絡能夠更好地關注輸入信息中的屬性，提高序列建模和預測的準確性，對注意力機制進行了改進，屬性關注LSTM神經網絡就是其中的一種[34]。

2.4? RNN與其他結構的結合

除了以上三種結構與RNN的結合以外，研究人員也嘗試將其他結構與RNN相結合，在應用中同樣取得了顯著的效果，DenseNet網絡就是其中的一種[35]。DenseNet網絡可以“拓寬”模型每一層的過濾器，同時學習更少的參數，表現出優異的性能。有向無環圖（DAG）能夠建模多種復雜的關系，與RNN結合則可以更好地建模多個時間步之間的依賴關系，提高模型的預測準確度，成為研究人員的研究方向之一[36]。

3? RNN與其他算法相結合的預測方法

由于數據復雜性和噪聲的存在，RNN難以準確捕捉到序列數據中的關鍵特征。而在RNN前進行特征提取，可以對原始數據進行一些變換和處理，從而提取出更加抽象和高層次的特征，下面是RUL預測應用中在RNN前常用的幾種特征提取方法：

1）主成分分析（PCA）。主成分分析是一種常用的數據降維和特征提取方法，它能夠將高維度的數據轉換為低維度的數據。因此學者們常將其用于去除指標數據冗余、降低數據的復雜度[37]。PCA常用于數據的線性降維，而核主成分分析（KPCA）可實現數據的非線性降維，用于非線性特征提取[38]。Akpudo等[39]也提出了用于退化評估的KPCA特征融合技術。概率主成分分析（PPCA）是PCA的一種升級，通過引入概率來降低原始數據的維數[40]。

2）經驗模態分解（EMD）。經驗模態分解是一種信號處理方法，能夠自適應地將信號分解為若干個具有明確物理意義的成分，使得信號的特征更加明顯，便于后續處理。學者們常采用EMD對數據進行降噪處理[41]。遇到數據量較小、難以精確描述的數據（即只有幾個數據點）時，研究人員經常會使用灰色關聯分析法來解決這些問題[42]。灰色關聯分析（GRA）是一種基于灰色系統理論的分析方法，用于研究多個因素之間的關系和影響。

3）聚類。聚類是一種無監督學習方法，其基本思想是對原始數據樣本進行聚類，然后使用新的特征向量——聚類中心來表示每個數據樣本。通過這種方式，可以將高維的原始數據樣本轉換成低維的聚類中心，從而減少特征維度，提取出更加有效的特征，方便后續模型訓練和分類任務的開展。因此學者們常采用聚類方法進行數據預處理[17]。

RNN的訓練和調參往往需要大量的時間和資源。為了解決這一問題，人們提出了很多算法來優化神經網絡的參數。Dropout是一種用于防止過擬合的正則化技術，常被學者用于避免過擬合和梯度消失現象的發生。Adam算法是一種常用的SGD優化算法，具有自適應學習率和可靠性等優點，可以提高RUL預測的準確度[43]。此外，還采用粒子濾波（PF）算法對模型參數進行跟蹤，采用GA來優化權重和偏置等參數[44]。PSO的收斂速度和精度均優于GA，因此前者也可以用于優化模型超參數[45]。

自適應是指系統或算法能夠自主地調整自身的行為、參數或結構，能夠提高模型的泛化能力和準確率，應用領域越來越廣泛，在RUL領域也成為研究熱點。學者使用不同的算法來實現模型自適應，其中有自適應Levy飛行算法[46]、彈性均方反向傳播方法[47]等。

4）多網格搜索（MLGS）。多網格搜索是一種模型參數優化算法，它可以在較短的時間內快速找到最優的模型參數。學者將其用于對模型參數進行優化，也取得了不錯的效果[37]。

除了上述算法，研究人員還將其他優化算法用于優化RNN參數上。實際運用中可以根據工業生產的需要選擇合適的算法。

4? 結? 論

準確的RUL預測有助于將計劃性維護轉變為預測性維護，有效減少維護成本并避免重大設備故障帶來的災難性后果。在RUL預測的應用中，往往需要使用傳感器收集有時間序列特征的數據。隨著RNN算法的改進、高效算力、與其他模型的結合以及基準數據集等多方面的推進，剩余使用壽命預測領域的魯棒性研究、泛化性研究和優化預測模型將會取得新的突破。

魯棒性要求預測方法和學習模型對于含有微小擾動的不確定因素不敏感，可以從數據預處理、自適應處理、特征提取、置信區間、優化器等方面入手，改進未來的學習模型，從而提升或加強魯棒性能力。針對RUL預測算法中數據庫龐大、特殊性顯著、RNN模型中參數眾多等問題，提出遷移學習、對模型進行預訓練、堆疊集成基礎模型、分布式優化等深度學習方法，利用優化算法對超參數和超結構進行改進，最終得到具有較強泛化性的剩余使用壽命預測方法。為加強對工業設備和復雜系統運行狀態特征與故障機理的研究，將RNN與其他方法及模型相結合，構建更為精確的RUL預測混合模型。

參考文獻：

[1] 王加昌，鄭代威，唐雷，等.基于機器學習的剩余使用壽命預測實證研究 [J].計算機科學，2022，49（S2）：937-945.

[2] 楊麗，吳雨茜，王俊麗，等.循環神經網絡研究綜述 [J].計算機應用，2018，38（S2）：1-6+26.

[3] 丹·西蒙.進化優化算法——基于仿生和種群的計算機智能方法 [M].北京：清華大學出版社，2018：364-387.

[4] SCHWENDEMANN S，AMJAD Z，SIKORA A. A survey of machine-learning techniques for condition monitoring and predictive maintenance of bearings in grinding machines [J/OL].Computers in Industry，2021，125[2023-03-05].https：//doi.org/10.1016/j.compind.2020.103380.

[5] ZHU J J，JIANG Q S，SHEN Y H，et al. Application of recurrent neural network to mechanical fault diagnosis： a review [J].Journal of Mechanical Science and Technology，2022，36（2）：527-542.

[6] WANG Y D，ZHAO Y F，ADDEPALLI S. Practical Options for Adopting Recurrent Neural Network and Its Variants on Remaining Useful Life Prediction [J].Chinese Journal of Mechanical Engineering，2021，34（3）：32-51.

[7] WU Q H，DING K Q，HUANG B Q. Approach for fault prognosis using recurrent neural network [J].Journal of Intelligent Manufacturing，2018，31（7）：1-13.

[8] WANG F T，LIU X F，DENG G，et al. Remaining Life Prediction Method for Rolling Bearing Based on the Long Short-Term Memory Network [J].Neural Processing Letters，2019，50（2）：2437-2454.

[9] ZHENG S，RISTOVSKI K，FARAHAT A，et al. Long Short-Term Memory Network for Remaining Useful Life estimation [C]//2017 IEEE International Conference on Prognostics and Health Management （ICPHM）. Dallas：IEEE，2017：88-95.

[10] ZHANG N，CHEN E，WU Y，et al. A novel hybrid model integrating residual structure and bi-directional long short-term memory network for tool wear monitoring [J].The International Journal of Advanced Manufacturing Technology，2022，120：6707-6722.

[11] XIANG S，QIN Y，ZHU C C，et al. Long short-term memory neural network with weight amplification and its application into gear remaining useful life prediction [J/OL].Engineering Applications of Artificial Intelligence，2020，91[2023-03-16].https：//doi.org/10.1016/j.engappai.2020.103587.

[12] XIANG S，QIN Y，LUO J，et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction [J/OL].Reliability Engineering & System Safety，2021，216[2023-03-05].https：//doi.org/10.1016/j.ress.2021.107927.

[13] WANG F K，CHENG X B，HSIAO K C. Stacked long short-term memory model for proton exchange membrane fuel cell systems degradation [J/OL].Journal of Power Sources，2020，448[2023-02-30].https：//doi.org/10.1016/j.jpowsour.2019.227591.

[14] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithium-ion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[15] ZHOU J H，QIN Y，CHEN D L，et al. Remaining useful life prediction of bearings by a new reinforced memory GRU network [J/OL].Advanced Engineering Informatics，2022，53[2023-02-49].https：//doi.org/10.1016/j.aei.2022.101682.

[16] CAO Y D，JIA M P，PENG D，et al. Transfer learning for remaining useful life prediction of multi-conditions bearings based on bidirectional-GRU network [J/OL].Measurement，2021，178[2023-03-06].https：//doi.org/10.1016/j.measurement.2021.109287， 109287.

[17] CHENG Y W，HU K，WU J，et al. A deep learning-based two-stage prognostic approach for remaining useful life of rolling bearing [J].Applied Intelligence，2022，52：5880-5895.

[18] FU H B，LIU Y. A deep learning-based approach for electrical equipment remaining useful life prediction [J/OL].Autonomous Intelligent Systems，2022，2[2023-03-19].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCsduiAbZweC6AiaAe9bGL9LzNdXaWc0vxw5WmGgOQvKSX3wAFVtwoVAD_d4l6hENPBImbedExGKt5s7RaxKDrjjIbg0JF7L0g&uniplatform=NZKPT.

[19] ZAHRA E，KARIM S，BEHNAM F ，et al. A New Hybrid Model for RUL Prediction through Machine Learning [J].Journal of Failure Analysis and Prevention，2021，21（5）：1596-1604.

[20] REMADNA L，TERRISSA S L，ZERHOUNI R，et al. Leveraging the Power of the Combination of CNN and Bi-Directional LSTM Networks for Aircraft Engine RUL Estimation [C]//2020 Prognostics and Health Management Conference （PHM-Besan?on）.Besancon：IEEE，2020：116-121.

[21] LIN T J，WANG H Q，GUO X D，et al. A novel prediction network for remaining useful life of rotating machinery [J/OL].The International Journal of Advanced Manufacturing Technology，2022，124[2023-03-10].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vGzfSOscJcbBv7wpRx0XxRD6HLYF_JyJgLJNT7XBh55pplc2LW7ZgwSP1USf1VfmT71_j82ea-sascRGw7yvuHc&uniplatform=NZKPT.

[22] XIA T B，SONG Y，ZHENG Y，et al. An ensemble framework based on convolutional bi-directional LSTM with multiple time windows for remaining useful life estimation [J/OL].Computers in Industry，2020，115[2023-02-06].https：//doi.org/10.1016/j.compind.2019.103182.

[23] XUE B，XU Z B，HUANG X，et al. Data-driven prognostics method for turbofan engine degradation using hybrid deep neural network [J].Journal of Mechanical Science and Technology，2021，35（12）：5371-5387.

[24] HAN T，PANG J C，TAN A C C. Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network [J].Journal of Manufacturing Systems，2021，61：576-591.

[25] WU J Y，WU M，CHEN Z H，et al. Degradation-Aware Remaining Useful Life Prediction With LSTM Autoencoder [J/OL].IEEE Transactions on Instrumentation and Measurement，2021，70[2023-02-26].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vFLK16mbsfnDlFjy8cp6CvMNi4staAhHYFmmmOQ9D09gJTL4GdpWA8qxXjmb-Yy2pDfEWvHjZfG3ES_xXl5Hcre&uniplatform=NZKPT.

[26] SONG Y，SHI G，CHEN L Y，et al. Remaining Useful Life Prediction of Turbofan Engine Using Hybrid Model Based on Autoencoder and Bidirectional Long Short-Term Memory [J].Journal of Shanghai Jiaotong University （Science），2018，23（S1）：85-94.

[27] DANGUT M D，JENNIONS L K，KING S，et al. A rare failure detection model for aircraft predictive maintenance using a deep hybrid learning approach [J].Neural Computing and Applications，2022，35（4）：2991-3009.

[28] WANG H，PENG M J，MIAO Z，et al. Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory [J].ISA Transactions，2021，108：333-342.

[29] SU C，LI L，WEN Z J. Remaining useful life prediction via a variational autoencoder and a time-window-based sequence neural network [J].Quality and Reliability Engineering International，2020，36（5）：1639-1656.

[30] KOSIOREK A.神經網絡中的注意力機制 [J].機器人產業，2017（6）：12-17.

[31] TSENG S H，TRAN K D. Predicting maintenance through an attention long short-term memory projected model [EB/OL].[2023-03-07].https：//doi.org/10.1007/s10845-023-02077-5.

[32] SHAH S R B，CHADHA G S，SCHWUNG A，et al. A Sequence-to-Sequence Approach for Remaining Useful Lifetime Estimation Using Attention-augmented Bidirectional LSTM [J/OL].Intelligent Systems with Applications，2021，10-11[2023-02-23].https：//doi.org/10.1016/j.iswa.2021.200049.

[33] RATHORE M S，HARSHA S P. Prognostics Analysis of Rolling Bearing Based on Bi-Directional LSTM and Attention Mechanism [J].Journal of Failure Analysis and Prevention，2022，22（2）：704-723.

[34] JIANG Y C，DAI P W，FANG P C，et al. A2-LSTM for predictive maintenance of industrial equipment based on machine learning [J/OL].Computers & Industrial Engineering，2022，172[2023-03-09].https：//doi.org/10.1016/j.cie.2022.108560.

[35] LIU X L，ZHANG B W，LI X B，et al. An approach for tool wear prediction using customized DenseNet and GRU integrated model based on multi-sensor feature fusion [J].Journal of Intelligent Manufacturing，2022，34（2）：885-902.

[36] LI J L，LI X Y，HE D. A Directed Acyclic Graph Network Combined With CNN and LSTM for Remaining Useful Life Prediction [J].IEEE Access，2019，7：75464-75475.

[37] 黃扣.基于深度學習的旋轉類機械預測性維護方法研究 [D].鎮江：江蘇科技大學，2022.

[38] CHEN J L，JING H J，CHANG Y H，et al. Gated recurrent unit based recurrent neural network for remaining useful life prediction of nonlinear deterioration process [J].Reliability Engineering & System Safety，2019，185：372-382.

[39] AKPUDO U E，HUR J W. A feature fusion-based prognostics approach for rolling element bearings [J].Journal of Mechanical Science and Technology，2020，34（10）：4025-4035.

[40] SUN H，LI Y，HOU Y. Remaining Useful Life Prediction of Turbofan Engine Based on Probabilistic Principal Components Analysis and Gated Recurrent Unit[C]// 2021 CAA Symposium on Fault Detection， Supervision， and Safety for Technical Processes （SAFEPROCESS）. Chengdu：IEEE，2021：1-5.

[41] LI X Y，ZHANG L，WANG Z P，et al. Remaining useful life prediction for lithium-ion batteries based on a hybrid model combining the long short-term memory and Elman neural networks [J].Journal of Energy Storage，2019，21：510-518.

[42] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithiumion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[43] ZHOU Y T，HUANG Y N，PANG J B，et al. Remaining useful life prediction for supercapacitor based on long short-term memory neural network [J/OL].Journal of Power Sources，2019，440[2023-03-16].https：//doi.org/10.1016/j.jpowsour.2019.227149.

[44] GE Y，SUN L N，MA J X. An Improved PF Remaining Useful Life Prediction Method Based on Quantum Genetics and LSTM [J].IEEE Access，2019，7：160241-160247.

[45] DING N，LI H L，YIN Z W， et al. Journal bearing seizure degradation assessment and remaining useful life prediction based on long short-term memory neural network [J/OL].Measurement，2020，166[2023-02-29].https：//doi.org/10.1016/j.measurement.2020.108215.

[46] ZHANG Y，CHEN L，LI Y，et al. A hybrid approach for remaining useful life prediction of lithiumion battery with Adaptive Levy Flight optimized Particle Filter and Long Short-Term Memory network [J/OL].Journal of Energy Storage，2021，44[2023-03-14].https：//doi.org/10.1016/j.est.2021.103245.

[47] ZHANG Y，XIONG R，HE H，et al. A LSTM-RNN method for the lithuim-ion battery remaining useful life prediction [C]//2017 Prognostics and System Health Management Conference （PHM-Harbin）. Harbin：IEEE，2017：1-4.

作者簡介：邱佩臻（2003—），女，漢族，廣東陽江人，本科在讀，主要研究方向：預測性維護；吳東燃（2002—），男，漢族，廣東茂名人，本科在讀，主要研究方向：用機器學習與優化算法實現系統健康檢測與預測性維護；夏藝（2003—），女，漢族，湖南益陽人，本科在讀，主要研究方向：用機器學習與優化算法實現系統健康檢測與預測性維護；古書懷（2003—），男，漢族，廣東河源人，本科在讀，主要研究方向：預測性維護；王婧（1988—），女，漢族，甘肅蘭州人，助理研究員，博士，主要研究方向：系統優化、系統可靠性、機器學習。