基于改進(jìn)的LSTM 的設(shè)備剩余使用壽命應(yīng)用研究

郭夢溪

（福州大學(xué)物理與信息工程學(xué)院，福州350108）

0 引言

隨著人工智能的普及，連接到通信網(wǎng)絡(luò)系統(tǒng)的設(shè)備和監(jiān)視系統(tǒng)的投資也在增加。為了使電力通信系統(tǒng)平穩(wěn)穩(wěn)定地工作，必須對通信系統(tǒng)設(shè)備進(jìn)行連續(xù)監(jiān)控以預(yù)防突發(fā)事件造成系統(tǒng)宕機(jī)。按照國網(wǎng)的政策要求，各省及地市級的電力通信網(wǎng)絡(luò)及設(shè)備需要不斷的升級改造，隨著通信運(yùn)維人員的工作量不斷增加，給運(yùn)維工作帶來極大壓力。電力通信網(wǎng)絡(luò)中設(shè)備的報警數(shù)據(jù)具有數(shù)據(jù)量大，頻閃數(shù)據(jù)多，噪聲數(shù)據(jù)多的等特點(diǎn)。現(xiàn)有的預(yù)測更多的基于簡單的統(tǒng)計分析，而沒有考慮與時間序列相關(guān)因素的影響。為了解決現(xiàn)有方法的缺陷，如何有效地估計通信設(shè)備的剩余壽命以及如何改進(jìn)設(shè)備故障的預(yù)測方法已經(jīng)引起了業(yè)界的廣泛關(guān)注。

通常使用的RUL 預(yù)測的方法主要有基于物理模型和基于數(shù)據(jù)驅(qū)動兩類[1]。基于物理模型的方法是需要使所構(gòu)建設(shè)備物理故障失效模型更加可靠，然而越來越復(fù)雜化、智能化的設(shè)備系統(tǒng)幾乎是不可能建立準(zhǔn)確的物理模型來描述系統(tǒng)退化失效過程的。依據(jù)所收集到的大量的并行計算能力和狀態(tài)監(jiān)控到的數(shù)據(jù)，研制出了數(shù)據(jù)驅(qū)動的RUL 預(yù)測方法。較為常用的剩余壽命預(yù)測方法大多都是使用淺層模型（支持向量回歸機(jī)、多層感知機(jī)等），特征提取步驟在很大程度上是依賴于特定領(lǐng)域的知識和專業(yè)的信號處理技術(shù)，因?yàn)橛腥斯さ膮⑴c，所以只是能夠提取到一些具體的、可理解的數(shù)據(jù)，不確定性存在的機(jī)率非常大，上述方法在很大程度上也忽略了時間的影響因素[2]。

本文使用基于時序關(guān)系的序列模型，提高設(shè)備故障預(yù)測的準(zhǔn)確率。序列模型的輸入是設(shè)備的歷史告警數(shù)據(jù)，在對設(shè)備分析中，不僅考慮了設(shè)備的屬性特征，同時考慮了設(shè)備運(yùn)行告警時序特征，能夠更加精確的對設(shè)備狀態(tài)做出判斷。與RNN 對比，LSTM（Long Short-Term Memory）考慮的前后關(guān)聯(lián)信息更長，提高了預(yù)測的準(zhǔn)確性[3]，LSTM 網(wǎng)絡(luò)架構(gòu)在一定的程度上解決了標(biāo)準(zhǔn)傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失以及梯度爆炸的問題[4]。但是傳統(tǒng)LSTM 存在著對深層次抽象特征的提取能力也稍弱于卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]。近兩年來，為了解決LSTM 模型缺陷，本文結(jié)合LSTM 網(wǎng)絡(luò)與CNN 相關(guān)優(yōu)勢[6]，結(jié)合電力通信網(wǎng)絡(luò)設(shè)備運(yùn)行特征，提出一種混合預(yù)測模型，探索一種新的電力通信設(shè)備的剩余使用壽命（Remaining Useful Life，RUL）研究方法。

1 LSTM神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[7]是通過神經(jīng)元循環(huán)賦值存儲信息的神經(jīng)網(wǎng)絡(luò)，其中每個神經(jīng)網(wǎng)絡(luò)單元都會將信息傳入下一個單元。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

圖1 顯示了典型的RNN 結(jié)構(gòu)，RNN 通常用于處理有序的相關(guān)數(shù)據(jù)。在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，通常模型中的各層之間是完全相連接的，而各層之間節(jié)點(diǎn)是不連接的。但是普通神經(jīng)網(wǎng)絡(luò)通常是無法解決一些涉及到時間序列的問題，例如在預(yù)測一個句子的上下文可以根據(jù)前文的情況推測后面的單詞。RNN 是指序列的當(dāng)前輸出與先前的輸出相關(guān)，具體表現(xiàn)是網(wǎng)絡(luò)將記住先前的信息，在網(wǎng)絡(luò)的內(nèi)部狀態(tài)中進(jìn)行保存，并且應(yīng)用在當(dāng)前輸出的計算中，即隱藏層之間的節(jié)點(diǎn)不再是無記憶，即隱藏層的輸入不僅包括輸入層的輸出，還包括先前時間的隱藏層的輸出。從理論上來講，任何長度的序列數(shù)據(jù)，RNN 都是能處理的。但實(shí)際上，對于長度超過1000 的序列，預(yù)測結(jié)果非常糟糕。遞歸神經(jīng)網(wǎng)絡(luò)在處理非常長的序列時遇到的最大問題是梯度消失和梯度爆炸。針對這個問題，Hochreiter 等人基于此些問題提出的長期短期記憶網(wǎng)絡(luò)（LSTM）。長短期記憶網(wǎng)絡(luò)LSTM 是RNN 升級版本。LSTM 結(jié)構(gòu)在捕獲長期依賴性方面要比標(biāo)準(zhǔn)RNN 好得多[8]。在LSTM 中，隱藏層中的每個傳統(tǒng)節(jié)點(diǎn)都被存儲器單元替換。存儲器單元是LSTM 中最重要的結(jié)構(gòu)，可以避免梯度消失和梯度爆炸。LSTM 單元由存儲器單元和它們包含的門單元共同組成。乘法輸入門單元是用來防止無關(guān)輸入可能帶來的負(fù)面影響。輸入流經(jīng)過輸入門處理后進(jìn)入存儲器單元，存儲器的輸出流通過輸出門到其他LSTM 單元[9]。圖2 給出了LSTM 存儲器單元的內(nèi)部結(jié)構(gòu)。

圖2 LSTM存儲器單元的內(nèi)部結(jié)構(gòu)

在存儲塊結(jié)構(gòu)模塊的遺忘門由單層神經(jīng)網(wǎng)絡(luò)控制。遺忘門的使用的激活函數(shù)如式（1）所示：

其中，xt是輸入序列，ht-1是前一個塊的輸出，t-1是前一個存儲器單元，如是偏置矢量w表示每個輸入的單獨(dú)權(quán)重向量σ是邏輯S 形函數(shù)。如果激活輸出包含接近0 的值，遺忘門將忘記之前輸入的任務(wù)。輸入門位于新存儲器所在的部分，具有tanh 激活功能和記憶阻滯效應(yīng)，這些功能的實(shí)現(xiàn)方式如式（2）、式（3）所示：

從內(nèi)存單元到網(wǎng)絡(luò)其余部分的唯一輸出來源于輸出門，輸出的計算方法如式（4）、式（5）所示：

2 LSTM算法優(yōu)化

本文提出了一種改進(jìn)策略，即直接將系統(tǒng)監(jiān)測的設(shè)備運(yùn)行數(shù)據(jù)映射到RUL 值，并提出了一種基于CNN-LSTM 遞歸神經(jīng)網(wǎng)絡(luò)的電力網(wǎng)絡(luò)設(shè)備剩余壽命預(yù)測方法[10]。

現(xiàn)實(shí)中在面對較為復(fù)雜的設(shè)備預(yù)測問題時，只單純的使用網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)算法通常是難以顧及到訓(xùn)練時長和準(zhǔn)確性的。因?yàn)樯窠?jīng)元節(jié)點(diǎn)具有獨(dú)特的循環(huán)結(jié)構(gòu)，多層LSTM 網(wǎng)絡(luò)對于捕獲深層次的抽象特征的能力也比CNN 的能力較低[11]。近年來，結(jié)合CNN 與LSTM 兩種網(wǎng)絡(luò)的一些特點(diǎn)，在卷積神經(jīng)網(wǎng)絡(luò)與長短時記憶網(wǎng)絡(luò)組合結(jié)構(gòu)（即CNN-LSTM）方面，一些學(xué)者一直在不斷的探索，并且在序列問題方面取得了不俗的成績[12]。本文借鑒這一思想，提出一種基于CNNLSTM 網(wǎng)絡(luò)混合模型的直接剩余壽命預(yù)測方法，將CNN-LSTM 網(wǎng)絡(luò)應(yīng)用于電力通信網(wǎng)設(shè)備的剩余壽命預(yù)測中[13]。

圖3 是本文所提出CNN-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)圖，主要是有兩個部分組成，前面的部分是由很多一維CNN 卷積層堆積形成的，主要是用來提取深層空間征特的；后面的部分是由多層的LSTM 疊加而成，主要是負(fù)責(zé)RUL 的預(yù)測和時間依賴性特征提取。

CNN-LSTM 網(wǎng)絡(luò)混合模型CNN 部分的輸入是通過接收二維矩陣形式來實(shí)現(xiàn)的。本文的訓(xùn)練樣本是通過采用時間窗滑動的方式而獲得的，把步長記為1，時間窗口大小記為Nw傳感器數(shù)據(jù)維度記為Ns則輸入格CNN 部分的輸入式為Nw×Ns。原始數(shù)據(jù)，經(jīng)過數(shù)據(jù)預(yù)處理之后，通過時序順序，輸入到建造好的模型，對于此模型來說，無需過度應(yīng)用專業(yè)運(yùn)維人員即專業(yè)技能知識提取特征。

圖3 CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖

其次，利用CNN 部分進(jìn)行深度序列特征提取。一維CNN 與二維CNN 是有所不同的，它是在圖像的二維方向（長度方向和寬度方向）上進(jìn)行滑動卷積，而卷積核只是沿著時間軸進(jìn)行卷積計算的。一般來說，二維CNN 是緊跟在卷積層后面的池層的。它的主要功能是提取最重要的局部公式，減少模型參數(shù)的數(shù)量。但在本文中，時間窗的大小設(shè)置在20-25 之間，卷積核的大小設(shè)置在4-6 之間，所以就不需要將池化層放在卷積層的后面。為了保持時間窗口大小的不變，需要使用零填充來堆疊多層1D-CNN。該部分輸出格式為Nw×N1D-CNN，可以直接輸入到LSTM 網(wǎng)中。

最后，傳感器序列數(shù)據(jù)中的長短期時間依賴性主要是通過多疊加層LSTM 網(wǎng)絡(luò)來提取的。為了防止過擬合訓(xùn)練樣本集，需要對每一LSTM 層采用Dropout 正則化技術(shù)，參數(shù)的大小設(shè)置在0.2-0.5 之間。LSTM 層之后需要將特征向量連接到全連接層上，這樣就可以使預(yù)測RUL 值得到回歸。所有的神經(jīng)網(wǎng)絡(luò)層都是采用ReLU 函數(shù)[14]作為激活函數(shù)的，計算模型損失需要使用誤差回歸函數(shù)公式，并且根據(jù)誤差利用Adam 算法優(yōu)化網(wǎng)絡(luò)參數(shù)[15]。圖4 為基于CNN-LSTM 網(wǎng)絡(luò)混合模型的RUL 預(yù)測流程圖。

圖4 基于CNN-LSTM網(wǎng)絡(luò)混合模型的RUL預(yù)測流程圖

3 實(shí)驗(yàn)驗(yàn)證及結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)選擇

本次實(shí)驗(yàn)選取的數(shù)據(jù)是某省中的電力調(diào)度網(wǎng)系統(tǒng)中2015-2019 年某型號的服務(wù)器運(yùn)行至失效的數(shù)據(jù)，隨機(jī)選取訓(xùn)練樣本集（180 臺）和測試樣本集（36 臺），記錄生命周期狀態(tài)指標(biāo)數(shù)據(jù)，包括CPU 散熱器風(fēng)扇轉(zhuǎn)速、蜂鳴噪聲次數(shù)、端口故障時CPU 負(fù)載值、內(nèi)存占有率等運(yùn)行參數(shù)。

在模型訓(xùn)練的過程中，把時間窗窗口大小的數(shù)值設(shè)置為25，而選擇訓(xùn)練樣本的數(shù)值大約為4 萬個，這種數(shù)據(jù)的選擇是為了充分的滿足LSTM 模型訓(xùn)練的要求，其中把LSTM 層數(shù)設(shè)置為3。

圖5 為在測試樣本集中隨機(jī)抽取的兩臺服務(wù)器RUL 數(shù)據(jù)預(yù)測結(jié)果。

圖5 部分設(shè)備RUL預(yù)測結(jié)果

從圖5 測試集中兩臺服務(wù)器的RUL 預(yù)測結(jié)果可以看出，依據(jù)于CNN 改進(jìn)而來的LSTM 混合神經(jīng)網(wǎng)絡(luò)的壽命預(yù)測方法可以在歷史時間窗內(nèi)從多維傳感器序列中自動的查找出有效的故障特征，并且能夠?qū)υO(shè)備的RUL 值做出很好的預(yù)測。因此，它可以用來跟蹤真實(shí)的RUL 曲線，特別是在服務(wù)器生命周期的中后期，其與真實(shí)值幾乎是重疊的。

3.2 算法對比

根據(jù)RMSE 定量評價指標(biāo)，與其他預(yù)測算法的結(jié)果進(jìn)行比，我們使用均方根誤差（RMSE）作為指標(biāo)對數(shù)據(jù)進(jìn)行評估，RMSE 的計算如式（6）：

表1 RMSE 指標(biāo)下各預(yù)測算法對比結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，CNN-LSTM 的算法精度明顯優(yōu)于其他算法，由于CNN 已經(jīng)成功應(yīng)用到圖像領(lǐng)域中，所以提出了一種以一維CNN 為基礎(chǔ)的剩余壽命預(yù)測建模方法，與傳統(tǒng)的淺層機(jī)器學(xué)習(xí)方法相比，取得了較好的效果。從以上比較結(jié)果不難看出，當(dāng)訓(xùn)練樣本數(shù)足夠時，深度學(xué)習(xí)算法與傳統(tǒng)的淺層模型相比，具有很大的優(yōu)越性，而且還具有不需要進(jìn)行人工特征工程、領(lǐng)域?qū)＜医?jīng)驗(yàn)和適用性強(qiáng)等優(yōu)點(diǎn)。特別是對于電力通信設(shè)備的RUL 預(yù)測問題來說，由于監(jiān)測傳感器數(shù)據(jù)本身具有固有序列的特性，前后時間步之間存在著較強(qiáng)的時間依賴關(guān)系。而SVR、MLP 等淺層模型，要想表達(dá)出數(shù)據(jù)中蘊(yùn)含的規(guī)律，只能靠人工提取相應(yīng)的時間特征。兩者比較之后，可以得出這樣的結(jié)論：①CNNLSTM 網(wǎng)絡(luò)在時序特征提取能力方面具有無比的優(yōu)勢；②CNN-LSTM 網(wǎng)絡(luò)能將特征提取和RUL 預(yù)測兩個部分完美的整合在一起。因此，CNN-LSTM 網(wǎng)絡(luò)在電力通信設(shè)備剩余壽命預(yù)測問題上具有很大的發(fā)展?jié)摿Α?/p>

4 結(jié)語

根據(jù)電力通信網(wǎng)設(shè)備剩余壽命預(yù)測問題及設(shè)備故障特征，提出了一種改進(jìn)的LSTM 網(wǎng)絡(luò)混合剩余壽命預(yù)測模型。實(shí)驗(yàn)結(jié)果表明，在大量的訓(xùn)練數(shù)據(jù)量情況下，CNN-LSTM 混合預(yù)測模型算法相較于MLP、SVR淺層機(jī)器學(xué)習(xí)算法，在一定程度上能夠提高預(yù)測精度，CNN-LSTM 精度略優(yōu)于多層LSTM 混合模型。