基于LSTM的設備故障在線檢測方法

周劍飛，劉 晨

1.北方工業大學 大規模流數據集成與分析技術北京市重點實驗室，北京100144

2.北方工業大學 計算機科學與技術學院，北京100144

1 引言

設備故障檢測旨在幫助檢測設備故障，以便安排設備檢修與維護，減少設備過度維修的現象。在工業4.0時代，故障檢測在現代工業降低生產成本中扮演者重要的角色。故障檢測主要是用于評估設備的健康狀態[1]。由于物聯網的迅速發展，工業設備上部署了大量的傳感器用于檢測設備的健康狀態。因此，可以基于收集到的傳感器數據建立故障檢測模型，用于分析設備的潛在故障。隨著近些年來深度學習的深入發展，基于深度學習的故障檢測方法已經成為主流[2-4]，而在這種方法中特征提取扮演著重要的角色。這是因為在大量傳感器中手工選擇有效的傳感器數據作為輸入特征是十分困難的。除此之外，大量的數據導致模型學習成本高昂，因此不能直接輸入到模型中。

在近些年來，許多研究人員已經使用特征提取技術用于在原始傳感數據中獲取有效特征[5-8]。特征提取技術可以在高維度數據中獲取非冗余變量[9]。它可以通過計算原始輸入的協方差矩陣的特征向量，將一組存在相關性的數據集轉化成為一組相互獨立的特征。之前的工作[10]提出了一種面向延遲相關的特征提取方法，能夠有效地提取帶有延遲相關性的高維數據的特征。

然而，在實際的工業生產環境中，設備受到多種因素（外部環境、自身劣化等）的影響，其產生的傳感數據也具有時變性，設備的預測性模型無法一次性學習所有的數據，也就是說，使用歷史傳感器數據所學習的模型已經無法準確預測當前設備的狀態信息。例如，火電廠中大型機組處于長期運行的高負荷狀態，設備發生劣化使得設備性能降低，繼續使用歷史數據訓練的模型會使得誤報率升高，發出錯誤的預警信息讓專業人員對電廠設備進行檢修，增加了電廠設備維護的成本。

針對電廠設備運行狀態變化，模型也需要隨著時間的推移適應設備狀態的變化。因此本文提出了一種基于長短時記憶神經網絡的設備故障在線檢測方法。其主要貢獻有：（1）在數據預處理階段，采用延遲相關的特征提取算法，進一步降低了模型訓練的成本；（2）借助滑動窗口技術實現設備故障檢測和模型的在線更新，使其適應設備的狀態變化，提高模型的準確性，降低模型的誤報率。

2 相關工作

2.1 設備故障診斷

機器學習方法是故障檢測中最流行的方法，從簡單的線性判別到更為復雜的邏輯回歸和神經網絡都已經應用于設備故障檢測[9]。文獻[11]對采集到風力發電機的傳感器數據使用振動分析方法獲取有效的輸入特征，再使用支持向量機構建分類模型用于檢測設備故障。文獻[12]提出了一種基于高斯潛在因子模型的遷移因子分析算法（TCA）用于特征提取，并在此基礎上訓練線性分類器用于故障檢測。文獻[13]提出了一種混合機器學習模型的方法，即同時構建兩個機器學習模型，其中一個模型的正確輸出用于訓練另外一個機器學習模型，從而訓練出更高精度的分類器以達到故障檢測的目的。文獻[14]通過專業知識分析風葉渦輪機的傳感器數據，進行特征提取之后，借助超參數搜索方法訓練支持向量機模型來診斷故障。文獻[15]通過收集設備的正常數據來訓練單分類支持向量機模型以學習到正常數據空間的邊界，并應用于設備的故障檢測。

上述文獻在一定程度上解決了故障檢測問題，但是他們的方法并不能直接應用于大型工業的預測性維護。主要是因為：（1）電廠數據體量龐大且不同傳感器數據之間具有延遲相關性；（2）電廠設備運行狀態會隨著時間的推移而變化，上述方法不能對設備狀態的變化及時反應從而更新模型。隨著時間的推移，模型性能會越來越差。

2.2 設備故障在線檢測

近幾年，越來越多研究者關注于小訓練樣本或者故障缺失樣本情況下，無法學習到設備生命周期內的所有故障模式的問題，提出了一些解決方案。Dong 等人[16]針對故障樣本缺失以及由于訓練階段和測試階段獨立導致的無法識別新的故障問題，提出了一種在小訓練樣本情況下，基于在線自適應學習的異常檢測以及故障診斷方法.該方法集成了分類與聚類功能，打破了傳統故障診斷方法中未知數據和故障類型之間的映射。已知類型的樣本被分類，未知類型的樣本在AHr-detector 的測試階段聚集在一起。Yang 等人[17]針對當前訓練集中的數據無法代表設備聲明周期中可能遇到的所有的情況，基于信號重建，提出應用在線序列極限學習機（OS-ELM）來進行故障檢測。OS-ELM具有強大的學習能力，快速的訓練能力和在線學習的優點。通過一個真實案例的應用驗證基于OS-ELM 的檢測模型可以連續地學習不斷發展的環境，實現良好的檢測性能。但是其仍缺少一組決策規則來確定何時觸發OS-ELM 的更新功能來適應不斷變化的操作條件。Yan 等人[18]針對不可用的故障訓練數據，提出了一種新穎的混合方法來檢測冷卻器子系統的故障僅通過訓練正常數據。混合特征選擇算法選擇最重要的特征變量，并通過組合擴展卡爾曼濾波器（EKF）模型和遞歸一類支持向量機（ROSVM）引入在線分類框架。然而，上述的方法沒有考慮到具有延遲相關性的傳感數據集，且需要一定的經驗知識。

3 問題分析

首先對歷史數據進行數據預處理，通過延遲相關的特征提取算法獲取有效特征離線訓練模型，之后借助滑動窗口實現故障設備的在線檢測和模型的在線更新。

故障檢測模型是將特征提取之后的傳感器數據作為模型的有效輸入獲取預測值。故障檢測的目的通過分析設備的相關信息，從而準確判斷設備的運行狀態。首先給出本文中關于故障檢測的定義：

圖1 風煙系統傳感器流數據示例

其中M 表示網絡模型，Func 表示網絡模型所學習到的x 到y 的映射關系，給定一組數據xi，根據模型M 輸出預測值y?i，計算出預測值和真實值之間的差值d：

設定一個閾值ε 用于判斷設備狀態，如果d ≤ε 則認為設備處于正常運行狀態，反之亦然。

但是當設備運轉一段時間之后，設備的運行狀態可能會隨著時間而不斷變化，使得模型：

使用歷史數據所訓練的模型已經無法精確描述當前設備的運行狀態，此時需要檢測設備運行狀態的同時考慮使用新產生的傳感器數據訓練模型來更新模型參數，以適應當前設備的運行狀態。

用一個真實的案例來解釋設備狀態變化現象。在火電廠中有數百臺發電設備持續運轉，每個發電機組上部署有超過7 000 個傳感器實時產傳感數據，來反映設備的運行狀態。

圖1展示了發電廠中風煙系統的運行原理，圖中展示了一次風機電動機電流的實際值和模型預測值。在設備運行初期，基于使用歷史傳感器數據已經訓練出性能較好的模型。然而隨著發電設備的長時間運轉工作，其會發生劣化，其產生的傳感數據趨勢也會發生改變。前期的模型的輸出難以表示當前的設備的狀態，如圖1所示，系統會根據模型的輸出和當前的數據趨勢不斷發出預警信息，使得模型的誤報率升高。此時，需要對模型本身更新。

因此，在模型對設備狀態進行預測的時候，如果沒有考慮設備的狀態變化而及時的對模型進行重新學習更新參數，則會對設備狀態進行誤判，導致模型的準確率下降，誤報率升高。因此，構建故障檢測模型的時候考慮設備運行狀態的改變是至關重要的。

4 在線故障檢測方法

圖2 展示了本文所提出的在線故障檢測模型的總體框架圖。主要分為三個部分：（1）面向延遲相關性的特征提取部分：主要是針對發電設備之間的延遲相關性，來進行傳感數據的特征提取，實現高維數據向低維數據的轉換[10]；（2）故障檢測模型：主要是基于長短時記憶神經網絡，構建設備的故障檢測模型；（3）在線故障檢測方法：主要是借助滑動窗口，實現對設備的在線故障監測，以及實現模型的更新。

圖2 本文方法框架圖

4.1 滑動窗口

滑動窗口是一種對采集到的數據進行實時更新的算法。將相鄰的數據界定為一個窗口，當得到新數據的時候，將新數據添加進滑動窗口內，并剔除較老的數據，隨著時間的推移，窗口不斷納入新數據而舍棄舊數據，從而實現故障的在線檢測。

在本文中，滑動窗口由固定大小的滑動窗口FSW（Fixation Sliding Window）和動態滑動窗口DSW（Dynamic Sliding Window）兩部分組成，如圖3所示。

圖3 滑動窗口

由于傳感器之間的延遲相關性，設定FSW 的時間跨度為Δt，Δt 是在數據預處理時曲線排齊算法中所計算得出的時間偏差，其可以保證在實時檢測階段，窗口內數據可以進行排齊并在特征提取之后獲取有效特征作為模型的輸入。DSW 的時間跨度為σ ，σ 為一個可變值，其主要目的是額外保存歷史數據。當模型運轉良好則增大σ 值，這時滑動窗口可以包含更多的系統狀態區域，使得模型預測更加精確；當模型誤報率高于基線值，則減小σ 值拋棄時間相對久遠的歷史數據，使滑動窗口只包含近期數據用于模型的在線更新以適應當前設備的運行狀態。

4.2 基于滑動窗口的在線檢測方法

在檢測過程中，當數據流填滿滑動窗口之后便開始數據處理：（1）窗口內數據經過曲線排齊特征提取計算得出有效特征；（2）將提取之后的特征作為故障檢測模型的輸入，獲取模型預測值；（3）將預測值和傳感器實測值做差求取絕對值，判斷故障是否發生故障；（4）計算當前滑動窗口內數據的誤報率；（5）當前誤報率與基線誤報率作為比對，如果升高則減少滑動窗口大小重新獲取數據用于模型的在線更新，否則增大滑動窗口，使得滑動窗口能夠包含更多的設備狀態。算法1 實現了在線故障檢測算法的過程。

算法1 在線故障檢測算法OnlineDetection

輸入：滑動窗口數據SlidingWindowData，故障預測模型M，實際采集值RealValue，閾值ε

輸出：設備狀態Status

1. Var EffctiveFeature=AlinementAndPca（SlidingWindow-Data）；//對滑動窗口內數據進行曲線排齊特征提取，獲取有效特征

2. Var PredictValue=ModelPredict（M，EffctiveFeature）；//根據有效特征模型輸出對應預測值

3. Var Difference=Abs（PredictValue-RealValue）；//計 算預測值和有效值的差值

4. Var Status=Difference＞ε?1：0；//判斷設備運行狀態

5. Var CurrentFPR=calcFRP（）；//計算當前滑動窗口數據的誤報率

6. If（CurrnetFPR＞BaselineFPR）{

7. Var NewSensorData=ReduceSlidingWindowAndGet-Data（SlidingWindowData）；//減少滑動窗口大小并獲取新滑動窗口內的傳感器數據

8. RetrainModel（M，NewSensorData）//重新練模型

9. }

10.Else {

11.ExtraSildingWindow（）；//增加滑動窗口大小

12.}

13.Returen Status；

5 實驗與評價

5.1 實驗環境與實驗數據

實驗環境為含有8個節點的集群，每個節點的機器采用8-核Intel Xeon（E312xx）CPU，32 GB 內存，使用1 GB 的帶寬和以太網連接。每個節點都運行在虛擬機中，使用CentOS6.4操作系統和Java 1.8。借助Spark平臺可以使用SparkMlib 庫分布式運行PCA 特征提取算法。

實驗中使用的數據來自火發電廠的真實傳感器數據。選擇了煙風系統中5 個重要設備，上面共部署290個傳感器，并對傳感器產生的數據進行每3 分鐘1 條的采樣，數據采集時間從2014-07-01 的00：00：00 到2016-01-31 的23：59：59。表1 展示了實驗中的部分數據集。故障日志文件來自于DCS 日志文件，用于驗證故障檢測結果的準確性。

表1 實驗數據表

5.2 實驗指標

本文使用深度學習技術為故障檢測訓練了一個預測模型，通過預測值與真實值的差值和閾值ε 對比，將其轉化為一個二分類問題。因此故障檢測有四種可能的結果。真正例（TP）和真負例（TN）結果表示正確的分類，同時假正例（FP）和假負例（FN）結果表示錯誤的分類。

對于實驗結果的評估，采用精確率（Precision）、召回率（Recall）、誤報率（False Positive Rate，FPR）、F1 分數（F1-Score）以及ROC曲線作為本文的評價指標。

5.3 實驗設置

故障檢測模型旨在發現設備異常，并且在實際生產環境中進行部署，將本文方法與以下檢測發電廠異常情況的方法進行比較。

R-模型（Rule-Model）：傳統的基于規則的異常檢測方法是基于經驗積累的。實現了基于規則的統計控制圖。一旦傳感器數據超過了上限值或者下限值，就會得出發現故障。

P-模型（PCA-Model）：將經過PCA算法特征提取之后的傳感器數據輸入到LSTM中去檢測設備故障。

SWCP-模型（Sliding Window Curve registration PCA-Model）：使用滑動窗口記錄最近一段時間的數據，對窗口內數據使用曲線排齊之后使用PCA進行特征提取，輸入模型中用于故障診斷，當誤報率高于基線值時，更新模型以適應當前設備狀態。

P-模型、SWCP-模型均是基于LSTM的神經網絡模型。本文所用的LSTM網絡模型是一個全連接的LSTM神經網絡模型，包含了4 個隱藏層，每個隱藏層有50 個神經元，其結構如圖4 所示。 HLi：50 表示第i 個隱藏層，且其有50個神經元節點。

圖4 LSTM神經網絡模型結構圖

基于圖4中的網絡結構，在[-0.08，0.08]的范圍內均勻初始化所有權重參數，使得模型在訓練初始階段可以記住所有記憶，設置LSTM遺忘門的初始偏置值為1.0，輸入門和輸出門的初始值為[0，1]區間上的隨機浮點數職。然后使用微批次隨機梯度下降訓練網絡，學習率為0.001，衰減因子為0.95。采用均方誤差作為損失函數。訓練模型50 輪，并在10 輪之后每一輪學習率都乘以衰減因子0.95。選擇80%作為訓練集，剩下的數據作為測試集。

表2給出了不同設備輸入特征向量的維度。表中L值表示特征提取之后的數據維度，也是神經網絡輸入向量的維度。基于表2中的輸入向量的訓練數據和5.1節所設置的實驗環境，訓練初始化的LSTM 網絡，得到最終的模型參數，在測試集上驗證本文所提出方法的有效性。

5.4 實驗結果與分析

本文每個實驗進行10 次，取10 次結果的平均值作為最終的實驗結果。

表2 輸入特征向量L 值

圖5 所示的是不同方法應用在不同設備上的精確率。基于規則的方法的平均精確率是0.554，最高精確率為0.66。P-模型的平均精確率是0.736，最大精確率為0.79，SWCP-模型的平均精確率是0.79，最大準確率為0.82。

圖5 不同方法的精確率

圖6 所示的是不同方法應用在不同設備上的召回率。基于規則的方法平均召回率為0.488，最大值為0.52。P-模型的平均召回率為0.807，最大值為0.82；SWCP-模型的平均召回率是0.862，最大值為0.88。

圖6 不同方法的召回率

此外，針對本文所提出的方法，在搭建網絡模型時，本文嘗試減少神經網絡模型隱藏層的個數（3層隱藏層，每層45 個神經元），經過訓練后的模型，輸出的預測結果的平均準確率為0.65，平均召回率為0.74。當增加隱藏層的個數（6 層隱藏層，每層60 個神經元），經過訓練后的模型，輸出的預測結果的平均準確率為0.791 45，平均召回率為0.856 98，不會提升預測的準確率和召回率，但是其平均訓練時間為3.4 h。

圖7 表示不同方法應用在不同設備上的誤報率。基于規則的方法平均誤報率為0.44，最小值為0.416。P-模型方法的平均誤報率為0.157，最小值為0.13。SWCP-模型的平均誤報率為0.136，最小值為0.118。

圖7 不同方法的誤報率

圖8 所示的是不同方法應用在不同設備上的F1 分數。P-模型方法的平均F1分數為0.77，最大值為0.805；SWCP-模型的平均F1分數為0.82，最大值為0.84。

圖8 不同方法的F1分數

由于本文的LSTM模型實際上是一個二分類模型，因此利用ROC 曲線來驗證分類效果的好壞。圖9 展示了不同設備下的ROC 曲線，SWCP-模型的曲線面積大于P-模型和R-模型，其分類效果越好，故障診斷的效果也就越好。

圖9 不同方法的ROC曲線

圖5 到圖9 的實驗結果，客觀地證明了基于深度學習的預測維護比傳統的基于規則的方法更有效。圖7所示SWCP-模型有效地減少了誤報率，同時圖8 和圖9所展現的是模型的綜合性能，可以看出SWCP-的得分更高。因此得出結論：本文方法有助于提高特征提取和模型的應用性能。

此外，本文通過訓練時間來計算不同方法的訓練效率。如圖10 所示，使用相同的訓練數據在5.1 節所設置的集群上進行模型的訓練，計算不同模型的訓練時間。

如圖10 所示，P-模型的平均訓練時間是2.412 h，SWCP-模型的平均訓練時間是2.1 h。本文方法的訓練時間低于P-模型。這表明了本文方法所采用的特征提取方法可以從高維數據中有效的提取特征，使得訓練數據量大大減少，有助于降低LSTM 神經網絡的訓練成本。因此，本文方法有助于建立一個基于LSTM神經網絡的輕量級故障檢測模型。

圖10 訓練時間

6 總結

本文提出的基于長短時記憶神經網絡的設備故障在線檢測方法，考慮了在線檢測階段設備運行狀態的變化，使得模型隨著時間推移可以不斷適應設備的運行狀態。

本文方法在數據預處理部分采用了延遲相關的特征提取方法，減少了數據的維度，降低了模型訓練成本；借助滑動窗口技術對在線檢測數據流進行檢測，并且檢測設備狀態對模型進行更新。最后，用電廠實際數據分析驗證，結果表明了本文方法的有效性：（1）相比于原始特征提取方法，本文方法在保證包含原始信息的同時進一步削減了特征向量的維度；（2）模型在故障的在線檢測階段可以適應設備運行狀態的變化，提高了模型的檢測精度。