改進LSTM-RF算法的傳感器故障診斷與數據重構研究*

林 濤，張 達，王建君

(河北工業大學人工智能與數據科學學院，天津 300130)

1 引言

傳感器廣泛應用于能源化工、危險可燃氣體監測等領域。這些應用場景的工況復雜，導致傳感器的敏感元件十分容易受到灰塵等各種因素的干擾，這些干擾會使得傳感器的輸出值偏離實際值。將偏離實際值的數據用于系統控制會給系統造成災難性的后果。因此，對傳感器的運行狀態進行評估，并對其故障時輸出的數據進行重構顯得十分重要[1]。

文獻[2]利用小波變換來判斷傳感器是否發生故障，如果發生故障則用誤差反向傳播BP(Back Propagation)神經網絡對傳感器輸出數據進行預測，通過計算預測值與實際輸出值之間的殘差大于閾值的頻率進行故障類型的識別。該方法的小波基函數一旦選定，就會使得模型的轉換特性固定，從而導致模型的自適應能力變弱。文獻[3]對傳感器的輸出信號進行經驗模態分解，得到一組模態函數，將每個模態函數的樣本熵作為傳感器的故障特征，將這些特征通過稀疏表達分類器SRC(Sparse Representation-based Classifier)進行分類得出傳感器的故障狀態。該方法分類效果優異，但容易受到噪聲干擾產生虛假分量的影響，不適用于噪聲干擾大的場合。文獻[4，5]分別通過徑向基函數RBF(Radial Basis Function)神經網絡和廣義回歸神經網絡GRNN(General Regression Neural Network)對時序數據進行預測，如果預測值與傳感器實際輸出之間的差值超過閾值，就將傳感器的運行狀態判定為故障，并用預測值重構傳感器的輸出值。這2種方法可以實現傳感器的故障診斷與數據重構，且故障診斷的準確率較高。但是，由于只是將殘差與固定值進行比較，所以只能診斷出傳感器是否發生故障，而無法診斷出傳感器發生了何種故障，在故障診斷功能上具有一定的局限性。

傳感器采集的數據為時序數據，其在時間上具有很強的關聯性，長短期記憶LSTM(Long Short-Term Memory)網絡可以將之前的狀態、現在的記憶和當前輸入的信息結合在一起，特別適用于處理時間、空間序列上有強關聯的信息[6]。同時，對于LSTM細胞核來說，傳感器所采集的信息在通過細胞核內各個門時其信息的遺忘和保留是相對的，所以可以通過對LSTM細胞核的改進來提高算法的收斂速度和準確率。通過預測值與傳感器采集值的殘差序列來獲得傳感器工作狀態的過程，可以看作對殘差序列進行分類的過程，由于殘差序列的維度較高，所以此分類過程是對高維數據分類的過程。隨機森林RF(Random Forest)算法通過建立的多個決策樹共同投票來決定分類結果，特別適用于高維數據分類[7]。基于此，本文提出一種改進的LSTM-RF的算法,用于傳感器的故障診斷與故障數據重構。該算法將傳感器故障診斷與故障數據重構分別看作分類和回歸的問題，并將二者合二為一。判斷傳感器屬于哪種工作狀態的依據為預測值與實際值殘差序列的幅值與排序；數據是否重構的依據取決于傳感器的工作狀態，如果狀態為故障，則重構故障數據。最后，本文利用NO2傳感器采集的數據，通過實驗表明了所提算法的有效性。

2 算法簡介

2.1 標準的LSTM

LSTM是增加了記憶功能的循環神經網絡。在組成結構上LSTM的隱藏層有3個門，分別為輸入門、遺忘門和輸出門。這些門的輸出值大小都在0～1，輸出值的大小決定了通過門的輸入量的大小[8]。當門的輸出值為0時，表示門關閉，此時任意量都無法通過；當門的輸出值為1時，此時任意量都可以通過。LSTM通過這3個門來實現對輸出值狀態和隱藏層狀態的保護和控制。

圖1為標準的LSTM隱藏層細胞結構，其中ft為遺忘門的激活值，ot為輸出門的激活值。ht和ht-1分別為t時刻和t-1時刻記憶單元的輸出。ct和ct-1分別為t時刻和t-1時刻記憶單元的狀態，為記憶單元候選狀態[9]。設輸入時間序列為(x1,x2,…,xt,…,xn),則在t時刻有式(1)～式(6)：

it=σ(Wi*[ht-1,xt]+bi)

(1)

其中,it為輸入門的激活值，σ為激活函數，Wi為輸入門的權重向量 ，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入，bi為輸入門輸入控制的偏置。

gt=tanh(Wc*[ht-1,xt]+bc)

(2)

其中,gt為記憶單元的候選狀態，Wc為輸入門候選狀態的權重向量，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入，bc為輸入門候選狀態的偏置。

ft=σ(Wf*[ht-1,xt]+bf)

(3)

其中,ft為遺忘門的激活值，σ為激活函數，Wf為遺忘門的權重向量，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入，bf為遺忘門的偏置。

ct=it*gt+ft*ct-1

(4)

其中,ct為t時刻記憶單元的狀態，it為輸入門的激活值，gt為記憶單元的候選狀態，ft為遺忘門的激活值，ct-1為t-1時刻記憶單元的狀態。

ot=σ(Wo*[ht-1,xt]+bo)

(5)

其中,ot為輸出門的激活值，σ為激活函數，Wo為輸出門的權重向量，bo為輸出門的偏置，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入。

ht=ot*tanh(ct)

(6)

其中,ht為記憶單元的輸出，ot為輸出門的激活值，ct為t時刻記憶單元的狀態。

Figure 1 Standard LSTM hidden layer cell structure圖1 標準LSTM細胞結構

2.2 改進型LSTM

改進型LSTM的細胞核如圖2所示。通過與圖1對比可知，本文主要對標準的LSTM細胞核做了以下2點改進：(1)在標準LSTM的遺忘門和輸出門上增加了孔連接，使遺忘門和輸出門都能接受上一時刻的記憶單元ct-1作為輸入。改進后的結構使得模型能夠更加充分地選擇將要保留和遺忘的歷史信息。(2)與標準的LSTM模型相比，改進的LSTM的記憶單元耦合了輸入門和遺忘門，因為傳感器采樣的歷史值是時序數據，對于此類時序數據來說，遺忘的信息和保留的信息是相對的，當遺忘的信息被確定后，那么剩下的信息就是需要保留的信息[10]，即輸入門激活值=1-遺忘門激活值，這使得之前被遺忘的信息狀態僅受新的輸入值的影響，模型的邏輯更加直觀，效果也更好。經過對LSTM細胞核的改進，此時式(3)為變為式(7)，式(5)變為式(8)，式(4)變為式(9)：

ft=σ(Wf*[ct-1,ht-1,xt]+bf)

(7)

其中,ft為遺忘門的激活值，σ為激活函數，Wf為遺忘門的權重向量，ct-1為t-1時刻記憶單元的狀態，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入，bf為遺忘門的偏置。

ot=σ(Wo*[ct-1,ht-1,xt],bo)

(8)

其中,ot為輸出門的激活值，σ為激活函數，Wo為輸出門的權重向量，bo為輸出門的偏置，ct-1為t-1時刻記憶單元的狀態，ht-1為t-1時刻記憶單元的輸出，xt為t時刻記憶單元的輸入。

ct=ft*ct-1+(1-ft)gt

(9)

其中,ct為t時刻記憶單元的狀態，gt為記憶單元的候選狀態，ft為遺忘門的激活值，ct-1為t-1時刻記憶單元的狀態。

Figure 2 Improved LSTM hidden layer cell structure圖2 改進LSTM的細胞結構

2.3 隨機森林RF算法

隨機森林是由一系列決策樹組合而成的分類器，由Breiman在Bagging算法上改進而成的[11]。

隨機森林的訓練過程包括2個步驟，第1步是采用bagging抽樣技術，從原始的訓練集中隨機生成具有一定重復性的K個訓練子集為每棵樹生成一個訓練集。第2步是在得到每棵樹的訓練集后，從總特征中隨機選取一些特征來訓練每個訓練集，生成K個決策樹，從而形成一個隨機森林[12]。

傳感器故障分類所使用的隨機森林算法結構圖如圖3所示，構造的多棵決策樹組成了隨機森林分類器，通過多棵決策樹共同投票，從而使故障分類的準確率有了很大的提高。

Figure 3 Structure of random forest algorithm圖3 隨機森林算法結構

3 改進LSTM-RF算法

3.1 故障診斷與故障數據重構的原理

3.2 改進LSTM-RF算法訓練的步驟

對改進LSTM-RF故障診斷模型與數據重構的建模過程如圖4所示，其步驟可以總結如下：

Figure 4 Training flowchart of the improved LSTM-RF algorithm圖4 改進LSTM-RF算法訓練流程圖

(1)取訓練樣本中無故障數據，生成集合(x1,x2,…,xn)。

(2)構造時間序列。時間序列的樣本和標記分別為(X1,X2,…,Xm)和(y1,y2,…,ym)。其中X1為(x1,x2,…,xk-1)組成的向量,y1為xk，X2為(x2,x3,…,xk)組成的向量,y2為xk+1。依次類推：Xm為(xm,xm+1,…,xm+k-1)組成的向量,ym為xm+k。

(3)針對時間序列進行歸一化處理，本文所用的歸一化的方法為X′=(x-xmin)/(xmax-xmin)。

(4)構建改進LSTM網絡模型。模型的輸入與輸出分別為時間序列的樣本和標記。損失率為均方根誤差k。

(5)針對構建的改進LSTM模型，使用BPTT反向傳播法對其進行訓練。

(6)損失函數設定為均方根誤差，激活函數為adam，當模型的損失率趨于穩定后，停止訓練，并保存訓練完的改進LSTM模型M1。

(7)取訓練樣本中有故障數據，生成集合(e1,e2,…,en)。

(8)針對故障數據集合(e1,e2,…,en)，與步驟(2)所示方法一致，生成故障序列的樣本(E1,E2,…,Ej)和標記(l1,l2,…,lj),Em為(em,em+1,…,em+k-1)組成的向量。

(11)構造隨機森林分類器。

(12)訓練隨機森林模型，輸入為殘差數據集合(r1,r2,…,rj)和標記集合(l1,l2,…,lj)。

3.3 故障診斷與數據重構的步驟

對傳感器的運行狀態進行故障診斷與故障數據重構的步驟如圖5所示，其步驟總結如下：

(1)取傳感器測量數據，生成傳感器測量數據集合(x1,x2,…,xn)。

(2)構造時間序列，時間序列的樣本和標記分別為(X1,X2,…,Xm)和(y1,y2,…,ym)。其中X1為(x1,x2,…,xk-1)組成的向量,y1為xk，X2為(x2,x3,…,xk)組成的向量,y2為xk+1。依次類推：Xm為(xm,xm+1,…,xm+k-1)組成的向量,ym為xm+k。

(3)針對時間序列進行歸一化處理，本文所用的歸一化的方法為X′=(x-xmin)/(xmax-xmin)。

(6)殘差數據集合中數據的幅值和排序蘊含著傳感器的運行狀態，使用隨機森林模型M2對殘差數據集合進行分類，分類的結果為當前傳感器的運行狀態。

Figure 5 Flowchart of sensor fault diagnosis and fault data reconstruction based on improved LSTM-RF algorithm圖5 改進LSTM-RF算法故障診斷與數據重構流程圖

4 實驗與結果分析

4.1 數據集

本文使用2種不同類型的傳感器產生的數據集來驗證所提的改進LSTM-RF算法在傳感器故障診斷與數據重構中的有效性，這2個傳感器分別為NO2傳感器與風機齒輪箱溫度傳感器。2個數據集分別標注了傳感器在7種狀態下采集的數據，7種狀態分別為傳感器正常狀態、傳感器偏差故障、傳感器沖擊故障、傳感器周期性干擾故障、傳感器漂移故障、傳感器噪聲干擾故障和傳感器輸出恒定值故障。在故障嚴重程度上風機齒輪箱溫度傳感器數據集的故障幅度和漂移的偏移量要小于NO2傳感器數據集中的相應值。

4.2 超參數的選擇

本文采用網格搜索法來確定改進型LSTM和隨機森林的超參數。限于文章篇幅，以NO2傳感器數據集為例展開分析。圖6為改進型LSTM的Epoch參數值對訓練集和測試集上均方根誤差的影響。從圖6中可以看出，當Epoch值小于4時，訓練集和測試集的均方根誤差都在減小；當Epoch大于4時，訓練集的均方根誤差在緩慢地下降，但是測試集的均方根誤差卻在增加，并出現了很大的振蕩，這說明由于模型的訓練過度而導致了其在訓練集上的精度不斷提升，而在測試集上的精度卻發生了下降。訓練過度會造成模型發生過擬合，因此本文選定超參數Epoch為4來訓練模型。圖7為隨機森林所包含決策樹的數量對傳感器故障診斷準確率的影響。從圖7中可以看出，在訓練集上，隨著決策樹數量的增多，訓練集的準確率一直在增加，而測試集上的準確率在決策樹數量為22之后出現了明顯的下降，并且發生了很大的振蕩，這說明隨機森林模型由于決策樹數量過多而導致模型訓練過度，從而使得模型發生了過擬合。因此，本文所構建的隨機森林里決策樹數量的大小選為22。

Figure 6 Different forest accuracy based on improved LSTM under different Epoch圖6 改進LSTM預測精度隨Epoch變化曲線

Figure 7 Different diagnosis accuracy under different numbers of decision trees圖7 故障診斷準確率隨決策樹數量變化曲線

4.3 實驗結果

傳感器故障數據重構是指傳感器發生故障后，對傳感器故障時輸出的數據進行重構，使得輸出數據更加符合真實數據。限于文章篇幅，本文僅以NO2傳感器數據重構為例進行分析，NO2傳感器故障數據重構如圖8所示。從圖8中的傳感器輸出值和實際值這2條曲線可以看出，由于傳感器發生了偏置故障，傳感器的輸出值與實際值之間的偏差非常大。相較于傳感器的輸出曲線，數據重構曲線更加靠近實際值曲線，這說明重構后的數據比傳感器的輸出數據更加靠近實際值，所建模型取得了

Table 1 Accuracy of sensor fault diagnosis表1 傳感器故障診斷的準確率 %

Figure 8 Curve of fault data reconstruction圖8 故障數據重構曲線

良好的故障數據重構效果。

4.4 對比分析

近年來梯度提升樹GBDT(Gradient Boosting Decision Tree)、支持向量機SVM(Support Vector Machine)和樸素貝葉斯NBM(Naive Bayesian)等機器算法在很多數據集中都被證明具有很強的分類能力[13]。本文在相同的殘差數據集上將隨機森林算法與這3種算法的準確率和在測試集與訓練集上所用的時間進行了對比，結果如圖9所示。由圖9可知，在2個數據集上樸素貝葉斯分類算法的訓練時間和測試時間要小于隨機森林、梯度提升樹和支持向量機的，但是在準確率上隨機森林的準確率要高于梯度提升樹、樸素貝葉斯和支持向量機的。綜合考慮模型故障診斷的時間和所需消耗的時間，隨機森林算法在傳感器故障診斷上的綜合性能更好。

為了說明改進型LSTM在故障數據重構上的優越性，本文使用改進型LSTM與標準的LSTM、門控循環單元GRU(Gated Recurrent Unit)對2個故障數據集進行了故障數據重構,實驗結果如圖10所示。從圖10中可以看出,對于相同的數據集，改進的LSTM的收斂速度更快，這與其將輸入門與遺忘門相融合簡化了模型相吻合。同時比較3個算法的收斂值，發現改進型LSTM在故障數據重構時的均方根誤差要小于標準的LSTM和GRU的，這說明改進型LSTM的故障數據重構效果更好。

Figure 9 Comparison of different accuracy and required time with different recurrent neural networks圖9 各算法對相同殘差序列分類的準確率與分類使用的時間對比圖

Figure 10 Curve of fault data reconstruction with different algorithms圖10 多種算法的數據重構誤差曲線

5 結束語

為了提高傳感器系統在運行過程中的穩定性和可靠性，本文結合長短期記憶(LSTM)網絡在時序數據預測上的優勢與隨機森林RF在分類上的優勢，提出了改進型LSTM-RF算法，用于傳感器的故障診斷與數據重構。

本文提出的改進型LSTM-RF算法對于不同的傳感器檢測效率不同。對于NO2傳感器，本文算法的故障診斷平均準確率達到了98.4%，對于風機齒輪箱溫度傳感器平均診斷準確率達到97.3%，所提算法在2個數據集上的綜合效果優于梯度決策樹、SVM和樸素貝葉斯算法。在2個數據集上故障數據重構的均方根誤差均小于4%，數據重構的效果優于標準的LSTM和GRU算法。

綜上所述，本文通過對LSTM細胞核結構的改進以及與隨機森林算法的組合使用，在傳感器故障診斷與數據重構上取得了較為理想的效果。但是，本文在尋找改進LSTM和隨機森林超參數時，采取的是網格搜索方法，缺少相應的理論依據。后續可以進一步研究如何有效地選取各個機器學習算法的超參數，更好地解決本文所提的問題。