基于多維指標關聯的物聯網裝備異常預測方法

洪浩彥,楊 輝,姚秋彥,栗 琳

(1.北京郵電大學 電子工程學院, 北京 100876; 2.軍事科學院國防科技創新研究院, 北京 100097)

0 引言

隨著我國科學技術水平與經濟實力不斷提升,裝備發展呈現出更加多元化趨勢,在現代化的裝備保障體系中,裝備類型多樣且同類型裝備的特征要素繁雜,要素間關聯關系極為復雜。特別是在瞬息萬變的環境下,裝備狀態動態變化導致多狀態特征提取與相似特征要素關聯實現變得異常困難,裝備異常檢測的精確度與狀態感知可靠性低下。因此,研究人員研發了面向物聯網裝備狀態的感知和評估技術來滿足高動態的裝備保障業務需求。在對裝備狀態的感知預測方面,根據文獻[1],可劃分為基于物理模型、基于統計模型和基于計算智能的預測。基于物理模型的方法出現在早期的實驗中,現在由于裝備系統故障模式越發繁雜,其應用范圍和效果受到限制。基于統計模型的預測,例如灰色模型[2-3]和ARIMA[4-5],其對數據的要求比較嚴格且依賴于模型的參數。因此,近年來,基于計算智能預測中的機器學習方法成為裝備狀態感知與預測的主流。機器學習方法可分為淺層和深層,對于淺層機器學習方法,文獻[6]結合鋰電池的容量增量分析和BP神經網絡預測了不同溫度下鋰電池的健康狀態,但淺層機器學習方法需要人工抽取樣本特征,依賴更多的先驗知識,對海量數據處理能力有限。為解決淺層機器學習問題,深層機器學習方法卷積神經網絡(CNN) 、循環神經網絡(RNN)、長短期記憶神經網絡(LSTM)等得到廣泛應用,文獻[7]不需要事先具備信號處理的專業知識,利用CNN對采用時間窗準備數據進行壽命狀態的預測。文獻[8]利用RNN實時分析油的參數,從而感知燃氣輪機發動機的狀態。RNN雖在CNN上添加了記憶功能,但無法適配長期序列,在更長的時間序列上,LSTM則有更好的表現。文獻[9]結合聚類和LSTM對風力發電機健康狀態實現了故障預測。文獻[10]通過模糊處理得到變壓器裝備各指標的相對惡化程度與變壓器狀態之間的關系,然后通過LSTM網絡,提取變壓器狀態的演變過程,構建了裝備狀態預測模型。但這些對LSTM的使用方法僅考慮機器狀態指標較少情況,在多維指標關聯復雜的裝備情況下,難以實現高精度預測。在對裝備狀態的評估方面,文獻[11]提出一種深度遷移學習的自編碼網絡提取軸承異常特征,利用離線軸承正常狀態的排列熵值構建報警閾值,有效識別軸承異常狀態。但該方法專注于異常的在線檢測,只能在異常已經發生時檢測到,無法有效地提前預測和響應異常。在文獻[12-13]中,作者利用支持向量機(SVM)技術,能夠辨識核電系統中的異常并對核電設備中的多個異常進行分類檢測。文獻[14]利用深度神經網絡(DNN)實現了高精度的滾動軸承故障狀態識別。文獻[15]也利用了DNN對裝備中的異常振動實現了檢測。由于帶有異常標簽的數據在真實物聯網裝備環境很少見,這些類似于SVM、DNN等有監督的狀態評估方法難以實現。

針對上述方法的不足,結合物聯網裝備狀態中數據具備時序性、指標繁多且關聯復雜、標簽缺失等特點,提出一種基于多維指標關聯的物聯網裝備異常預測方法。該方法通過構建基于多維指標關聯分析的LSTM神經網絡感知模型和基于密度空間聚類的狀態評估模型,實現了物聯網裝備未來異常的高精度預測。

1 裝備狀態感知模型

1.1 多維指標關聯分析

物聯網的裝備在運行過程中會產生大量的歷史狀態信息,通過裝備數據收集模塊(例如傳感器等)采集這些狀態信息,并將這些狀態信息存儲在裝備的存儲單元。這些歷史狀態信息中會含有多種指標數據,例如:溫度、振動、功率等數據。

多種指標數據相關分析在物聯網裝備維修異常檢測中非常重要。一方面,物聯網裝備有很多設備狀態指標和服務指標。當我們要對物聯網裝備的某個指標A進行監控或預測時,可能無法獲得有效的歷史數據或實時數據。這時,我們可以選擇物聯網設備中與該指標關聯度較高的指標B進行預測,并保證該指標B有足夠的歷史數據或實時數據。另一方面,采用單一指標檢測分析在物聯網設備異常檢測中往往無法取得良好的效果。我們需要充分利用物聯網設備中的多指標數據對物聯網設備中狀態進行實時檢測。

在統計學中,斯皮爾曼等級相關系數是分析相關性的重要方法之一。它不需要檢查變量的樣本量或總體分布特征。斯皮爾曼系數通過提取數據的排序特征來計算變量的相關性。通過評價2個指標之間的關聯度,找出在裝備歷史狀態信息中和目的指標相關性較強的其余指標。2個指標間的關聯度計算表達式為

(1)

式(1)中:X和Y表示2個指標數據集合;Xi和Yi分別是2個集合中的元素值(1≤i≤N),xi表示Xi在X中的秩,yi表示Yi在Y中的秩,同時這些秩都是升序或者降序排列的。

如果所有N排的數據都是不同的整數,用di表示xi和yi之間的差,其中。di=xi-yi。則2個指標間的相關性可以表示為:

(2)

當計算得到的相關系數結果為正時,表示各指標之間的單調性相同;當計算得到的相關系數結果為負時,表示各指標之間的單調性相反。系數絕對值越接近1,說明2個指標的相關性越強。通過斯皮爾曼計算指標之間的相關性后,可以得到與目的指標相關性較強的其他指標。

1.2 基于LSTM神經網絡的指標預測

由于裝備的歷史狀態信息所包含的各個指標數據具有很強的時間序列特征,因此我們采用LSTM神經網絡來對裝備的狀態進行精準感知。LSTM神經網絡不僅適合時間序列特征的數據處理,而且同其他機器學習方法相比,LSTM神經網絡可以通過計算隱藏層的相關權重系數自動調整和學習時間序列之間的隱式關系,達到更高的效率。LSTM神經網絡的標準結構如圖1所示,采用3門結構控制時間序列信息的傳輸過程。

圖1 LSTM神經網絡的標準結構

遺忘門的狀態用于確定有多少信息可以從上一時刻的單元狀態轉移到當前時刻的單元狀態。如果輸出為0,表示丟棄上一時刻的信息;如果輸出為1,表示保留上一時刻的信息。遺忘門的狀態的計算公式為

ft=σ(Wxf*xt+Whf*ht-1+bf)

(3)

式(3)中:ft為遺忘門的狀態;σ為激活函數;xt為輸入值;ht-1為隱藏層的最后一次輸出值;Wxf為遺忘門和輸入層之間的權重;Whf為遺忘門和隱藏層之間的權重;bf為偏置向量。

輸入門由2個部分組成,可以決定哪些新的輸入信息可以添加到單元格結構中。具體的計算公式為

it=σ(Wxi*xt+Whi*ht-1+bi)

(4)

(5)

(6)

輸出門Ot控制整個LSTM網絡的當前輸出值ht,它決定了之前更新的單元格狀態Ct能輸出多少信息。具體的計算公式為

Ot=σ(Wxo*xt+Who*ht-1+bo)

(7)

ht=Ot*tanh(Ct)

(8)

式(7)—式(8)中:σ為激活函數;xt為輸入值;ht-1為隱藏層的最后一次輸出值;Wxo為輸出門和輸入層之間的權重;Who為輸入層和隱藏層之間的權重;bo為偏置向量。

經過對模型進行分析后,開始搭建基于LSTM神經網絡的裝備狀態感知和預測模型。本預測模型包含一個LSTM神經網絡層和一個全連接層,2層之間順序連接。LSTM 層是該預測模型的核心,該層可接收經過模型輸入數據格式處理后的裝備歷史狀態信息數據,對其進行分析和結果預測;連接 LSTM層的下一層為一個全連接層,負責輸出計算結果。首先設置LSTM神經網絡層,包括輸入數據維度設置、時間步長設置和循環神經網絡結構中3個 sigmoid層和1個tanh層的神經元數量設置。LSTM神經網絡屬于有監督學習的神經網絡,因此用于模型訓練的樣本需要同時包含特征和標簽等2類數據。在裝備的歷史狀態序列數據中只包含目的指標數據集和與其相關的指標數據集,并沒有特征和標簽的區分,需要按照有監督學習模型的樣本需求將序列數據改造為特征與標簽的一一對應形式。例如,依據搭建完成的模型訓練要求,將裝備歷史狀態信息數據中1-5 d的各項指標數據作為模型輸入數據的特征,第6 d的目的指標數據作為標簽;再以裝備歷史狀態信息數據中第2～6 d的各項指標數據作為模型輸入數據的特征,第7 d的目的指標數據作為標簽,依次類推。模型的學習為連續的過程,通過連續學習樣本數據中的特征和標簽數據達到有監督的學習目的。

模型訓練的目的為通過學習有標簽的樣本數據調整自身網絡權重,使模型的計算結果能夠最大限度的接近實際值,來減少偏差達到理想狀態。在模型訓練的過程中,不同網絡權重值的設置使模型產生不同程度的偏差,可以采用一種損失函數來描述在設置不同網絡權重情況下的不同預測偏差。本模型采用均方誤差作為模型的損失函數,既有利于求導計算梯度,又可較好地反應優化過程中不同網絡權重對應的不同模型損失情況。通過尋找模型設置的網絡權重值與預測損失的關系,可以在優化過程中訓練得出出使損失值最小的網絡權重集合。由于Adam優化算法為每一個網絡權重都保持獨立的自適應的學習速率,具有很好的收斂效果,因此本模型采用Adam優化算法作為模型優化器。

模型采用迭代的方式進行預測,首先將裝備的歷史狀態數據經過有監督學習模式轉化后,輸入模型進行結果預測,得出未來一天的目的指標數據并記錄;然后將實際輸出結果加入下一次模型訓練的輸入特征中,與其他輸入特征共同作為訓練樣本再次預測未來一天的目的指標數據,依次類推,得到預測結果。應用LSTM神經網絡對物聯網的裝備進行狀態感知和預測,通過使用裝備的歷史目的狀態指標數據和幾個與其強相關性指標數據的主成分,經過LSTM神經網絡的處理和分析,預測裝備狀態可能發生的變化。

2 裝備狀態評估模型

帶有異常標簽的數據在物聯網裝備的真實環境中是很少見。因此為了提高檢測的準確性和定位未來可能發生的異常,采用無監督聚類算法對LSTM的結果進行分析。對裝備的狀態預測數據集進行聚類,篩選出異常數據,完成對裝備狀態的異常檢測,實現裝備狀態的有效評估。

無監督學習聚類的算法非常多樣,DBSCAN算法是一個優秀的基于密度的聚類算法,可以發現任意形狀的聚類,能有效發現噪聲點和離群點,十分適合于處理不規則的數據樣本。因此我們采用DBSCAN算法進行數據集的聚類與異常數據標記。

DBSCAN 算法最重要的2個參數是Eps(半徑閾值)和Minpts(密度閾值)。首先以每個數據點為圓心,計算以Eps為半徑的圈包含數據點的個數為該點密度值。然后選取一個密度閾值Minpts,圈內點數小于Minpts的圓心點為低密度的點,而大于或等于Minpts的圓心點記為高密度的點。如果有一個高密度的點在另一個高密度的點的圈內,就把這2點連接起來,從而不斷地串聯數據點。如果有低密度的點在高密度的點的圈內,把它連到最近的高密度點上作為邊界點。所有連到一起的點形成一個簇,不在任何簇內的低密度點即標記為異常點。如圖2所示,點A、B、C、D、E、F均為高密度點,P、Q為邊界點,M為異常點。取Minpts為3,以高密度點為圓心,Eps為半徑的圓中包含的數據點數均大于等于3。

圖2 DBSCAN數據點定義圖

為了確定2個參數值,首先獲取之前預處理后的裝備歷史狀態信息數據集,其中含有N個數據點,先在該數據集中任意選擇一個數據點,計算該點與數據集中其余點的歐氏距離D。在具體的實例分析中,DBSCAN算法中的2個參數Eps(半徑閾值)和Minpts(密度閾值)需要另外確定。歐氏距離D計算公式為:

(9)

檢查從數據點xi密度可達的所有點,形成聚類,將數據點xi稱為核心點。如果數據點xj滿足條件|Eps(xj)|=Minpts,則稱為邊界點,該狀態數據集中的其余點稱為異常點或者噪聲點。

利用DBSCAN算法對LSTM神經網絡輸出的目的指標進行聚類,可以對LSTM神經網絡輸出的各個目的指標的發展趨勢提供量化度量,能夠更加準確地預測裝備未來可能的狀態情況,從而實現面向多維指標關聯的裝備狀態的評估,為裝備維修保障決策提供科學合理的客觀分析依據。

3 仿真分析

實驗平臺是一臺包括16個2.6 GHz Intel核心和NVIDIA Tesla V100 GPU的服務器,服務器的RAM為64 GB。

我們的異常數據集是通過傳感器/射頻識別/二維碼等技術收集物聯網通信裝備不同時刻的狀態信息組成,該數據集記錄了60個物聯網通信裝備單元的數據,每個單元有3 000多條數據,包括通信數據平均往返時間(AvgRtt)、通信數據最短往返時間(MinRtt)、通信數據最長往返時間(MaxRtt)、裝備處理通信數據的時間(Process)、功率(Power)、電壓(U)、電流(I)、溫度(Temp)、振動信息(Vibration)、加速度(Acceleration)。

3.1 關聯分析與降維

在實驗分析之前,首先對數據集進行去噪和歸一化處理,然后計算物聯網通信裝備中指標之間的斯皮爾曼相關系數。相關分析的結果如圖3所示。每個方格都標有系數的值,每個方格用不同的顏色標記。顏色越深,計算結果越接近1,代表2個指標具有很強的正相關性;顏色越淺,計算越接近-1,代表2個指標具有很強的負相關性。為使圖片簡明扼要,各指標均使用簡稱。

圖3 指標的斯皮爾曼相關性分析

由圖3可知,物聯網通信裝備中一些指標具有很強的相關性,例如通信數據平均往返時間(AvgRtt)和裝備處理通信數據的時間(Process)間的相關系數為0.88。將通信數據平均往返時間(AvgRtt)作為實驗的目的指標,把與其強相關的指標進行PCA降維,經過計算,相關系數矩陣的特征值、相應的特征向量以及貢獻率列于表1。

表1 PCA計算結果

從表1中可以看到,前3個主成分的累計貢獻率達84.23%,因此可以考慮只取前面3個主成分,它們能夠很好地概括原始變量。Fi=α1iX1+α2iX2+…+α9iX9,i=1,2,…,m。

3.2 目的指標預測

在本文中使用的數據集里,每個時間點的采樣間隔為15 min,因此每天有96個時間點。我們選取前5 d的平均數據往返時間自身數據和上階段降維后的3個相關聯主成分數據作為LSTM神經網絡的輸入,輸出第6 d的平均數據往返時間數據。隨著時間窗的移動,會不斷產生新的真實數據放入時間窗中。例如,將第2～6 d的數據作為神經網絡的輸入,輸出第7 d的平均數據往返時間預測數據。將裝備的歷史數據分為訓練集和測試集,利用訓練集的數據多次訓練LSTM模型,調整好參數之后,對測試集的目的指標進行預測。多維LSTM預測效果圖如圖4所示。

圖4 多維LSTM預測效果圖

圖4中,黑色實線代表平均數據往返時間的真實值,紅色虛線代表平均數據往返時間的預測值。可以看出,基于多維指標關聯分析的LSTM神經網絡模型可以準確地預測裝備指標的未來趨勢。

為了進一步衡量裝備感知模型的預測效果,我們在不同的物聯網通信裝備單元中,計算了幾種常見模型——單指標LSTM(只使用目的指標自身的歷史數據進行預測)、RNN循環神經網絡的預測結果平均絕對百分比誤差(mean absolute percentage error,MAPE),并與多維LSTM預測結果的MAPE值作對比。其中MAPE值表示預測結果與真實數據之間的偏差程度,較小 MAPE 代表較高的預測精度。

算法對比如圖5所示,對比結果表明,多維LSTM模型具有更好的預測效果。這是因為裝備中指標——平均數據往返時間,是具有潮汐效應等時序特征的長期時間序列,并且平均數據往返時間的變化趨勢會受到與其強相關指標的影響。因此基于多維指標關聯分析的LSTM神經網絡模型能更好地感知預測平均數據往返時間的變化。

圖5 算法對比

3.3 異常檢測

利用基于多維指標關聯分析的LSTM神經網絡模型預測出裝備指標——平均數據往返時間未來的400個數據點。然后針對實際應用中缺乏物聯網通信裝備異常標簽的情況,我們使用無監督學習的基于密度空間聚類的DBSCAN算法,來對基于多維指標關聯分析的LSTM模型預測出來的400個數據點進行聚類,將所有點劃分到不同的簇中。最后將異常點用黑色圓圈進行標注,紅色點表示正常的數據點。異常檢測圖如圖6所示。

圖6 異常檢測圖

由圖6可以看出,DBSCAN算法有效地分離了指標——平均數據往返時間在未來中的正常值和異常值。我們標記了目的指標在未來時間中的異常點,實現了物聯網通信裝備狀態的評估。

4 結論

針對缺乏異常標簽的物聯網裝備,本文中提出了一種基于多維指標關聯的物聯網裝備異常預測方法。結論如下:

1) 構建基于多維指標關聯分析的LSTM神經網絡感知模型。通過計算斯皮爾曼系數來分析不同指標之間的相關性,使用主成分分析方法來將與目的檢測指標相關性強的指標降維成幾個保留原始數據重要特征的主成分,將目的檢測指標歷史數據和關聯的主成分數據作為 LSTM神經網絡的輸入,LSTM神經網絡的輸出為目的檢測指標的未來預測數據。實現了物聯網裝備狀態的精準感知。

2) 構建基于密度空間聚類的狀態評估模型。對基于多維指標關聯分析的LSTM神經網絡感知模型預測出的目的指標未來數據,利用DBSCAN聚類算法,進行了異常情況標記。實現了物聯網裝備狀態的有效評估。

本文中提出的基于多維指標關聯的物聯網裝備異常預測方法構建了物聯網裝備狀態感知與評估模型,能夠提前預測物聯網裝備狀態的異常情況,并對未來一段時間內可能發生的異常情況進行標記,從而提高了物聯網裝備的安全性和服務質量。