基于Bi-LSTM網絡的管道異常數據檢測方法

李春生,田夢晴,張可佳

(東北石油大學 計算機與信息技術學院,黑龍江 大慶 163319)

0 引 言

隨著物聯網技術的發展和普及,傳感器、智能儀表等設備已實現了對管道數據的實時采集,并積累了大量復雜、高維的時序數據[1]。異常數據檢測就是在時間序列中檢測出不符合業務邏輯或規則的事件或行為[2]。為保證異常檢測的高檢測率,科研人員熱衷于研究“如何提高異常數據檢測算法的性能”,取得的研究成果已廣泛應用在網絡安全、金融、醫療、國防軍事等多個領域[3-11]。

針對管道數據這種復雜、多維的時序數據,一般的閾值劃定、判定方法由于處理速度慢、準確性低,已經無法滿足目前的管道異常數據檢測的需求。隨著人工智能和深度學習技術的飛速發展,逐漸開始用于解決不同領域的異常數據問題,并取得了良好的效果。相關的國內外研究工作如下：劉政等[12]用粒子群算法對神經網絡進行優化,建立預測模型,從而進行異常數據的檢測。通過深度網絡學習時間序列之間的關系建立預測模型,通過預測結果與實際序列的偏差進行異常檢測[13-14],但面對復雜數據時會出現特征提取不全等問題。趙文清等[15]利用LSTM網絡處理時序數據的優勢,同時利用全連接層來檢測異常數據。通過研究發現,LSTM網絡僅僅考慮正向的時序信息,沒有考慮反向的時序信息,從而導致異常數據檢測效果有待提高,因而雙向長短期記憶網絡被提出運用到異常數據檢測中。

綜上所述,單獨采用統計、聚類、神經網絡等技術的異常檢測方法很難解決“特征提取不全和數據間關系挖掘不充分導致異常檢測方法準確率低”的問題。為進一步提高異常數據檢測方法的準確率,該文借鑒“分而治之、優勢互補”的混合智能算法設計思想,提出一種融合CNN和Bi-LSTM的管道異常數據檢測方法。首先,使用CNN對管道數據的局部非相關性信息特征進行提取;其次,利用Bi-LSTM網絡處理時序數據的優勢,將得到的特征向量輸入到Bi-LSTM網絡中進行訓練并充分挖掘管道數據間的邏輯關系,得到預測模型;再次,使用預測值與實際值的誤差來檢測異常數據;最后,通過實驗論證方法的有效性,并與不同檢測方法進行比較得到該方法的準確性較高、誤報率較低。

1 相關工作

1.1 相關定義

定義1：取一組管道數據表示為Xt=[x1,x2,…,xm]T,其中X∈Rm×n且t∈[1,m]。xt表示t時刻所有屬性值的集合,其中xt∈Rn,xti表示時刻t第i個屬性值,即xt=[xt1,xt2,…,xtn]。Xt則為m階n維向量,展開式如公式(1)所示。

(1)

1.2 異常數據表征分析

在管道運行的過程中,導致管道數據出現異常值的原因較多,其中包括通信故障、通信延遲;管道泄漏造成的相關數據值大幅度下降;高強度、長時間的使用可能使傳感器設備不靈敏或者損壞造成的數據不準;閥濾網單向堵造成數據值出現震蕩等。

異常檢測的目標就是找出樣本中的異常點[16]。管道異常數據主要分為點異常和群異常兩種情況：點異常也稱為突變值異常,指的是管道數據在某一時刻的壓力值、流量值、溫度值等出現較大程度的升高和降低,過一段時間后又恢復到正常數據的情況。例如通信延遲可能使管道數據產生突變值異常數據。群異常,指的是管道數據普遍升高、降低、不變。例如計量儀器故障、閥濾網單向堵、通信故障、管道泄漏等方面造成的群數據異常。因此,在判斷管道數據異常時需要根據具體的情況進行分析。

1.3 相關技術

1.3.1 卷積神經網絡

CNN為深層前饋神經網絡,由卷積層、池化層構成,每層都有不同的功能,卷積層利用卷積核對輸入向量進行卷積,得到特征向量。池化層分為最大池化、均值池化,池化層的作用是減少特征向量和參數的大小。例如,傳感器采集的管道數據為時序數據,因此使用一維卷積神經網絡對處理后的數據進行特征提取,卷積層計算公式如下所示：

F=f(W×X+b)

(2)

式中,X表示輸入數據向量,W表示卷積核權重矩陣,b表示偏置向量,f(·)為激活函數ReLU。

因此,該文采用CNN對管道數據進行特征提取,CNN結構如圖1所示。

圖1 CNN基本結構

1.3.2 雙向長短期記憶網絡

長短期記憶神經網絡(LSTM)在處理時間序列數據上具有一定的優勢,其具有門控結構,能夠對細胞信息進行選擇性刪除和添加,避免出現“梯度消失”和“梯度爆炸”等問題。LSTM神經單元的三個“門”結構包括遺忘門、 輸入門和輸出門。t時刻的計算表達式如下：

ft=σ(Whfht-1+Wxfxt+af)

(3)

it=σ(Whiht-1+Wxixt+at)

(4)

οt=σ(Whoht-1+Wxoxt+ao)

(5)

(6)

(7)

ht=ot*tanh(Ct)

(8)

基于LSTM網絡,Bi-LSTM網絡可以利用過去和未來的數據進行學習,從而預測未來時刻的參數,彌補了LSTM網絡的不足。Bi-LSTM的隱藏層由正向LSTM細胞狀態和反向LSTM細胞狀態兩部分組成。Bi-LSTM的網絡結構如圖2所示。

圖2 Bi-LSTM網絡結構

(9)

(10)

(11)

2 CNN-BiLSTM網絡異常數據檢測模型

本章節設計基于CNN-BiLSTM網絡異常數據檢測模型,主要包括數據預處理階段、數據預測階段、異常檢測階段。

2.1 異常數據檢測流程設計思路

為進一步提高異常檢查方法的準確性,該文提出一種基于CNN-BiLSTM網絡的管道異常數據檢測方法,該方法主要包含數據預處理、數據預測和異常檢測三部分,異常檢測流程如圖3所示。

圖3 CNN-BiLSTM網絡異常檢測流程

(1)數據預處理。對輸入的管道數據進行野點剔除、均值填充、歸一化處理。數據預處理的步驟為：首先是對管道時序數據進行野點剔除操作,由于各種偶然因素導致的個別數據點的值過高或過低(野點),采用53H算法剔除野點;接著對剔除后的數據進行均值填充;然后對填充后的數據進行歸一化處理,這是由于管道數據的不同屬性數據的量綱也是不同的,差異較大時會影響檢測的結果,通過歸一化處理,將數據轉化為統一量綱,使數據分布在設定的區間[0,1]內。公式如下所示：

(12)

(2)數據預測。將處理后的數據經過CNN網絡進行特征提取,然后通過Bi-LSTN網絡訓練并學習管道數據間的關系,得到預測模型,輸出預測值。

2.2 CNN-BiLSTM網絡異常數據檢測模型

CNN的優勢是利用卷積、池化操作進行特征提取,不僅實現了高維數據的降維,還減少了要訓練的參數,降低了全連接神經網絡的計算復雜度,減少過擬合現象的出現,實現了輸入數據關鍵特征的提取。Bi-LSTM網絡利用其處理時序數據的優勢,能夠充分挖掘管道數據間的關系,從而提高異常數據檢測方法的準確性。因此,利用CNN和Bi-LSTM網絡構建預測數據模型,從而得到預測值,具體實現步驟如下：

步驟2：模型參數設置。基于理論研究和管道數據特點,CNN卷積層為1層,卷積核大小為2×2。Bi-LSTM隱藏層為2層,Bi-LSTM層設置60個隱藏神經元,優化器選擇Adam,迭代次數為3 000,輸入層的管道時序數據長度為6,而輸出層的輸出時間序列長度為1,其學習率為0.006,經過CNN 提取特征后,變量數為1,輸入層和輸出層維數均為1。模型訓練的過程中,為提高模型的預測精度,可以對各項參數值進行適當修改。

步驟3：模型訓練。構建CNN-BiLSTM網絡異常檢測模型,輸入有效向量進行訓練,損失函數選擇均方誤差(MSE),如公式(13)所示。通過損失函數的計算,進行反饋調節,調整網絡參數設置,MSE最小值時,訓練停止,得到最終預測模型。

(13)

由圖2可知,正向LSTM網絡和反向LSTM網絡的運算過程如公式(14)所示：

(14)

結合正向LSTM網絡和反向LSTM網絡,形成雙向神經網絡,則可以得出Bi-LSTM網絡的輸出,公式如下所示：

(15)

式中,g為激活函數;yt為Bi-LSTM網絡的輸出;V和c分別為相應的權重和偏置。

最后得到歷史管道數據與未來管道數據的擬合關系,預測模型為Ytrain=f(w,b)Xtrain。由于輸入的數據是歸一化處理后的數據,因此,通過模型得到的預測值需要進行反歸一化處理,處理過程如公式(16)所示。

Yfg=postmnmx(Yg,min(t),max(t))

(16)

式中,Yfg為Yg反歸一化后的輸出數據,Yg為預測值。

2.3 動態閾值的確定

傳統的異常數據檢測方法中大多是采用固定閾值,但是在實際的應用過程中存在靈敏性較低、誤報率較高等問題,閾值的選取決定著異常數據檢測的準確性。因此,該文引入動態閾值計算方法[17-18]得到不同特征的閾值。初始化閾值β,公式如下所示：

β=μ(se)+qσ(se)

(17)

式中,q為固定范圍內的隨機數,表示大于μ(se)標準偏差的數量。利用該預測誤差序列se分為異常誤差序列sa和正常誤差序列sn,并計算閾值ε,公式如下所示：

(18)

式中,Mseq表示每個特征中異常序列的數目,且Δμ(se)=μ(se)-μ(sa),Δσ(se)=σ(se)-σ(sa)。

通過不斷改變q來計算閾值ε,將ε與上一個閾值比較,若當前的閾值大于上一個閾值則替換q,否則繼續保留,從而確定每個特征的目標閾值ε。

3 實 驗

3.1 實驗環境

實驗在Windows10操作系統上運行,CPU為Intel Core i7-1165G7(1.2 GHz/L3 12 M),內存16 GB,顯卡為Intel Iris Xe Graphics,固態硬盤為1 TB;在 PyCharm 集成開發環境上編寫計算程序 使用的語言是Python3.6。

3.2 數據集

實驗數據選取盤錦市某油田管道真實數據作為實驗樣本,按照7∶3比例分為訓練集和測試集。收集10組實驗數據,包括5組正常數據和5組異常數據,每一組數據包含不同時間段的管道壓力、管道溫度、管道流量、環境溫度等,異常數據集基本信息如表1所示。

表1 異常數據基本信息

實驗的測試數據來自盤錦市某油田2021年11月份的管道運行數據,選擇管道溫度、管道壓力、管道流量、環境溫度各600條,測試集基本信息如表2所示。

表2 測試集基本信息

3.3 評價指標

選用準確率(Accuracy)和召回率(Recall)作為評價指標。準確率表示的是檢測正常的樣本數據占全部檢測樣本的比值,比值越大,檢測的效果越準確、越好。召回率指正確檢測出來的異常數據個數與實際異常數據個數的比值,比值越大,表示檢測的效果越好。計算公式分別為：

(19)

(20)

式中,TN表示的是實際值為正常且檢測也正常的數據個數;FP表示的是實際值為正常且檢測為異常的數據個數;FN表示的是實際值為異常且檢測為正常的數據個數;TP表示的是實際值為異常且檢測為異常的數據個數。

3.4 實驗結果分析

為驗證所提異常數據檢測方法的有效性,選取測試數據集,將所提方法與K-means算法、LSTM網絡、Bi-LSTM網絡3種方法進行對比,驗證基于CNN-BiLSTM網絡的異常數據檢測方法的效果。

圖4為K-Means、LSTM網絡、CNN-BiLSTM網絡的壓力預測值和真實值的對比圖,圖5為K-Means、LSTM網絡、CNN-BiLSTM網絡的流量預測值和真實值的對比圖。分析可得,CNN-BiLSTM網絡異常點數據的預測值與實際數據更加精準、貼近,異常數據基本找出,相比較于其他方法,準確率最高。

圖4 不同方法檢測壓力真實值與預測值對比

圖5 不同方法檢測流量真實值與預測值對比

圖6～圖8分別為K-Means算法、LSTM網絡、Bi-LSTM網絡檢測異常數據的效果圖。可知K-Means算法、LSTM網絡和Bi-LSTM網絡均會出現漏檢和誤檢等情況。由此可以得到神經網絡比K-Means算法異常檢測效果好,是由于神經網絡考慮到了管道數據的時序性。由圖7、圖8對比可得,雙向神經網絡比單向神經網絡的效果好,是因為雙向神經網絡還考慮到了反向時序信息。

圖6 K-Means算法異常數據檢測結果

圖7 LSTM網絡異常數據檢測結果

圖8 Bi-LSTM網絡異常數據檢測結果

由表3可知,針對管道異常數據情況,相比較于已有的異常檢測算法,CNN-BiLSTM網絡優于同類算法,這是由于該方法通過CNN對管道數據進行特征提取和降維,得到有效的特征向量,然后利用Bi-LSTM網絡處理管道數據雙向時序信息的優勢,可以有效檢測大量、復雜數據中的正常值和異常值,各項評價指標均較高,證明了該方法的準確性和優越性。

表3 不同評價指標對比

4 結束語

針對特征提取不全、數據間關系挖掘不充分的問題,提出了一種基于CNN和Bi-LSTM網絡的異常數據檢測方法,進一步提高了異常數據檢測方法的準確率,降低了誤報率。

實驗結果表明,CNN-BiLSTM網絡方法相比同類模型在檢測速度、檢測精度和穩定性方面具有明顯優勢。CNN能夠高效地提取管道數據特征;Bi-LSTM網絡利用其記憶功能和處理雙向時序信息的優勢,極大地提高了預測精度;動態閾值的確定有效地解決了靈敏性差等問題,能夠準確地檢測異常點,同時還為異常數據填補正常的數值。未來的管道數據異常檢測可能還會對異常檢測結果的可解釋性提出新要求,同時要找到產生異常點的原因,這也是異常檢測方法的改進方向。