基于GRU-SVM 的工業系統態勢預測模型

陳鴻韜，郭 爍，洪 悅

（沈陽化工大學信息工程學院，遼寧沈陽 110142）

隨著工業互聯網技術不斷升級，工業網絡開放引入的安全問題不容小覷。2020年，美國天然氣供應商為排查被攻擊設備停止運營[1]。網絡攻擊方式不斷升級，工控系統傳統防御手段[2]難以主動防御。研究者轉向入侵檢測[3]，但只能在發生入侵時預警。態勢感知技術[4]是利用歷史態勢預測未來系統安全態勢，對系統安全進行態勢感知，主動發現異常并規避。

舒闖提出基于自適應灰色Verhulst 和GRU 的態勢預測方法[5]，利用Verhulst 構建預測態勢序列，利用GRU 網絡對預測值殘差修正。文獻[6]構建基于隨機博弈的態勢感知模型，通過情報事件相似度比對和博弈論量化安全態勢。文獻[7]通過GRA 對網絡安全指標加權分析，SVM 對加權后的指標預測安全態勢。

利用工控系統要素的強時序性建立態勢感知模型，由于傳統方法在準確性和實時性上表現欠佳，因此提出基于GRU-SVM 的態勢預測模型。首先從工控系統中提取安全要素，構造時間序列。通過GRU模型對序列數據預測得到態勢要素組，最后由SVM進行態勢評估，輸出態勢值。

1 態勢預測模型的相關概念

1.1 支持向量機

SVM 作為二分類模型常用于線性分類問題，其本質是尋找特征空間上間隔最大的分類超平面[8]，該超平面作為分類器的決策線，將樣本空間中的數據分割成兩個類別。將式（1）作為核函數實現非線性分類，將低維數據映射到高維空間，在特征空間中實現內積運算，解決原始空間線性不可分問題：

其中，?(xi)是映射后的特征向量。

1.2 注意力機制層

為解決神經網絡結構對輸入序列的編碼長度要求和復雜輸入造成的信息丟失問題，引入注意力機制。其是模擬人腦對事物觀察時注意力偏向的過程，當人腦對事物的某部位重點關注時，通常給予更多的注意力，而忽略掉其余部分，注意力機制層[9]通過訓練學習輸入數據，得到輸入與輸出間相關性的權重矩陣。權重系數決定了模型對哪些特征進行重點關注。模型融合注意力機制結構如圖1 所示。

圖1 注意力機制結構圖

在圖1 中，x1,x2,x3,…,xj是時間序列模型中態勢要素組的輸入。h1,h2,h3,…,hj表示GRU 網絡隱藏層的狀態，對相對應的注意力權重值αtj進行求和計算，得到上下文加權向量ci。st是當下時刻的內部隱藏狀態。注意力機制中各個權重以及當前輸出的狀態計算如式（2）所示：

其中，U、W是注意力機制的權重系數，b為偏置項。

1.3 GRU網絡

GRU 是為解決長期記憶和反向傳播中的梯度問題提出的算法模型[11]。與LSTM 相比較，GRU 主要包括重置門和更新門，在相同數據量下GRU 的運行時間更短。更新門控制上一時刻傳到下一時刻的信息量，重置門控制是否遺忘上一步的信息。

GRU 單元結構如圖2 所示。

圖2 GRU單元結構

圖2 中，rt、zt分別是重置門和更新門在t時刻的輸出，結合xt輸入到GRU 網絡中，利用tanh 函數將輸出值映射到[-1,1]上。

2 基于GRU-SVM的態勢預測模型

基于GRU-SVM 的態勢預測模型主要包括數據預處理層、模型訓練層以及實時態勢感知層，具體層級架構如圖3 所示。

圖3 態勢預測模型框架

2.1 數據預處理層

數據預處理層是對工控系統數據進行預處理，獲得高質量的數據集，以提高預測準確率。對歷史態勢數據歸一化、數據降維、對不平衡的數據進行增強、利用滑動窗口生成時間序列數據。處理步驟如下：

步驟一：采集數據后，對數據進行清洗。

步驟二：歸一化處理步驟一的數據，計算過程[12]如式（3）所示，統一態勢數據量綱，將特征方差降低至一定范圍，避免異常值的過度影響。其中x′、x、xmin、xmax分別輸出值、初始值、最小值與最大值：

步驟三：數據降維。因數據維度較高，通過主成分分析法[13]對數據進行降維，消除冗余信息，在保證準確率下提高收斂速度。

步驟四：數據增強。由于正常工況數據比攻擊異常多，因此采用SMOTE 方法[14]增強處理不平衡的異常數據，提高SVM 分類模型的性能。

步驟五：滑動窗口構建時間序列數據。通過歷史數據訓練模型完成對未來工況態勢的預測，對降維后的數據通過滑動窗口構建時序數據。設定窗口大小S=M，樣本總數N，經過處理后生成N-S+1 個樣本。將窗口中包含前M個數值作為GRU 算法的輸入樣本，將第M+1 的數值作為樣本標簽，即為輸出樣本。生成序列數據的形式如表1 所示。

表1 樣本構造結果

2.2 模型訓練層

模型訓練包括對GRU-Attention 預測模型訓練和對SVM 分類模型訓練。GRU 模型學習中用定長向量來表示復雜的時序信息，在不同特征表達信息量難免不足。因此在GRU 模型中添加注意力機制層，將隱藏層節點的輸出作為注意力機制層的輸入，使得模型在處理序列時能盡可能地保留特征信息。通過工業控制系統中的歷史態勢數據預測未來態勢，對前M個歷史值構建態勢要素組作為GRUAttention 模型的輸入，尋找其中的非線性關系，來預測第M+N時刻的未來值。其中N表示預測步長。因工況數據特征相互間的影響，單維態勢值有強耦合性，故考慮采用對降維后的數據進行單維預測。具體算法步驟如下：

步驟一：將由數據預處理層處理后的數據，按照表1 的方法構造成時序單維態勢要素組，作為GRUAttention 網絡的訓練集。

步驟二：初始化權重值和偏置項、學習率，網絡層數包括注意力機制層和神經元個數。

步驟三：訓練集按batch_size 劃分后送入網絡，通過前向傳播計算結果，比較模型預測值和真實值得到誤差值。采用后向誤差傳播對偏置項和權重值進行更新。

步驟四：判斷模型迭代次數是否達到規定值，若沒有則繼續按步驟三執行，若達到則輸出模型。得到GRU-Attention 預測模型，可對工控系統的實時態勢進行單維預測得到態勢要素組。

態勢評估層是對系統要素評估獲得工控系統態勢，通過SVM 挖掘出態勢要素組與系統態勢的相關性，并利用SMOTE 中的上采樣方法對不平衡數據增強后輸入到SVM 分類模型學習訓練，得到最優的態勢評估模型。

2.3 實時態勢感知層

經過上兩層處理后，可獲得GRU-Attention 預測模型和SVM 態勢評估模型，便能通過以往態勢要素數據來預測獲得未來態勢。利用非線性映射關系，按表1 的構造方法對當前M個態勢值構造獲得態勢序列，輸入到GRU-Attention 中，獲得單維態勢要素組。對多維要素進行單維預測，獲得多維預測要素組，將其輸入到SVM 評估模型，即可評估未來系統態勢。圖4 展示了利用單維預測方法獲取多維要素組的過程。

圖4 構建要素組

3 實驗仿真

為驗證所提出的態勢預測模型和評估模型的有效性，實驗在Windows64 平臺上進行。實驗環境包括Intel(R) Core(TM) i5-3350P CPU(3.10 GHz)和基于CUDA 的Nvidia GeForce GTX 1070ti GPU（8 GB）。使用TensorFlow 的Keras 框架編寫模型。

3.1 實驗數據處理

實驗仿真數據是SWaT 數據集[15]，SWaT 是現代化水處理工業控制系統，對SWaT 系統進行攻擊測試并采集工況數據，通過圖3 中的數據預處理層，將數據維度降低至16 維，并按7∶3 的比例劃分為訓練集和測試集，對16 維數據構造預測序列，獲得多維度態勢要素組，進行態勢評估。

3.2 模型預測以及評價指標

GRU-Attention 模型采用手動試值法調整，試值對比預測性能，最后確定模型層數為兩層，神經元為130 個，dropout 值為0.3，在第二GRU 層后添加注意力機制層。輸出值為單維態勢要素，dense 層為1。GRU 的損失函數選擇均方誤差函數，優化器選擇在SGD 基礎上修正后的Adam 函數。通過每輪次訓練的驗證預測誤差，滑動窗口大小為100，按表1 的構造方法，獲得前100 個時刻的要素的相關性，預測第101 個數值。

在對SVM 評估模型訓練之前，考慮到數據存在小樣本的異常工況數據，通過SMOTE 的上采樣技術增加異常工況數據，再輸入到SVM 模型中。試值測試態勢評估模型的影響，選定高斯徑向基為核函數，懲罰因子為11，核函數參數為2。

為檢驗態勢預測模型效果，采用平均絕對誤差（Mean Absolute Error，MAE）和均方誤差（Mean Square Error，MSE）作為實驗過程的評價指標。評價函數如式（4）、式（5）：

其中，yi是某樣本的真實值，是預測值，N是預測樣本總個數。

態勢評估模型的輸出值是工控系統傳感器的工作狀態，共有兩類八種標簽，其中包括正常情況和七種攻擊異常情況。在態勢評估過程中，若原有數據為真實正常工況，卻被模型評估為預測攻擊工況，則該數值被判定為FP，相反則為FN。而TP 和TN 是被模型正確識別的工況數據。SVM 態勢評估模型以precision（準確率）、recall（召回率）、F1 作為評價指標。召回率=TP/(TP+FN)，F1=2×準確率×召回率/(準確率+召回率)，準確率=TP+TN/（TP+TN+FP+FN)。

3.3 實驗結果分析

3.3.1 態勢要素組的預測結果

通過GRU-Attention 和LSTM 進行態勢要素預測，部分單維要素態勢值如圖5-6 所示，可看出所提模型的預測值和真實態勢基本擬合，比LSTM 效果更好。為了更直觀地體現GRU-Attention、LSTM 和GRU 的預測性能，利用MSE、MAE 進行誤差對比。從表2 中可看出，GRU-Attention 和LSTM、GRU 相比，MSE 分別降低了58.8%、36.4%；MAE 分別降低了54.5%、37.5%。結果表明，GRU-Attention 的誤差更小，預測精度更高。

表2 不同預測模型的誤差對比

圖5 GRU-Attention態勢要素組預測結果

圖6 LSTM態勢要素組預測結果

3.3.2 態勢評估效果

為檢驗模型的有效性，設計橫向對比實驗，對比算法有LSTM-SVM、RNN[16]-SVM、GRU-Attention-DNN、GRU-KNN[17]，測試結果如表3 所示。

表3 各算法的態勢評估結果

相比較于LSTM-SVM 算法，GRU-Attention-SVM 模型在準確率更優；RNN-SVM 和GRU-KNN 在召回率和F1 上偏低，說明KNN 易將攻擊類別誤判正常類別；而RNN-SVM 訓練中耗時更多，預測精度不高。綜上，GRU-Attention-SVM模型整體性能更佳。

通過實驗檢驗GRU-Attention-SVM 對未來時間段預測性能，預測步長劃分為四個時間段，間隔為5 s。從表4 可知，間隔為1～5 s 的預測評估效果最好，6～10 s 的準確率保持在96%以上，但是召回率偏低，不利于感知攻擊工況態勢。綜上，應用第一組時間段進行態勢預測。

表4 未來時間段的態勢評估對比

4 結束語

針對工業系統數據的時序性，提出基于GRUSVM 的工業系統態勢預測模型，對多維數據進行單維逐一預測，利用GRU 和注意力機制對長序列處理優勢訓練預測模型，形成態勢要素組輸送到SVM 態勢評估模型獲得未來態勢。經橫向對比實驗，結果表明GRU-SVM 模型性能更佳，預測精度更優。