基于神經網絡的電力二次系統攻擊預測

孫理昊

（北京科東電力控制系統有限責任公司 通訊與安全分公司 網絡安全集成部，北京， 100192）

0 引言

近年來，我國經濟、通信技術以及數字信息技術得到了快速發展，為數字化電網和智能電網提供了發展平臺[1～3]。隨著智能電網的大力建設，電網規模日益龐大復雜，使得電網的安全問題日益突出。此外，云計算、物聯網以及大數據的加入，又使智能電網增加了網絡攻擊、病毒木馬攻擊、信息泄露等安全防護方面的挑戰[4,5]。電力的持續供應及安全運行是我國經濟平穩發展、社會和諧穩定以及工業的安全基本保障[6]。因此，需要對智能電網電力二次系統進行防護和預測研究。

目前的攻擊形式主要是復雜多變、邏輯緊密的多步和連續攻擊。除了對攻擊產生的告警進行關聯和排序并做出應對策略外，針對攻擊的預測和采取針對性的預防操作也變得更加重要。電力二次系統中攻擊預測方法有博弈論[7]、時間序列[8,9]、以及其他概率模型[10,11]等。然而隨著近幾年的智能算法的涌現，神經網絡被廣泛地應用到攻擊預測中。夏勇軍等人[12]根據二次系統的功能特點提出一種針對電力二次系統的智能配電網評估方法，實現了對智能配電網節點的可靠性評估。陳聞卿[13]通過對目前國家加密算法的研究，提出將SM2加密算法應用在電力二次保護嵌入式系統中，結果表明該算法可以有效實現用戶身份真偽辨別，增加了身份認證的安全性。Tan[14]等人針對智能電網現有研究的缺陷，提出了一個基于GridLAB-D、ns-3和FNCS的智能電網攻擊聯合仿真框架。該仿真能夠模擬智能電網基礎設施的各種網絡安全攻擊功能，然后自動可視化其后果。QS[15]等人研究了動態負載攻擊下智能電網的攻擊檢測問題。并設計了自適應滑模觀測器，在閾值和殘差對比的基礎上，應用攻擊檢測邏輯來完成攻擊的檢測。但是，對于多目標的動態入侵研究較少，且針對此種攻擊方式的攻擊鏈獲取方法和預測模型難以在電網中直接適用。

本文首先針對多目標、復雜的入侵，提出了通過節點信息結構化、聚合子節點、深度遍歷三個環節來實現IP關聯的攻擊鏈提取方法；在此基礎上，為了減少傳統的攻擊預測方法及模型存在的預測能力差、可移植性差和共享性低的問題，提出了自注意力改進的Bi-LSTM（Self-Attention-Bi-LSTM）預測模型，該模型基于前后文時序進行分析，預測速度快、攻擊鏈學習時間短、自動識別攻擊鏈中對預測貢獻更高的信息。并在電網數據實驗和DARPA數據的實驗中證明了該模型的準確性和有效性。

1 IP關聯的攻擊鏈提取

入侵行為通常具有動態、多目標及協同攻擊中的一種甚至多種特點。尤其是多目標入侵，它的攻擊之間的邏輯關系、匹配順序以及因果關系影響著入侵行為的判斷。然而在電力二次系統中，復雜入侵行為表現為有規律可循告警序列，因此基于此特點提取的入侵行為攻擊鏈有利于后續對入侵行為的預測。

在攻擊鏈的提取可以分為節點信息結構化、聚合子節點、深度遍歷三個環節來實現。其中節點信息結構化就是將告警日志以樹狀圖的結構表達出來。把多個單步攻擊經過特定的方法組合成完整的攻擊過程，此過程以多步攻擊的方式呈現。而攻擊鏈則是攻擊過程的結構化體現。

提取攻擊鏈時，首先對節點信息進行結構化處理。在攻擊鏈中，節點的地址用IP表示，告警信息用WM(warning message, WM)表示。四節點的攻擊鏈可以表示為如圖1所示。將圖1中攻擊鏈的告警日志整理成直觀地表達，如表1所示。使用節點類對每一個節點進行建模，節點類包含自身的地址、父類節點地址、子類節點的告警信息等。采用節點類實現了表1中告警日志樹狀結構的表達，如圖2所示。圖中每一個地址由唯一節點表示，箭頭表示從源地址到目的地址的告警。

表1 告警日志列舉

告警日志經結構化處理后，形成了容易理解和遍歷的樹狀圖。從樹狀圖中沒有父類的節點處開始深度遍歷，進行第一次的去重，則能夠獲得初步的攻擊鏈。但是，初步的去重只是去掉了“無雙親”節點，告警日志中依舊存在信息冗余。為了減小冗余信息，加快攻擊鏈的提取速度，在保留告警信息的前提下進行子節點聚合。聚會是在節點樹狀圖的前提下，對所有節點進行遍歷。聚合分為兩種情況：

（1）若主機1對主機2在連續時間內觸發一致的安全事件，且期間主機1有且僅有這一類安全事件，則認為連續時間內出發的事件系同一事件。基于這一前提采用如下聚合方法：遍歷每一個節點的子節點，若發現同一個父類下的子節點的告警類型、源地址、目的地址均相同，則對它們進行聚合操作。圖3(a)為第一種情況的聚合，子節點個數減少了3個，消減了冗余，除了進行時間合并外，告警信息沒有缺失。

（2）設置較短的時間空隙，在此段時間內觸發的相同告警都認為是一類安全事件。基于這一前提采用如下聚合方法：遍歷每一個節點的子節點，若發現同一個父類下的子節點的告警類型、源地址、目的地址均相同，且時間范圍小于設定的時間間隙，則對它們進行聚合操作。圖3(b)為第二種情況的聚合，若設置時間間隙為1小時，則圖中可合并兩個子節點且開始與終止時間小于1小時。

圖3 子節點聚合，(a) 第一種情況的聚合(b)第二種情況的聚合

在上述兩個環節完成后，對獲得的樹狀圖進行深度遍歷就能夠得到最終的攻擊鏈。在遍歷過程中，需要先確定鏈首告警，表示在此時刻之前沒有以該地址為目的的告警發生。與結構化處理相似，鏈首告警可以分為：無雙親節點和有雙親節點，因此可以分為兩次循環。對于無雙親的源IP節點，將每次深度遍歷得到的攻擊鏈添加到最終的攻擊鏈集合中；但對于雙親的源IP節點，源IP的告警時間應早于雙親節點的告警時間，同樣也需要重復無雙親的操作。

2 神經網絡攻擊預測模型

神經網絡攻擊預測模型分為數據處理、編碼和預測三部分，如圖4所示。其中數據處理是將攻擊鏈分解為能夠識別的數據類型，包含攻擊鏈的擴增和樣本的分割。編碼是抽取攻擊鏈高階特征，在進行高階特征抽取時，模型首先用n維的向量把各個IP與WM表示出來，然后將兩者拼接成一個2n維的向量（組合后的向量具有IP和WM的上下文語義信息），依次輸入到神經網絡預測模型中，最后經計算得到編碼后的高階特征。

圖4 神經網絡攻擊預測模型框架

預測部分有兩個模塊，分別對應于IP和WM模塊的預測。預測部分以攻擊鏈的高階特征作為輸入，采用前饋神經網絡分類算法進行計算得到預測值，使用梯度下降法進行反向傳播，更新模型參數。

為了獲取入侵者真實意圖及攻擊步驟背后所隱藏的狀態，依據上文提取的攻擊鏈，采用了LSTM、Bi-LSTM（Bidirectional Long Short-Term Memory, Bi-LSTM）以及自注意力改進的Bi-LSTM預測模型，并對比分析三者對下一步攻擊的預測效果。

■2.1 LSTM攻擊預測模型及改進

圖5是LSTM的攻擊預測模型圖，LSTM通過內部狀態cs記錄細胞狀態，在節點信息傳輸過程中，通過選擇性遺忘與記憶實現對當前信息的積累和對過往信息的遺忘。

圖5 LSTM的攻擊預測模型圖

Bi-LSTM攻擊預測模型解決了LSTM記憶的問題，并充分考慮了正反向序列的相關性；攻擊鏈的時序信息通過Bi-LSTM的雙向性和門控機制進行提取，為下一步的攻擊預測提供數據分析，圖6是Bi-LSTM攻擊預測模型。

圖6 Bi-LSTM攻擊預測模型

■2.2 Self-Attention-Bi-LSTM攻擊預測模型

針對攻擊鏈中告警信息的時變性，即不同時刻的信息權重不同，本文提出在Bi-LSTM基礎上加入自注意力機制，該方法能夠建立動態依賴模型并根據此基礎，在告警信息之間生成時變的連接權重，從而獲取序列內各元素的特征及其之間邏輯關系，如圖7所示。

圖7 Self-Attention-Bi-LSTM攻擊預測模型

將IP和WM組合的2n維的向量依次輸入到Bi-LSTM模型中獲取攻擊鏈中的時序信息，其中攻擊鏈正向和反向的序列信息分別通過正向輸入的LSTM層和后向輸入的LSTM層獲取，然后組合兩者得到時序信息。在本文中獲取每個隱藏單元的輸出hi,hi

'通過式(1)拼接得到時序信息hi。

式中，W為自學習的參數矩陣。

然后把hi輸入到自注意力層進行權重計算，在計算過程中每個單元的權值由鍵值對決定，用h=(h1,h2,…,hi)和v= (v1,v2,…,vi)分別表示鍵和值，用q= (q1,q2,… ,qi)表示查詢序列。為了防止計算的sti梯度發散，通過式(2)和式(3)其進行縮放點積和歸一化計算：

式中，dh為h的維度，sti是注意力得分。

在得到權值iω后，通過公式(4)得到最終的輸出向量O(qi,h,v):

Self-Attention-Bi-LSTM利用Bi-LSTM獲取攻擊鏈中時序信息及序列的正反向信息，通過引入自注意力機制獲取序列內各元素的特征及其之間邏輯關系，將得到的輸出向量作為預測部分的輸入，進行反向傳播和參數訓練。

3 實驗分析

以國家電網華北區域電力二次系統兩個月的告警日志為分析對象，對告警日志進行遍歷提取到814條攻擊鏈。為了滿足訓練的需求，需要進行攻擊鏈的擴增。在本文中把攻擊鏈看成一個集合，則集合中的所有子集都是一條攻擊鏈，換言之，假如攻擊鏈的長度為n，則可以切分為不同時刻下(n-1)條不同長度的攻擊子鏈。對814條攻擊鏈進行分割和擴增，最終得到8963條攻擊鏈；在訓練模型時，選用60%的數據集作為訓練集，30%的數據集用來驗證，剩余10%的數據集則用來測試。

由于攻擊鏈的類別較多且分布不均勻，預測模型的訓練會受到數據不均衡的影響，導致難以在準確率和召回率之間權衡。傳統的做法是采取平衡數據集處理，但是降低了比重大的類別檢測準確率且破壞了樣本分布。為了提升模型的預測效果，提出了高級別攻擊鏈ACU評價標準（High Level Chains AUC, HLC-AUC)，它能夠對模型在更高危的攻擊鏈中的預測效果做出評價，自動識別攻擊鏈中對預測貢獻更高的信息。此外，它不僅能夠保證高級別攻擊鏈的預測效果，而且還能提升整體的預測精度和準確性。

HLC-AUC通過數值量化分析模型在HLC上的預測性能，但是，對于模型的優化方向卻無能為力，因此本文設計了新的損失函數，見公式(5):

式中：iφ第i條攻擊鏈懲罰項系數，L為交叉熵，m為樣本個數。

新的損失函數以交叉熵函數為基礎，增加高級別攻擊鏈的檢測系數，因此在訓練過程中會有較大的概率檢測到高級別攻擊鏈的錯分樣本。

■3.1 Self-Attention-Bi-LSTM最優參數整定

Self-Attention-Bi-LSTM在進行參數的整定和擇優時，往往依靠經驗和多次實驗的結果進行動態調整，嚴重增加運行負荷和預測時間。針對此問題，本文依據HLC-AUC對IP和WM向量長度、輸出向量維度及學習速率進行最優參數整定。

Self-Attention-Bi-LSTM預測模型中IP和WM的向量化是利用Embedding層實現的，因此，IP和WM的向量長度sizeIP和sizeWM的選擇對模型預測精度和準確性影響很大。為了分析向量長度對預測效果的作用，繪制了sizeIP和sizeWM與HLC-AUC的關系曲線，如圖8所示。從圖中可以看出，隨著sizeIP和sizeWM的增加，Self-Attention-Bi-LSTM預測模型的HLC-AUC都是上升到最大值后維持在最大值附近。根據曲線關系，可以確定當sizeIP=96， sizeWM=64時，模型預測效果最好。

圖8 各向量對HLC-AUC的影響

此外，模型中輸出向量維度Odim一定程度上控制了模型容納信息量的大小。為了研究Odim對預測效果的作用，Odim取32的整數倍作為變化范圍，并觀察HLC-AUC變化，如圖8所示。從圖中可以發現，當Odim在128～160范圍內時，模型預測效果最好。但是在實際應用時，在保證預測效果較好的前提下，為了降低模型復雜度，在本設計中Odim取128。

模型更新采用梯度下降法，在更新模型時學習速率Le arnrate決定模型學習更新的速度，Le arnrate過小會造成學習速率慢甚至不學習；Le arnrate過大會造成模型發散。因此，選取恰當的學習速率對模型的更新速度和算法運算量尤其重要。本文Le arnrate分別取值0.0003，0.001，0.003并觀察模型損失函數的變化趨勢。

如圖9所示，當Le arnrate= 0.0003時，損失函數下降緩慢，當訓練到每批樣本個數batch=1000時，損失函數數值仍在0.5以上；Le arnrate= 0.003時，雖然收斂速度最快，但在batch=600時，損失函數曲線就基本保持不變且數值較大。而當Le arnrate= 0.001時，前期收斂速度最快后期居中，在達到900batch時獲得最小損失為0.12。另外，圖中在batch=100之前三條曲線都具有較快的下降速度和收斂速度，因此可以去batch在100以內。

圖9 學習速率和HLC-Loss關系曲線

綜上所述，當sizeIP取96，sizeWM取64，Odim取128，Le arnrate取0.001，batch取62時，Self-Attention-Bi-LSTM攻擊預測模型具有最好的預測效果和最快的預測速度。

■3.2 模型效果對比分析

本實驗中，設置分類器1，2使用3層FNN對下一步的攻擊進行預測，損失函數使用HLC-LOSS。神經網絡的其他參數結合經驗和實驗結果動態調整，各預測模型的效果如表2所示。

表2 電網數據各預測模型的效果

從表2可以知道，Self-Attention-Bi-LSTM預測模型AUC值達到了0.753，比LSTM和Bi-LSTM分別增加了6%和10.1%。HLC-AUC也達到了最高的0.832，說明該模型在有效預測高級別攻擊鏈的同時，也提升了總的預測效果。

為了進一步考證Self-Attention-Bi-LSTM模型的預測效果，進行DARPA數據集實驗。由于實驗中數據集的差異，設置分類器1，2使用2層FNN對下一步的攻擊進行預測，損失函數使用HLC-LOSS，各預測模型的效果如表3所示。

表3 DARPA數據集試驗下各預測模型的效果

根據表中數據能夠明顯地判斷出，無論是在ACU還是HLC-AUC, Self-Attention-Bi-LSTM模型都達到了最好的預測效果。

綜上所述，Self-Attention-Bi-LSTM模型既能在電網數據中有效預測高級別攻擊鏈并提升總體預測效果，還能在DARPA數據集實驗達到最優預測，證明了該模型準確性和有效性。

4 結論

（1）針對多目標、復雜的入侵，本文提出了通過節點信息結構化、聚合子節點、深度遍歷三個環節來實現IP關聯的攻擊鏈提取方法，該方法無須標記樣本、在少量的先驗知識基礎上就能成功提取攻擊鏈。

（2）提出了Self-Attention-Bi-LSTM攻擊預測模型和高級別攻擊鏈AUC評價標準，并利用HLC-AUC對IP和WM向量長度、輸出向量維度及學習速率進行最優參數整定，得到當sizeIP取96，sizeWM取64，Odim取128，Le arnrate取0.001，batch取62時，Self-Attention-Bi-LSTM攻擊預測模型具有最好的預測效果和最快的預測速度。

（3）最后通過電網實驗和行DARPA數據集驗證了Self-Attention-Bi-LSTM攻擊預測模型的準確性和有效性。