基于深度強化學習的智慧變電站網絡異常檢測方法

李自若，沈曦，張亦兵，李小飛，劉潤苗

(1.國網重慶市電力公司建設分公司，重慶401120；2.國網電力科學研究院有限公司，南京211106)

0 引言

智慧變電站是目前電力物聯網發展與建設的一個重要方向，隨著大量各類型傳感單元和物聯網設備的接入，變電站自動化網絡安全在輸變電工程中的作用愈發重要[1]。然而，隨著電力物聯網建設的推進，變電站系統從過去的封閉結構轉變為接入點增多、通信方式多樣化和通信協議部分開放等模式，以消息隊列遙測傳輸(message queuing telemetry transport, MQTT)協議和受限應用協議(constrained application protocol, CoAP)為代表的物聯網通信協議逐步在智慧變電站中推廣應用，促使智慧變電站各智能終端與各類型傳感器之間的通信標準化，完成變電站的全景狀態監測，由此帶來的網絡攻擊的威脅也隨之增加[2 - 3]。另一方面，變電站通信網絡也面臨著光纖短路、交換機異常、端口錯誤以及數據丟包等異常形式，此外該網絡中二次通信設備端口數量眾多，各鏈路存在交叉等問題，復雜的網絡構架往往使故障難以得到快速精確的分析和處理，會對智能電子設備(intelligent electronic devices，IED)間的信息交互及其功能實現造成嚴重影響，甚至威脅智能站系統正常運行[4]。因此，對智能站的自動化網絡實現快速的異常網絡檢測至關重要[5 - 6]。

此外，大多數現有的安全解決方案通過引用黑名單數據庫來檢測攻擊，黑名單數據庫需要包含每個攻擊的簽名信息，因此無法檢測使用未知漏洞的數據攻擊。每當出現新的攻擊模式時，必須更新數據庫才能保證其有效性[7]。然而在諸如電網這樣的環境中，可靠性至關重要，諸如數據庫更新導致的服務延遲等問題通常是不容許出現的一類問題[8]。

根據不相同的入侵識別方案，入侵檢測系統(intrusion-detection systems，IDS)中使用的技術大體上可分為誤用檢測和異常檢測。誤用檢測技術使用保存攻擊特征碼的數據庫檢測攻擊，具有精度高、速度快的優點[9]。它在控制系統中的使用也有一些限制，因為它不能檢測到新的攻擊，并且需要頻繁的數據庫更新；異常檢測技術是一種首先確定網絡或系統的正常行為，然后考慮偏離正常行為既定標準行為的檢測方法[10]。

由于控制系統的環境具有有限的服務能力，并且與一般IT環境相比，它的行為模式是規則的，因此它是異常檢測技術的一個很好的選擇[11]。文獻[12]提出了一種即插即用設備來檢測拒絕服務(denial of service，DoS)和隱私攻擊。該設備主要包括捕獲工具和深度學習檢測模型。捕獲工具用于在ad-hoc網絡中捕獲數據包，深度學習檢測模型用于檢測攻擊。如果檢測到的結果是攻擊，將觸發警報。結果表明，所有檢測模型可以實現較高的準確性、精確度、召回率和F1得分。文獻[13]提出了一種算法來識別智能水分配系統的不同網絡物理組件中的可疑行為。該算法結合了異常檢測技術的多個模塊，以識別實時監視和控制數據中的不同類型的異常。文獻[14]提出了一種使用混合學習機制的機器異常檢測系統，該機制結合無監督學習和非參數學習兩種機器學習方法，使用正常模式而不是來自機器的異常模式來檢測異常行為。為了確定構造入侵檢測模型所需的關鍵特征從而實現最大的準確性，文獻[15]利用具有最小復雜度的分類器集成方法來克服現有基于集成的入侵檢測模型的問題。利用卡方特征選擇和支持向量機，改進樸素貝葉斯(improved Naive Bayes，INB)和線性編程提升(linear programming boosting，LPBoost)等分類器的集合來開發入侵檢測模型。實驗結果表明，與LPBoost集成相比，基本分類器具有更高的準確性。文獻[16]提出了一種基于子空間局部密度估計的新型異常檢測方法，其關鍵思想是構建多個T型樹，可以實現構建子空間和局部密度估計的過程。上述研究對自動化網絡系統的異常檢測已經有了一些研究。然而，目前對于智慧變電站中IEC 61850協議與物聯網開放協議MQTT/CoAP特性的異常檢測研究還很少[17]。

針對上述問題，本文提出了一種基于深度強化學習的面向智慧變電站自動化網絡異常檢測方法，其創新點如下。

由于現有檢測方法存在不適用智慧變電站自動化網絡的問題，所提方法構建了智慧變電站自動化系統架構，并且分析智慧變電站網絡中制造報文規范(manufacturing message specification，MMS)、面向通用對象變電站事件 (generic object oriented substation event，GOOSE)包、采樣值 (sample value，SV)報文、MQTT和CoAP協議的正常行為，為制定IEC 61850的網絡異常檢測方案提供基礎支撐。

由于網絡流量的發生是有規律的，所提方法基于這一特性，利用深度強化學習算法處理智慧變電站中的流量特征，以判斷實時采集的數據包是否存在異常，并將MMS/GOOSE/SV/MQTT/COAP包的檢測結果添加到學習模型中，以提高其檢測性能。

1 基于深度強化學習的網絡異常檢測方法

基于串行的IEC 60870- 5作為數據交換協議已在變電站中使用多年。然而，IEC 60870- 5有許多缺點，由于其對硬件的高度依賴性，只有相關的點信息和狀態信息，對不同廠商的兼容性較差。為了克服現有變電站系統通信協議的可擴展性和靈活性的不足，以及滿足智慧變電站的需要，IEC TC57WG10開發了IEC 61850，作為適合下一代智慧變電站自動化系統的新通信標準。

MMS/GOOSE/SV是IEC 61850中使用的典型協議。其中，MMS是一種基于TCP/IP的協議，用于服務器和客戶端之間的通信和普通的控制命令傳輸[18]。GOOSE/SV是一種用于點對點通信的以太網協議，用于傳輸智能電子設備(smart electronic device，IED)電氣量狀態信息。MQTT和CoAP協議是面向對象的物聯網開放式協議，用于智慧變電站中各類型傳感器和智能裝置的非電氣量狀態信息采集和匯聚。智慧變電站體系結構以及MMS/GOOSE/SV/MQTT/COAP協議的使用范圍如圖1所示。

圖1 智慧變電站自動化體系結構Fig.1 Architecture of intelligent substation automation system

目前，基本的MMS/GOOSE/SV/MQTT/COAP協議不提供加密或身份驗證，并且已經發現MMS協議棧中TPKT層存在漏洞，攻擊者很有可能利用此漏洞威脅網絡安全，從而影響智慧變電站的穩定運行。

因此，現有自動化網絡的異常檢測方法不適用于IEC 61850和物聯網協議環境，它們大多基于Modbus或DNP3協議，或者不考慮TCP上層協議。為此，本文提出了一種基于深度強化學習的智慧變電站自動化網絡異常監測方法[19]。從智慧變電站和間隔層的設備收集通信包，對其進行預處理，獲得網絡流量特征，然后利用深度強化學習從這些數據特征中檢測出網絡的異常情況。

1.1 預處理

在包過濾中，利用MMS/GOOSE/SV/MQTT/COAP包的特征，從整組數據包中只提取MMS/GOOSE/SV/MQTT/COAP包，其中在單數據包處理中創建數據集所選的數據包字段特征如表1—2所示。

表1 MMS包字段特征Tab.1 Characteristics of MMS package fields

表2 GOOSE/SV包字段特征Tab.2 Characteristics of GOOSE/SV package fields

在選擇字段時，關鍵的因素在于數據包之間的值變化。對于MMS/GOOSE/SV/MQTT/COAP數據包，因為MMS/GOOSE/SV/MQTT/COAP信息部分的字段是可變的，具體取決于信息的類型，因此采用n-gram方法將MMS/GOOSE/SV/MQTT/COAP有效載荷引入特征空間[20]。當所有的數據被帶入特征空間時，整個數據集就變成了稀疏矩陣。

此外，基于流量的進程進行分組業務的處理，其通過計算單位時間的包傳輸速率和傳輸字節大小來創建數據集。通過基于流量的數據集學習可以檢測到諸如拒絕服務(denial of service，DoS)之類的攻擊。

1.2 自動化網絡異常特征分析

當自動化網絡運行穩定時，內部各個信息源的數據傳輸是相對獨立的，并且流量滿足疊加定理。根據這一特性，構建了網絡裝置和鏈路流量的計算模型，其中裝置流量類型包括輸入與輸出兩種，鏈路流量類型包括上行與下行兩種。由于裝置的輸出流量對模型的影響不大，因此忽略不計。

1)裝置輸入流量的數學分析計算過程如式(1)所示。

Qi=Min,iR

(1)

式中：Qi為裝置i的輸入流量；Min,i為裝置i的輸入報文集矩陣(n×m階)，n為信息源的數量，m為網絡的報文路數；R為單位時間內輸入裝置i的各路報文數量組成的矩陣。

其中Min,i計算如式(2) 所示。

(2)

式中：Mci為裝置c和i分別作為根節點、葉節點的輸入報文集矩陣；Lp為報文p的長度。

2)鏈路流量計算模型

鏈路流量計算如式(3) 所示。

(3)

式中：Qik為鏈路ik的流量矩陣；i→k表示鏈路流量方向，由裝置i流入裝置k；E為自動化網絡過程層中全部信息源的集合。

(4)

定義每個網絡流量的上下限閾值，超出正常閾值的網絡流偏差可能表示網絡有問題，或者存在潛在攻擊。因此采用隸屬函數a(t)定義如式(5)所示。

(5)

1.3 深度強化學習

深度強化學習融合了深度學習的感知優勢與強化學習的決策優勢，其中深度學習可以從場景中獲得研究對象的觀測數據，并且提供場景的當前狀態數據；而強化學習把當前狀態折射成相符合的動作，并且利用預期回報評價動作的價值，其框架如圖2所示。

圖2 深度強化學習框架Fig.2 Framework of deep reinforcement learning

其中深度學習是機器學習的重要組成部分，強化學習的目的是讓智能體(agent)在和場景(environment)交互的環節中實現獎勵(reward)和最大化[21 - 22]。

對于給定的狀態S(k)， agent通過策略π采取一個動作a(k)， 即a(k)=π(s(k))， 系統的操作由序列s(1),a(1),s(2),…,a(k-1),s(k)來描述。

在時刻k中，每次與環境交互后，都會收到一個獎勵r(k)， 未來總的折扣獎勵R(k)為：

(6)

式中：γ為折扣因子；K為過程結束的時刻。

定義Q函數Q(s(k),a(k))， 其表示給定狀態S(k)中某個動作a(k)的回報期望。最優Q函數在接收到狀態s并采取動作a后，應遵循策略π，即Q*(s,a)=maxπE[R(k)|s(k)=s,a(k)=a,π]， 可作為貝爾曼方程的解。因此，通過使用貝爾曼方程進行迭代更新，Q函數為：

Q(k+1)(s(k),a(k))=Es(k+1)[r(k)+

(7)

由于在連續的學習狀態下，Q值需要很長的時間才能收斂。因此，通常使用深度卷積神經網絡(convolutional neural network，CNN)作為非線性函數，不斷尋優以預估Q函數。將Q(s(k),a(k);?)定義為近似Q函數，即Q(s(k),a(k);?)≈Q*(s(k),a(k))， CNN權值參數?被稱為Q網絡。Q網絡通過在迭代i處最小化損失函數Li(?i)序列來更新其參數?i：

(8)

所提方法基于隨機梯度下降(stochastic gradient descent，SGD)方法不斷迭代、更新Q網絡參數，以此獲得Q網絡的最優解π*(s)， 即：

(9)

1.4 異常檢測

利用深度強化學習判斷實時采集的數據包是否存在異常，每個MMS/GOOSE/SV/MQTT/COAP包的檢測結果都保存為日志記錄。然后將這些信息添加到學習模型中，以提高檢測性能[23 - 24]。由于使用學習算法時的檢測性能高度依賴于預處理模塊。因此，為了提高檢測性能，有必要對預處理技術和應用領域的特點進行充分的學習和測試。基于深度強化學習的智慧變電站自動化網絡異常檢測方法的流程如圖3所示。

圖3 IEC 61850異常檢測方法的流程Fig.3 Process of IEC 61850 anomaly detection method

在預處理中，通過對采集到的智慧變電站網絡包數據進行包過濾，提取出MMS/GOOSE/SV//MQTT/COAP包，并且通過階段預處理(單包處理和分組業務處理)將MMS/GOOSE/SV/MQTT/COAP分組為不同的數據集[25 - 26]。然后，利用深度強化學習對生成的數據集進行異常檢測，以確定智慧變電站的網絡狀況是否正常，并更新警報和日志。

2 實驗分析與結果

為了驗證所提方法的有效性，采用典型的110 kV智慧變電站收集數據包并進行實驗，其中變電站的物理模型如圖4所示。

圖4 智慧變電站物理模型Fig.4 Physical model of smart substation

圖4中通信網絡中包含3個間隔，間隔1的IED包含1個合并單元(MU)、2個斷路器智能終端(Breaker IED)、2個保護裝置(Relay IED)和2個測控裝置(M& C IED)；間隔2和3的IED包含1個MU、1個斷路器智能終端、12個保護裝置和1個測控裝置，間隔IED之間通過交換機進行數據的收發。

異常檢測系統運行在Linux(ubuntu12.04)上，并使用Libsvm v3.14庫中的函數實現深度強化學習算法。對于分組流的模型，由于預處理占用了內存空間和時間，因此只對單包模型進行性能評估，以評估其現場適用性。此外，還采用對正常數據包的誤報率(false positive rate，FPR)進行對比評估。

2.1 流量異常檢測結果分析

通常來說，當網絡中存在流量異常時，其流量變化情況如圖5所示。

圖5 網絡異常流量變化曲線Fig.5 Network abnormal traffic curves

從圖5中可以看出，當網絡中存在DoS攻擊時，其流量值會迅速增大，且保持一段時間，這與突發流量會有明顯的區分，因此能夠很好地判定網絡中的異常情況。以此特性為基礎，進一步定量判定所提方法的異常檢測準確性，結果如表3所示。

表3 異常檢測方法的準確性Tab.3 Accuracy of anomaly detection methods

從表3中可以看出，無論是MMS、GOOSE/SV還是MQTT/CoAP，所提方法的誤報率均比較低，由此可論證其有效性，能夠用于網絡異常的檢測。

2.2 不同方法的檢測對比分析

在FPR和平均延時兩個方面，對比不同方法(所提方法與文獻[12]、文獻[14 - 15]在智慧變電站自動化網絡中的異常檢測結果，其中不同方法的FPR值對比結果如圖6所示。

圖6 不同方法的FPR結果對比Fig.6 Comparison of FPR results of different methods

從圖6中可以看出，隨著數據包的增加，其FPR的數值出現了小幅度的升高，并且相比于其他方法，所提方法的誤報率最低。文獻[14]使用混合學習機制的異常檢測系統，其中結合無監督學習和非參數學習兩種機器學習方法，但沒有充分結合智慧變電站的網絡特征，因此FPR較高，且隨著數據包的增加，其值上升較快。文獻[15]利用具有最小復雜度的分類器集成方法來克服現有基于集成的入侵檢測模型中的問題，雖然方法復雜度降低，但檢測準確度會有所影響，因此其FPR數值不太理想。文獻[12]中采用捕獲工具在Ad-Hoc網絡中捕獲數據包，并使用深度學習模型檢測網絡攻擊，因此其檢測性能較好。但所提方法采用深度強化學習模型，并且數據包進行預處理，因此性能更佳。

此外，不同方法平均延時對比結果如圖7所示。

圖7 不同方法的平均延時對比Fig.7 Comparison of average delay of different methods

從圖7可以看出，相比于其他方法，所提方法的平均延時最小，并且隨著數據包的增加，其延時不斷增加。文獻[15]的檢查復雜度最小，因此延時較短。文獻[12]和文獻[14]的計算過程復雜，耗時較多。而所提方法在數據包預處理的基礎上，采用訓練好的深度強化學習模型，因此平均延時較短。

3 結語

在智慧變電站中，使用IEC 61850和物聯網開放式通信定義的標準協議可以實現在不同裝置之間的信息交互。隨著網絡攻擊對電網等工業基礎設施的威脅越來越大，迫切需要完善的IEC 61850和物聯網通信數據包異常檢測方法。為此，提出了一種基于深度強化學習的面向智慧變電站自動化網絡異常檢測方法。結合智慧變電站的固有特點，構建了智慧變電站自動化網絡架構。在此基礎上，對智慧變電站網絡中的通信數據包進行預處理，以獲得能夠反映網絡異常的流量特征，并利用深度強化學習檢測MMS/GOOSE/SV/MQTT/COAP數據包是否存在異常，所有的檢測結果都保存為日志記錄。最后，基于典型110 kV智慧變電站的自動化系統進行實驗，其中利用Linux環境開發上層管理平臺，以處理智慧變電站采集的數據并將結果呈現。結果表明所提方法能夠準確檢測出網絡流量異常的情況，并且相比于其他方法，其誤報率最小且延時最短，具有較好的應用前景。

目前針對IEC 61850和物聯網協議特性的異常檢測技術的研究相對較少，所提方法僅根據網絡流量進行異常檢測，而在實際應用中，需要對其抵御攻擊數據包的性能進行評估，即應該使用IEC 61850攻擊包進行實驗分析。因此在接下來的研究中，將進行抵御IEC 61850攻擊包的性能分析，并且對節點間的通信包應用不同的正常行為模型，以進一步提高網絡異常檢測精度。