基于拉普拉斯特征映射學習的隱匿FDI 攻擊檢測

石家宇 陳 博 俞 立

智能電網作為下一代電力系統,通過采用先進的數字信息和通信技術能夠實現電網各個環節重要運行參數的在線監測和實時信息掌控,并在此基礎上整合物聯網技術和大數據分析,實現了更環保、更安全和更高效的電力管理[1].在發電側,由于電能無法大量存儲,控制中心需要密切監控電網運行參數,以控制電網中的發電與電能消耗相平衡.在電網側,系統也需要估計系統的運行狀態,將其用于最優潮流算法以制定發電方案,實現經濟上的最優調度.因此需要有大量的信息控制設備和通信傳感網絡接入電網,實時發送各個節點的測量值到控制中心,確保電力系統的高效經濟可靠運行.但是通信設施的接入,也讓智能電網面臨著潛在的網絡攻擊風險,成為軍事或恐怖活動的目標,例如2015 年12 月的烏克蘭電網攻擊事件,造成了30 個變電站被關閉,約有23 萬人無法用電[2].特別地,隱匿虛假數據入侵(False data injection,FDI)攻擊可以繞過電力系統中傳統的壞數據檢測機制,通過篡改測量數據,使得對電力系統的狀態估計不準確,進而干擾控制中心決策以擾亂電力市場正常秩序,存在重大的經濟和安全隱患[3].

FDI 攻擊自2009 年提出以來[4],便受到了國內外學者的廣泛關注.針對不同的FDI 攻擊場景提出了相應的保護策略和攻擊檢測方案.在保護策略方面,主要是通過放置相量測量單元(Phasor measurement units,PMU)來增強通信安全.注意到PMU 是配備有全球定位系統(Global positioning system,GPS)技術的測量設備,通過與GPS時間同步,PMU 能夠為電網中地理上分散的節點提供精確的同步相量測量,使得攻擊者更難以篡改PMU 收集的測量數據[5].然而,高昂的成本卻制約著大規模地部署PMU,因此如何找到放置PMU 的關鍵位置以最大限度地減少PMU 的數量對于保護電力系統免受FDI 攻擊起著重要的作用.為此,Kim 等[5]提出了一種關鍵節點保護機制,通過選擇關鍵節點實施保護以盡可能提高攻擊者的攻擊成本.文獻[6]從圖論的角度分析智能電網的結構,提出了一種啟發式算法來尋找最佳的測量保護集,達到防御效果.與此同時,在攻擊檢測方面,Liu 等[7]利用狀態測量的時間相關性,以及FDI 攻擊的稀疏性來檢測廣義上的FDI 攻擊[8].文獻[9]提出了一種分布式狀態估計方法,根據估計結果的偏差判斷是否遭受FDI 攻擊,且能夠準確定位被篡改的狀態變量.對于具有特殊結構的隱匿FDI 攻擊,文獻[10?13]則將其看作是一個統計學習問題,把歷史數據作為訓練樣本,根據攻擊向量會讓正常測量值與被攻擊測量值產生“距離”上的變化這一特征[10],采用機器學習方法對測量值做分類,以實現隱匿FDI 攻擊檢測的目的.具體地,Ozay 等[10]采用了感知機,k 近鄰,支持向量機等經典機器學習方法驗證其檢測效果.Esmalifalak 等[11]提出了分布式的支持向量機(Support vector machine,SVM)方法,驗證了機器學習方法在隱匿FDI 攻擊檢測中的有效性.除了傳統的機器學習方法,深度學習因其具有自動提取原始數據特征,能夠提取更深層更抽象特征信息的特性,也受到了許多學者的關注.文獻[12]便提出了一種基于深度學習的檢測機制,采用深度信念網絡(Deep belief networks,DBN)作為檢測模型,并結合條件高斯?伯努利受限玻爾茲曼 機(Conditional Gaussian-Bernoulli restricted Boltzmann machines,CGBRBM)提取高維時間特征,以降低訓練深度神經網絡的復雜度與訓練時間,仿真結果表明該方法比神經網絡和SVM 的檢測方法有更高的檢測精度.文獻[13]則針對交流狀態估計中的隱匿FDI 攻擊,提出了一種結合小波變換和深度神經網絡的檢測機制,其中小波變換提取空間上的相關性,深度神經網絡則提取時域中的特征.為了得到更好的訓練結果,文獻[13]構造了20 萬個訓練樣本以保證樣本能夠包含所有隱匿FDI 攻擊特征,最終的訓練結果能夠很好地提取系統在時域和空間域上的特征,達到了滿意的檢測精度,但在訓練過程中也耗費了大量的時間與計算資源.

雖然傳統機器學習方法在檢測隱匿FDI 攻擊方面取得了一些進展,但都是在訓練集和測試集具有高度相似性的前提下得到的,因此當測試集與訓練集出現較大差異時,傳統機器學習方法將很大可能出現差的學習效果.而且電力系統往往是高度復雜的,其歷史數據的維度往往是幾百甚至幾千維,這使得傳統機器學習方法面臨“維數災難”的問題,訓練結果容易出現過擬合,進而限制了泛化能力.而近年來的深度學習方法的性能雖然不受維數的限制,但也存在訓練時間長、占用大量計算資源的缺陷.因此,在利用機器學習方法檢測隱匿FDI 攻擊中,通過降維避免訓練結果過擬合,減少模型訓練時間顯得尤為重要.為此,本文提出了基于拉普拉斯特征映射降維的神經網絡檢測學習機制,通過拉普拉斯特征映射方法來提取攻擊向量的信息,將測量數據預先降維處理,再用于訓練神經網絡得到合適的檢測模型.在MATPOWER 中的IEEE 57-bus 上進行了實驗驗證,并與沒有降維預處理的神經網絡訓練結果,深度神經網絡訓練結果以及利用主成分分析降維預處理后的訓練結果做了對比.實驗結果表明,在智能電網的大規模量測數據壓縮降維方面,拉普拉斯特征映射相比主成分分析能夠很好地提取低維特征,所提出的方法不僅可以有效地檢測出隱匿FDI 攻擊,而且其泛化性能優于單獨使用神經網絡和深度神經網絡的檢測方法.

1 問題描述

1.1 系統狀態估計

電力系統中的狀態估計是指根據各個總線上儀表的測量數據估計系統的狀態,其中測量包括總線電壓、總線有功和無功功率,狀態變量包括總線電壓和電壓相角,其交流潮流模型的表達形式為:

其中,x∈RD為電網的狀態變量,即節點電壓和相角變量,z∈RN為測量向量,是傳感器的測量數據,n ∈RN是測量噪聲,h(x) 則表示測量值與狀態變量之間的非線性關系,其形式由電網的拓撲結構及總線上的參數決定[14].在這里我們假設噪聲服從均值為0,協方差矩陣為 Λ 的高斯分布,且系統的狀態在一段時間內的變化是緩慢的,因此可以通過在操作點附近泰勒展開,將非線性的交流模型做線性近似,得到直流潮流模型,其數學描述為:

其中,H∈RN×D是測量雅可比矩陣,則狀態向量估計可以通過加權最小二乘估計求解得到[15]:

1.2 隱匿FDI 攻擊原理

FDI 攻擊是指攻擊者通過篡改傳感器中的測量數據使得系統產生錯誤的狀態估計,進而使控制中心做出錯誤決策.當電網遭受到攻擊時,量測方程(2)變為:

其中,a∈RN為攻擊向量.針對攻擊信號a,常用的檢測方法就是壞數據檢測(Bad data detection,BDD)[15],即:

當測量殘差超過一定閾值γ >?0,就判斷為受到攻擊,其中?0為需要設定的閾值.

從BDD 檢測機制來看,如果攻擊者知道系統的拓撲結構H,可以構造隱匿FDI 攻擊向量a=Hc在不改變測量殘差的情況下對系統狀態估計造成影響[4].當遭遇隱匿FDI 攻擊時,由式(5)可得:

從上式可以看出測得的殘差γ的大小只受噪聲影響,傳統的BDD 檢測方法并不能檢測出隱匿虛假數據入侵攻擊.

然而要構造這類攻擊也并不容易,攻擊者需要掌握電網系統的各種電氣參數和拓撲信息 (H雅可比矩陣),或者掌握系統所有的測量信息,利用主成分分析(PCA)構造攻擊向量[16].即使攻擊者能夠掌握這些信息,也會受到各種資源等因素的限制,只能篡改部分測量設備的數據.因此在這里我們定義I={i1,···,ik}表示攻擊者無法篡改的測量的下標集合,為對應的補集,則雅可比矩陣H可以拆分為HI和兩部分,HI表示集合I中下標對應的行,則為補集中下標對應的行,從而隱匿FDI攻擊可以表示為如下形式:

通過上述分析,攻擊者可以構建針對直流狀態估計的攻擊向量,且不會被基于殘差的壞數據檢測方法檢測到.因此如何設計一種隱匿FDI 攻擊的檢測方法是本文要解決的問題.

2 基于拉普拉斯特征映射降維學習的檢測機制

由第1.2 節可知,隱匿FDI 攻擊可以繞過傳統的壞數據檢測,故如何基于機器學方法訓練分類器以識別系統是否受到攻擊為這一問題提供了可行的解決思路.然而,隨著電網規模的不斷擴大,測量數據的維數也成倍增長,進而導致機器學習 檢測方法面臨維數災難挑戰,使得訓練結果存在陷入過擬合的風險.為了克服上述缺點,本文提出了如圖1 所示的檢測機制:

圖1 基于拉普拉斯特征映射降維學習的檢測機制Fig.1 Detection mechanism based on Laplacian eigenmaps

首先我們采用拉普拉斯特征映射對歷史數據進行降維預處理,從而提取低維流形特征,使降維后的數據相比原始數據更易處理,然后借助于神經網絡學習方法訓練分類器以實現隱匿FDI 攻擊信號的檢測.

2.1 基于拉普拉斯特征映射的機器學習檢測

拉普拉斯特征映射(Laplacian eigenmaps,LE)是一種非線性的降維方法,用局部的角度去構建數據之間的關系,可以反映出數據內在的流形結構[17].它的直觀思想是希望相互間有關系的點在降維后的空間中盡可能地靠近,其最小化的目標函數是:

通過最小化目標函數(8),保證了相近的z(i)和z(j)映射后u(i)和u(j)兩點仍能夠保持相近.目標函數經過整理后可以表示為如下二次型的形式:

其中,u=(u(1),u(2),···,u(m))T,m表示樣本集中的樣本數量,L=D∑?W為拉普拉斯矩陣,D是一個對角矩陣,滿足Dii=jwij,W是一個對稱鄰接矩陣,且拉普拉斯矩陣L是半正定的.

最終需要求解如下最小化問題:

其中,約束uTDu=1 避免了縮放的影響,最小化目標函數的向量u由廣義特征值問題的最小特征值解給出[16]:

求解得到的非零特征值所對應的特征向量就是降維后的輸出.

通過上述方法將訓練樣本降維處理,選擇最大的兩個廣義特征值對應的廣義特征向量作為低維流形特征.然后基于低維流形特征,建立如圖2 所示的三層神經網絡,有輸入層、隱藏層和輸出層組成[18].

圖2 神經網絡示意圖Fig.2 Neural network

其中,輸入層有2 個神經元組成,為原始數據降維后得到的u=(u1,u2)T.隱藏層由5 個神經元組成,通過下式計算得到:

其中,ωh對應每個隱藏層神經元的偏置,ωhi對應輸入ui到神經元th的權重,σ則是激活函數σ(x)=最后輸出層有2 個神經元組成,當他們的輸出值大于0.5 時,分別表示受到攻擊與未受到攻擊兩種檢測結果,其表達式為:

其中,υj為對應輸出的偏置,υjh為對應輸入th到輸出y?j的權重.最后通過求解以下最優化問題來訓練得到權重ωhi,υjh和偏置ωh,υj:

其中,ykj為樣本xk的標簽.綜上所述,最終的檢測算法步驟歸納如下:

算法 1.

步驟1.收集歷史測量數據

步驟2.拉普拉斯特征映射降維預處理

1) 構建鄰接矩陣W

ifz(j)在z(i)的k個鄰居中

2) 特征映射

求解廣義特征問題

Lu=λDu

得到降維處理后的樣本

u=(u(1),u(2),···,u(m))T

步驟3.BP 算法訓練神經網絡

在0 附近初始化權重ωhi,υjh和偏置ωh,υj

b)計算輸出層梯度

c)計算隱藏層梯度

d)更新權重ωhi,υjh和偏置ωh,υj

Until 達到停止條件

步驟4.將新的測量放入歷史數據降維處理,作為神經網絡檢測模型的輸入,得到檢測結果.

3 仿真

本文利用IEEE 57-Bus 系統模型驗證所提出隱匿FDI 攻擊檢測方法的優點和有效性,即:采用LE 降維、PCA 降維的樣本集分別訓練了神經網絡檢測模型,以及未降維預處理的樣本集訓練了神經網絡與深度神經網絡模型并做對比與分析,其中系統的測量雅可比矩陣H來自MATPOWER 工具箱[19].通過對MATPOWER 中的案例進行潮流計算得到電網的系統狀態x∈RD,并用于計算得到系統的量測z∈RN. IEEE 57-Bus 系統如圖3 所示,其中狀態維數D=113,測量維數N=217,這些測量信息將作為本文提出學習算法的訓練樣本.

圖3 IEEE 57-Bus 系統Fig.3 IEEE 57-Bus system

3.1 仿真設置

在實驗中,我們考慮攻擊者可以訪問系統中的k個測量,可以理解為電網系統中,這k個測量存在被FDI 攻擊的隱患,而其余的測量受到保護.例如:在這k個節點配備了PMU,則測量信息不易被篡改.事實上,由于成本限制,電網系統不能在每個節點上設置PMU;與此同時,攻擊者往往也只能夠入侵電網中的部分測量,因此這種假設符合實際情況.注意到當k ≤104 時,意味著系統中受保護的節點超過狀態的維數,從被攻擊者的角度,防御方完全可以選取合適的量測節點,使得HIc=0 只有零解,讓攻擊者無法構造隱匿FDI 攻擊[10].因此,在實驗中我們選取了k=190,170,150,130四種攻擊場景做了仿真驗證.且為了令構造的攻擊向量更有“實際意義”,能夠對智能電網系統造成有效的影響,我們還對攻擊引起的狀態向量變化做了進一步地限制.

其中,c為隱匿FDI 攻擊對系統狀態的影響,即隱匿FDI攻擊要對智能電網系統中至少一個狀態造成超過大小為τ的篡改.由于在現實中針對電力系統的網絡攻擊案例并不多見,且很難得到真實的數據,因此我們還不能確定τ值的大小,對此我們在仿真實驗中設置了τ=1,5,10,15 這4 種情況來分別檢驗所提出方法的有效性.

此外,為了驗證檢測模型的泛化能力,我們設置了不同的環境噪聲 N(0,σ) ,σ=0.01,0.25,0.50,0.75,1.00.通過求解HIc=0,構造隱匿攻擊向量a,并針對不同的τ,k和σ重復1 000 次來分別生成訓練和測試樣本Z=[z(1),···,z(m)]T.訓練和測試的樣本中分別包含500個被攻擊的樣本和500 個未被攻擊的樣本.根據前文式(7)的隱匿FDI 攻擊構造方法,我們設置環境噪聲σ=0.01,狀態變化閾值τ=10,得到一個篡改了18 個測量數據的隱匿FDI 攻擊,其對系統狀態估計的影響如圖4所示.

由圖4 可以看到所構造的隱匿FDI 攻擊對系統中的部分狀態估計產生了很大的影響.例如:節點20,30,50,51 以及52 的電壓相角都出現了不同大小的偏差,而系統的殘差幾乎沒有變化,攻擊前的殘差為0.0688,攻擊后的殘差為0.0895.其中節點30 的狀態變化如圖5 所示,從第20 分鐘開始受到隱匿FDI 攻擊,攻擊持續時間為十分鐘.

圖4 隱匿FDI 攻擊對系統狀態估計的影響Fig.4 The effect of stealthy FDI attack on system state estimation

圖5 節點30 的狀態變化曲線Fig.5 The state curve of node 30

進一步地,在不同環境噪聲下的系統被隱匿FDI 攻擊前后的平均殘差變化如圖6 所示,被攻擊后的殘差變化很小,可見利用殘差檢測的方法對隱匿FDI 攻擊是無效的,且環境噪聲變化對殘差的影響也很顯著.

圖6 不同環境噪聲下的殘差變化Fig.6 Residual change under different environmental noise

3.2 降維預處理

將樣本集進行拉普拉斯特征映射降維處理,取最小的兩個非零特征值對應的廣義特征向量,數據降維后的二維空間分布如圖7 所示.

圖7 LE 降維后的樣本點分布Fig.7 Sample distribution after LE dimension reduction

此外,我們也比較了PCA 降維的效果,采用PCA 方法選擇協方差矩陣最大的兩個特征值對應的特征向量,將高維數據壓縮到二維,降維后的樣本點分布如圖8 所示.

圖8 PCA 降維后的樣本點分布Fig.8 Sample distribution after PCA dimension reduction

由圖7 和圖8 可以看到直接用PCA 方法將數據降到二維丟失了許多主成分信息,降維后樣本點是雜糅在一起的,而應用拉普拉斯特征映射降維后,正常的測量數據都聚集在一起,且與被攻擊樣本有明顯的分離,便于機器學習方法找到決策平面.拉普拉斯特征映射降維方法之所以能夠很好地區分數據點,是因為兩類數據間的距離存在如下的關系[10]:

其中,S表示正常樣本的集合,表示被攻擊樣本的集合,zi,分別為正常測量和被攻擊的測量,ai為攻擊向量,可以看出被攻擊的樣本和未被攻擊的樣本存在一定的距離‖a‖2.拉普拉斯特征映射在構建鄰接圖的時候也抓取了這些信息,只要選取合適的鄰居個數k,就可以使得所有未被攻擊的樣本點之間有一個非零的權重,且與被攻擊的樣本無連接.最后通過求解優化問題,使得S中的樣本降維后盡可能接近,而且盡可能不包含Sˉ中的樣本,因此具有區 分異常點的特性.

3.3 仿真結果分析

本文采用接受者操作特征(Receiver operating characteristic,ROC)曲線中的假陽性率(False positive Rate,FPR)和準確率(Accuracy,ACC)作為評價各個算法優劣的指標,FPR和ACC計算方式如下:

其中,TP、FP、TN和FN分別表示正確分類的被攻擊樣本、錯誤分類的正常樣本、正確分類的正常樣本和錯誤分類的被攻擊樣本.FPR表示正常樣本被誤分為被攻擊的概率,定義為誤報率,ACC則為所有樣本被正確分類的概率,定義為檢測精度.我們希望檢測精度高的同時,發生誤報的概率也盡可能的低,因為即使是1 %的誤報率,在不斷生成的測量數據面前,也會產生頻繁的誤報,對電網控制帶來很大影響,所以我們的目標是ACC指標盡可能高,而FPR指標盡可能低,或者為零.

這里取噪聲方差為σ=0.01 ,狀態變化閾值τ=10,生成原始樣本集,用于訓練深度神經網絡和一個三層的神經網絡,并將LE 降維處理后和PCA 降維處理后的樣本集分別訓練神經網絡,其中深度神經網絡我們采用了長短時記憶網絡(Long short-term memory,LSTM)[20],由輸入特征數為217 的輸入層,具有100 個隱藏單元的雙向LSTM 層,大小為9 的全連接層,softmax 層和分類層5 層結構組成.則它們的迭代收斂效果如圖9 所示.由此圖可知發現,基于拉普拉斯特征映射降維的神經網絡均方誤差最小,與深度神經網絡的均方誤差一致,且收斂速度要比深度神經網絡快很多,與而基于主成分分析的神經網絡收斂效果不明顯,均方誤差較大.

圖9 收斂效果Fig.9 Convergence performance

然后將訓練好的檢測模型在另外的測試樣本中檢驗檢測精度與誤報率,通過多次的訓練并測試,得到各個算法的ROC 曲線如圖10?11 所示.

圖10 四種檢測機制在不同隱患測量數k 下的檢測精度ACCFig.10 Detection accuracy of four detection mechanisms

圖11 四種檢測機制在不同隱患測量數k 下的誤報率FPRFig.11 The false positive rate of four detection mechanisms

從圖10?11 可以看出,基于神經網絡的檢測方法有較高的檢測精度,精度可以達到90 %左右,但是誤報率達到了8 %左右,這意味著平均每 100次檢測,會錯誤報警8次,因此在實際當中不能將神經網絡方法直接用于隱匿FDI 攻擊檢測.而采用PCA 降維預處理的訓練結果,由于丟掉了大部分主成分信息,檢測效果反而下降明顯,其誤報率也達到了30 %以上.此外,深度神經網絡具有很高的檢測精度,均達到了98 %以上,且誤報率都在0.3 %以下.最后本文的檢測機制的檢測精度均達到了95 %以上,且誤報率均在0.5 %以下,最少能達到0.1 %,相比神經網絡的方法,基于LE 降維學習方法的檢測精度提升明顯,且十分接近深度神經網絡的檢測效果.

此外,為了驗證檢測模型的泛化能力,我們在隱患測量數k=150,狀態變化閾值τ=10 的情景下,用上述訓練得到的檢測模型分別對不同噪聲環境下的測試樣本做了檢測,其中PCA 降維預處理的檢測模型由于測試精度不高,便不再討論其泛化性能,檢測結果如圖12?13 所示.

圖12 四種檢測方法在不同環境噪聲中的檢測精度ACC 變化Fig.12 Detection accuracy of three detection mechanisms in different environmental noises

圖13 四種檢測方法在不同環境噪聲中的誤報率FPR 變化Fig.13 False positive rate of three detection mechanisms in different environmental noises

從圖12?13 中的仿真結果可以看出,單純神經網絡檢測方法的性能易受到環境噪聲變化的影響,噪聲變大時,檢測精度下降明顯,誤報率也在7 %以上.深度神經網絡的檢測精度也在噪聲變大時,出現了一定幅度的下降,但也保持了90 %以上的檢測精度和5 %以下的誤報率.而本文提出的檢測機制幾乎不受噪聲變化的影響,隨著噪聲增大,檢測精度并沒有顯著下降,仍均有95 %以上的檢測精度,誤報率也不超過0.8 %.因此,與神經網絡方法相比,所提出的LE 降維學習方法具有更好的泛化性能和魯棒性.

最后,考慮到狀態變化閾值的選取對檢測結果會有明顯的影響,我們在隱患測量數k=150,噪聲方差為σ=0.01的情景下,用上述訓練得到的檢測模型對不同的τ值的測試樣本做了檢測,檢測結果如圖14 所示.

圖14 閾值 τ 對檢測精度的影響Fig.14 The effect of threshold τ on detection accuracy

從圖14 可以看出,系統狀態量篡改的幅值越大,檢測效率也越高,而當攻擊改變的狀態量較小時,三種方法的檢測精度都有顯著的降低,其中本文提出的檢測機制受閾值影響最小,可見本文所提出方法具有很好的魯棒性.

4 結語

本文針對電力系統中隱匿FDI 攻擊信號的檢測問題,利用拉普拉斯特征映射將歷史數據映射到低維空間,然后通過構建合適的神經網絡結構以建立相應的檢測模型,從而形成基于拉普拉斯特征映射降維學習的隱匿FDI 攻擊信號檢測機制.最后通過IEEE 57-Bus 模型驗證了這種檢測機制的有效性.仿真結果表明采用拉普拉斯特征映射方法能夠使正常的測量數據與受攻擊的數據很好地分離;相比于神經網絡方法,這種檢測機制能明顯提升檢測精度,達到與深度神經網絡接近的檢測效果.進一步的,相比于深度神經網絡,本文的方法不僅能有相似的檢測精度,并且在訓練時間上花費更少,且具有更好的泛化能力.