基于局部編碼和多頭注意力模型的電力系統暫態穩定性評估

谷廣超 軒克輝

(河南工業大學漯河工學院 漯河 河南462000)

0 引 言

電力系統暫態穩定是指電力系統在遭受大干擾時發電機組保持同步運行并過渡到新的安全狀態或恢復到原來穩定運行狀態的能力[1]。隨著經濟社會的用電需求不斷增加,電力系統的傳輸趨近于容量極限,任何突發事件都有可能會引起電力系統嚴重癱瘓或大規模斷電。

實時暫態穩定性評估(Transient Stability Assessment,TSA)是預防電力系統級聯故障,避免電力系統不穩定和大規模停電的重要手段,同時也是保障電力系統安全和穩定分析的必要方法,引起了工業界和學術界的廣泛關注。

目前,暫態穩定性評估的主要研究方法可以分為時域仿真法[2-3]、直接法[4-5]和機器學習法[6]。時域仿真法采用逐步數值積分的策略,通過求解電機動態變化的微分方程組,獲取電機轉子角隨時間的變化。但是該方法一方面高度依賴電網元件參數,另一方面由于電力系統大體量的非線性系統,方程求解過程十分復雜,容易出現“維數災難”,計算速度緩慢且無法得到穩定裕度。

直接法從能量角度入手,構造李雅普諾夫函數,通過故障清除點和臨界穩點對應的李雅普諾夫函數值差的正負來判別系統的穩定性,避免了求解微分方程的復雜過程。但是直接法大多以雙機失穩模式為前提,可擴展性有限,結果可靠性不強。

基于機器學習的TSA方法分為兩步,首先是離線訓練,在離線狀態下學習輸入(電力系統的特征)和輸出(穩定性狀態)之間的映射模型,達到很好的模型擬合程度和泛化預測性能。然后是在線預測,利用該預測模型進行在線暫態穩定性評估。該方法可以在線快速、準確地確定電力系統的穩定性,是一種最具應用前景的方法。

該方法的研究主要集中于不同機器學習算法的應用,包括傳統的機器學習算法和深度學習算法。傳統機器學習算法包括多層感知機(Multi-Layer Perceptron,MLP)[7]、支持向量機(Support Vector Machine,SVM)[8]、決策樹(Decision Tree,DT)[9]和極限學習機(Extreme Learning Machine,ELM)[10]。基于傳統機器學習算法的TSA方法可以避免對電力系統復雜的物理機制進行建模的過程,與上述兩類方法相比,具有數據需求少、決策速度快和泛化能力強的優點。然而傳統機器學習算法的網絡結構簡單,層數較少,特征提取能力有限。另外,都需要人工參與提取輸入數據的特征,增加了人為主觀性,推廣性不強。

深度學習算法的模型結構更加復雜,層數較深,面對復雜、高維的非線性電力系統數據具有更強的特征提取能力,并且在整個特征提取過程中無須人工參與。目前,深度學習模型在TSA中的應用尚處于起步階段,不同的模型結構在不同數據結構上的特征提取能力具有較大差異。考慮到電力系統暫態過程是從一個穩態過渡到另一個穩態或者失穩態的過程,系統的物理量測值(如電壓、電流、功率和發動機相角)具有明顯的時變特性,是標準的時間序列數據,而一維卷積神經網絡和循環神經網絡擅長處理此類數據,因此研究主要集中于基于卷積神經網絡(Convolutional Neural Networks,CNN)[11-14]和循環神經網絡(Recurrent Neural Network,RNN)[15-18]。然而卷積神經網絡只能利用多個一維卷積核提取局部特征,循環神經網絡難以處理長距離依賴關系,二者對電力系統數據建模時都缺乏對全局信息的考慮;另外電力系統量測數據中存在多組重點關聯關系,例如電壓、電流和功率,電壓和相角,有用功、無用功和總功等,二者在訓練時無法重點突出這些關系。

Transformer[19]是當前自然語言處理領域的主流模型,在機器翻譯、文本分類、圖像生成和語音識別等任務中均獲取了最優結果。其成功的關鍵在于大量采用多頭注意力模型對數據進行全局建模,從整個樣本序列中挖掘與當前預測元素關系最緊密的上下文元素,具有關注重點關系特征的能力。然而,Transformer無循環結構,需要對序列元素的位置信息進行編碼,盡管引入三角函數對位置進行編碼,但是效果有限,導致多頭注意力機制忽略了很多局部的特征,因此位置編碼應該針對具體任務具體設計[20-21]。

綜上所述,本文結合局部RNN可以提取包含位置信息的局部特征和多頭注意力模型可以全局建模關注全局顯著特征的特點,提出一種基于局部編碼和多頭注意力模型的暫態穩定性評估框架。該框架由R-Attention層、全連接層和softmax層串聯而成。R-Attention層以局部RNN結構和多頭注意力模型為主,首先,利用局部RNN結構提取電力系統量測值的局部特征;然后,利用多頭注意力模型對所有局部特征進行建模,通過多頭注意力機制計算各局部特征的長距離依賴關系,挖掘之間顯著的關聯特征表示。最后,將該特征表示輸入到全連接神經網絡層和softmax層,輸出識別概率。

1 模型構建

本文根據RNN和多頭注意力模型的工作特點, 構建了基于局部編碼和多頭注意力模型的暫態穩定性評估框架模型,其結構如圖1所示。

該框架主要由R-Attention層、全連接層和softmax層串行而成,[CLS]是暫態狀態數據的標簽符,表示電力系統現在是穩態還是欠穩態,下面進行具體介紹。

1.1 R-Attention編碼層

R-Attention層由6層R-Attention模塊堆疊而成,每個R-Attention模塊由PartialRNN層、多頭注意力層和位置全連接前饋網絡層組成,如圖2所示。

圖2 R-Attention編碼層

電力系統暫態狀態數據具有很強的局部特征,PartialRNN層用于獲取具有該序列數據局部信息和位置信息的向量表示;多頭注意力層用于挖掘所有局部信息之間的長期依賴,即提取序列全局特征;位置全連接前饋網絡層用于對全局特征進行非線性變換。這三層網絡的輸入與輸出之間分別添加一個殘差連接,進行加和并歸一化操作,優化網絡訓練深度。

(1) PartialRNN層。與之前大多數工作將RNN應用于整個輸入序列不同,本文在輸入序列的每個目標位置構造一個包括M個連續位置并在目標位置結束的窗口,將原始的長序列利用窗口重組為多個短序列,這些短序列僅包含局部信息,由一個參數共享的RNN分別處理,記為PartialRNN,如圖3所示。

圖3 PartialRNN工作示意圖

圖3中以窗口大小M等于3為例,虛線位置是填補位。設定窗口M內包括的位置為xt-M-1,xt-M-2,…,xt,經過RNN順序處理后,每個位置都會產生一個隱向量輸出,以最后一個位置的隱向量輸出作為短序列的向量表示,如式(1)所示。

ht=PartialRNN(xt-M-1,xt-M,2,…,xt)

(1)

RNN代表任何循環神經網絡單元,例如Vanilla RNN、LSTM和GRU等。一個長序列經過PartialRNN處理后可得到多個具有局部信息和位置信息的隱向量表示,如式(2)所示。

h1,h2,…,hn=PartialRNN(x1,x2,…,xN)

(2)

(2) 多頭注意力層。注意力機制的本質是將一個查詢向量和一組鍵值向量對映射到輸出,查詢向量與鍵向量用于計算每個值向量對應的權重,值向量的加權和為注意力輸出。多頭注意力層由多個點積注意力[22]操作組成,如圖4所示。

圖4 多頭注意力層計算流程

圖4中,多頭注意力層進行h次點積注意力操作,頭數為h,維數記為dmodel。其輸入為PartialRNN層輸入與輸出加和并歸一化的結果,經過線性變換得到位置t的查詢向量和所有位置的鍵值向量,如式(3)和式(4)所示。

(3)

(4)

式中:Wq∈Rdmodel×dk,Wk∈Rdmodel×dk,Wv∈Rdmodel×dv均為線性變換層的映射矩陣,每次點積注意力的映射矩陣均不同。q和ki中每個向量的維度為dk,vi中每個向量維度為dv,將h次的注意力計算結果通過拼接和線性變換得到多頭注意力的結果,如式(5)所示。

(5)

(6)

{a1,a2,…,an}=

(7)

(3) 位置全連接前饋網絡層。位置全連接前饋網絡層(FFN)分兩層,用于處理每個位置的多頭注意力計算結果,其輸入和輸出的維度相同。第一層的激活函數是ReLU,第二層是線性激活函數,多頭注意力層輸出為ut,則FFN可表示為:

FFN(x)=max(0,utW1+b1)W2+b2

(8)

式中:W1、b1和W2、b2分別是兩個激活函數的參數。R-Attention編碼層利用PartialRNN層、多頭注意力層和位置全連接層不斷交疊得到最終的輸入序列表示。

1.2 全連接層和softmax層

對于一個樣本容量為N的訓練集Q,給定一個電力系統量測序列x1,x2,…,xN和對應標簽y,[CLS]在R-Attention編碼層最后一個隱藏層輸出記為TC∈Rdmodel,經過全連接層和softmax層后對y進行預測,如式(9)所示。

P(y|x1,x2,…,xN)=softmax(TCWf+b)

(9)

式中:Wf是全連接層的權重矩陣,b為偏置,P(y|x1,x2,…,xN)是softmax層計算的概率結果,記為y′。則模型訓練的目標為最小化交叉熵損耗函數L(Q),如式(10)所示。

(10)

2 實驗與結果分析

2.1 實驗數據

2.1.1初始特征構建

初始特征作為整個模型的輸入,對模型的性能具有重要影響。目前沒有統一的初始特征構造方法,一般常用“三段式”特征[23]和受擾后軌跡特征[24]。參考文獻[15]和文獻[16]特征構建的經驗,同時考慮數據獲取的實時性和模型框架的特點,本文以母線電壓幅值和相角、支路有功功率和無功功率構建“三段式”特征。“三段式”特征包括故障發生前的靜態特征,故障發生時和故障切除后動態特征,初始特征采樣時間如圖5所示。

圖5 初始特征采樣時間

圖5中特征點采樣區間為[tf-2,tc+k],其中tf為故障發生時刻,tf-2為故障發生前2個周期的穩態時刻,tc為故障切除時刻,tc+k為故障切除后k個周期的時刻。對于容量為N的樣本集,單個樣本表示為X(i)=[x1,x2,…,xt,…,xs]T,t時刻特征向量表示為xt=[V1,t,…,Vu,t,…,θ1,t,…,θu,t,P1,t,…,Pr,t,Q1,t,…,Qr,t]T,式中:u代表母線編號;r代表支路編號;Vu,t和θu,t分別代表第u條母線t時刻的電壓幅值、相角;Pr,t和Qr,t分別代表第r條支路t時刻的有功功率、無功功率。

2.1.2樣本生成

大多研究[14-16]均以新英格蘭10機39節點系統為測試電網,本文為方便實驗對比也采用該系統進行驗證。該測試系統由39 條母線、10 臺發電機、19 個負荷和34條傳輸線組成,基準頻率為60 Hz。利用PSS/E軟件進行時域仿真,仿真設置參考文獻[14],發電機采用GENROU模式,負荷為恒阻抗模型,步長為0.008 3 s。負荷水平從80%起以10%為階梯增長至120%,共5種負荷水平,同時調整發電機出力使潮流收斂。在每種運行方式下對各支路施加三相短路故障,故障設置在10%、25 %、55%、75 %和90%五個不同的位置。故障施加時刻為1 s末,解除時間為1.4到1.8 s之間,隨機設置12個不同的故障解除時刻。固定初始特征的響應時間為3個周期,由于故障解除時間不同,采樣的點數不同,最長的采樣序列有88個點,每個點的特征維度為170。為了使模型快速正常訓練,對初始特征歸一化后,以最長序列為準,對不足88個點的序列補零,統一樣本尺寸。仿真時長為4 s,如果系統中任意兩個發電機轉子角度之差在仿真結束時小于360°,則判定為暫態穩定,否則為暫態失穩。共生成12 366個樣本,其中穩定樣本8 941個,失穩樣本3 425個。隨機抽取10 000個樣本作為訓練樣本,其余2 366個樣本作為測試樣本。

2.2 評測標準

本文以準確率(Accuracy,Acc)、F1值和誤報率(False Positive Rate,FPR)為評測指標,綜合評估暫態穩定評估系統的性能。準確率和F1值越高,說明模型性能越強。由于電網對失穩狀態準確判定的要求高于對穩定狀態的準確判定,因此采用FPR指標,FPR值越小,模型對失穩狀態的判定越準確。首先定義混淆矩陣,如表1所示。

表1 混淆矩陣

TP和TN分別為穩定樣本和失穩樣本被正確分類的數量,FP為失穩樣本被判為穩定樣本的數量,FN為穩定樣本被判為失穩樣本的數量。根據混淆矩陣計算準確率、F1值和誤報率。

(1) 準確率(Acc)計算表達式為:

(11)

(2) F1值計算表達式為:

(12)

(3) 誤報率(FPR)計算表達式為:

(13)

2.3 實驗設置與結果分析

本文選取文獻[14]和文獻[15]的方法作為對比方法,分別利用一維卷積神經網絡和雙向長短期記憶網絡構造評估模型,參照文獻中最優的模型參數對本文構造的數據集進行評估,測試結果分別記為1D-CNN和Bi-LSTM。

按照2.1.1節中樣本獲取的方法得到每個樣本的維數為88×170,使用TensorFlow深度學習框架構造模型結構。根據模型訓練經驗,選取LSTM模型作為PartialRNN的基本單元,LSTM層數為2,其隱藏層節點數為600。全連接層的隱藏節點數量為768,優化算法選取Adam[24],令β1=0.9,β2=0.98,ε=10-9。迭代次數為1 000,epochs設置為88,每批數據batch_size大小為256,學習速率為2e-5,本文方法測試結果記為RNN-TRAM。

實驗軟硬件配置如下:操作系統Centos7.5 64位操作系統,CPU為16核Intel Xeon E5-2680 2.7 GHz,內存為128 GB,配備2塊顯存為32 GB的GTX Tesla V100獨立顯卡。

2.3.1PartialRNN窗口大小M的分析

PartialRNN是本文提取電力系統量測數據局部特征的關鍵結構,窗口大小的選取對模型性能具有重要影響。令窗口大小M在[0,10]內取值,以1為步長訓練模型進行暫態穩定性評估,多頭注意力模型頭數隨機設定為5,以Acc、FPR和F1值為評測標準,結果如圖6所示。

圖6 PartialRNN窗口大小對暫態穩定評估的影響評測

由圖6可知,窗口在[0,2]區間時,PartialRNN提取的局部信息有限,Acc變化不明顯。窗口在[3,6]的區間時,窗口內元素不斷增多,PartialRNN開始有效地提取局部特征信息,Acc顯著提高;當窗口繼續增大時,Acc變化不明顯,且有降低的趨勢。FPR在窗口區間[0,4]時無明顯降低,在窗口為[5,8]時顯著降低,取得較好結果;F1值在窗口為6時取得峰值。綜上,窗口大小以6作為最佳參數。

2.3.2多頭注意力模型中頭數h的分析

單頭注意力計算關注到的序列關系有限,而量測數據中的功率、電壓、幅角、有用功率、無用功率、總功率和分支功率等數據之間關系多樣,需要進行多次自注意力計算。因此,本節分析多頭注意力計算中頭數h對暫態穩定評估的影響。令PartialRNN窗口大小為6,h在[2,14]內取值,以2為步長訓練暫態穩定性評估模型,在測試集進行暫態穩定性評估,以評測指標準確率分析,結果如圖7所示。

圖7 多頭注意力模型頭數對暫態穩定評估的影響評測

由圖7看出,在[2,8]的區間內,Acc和F1值的總體趨勢是隨著h的增加而增大,FPR隨著h的增加而減小,從局部特征中提取的關聯關系越來越多樣,說明多頭注意力機制對提升檢測性能有重要作用。當h為8時達到峰值,隨后三者均趨于平穩,可以推測量測樣本數據中的母線電壓、相位角、各支路有功功率和無功功率等有8種左右的內在關系,符合數據的真實特征。

2.3.3綜合實驗分析

結合前兩節的實驗結果,令PartialRNN窗口大小為6,多頭注意力的頭數為8,本文方法和兩種對比方法進行綜合對比實驗,測試結果如表2所示。

表2 綜合實驗結果

在表2評測結果中本文方法取得了最優結果,說明了本文方法的合理性和有效性。實驗中,RNN-TRAM較次優結果Bi-LSTM的Acc提高3.05%,F1提高3.04%,FPR降低39.44%。這是由于本文框架先對“三段式”暫態狀態量測值進行了局部特征抽取,該局部特征包含穩態到失穩、失穩到失穩和失穩到穩態三個階段過渡的特征,然后利用多頭注意力模型可以對輸入的多個局部特征在不考慮距離的前提下進行全局建模。而Bi-LSTM 和1D-CNN框架只能局部特征的一種進行提取作為表征,無法恰當融合三階段特征,因此本文框架對多個局部特征進行全局建模抽取的綜合特征更能代表“三段式”量測序列的暫態狀態特征。另外,從三種方法樣本檢測結果中分析,Bi-LSTM和1D-CNN方法檢測出的樣本僅體現出了有功功率和電壓相角(功角)強耦合,無功功率和電壓幅值強耦合的這類局部特點。RNN-TRAM檢測出的樣本不僅體現以上局部特征,還體現了各支路有功功率總和和無功功率總和在一定范圍內波動的全局特征。

2.3.4特征可視化分析

為了更加直觀地體現三種方法的特征提取能力,本節將2 366個測試樣本輸入到完成訓練的1D-CNN、Bi-LSTM和RNN-TRAM三種模型中,采用t-SNE算法[25]將三種模型輸出的高維特征降維至二維平面,利用可視化工具包matplotlib進行展示,如圖8-圖10所示。

圖8 1D-CNN特征提取可視化結果

以上三幅圖中,藍色點代表暫態穩定樣本,紅色點代表暫態失穩樣本。由圖8和圖9可以看出,1D-CNN和Bi-LSTM對穩態樣本和失穩樣本的區分存在偏差,存在較多失穩狀態被判定為穩態的情況,即FP值較大;由圖10可以看出,RNN-TRAM對樣本幾乎呈現出線性分割的狀態,對失穩狀態樣本的誤判僅存在于類別邊界部分,具有強于1D-CNN和Bi-LSTM的暫態穩定評估能力。

圖9 Bi-LSTM特征提取可視化結果

圖10 RNN-TRAM特征提取可視化結果

3 結 語

本文提出一種基于局部編碼和多頭注意力模型的暫態穩定性評估框架,通過引入多頭注意力模型解決了循環神經網絡和卷積神經網絡無法對暫態狀態量測數據進行有效的全局建模問題,同時結合局部RNN結構,解決了多頭注意力模型在建模時對局部特征關注缺失和缺少位置編碼的問題,有效地提高了暫態穩定性評估性能。下一步準備在電網節點規模更大的模擬環境中測試本文方法的有效性。