基于窺孔結構LSTM 的電力系統(tǒng)跳閘故障診斷

張平 王鵬展 龔寧 鄭征 高晶 張曉東 莊偉

跳閘;故障診斷;長短時記憶網(wǎng)絡;窺孔結構;多源時序數(shù)據(jù)

0 引言

隨著輸電網(wǎng)絡的擴展和負荷的增加,電力系統(tǒng)也會發(fā)生變化.電力系統(tǒng)高精度故障預測可以增加系統(tǒng)運行的可靠性和穩(wěn)定性,并可以有效防范電力事故造成的巨大經(jīng)濟損失.故障預測是指通過分析和挖掘電力歷史數(shù)據(jù)的隱藏信息,判斷電力系統(tǒng)是否存在故障的一種技術.故障預測可以幫助決策者做出合理的決策以防止電氣故障和減少不良影響,采取相關措施預防事故,并確保系統(tǒng)恢復.線路跳閘故障是電力系統(tǒng)中最常見的故障.近年來,很多研究者也證明:如果重合電閘不成功,將導致大規(guī)模停電,造成財產(chǎn)損失[1].因此,線路跳閘故障預測是非常有意義有價值的研究課題.

在以往的電力系統(tǒng)故障預測研究中,國內(nèi)外學者提出了各種可用于電力故障預測的人工智能方法,比如專家系統(tǒng)[2]、貝葉斯網(wǎng)絡[3]、粗糙集合[4]、佩特里(Petri)網(wǎng)[5]、神經(jīng)網(wǎng)絡[6]等.此外,研究人員還關注過去幾年繼電保護動作相關的研究和電氣元件動作研究,并開發(fā)了新的分析模型[7],進一步提高了故障診斷結果的準確性.新的分析模型[7]基于改進的時間約束網(wǎng)絡將系統(tǒng)故障事件推理和診斷定義為測試故障假設的優(yōu)化問題.然而,這些流程在處理方面存在缺陷,如果繼電器保護元件和電氣故障組件存在沖突會有失效的風險.此外,基于保護的方法只能在故障出現(xiàn)之后提供支持,它不能預測輸電和配電系統(tǒng)是否存在故障.實時的電氣測量數(shù)據(jù)存在有關故障的隱藏信息.分析歷史數(shù)據(jù)可以幫助預測電力系統(tǒng)是否會出現(xiàn)故障并幫助做出相應的決策以防止電力系統(tǒng)癱瘓.基于電氣測量數(shù)據(jù)驅(qū)動方法的研究剛剛出現(xiàn)就快速成為一個有價值的研究主題.

近年來,許多研究提出基于人工智能的電力系統(tǒng)故障預測方法.例如:鄭征等[8]提出一種基于多頭注意力的卷積循環(huán)神經(jīng)網(wǎng)絡深度學習模型,該模型利用卷積和加權機制對電力屬性和有功功率間的局部相關性進行建模;Ponraj等[9]提出一種基于多級遺傳算法改進的優(yōu)化神經(jīng)網(wǎng)絡預測方法;Eissa[10]提出對廣域保護和控制系統(tǒng)瞬態(tài)不穩(wěn)定性的在線預測神經(jīng)網(wǎng)絡方法;Li等[11]提出基于小波和人工神經(jīng)網(wǎng)絡的中壓直流船舶電力系統(tǒng)的故障檢測與分類;李嘉雨等[12]針對架空輸電線路弧垂在計算過程中易受測量數(shù)據(jù)影響的問題,提出一種基于數(shù)據(jù)預處理的粒子群優(yōu)化-反向傳播(Particle Swarm Optimization-Back Propagation,PSO-BP)神經(jīng)網(wǎng)絡弧垂預測模型.然而,這些方法并沒有考慮到電氣數(shù)據(jù)是多源且時序的數(shù)據(jù),而單一的將變量輸入全連接網(wǎng)絡強制擬合,導致大量的時序趨勢信息被忽略,會影響方法的準確性.循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)在時序建模任務如語音轉(zhuǎn)換[13]、自然語言處理[14]等方面表現(xiàn)良好,在故障預測方面也表現(xiàn)出良好的準確性[15].然而,RNN存在梯度消失的問題,在長時序數(shù)據(jù)中歷史計算節(jié)點對于先前計算節(jié)點的感知降低會導致最后的輸出偏離目標值;并且,RNN作為一種循環(huán)遞歸網(wǎng)絡,所需計算量由遞歸深度決定,導致計算量遠大于估計值.因此研究如何緩解梯度消失問題,提出準確率較好的模型非常具有實際意義.長短時記憶網(wǎng)絡(Long Short-Term Memory,LSTM)[16]作為一種改進的時序序列模型,與傳統(tǒng)RNN相比,依靠遺忘門機制和輸出門機制,仿照人腦記憶過程,對于長時間的特征融合任務具有良好的魯棒性和收斂性.然而,基于LSTM的電力跳閘故障預測研究目前仍處于起步階段.窺孔連接結構是一種LSTM變體結構,它通過增加遺忘門和輸出門的柵極連接來增強單元間的狀態(tài)通信強化網(wǎng)絡長時間記憶能力.鑒于電力運行數(shù)據(jù)是一種連續(xù)的、多源的長時序數(shù)據(jù),在時序上表現(xiàn)出較強的關聯(lián)邏輯,因此,本文使用窺孔LSTM挖掘多源電氣數(shù)據(jù)進行跳閘故障預測.

在故障預測過程中,故障分類是重要組成部分.支持向量機(Support Vector Machine,SVM)是一種由超平面定義的判別分類器.徐瑤等[17]指出基于SVM的故障分類方法是可行的,并且SVM分類方法具有良好的魯棒性和泛化性.

在先前的研究中,劉冬蘭等[18]將自動編碼器應用于電力系統(tǒng)故障診斷的研究中,仿真結果驗證了基于深度學習方法的故障預測的可行性.本文提出一種數(shù)據(jù)驅(qū)動的線路跳閘故障診斷方法.與傳統(tǒng)方法相比,基于窺孔LSTM網(wǎng)絡和SVM的模型結構捕捉多源時序數(shù)據(jù)的時間特征提高了整體性能.將該模型應用于電力系統(tǒng)中的多條線路時,可以檢測出哪條線路出現(xiàn)故障.此外,本文方法可用于電網(wǎng)故障預測及故障預防工作,減少電力損失事故.本文的主要貢獻概述如下:

1)通過實驗和方案設計證明了窺孔LSTM+SVM進行電力系統(tǒng)故障預測的可行性.

2)選擇多條輸電支路的有功功率作為輸入提取更加全面的時序信息,通過窺孔LSTM融合時序趨勢信息提升性能.

3)使用SVM作為尾部分類器,仿真實驗結果表明本文方法魯棒性更佳.

4)本文方法是一種改進的實時故障預測方法.由于窺孔LSTM的計算復雜度低,本文方法可以適應實時性的要求.

1 問題描述

線路跳閘是一種常見故障,可導致大規(guī)模停電.近年來,許多繼電保護動作和電氣元件動作被用于故障診斷.線路跳閘故障的最常見原因包括配電設備老化和絕緣體損壞、天氣變化等.故障相關性表現(xiàn)為線路跳閘前配電線路電氣數(shù)據(jù)發(fā)生故障時變化的情況.在發(fā)生故障時電氣測量數(shù)據(jù)會根據(jù)一些規(guī)則進行變化,這些變量包括電流、電壓、有功功率和用戶在該過程中的無功功率.因此,必須挖掘故障記錄和電氣測量之間的相關性.假設P是故障預測的結果,P=1表示存在故障,P=0表示正常.本文提出的解決方案的流程如下:首先,采集輸電過程中的電流電壓和有無功電氣數(shù)據(jù)并進行一定的特征歸一化形成多源時序數(shù)據(jù),其次,輸入LSTM網(wǎng)絡提取多源時序信息,最后,將提取的時序信息輸入SVM做結果預測.

2 模型組件及其原理

2.1 循環(huán)神經(jīng)網(wǎng)絡

循環(huán)神經(jīng)網(wǎng)絡(RNN)是針對時序任務的一類人工神經(jīng)網(wǎng)絡,其中,人工神經(jīng)單元之間的連接在同一層內(nèi)形成有向循環(huán).相比之下,傳統(tǒng)的神經(jīng)網(wǎng)絡只有層之間的連接,層中的單元沒有連接.同時,傳統(tǒng)人工神經(jīng)網(wǎng)絡層序之間不傳輸時間信息,因此處理時間序列的性能可能很差.

RNN的簡單結構如圖1所示.其中,正向傳播的計算過程如下:

圖1 一個簡單的RNN結構(X是輸入單元,H是隱藏單元,Y是輸出單元,W是權重矩陣)Fig.1 A simple RNN structure (X,H,Y,and W represent input unit,hidden unit,output unit and weight matrix)

(1)

(2)

(3)

隱藏層神經(jīng)網(wǎng)絡單元不僅接收數(shù)據(jù)輸入,還接收上一時間點隱藏層的輸出構成有向圖循環(huán).因此,網(wǎng)絡可以記住近期的趨勢信息并將其應用于當前輸出的計算.RNN全局架構近似有向時序圖顯示動態(tài)時序行為,并且在處理時間序列分析方面具有更好的性能.相應地,RNN需要通過單元之間梯度的反向傳播來訓練參數(shù)矩陣.RNN在電力系統(tǒng)跳閘診斷中具有廣泛的應用.電力系統(tǒng)中可能存在諸如線路故障、設備損壞、負載異常等原因?qū)е绿l的情況,RNN可以通過學習歷史數(shù)據(jù),預測電力系統(tǒng)的運行狀況,從而實現(xiàn)跳閘診斷.具體來說,RNN可以通過輸入電力系統(tǒng)的歷史數(shù)據(jù)(如電流、電壓、功率等),進行學習和訓練,并生成預測結果.這些預測結果可以用來識別異常情況,并在系統(tǒng)出現(xiàn)問題時及時采取措施,避免損失.然而,原始RNN容易受到梯度消失問題的影響.考慮到電力系統(tǒng)數(shù)據(jù)可能非常復雜,包含多種信號和噪聲,原始RNN模型在學習復雜數(shù)據(jù)時會變得深入和復雜,后面的節(jié)點對前一時間步節(jié)點的感知降低,因此,原始RNN性能會隨著時序增長而下降.

2.2 窺孔變體長短時記憶網(wǎng)絡

當循環(huán)神經(jīng)網(wǎng)絡單元搭建的模型結構變得深入且復雜時,后面的節(jié)點對于前面時間序列點的感知隨著時序變長而降低,導致結果偏差.而LSTM使用遺忘門柵極結構將前一個時間步和隱藏狀態(tài)有選擇地延續(xù)到后續(xù)時間步單元的計算中,以此緩解長時序梯度消失的問題.窺孔連接變體長短時記憶神經(jīng)網(wǎng)絡(Peephole LSTM)是一種改進的長短時記憶神經(jīng)網(wǎng)絡,其結構如圖2所示.窺孔LSTM網(wǎng)絡本質(zhì)上就是在LSTM的隱藏層中增加了遺忘門、輸入門和輸出門的三級柵極連接(如虛線所示).這些連接允許LSTM單元通過監(jiān)視單元狀態(tài)來決定門的開啟程度,從而更好地控制信息流.具體來說,在計算輸入門、遺忘門和輸出門的時候不僅考慮輸入和隱藏信息,還考慮上一時間單元格的狀態(tài)信息.遺忘門根據(jù)當前時刻的輸入、上一時刻的細胞狀態(tài)以及上一時刻的輸出進行選擇性地丟棄或增加信息,同時更新當前時刻的細胞狀態(tài).輸出門根據(jù)當前時刻的細胞狀態(tài)、當前時刻的輸入以及上一時刻的輸出和細胞狀態(tài)更新當前時刻的輸出.至此,窺孔LSTM通過以上3個改進門控單元的相互作用和串聯(lián),反復迭代梯度回傳更新得到神經(jīng)網(wǎng)絡權值.這種做法被認為可以提高LSTM的建模能力和泛化能力,特別是在長期依賴關系建模方面.

圖2 帶有單元格輸入、輸出和遺忘門的窺視孔LSTM塊(其中所有邊緣都具有固定的單位質(zhì)量;虛線表示當前和上一個時間步之間的窺孔連接)Fig.2 A peephole LSTM block with cell input,output,and forgetting gates (where all edges have a fixed unit weight; the dashed lines represent the peephole connection between current and previous time steps)

考慮到電力系統(tǒng)中的時序數(shù)據(jù)通常包含很長的時間跨度和復雜的依賴關系,并且涉及到的傳感器數(shù)據(jù)和監(jiān)測數(shù)據(jù)非常多,同時這些數(shù)據(jù)存在著高度的不確定性和噪聲干擾,將窺孔LSTM應用在電力系統(tǒng)跳閘診斷中,可以取得更好的預測成果.

1)窺孔LSTM 可以更好地捕捉電力系統(tǒng)序列數(shù)據(jù)的長期依賴關系,更好地預測未來的跳閘故障.

2)更少的訓練時間和更好的泛化能力.窺孔LSTM 在訓練時需要的迭代次數(shù)較少,因此,在訓練時間上比傳統(tǒng)的LSTM模型更加高效,同時,它也具有更好的泛化能力,可以更好地處理新的時序跳閘故障數(shù)據(jù).

3)相比于傳統(tǒng)的機器學習方法和傳統(tǒng)的LSTM模型,窺孔LSTM具有更強的記憶和預測能力,可以更好地處理時間序列數(shù)據(jù)的非線性關系.

2.3 SVM分類器

窺孔LSTM能夠處理序列數(shù)據(jù)并捕捉序列中的長期依賴關系,因此可以用于分析時間序列數(shù)據(jù),如電力系統(tǒng)中的傳感器測量數(shù)據(jù).通過訓練窺孔LSTM模型,可以預測未來的故障狀態(tài),并幫助監(jiān)測員采取相應的措施.

然而,窺孔LSTM的預測結果并不總是準確的,因為它可能會受到許多因素的影響,如數(shù)據(jù)噪聲、季節(jié)性因素和非線性關系等.這時,可以使用SVM來進一步篩選窺孔LSTM輸出的預測結果.在故障預測的整個研究過程中,關于分類器的選擇是重要組成部分.因此,本節(jié)將介紹本文使用的支持向量機(SVM)分類器的原理.

SVM是一種基于最大間隔原理的分類器,它可以將不同類別的數(shù)據(jù)分隔開,并對新的數(shù)據(jù)進行分類.分類模型從訓練數(shù)據(jù)集中得出一些有效的映射函數(shù),并在映射函數(shù)的幫助下預測新數(shù)據(jù)條目的類標簽.屬性或特征是在給定問題集中找到的一個參數(shù),可以充分幫助構建準確的預測模型.跳閘故障預測任務被本文分解為二分類任務,而機器學習中的SVM在概念上契合本文目標任務,因此本文選擇SVM作為分類器算法.SVM是一種用于分類和回歸分析的監(jiān)督學習模型,其基本原理是尋找距離最近訓練樣本最遠的最優(yōu)正負超平面,正負超平面之間的垂直距離稱為空間余量,其值等于上述兩個距離的總和.如果空間余量最大化,則決策超平面是最佳的.對于二維平面中的線性分離,分類函數(shù)可以呈現(xiàn)如下:

f(x)=wTx+b,

(4)

(5)

(6)

其中,yi=1或-1是樣本標簽,n是樣本數(shù)量.針對數(shù)據(jù)線性不可分的情況,SVM設定鉸鏈損失函數(shù)如下:

max(0,1-yi(wTx+b)).

(7)

因此,最后的損失函數(shù)可以呈現(xiàn)為

max(0,1-yi(wTx+b))+λ‖w‖2.

(8)

由于SVM分類器的優(yōu)化策略是尋求不同類別間的最大間隔,因此損失函數(shù)為最大化損失函數(shù).對于如何解決線性不可分割性的問題,SVM可以使用核技巧和非線性映射算法來將低維輸入空間轉(zhuǎn)換為高維特征空間,使得它們線性可分離.

一般來說,SVM是一種具有堅實理論基礎的新型學習方法,與普通分類器相比,它具有良好的魯棒性,樣本較少,在非線性問題中具有泛化性能.原因是SVM的優(yōu)化目標是結構風險最小化,而不是經(jīng)驗風險最小化.SVM不僅確保了樣本的分類精度,而且減少了學習模型的維數(shù).簡而言之,它有助于防止過擬合問題.此外,計算復雜性取決于支持向量的數(shù)量而不是樣本空間的維數(shù),這在某種意義上避免了維數(shù)災難.

通過將LSTM和SVM結合起來,可以提高跳閘故障的診斷準確率.LSTM可以從復雜的時間序列數(shù)據(jù)中提取特征,并進行預測;SVM可以根據(jù)這些特征對預測結果進行分類,并且能夠處理高維數(shù)據(jù),從而提高分類精度.

3 基于窺孔LSTM 和 SVM的故障預測方法

本節(jié)將詳細闡述基于窺孔LSTM和SVM的電力系統(tǒng)線路跳閘故障預測方法.首先描述數(shù)據(jù)集的來源和特點;然后針對過擬合問題提出解決方法;最后闡述線路跳閘故障預測的建模方法.

3.1 數(shù)據(jù)集簡介

真實的歷史數(shù)據(jù)來自電氣測量數(shù)據(jù)、設備臺賬、設備健康記錄、天氣和拓撲結構歷史信息.這些數(shù)據(jù)由國家電網(wǎng)的供電管理部門提供(數(shù)據(jù)可向本文通信作者獲取).由于在配電線路電阻的漸變過程中,用戶的電流、電壓、有功功率、無功功率等電氣量與故障密切相關,因此,本文著重研究故障與電氣量之間的相關性.本文選擇的輸入包含電流、電壓和有功功率,去除了無功功率和相位角等冗余變量,采樣了500個數(shù)據(jù)樣本點(采樣周期為15 min).電流的正常樣本和故障樣本如圖3所示,它們之間的區(qū)別不能簡單地從數(shù)字上來確定.電壓和有功功率在表現(xiàn)故障情況下是類似的,因此需要通過LSTM網(wǎng)絡挖掘隱藏的特征來進行故障預測.采樣樣本是具有時間信息的時間序列數(shù)據(jù),將其轉(zhuǎn)換為不同維度的時間序列LSTM網(wǎng)絡輸入,將在仿真實驗中具體討論.

圖3 某地變電站正常與異常情況下500個采樣點電流值樣本曲線Fig.3 Current value sample curves of 500 sampling points under normal or abnormal conditions in a substation,including (a) normal samples and (b) fault samples

3.2 數(shù)據(jù)預處理過程

數(shù)據(jù)預處理是數(shù)據(jù)挖掘任務的一項基礎性工作.

由于不同類型的數(shù)據(jù)具有不同的維度,為了減少數(shù)量級和量綱不同的影響,提高模型的收斂速度,需要對供電局提供的數(shù)據(jù)進行標準化預處理,處理公式如下:

(9)

式中:x為原始數(shù)據(jù);yp是處理后的結果;ymax和ymin分別是處理后結果的最大值和最小值;xmax和xmin分別是未處理數(shù)據(jù)的最大值和最小值.在本文的仿真實驗中,ymax和ymin分別被設置為1和0,這樣處理后的數(shù)據(jù)可以被約束在[0,1]區(qū)間內(nèi),這是一個非負數(shù).預處理后,在不改變數(shù)據(jù)內(nèi)部變化的情況下,將數(shù)據(jù)變換到同一層次.

3.3 過擬合問題

由于樣本在變量復雜度上相較于圖像問題更為簡單,過擬合是故障預測中的關鍵問題.在電力系統(tǒng)穩(wěn)定運行過程中,故障很少發(fā)生,故障樣本數(shù)量較少.因此,訓練很容易陷入過擬合問題.在網(wǎng)絡訓練過程中,當?shù)螖?shù)增加時,網(wǎng)絡對訓練集的擬合可能較好,在訓練集中損失較小,但對驗證集的擬合較差.Dropout和批量歸一化是解決此類過擬合問題的有效方法.本節(jié)對過擬合問題的解決方案進行討論.

1)Dropout

基本的Dropout方法是在網(wǎng)絡正向傳播過程中,神經(jīng)元會存在P的概率停止工作,如圖4所示.

圖4 單層Dropout的示意圖(P是神經(jīng)元出現(xiàn)Dropout的概率)Fig.4 Schematic of single-layer Dropout(P is the probability of neurons experiencing Dropout)

Dropout隨機令神經(jīng)元不起作用,可以有效避免在某些固定組合中性能更好的情況.與此同時,網(wǎng)絡可以學習一些共同的知識以獲得更好的泛化性能.此外,對存在Dropout的網(wǎng)絡進行訓練可以看作是訓練多個子網(wǎng)絡,輸出是所有子網(wǎng)絡的平均值.每次迭代得到的子網(wǎng)絡基本不重復.因此,它可以避免訓練網(wǎng)絡過度擬合訓練集,并加快收斂速度.

2)批歸一化

批歸一化是指在每個批次的訓練過程中,將中間層的權重數(shù)據(jù)進行歸一化.歸一化層輸出的均值和標準差分別為0和1.批歸一化的本質(zhì)是研究數(shù)據(jù)的分布特征.一旦訓練集的分布與測試集的分布不同,網(wǎng)絡的泛化能力就會大大降低.此外,如果每批訓練數(shù)據(jù)的分布不同,網(wǎng)絡必須學會適應每次迭代的不同分布,這將降低訓練網(wǎng)絡的速度和網(wǎng)絡的性能.因此,使用批歸一化可以提高泛化性能,加快收斂速度.

3.4 故障預測建模

線路跳閘故障預測主要任務是檢測電力系統(tǒng)運行過程中是否發(fā)生故障.本文提出模型的總體結構如圖5所示.根據(jù)故障記錄,將樣本標記為正常或故障.在線路跳閘故障前或正常運行期間,采樣500個節(jié)點的電流、電壓和有功功率;然后,將3×500維向量轉(zhuǎn)化為窺孔LSTM網(wǎng)絡的多個帶有時間步的輸入向量,先經(jīng)過神經(jīng)網(wǎng)絡層(NN)完成一次特征嵌入,目的是對輸入特征的稀疏向量進行壓縮;接著,通過3個窺孔LSTM網(wǎng)絡捕獲時間特征,在獲得輸出單元的最后一個進行串聯(lián),以便在融合層中進行合并.為了保留關于每個測量的信息,融合的形式被設置為串聯(lián).在3個窺孔LSTM神經(jīng)網(wǎng)絡之后增加Dropout層和批歸一化層.模型的結構和參數(shù)根據(jù)多次試驗設計和調(diào)整,以獲得滿意的結果,這將在下節(jié)顯示.此外,如果電力系統(tǒng)中記錄的故障有其他類型的關聯(lián)數(shù)據(jù),則可以使用本文所提出的窺孔LSTM擴展子網(wǎng)絡,利用更多的信息進行故障預測.

圖5 基于數(shù)據(jù)的線路跳閘故障預測模型示意Fig.5 Schematic of a data-based line tripping fault prediction model

4 仿真結果

本節(jié)討論仿真條件和實際實驗結果,驗證所提方法的性能.

4.1 實驗條件與評估方法

采用南方電網(wǎng)某變電站的數(shù)據(jù),硬件方面使用兩張3070Ti作為訓練GPU.在Pytorch環(huán)境下訓練40輪;使用Sigmoid函數(shù)而非深度學習常用的Relu函數(shù)作為激活函數(shù),因為經(jīng)過實驗發(fā)現(xiàn),當網(wǎng)絡較淺時無需擔心網(wǎng)絡過深而導致的梯度消失問題,而Sigmoid函數(shù)的非線性擬合能力要強于Relu;使用目前最熱門的Adam算法作為優(yōu)化函數(shù),設置初始學習率為0.002,并為其設置每隔10代0.9的學習率衰減;使用預測值和真實值的準確率(Accuracy)作為比較指標.

除此之外,在評估訓練完成的網(wǎng)絡的性能時,測試是很重要的一步.K折交叉驗證(K-CV )是評估訓練完成的網(wǎng)絡的經(jīng)典方法.在K折交叉驗證中,原始樣本被隨機平均劃分為K個子樣本.每個子樣本為測試集,其余K-1個子樣本為訓練集.用子樣本重復實驗K次.K個模型的平均性能被認為是最終性能.這種方法的優(yōu)點是,所有的觀察都用于訓練和測試,從而避免過擬合和欠擬合,以獲得有說服力的結果.

一般來說,K是5.本文模擬的訓練樣本和測試樣本數(shù)量如表1所示.故障診斷的性能可以通過正確診斷樣本與所有測試樣本的比值即準確率來觀察.如果在多個epoch中精度沒有提高,則停止訓練.最佳精度的epoch作為實驗結果.重復實驗的平均準確率記為最終結果.

表1 模擬實驗樣本

4.2 基于窺孔LSTM網(wǎng)絡的故障預測

本節(jié)討論基于窺孔LSTM網(wǎng)絡的故障預測實驗,其模型如圖5所示,去掉了SVM.通過多次實驗,窺孔LSTM網(wǎng)絡的參數(shù)設置如表2所示,為了獲得更好的性能,在實際情況中應該進行調(diào)整.epoch數(shù)設置為40,因為根據(jù)反復實驗,精度在epoch達到40后趨于穩(wěn)定.選擇“RMSprop算法”優(yōu)化器是因為它在遞歸神經(jīng)網(wǎng)絡中具有更好的性能.基于5-CV,窺孔LSTM融合網(wǎng)絡的故障預測結果如圖6所示.最終結果是5個訓練好的模型的平均準確率為87.44%.一個訓練周期內(nèi)故障預測的損失和準確率分別如圖7和圖8所示.準確率隨著訓練增加而增加,而損失則減少.反復實驗可以保證網(wǎng)絡的穩(wěn)定性.結果表明,窺孔LSTM網(wǎng)絡可以挖掘線路跳閘故障與量測數(shù)據(jù)之間的時序信息.

表2 實驗設置的超參數(shù)

圖6 基于5-CV的窺孔LSTM融合網(wǎng)絡的故障預測準確率Fig.6 Fault prediction accuracies of peephole LSTM fusion network based on 5-CV

圖7 通過40個epoch訓練得到故障預測中的損失Fig.7 Loss in fault prediction obtained from 40 epoch trainings

圖8 通過40個epoch訓練得到故障預測的準確率Fig.8 Accuracy of fault prediction obtained from 40 epoch trainings

4.3 針對故障預測的模型性能改進方法

由于窺孔LSTM網(wǎng)絡需要提取時間特征,因此輸入時間步長和維度是重要的影響因素.幾種代表性輸入時間步長和維度的實驗結果如圖9所示,其中,T為時間步長,D為輸入向量的維度.當輸入時間步長達到50以上時,收斂速度太慢,對顯示結果沒有意義.可以得出結論,T=25、D=20的輸入維度更好.原因如下:如果時間步長較長,則不可避免地會在漫長的過程中丟失已學習的特性;如果時間步長較短,輸入向量的維數(shù)較高,則會丟失時間信息.因此,輸入時間步長和維度設置為T=25、D=20是合適的.過擬合是基于數(shù)據(jù)的故障預測中的一個難題.網(wǎng)絡中引入了Dropout層和批歸一化層以避免過擬合.使用表2中設置的參數(shù)進行實驗,以證明過擬合得到有效緩解.使用Dropout和批量歸一化的改進結果如圖10所示.通過逐層的Dropout和批歸一化,性能得到了明顯的提升.由于網(wǎng)絡需要訓練的層數(shù)和參數(shù)較多,在訓練初期收斂速度較低且不穩(wěn)定,但在后半部分,精度有所提高.一般來說,帶有Dropout和批歸一化的網(wǎng)絡表現(xiàn)更好,并且具有更快的收斂速度.

圖9 不同輸入時間步長和維度的對比結果Fig.9 Comparison of different input time steps and dimensions

圖10 使用Dropout和批歸一化改進訓練的準確率Fig.10 Accuracy curve for trainings improved by Dropout and batch normalization

電力系統(tǒng)運行過程中存在著大量的量測數(shù)據(jù).時間特征從用戶的電流、電壓和有功功率數(shù)據(jù)中捕獲.針對多源輸入和單輸入進行了對比實驗,結果如圖11所示,從圖11可以清楚地得出改進的結論.它可以解釋如下:當故障即將發(fā)生時,電力設備的逐步狀態(tài)轉(zhuǎn)換反映在包括電流、電壓和有功功率在內(nèi)的所有測量數(shù)據(jù)中,更清晰的特征被挖掘出來,信息也更充分.因此,多LSTM網(wǎng)絡表現(xiàn)出更好的性能.在使用窺孔LSTM網(wǎng)絡和SVM進行基于數(shù)據(jù)的故障預測的類似實驗中,這種改進被證明是有效的.窺孔LSTM網(wǎng)絡的性能更好,可以更好地捕獲特征,從而更有利于使用SVM分類器進行分類.基于改進影響因子的窺孔LSTM網(wǎng)絡在10次重復實驗中的準確率在85.1%～89.7%之間,平均準確率為87.5%.這是可以接受的,但仍需改進.

圖11 多源信息和單個輸入在訓練過程中的準確率Fig.11 Accuracy curves of multisource information and single input during training process

4.4 改進方法在故障預測上的效果

為了提高故障預測的準確性,提出基于窺孔LSTM網(wǎng)絡和SVM的數(shù)據(jù)型線路跳閘故障預測方法.將訓練好的融合時序特征放入SVM分類器進行故障預測,模型結構如圖5所示.在10次重復實驗中的準確率在97.5%～97.8%之間,平均準確率為97.7%,與僅基于窺孔LSTM網(wǎng)絡的方法相比提高了約10 個百分點.這種改進依賴于SVM,它對樣本具有良好的魯棒性,對非線性問題具有良好的泛化性能.SVM基本不涉及大數(shù)的概率測度和規(guī)律,其優(yōu)化目標是結構風險最小化,緩解了過擬合問題.它既能保證樣本的分類精度,又能降低學習模型的維數(shù).這些優(yōu)點使其適用于電力系統(tǒng)中基于數(shù)據(jù)的故障預測.

實驗采用表1相同的樣本數(shù)據(jù)應用于其他數(shù)據(jù)挖掘方法.本文所提方法與基于數(shù)據(jù)的挖掘方法的對比結果如圖12所示,其中涉及正常和故障測試集的準確率.可以看出,在正常和故障情況下都有明顯的改善.

圖12 以基于數(shù)據(jù)的線路跳閘故障預測為例,本文模型與基于數(shù)據(jù)的挖掘模型的準確率對比Fig.12 Comparison of accuracy between the proposed model and data-based mining models in line trip fault prediction

最終結果如表3所示,可以看出,本文所提出的方法比其他方法,如堆疊自編碼器(SAE)、RNN,以及傳統(tǒng)的LSTM性能更好.

表3 本文模型與基于數(shù)據(jù)的挖掘模型的準確率對比

一般而言,LSTM網(wǎng)絡在長時序場景下具備比RNN更優(yōu)秀的上下文語義挖掘能力,而考慮到電力系統(tǒng)故障發(fā)生時的負荷變化具有較強的時序邏輯關系,LSTM中引入窺孔的三級柵極鏈接使得模型在挖掘故障發(fā)生時的特征變化更具靈敏度.此外,由于電力系統(tǒng)的特征量較少,神經(jīng)網(wǎng)絡的深度和復雜度也相對較低,可以使用較為復雜的窺孔LSTM取代傳統(tǒng)LSTM,犧牲部分時間復雜度以換取更高精度的故障診斷.由于SVM在分類任務中良好的魯棒性和泛化性能,在主干網(wǎng)絡外層包裝一層SVM更符合故障診斷的需求,極大地提高了實驗的準確率.它可以從多源測量數(shù)據(jù)中挖掘故障特征,實現(xiàn)高精度的故障預測.與基于繼電保護動作和電氣元件動作的方法相比,本文提出的基于數(shù)據(jù)的方法可以根據(jù)第一手信息預測電力系統(tǒng)是否會發(fā)生故障.因此,本文提出的基于窺孔LSTM網(wǎng)絡和SVM的電力系統(tǒng)線路跳閘故障預測方法,對于提高電力系統(tǒng)的可靠性和穩(wěn)定性具有積極意義.

4.5 具體實踐應用

本文方法在上節(jié)的重復數(shù)據(jù)實驗中被證明是有效的.當所提出的網(wǎng)絡根據(jù)實際情況建立并使用歷史數(shù)據(jù)進行訓練時,它可以在線進行故障預測.參數(shù)不斷更新,以適應新的在線運行狀態(tài).在實際應用場合中,LSTM網(wǎng)絡根據(jù)2019—2021年的歷史數(shù)據(jù)進行了訓練,并使用2022年上半年國網(wǎng)某變電站的實際故障記錄進行測試.各月準確率穩(wěn)定在95%以上.研究結果在實際故障預測中具有重要意義.實驗的訓練和測試時間在英偉達3090GPU上表現(xiàn)為分鐘級別,即單機僅需幾分鐘即可訓練出一個故障診斷的模型,幾秒鐘即可完成故障診斷.用所提出的方法可以實現(xiàn)實際的故障預測.

5 結論

為了提高電力系統(tǒng)運行的可靠性和穩(wěn)定性,本文提出了一種基于數(shù)據(jù)驅(qū)動并以SVM和LSTM作為主干網(wǎng)絡的線路跳閘故障預測方法.首先,在線路跳閘故障前或正常運行期間,記錄了500個電流、電壓和有功功率采樣點.樣本被重塑為時間步長25、輸入向量20的維度,作為LSTM網(wǎng)絡的輸入.同時,對樣品進行0～1標準化處理至同一水平,將多源數(shù)據(jù)放入LSTM網(wǎng)絡中進行訓練和融合,并通過3個LSTM網(wǎng)絡挖掘時間特征.為了解決電力系統(tǒng)故障預測的過擬合問題,在網(wǎng)絡中加入Dropout層和批歸一化層,將融合后的特征輸入SVM分類器,得到更準確的預測結果.

此外,所提出的網(wǎng)絡可以擴展LSTM子網(wǎng)絡,以獲得更多的信息,用于電力系統(tǒng)的故障預測.相應的實驗結果證明了使用多個源的融合,以及逐層的Dropout和批歸一化可以提高準確率,線路跳閘故障預測準確率可達97%左右.最后,對所提出的方法進行了實例應用,效果顯著.