基于深度強(qiáng)化學(xué)習(xí)的孤島微電網(wǎng)故障區(qū)域判定

朱愉田，李華強(qiáng)

(四川大學(xué)電氣工程學(xué)院，四川 成都 610065)

1 引言

隨著電力負(fù)荷的急速增長(zhǎng)，能源短缺和環(huán)境污染等問(wèn)題的越來(lái)越嚴(yán)重，越來(lái)越多的國(guó)家和地區(qū)開(kāi)始關(guān)注微電網(wǎng)的發(fā)展，微電網(wǎng)已成為電力系統(tǒng)發(fā)展的主流趨勢(shì)。孤島運(yùn)行模式就是微電網(wǎng)與大電網(wǎng)斷開(kāi)連接，微電網(wǎng)中的分布式電源單獨(dú)完成給負(fù)荷提供穩(wěn)定可靠電力的工作。當(dāng)孤島微電網(wǎng)中某一條線路發(fā)生故障時(shí)，會(huì)給下級(jí)使用設(shè)備或單位，帶來(lái)極大的安全隱患。孤島運(yùn)行模式時(shí)產(chǎn)生的孤島效應(yīng)會(huì)給微電網(wǎng)的運(yùn)行和管理帶來(lái)的一些不利影響，沒(méi)有計(jì)劃的孤島模式不但會(huì)對(duì)用電用戶的生產(chǎn)生活帶來(lái)嚴(yán)重的危害，也會(huì)對(duì)電網(wǎng)運(yùn)行的工作人員的人身安全帶來(lái)威脅。

常見(jiàn)的微電網(wǎng)故障包括內(nèi)部故障和外部故障，分別發(fā)生在微電網(wǎng)內(nèi)部和連接大電網(wǎng)與微電網(wǎng)的聯(lián)絡(luò)線上[1]。因此傳統(tǒng)方法以文獻(xiàn)[2]的研究?jī)?nèi)容為依據(jù)，利用特征余弦差分診斷微電網(wǎng)故障大致范圍。此次研究在傳統(tǒng)方法基礎(chǔ)上，引入深度強(qiáng)化學(xué)習(xí)方法，根據(jù)約束條件，預(yù)先提取孤島微電網(wǎng)的故障特征；基于深度強(qiáng)化學(xué)習(xí)方法，深度跟蹤電網(wǎng)故障信息；通過(guò)三端行波測(cè)距法，判定孤島微電網(wǎng)故障區(qū)域，通過(guò)該方法的跟蹤性能，優(yōu)化傳統(tǒng)方法，為微電網(wǎng)的使用安全，提供可靠的技術(shù)支持。

2 基于深度強(qiáng)化學(xué)習(xí)的孤島微電網(wǎng)故障區(qū)域判定

2.1 提取孤島微電網(wǎng)的故障特征

傳統(tǒng)方法根據(jù)單個(gè)逆變型分布式電源的輸出特性，研究孤島微電網(wǎng)中，只含有一個(gè)逆變型分布式電源時(shí)的故障問(wèn)題。此次研究在傳統(tǒng)方法的基礎(chǔ)上，對(duì)于含有PQ控制模式、VF控制模式的逆變型分布式電源，進(jìn)行穩(wěn)態(tài)響應(yīng)特征提取。已知當(dāng)孤島微電網(wǎng)發(fā)生故障時(shí)，微電網(wǎng)的序網(wǎng)絡(luò)圖結(jié)構(gòu)，與PQ和VF控制模式的逆變型分布式電源的接入位置有關(guān)。當(dāng)PQ和VF控制模式下的電源接于同一母線時(shí)，電網(wǎng)可能出現(xiàn)三相對(duì)稱故障，此時(shí)正序網(wǎng)絡(luò)中的故障點(diǎn)正序電壓相量Gk1=0，因?yàn)閂F電源對(duì)輸出端電壓有支持作用，因此VF電源工作在恒壓區(qū)，PQ電源工作在恒功率區(qū)，此時(shí)存在約束條件：

(1)

式中：G1表示故障點(diǎn)的正序電壓相量；Gref表示電壓設(shè)定值；IPQ表示PQ電源的輸出正序電流；IoPQ表示PQ電源的極限輸出電流值；IVF表示VF電源的輸出正序電流；IoVF表示VF電源的極限輸出電流值；SPQ表示PQ電源的輸出復(fù)功率；Sref表示電源設(shè)定值[3]。當(dāng)VF電源工作在恒電流區(qū)，PQ電源工作在恒功率區(qū)時(shí)，此時(shí)的約束條件為

(2)

式中：Smax表示電源極限容量。當(dāng)兩種控制模式下的電源，均進(jìn)入到恒流區(qū)內(nèi)時(shí)，電源輸出同時(shí)達(dá)到最大電流限制，此時(shí)的約束條件為

(3)

式中：S2表示兩個(gè)電源的容量。求解上述三組約束條件，得到得到孤島微電網(wǎng)三相對(duì)稱故障響應(yīng)特征[4]。

2.2 基于深度強(qiáng)化學(xué)習(xí)跟蹤故障信息

根據(jù)故障響應(yīng)特征，利用深度強(qiáng)化學(xué)習(xí)跟蹤故障信息。深度強(qiáng)化學(xué)習(xí)將特征目標(biāo)跟蹤任務(wù)，轉(zhuǎn)換為一個(gè)序列決策的問(wèn)題，因此離線訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，然后將目標(biāo)的最終位置，作為當(dāng)前追蹤目標(biāo)的初始位置，利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)一系列故障響應(yīng)，通過(guò)移動(dòng)代表目標(biāo)狀態(tài)的矩形框，追蹤不斷變化的故障響應(yīng)特征。但目標(biāo)跟蹤具有特殊性，因此利用馬爾科夫決策過(guò)程，對(duì)跟蹤過(guò)程進(jìn)行建模。假設(shè)一個(gè)馬爾科夫決策過(guò)程中，包括變化形式z∈Z、變化狀態(tài)q∈Q以及狀態(tài)轉(zhuǎn)移函數(shù)q′。在目標(biāo)跟蹤過(guò)程中，狀態(tài)qt通過(guò)向量ut代表的區(qū)域塊pt跟蹤故障信息。當(dāng)下一個(gè)分析數(shù)據(jù)出現(xiàn)時(shí)，根據(jù)目標(biāo)的最終位置，得到一個(gè)適合網(wǎng)絡(luò)尺寸的判定區(qū)域塊pt，將pt為當(dāng)前目標(biāo)的初始狀態(tài)，輸入到卷積神經(jīng)網(wǎng)絡(luò)中[5]。在第n個(gè)孤島微電網(wǎng)區(qū)域中，第t次迭代的區(qū)域塊被定義為如下形式

pt=φ(ut，n)

(4)

式中：φ表示預(yù)處理函數(shù)。通過(guò)上述公式實(shí)現(xiàn)對(duì)微電網(wǎng)數(shù)據(jù)狀態(tài)的跟蹤。然后跟蹤數(shù)據(jù)變化形式。在該過(guò)程中，數(shù)據(jù)變化形式包括四個(gè)方向的平移以及停止。因此以其變化形式為依據(jù)，當(dāng)卷積神經(jīng)網(wǎng)絡(luò)根據(jù)輸入的狀態(tài)qt預(yù)測(cè)變化形式zt時(shí)，產(chǎn)生一個(gè)新的狀態(tài)qt+1，而該狀態(tài)利用轉(zhuǎn)移函數(shù)獲得。因此重新定義狀態(tài)轉(zhuǎn)移函數(shù)，此時(shí)存在qt+1=hp(ut，zt)，表示當(dāng)前數(shù)據(jù)狀態(tài)ut，通過(guò)相應(yīng)變化形式zt，產(chǎn)生了新的故障位置區(qū)域，也就是qt+1。則這些故障響應(yīng)特征的增量被定義為

(5)

式中：Δx(t)與Δy(t)表示新故障數(shù)據(jù)的位置坐標(biāo)增量；w表示水平活動(dòng)距離；h表示垂直活動(dòng)距離；γ表示深度強(qiáng)化學(xué)習(xí)跟蹤參數(shù)。當(dāng)zt停止動(dòng)作時(shí)，結(jié)束對(duì)當(dāng)前故障數(shù)據(jù)的跟蹤[6]。

2.3 三端行波測(cè)距法判定故障區(qū)域

當(dāng)孤島微電網(wǎng)內(nèi)部線路發(fā)生故障時(shí)，故障點(diǎn)F處的電壓發(fā)生突變，因此故障點(diǎn)向線路兩端傳輸暫態(tài)電流、電壓行波。因此依據(jù)電流行波原理，根據(jù)故障數(shù)據(jù)跟蹤結(jié)果，對(duì)微電網(wǎng)內(nèi)部故障區(qū)域進(jìn)行判斷。圖1為初始行波在母線處的折反射示意圖。

圖1 初始行波在母線處的折反射

圖中iin、ia、ib分別表示入射波、折射波及反射波；R1、R2分別表示入射波和折射波的阻抗值[7]。其中電流折射系數(shù)和反射系數(shù)，可以通過(guò)下列公式計(jì)算獲得

(6)

公式中：a與b分別表示所求的兩個(gè)系數(shù)。當(dāng)孤島微電網(wǎng)發(fā)生內(nèi)部故障時(shí)，故障處的電流行波可通過(guò)下列公式進(jìn)行描述

(7)

根據(jù)上述兩組公式可知，母線處的接線方式，影響行波在母線處的折射和反射。因此行波測(cè)距根據(jù)波速恒定、折射、反射數(shù)據(jù)為依據(jù)，根據(jù)故障跟蹤結(jié)果判定電網(wǎng)故障區(qū)域。

圖2為三端行波測(cè)距法的判定示意圖[8]。

圖2 三端行波測(cè)距法故障區(qū)域判定

同樣利用F表示跟蹤得到的故障位置；L1和L2分別表示故障線路、非故障線路的直線距離。在L1母線端設(shè)置行波檢測(cè)裝置，設(shè)置該裝置為測(cè)量端A；在L1對(duì)端設(shè)置測(cè)量端B；同時(shí)L2母線端設(shè)置行波檢測(cè)裝置，為測(cè)量端C；r1、r2則表示故障點(diǎn)F到測(cè)量端A和B的直線距離[9]。假設(shè)行波傳輸速度σ恒定，則存在下列條件：

(8)

式中：t0表示故障發(fā)生好刻；t1、t2、t3分別表示故障電流行波，到達(dá)測(cè)量端A、B和C的初始時(shí)間；L′1、L′2分別表示故障線路和非故障線路的實(shí)際長(zhǎng)度；r′1、r′2分別表示故障點(diǎn)到測(cè)量端A、B的實(shí)際距離。假設(shè)追蹤過(guò)程中，每條線路的參數(shù)均一致，因此假設(shè)線路的弧垂系數(shù)為μ，則根據(jù)式(8)得到

(9)

因此整合上述計(jì)算結(jié)果，得到故障點(diǎn)F到故障線路母線端的距離，計(jì)算結(jié)果為

(10)

利用上述計(jì)算過(guò)程，得到故障點(diǎn)到故障線路母線端的距離，根據(jù)該距離，確定孤島微電網(wǎng)故障節(jié)點(diǎn)所在的區(qū)域[10]。至此在深度強(qiáng)化學(xué)習(xí)的輔助下，實(shí)現(xiàn)孤島微電網(wǎng)故障區(qū)域判定。

3 仿真研究

3.1 深度強(qiáng)化學(xué)習(xí)效果分析

利用IEEE 39節(jié)點(diǎn)系統(tǒng)和BPA仿真數(shù)據(jù)，搭建一個(gè)仿真測(cè)試環(huán)境。在樣本數(shù)據(jù)仿真過(guò)程中，令34條支路發(fā)生三相短路故障，最終得到650個(gè)測(cè)試樣本。此次提出的故障區(qū)域判定方法，利用深度強(qiáng)化學(xué)習(xí)方法跟蹤電網(wǎng)故障響應(yīng)特征，下圖3是深度強(qiáng)化學(xué)習(xí)應(yīng)用下，對(duì)某一支路三相短路故障的網(wǎng)絡(luò)訓(xùn)練結(jié)果。

圖3 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練效果

此次測(cè)試分別存儲(chǔ)200、400、600、800以及1000次的網(wǎng)絡(luò)訓(xùn)練參數(shù)，然后將信息輸入到Q-Learning網(wǎng)絡(luò)環(huán)境中，計(jì)算Q值。根據(jù)圖中的測(cè)試結(jié)果可知，隨著訓(xùn)練次數(shù)的不斷增加，Q值不斷趨近回報(bào)值曲線，所得的網(wǎng)絡(luò)訓(xùn)練結(jié)果，與回報(bào)值曲線的變化趨勢(shì)保持一致。然后測(cè)試此次研究方法在故障區(qū)域判定過(guò)程中，獲得的端A、B、C的暫態(tài)電流行波信號(hào)，如下圖4所示。

圖4 測(cè)量端暫態(tài)電流行波信號(hào)瞬時(shí)頻率譜分析

根據(jù)圖4(a)可知，頻率突變發(fā)生在第14個(gè)采樣點(diǎn)處，因此第14個(gè)采樣點(diǎn)對(duì)應(yīng)的時(shí)間，就是暫態(tài)電流行波初次到達(dá)測(cè)量端A的時(shí)間。根據(jù)圖4(b)可知，測(cè)量端B的頻率首次突變，發(fā)生在第33個(gè)采樣點(diǎn)處；根據(jù)圖4(c)可知，測(cè)量端C的頻率首次突變，發(fā)生在第69個(gè)采樣點(diǎn)處。因此第33個(gè)采樣點(diǎn)處、第69個(gè)采樣點(diǎn)處的時(shí)間，就是暫態(tài)電流行波初次到達(dá)測(cè)量端B、測(cè)量端C的時(shí)間。

3.2 故障區(qū)域判定效果測(cè)試

假設(shè)此次提出的故障區(qū)域判定方法為實(shí)驗(yàn)組，兩種傳統(tǒng)判定方法為對(duì)照組，將精確度一次評(píng)估準(zhǔn)則OPE作為衡量標(biāo)準(zhǔn)，評(píng)價(jià)不同方法下的故障區(qū)間判定精度，結(jié)果如下圖5所示。

圖5 基于整體性能的精確度曲線

根據(jù)圖中的曲線變化趨勢(shì)可知，文中方法的精確度曲線，無(wú)論在何種條件下，均處于領(lǐng)先位置。而兩個(gè)傳統(tǒng)方法的精確度曲線，面對(duì)整體性能時(shí)，其判定精確度雖然低于文中方法，但總體上均超過(guò)了0.7。

假設(shè)故障發(fā)生時(shí)間為0.2s，在 0.21s 時(shí) SS 斷開(kāi)，在此過(guò)程中對(duì)流過(guò)保護(hù)的電流變化情況和故障位置判定情況分析如圖6所示。

圖6 基于屬性的精確度曲線

根據(jù)圖6中的曲線走勢(shì)可知，當(dāng)故障發(fā)生在 f1處時(shí)，隨著SS的動(dòng)作，流過(guò)故障點(diǎn)所在線路保護(hù)的電流會(huì)出現(xiàn)兩次明顯的變化過(guò)程，且電流突變量絕對(duì)值達(dá)到定值。根據(jù)以上提出的判斷方法很容易確定故障發(fā)生在該線路上。

孤島檢測(cè)仿真時(shí)逆變器輸出電壓與電流波形關(guān)系圖和頻率變化圖如圖7所示。

圖7 孤島檢測(cè)仿真結(jié)果

由上圖可以看出，孤島現(xiàn)象在0.6秒時(shí)發(fā)生，2.4秒時(shí)逆變器停止為系統(tǒng)供電，反應(yīng)時(shí)間少于標(biāo)準(zhǔn)規(guī)定的2 秒限值，孤島現(xiàn)象檢測(cè)成功；發(fā)生故障大電網(wǎng)掉電以后公共連接點(diǎn)的頻率變化明顯，在9 個(gè)周期時(shí)超出預(yù)先設(shè)定的閾值，過(guò)頻繼電器被觸發(fā)，孤島現(xiàn)象被檢出。

統(tǒng)計(jì)三種方法的總體故障區(qū)域判定精度，結(jié)果如表1所示。

表1 不同方法的故障區(qū)域判定精度統(tǒng)計(jì)

為了保證測(cè)試結(jié)果可知，共進(jìn)行了10次測(cè)試。計(jì)算三個(gè)測(cè)試組的綜合判定精度，其中文中方法的判定精度為0.8026，傳統(tǒng)方法1和傳統(tǒng)方法2的綜合判定精度分別為0.4999和0.5065。統(tǒng)計(jì)文中方法與傳統(tǒng)方法之間的判定差異，其中文中方法比傳統(tǒng)方法1的判定精度高出了0.3027，比傳統(tǒng)方法2的判定精度高出了0.2961。根據(jù)上述測(cè)試可知，此次研究的故障區(qū)域判定方法，其判定結(jié)果更加準(zhǔn)確。因此分析三個(gè)測(cè)試組，對(duì)故障區(qū)域的判定，結(jié)果如下表2所示。

表2 孤島微電網(wǎng)故障區(qū)域判定結(jié)果

隨機(jī)挑選5個(gè)測(cè)試組，分析三組方法的孤島微電網(wǎng)故障區(qū)域判定結(jié)果，其中文中方法的判定結(jié)果與故障區(qū)域一致；而傳統(tǒng)方法1和傳統(tǒng)方法2的5組測(cè)試中，分別有2組和3組判定結(jié)果，沒(méi)有定位到故障區(qū)域內(nèi)。由此可見(jiàn)，在深度強(qiáng)化學(xué)習(xí)幫助下，此次研究的故障區(qū)域判定效果更佳。

4 結(jié)束語(yǔ)

此次研究在傳統(tǒng)故障區(qū)域判定方法的基礎(chǔ)上，新添加了深度強(qiáng)化學(xué)習(xí)方法，根據(jù)約束條件，預(yù)先提取孤島微電網(wǎng)的故障特征，基于深度強(qiáng)化學(xué)習(xí)深度跟蹤電網(wǎng)故障信息，通過(guò)三端行波測(cè)距法，判定孤島微電網(wǎng)故障區(qū)域，為孤島微電網(wǎng)故障區(qū)域判定，提供更加精準(zhǔn)的數(shù)據(jù)。但此次提出的方法還存在不足之處，今后的研究工作中，可以利用一個(gè)定位算法預(yù)先定位故障節(jié)點(diǎn)，利用該節(jié)點(diǎn)預(yù)測(cè)故障范圍，為孤島微電網(wǎng)的使用，提供更加可靠的故障管理技術(shù)。