基于強化學習風電并網策略下的韌性分析

中圖分類號：TM614;TM743 文獻標識碼：A

Abstract：To explore the impact of wind power station grid-connection sites on the resilience of power networks，this paper introduces a new analytical framework for assessing the resilience of wind power network. By integrating the network's structural and functional models and applying relevant resilience assessment metrics，we propose a Q-Learning-based grid-connection strategy to identify the optimal grid-connection locations for wind power station. We validate this strategy using the IEEE 118 power grid model，which incorporates wind power grid-connection. Our research shows that the Q-Learning-based grid-connection strategy surpasses traditional heuristic methods and genetic algorithms in reducing operational costs and the risk of overload， highlighting the crucial role of strategic grid-connection in strengthening the network's resilience.

Keywords： complex network；resilience; Q -Learning algorithm;wind power grid connection

0 引言

近年來，隨著全球對清潔能源的需求不斷增加，在電力行業(yè)，風力發(fā)電已經成為了最具潛力的可再生能源之一，越來越多的國家將風力發(fā)電納入到能源轉型和電力供應的戰(zhàn)略規(guī)劃中[1]。然而，隨著風力發(fā)電的并網，電網也面臨著新的挑戰(zhàn)和機遇，如何實現風力發(fā)電機與傳統(tǒng)電力網絡的有效銜接，確保網絡的穩(wěn)定運行成為了當前研究的重要議題2]。

由于風力發(fā)電具有波動性和間歇性，網絡在供電過程中可能會面臨能源供給不足或者間斷的情況，這就增加了級聯故障的風險，使得電力網絡的韌性評估變得更加復雜[3」。在現有研究中，ZhangH等[4]提出了一種預防性調度方法，該方法不僅考慮了常規(guī)發(fā)電機，還考慮了風電，以充分利用風電增強韌性的潛力。Liang Y^[5] 則專注于海上風電場電力系統(tǒng)的最佳調度，以增強網絡的韌性。陳思諭等6通過研究電網輸電線路耦合強度來提高電力網絡的韌性。這些研究為電網韌性的增強提供了寶貴的見解，但它們主要集中在傳統(tǒng)電網或風電調度策略上，對風力發(fā)電機并網位置的韌性影響研究相對較少。

近期，強化學習技術在電力網絡研究中的應用日益廣泛，通過分析大量的電力數據和歷史記錄，這使得電力公司能夠更好地預測故障、優(yōu)化能源分配和提高網絡韌性[7]。MemonZA等[8]通過強化學習技術構建的模型來用于電力網絡不確定性量化。Li等[9]利用Q-Learning 尋找電力網絡在受到級聯故障后的最佳恢復策略，以便快速修復電力網絡并及時恢復供電能力。HosseiniMM等[10]利用深度強化學習開發(fā)了一種智能韌性控制器以便在突然停電后迅速恢復客戶的供電。然而隨著風力發(fā)電機的并網規(guī)模越來越大，不少學者開始研究并網選址問題[1-12]。在可再生能源融合的背景下，電力網絡的韌性需要考慮可再生能源與傳統(tǒng)發(fā)電方式之間的協調與平衡。傳統(tǒng)方法在處理可再生能源融合時面臨網絡模型復雜、計算量大等挑戰(zhàn)難以克服。本文將強化學習引入到含可再生能源電網中，利用Q-Learning算法對風電場的并網策略進行研究，進一步分析了不同并網策略下的網絡韌性問題。

風力電網的韌性

1.1 韌性的定義

韌性電網的建設有助于電網調度人員了解電網運行狀態(tài)，發(fā)揮電網內部和與可再生能源的調節(jié)能力，減少風力發(fā)電機的功率波動對電網的影響。因此本文將含風力發(fā)電的電力網絡的韌性定義為抵御未來災害以及在面對突發(fā)事件或故障時能夠快速恢復并保持穩(wěn)定運行的能力。為了量化韌性，“韌性梯形”的概念逐漸被許多研究學者使用，通過韌性梯形來描述系統(tǒng)的性能和狀態(tài)轉換[13]，如圖1所示。

1.2 風力電網韌性量化

1.2.1 韌性損失

當網絡遭受破壞時，即在 t_d 到 時刻，為了衡量網絡韌性的變化，引人了韌性損失（ResilienceLoss）來量化了網絡中的損失面積[14]。韌性損失被廣泛應用于評估網絡的韌性，通過測量不同性能曲線的損失面積，可以實現對網絡韌性的可視化，韌性量化曲線如圖2所示。

這種方法可以幫助我們更好地了解網絡在不同條件下的表現，并且有助于采取相應的措施來提高網絡的韌性。其數學公式：

R_loss=1-R

其中， R 表示網絡的韌性， Q（t） 是關于網絡韌性曲線函數，是通過電網性能測量來決定的； t_I 和 t_L 分別為性能曲線的時間開始和結束時刻， 是關于 Ψ_t 和 Q（t） 的函數。 數值越大，則說明系統(tǒng)韌性損失越大。

1.2.2 韌性中心

由于性能曲線不同可能會有相同的損失面積，因此，我們考慮了一種新的韌性指標，即韌性中心（Center of

Resilience）。韌性中心結合了故障階段的性能和在恢復階段的性能變化，其公式在數學上可以表述為：

其中， Q為故障時剩余性能對po的貢獻，pq.es 為僅考慮故障過程時的韌性中心，其數值越大則說明系統(tǒng)韌性越好; Q為恢復進程對ρ的貢獻;其中，Q=QwQ； 為僅考慮恢復過程時的韌性中心。

1.3 風力電網性能指標

含風力發(fā)電的電力網絡韌性評估是一個重要的研究領域。在這方面，研究人員通?？紤]多個指標來評估電力網絡的性能，因此本文采用結構指標和功能指標兩個重要的維度來衡量。

1.3.1 結構指標

結構指標主要關注電力網絡的拓撲結構和傳輸效率。在電力網絡分析領域中，通常使用節(jié)點存活率（NodeSurvival Rate，NSR）來測量停電的大小[15]。節(jié)點存活率定義為在網絡結構受損后，依然能夠維持正常運作的節(jié)點占總節(jié)點的比例。其量化公式如下所示：

其中， N_n 表示初始狀態(tài)下電網節(jié)點的個數， 表示故障發(fā)生后電網的正常運行的節(jié)點的個數。

1.3.2 功能指標

功能指標主要關注網絡的供電能力和可靠性。在區(qū)間直流潮流模型中，供電量可以準確反映故障前后電力網絡的潮流變化，進而評估電力網絡在部分節(jié)點被攻擊或損壞的情況下持續(xù)為用戶供電的能力。基于供電量的功能韌性指標供電率 PS 其量化公式如下：

其中， 表示電力網絡穩(wěn)定運行時節(jié)點 i 的負荷， P_dⁱ 為發(fā)生故障后節(jié)點 i 的負荷。

1.4 風力電網的建模

1. 4.1 結構模型

在結構層面，建立純拓撲模型以模擬含風力發(fā)電的電力網絡結構。在該模型中，含風力發(fā)電的電力網絡的母線抽象為節(jié)點，輸電線路抽象為邊，用 G=（N，L） 表示，其中 N=[n₁，n₂，……，n_n] 表示網絡中所有節(jié)點的集合， L=[l₁，l₂，……，l_n] 表示網絡中所有連邊的集合。本文采用替換的方式實現風電場并網，即將部分傳統(tǒng)發(fā)電機替換為含多臺風力發(fā)電機的風電場。

1.4. 2 功能模型

在功能層面，本文采用區(qū)間直流潮流模型對含風力發(fā)電的電力網絡進行仿真。由于風力發(fā)電機的有功功率存在一定的波動性和間歇性，因此使用區(qū)間來表示能更好地反映風力發(fā)電特點[16]。在電力網絡中，流量分布通常用功率流表示。當功率流超過額定閾值時，線路將發(fā)生故障，并可能導致級聯故障。本文采用 IEEE118 網絡數據庫中默認的線路最大功率流作為閾值。

2基于Q-Learning算法的風力發(fā)電機并網策略

含風力發(fā)電的電力網絡具有對環(huán)境友好、可持續(xù)性等優(yōu)勢，但由于其隨機性和波動性，使得網絡韌性的提高成為一個必要的問題，風電場的并網位置對于網絡的韌性影響至關重要，選取合適的位置，可以大大提高網絡的韌性。Q-Learning是一種基于實踐經驗的強化學習方法，它能夠從多次決策中學習并優(yōu)化策略。在本文中，通過將Q-Learning 算法應用到風電場的并網位置決策中，提出了基于Q-Learning算法的風電場并網策略。

在Q-Leaning中，我們需要先定義一個Q表，其中每一行表示一個狀態(tài)，每一列表示一個動作，而表格中的值則為執(zhí)行該動作后所得到的獎勵值。當機器人遇到一個狀態(tài)時，它會隨機選擇一個動作進行執(zhí)行，得到執(zhí)行后的獎勵值，并根據公式（6）更新Q表中相應的數值。

Q（s_t，a_t）=（1-α）Q（s_t，a_t）+α{r_t（s_t，a_t）+γmax_aQ（s_t+1，a_t）}

其中， Q（s_t，a_t ）和 r_t（s_t，a_t） 分別為 t 時刻下狀態(tài)為 s_t 時，選擇動作 a_t 的 Q 值和獎勵值。 Q（s_t+1，a_t+1） 為 時刻下狀態(tài)為 s_t+1 ，選擇動作 a_t+1 時的 Q 值。 α 為學習率，決定了每次更新 Q 值時對新獎勵的重視程度， γ 為折扣因子，決定了智能體對未來獎勵的重視程度。隨著機器人不斷地與環(huán)境交互， Q 表中存儲的獎勵值也不斷發(fā)生變化，機器人逐漸能夠通過查閱 Q 表找到最優(yōu)風電場并網策略。Q-Learning算法的框架圖如圖3所示。

具體來說，我們可以將電氣網絡看作一個狀態(tài)空間，風電場可能并網的候選位置構成了動作集合，采取動作后的網絡狀態(tài)的線路潮流值則作為獎勵函數。在這個狀態(tài)空間中， Q -Learning會不斷地迭代學習，并根據特征值更新每個動作執(zhí)行后的價值函數。通過反復進行策略更新和決策選擇，最終能夠學習到最優(yōu)風電場并網策略。Q -Learning算法的偽代碼如表1所示。

在不同的并網策略下，網絡的韌性也會表現出不同的特征。度和介數是用來評估網絡中節(jié)點重要性的指標，節(jié)點的度是指與該節(jié)點直接相連的邊的數量，衡量節(jié)點在網絡中的連接程度，而節(jié)點介數定義為網絡中所有最短路徑中經過該節(jié)點的路徑的數目占最短路徑數的比例，衡量節(jié)點在網絡中承擔信息傳遞的重要性。所以本文將基于 Q -Learning 算法的并網策略（Q-Learning-based Grid-Connection Strategy，QL-GCS）與3種啟發(fā)式以及基于遺傳算法的并網策略進行比較：1）隨機并網策略（Random Grid-Connection Strategy，RGCS）;2）基于度的并網策略（Degree-based Grid-Connection Strategy，DGCS）;3）基于介數的并網策略（Betweenness-based Grid-Con-nection Strategy，BGCS）;4）基于遺傳算法的并網策略（Genetic Algorithm-based Grid-Connection Strategy，GA-GCS）。

3案例模擬

本文采用IEEE118電力網絡進行試驗，拓撲結構圖如圖4所示。首先，挖掘IEEE118電力網絡的節(jié)點和線路信息，共有118個節(jié)點和186條鏈路。其中網絡運行時，我們會發(fā)現54臺發(fā)電機中，只有19臺發(fā)電機為網絡提供了電能，如圖中紅色節(jié)點所示；剩下的35臺發(fā)電機的供電量為零，如圖中藍色節(jié)點所示；剩余黃色節(jié)點為負荷節(jié)點和變壓器節(jié)點等其他節(jié)點。本文將剩下的35臺發(fā)電機抽取5臺換為含多臺風力發(fā)電機的風電場來模擬風電并網。

3.1并網策略對電網潮流的影響

為了更加近似的模擬風力發(fā)電機的不確定性，我們將試驗數據設為風電場的波動范圍為 [0，800MW] ，對風力發(fā)電量進行了200次采樣，從35個候選位置中選出五個位置來安裝風電場，因此有324632種可能性。我們對每次采樣的網絡求得電網線路潮流和，并對 200次采樣的結果進行累加后求均值以模擬風力發(fā)電。那么會生成 324 632*200=64 926 400 個網絡樣本，工程極為龐大。本文采用Q-Learning算法對其進行求解，使網絡運行時線路潮流運行成本較小，與其他幾種策略進行對比。為了增強實驗的科學性，我們將五座風電場有功功率的200次采樣結果的均值以及采樣樣本的中位數的結果都進行了對比，其中隨機并網策略為1000個隨機并網策略分別進行200次采樣后的樣本均值結果和中位數結果進行求和之后再平均的值。

結果如圖5所示，基于Q-Learning 算法的并網策略在線路潮流和方面相較其他并網策略表現最佳，無論是樣本均值還是中位數均達到最小值，而基于遺傳算法的并網策略次之;基于度和基于介數的并網策數值相近；隨機并網策略的線路潮流值最高，這增加了網絡線路的承壓，從而提高了網絡級聯故障的風險和運行成本?；赒-Learning算法的并網策略顯著降低了線路運行成本和過載的可能性，從而增強了網絡的韌性。

3.2并網策略對電網韌性的影響

為進一步研究不同并網策略對電網韌性的影響，我們對基于度、基于介數、基于遺傳算法以及基于Q-Learn-ing算法的并網策略，連同傳統(tǒng)的IEEE118網絡模型，進行了一系列的模擬攻擊試驗。這些試驗設計了兩種攻擊模式：一種是隨機攻擊，用以模擬日常網絡故障的不可預測性;另一種則是基于度和基于介數的關鍵節(jié)點的蓄意攻擊，用以模擬惡意行為或極端情況下對電網的沖擊。

3.2.1 隨機攻擊

如圖6所示，我們發(fā)現，在隨機攻擊下，在相同的結構下，傳統(tǒng)IEEE118網絡節(jié)點存活率下降最快，韌性損失也是最大的;其他4種并網策略均有效提高了網絡的抗干擾能力。由于4種網絡的拓撲結構完全一樣，性能下降曲線相對集中，難以直觀區(qū)別，所以我們分別從結構和功能層面分別計算每條曲線的韌性損失與韌性中心，以便進一步比較，如表2所示。從表2中，我們發(fā)現采用基于Q-Learning 算法的并網策略相對于傳統(tǒng) IEEE118 網絡結構層面韌性損失減少了將近 18% ;在功能層面，在風力發(fā)電量相同的情況下，基于度、基于介數和基于遺傳算法的并網策略韌性損失相似;基于Q-Learning算法的并網策略的韌性中心幾乎是傳統(tǒng)網絡的兩倍，相比于基于度的并網策略、基于介數和基于遺傳算法的并網策略而言，網絡的整體韌性得到了顯著提升。

3.2.2 基于度的蓄意攻擊

從圖7我們可以看出，在面對基于度的蓄意攻擊時，我們發(fā)現，基于 Q -Learning算法的并網策略在面對蓄意攻擊時，不管是在結構還是功能層面比其他3種并網策略的韌性都要好；在前期時4種網絡的節(jié)點存活率相同，然而傳統(tǒng)網絡的供電率略高于4種采用并網策略的電力網絡，通過研究級聯故障過程發(fā)現，由于風電場的存在，級聯故障較早的波及到了風電場所在的節(jié)點，使得網絡供電率下降速度較快，但后期網絡節(jié)點存活率明顯高于傳統(tǒng)網絡。因此，風電場的加入雖然大大降低了網絡的運行成本，但是對于電力網絡來說，風險也是隨之增加的，所以在電網運行時保護風力發(fā)電機不受波及是非常重要的，這也是我們接下來重點要做的工作。

結合圖7和表3我們可以看出，基于度、基于介數和基于遺傳算法的并網策略相對與傳統(tǒng)網絡，在提高網絡的韌性方面效果較差;基于介數的并網策略甚至跟傳統(tǒng) IEEE118網絡一樣，在第15次攻擊時網絡就崩潰了，在功能層面的韌性損失也是接近傳統(tǒng)網絡。在面對基于度的蓄意攻擊時，基于Q-Learning 算法的并網策略依舊能有較好的表現，可見合理的選擇并網策略是極其重要的。

3.2.3 基于介數的蓄意攻擊

結合圖8和表4我們可以看出，在面對基于介數的蓄意攻擊時，基于Q-Learning 算法的并網策略也明顯優(yōu)于其他3種并網策略；面對基于介數的蓄意攻擊時，相對于傳統(tǒng) IEEE118 網絡，網絡韌性損失甚至減少了約14% ，大大提高了網絡節(jié)點存活率;傳統(tǒng)網絡在攻擊13 次時網絡就已經崩潰，而基于Q-Learning 算法的并網策略在第19 次時網絡才崩潰，結構和功能的韌性損失都減少了 10% 以上。

4種結構相同并網策略不同的電力網絡，只有基于Q-Learning 算法的并網策略在面對兩種蓄意攻擊都有很好的表現效果，同時基于Q-Learning算法的并網策略也是4種并網策略中網絡運行成本最小的，線路損耗也最少，以最小的成本得到了非?？捎^的韌性提高。

4結論

本文主要研究風電場的并網位置對電力網絡韌性的影響，建立了一個新的分析框架來研究含風力電網的韌性。通過Q-Learning 算法來找到風電場最優(yōu)的并網位置，并與隨機、基于度、基于介數的并網策略以及遺傳算法進行了綜合比較。我們深入分析了不同并網策略對網絡韌性的影響，以及在各種故障情況下網絡韌性的變化情況。研究發(fā)現采用基于Q-Learning 算法的并網策略不僅能夠減少網絡的運行成本，而且顯著提升了網絡的韌性。

參考文獻：

[1]LIUK，CHEW，CHENG，etal.AplicationandanalysisofhdraulicwindowergenerationtechnologJ].EnergyStrategRevie，2023，48：101117.

[2]郭明健，高巖．基于復雜網絡理論的電力網絡抗毀性分析[J]．復雜系統(tǒng)與復雜性科學，2023，19（4）：1-6.GUOMJ，GAOYInvulnerabilitanalysisofpowernetworkbasedoncomplexnetworkJ.ComplexSystesandComplexityScience03，19（4）：1-6.

[3]PANISR，AMALRK.EvaluationofowergiderabiltindicesaoutingforindpoweruncertaintyJ]SustaiableEergyidsand Networks，2024，38：101354.

[4]ZHANGH，ZHAGSHENGH，etalBostigthepowergridesilenceunderyhoondisastersbyordatedsheduligofwindeeryand conventional generators[J]. Renewable Energy，2022，20o：303-319.

[5]LIANGYGXalptialesleceeantispatchoftitutipleoreindoideiuncertain typhoon parameters[J]. International Journal of Electrical Poweramp;.Energy Systems，2O23，153：109337.

[6]陳思諭，鄒艷麗，王瑞瑞，等．電網輸電線路耦合強度分配策略研究[J]．復雜系統(tǒng)與復雜性科學，2018，15（2）：45－53.CHENSY，ZOUYL，WANGRR，etal.OnthecoulingstrengthdistributionstrategyofpowertransmissonlinesJ].2018，5（2）：4553.

[7]MAYERJB，SZUCSB，etalProbabilisticodelingofuureetricityteswithgenewableeypeetraingachine learning[J].Applied Energy，2023，336：120801.

[8]MEMONZA，TRINCHEROR，MANFREDIP，etal.MachineLearningforthe UncertaintyQuantificationofPower NetworksJ].IEEELetters on Electromagnetic Compatibility Practice and Applications，202o，2（4）：138-141.

[9]LIQ，ZHAGX，GUOJ，etalIntegratingreiforementlearingandotimalpwerdispatchtoeancepowergridesileeEETransactions on Circuits and Systems II：Express Briefs，2021，69（3）：1402-1406.

[10]HOSSEIMAAAMResilentoeratioofdistriutiogidsusingepeforcementleaing]IEEETasactiosoIustrial Informatics，2021，18（3）：2100-2109.

[1]ALAVISALEKIAROOAalSiultaestialiteselectadgfiddepedthbridd/gsystemusingybridoptimizationmetodbasedonELECTRE：AcasestudyinIran[J]InterationalJournalofHydrogenEnergy204，5：970-983.

[12]CACEOGLUE，DIZHKOGUZE，etal.OfshorewindpowerplantsiteselectionusingAnalyticalHerarchyProcesfrrstTurkey[J].Ocean Engineering，2022，252：111178.

[13]UMUNKWEA，HUAH，KONOOUK，etalQuantitativeanalysisofowesytemsesilece：Standardzatioates，and challenges[J]. Renewable and Sustainable Energy Reviews，2O21，149：111252.

[14]AHMAGlntiiroesstdpoofolceineeringamp;.System Safety，2020，200：106977.

[15]JIANGJ，XIAY，XUStalAnsymmetricinterdependentnetwoksodelfoyberphsicalsstemsJ.Chaos：AInterdiscilayJournal of Nonlinear Science，2020，30（5）：053135.

[16]ZHANGCUQZOUBetalAcentralliittheorembasedmethodfodandacpowerflanalsisunderinteraluertatfenewable power generation[J]. IEEE Transactions on Sustainable Energy，2O23，14（1）：563-575.

（責任編輯 李進）