基于多強(qiáng)化學(xué)習(xí)智能體架構(gòu)的電網(wǎng)運(yùn)行方式調(diào)節(jié)方法

葉 琳，項(xiàng)中明，張 靜，徐建平，呂 勤，尚秀敏，楊靖萍，刁瑞盛

（1.國(guó)網(wǎng)浙江省電力有限公司，杭州 310007；2.國(guó)網(wǎng)浙江省電力有限公司金華供電公司，浙江 金華 321000；3.國(guó)電南瑞南京控制系統(tǒng)有限公司，南京 211106）

0 引言

新型電力系統(tǒng)的安全、經(jīng)濟(jì)運(yùn)行是非常復(fù)雜的控制問(wèn)題，需要同時(shí)滿(mǎn)足電壓、頻率、線(xiàn)路潮流等多種安全約束。近期碳達(dá)峰、碳中和的能源政策及相關(guān)行業(yè)標(biāo)準(zhǔn)將極大促進(jìn)綠色能源發(fā)展，可再生能源在電網(wǎng)中的占比將不斷提高。但由于風(fēng)能、太陽(yáng)能的間歇性、動(dòng)態(tài)性和隨機(jī)性，高滲透率的可再生能源對(duì)電力系統(tǒng)的安全和經(jīng)濟(jì)運(yùn)行帶來(lái)巨大挑戰(zhàn)。

為了制定安全且經(jīng)濟(jì)的電網(wǎng)運(yùn)行方式，通常針對(duì)可能出現(xiàn)的運(yùn)行工況對(duì)電網(wǎng)進(jìn)行建模、仿真、分析，一旦發(fā)現(xiàn)安全問(wèn)題，需采取相應(yīng)的控制措施來(lái)降低基態(tài)和故障（“N－1”或“N－k”）情況下的運(yùn)行風(fēng)險(xiǎn)。該過(guò)程需要考慮電力負(fù)荷預(yù)測(cè)、基建計(jì)劃、檢修計(jì)劃、發(fā)電機(jī)組啟停及發(fā)電計(jì)劃等因素。由于該問(wèn)題的高復(fù)雜度和高非線(xiàn)性，電網(wǎng)合理運(yùn)行方式的制定通常需要依靠工程師經(jīng)驗(yàn)，對(duì)電網(wǎng)模型及參數(shù)進(jìn)行大量人工調(diào)整和海量的仿真分析，以得到滿(mǎn)足要求的電網(wǎng)運(yùn)行方式。然而，考慮大電網(wǎng)負(fù)荷變化、可再生能源波動(dòng)和故障等各種不確定性因素下，精準(zhǔn)、快速地制定潮流控制策略變得十分困難［1-6］。因此，新型電力系統(tǒng)迫切需要一種有效的自動(dòng)化方法來(lái)實(shí)現(xiàn)上述目標(biāo)。

1 基于人工智能的控制方法

近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展和演變，深度強(qiáng)化學(xué)習(xí)算法在多種控制領(lǐng)域表現(xiàn)優(yōu)異，這類(lèi)控制問(wèn)題可以歸結(jié)為MDP（馬爾可夫決策過(guò)程），其典型成功應(yīng)用案例有AlphaGo、自動(dòng)駕駛汽車(chē)和機(jī)器狗等，這些成功案例為有效解決電網(wǎng)規(guī)劃和調(diào)控難題提供了借鑒［7-15］。本文提出一種基于多強(qiáng)化學(xué)習(xí)智能體架構(gòu)的電網(wǎng)運(yùn)行方式調(diào)節(jié)方法，為解決電網(wǎng)運(yùn)行方式的自動(dòng)制定提供一個(gè)通用平臺(tái)。首先，將電網(wǎng)運(yùn)行方式制定的問(wèn)題描述為MDP，收集電網(wǎng)潮流信息形成狀態(tài)空間（包括線(xiàn)路功率、母線(xiàn)電壓、發(fā)電機(jī)輸出功率和電網(wǎng)負(fù)荷等信息），將多種控制目標(biāo)和安全約束建模為強(qiáng)化學(xué)習(xí)智能體的獎(jiǎng)勵(lì)值（包括基態(tài)獎(jiǎng)勵(lì)值和故障工況獎(jiǎng)勵(lì)值）。其次，提出兩階段的智能體訓(xùn)練框架，可使用多個(gè)強(qiáng)化學(xué)習(xí)智能體來(lái)自動(dòng)調(diào)節(jié)不同類(lèi)型的可控資源。在第一階段使用發(fā)電機(jī)有功調(diào)整進(jìn)行集中式訓(xùn)練，其控制空間由選定的發(fā)電機(jī)有功功率集合構(gòu)成；在第二階段使用局部變電站負(fù)荷轉(zhuǎn)移進(jìn)行分布式訓(xùn)練，其控制空間由變電站負(fù)荷有功功率構(gòu)成；在每個(gè)負(fù)荷轉(zhuǎn)移控制空間中，所選中的變電站之間的負(fù)荷有功總和與功率因數(shù)保持不變。大量的數(shù)值仿真試驗(yàn)結(jié)果表明，該方法在考慮多種故障工況下可調(diào)節(jié)傳輸線(xiàn)路功率，自動(dòng)搜索得到滿(mǎn)足電網(wǎng)安全約束的運(yùn)行方式。

本文首先介紹電網(wǎng)運(yùn)行方式的數(shù)學(xué)模型和安全約束，以及SAC（最大熵）強(qiáng)化學(xué)習(xí)算法；然后給出所提方法的技術(shù)方案細(xì)節(jié)，包括多智能體框架設(shè)計(jì)、獎(jiǎng)勵(lì)值設(shè)計(jì)、狀態(tài)空間和控制空間的制定以及算法的實(shí)現(xiàn)流程；最后，在某實(shí)際電網(wǎng)模型中驗(yàn)證該方法的有效性。

2 電網(wǎng)運(yùn)行方式模型與強(qiáng)化學(xué)習(xí)算法

2.1 電網(wǎng)運(yùn)行模型

本文主要考慮電網(wǎng)規(guī)劃和運(yùn)行中的準(zhǔn)穩(wěn)態(tài)，包括故障前的基態(tài)以及故障后的運(yùn)行工況。為了保證電網(wǎng)的安全運(yùn)行，需時(shí)刻滿(mǎn)足多種安全約束條件。為了描述電力系統(tǒng)的穩(wěn)態(tài)特性，通常對(duì)發(fā)電機(jī)、母線(xiàn)、負(fù)荷、輸電線(xiàn)路和變壓器等電力元件進(jìn)行建模，形成相應(yīng)的代數(shù)方程。潮流求解通常使用牛頓-拉夫遜計(jì)算方法，得到有效的解。電網(wǎng)的準(zhǔn)穩(wěn)態(tài)運(yùn)行模型由式（1）—（12）給出：

式中：Gi、Di、Bi分別為與母線(xiàn)i相連的發(fā)電機(jī)集合、負(fù)荷集合、母線(xiàn)集合；和分別為發(fā)電機(jī)n輸出的有功功率和無(wú)功功率；和分別為負(fù)荷m的有功功率和無(wú)功功率；gi和bi分別為母線(xiàn)i的電導(dǎo)和電納；y為線(xiàn)路標(biāo)識(shí)；Pg，i和Qg，i分別為母線(xiàn)i的發(fā)電機(jī)有功功率和無(wú)功功率；Pd，i和Qd，i分別為母線(xiàn)i的負(fù)荷有功功率和無(wú)功功率；和分別為發(fā)電機(jī)k的有功功率下限和上限；和分別為發(fā)電機(jī)k的無(wú)功功率下限和上限；和分別為母線(xiàn)i電壓幅值Ui的下限和上限；為線(xiàn)路ij的視在功率上限；gij和bij分別為線(xiàn)路ij的電導(dǎo)和電納；bij0為線(xiàn)路ij的初始電納；θi和θj分別為母線(xiàn)i和j的電壓相角；Pij和Qij分別為從母線(xiàn)i到母線(xiàn)j的有功功率和無(wú)功功率；ΩL為傳輸線(xiàn)路集合；ΩT為變壓器集合。

式（7）—（10）為電網(wǎng)安全運(yùn)行的不等式約束，分別描述各種電力設(shè)備的安全極限，要求所有的線(xiàn)路潮流、發(fā)電機(jī)輸出和電壓幅值均運(yùn)行在其物理極限以?xún)?nèi)。

電網(wǎng)合理的運(yùn)行方式可考慮多種控制目標(biāo)，即在滿(mǎn)足上述所有約束條件的同時(shí)，盡量減少發(fā)電成本或輸電網(wǎng)損。以最小化發(fā)電成本為控制目標(biāo)見(jiàn)式（13），以最小化輸電網(wǎng)損為控制目標(biāo)見(jiàn)式（14）：

式中：c(k)為發(fā)電機(jī)k的發(fā)電成本；Ploss(ij)為線(xiàn)路ij的網(wǎng)損。

2.2 強(qiáng)化學(xué)習(xí)算法

強(qiáng)化學(xué)習(xí)算法是人工智能的一個(gè)重要分支。與監(jiān)督式學(xué)習(xí)和無(wú)監(jiān)督式學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)智能體的訓(xùn)練過(guò)程需與物理系統(tǒng)或仿真環(huán)境不斷互動(dòng)，通過(guò)觀(guān)測(cè)狀態(tài)空間給出相應(yīng)的控制動(dòng)作，從環(huán)境中獲得獎(jiǎng)勵(lì)值。強(qiáng)化學(xué)習(xí)智能體通常使用大量的樣本訓(xùn)練，以最大化獎(jiǎng)勵(lì)值的積累，達(dá)到既定控制目標(biāo)。使用強(qiáng)化學(xué)習(xí)算法的控制問(wèn)題可建模為MDP，包括狀態(tài)空間S、動(dòng)作空間A、轉(zhuǎn)移概率p、獎(jiǎng)勵(lì)函數(shù)R。在每個(gè)控制迭代步驟t中，智能體在狀態(tài)空間S中觀(guān)察狀態(tài)為st，在A(yíng)中選擇并執(zhí)行動(dòng)作at，獲得一個(gè)標(biāo)量獎(jiǎng)勵(lì)值r（st，at）。智能體的決策行為定義為策略π：p（A）←S，該控制策略將狀態(tài)空間映射到控制動(dòng)作的概率分布。強(qiáng)化學(xué)習(xí)智能體的控制性能好壞通常用Q值函數(shù)來(lái)描述，智能體的控制目標(biāo)是找到最優(yōu)策略，以最大化獎(jiǎng)勵(lì)的期望值。

本文選取SAC算法。SAC在訓(xùn)練過(guò)程中可同時(shí)最大化獎(jiǎng)勵(lì)的期望值和熵，相比于其他強(qiáng)化學(xué)習(xí)算法，其在樣本使用效率和穩(wěn)定性方面表現(xiàn)出了更好的性能［14］。在控制策略的目標(biāo)函數(shù)中，平衡系數(shù)α決定熵項(xiàng)與獎(jiǎng)勵(lì)值的權(quán)重，從而控制最優(yōu)策略的隨機(jī)采樣程度。值得注意的是，如果使用固定的平衡系數(shù)α，那么SAC 智能體會(huì)隨著訓(xùn)練的樣本增多而變得不穩(wěn)定，為了解決該問(wèn)題，本文采用自動(dòng)更新平衡系數(shù)的方法來(lái)提升智能體訓(xùn)練的收斂速度和穩(wěn)定性。平衡系數(shù)可以隨著控制策略的更新而自動(dòng)變化，以探索更多的可行解。具體的實(shí)現(xiàn)方法是將平均熵約束添加到原始目標(biāo)函數(shù)中，同時(shí)允許熵在不同狀態(tài)下發(fā)生變化。目標(biāo)函數(shù)為：

式中：πt為時(shí)刻t的控制策略；π0為初始控制策略；H(πt)為策略是πt時(shí)的熵值；H0為期望的最小熵值。

平衡系數(shù)的損失函數(shù)為：

3 技術(shù)方案

3.1 系統(tǒng)設(shè)計(jì)

強(qiáng)化學(xué)習(xí)智能體可提供預(yù)防性和矯正性控制措施，以確保電網(wǎng)在多種運(yùn)行工況下的安全性。在訓(xùn)練智能體搜索電網(wǎng)最優(yōu)運(yùn)行方式過(guò)程中，所考慮的約束條件包括電網(wǎng)交流潮流方程、發(fā)電機(jī)功率極限、電壓極限和輸電線(xiàn)路的極限（包括熱極限和穩(wěn)定極限）。多強(qiáng)化學(xué)習(xí)智能體的電網(wǎng)潮流自動(dòng)調(diào)節(jié)架構(gòu)如圖1所示，包括離線(xiàn)訓(xùn)練模塊和在線(xiàn)應(yīng)用模塊。

圖1 多強(qiáng)化學(xué)習(xí)智能體的電網(wǎng)潮流自動(dòng)調(diào)節(jié)架構(gòu)

離線(xiàn)訓(xùn)練模塊分為發(fā)電機(jī)控制階段（第一步）和負(fù)荷控制階段（第二步）。這兩個(gè)階段都包括3個(gè)子模塊，即電網(wǎng)環(huán)境、智能體和經(jīng)驗(yàn)池。

1）電網(wǎng)環(huán)境子模塊采用電網(wǎng)模型和運(yùn)行數(shù)據(jù)作為輸入，從數(shù)據(jù)文件中提取電網(wǎng)狀態(tài)信息，啟動(dòng)強(qiáng)化學(xué)習(xí)智能體訓(xùn)練過(guò)程。該模塊使用交流潮流求解程序來(lái)計(jì)算獎(jiǎng)勵(lì)函數(shù)值。

2）智能體子模塊從智能體的控制動(dòng)作策略中更新神經(jīng)網(wǎng)絡(luò)參數(shù)，并根據(jù)狀態(tài)輸入提供控制動(dòng)作at。

3）經(jīng)驗(yàn)池子模塊從另外兩個(gè)子模塊收集（st，at，r，st+1）作為樣本數(shù)據(jù)，用于更新控制策略和Q值函數(shù)的神經(jīng)網(wǎng)絡(luò)。

在施加發(fā)電機(jī)控制后，使用交流潮流求解程序?qū)﹄娋W(wǎng)進(jìn)行安全評(píng)估。如果部分傳輸線(xiàn)路過(guò)載問(wèn)題仍然存在，則將第一階段得到的最優(yōu)控制策略施加到電網(wǎng)模型中，作為第二階段負(fù)荷控制的輸入，繼續(xù)訓(xùn)練第二階段的負(fù)荷控制智能體，以解決剩余的線(xiàn)路過(guò)載問(wèn)題。

在線(xiàn)使用模塊使用第一階段由智能體搜索到的最優(yōu)控制策略文件作為輸入。在第二個(gè)階段控制完成之后，將最佳的控制措施加入到電網(wǎng)運(yùn)行方式中，該文件則是多強(qiáng)化學(xué)習(xí)智能體的最終輸出。

3.2 狀態(tài)空間與動(dòng)作空間

在第一階段中，使用發(fā)電機(jī)功率控制的狀態(tài)空間定義為向量Sg=（P，U，G），其中P為被控區(qū)域內(nèi)的線(xiàn)路有功功率向量，U為同一區(qū)域內(nèi)的母線(xiàn)電壓幅值向量，G為發(fā)電機(jī)有功功率輸出向量。動(dòng)作空間Ag定義為G，作為調(diào)節(jié)電網(wǎng)傳輸線(xiàn)路有功功率的控制措施。

在第二階段中，使用分布式負(fù)荷轉(zhuǎn)移控制，其狀態(tài)空間定義為向量Sd=（P，U，D），其中D為變電站負(fù)荷向量。動(dòng)作空間Ad定義為負(fù)荷轉(zhuǎn)移的控制措施，需滿(mǎn)足所選中變電站之間的負(fù)荷有功總和與功率因數(shù)保持不變。負(fù)荷轉(zhuǎn)移智能體進(jìn)行調(diào)控前，會(huì)搜索網(wǎng)架結(jié)構(gòu)和設(shè)備運(yùn)行狀態(tài)來(lái)選擇可能的轉(zhuǎn)移方式，從而確保所選變電站之間負(fù)荷轉(zhuǎn)移的物理可行性。為了保持不同類(lèi)型數(shù)據(jù)的一致性，在訓(xùn)練強(qiáng)化學(xué)習(xí)智能體的過(guò)程中對(duì)狀態(tài)值和動(dòng)作值都進(jìn)行了歸一化處理。

本文所提出的基于強(qiáng)化學(xué)習(xí)算法自動(dòng)調(diào)節(jié)電力網(wǎng)絡(luò)潮流的方法具有良好的擴(kuò)展性，可根據(jù)不同需求將多元化調(diào)控手段添加至控制空間中對(duì)強(qiáng)化學(xué)習(xí)智能體進(jìn)行訓(xùn)練，例如線(xiàn)路投切狀態(tài)、變電站母線(xiàn)分裂等拓?fù)渥兓?4］。

3.3 獎(jiǎng)勵(lì)值設(shè)計(jì)

強(qiáng)化學(xué)習(xí)算法的獎(jiǎng)勵(lì)值是智能體在每個(gè)控制迭代過(guò)程中表現(xiàn)好壞的評(píng)價(jià)。有效的獎(jiǎng)勵(lì)值設(shè)計(jì)可以加速智能體訓(xùn)練的收斂速度，提升調(diào)控性能。本文的控制目標(biāo)是獲取滿(mǎn)足基態(tài)和故障條件下電網(wǎng)安全約束的最優(yōu)運(yùn)行方式，即在基態(tài)和故障（電網(wǎng)中的傳輸線(xiàn)路故障）工況下聯(lián)絡(luò)線(xiàn)潮流均不越限，被控區(qū)域必須能夠保持基態(tài)和“N－1”故障后的安全性。因此，智能體的獎(jiǎng)勵(lì)值函數(shù)定義為故障獎(jiǎng)勵(lì)與基態(tài)獎(jiǎng)勵(lì)之和，即：

式中：rcon為故障工況下的獎(jiǎng)勵(lì)值；rbase為基態(tài)工況下的獎(jiǎng)勵(lì)值；Pfrom和Pto分別為在輸電線(xiàn)路首端和末端的有功功率測(cè)量值；Plimit為該線(xiàn)路的有功上限，代表線(xiàn)路熱極限或穩(wěn)定限額；a和b為獎(jiǎng)勵(lì)值系數(shù)；N為線(xiàn)路總數(shù)；h為基態(tài)工況下線(xiàn)路個(gè)數(shù)計(jì)數(shù)器；l為“N－1”故障工況下線(xiàn)路個(gè)數(shù)計(jì)數(shù)器。

rcon可有效量化“N－1”故障后被控區(qū)域內(nèi)線(xiàn)路功率的越限程度，rbase評(píng)估當(dāng)前拓?fù)浣Y(jié)構(gòu)不變的前提下線(xiàn)路功率的越限情況。獎(jiǎng)勵(lì)值的計(jì)算流程如圖2所示。

圖2 獎(jiǎng)勵(lì)值計(jì)算流程

3.4 算法實(shí)現(xiàn)

算法實(shí)現(xiàn)流程見(jiàn)表1，程序使用Python 3.7 版本編寫(xiě)。其中：第1—13行給出了發(fā)電機(jī)強(qiáng)化學(xué)習(xí)智能體的訓(xùn)練方法，第7—10 行生成馬爾可夫元組，用于更新策略和Q值函數(shù)的神經(jīng)網(wǎng)絡(luò)參數(shù)；第11—13行，當(dāng)智能體收集樣本數(shù)大于batch_size（采樣批量大小）時(shí)，控制策略和Q值函數(shù)的神經(jīng)網(wǎng)絡(luò)參數(shù)隨機(jī)更新，這個(gè)過(guò)程與負(fù)荷轉(zhuǎn)移智能體的控制過(guò)程類(lèi)似；第15—28 行給出了使用發(fā)電機(jī)作為控制手段未能完全解決線(xiàn)路越限問(wèn)題后，使用負(fù)荷轉(zhuǎn)移智能體的訓(xùn)練過(guò)程。

表1 多智能體潮流控制算法

4 算例分析及討論

為了驗(yàn)證所提方法的有效性，本文采用浙江電網(wǎng)實(shí)際電網(wǎng)模型進(jìn)行驗(yàn)證。該電網(wǎng)模型文件（浙江地區(qū)）包括6 500 條母線(xiàn)、600 臺(tái)發(fā)電機(jī)、6 000條線(xiàn)路和4 300臺(tái)變壓器。為了展示多強(qiáng)化學(xué)習(xí)智能體在不同調(diào)控階段的性能，進(jìn)行兩個(gè)測(cè)試：第一個(gè)測(cè)試針對(duì)集中式發(fā)電機(jī)智能體的訓(xùn)練與性能測(cè)試，選取的金華分區(qū)電網(wǎng)包括224 條母線(xiàn)、231條輸電線(xiàn)路和7臺(tái)發(fā)電機(jī)，代表2019年1月的電網(wǎng)運(yùn)行工況；第二個(gè)測(cè)試使用2019年10月的浙江電網(wǎng)運(yùn)行方式文件，綜合測(cè)試發(fā)電機(jī)智能體和負(fù)荷控制智能體的調(diào)控性能。

在第一個(gè)算例測(cè)試中，使用大型發(fā)電機(jī)組來(lái)訓(xùn)練SAC智能體，其狀態(tài)空間維數(shù)為462（包含母線(xiàn)電壓、線(xiàn)路功率、發(fā)電機(jī)有功功率），動(dòng)作空間維數(shù)為7（代表7 臺(tái)所選區(qū)域內(nèi)的發(fā)電機(jī)組有功出力）。該智能體的訓(xùn)練迭代步驟及智能體性能如圖3所示。由圖3（a）可以看出，同時(shí)使用7臺(tái)發(fā)電機(jī)組訓(xùn)練出來(lái)的SAC智能體，可以在20個(gè)訓(xùn)練樣本后成功收斂，即完全解決基態(tài)與故障工況下的線(xiàn)路過(guò)載問(wèn)題。圖3（b）給出了7 臺(tái)發(fā)電機(jī)組在不同迭代步數(shù)中的有功功率輸出。

圖3 第一階段使用發(fā)電機(jī)智能體訓(xùn)練進(jìn)程與效果

在第二個(gè)算例測(cè)試中，當(dāng)完成第一階段發(fā)電機(jī)智能體訓(xùn)練后，智能體并未完全解決線(xiàn)路過(guò)載問(wèn)題，即僅通過(guò)調(diào)整發(fā)電機(jī)組有功出力的方式無(wú)法找到同時(shí)滿(mǎn)足基態(tài)和故障工況下的安全電網(wǎng)運(yùn)行方式。其原因在于所選7臺(tái)發(fā)電機(jī)組的地理位置距離越限線(xiàn)路較遠(yuǎn)，調(diào)控靈敏度過(guò)低，在調(diào)節(jié)金華分區(qū)電網(wǎng)局部線(xiàn)路潮流過(guò)程中具有局限性。因此，需要將負(fù)荷轉(zhuǎn)移控制作為輔助調(diào)控手段，以解決局部線(xiàn)路過(guò)載問(wèn)題。在第二階段智能體訓(xùn)練過(guò)程中，訓(xùn)練負(fù)荷轉(zhuǎn)移智能體可同時(shí)調(diào)節(jié)該局部區(qū)域6個(gè)變電站有功負(fù)荷，其狀態(tài)空間維度為453（包括母線(xiàn)電壓、線(xiàn)路功率和負(fù)荷有功值），動(dòng)作空間維度為5，而第6 個(gè)變電站負(fù)荷吸收其余5 個(gè)變電站負(fù)荷總的有功變化，訓(xùn)練過(guò)程中保持負(fù)荷的功率因數(shù)不變。所選中的6個(gè)變電站之間負(fù)荷轉(zhuǎn)移的物理可行性由網(wǎng)架結(jié)構(gòu)和變電站間聯(lián)絡(luò)設(shè)備運(yùn)行狀態(tài)確定。該強(qiáng)化學(xué)習(xí)智能體的控制結(jié)果如圖4 所示，即負(fù)荷控制智能體迭代30 次之后，可成功解決局部線(xiàn)路過(guò)載的問(wèn)題。

圖4 第二階段使用變電站負(fù)荷轉(zhuǎn)移智能體訓(xùn)練進(jìn)程與效果

5 結(jié)語(yǔ)

本文提出一種基于多強(qiáng)化學(xué)習(xí)智能體架構(gòu)的電網(wǎng)運(yùn)行方式調(diào)節(jié)方法，包括訓(xùn)練集中式發(fā)電機(jī)智能體和分布式負(fù)荷轉(zhuǎn)移智能體，以自動(dòng)搜索滿(mǎn)足基態(tài)和故障工況下多種安全約束的可行電網(wǎng)運(yùn)行方式。智能體的訓(xùn)練和測(cè)試過(guò)程采用帶有自適應(yīng)平衡系數(shù)的SAC算法，該方法在2019年浙江電網(wǎng)運(yùn)行方式計(jì)算中得到了測(cè)試。使用兩階段的控制方式，SAC 智能體可自動(dòng)尋找到滿(mǎn)足多種安全約束的電網(wǎng)運(yùn)行方式，有效減輕工程師手動(dòng)調(diào)節(jié)電網(wǎng)運(yùn)行方式的負(fù)擔(dān)。

下一階段研究方向包括：

1）進(jìn)一步提升適用于電網(wǎng)運(yùn)行方式自動(dòng)調(diào)節(jié)的強(qiáng)化學(xué)習(xí)算法訓(xùn)練速度和控制性能。

2）考慮更加復(fù)雜的電網(wǎng)運(yùn)行工況與多元化電網(wǎng)運(yùn)行方式調(diào)節(jié)措施，擴(kuò)充強(qiáng)化學(xué)習(xí)智能體的控制空間。

3）將本文所提方法的應(yīng)用場(chǎng)景進(jìn)一步擴(kuò)展至電網(wǎng)頻率控制、電網(wǎng)經(jīng)濟(jì)性運(yùn)行等方面。

4）在強(qiáng)化學(xué)習(xí)智能體獎(jiǎng)懲機(jī)制設(shè)置過(guò)程中，添加電網(wǎng)安全穩(wěn)定性約束，綜合考慮多調(diào)控目標(biāo)，進(jìn)一步實(shí)現(xiàn)電網(wǎng)運(yùn)行方式生成過(guò)程的自動(dòng)化。