基于相關均衡強化學習協同算法的多區域無功優化研究

吳雯美,陸江,譚敏,肖少華,韓傳家,郭樂欣,余濤

（1.興義供電局，貴州省興義市 562400；2.華南理工大學，廣東省廣州市 510640）

基于相關均衡強化學習協同算法的多區域無功優化研究

吳雯美1,陸江1,譚敏2,肖少華2,韓傳家2,郭樂欣2,余濤2

（1.興義供電局，貴州省興義市 562400；2.華南理工大學，廣東省廣州市 510640）

摘要：為了適應智能電網分布式發展趨勢，提出一種基于相關均衡強化學習（CEQ）的分區多目標無功優化算法，以解決數據海量、通信瓶頸、協調互動等相關問題。同時為響應國家低碳環保戰略，將碳排放引入到電力系統無功優化問題中，將其作為無功優化的目標之一。本文采用CEQ算法合理配置電力系統中控制變量，通過區域間的相關均衡博弈進行信息的溝通與共享實現分區多目標無功優化問題的尋優，有效解決了區域間信息共享機制受限和維數災難問題。IEEE標準9節點電力系統仿真算例表明，通過預學習與在線學習的結合該算法能有效快速的進行多區域無功優化問題求解。

關鍵詞：多區域無功優化；低碳電力；相關均衡；強化學習

0 引言

電力系統無功優化，是在已知系統結構參數、負荷以及滿足約束條件的前提下，通過對變壓器分接頭、無功補償設備的投入容量、發電機機端電壓等控制變量的優化計算，使系統的某一個或多個性能指標達到最優時的運行控制方案[1]。在數學上，無功優化屬于非線性混合整數規劃問題[2]。

隨著間歇性可再生能源的大量接入，電力系統正向著復雜化、非線性化的大系統發展，數據海量、通信瓶頸、協調互動問題也隨之產生[3]。由于地理位置分布廣泛而引起的高信息交換難度和成本問題，使得信息不可能全部送到控制中心進行集中決策[4]。現有的無功優化算法如傳統的無功優化算法如線性規劃、非線性規劃方法，以及一些基于人工智能的現代無功優化算法，如遺傳算法[5]、量子遺傳[6]、粒子群算法[7]、蜂群算法[8]等，都需要提前知道全網的全局信息再進行集中優化，難以應對大數據、通信瓶頸帶來的“維數災”以及協調互動問題，因此需要提出一種適用于新形勢下的無功優化算法。

另外，隨著全球氣候變暖等現象越來越受關注，“低碳生活”理念逐步深入人心。我國碳排放很大一部分來自于消耗化石能源較多的電力行業，因而，低碳電力技術研究對于應對全球氣候變暖有著重要的現實意義，如低碳電力系統規劃與運行[9]、低碳電力調度[10]。因此，本文從低碳電力的角度出發，將電網側碳排放與無功優化問題相結合，在無功優化模型的目標函數中引入電網側碳排放。

綜上分析，針對智能電網中通信瓶頸帶來的信息不能全部共享到調控中心，給集中式無功優化的信息收集造成限制，區域內“自治”、區域間“協調”是解決該問題的有效策略。因此本文建立分區協同無功優化模型，提出相關均衡強化學習（correlated Q-learning，CEQ）算法，通過區域之間的狀態-動作值函數矩陣信息交互和相關均衡合作博弈，實現多區域無功優化。

1　電網側碳排放模型

目前對電力行業碳排放的統計主要集中在發電側，以宏觀的方式通過發電側化石能源的消耗轉換得來的，而電網側碳排放則是將碳排放與電力系統潮流計算相結合，類比潮流分析得到與潮流類似的電網側碳排放流分布。與潮流不同的是，電網側碳排放流是一種依附于電網潮流而存在的，用于表征電力系統網架中任一支路碳排放的虛擬網絡流，可以理解為是對支路潮流添加的碳排放標簽[11]。電網側碳排放量應滿足與發電側碳排放量總量相等的原則。

設一網絡N有n個節點，h個發電機節點，t條支路，連接節點i和節點j的支路為Lij。

對于無損網絡，在潮流分布已知的情況下，Pij=Pji，那么發電機節點k對節點i的注入有功貢獻Pik可描述為：

式中：PGk為發電機節點k的輸出有功功率；αik表示發電機節點k對節點i的注入有功貢獻率，具體推導過程參見文獻[12]。

同理從節點i的總有功注入成分來看，發電機節點k對節點i的注入有功占節點i總注入有功的份額βik可描述為：

式中：Pi為節點i的總注入有功功率。

式中：h為發電機節點數。

2　多目標無功優化數學模型

電力系統無功優化是通過合理配置系統的控制變量改變系統的潮流分布，使得網絡的安全性、經濟性和環保性能達到綜合最優，本文選取電網側碳排放損耗、網損以及電壓穩定分量作為無功優化的目標。多目標無功優化模型主要包括目標函數和約束條件，其中約束條件主要有控制變量約束、狀態變量約束跟潮流約束。

2.1目標函數

針對電網側碳排放損耗、網損以及電壓穩定分量構成的多目標，先對每子目標進行說明。從環保角度考慮，要使得電網側的碳排放損耗最小，目標函數為：

從經濟性角度考慮，要使得電網的網損最小，目標函數為：

L的有功損耗，V和V分別表示節點i和節點j的電壓幅值，θ表示節點i和節點j的電壓相角差，gij表示支路Lij的電導，NL為支路集合。

從安全性角度考慮，要使得系統節點的綜合電壓穩定性最優，目標函數為：

本文電網側碳排放損耗、網損以及電壓穩定分量構成的無功優化的多目標函數分量，多目標函數表述為：

式中：λ1為電網側碳排放損耗的權重因子，λ2為網損的權重因子，λ3為電壓穩定分量的權重因子，權重因子取值滿足λ1∈(0,1]、λ2∈(0,1]、λ3∈(0,1]，且λ1+λ2+λ3=λ。

2.2約束條件

無功優化的約束條件有控制變量約束、狀態變量約束和潮流約束。控制變量選取無功投入容量Qc、變壓器變比KT，控制變量約束應該滿足：

式中：Nc為含可調無功投入容量的節點集合，Nk為可調節變比支路集合。

狀態變量有發電機的有功出力PG、無功出力QG和網絡節點電壓V，狀態變量應該滿足：

式中：NG為發電機節點集合，NB為網絡節點集合。

潮流約束方程有有功功率平衡約束和無功功率平衡約束，應滿足如下關系：

式中：PG、QG分別為發電機節點發出的有功功率與無功功率，PD、QD分別為負荷節點的有功功率與無功功率需求，gij、bij分別表示支路Lij的電導與電納，θij表示節點i和節點j的電壓相角差。

3　基于CEQ的分區無功優化

相關均衡的CEQ算法最先由Greewnald提出的[13]，相關均衡是聯合動作空間上的一個概率分布，每個智能體根據其它智能體的條件概率最大化自身的累積獎勵值[14]。

資格跡更新公式如下所示：

式中：ei,k(s,α)為第i個智能體在第k次迭代中對于聯合動作α的資格跡，γ為折扣因子，0≤γ≤1，λ為衰減因子，0≤λ≤1，s為狀態。

智能體Q矩陣的更新如下：

式中：Ri為第i個智能體的立即獎勵函數，α為學習因子，0≤α≤1，αg為聯合貪婪動作策略。獎勵函數設計為：

式中：下標-i表示除智能體i外的其它智能體集合，αi’表示智能體i除動作αi外的任意一個動作，π為動作概率，N、S、A(s)分別表示智能體集合、狀態集合、狀態s的動作集合。

電力系統無功優化一般采用就地平衡策略，具有明顯的區域性，因此可以將電網進行分區無功優化。在基于CEQ的無功優化算法中，每個控制變量即為一個智能體，每個智能體都可以觀測到其它智能體的Q值矩陣和當前動作值，然后各自分別求解自身的相關均衡，選擇動作值。如圖1：

圖1　無功優化分區框架圖Fig.1 Framework chart of regional reactive power optimization

進行無功優化時通過CEQ算法確定控制變量的取值，再進行潮流計算，結合潮流計算結果計算獎勵函數與狀態取值，進而用CEQ算法進行無功優化求解新的動作取值，即控制變量的取值，循環直至尋找的最優的動作值結束優化過程，無功優化流程如圖2所示：

綜上，基于CEQ的分區無功優化算法流程圖如圖3所示。

圖2　無功優化流程Fig.2 Reactive power optimization flowchart

4　算例及仿真分析

4.1仿真模型

本文采用IEEE9節點標準算例在Matlab7.10仿真平臺進行的仿真測試，借助Matpower4.1進行潮流計算。標準IEEE9節點電力系統有3臺發電機，3個負荷節點，9條支路。按照節點的分布及聯系將系統分為3個區域，如圖4所示：

如上圖按紅色虛線所示進行分區。區域之間進行信息通信，在基于CEQ的無功優化過程中進行信息交流與共享。選取節點5、7、9的無功補償容量作為控制變量。

圖3　算法流程圖Fig.3 Algorithm flowchart

圖4　IEEE9節點分區Fig.4 Node partition in IEEE 9-bus system

4.2仿真結果

Q學習是一個試錯學習的過程，在學習初期的隨機性和盲目性比較大，不適合直接應用于實際系統的在線優化。因此需要先進行預學習得到具有學習經驗的Q值矩陣，然后再進行在線學習。

經過大量的仿真分析，預學習過程的學習因子、折扣因子、資格跡衰減因子分別取值為0.94、0.10、0.50；在線學習過程的學習因子、折扣因子、資格跡衰減因子分別取值為0.40、0.10、0.30。

為響應低碳電力的政策，本文將電網側碳排放損耗作為無功優化的目標之一，IEEE9節點機組的碳排放強度如表1所示：

圖5(a)給出了預學習中目標函數的收斂曲線圖，圖5（b）給出了在線學習中目標函數的收斂曲線圖：

從圖5（a）可以看出CEQ經過一系列的試錯后，目標函數值收斂到了最小值，但是收斂時間較長，不能滿足電網實時性需求。從圖5（b）可以看出經過預學習后算法快速穩定的收斂，收斂時間由12.43s提高到了0.13s。

經CEQ算法仿真優化后的IEEE9節點無功配置方案如表2所示。

無功優化前后IEEE9節點系統的線損、電壓穩定分量、碳排放量比較結果如表3所示。

由上表可以看出無功優化后各項指標都得到了提升，其中電壓質量指標改善最大，性能指

表1　IEEE 9節點機組碳排放強度Tab.1 Carbon emission intensity of IEEE 9-bus system

圖5　目標函數收斂曲線Fig.5 Convergence curve of objective function

標提高了33.99%；線損值降低了2.83%；碳排放量降低了3.67%；總目標函數降低了9.26%。

為了驗證算法的有效性，將Q學習算法與CEQ算法分別進行100次仿真得到的各算法仿真結果對比統計表如表4所示。

從上表可以看出CEQ算法相比Q學習算法更快達到最優解，CEQ算法平均收斂時間0.22s，Q學習算法平均收斂時間0.68s。但缺點是CEQ算法的穩定性略差一點。CEQ算法收斂時間短且具有較好的穩定性可應用于多斷面擴展進行在線應用。

CEQ算法通過預學習后算法能快速尋優，為了進一步測試算法的性能，現在改變負荷斷面進行算法性能測試。將IEEE9節點系統負荷增加8%時Q學習算法和CEQ算法仿真目標函數收斂曲線對比結果如圖6所示。

當負荷出現微小波動時，CEQ算法通過區域間的相關均衡博弈仍能夠快速收斂到最小值。因此算法可以進行多斷面拓展，可以進一步應用到負荷動態變化的無功優化問題中，具有一定的應用前景。

5　結論

表2　無功補償容量配置方案Tab.2 Reactive power compensation capacity

表3　無功優化前后結果對比Tab.3 Results comparison before and after reactive power optimization

表4　仿真結果對比分析Tab.4 Analysis of simulation results

本文提出了一種分區CEQ無功優化協調算法，同時將電網側碳排放損耗引入到無功優化的目標函數當中，有利于低碳環保。分區CEQ無功優化算法可以在不知道全局信息數據的前提下，通過區域間的相關均衡合作博弈可以解決通信瓶頸問題。算例結果表明該算法可以有效的尋找最優解，且具有較快的收斂速度。因此，該算法可以很好的應對智能電網分布式的發展趨勢，具有很好的應用前景。

圖6　各算法收斂曲線Fig.6 Convergence curve of each algorithm

參考文獻

[1]許文超, 郭偉.電力系統無功優化的模型及算法綜述[J].電力系統及其自動化學報, 2003, 15(1):100-104.Xu Wenchao， Guo Wei.Summarize of reactive power optimization model and algorithm in electric system[J].Proceedings of the EPSA, 2003, 15(1): 100-104.

[2]王純子, 郭偉, 張斌.求解非線性混合整數規劃的算法設計與仿真[J].計算機科學與探索, 2013, 7(9):854-864.Wang Chunzi, Guo Wei, Zhang Bin.Algorithm design and simulation of solving nonlinear mixed integer programming problem[J].Journal of Frontiers of Computer Science and Technology, 2013, 7(9):854-864.

[3]吳雄, 王秀麗, 劉世民,等.微電網能量管理系統研究綜述[J].電力自動化設備, 2014, 34(10):7-14.Wu Xiong, Wang Xiuli, Liu Shiming, et al.Summary of research on micro-grid energy management system[J].Electric power automation equipment, 2014, 34(10): 7-14.

[4]孫宏斌, 張伯明, 吳文傳,等.自律協同的智能電網能量管理系統家族概念、體系架構和示例[J].電力系統自動化, 2014, 38(9), 1-5.Sun Hongbin, Zhang Boming, Wu Wenchuan, et al.Autonomous-synergetic energy management system family for smart grids: concept, architecture and cases [J].Automation of Electric Power Systems.2014, 38(9), 1-5.

[5]徐加利, 管章玉.協作無線網絡中基于遺傳算法的聯合中繼選擇與認知頻譜接入機制[J].新型工業化, 2014, 4(5): 41-47.Xu Jiali, Guan Zhangyu.Joint relay selection and cognitive spectrum access based on Genetic Algorithm in cooperative wireless networks [J].The Journal of New Industrialization, 2014, 4(5): 41-47.

[6]Saitoh A, Rahimi R, Nakahara M.A quantum genetic algorithm with quantum crossover and mutation operations [J].Quantum Information Processing, 2013, 13(3):737-755.

[7]Zhong-Yan L U, Deng J X, Wang Y H.Reactive Power Optimization Based on Particle Swarm Optimization Algorithm With Immunity[J].Power System Technology, 2008, 32(24): 55-59.

[8]任麗娜, 呂明月, 劉爽爽, 等.基于蜂群算法優化的變槳距自抗擾控制器[J].新型工業化, 2014, 4(6): 43-48.Ren Lina, Lv Mingyue, Liu Shuangshuang, et al .Pitch control using active disturbance rejection controller based on colony optimization algorithm [J].The Journal of New Industrialization, 2014, 4(6): 43-48.

[9]婁素華, 盧斯煜, 吳耀武, 等.低碳電力系統規劃與運行優化研究綜述[J].電網技術, 2013, 37(6): 1483-1490.Lou Suhua, Lu Siyu, Wu Yaowu, et al.An overview on low-carbon power system planning and operation optimization [J] .Power System Technology, 2013, 37(6): 1483-1490.

[10]陳啟鑫, 康重慶, 夏清,等.低碳電力調度方式及其決策模型[J].電力系統自動化, 2010, 34(12): 18-23.Chen Qixin, Kang Chongqin, Xia Qing, et al.Mechanism and modelling approach to low-carbon power Dispatch [J].Automation of Electric Power Systems, 2010, 34(12): 18-23.

[11]李保衛, 胡澤春, 宋永華, 等.電力碳排放區域分攤的原則與模型[J].電網技術, 2012, 36(7): 52-53.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for regional allocation of carbon emission from electricity sector [J].Power System Technology, 36(7): 52-53.

[12]李保衛, 胡澤春, 宋永華,等.用戶側電力碳排放強度的評估原則與模型[J].電網技術, 2012, 36(8):6-11.Li Baowei, Hu Zechun, Song Yonghua, et al.Principle and model for assessment on carbon emission intensity caused by electricity at consumer side [J].Power System Technology, 36(8): 6-11.

[13]Greenwald A R, Hall K.Correlated Q learning [J].Proceedings of the Twentieth International Conference on Machine Learning, 2002: 242-249.

[14]席磊， 張孝順， 程樂峰, 等.基于JADE多智能體動態博弈的自動發電控制仿真平臺研究 新型工業化, 2014, 4(11): 5-17.Xi Lei, Zhang Xiaoshun, Chen Lefeng, et al.Research on multi-agent simulation platform for AGC based on JADE[J].The Journal of New Industrialization, 2014, 4(11): 5-17.

Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm

WU Wen-mei1, LU Jiang1, TAN Min2, XIAO Shao-hua2, HAN Chuan-jia2, GUO Le-xin2, Yu Tao2
(1.Xingyi Power Supply Bureau, Xingyi Guizhou 562400, China; 2.South China University of Technology, Guangzhou Guangdong 510000, China)

Citation: WU Wen-mei, LU Jiang, TAN Min, et al.Multi-regional Reactive Power Optimization Based on Correlated Equilibrium Q-learning Collaborative Algorithm [J].The Journal of New Industrialization, 2015, 5(6): 33?40.

Abstract:In order to meet the development trend of smart grid, the multi-regional reactive power optimization algorithm based on the correlated equilibrium Q-learning (CEQ) algorithm is proposed to solve the problems of tremendous data, communication bottleneck and interaction.Meanwhile, in response to the national strategy of low carbon environmental protection, CO2emission is considered as one of the control objectives in reactive power optimization.In this paper, CEQ algorithm is adopted to allocate the control variables rationally.Then the best multiregional reactive power optimization method is obtained through the information communication and sharing which is realized by correlated equilibrium game among areas, thus offering a solution to the limited information-sharing mechanisms and curse of dimensionality problem effectively.The simulation of the IEEE 9-bus system indicates that CEQ algorithm solves the multi-regional collaborative reactive power optimization quickly and rationally with the combination of pre-learning and online learning.

Key words:multi-regional reactive power optimization; low-carbon electricity; correlated equilibrium; reinforcement learning

作者簡介：吳雯美(1971-)，女，本科，高級工程師，主要研究方向為電網規劃；陸江(1973-)，男，專科，工程師，主要研究方向為電網規劃；譚敏(1989-)，女，碩士，主要研究方向為電力系統優化運行；肖少華(1991-)，男，碩士，主要研究方向為配電網智能化與節能技術；韓傳家(1992-)，男，本科，主要研究方向為智能配網與節能技術；郭樂欣(1990-)，男，碩士，主要研究方向為電力系統優化運行；余濤(1974-)，男，博士，教授，主要研究方向為復雜電力系統的非線性控制理論和仿真。

*基金項目：中國南方電網科技項目資助（K-GZ2014-040）

本文引用格式：吳雯美,陸江,譚敏,等.基于相關均衡強化學習協同算法的多區域無功優化研究[J].新型工業化，2015，5(6)：33-40 DOI：10.3969/j.issn.2095-6649.2015.06.06