基于多代理分散式控制的智能電網存儲管理

王麗君，蔚承建，胡恒愷，王 開，劉 凱

WANG Lijun1,WEIChengjian1,HU Hengkai1,WANG Kai2,LIU Kai3

1.南京工業大學 電子與信息工程學院，南京 210009

2.東南大學 信息科學與工程學院，南京 210018

3.解放軍理工大學 國防工程學院，南京 210007

1.College of Electronics and Information Engineering,Nanjing University of Technology,Nanjing 210009,China

2.Department of Information Science and Engineering,Southeast University,Nanjing 210018,China

3.Defence College of Engineering,PLA University of Science and Technology,Nanjing 210007,China

智能電網，又被稱為電網“高速公路”，是當今國際最前沿的新能源產業之一，已成為各國爭相研發的熱點。智能電網發展的一個顯著特征是儲能設備的應用，儲能設備可以降低用戶對于峰值電力的需求，減小電力需求的波動。因此在智能電網中，儲能設備是實現智能電網的重要基礎之一[1-3]。

智能電網的另一個重要組成部分是智能電表。智能電表可以獲取當前電網中各電力供應商的信息，從而有效地管理家庭或公司的用電設備，節省用戶的用電花費。在智能電網中，電價隨著用戶需求不斷動態變化著，電價與用戶需求形成擬線性關系，即需求越大電價越高。儲能設備在用電高峰期為用電設備供應電能，降低用電高峰期對電力發電機組的需求，從而可以降低能源成本和CO2的排放量。然而，如果大量的儲能設備在同一時刻接入電網進行充電，將會使電網負載過大，導致用戶花費提高及CO2排放量的增大，甚至有可能會損壞當前電網。因此，如何對儲能設備進行有效的管理是關鍵問題所在。

多代理系統（Multi-agent Systems，MAS）模型作為分析系統性能的基本方法已受到很多研究者的關注[4-5]，多代理技術被普遍認為是管理和控制智能電網的一個有效途徑。隨著可以監視和控制家庭設備的智能電表的出現，軟件Agent可嵌入到智能電表中作為家庭或公司用電設備的控制管理者。在當前的電網中，基于Agent技術的存儲管理應用還比較少。目前只有間歇性發電設備（如太陽能發電，風能發電）使用了大型的電力存儲設備[6]。首先考慮智能電表優化家庭電力使用的是Daryanian[7]，他考慮了家庭儲能設備的管理方法；Houwing[8]提出了基于Agent技術的熱電聯供設備的優化算法；Vandael[9]利用MAS模型管理了混合動力汽車的儲能設備；Vytelingum[10]研究了基于代理的智能電網微存儲管理，提出了一種依據市場預測價格自適應學習的存儲策略，使得實際存儲策略接近最優存儲策略，社會福利顯著提高。但其中Agent只采用了簡單的學習策略，而沒有考慮Agent之間的交互問題，所以鑒于智能電網對未來低碳經濟的重要性，本文進一步發展了Vytelingum的研究工作，提出來Agent更有效的學習策略，并考慮了Agent之間的相互學習，使得存儲策略更加逼近于最優存儲策略，社會福利最大化。

1 模型描述

將每天分成T個固定時間段。每天，Agent從電力供應商買入電量、儲能設備存儲電量。Agent集合的用電需求將會呈現出一種規律變化模式。下面具體描述Agent及相應市場模型。

1.1 Agent描述

設用戶Agent集合為 A，一天的時間段集合J={1,2,…,T}，一般可將T設為48，即每半小時為一個時間段。Agent的目標是最小化用戶的用電成本。假設Agent a∈A有一個基本固定的使用電量需求組合求。對于Agent a，儲能設備的最大儲電容量為cam，存儲效率為 μa，單位電量存儲成本為ma，即如果儲能設備充入q電量，但只能釋放出μaq電量，用戶花費的存儲成本為maq。

Agent代表自利的用戶，目標是最小化用電量成本，因此需要優化儲能設備的當日存儲策略

1.2 電力市場模型

在電力市場模型中，主要考慮市場當中的價格機制，以及用戶的存儲策略。在此電力市場模型中，電力價格是由市場的總體電力需求決定的，所以需求的改變會直接影響市場中電價的變化。而家庭用戶的用電需求存在共同特性，如用戶在夜間用電量較少，而在傍晚的用電需求則會達到峰值，同時由于家庭用戶用電量存在周期性。根據這些特性，假設電力市場中用戶每日平均用電需求如圖1所示。

本文主要目的在于研究Agent自適應策略對于Agent本身以及系統的影響，因此在這里首先定義社會福利標準。

負載系數：用一天的48時段平均用電量比上當天峰值的用電量，理想值為1，較低的負載系數表明當前系統中含有較高的峰值用電量。

排碳量：在發電中會產生大量的CO2，這里用生產每度電（kWh）所產生的CO2來描述排碳量，理想值越低越好。每度電含碳量與電力總需求成正比關系，當電力市場中的總需求增大時，生產每度電所排出的CO2也相應提高。

圖1 用戶平均用電需求

2 最優存儲策略

在電力市場中，電價根據市場的總電量需求和供給決定的[10-11]。本文假設電價與用戶購買總電量成簡單的線性正比關系。根據家庭用戶普遍的用電特征，假設1天為周期性的用電情況，因此可以將1天作為一個研究周期，Agent的最優存儲策略就是使得用戶一天花費成本（實際使用電量成本和存儲成本）最小的策略。

為了計算最優存儲策略，假設Agent完全掌握市場信息，即Agent a掌握了其他Agent a′∈A的私有信息，即Agent a′的用電量、存儲效率單位電量存儲成本 ma′、存儲容量。同時每個Agent掌握了用電價格與用電量的關系。用戶在時間段 j電價可以定義為：

Agent a一天花費總成本等于各個時間段 j用電成本的總和，即：

其中ba表示Agent a的存儲策略組合，表示使用儲能設備的使用成本。

在這里，需要對Agent的電量存儲策略做進一步的說明。用戶每天負載的實際用電量基本上是保持不變的，為了最小化每天的用電成本，其儲能設備每天的總充電量乘以存儲效率等于總放電量，即并且用戶一天的實際用電量經歷一個高低變化的循環過程，從而可以合理地估計，作為容量有限的儲能設備，也一定會經歷充放電的循環過程。

在將Agent最優存儲策略數學化描述之前，先介紹一下納什均衡的概念。納什均衡[12-13]：假設有n個局中人參與博弈，在給定其他人策略的條件下，每個局中人都選擇自己的最優策略（個人最優策略可能依賴于也可能不依賴于他人的策略），從而使自己利益最大化。所有局中人的策略構成一個策略組合（Strategy Profile）。納什均衡指的是這樣一種策略組合，這種策略組合是由所有局中人的最優策略組成。即在給定別人策略的情況下，沒有人愿意打破這種策略組合（均衡狀態），在此狀態之下，任何一個局中人單方面改變自己的策略都不會使自己的利益增大。

在電力市場中，用戶電價 pj是由所有用戶在時間段 j的總購買的電量決定的。因此agent a的用電成本依賴于其他Agent的存儲策略，而所有Agent都會選擇使自己用電成本最小的存儲策略，由于市場信息是完全透明的，即每個Agent都掌握了其他Agent的私有信息，因此每個Agent都會根據其他Agent的策略選取最優存儲策略即滿足納什均衡時的存儲策略，式（5）的多目標函數定義了Agent的最優存儲策略。

B={ba1，ba2，…，ban} 是 Agent的 存 儲 策 略 集 合 ，costai(·)在公式（4）中定義，表示儲能設備初始剩余電量，且式中所有變量大于等于0。約束①表示充電量不得超過儲能設備容量；約束②表示一天的充電量必須全部用完；約束③表示每一時間段的放電量不超過當前時刻儲能設備的剩余電量；約束④表示每一時間段的充電量不超過允許最大充電容量；約束⑤表示每一時間段的儲能設備剩余電量；約束⑥每一時間段的儲能設備可充電量；約束⑦考慮了用戶不可以向電力市場賣電；約束以同時充電與放電。從上述優化目標函數以及限制條件，就可以計算出最優存儲策略bai*以及最優的存儲容量cai*。

3 電力市場的ZIPML Agent

在上述計算最優存儲策略的時候，假設每一時間段j的用電量和電價都是已知的，然而在電力市場中用戶在時間段 j的實際電價需要Agent預測。所以Agent必須通過學習算法不斷優化自己的存儲策略，從而使得存儲策略逼近最優存儲策略。學習算法的有效性將直接決定Agent在電力市場中的表現。因此本文基于CDA市場中ZIP Agent[14]的學習策略，提出了適應電力市場的ZIPML Agent用于儲能設備的管理。

3.1 ZIPML Agent最佳存儲策略

針對實際電價需要Agent預測，且在每天同一時間段 j的電價隨著用戶實際購買電量的變化（由于用戶使用儲能設備導致）而不斷變化，本文所考慮的存儲策略是基于前一天市場的最優存儲策略，Agent首先需要預存儲容量。

Agent a的目標是根據預測價格 pa和固定使用電量la優化下一天的最優存儲策略ba，最優化成本函數如下：

由于市場的價格不斷改變，Agent每天也必須不斷改變其存儲容量。同時由于儲能設備存在使用成本要通過學習以更好地適應市場，降低花費。在這里用ca表示Agent經過學習后的實際存儲容量上界，即式（6）中 ca滿足，其中 t表示Agent學習的天數。

3.2 單Agent學習

首先考慮Agent存儲策略的學習，Agent需要根據優化的當前最優存儲策略式（6）算出）自適應調整實際存儲策略?；贑DA市場下的ZIP策略提出了適應電力市場的ZIPML策略。具體存儲策略自適應學習算法形式如下：

3.3 多Agent相互學習

4 實驗分析

根據英國用戶平均用電需求，使用java程序編寫了存儲代理模擬器，用于模擬代理策略對于電力價格及自身利益的影響。為了驗證自適應學習算法的有效性，實驗模擬了1 000個Agent 100天內的存儲策略變化趨勢。參照了用戶平均用電需求，根據圖1設置用戶電力需求。同時假設Agent在未采用儲能設備時每日具有相同的基本固定用電需求(? j∈J )，單位電量存儲成本ma=0.1，存儲效率 μa=0.95，學習系數 λa∈[0 .05，0.1] ，沖量系數γa∈[0 .3，0.6]，初始剩余電量設置為0.5 kWh，初始最大存儲容量(0)設置為5 kWh，初始存儲策略)(? j∈J) 設置為0 kWh。

為了簡化納什均衡的計算首先考慮由1 000個同質Agent組成的系統，其中每個Agent的固定用電需求都如圖1所示。由于所有Agent都有相同的私有信息，因此式（5）中所有子目標 cos ta(·)完全相同，式（5）可由多目標優化問題轉化為一個二次優化問題。根據上述設置，首先算出系統的納什均衡，圖2給出了納什均衡策略，其中大于0的部分表示給儲能設備充電；小于0的部分表示儲能設備放電。從圖中可以明顯看出，Agent在夜間（低電價）存儲電力，在傍晚（高電價）使用存儲的電力。

圖2 最優存儲策略

圖3表示了其中一個Agent在100天內的存儲策略變化趨勢，可以看出在100天的時候實際存儲策略已經非常逼近最優存儲策略。可以看出Agent經過30天的自適應學習以后已經接近最優存儲策略，隨著學習天數的增加，與最優存儲策略更加逼近。在市場交易末期最大存儲容量收斂于1.7 kWh。這就表明對于一般用戶，只需要容量為2 kWh的儲能設備就可以很好地優化管理用電需求。開始逼近最優用電成本，并收斂于最優成本，而在第100天的時候最優用電成本與實際用電成本相比已達到了99.98%。圖7和圖8顯示了系統的社會福利，第10天時碳排放量已經明顯減小，100天后碳排放量已減少至原來的93.6%。負載系數也由初始狀態下的66%上升至92%，這表明當前系統中用電需求量已經達到平坦狀態，起到了削峰的效果，從而增加了電網的可靠性，提高了電網的使用效率。

圖5 系統價格

上述實驗表明，ZIPML策略可以快速有效地逼近納什均衡策略。有了這個性質之后，需要對ZIPML策略的有效性進行研究，假設系統中每個Agent有著各不相同的固定用電需求，在這里用電需求的設置為符合圖1的正態分布。其中50%的Agent使用Vytelingum提出的學習策略，50%的Agent使用ZIPML學習策略。

這里通過用戶節省花費的百分比來檢驗策略的有效性。從圖4中可以看出在當前的系統環境設置下，隨著時間的推移，第10天以后ZIPML Agent則可以更加有效地節省用電花費；最終ZIPML Agent可以為用戶節省6.1%的花費，優于Vytelingum Agent的5.6%。

圖4 ZIPML策略與Vytelingum策略比較

最后對于社會福利進行分析，研究在納什均衡狀態下，系統的集體利益是否被破壞[15]。系統中1 000個Agent的總體需求，用電需求的設置為符合圖1的正態分布。圖5中可以看到，隨著天數的增加，電價漸漸趨于平穩，30天后系統的電價已經接近平坦狀態。圖6顯示了用戶總用電成本與最優值的比較，Agent存儲策略經過25天左右的自適應學習以后，實際用電成本已

圖6 系統總成本

圖7 排碳量減少曲線圖

圖8 負載因素

5 結論

鑒于智能電網對未來低碳經濟的重要性，本文在Vytelingum的研究工作基礎上，考慮了Agent之間的相互學習，在此基礎上提出了更有效的基于多Agent技術的ZIPML算法，使得實際存儲策略逼近最優存儲策略。通過模擬實驗得出，ZIPML Agent相比于Vytelingum Agent可以更加有效地節省用電花費，約節省6.1%。用戶實際存儲策略經過一段時間后逐漸逼近最優存儲策略；系統總成本也逼近于最優值。負載因素逐漸逼近于1，即電網高峰期的負荷得到有效降低，排碳量也有明顯減少，驗證了該算法的有效性。

[1]U S Department-Of-Energy.Grid 2030：a national vision for electricity's second 100 years[EB/OL].（2003-02-01）.http：//www.ferc.gov/eventcalendar/files/20050608125055-grid-2030.pdf.

[2]Galvin R，Yeager K.Perfect power：how the micro grid revolution will unleash cleaner，greener[M].[S.l.]：More Abundant Energy.McGraw-Hill Professional，2008.

[3]MacKay D.Sustainable energy：without the hot air[M].[S.l.]：UIT Cambridge，2009.

[4]Exarchakos L，Leach M，Exarchakos G.Modelling electricity storage systems management under the influence of demandside management programmes[J].International Journal of Energy Research，2009，33（1）：62-76.

[5]van Dam K H，Houwing M，Bouwmans I.Agent-based control of distributed electricity generation with micro combined heat and power cross-sectoral learning for process and infrastructure engineers[J].Computers &Chemical Engineering，2008，32（1/2）：205-217.

[6]Korpaas M，Holen A T，Hildrum R.Operation and sizing of energy storage for wind power plants in a market system[J].International Journal of Electrical Power&Energy Systems，2003，25（8）：599-606.

[7]Daryanian B，Bohn R，Tabors R.Optimal demand-side response to electricity spot prices for storage-type customers[J].IEEE Transactions on Power Systems，1989，4（3）：897-903.

[8]Houwing M，Negenborn R R，Heijnen P W，et al.Least-cost model predictive control of residential energy resources when applying chp[M].London，UK：Power Tech，2007：425-430.

[9]Vandael S，Boucke N，Holvoet T，et al.Decentralized demand side management of plug-in hybrid vehicles in a smart Grid[C]//Autonomous Agents and MultiAgent Systems（AAMAS 2010），Toronto，Canada，2010.

[10]Vytelingum P，Voice T D，Ramchurn S D，et al.Agent-based micro-storage management for the smart grid[C]//Autonomous Agents And MultiAgent Systems（AAMAS 2010），Toronto，Canada.，2010.

[11]Williams J，Wright B.Storage and commodity markets[M].UIT，Cambridge：[s.n.]，1991.

[12]Osborne M J.An introduction to game theory[M].[S.l.]：Oxford University Press，2003.

[13]Weibull J W.Evolutionary game theory[M].Cambridge，MA：MIT Press，1995.

[14]Cliff D，Bruten J.Minimal-intelligence agents for bargaining behaviors in market-based environments，Technical Report HPL-97-91[R].1997.

[15]Holland A.Welfare losses in commodity storage games[C]//Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems，Budapest，2009：1253-1254.