基于可進化模型預測控制的含電動汽車多微電網智能發電控制策略

范培瀟 楊 軍 溫裕鑫 柯 松 謝黎龍

基于可進化模型預測控制的含電動汽車多微電網智能發電控制策略

范培瀟 楊 軍 溫裕鑫 柯 松 謝黎龍

（武漢大學電氣與自動化學院 武漢 430072）

多微電網中的環境狀態、控制資源及偶然事件均具有強不確定性，而電動汽車在參與電網削峰填谷的同時也給發電控制帶來了挑戰。為此，該文提出一種基于可進化模型預測控制（LBMPC）的含電動汽車多微電網發電控制策略。首先，基于控制器交互的多微電網互聯結構，考慮了發電機端電壓調節和負荷頻率控制（LFC）之間的耦合關系，建立含電動汽車多微電網的發電控制模型；然后，設計了一種基于多智能體的控制器參數自適應算法：頻率控制器以實時頻偏和EV站輸出功率邊界為狀態集，以模型預測控制（MPC）控制器的可調參數矩陣作為動作集，以頻率偏差為獎勵函數指標，電壓控制器同理，從而實現MPC與PI控制器權重參數的自適應調整；最后，仿真結果表明，自動調壓（AVR）回路增加了有功功率干擾，對LFC控制器提出了更高的要求，與傳統控制和MPC算法相比，應用于控制器互聯結構的可進化模型預測控制器能夠在子微電網之間進行信息交換，并且根據環境狀態實時更新控制器參數，顯著提高了多微電網頻率控制過程的魯棒性和快速性。同時，與純深度確定性策略梯度（DDPG）控制器相比，該文提出的雙層控制結構在機器學習智能體出現故障無法正常輸出動作時，能更好地保證系統的安全穩定運行。

多微電網負荷頻率控制 電動汽車 發電機端電壓 多智能體算法 模型預測控制

0 引言

在“碳達峰”與“碳中和”的國家能源戰略背景下[1]，以化石能源為驅動力的常規發電機組逐漸被風力發電與光伏發電等可再生能源發電機組所代替[2]。而具有開發和延伸特性的微電網能夠充分促進這類具有強隨機性的分布式電源的大規模接入，從而得到了高速的發展建設[3]。同時，發展電動汽車（Electric Vehicle, EV）是保障低碳能源的趨勢，我國也將電動汽車作為戰略性新興產業，微電網的發展也促使電動汽車開始廣泛應用于電網的削峰填谷、抑制功率波動中[4]。

但是，在大規模電動汽車接入微電網的同時，孤島運行的微電網的電能質量也會下降，從而引起整個微電網的不穩定[5]。因此，新型微電網結構與穩定控制策略必須能夠自適應地應對各類外部環境狀態、控制資源及偶然事件中的強不確定性。

為了解決孤島單一微電網容量有限，容易受到各種非線性隨機波動的影響的問題[6-7]，各子微電網之間存在功率耦合關系的多微電網系統（Multi-Microgrid System, MMS）逐步被廣泛應用。但是，多微電網的結構組成復雜，其穩定控制面臨著更大的挑戰[8]，系統的頻率與發電機端電壓的穩定是衡量電能質量的標準。而現有研究也將PID[9-12]、模糊控制[13-15]等經典控制方法應用到多微電網的傳統結構中，以此改善孤島微電網系統的運行效果。但是，上述研究中，所選取的多微電網模型均只包含聯絡線間的功率交互，控制器之間不存在信息交互，難以實現各子微電網之間“去中心化”的協調控制；同時，上述研究中僅有文獻[12, 15]考慮了電動汽車參與微電網調控的情況，且相應的控制模型沒有考慮電動汽車站輸出邊界的隨機性。而事實上，電動汽車在參與電網削峰填谷、抑制功率波動的同時，其輸出功率約束邊界會受到用戶出行需求[16]、用戶充電行為[17]、電動汽車移動性[18]等因素的影響。進而，文獻[9,12-15]在負荷頻率控制（Load Frequency Control, LFC）過程中，忽略了發電機端電壓對系統有功功率平衡的影響，在實際情況中，兩者的調節過程具有強耦合性。而文獻[10-11]雖然考慮了端電壓調控過程所引起的有功功率擾動，但其與上述研究所采用的方法均依賴權重的優化求解、參數的設置或隸屬函數的建立，難以在控制模型中設定控制系統中的各類約束條件，對多微電網復雜拓撲結構變化、電動汽車與分布式電源的強隨機性的適應性不足。

此外，也有相關研究開始基于這些方法完成逆變器設計[19]，以實現微電網負荷頻率控制，例如文獻[20]提出了一種多重逆變器復雜控制策略用于微電網的運行控制，但可控負載和高比例新能源單元會給這類轉換器的設計過程帶來巨大挑戰。

基于此，能夠將控制過程轉換為求解優化問題，從而很好地適應分布式電源與電動汽車的強隨機性的魯棒模型預測控制（Model Predictive Control, MPC）[21]被應用于含電動汽車多微電網的控制中。文獻[22]則基于魯棒模型預測控制理論，設計了一種改進的帶有線性二次調節器的魯棒模型預測控制器，可用于含電動汽車多微電網的頻率控制；文獻[23]提出了一種新的自適應智能模型預測控制方案，能夠在考慮到電動汽車電池荷電狀態（State of Charge, SOC）控制的情況下完成多微電網系統的穩定性控制。但是，上述多微電網模型均沒有考慮發電機端電壓調節和系統頻率控制之間的耦合關系，且傳統的魯棒模型預測控制在面對電動汽車站輸出邊界發生周期性變化、端電壓調控引起有功干擾，以及系統遭遇極端擾動等強非線性影響時，已經整定好參數的控制器不具有進化性能，其控制性能會受到較大影響，甚至導致閉環系統不穩定；同時，各控制器獨立存在于各個子微電網中，不存在信息耦合關系，因此各子微電網之間無法根據實時運行環境提前實現協調互助和“去中心化”協調控制。

現今，具備在線學習與經驗回放能力的強化學習智能算法已經得到了深入的研究[24]，其可通過數據的有效積累保證控制能力在訓練過程能夠持續的進化。機器學習在微電網中的研究更多地集中在單一智能體在微電網控制中的應用，文獻[25]與文獻[26]分別基于()學習與深度學習算法，設計出能夠應對孤島單一微電網中分布式電源隨機性的負荷頻率控制器，但這些算法的動作空間是非連續性，在應用于含電動汽車多微電網這種復雜場景時，可能會出現動作空間“維數爆炸”的問題。同時，多智能體算法具有“集中式訓練、分布式執行”的協調控制思想[27]，能夠更好地適應分布式電源的強隨機特性、系統頻率與發電機端電壓耦合作用與電動汽車的隨機輸出功率約束。文獻[28]將多智能體深度確定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MA-DDPG）應用于多微電網系統的負荷頻率協同控制中，能夠很好地保證多微電網系統的整體穩定性。但是，文獻[28]與文獻[25-26]中的機器學習控制器的輸出直接連接并決定了各調頻機組的出力，其主要基于數據的有效積累，以保證控制能力在訓練過程能夠持續的進化。該過程可被視為黑盒子，當這類機器學習控制器一旦遇到訓練中未曾遇到的復雜場景，則無法保證正常輸出，將直接影響到微電網中調頻機組的正常運行，難以應用到含電動汽車多微電網這種安全性要求比較高的工程應用中。

因此，本文提出一種基于可進化模型預測控制的含電動汽車多微電網智能發電控制策略。

1）在系統模型設計方面，基于控制器互聯的新型多微電網控制結構，考慮了發電機端電壓調節和系統頻率控制之間的耦合關系，為實現系統頻率與發電機端電壓在孤島微電網運行下的自治協調控制提供模型基礎，更加符合實際場景。

2）在算法設計方面，設計出可進化的MPC與PI參數自適應控制器。控制器中的DDPG多智能體組可以在經驗積累的基礎上不斷進化，從而根據含電動汽車多微電網的復雜運行場景對MPC與PI控制器的權重參數進行自適應調整；同時在“集中式訓練、分布式執行”的架構下，能夠根據實時運行狀態信息實現各子微電網之間的協同控制。

3）在安全運行方面，當上層機器學習智能體故障無法正常輸出動作時，下層MPC與PI控制器能夠采用提前整定好的參數完成控制過程，直到上層控制器恢復正常，在提高控制效果的同時保證了系統的安全性。

1 多微電網控制模型

在電力系統中自動發電控制主要包含頻率控制與電壓控制，兩者的調節過程具有一定耦合關系。本節將依次完成微電網系統的負荷頻率控制模型與自動調壓（Automatic Voltage Regulation, AVR）模型，以及相應的耦合模型。微電網中分布式電源較多，主要包含微型燃氣輪機（Micro Turbine, MT）、電動汽車站與新能源機組（以風力發電為主）。

1.1 電動汽車負荷頻率控制模型[29]

電動汽車充電站能夠作為靈活儲能參與微電網的頻率調控過程中，但是其會因為所具有的移動性與用戶行為隨機性，而影響到實時的輸出功率邊界，由此影響到電動汽車充電站的頻率調控過程；而充電站內電動汽車的實時狀態與分布情況受到用戶行為隨機性的影響，其主要包括電動汽車的日常駕駛里程和出發/返回時間。根據文獻[26]，建立相應的概率密度函數，有

式中，為平均值；為標準差，其具體值受區域類型影響；為時間；為距離。

此外，電動汽車進入充電站后的初始充電過程會一直持續到充電狀態達到SOCm（該值的含義為保證電動汽車拔掉電源后有足夠的電量完成正常行駛過程）。由此可根據日行駛里程計算出進站后，電池荷電狀態到SOCm所需的時間c為

式中，c為充電功率；100為百公里耗電量；total為EV的平均滿功率；m為SOC=SOCm時EV的平均功率。

進而，EV在站內的停滯時間可以定義為Δ，離開充電站的時間定義為leave，并滿足約束

式中，T為正隨機數，取值可根據用戶出行習慣確定；enter為進入EV站的時間。

綜上所述，電動汽車輸出功率邊界模型如圖1所示，可根據SOC0狀態對進站的EV進行分類。如圖1a所示，當SOC0＜SOCm時，EV將進行強制充電并至少持續到荷電量達到SOCm。如圖1b所示，當SOC0≥SOCm時，電動汽車可以直接參與微電網的調節過程，且這一放電過程不會使SOC低于SOCm。而SOCmax是保證電池壽命的最大SOC值，halfway是EV離站前的時間。即，而不同荷電狀態的電動汽車將具有不同充放電狀態，處于“強制充電”狀態的車輛無法參與到微電網的頻率控制過程中，而處于充電邊界與放電邊界之間的電動汽車，則能夠根據微電網的實際情況，參與到微電網的調控過程中。

圖1 電動汽車輸出功率邊界模型

因此，在時間時，站內共有輛EV，且有輛EV處于強制充電狀態（SOC＜SOCm），輛EV的SOC達到SOCmax，所以處于不可充電狀態，而剩余的EV（SOCm＜SOC＜SOCmax），處于可充可放的狀態。由此可得EV站的輸出上、下邊界分別為

式中，dis和ch分別為單體EV的平均放電和充電功率。

圖2 電動汽車負荷頻率控制模型

1.2 其余調頻機組模型

本文的新能源機組以風力發電為例，且由于其頻率響應特性具有極強的隨機性，故可視作擾動源。此外，將微型燃汽輪機[26]作為主調頻機組加入到多微電網系統中，以保證調控過程的穩定性。

1.3 微電網負荷頻率控制模型

由此，在不考慮發電機自動調壓裝置與系統頻率之間的耦合情況下，可得到孤島單一微電網的負荷頻率控制模型，如圖3所示。圖3中，Δw為風電擾動功率，ΔL為負荷擾動功率，ΔMT為微型燃氣輪機的輸出功率增量，ΔEV為EV站的輸出功率增量，t是微電網的慣性常量，ΔMT為控制器發送至燃氣輪機的LFC信號，ΔMT為燃料系統的閥門位置變化的增量，f、t分別為燃料系統和渦輪機的時間常數，為調速器系數，±mt為功率爬坡約束的上、下限，±mt為功率增量約束的上、下限。風力發電與負載一同向系統輸入擾動功率，而微型燃氣輪機與電動汽車站一起作為微電網的調頻機組。

圖3 含電動汽車的微網負荷頻率控制模型

1.4 發電機自動調壓模型

而發電機自動調壓裝置能夠對發電機端電壓進行調控。發電機自動調壓模型如圖4所示，包含電壓控制器、放大器、勵磁裝置、發電機及電壓傳感器。圖4中，ref為參考電壓，t為實時實際電壓，?為電壓偏差，A、E和G分別為放大器、勵磁裝置和發電機的增益，A、E和G分別為放大器、勵磁裝置和發電機的時間常數。將傳感器所捕獲到的實時電壓值與電壓標準值進行比對，其生成的差值會發送給調壓控制器，由此控制器發送調節信號并經過放大器、勵磁裝置，最終調節發電機端的勵磁，從而保證無功功率的平衡，完成電壓的調控過程。

圖4 發電機自動調壓模型

1.5 多微網負荷頻率與發電機電壓耦合調控模型

由此，可將微電網的負荷頻率控制（LFC）與自動調壓（AVR）模型進行耦合處理，所得到的耦合調控模型如圖5所示。圖5中，隨機與負荷功率波動會通過引起頻率偏差而影響到端電壓的控制過程；同樣地，在對端電壓進行調整的過程中，AVR回路也會給微電網系統造成有功功率干擾ΔAVR，并作用于LFC過程。由此，可搭建出多微電網系統的頻率控制模型架構如圖6所示。圖6中，AVR方框代表發電機電壓耦合調控模塊，ΔAVR為AVR回路向微電網系統輸出的有功功率干擾，而Δti為子微網向聯絡線輸出的功率增量。同時，本文提出了一種雙層耦合控制器結構和一種控制器互連的多微電網結構。傳統的聯絡線電力模型可以實現微電網之間的電力傳輸，如圖6右側點畫線框中的綠色連接線所示，可以傳輸和連接各個微電網的電力。然而，這種傳統的聯絡線電力模型無法在MMS中實現控制器之間的信息交換，對分布式電源即插即用、微電網拓撲變換等復雜運行環境的適應性較差。因此，本文中的MMS采用了多智能體控制。每個子微電網中的DDPG控制器之間存在互聯，共享決策信息，如圖6中的左側控制器互聯藍色連接線所示。此外，每個微電網的頻率偏差也反饋給每個DDPG與MPC控制器，如圖所示由圖6中的橙色粗虛線和頻率偏差輸出側的紅色虛線組成。由此，MA-DDPG 控制器組可以判斷每個微電網的工作狀態是否正常，并以MMS的整體穩定性為最大目標，以實現協調控制每個子微電網。

圖5 負荷頻率與發電機電壓耦合調控模型

圖6 考慮AVR的多微電網負荷頻率控制模型結構

進而，為了保證智能控制器的運行安全，本文提出了一種雙層耦合控制器結構。如圖6紫框所示，兩層控制器的上層由機器學習代理組成，下層是MPC 控制器。當機器學習智能體組正常運行時，下層MPC控制器通過接收上層命令調整控制參數，根據狀態空間信息調整系統單元的輸出，實現頻率控制；當機器學習智能體發生故障無法正常輸出動作時，下層MPC控制器也可以使用預先設置的參數完成頻率控制過程，直到上層控制器恢復正常。

2 基于可進化MPC的負荷頻率控制器

傳統的MPC不具備進化能力，其物理模型和控制參數不會隨著被控對象和運行環境的變化進行自適應調整。而強化學習具備在線學習與經驗回放能力，能夠根據有效數據的積累，使得自身的預測能力在理論上不斷進化，但其控制過程被視為黑匣子，對于很多安全性要求較高的項目來說是無法接受的。由此可見，MPC和強化學習可以相得益彰。本文采用DDPG算法實現MPC控制器中輸出權重矩陣的自適應調整，設計出一種基于可進化MPC的負荷頻率控制器來保持多微電網的穩定性。

2.1 基于模型預測控制的多微電網模型

當魯棒模型預測控制策略應用于多微電網控制時，各子微電網的狀態空間方程需要設置為

具體來說，為

式中，Δf為頻率偏差；Δti為聯絡線功率變化；ΔMTi為燃氣輪機功率變化；ΔEVi為電動汽車站功率變化；和為電動汽車站。因此，通過組合多個子微電網的狀態變量，可以得到多微電網系統的狀態變量為

式中，為MMS中子微電網的總數。

多微電網系統的輸入、輸出和擾動可以設置為

因此，結合上面建立的各調頻單元的LFC模型和狀態空間方程，狀態空間矩陣可以表示為

在此基礎上，可以得到多微電網系統集成離散后的狀態空間方程為

為了保證子微電網的頻率穩定性，目標函數可設置為

綜上所述，微電網的頻率控制過程可以轉換為一個優化問題，即目標是最小化目標函數的上限，并添加對多微電網、分布式電源和電動汽車的約束[22]，有

2.2 基于可進化模型預測控制器的控制結構

作為一種深度強化學習，DDPG可以實現MPC算法中輸出權重矩陣的自適應調整。控制器結構對比示意圖如圖7所示。圖7a顯示了以機器學習算法為核心的單層控制器的結構設計[28]。強化學習控制器直接與微電網相連，并向微電網的各個調頻單元發送控制信號。如果強化學習控制器遇到沒有學習過的極端場景時，其控制能力就會失效，無法輸出合理的動作，導致微電網系統不穩定。因此，本文提出了一種基于DDPG與MPC的雙層耦合控制結構，如圖7b所示，當強化學習智能體出現故障時，MPC控制器也可以使用預先設置的參數完成頻率控制過程，直到強化學習智能體恢復正常。

圖7 控制器結構對比示意圖

2.3 DDPG智能體中狀態、動作空間和獎勵函數的定義

綜上所述，DDPG算法中的動作集代表了智能體在當前環境狀態下所執行的動作，本文DDPG智能體的動作集可以定義為MPC控制器的可調輸出權重矩陣，即

Δ

U

=[

q

mt

q

ev

] （19）

同時，根據實際情況，權重矩陣的值應該是大于等于0的實數，且權重上限過大會引起動作空間過大。因此，對動作空間的約束設置合適的基準值后，標幺化后的動作集可以設置為

而智能體的環境空間則為微電網頻率控制閉環系統的狀態量：實時頻率偏差Δ()、實時上下限約束集和電動汽車充電站充電功率。由此，狀態空間可以定義為

此外，優秀的獎勵函數可以提高強化學習的訓練收斂速度，不合理的獎勵規則甚至會導致平均獎勵曲線出現振蕩。因此，根據我國電力安全工作規定的原則，并考慮一定的調整死區，以微電網1中的智能體為例，其獎勵函數可設計為

式中，0、1、2和3為子微電網1頻率偏差所對應的權重系數；0、1、2和3為其余子微電網頻率的權重系數；1為循環過程中的固定獎勵：一個循環中的總步長越長，固定獎勵的總值就越大，從而鼓勵智能體盡可能避免訓練暫停的情況；為固定懲罰因子，以對頻率波動進行懲罰；(Δ)為不同頻率波動死區下的懲罰值；(Δ)為終止懲罰，當觸發該懲罰項時，系統會自動停止訓練；2為終止懲罰值，該懲罰值的數額極大，遠大于其余類型的懲罰值。

可見，當某個子微網的的智能體環境滿足終止狀態時，所有智能體都將結束本輪訓練，即無法輸出動作并獲取獎勵值。只有當各智能體協調配合，保證系統中沒有任何一個智能體環境滿足終止條件，才能在整體上獲得高額獎勵值。而最終的參數取值需要通過大量的基于實例的仿真驗證來獲得，以保證學習的收斂速度和效果。

3 發電機自動調壓控制器的設計

進而，需要設計位于各個子微電網之中的發電機自動調壓控制器，各AVR回路相互獨立，僅對本子微電網的LFC過程造成直接性的影響。因此其控制難度低于LFC過程，僅需應用基于DDPG的PI算法，以減少設計難度與建設成本。

3.1 狀態空間與動作變量

DDPG智能體的狀態空間可設置為：實際電壓與參考電壓誤差的標幺值D，實際電壓的標幺值、電壓誤差的標幺值的積分D。

式中，D=-1。

因此，DDGP的輸出動作將對PI控制參數進行實時調節，即為比例系數P與積分系數I。

action=(

K

P

,

K

I

) （28）

3.2 獎勵函數

電壓控制器的獎勵函數的設計思路與前文類似，實時電壓偏差越大，智能體所得到的懲罰值越大。因此可得所有電壓控制器的獎勵函數為

式中，0、1、2、3為不同電壓偏差區間對應的懲罰系數；為正獎勵值；3為智能體進入終止狀態時獲得的最大懲罰值。

4 算例分析

4.1 多微電網系統結構設計

為了評估上述策略的控制效果，構建了一個包含3個子微電網的多微電網系統，其具體構架如圖8所示。子微電網編號分別為MG1、MG2、MG3，具體機組參數設置見表1。

圖8 本文多微電網系統結構

表1 多微電網LFC模型的系統參數

基于此，本文基于多微電網結構進行大量仿真測試，能夠獲得獎勵函數中各權值及超參數的具體取值：0、1、2和3為0.18、0.08、0.03、0.01；0、1、2和3為0.1、0.04、0.015與0.005；0、1、2與3為1、5、10與15；1=0.01，2=10，=10，53200；折扣因子為0.9，學習率為0.001。

4.2 預訓練階段

DDPG算法隸屬于一種深度強化學習，該控制器在投入使用前需要經過一段隨機試錯的預訓練階段。在該階段，智能體能夠根據大量有效數據完成經驗的積累，從而獲得最優值函數網絡[30]，并由此保證其投入運行后的穩定性。以MG1中的頻率控制器為例，其具體的訓練過程如圖9所示。

圖9 頻率控制器的智能體訓練過程

由圖9可見，頻率控制智能體訓練了15 000回合，共耗時163 457 s。在整個訓練過程中，頻率控制器的智能體起初無法適應AVR回路、電動汽車和分布式電源的隨機性帶來的非線性效應，實時獎勵函數波動很大，且平均獎勵仍然很低。而在訓練后期，智能體逐漸進化，其輸出動作的質量得到顯著提升，實時獎勵函數和平均獎勵函數均達到了高水平，這意味著所設計的控制器收斂速度快、振蕩小、在線學習能力強，可用于多微電網不同情況下的穩定性仿真。

4.3 自動調壓效果與其對LFC過程的影響

經過預學習后的DDPG-PI控制器可以根據發電機端電壓變化，實時地調整控制參數，使端電壓更快達到額定值。為體現DDPG-PI控制器的優越性，引入傳統PI控制器進行對比，如圖10所示。

圖10 微電網AVR回路端電壓

可見，傳統PI控制具有較大的超調量且響應速度較慢，而可進化PI控制器下的電壓響應速度較快，且不存在超調量，電壓更易穩定。同時，DDPG控制器對PI控制器參數實時優化的結果如圖11所示。

圖11 PI控制器參數優化結果

可見，DDPG-PI控制器能夠實現控制器參數自適應，在不同的階段選擇不同的比例-積分系數。同時，為了驗證AVR回路和LFC回路存在一定程度上的耦合，可在傳統控制下的多微電網中，于0 s時對子微電網1施加0.04(pu)的有功功率干擾，分析AVR回路對LFC的影響，考慮與不考慮AVR耦合時的頻率偏移如圖12所示。

圖12 考慮與不考慮AVR耦合時的頻率偏移

可見，AVR回路增加了多微電網系統的有功功率干擾，從而使得負荷頻率發生了更大的偏移，這對LFC控制器提出了更高的要求。而后文有關負荷頻率控制相關的算例場景中，所使用的多微電網模型均將考慮AVR回路的影響。

4.4 場景1：系統受到隨機擾動與負載擾動

假設某工作日0:00，對穩態微電網系統的隨機擾動包括負荷擾動和風電擾動，且組合擾動的具體情況如圖13所示。可見，負荷擾動呈現2次相反的階躍，因此在50 s后即為0，此后總擾動完全與風電擾動重合。而在85 s后，為了能夠在擾動逐漸消失后，比較各控制算法下微電網頻率的恢復速度，作者在原有的風電歷史數據后，加入了一段穩態過程。并假設MG1在60 s發生極端故障，微型燃氣輪機無法輸出功率，即Δ=0。

圖13 多微電網系統受到的強隨機擾動

基于此，以子微電網1為例，在不同控制器管控下的頻率波動如圖14、圖15所示。與 PID 控制、模糊控制和傳統的 MPC相比（控制器參數與結構見附錄），本文提出的基于學習的MPC控制器具有最好的性能。同時，可將MG1的頻率偏移絕對值作為考核對象，考核優秀率閾值可設置為±0.01 Hz，85 s后恢復至0.005 Hz以下所需時間定義為恢復時間。從而得到此場景下的頻率控制效果分析見表2、表3。

圖14 強隨機擾動下的多微電網系統頻率偏差

圖15 發生極端故障時的多微電網系統頻率偏差

表2 強隨機擾動下的微電網1的控制結果（0:00）

Tab.2 Control results of microgrid 1 at 0:00

表3 發生極端故障時的的微電網1控制結果

Tab.3 Microgrid 1 control results in case 1

由此可知，當MG1受到隨機擾動與負載擾動，且部分調頻機組出現極值故障時，PID、模糊和傳統MPC控制下的微電網頻率穩定性受到極大影響，頻率控制優秀率分別下跌至32.31%、64.15%和93.06%。同時，恢復時間也均不理想：三者均達5 s以上。而深度強化學習智能體組能夠以MMS整體穩定性最大化為目標，提前協調MPC控制組對MG2和MG3的功率輸出進行調整，以輔助MG1防止功率失控，因此可見DDPG控制器與可進化MPC控制器管控下的微電網頻率優秀率處于較高水平，但基于各評價指標的全面性分析，可進化MPC控制器依然優于純機器學習控制器。而其管控下微電網的各設備及連線的具體功率變化如圖16所示。

圖16 場景1的微電網1中各機組輸出功率增量

從圖16可見，當某次微電網的調頻單元遇到極端故障時，MT機組無法調節功率增量，電動汽車作為輔助調頻機組，出力也得到了一定提升，而微電網之間電力交換的增加與變化尤為顯著，這是通過控制器互連和輸電線路實現的。此外，圖16中的綠色、紫色線條呈現出明顯的鋸齒狀，以EV1為例，其有功出力在30 s與80 s時因輸出邊界而發生明顯的突變，發生數次小型階躍型突變。由此可見電動汽車輸出功率限幅受到用戶行為的隨機影響。

4.5 場景2：電動汽車移動性對LFC過程的影響

在實際系統中，電動汽車站的輸出功率邊界會在一天內發生相應變化。為了探索電動汽車對頻率控制的影響，并驗證所設計的控制器在面對電動汽車隨機性時的魯棒性，本節基于場景1中的仿真，并假設擾動發生在17:00，且60 s時不再發生極端故障。易知，在0:00時，幾乎所有電動汽車均停留在充電站并能夠參與到調頻中，而在17:00時，大部分電動汽車已經離開充電站，并處于返程的行駛過程中，無法參與微電網的調頻。在這種情況下，傳統控制器將無法適應電動汽車站輸出功率邊界的階段性突變，從而影響頻率控制效果。而本文所提出的基于學習的MPC控制器能夠基于預學習過程中積累的經驗，實時改變MPC控制器參數以適應一日內所發生的EV站輸出功率邊界的變化。

在0:00和17:00時，DDPG智能體動作集的動態變化如圖17所示（標幺化后）。可以看出，在每個時段內，MPC控制器的參數不會因為隨機擾動而發生劇烈變化。但在一天中的不同時段中，DDPG 智能體能夠分階段調整MPC控制器的參數，以適應電動汽車站輸出功率邊界的周期性變化。此外，根據場景1中的評估標準，計算在沒有極端故障時，三組控制器在17:00的仿真結果見表4。可以看出，在17:00，MG1 在 PID、模糊和傳統MPC控制器控制下的頻率調節能力明顯低于凌晨0:00。但在基于學習的MPC下，MG1的頻率偏移仍能保持在0.01 Hz以內，達到98.95%的優秀率，這是通過參數自適應和協調控制實現的。

圖17 DDPG智能體動作集的動態變化

表4 在17:00時微電網1的控制結果

Tab.4 Control results of microgrid 1 at 17:00

4.6 場景3：機器學習控制器無法正常輸出動作

進而，為了驗證雙層控制結構對微電網控制過程安全性的保證，在基于學習的MPC控制器和DDPG控制器之間進行了對比實驗。基于場景1（調頻機組不發生極端故障），假設兩組系統中的DDPG控制器均在40 s時面對“未曾學習過”的復雜場景而發生故障，無法正常輸出動作，并在80 s時恢復。比較兩組控制器的頻率控制效果，如圖18所示。

圖18 機器學習控制器故障時的多微電網系頻率偏差

可見，DDPG控制下的微電網系統在故障期間完全喪失了調頻能力，因為DDPG智能體無法正常輸出動作，不能向系統的調頻單元下達指令。因此，在DDPG智能體恢復后，系統穩定性也難以恢復，嚴重影響微電網運行過程的安全性。而基于學習的MPC控制器采用了雙層控制結構，當DDPG控制器出現故障時，MPC控制器可以在預先設定的控制參數下正常運行：在40 s時，頻率發生了極小的波動，100%的頻率控制優秀率在整個控制過程中依然能得到保證。

深度強化學習算法控制器在正常運行場景下的穩定性是值得肯定的，本文作者與其他學者均已在該領域建立了大量研究基礎[25-26,28-29]。機器學習算法所具有的黑盒特性是其主要缺陷，在面對“未曾學習過”的復雜場景時，則有可能出現本節所描述的故障，而本文同樣通過“雙層控制器結構”解決了該缺陷引起的安全性問題，凸顯了所提策略的優越性。

5 結論

本文提出了一種可進化的模型預測控制的含電動汽車多微電網智能發電控制策略，得到結論如下：

1）與傳統多微電網模型相比，考慮了控制器互聯結構，并在傳統負荷頻率控制模型中增加了自動電壓調節系統，考慮了發電機端電壓調節和系統頻率控制之間的耦合關系，更符合實際場景。

2）與PID和模糊控制相比，可進化的MPC控制器不僅可以根據被控對象的歷史信息和未來輸入預測系統的未來輸出；還可以將頻率控制過程轉換為求解優化問題，從而很好地適應多微電網系統中的隨機場景。在負載擾動和風電擾動下，基于學習的MPC控制器下的微電網頻率控制效果明顯優于傳統控制器。

3）與傳統MPC相比，基于學習的MPC控制器可以應用于控制器互聯的多微電網系統，從而實現多微電網的協調控制；還可以通過DDPG智能體基于實時運行環境狀態調整MPC參數，從而更好地適應系統各類復雜工況。當系統發生各類極端故障時，所提出的控制器仍能將微電網的頻率波動控制在0.01 Hz以內，控制優秀率仍能達到99.8%，恢復時間小于1 s，顯著增強了多微電網的穩定性。

4）與DDPG控制器相比，所提出的雙層保護結構具有更強的安全性和穩定性。當機器學習智能體遭遇未學習過的環境，不能正常輸出動作時，MPC控制器可以利用預先設置的參數完成頻率控制過程，直到機器學習控制器恢復正常，確保微電網的頻率波動控制在0.01 Hz以內，明顯優于DDPG控制器。

[1] 何晨可, 朱繼忠, 劉云, 等. 計及碳減排的電動汽車充換儲一體站與主動配電網協調規劃[J]. 電工技術學報, 2022, 37(1): 92-111.

He Chenke, Zhu Jizhong, Liu Yun, et al. Coordinated planning of electric vehicle charging-swapping-storage integrated station and active distribution network considering carbon reduction[J]. Transactions of China Electrotechnical Society, 2022, 37(1): 92-111.

[2] Pascual J, Arcos-Aviles D, Ursúa A, et al. Energy management for an electro-thermal renewable–based residential microgrid with energy balance forecasting and demand side management[J]. Applied Energy, 2021, 295: 117062.

[3] 周瑋, 藍嘉豪, 麥瑞坤, 等. 無線充電電動汽車V2G模式下光儲直流微電網能量管理策略[J]. 電工技術學報, 2022, 37(1): 82-91.

Zhou Wei, Lan Jiahao, Mai Ruikun, et al. Research on power management strategy of DC microgrid with photovoltaic, energy storage and EV-wireless power transfer in V2G mode[J]. Transactions of China Electrotechnical Society, 2022, 37(1): 82-91.

[4] 隨權, 魏繁榮, 林湘寧, 等. 一種基于可控負荷效率控制的孤島微網新型調度策略[J]. 中國電機工程學報, 2019, 39(24): 7168-7178, 7490.

Sui Quan, Wei Fanrong, Lin Xiangning, et al. A novel dispatching strategy for isolated microgrid based on controllable load efficiency control[J]. Proceedings of the CSEE, 2019, 39(24): 7168-7178, 7490.

[5] 李長云, 徐敏靈, 蔡淑媛. 計及電動汽車違約不確定性的微電網兩段式優化調度策略[J]. 電工技術學報, 2023, 38(7): 1838-1851.

Li Changyun, Xu Minling, Cai Shuyuan. Two-stage optimal Scheduling strategy for micro-grid considering EV default uncertainty[J]. Journal of Electrotechnical Technology, 2023, 38(7): 1838-1851.

[6] 劉迎澍, 陳曦, 李斌, 等. 多微網系統關鍵技術綜述[J]. 電網技術, 2020, 44(10): 3804-3820.

Liu Yingshu, Chen Xi, Li Bin, et al. State of art of the key technologies of multiple microgrids system[J]. Power System Technology, 2020, 44(10): 3804-3820.

[7] Bevrani H, Feizi M R, Ataee S. Robust frequency control in an islanded microgrid: H∞andm-synthesis approaches[J]. IEEE Transactions on Smart Grid, 2016, 7(2): 706-717.

[8] 張釋中, 裴瑋, 楊艷紅, 等. 基于柔性直流互聯的多微網集成聚合運行優化及分析[J]. 電工技術學報, 2019, 34(5): 1025-1037.

Zhang Shizhong, Pei Wei, Yang Yanhong, et al. Optimization and analysis of multi-microgrids integration and aggregation operation based on flexible DC interconnection[J]. Transactions of China Electrotechnical Society, 2019, 34(5): 1025-1037.

[9] Khokhar B, Dahiya S, Singh Parmar K P. Load frequency control of a microgrid employing a 2D Sine Logistic map based chaotic sine cosine algorithm[J]. Applied Soft Computing, 2021, 109: 107564.

[10] Esmaeili Karkevandi A, Daryani M J, Usta O. ANFIS-based intelligent PI controller for secondary frequency and voltage control of microgrid[C]//2018 IEEE PES Innovative Smart Grid Technologies Conference Europe (ISGT-Europe), Sarajevo, Bosnia and Herzegovina, 2018: 1-6.

[11] 崔明勇, 曹朋, 朱大偉, 等. 基于FOPI+FOPD控制器的單區域電力系統頻率控制及電壓調節[J]. 燕山大學學報, 2022, 46(2): 157-165, 176.

Cui Mingyong, Cao Peng, Zhu Dawei, et al. Frequency control and voltage regulation of single area power system based on FOPI+FOPD controller[J]. Journal of Yanshan University, 2022, 46(2): 157-165, 176.

[12] Jan M U, Ai Xin, Abdelbaky M A, et al. Adaptive and fuzzy PI controllers design for frequency regulation of isolated microgrid integrated with electric vehicles[J]. IEEE Access, 2020, 8: 87621-87632.

[13] Mohammadzadeh A, Kayacan E. A novel fractional-order type-2 fuzzy control method for online frequency regulation in ac microgrid[J]. Engineering Applications of Artificial Intelligence, 2020, 90: 103483.

[14] Mahdi M M, Ahmad A Z. Load frequency control in microgrid using fuzzy logic table control[C]//2017 11th IEEE International Conference on Compatibility, Power Electronics and Power Engineering (CPE-POWERENG), Cadiz, Spain, 2017: 318-323.

[15] 項雷軍, 陳昊, 郭新華, 等. 基于模糊分數階PID的含電動汽車的多能源微電網二次頻率控制[J]. 電力自動化設備, 2021, 41(11): 74-80.

Xiang Leijun, Chen Hao, Guo Xinhua, et al. Secondary frequency control of multi-energy microgrid with electric vehicles based on fuzzy fractional-order PID[J]. Electric Power Automation Equipment, 2021, 41(11): 74-80.

[16] Yang Jun, Zeng Zhili, Tang Yufei, et al. Load frequency control in isolated micro-grids with electrical vehicles based on multivariable generalized predictive theory[J]. Energies, 2015, 8(3): 2145-2164.

[17] Fan Peixiao, Ke Song, Kamel S, et al. A frequency and voltage coordinated control strategy of island microgrid including electric vehicles[J]. Electronics, 2021, 11(1): 17.

[18] Mounce R, Nelson J D. On the potential for one-way electric vehicle car-sharing in future mobility systems[J]. Transportation Research Part A: Policy and Practice, 2019, 120: 17-30.

[19] Chen Lei, Lu Xiaomin, Min Yong, et al. Optimization of governor parameters to prevent frequency oscillations in power systems[J]. IEEE Transactions on Power Systems, 2018, 33(4): 4466-4474.

[20] 王敏, 李想, 張程飛. 基于多重逆變器復雜控制策略的微電網運行控制[J]. 現代電力, 2016, 33(5): 24-29.

Wang Min, Li Xiang, Zhang Chengfei. The operation and control of microgrid based on the complex control strategy of multiple inverters[J]. Modern Electric Power, 2016, 33(5): 24-29.

[21] Hu Jianchen, Ding Baocang. Output feedback robust MPC for linear systems with norm-bounded model uncertainty and disturbance[J]. Automatica, 2019, 108: 108489.

[22] Rao Yingqing, Yang Jun, Xiao Jinxing, et al. A frequency control strategy for multimicrogrids with V2G based on the improved robust model predictive control[J]. Energy, 2021, 222: 119963.

[23] Khokhar B, Singh Parmar K P. A novel adaptive intelligent MPC scheme for frequency stabilization of a microgrid considering SoC control of EVs[J]. Applied Energy, 2022, 309: 118423.

[24] 劉全, 翟建偉, 章宗長, 等. 深度強化學習綜述[J]. 計算機學報, 2018, 41(1): 1-27.

Liu Quan, Zhai Jianwei, Zhang Zongchang, et al. A survey on deep reinforcement learning[J]. Chinese Journal of Computers, 2018, 41(1): 1-27.

[25] 余濤, 梁海華, 周斌. 基于()學習的孤島微電網智能發電控制[J]. 電力系統保護與控制, 2012, 40(13): 7-13.

Yu Tao, Liang Haihua, Zhou Bin. Smart power generation control for microgrids islanded operation based on() learning[J]. Power System Protection and Control, 2012, 40(13): 7-13.

[26] 范培瀟, 楊軍, 肖金星, 等. 基于深度Q學習的含電動汽車孤島微電網負荷頻率控制策略[J]. 電力建設, 2022, 43(4): 91-99.

Fan Peixiao, Yang Jun, Xiao Jinxing, et al. Load frequency control strategy based on deep Q learning for island microgrid with electric vehicles[J]. Electric Power Construction, 2022, 43(4): 91-99.

[27] 趙星宇, 丁世飛. 深度強化學習研究綜述[J]. 計算機科學, 2018, 45(7): 1-6.

Zhao Xingyu, Ding Shifei. Research on deep reinforcement learning[J]. Computer Science, 2018, 45(7): 1-6.

[28] 范培瀟, 柯松, 楊軍, 等. 基于改進多智能體深度確定性策略梯度的多微網負荷頻率協同控制策略[J]. 電網技術, 2022, 46(9): 3504-3515.

Fan Peixiao, Ke Song, Yang Jun, et al. Load frequency coordinated control strategy of multi-microgrid based on improved MA-DDPG[J]. Power System Technology, 2022, 46(9): 3504-3515.

[29] Fan Peixiao, Ke Song, Yang Jun, et al. A load frequency coordinated control strategy for multimicrogrids with V2G based on improved MA-DDPG[J]. International Journal of Electrical Power & Energy Systems, 2023, 146: 108765.

[30] 李捷, 余濤, 潘振寧. 基于強化學習的增量配電網實時隨機調度方法[J]. 電網技術, 2020, 44(9): 3321-3332.

Li Jie, Yu Tao, Pan Zhenning. Real-time stochastic dispatch method for incremental distribution network based on reinforcement learning[J]. Power System Technology, 2020, 44(9): 3321-3332.

A Multi Microgrid Intelligent Generation Control Strategy with Electric Vehicles Based on Evolutionary Model Predictive Control

Fan Peixiao Yang Jun Wen Yuxin Ke Song Xie Lilong

（School of Electrical and Automation Wuhan University Wuhan 430072 China）

Under the background of the national energy strategy of "carbon peaking" and "carbon neutrality", conventional generators driven by fossil energy are gradually replaced by renewable energy units such as wind power and photovoltaics. The microgrid with the characteristics of development and extension can fully promote the large-scale access of such distributed power sources with strong randomness, thus achieving rapid development and construction. At the same time, the development of electric vehicles (EV) is a trend to ensure low-carbon energy. China also regards the development of electric vehicles as a strategic emerging industry. The development of microgrids has also prompted electric vehicles to be widely used in power grid shaving peaks and valleys, and curb power fluctuations. However, when large-scale electric vehicles are connected to the microgrid at the same time, it may also lead to the degradation of the power quality of the islanded microgrid, and even the instability of the entire microgrid. To this end, a multi-microgrid power generation control strategy with electric vehicles based on evolvable model predictive control (MPC) is proposed in this paper.

Firstly, based on the multi-microgrid interconnection structure of controller interaction, considering the coupling relationship between generator terminal voltage regulation and system frequency control, a power generation control model with multiple microgrids with electric vehicles is established. Secondly, an adaptive algorithm of controller parameters based on MA-DDPG is designed: the frequency controller takes the real-time frequency offset and EV station output power boundary as the state set, and the adjustable parameter matrixof the MPC controller as the action set, and the frequency deviation is used as the reward function index, and the voltage controller takes the real-time voltage as the state set, the proportional-integral coefficient of the PI controller as the action set, and the voltage offset as the reward function index; so as to realize the adaptive adjustment of the weight parameters of the MPC and the PI controller. Meanwhile, under the architecture of "centralized training and distributed execution", the intelligent agent group can realize the cooperative control between the sub-microgrids according to the real-time operating status information.

The simulation results show that, the automatic voltage regulation loop increases the active power disturbance, which puts forward higher requirements for the load frequency controller. Under the load disturbance and wind power disturbance, the microgrid frequency control effect under the learning-based MPC controller is significantly better than that of the traditional controller. When various extreme faults occur in the system, the proposed controller can still control the frequency fluctuation of the microgrid within 0.01 Hz through coordinated control and parameter self-adaptation, the control excellence rate can still reach 100%, and the recovery time is still less than 1 s, the robustness of the multi-microgrid performance is significantly enhanced, and the performance is better than the traditional MPC controller in all aspects. In addition, when the machine learning controller fails, the proposed two-layer controller structure can still ensure that the frequency fluctuation of the microgrid is controlled within 0.01 Hz, and the control excellence rate can reach 100%, which is significantly better than the DDPG controller.

The following conclusions can be drawn from the simulation analysis: (1) Compared with PID and fuzzy control, the evolvable MPC controller can transform the frequency control process into solving an optimization problem, and thus well adapt to the stochastic scene in the multi-microgrid system. (2) Compared with the traditional MPC, the DDPG agent can adjust the MPC and PI control parameters according to the real-time operating environment state, so as to better adapt to the complex working conditions where the system parameters and structure change with time. (3) Compared with the DDPG controller, the proposed double-layer protection structure has stronger security and stability. When the machine learning agent fails and cannot output actions normally, the MPC controller can use the preset parameters to complete the frequency control process until the machine learning controller returns to normal.

Multi-microgrid load frequency control, electric vehicle, generator terminal voltage, MA-DDPG algorithm, model predictive control

TM727

10.19595/j.cnki.1000-6753.tces.222138

國家自然科學基金資助項目（51977154）。

2022-11-13

2023-02-16

范培瀟 男，1999年生，碩士研究生，研究方向為微電網智能控制。E-mail：whufpx0408@163.com

楊 軍 男，1977年生，教授，博士生導師，研究方向為電動汽車、電力系統運行安全與穩定等。E-mail：JYang@whu.edu.cn（通信作者）

（編輯 赫 蕾）