基于PSO-DDPG算法的光儲充電站實時控制策略研究

張帥 劉界江 蘇雨婷

摘要：“雙碳”背景下，光儲充電站逐漸成為未來充電站的一種主流形式。為提高光儲充電站的經濟效益并降低二氧化碳排放，提出了一種基于改進深度強化學習的光儲充電站實時控制策略。首先，建立以碳排放最小與運行成本最低為目標的優化模型并將其轉換為馬爾可夫決策過程；其次，提出了一種基于經驗繼承機制的粒子群優化-深度確定性策略梯度算法（Particle Swarm Optimization-Deep Deterministic Policy Gradient，PSO-DDPG）；最后，考慮動態碳排放因子開展算例分析，驗證了所提PSO-DDPG策略的有效性。

關鍵詞：光儲充電站；實時控制策略；深度強化學習；粒子群優化算法；深度確定性策略梯度

中圖分類號：U469.72；TM73? ? 文獻標志碼：A? ? 文章編號：1671-0797（2023）17-0005-04

DOI：10.19514/j.cnki.cn32-1628/tm.2023.17.002

0? ? 引言

隨著電動汽車（Electric Vehicle，EV）保有量的快速增長，公共充電設施得到了越來越多的關注[1]。常規的電動汽車充電站（Charging Station，CS）僅通過向電網購電、向電動汽車用戶售電來實現盈利，但其充電負荷可調節性差，晚間充電負荷與居民負荷疊加易形成“峰上加峰”現象[2-3]。在此背景下，一種在站內配置了光伏（Photovoltaic，PV）與儲能系統（Energy Storage System，ESS）的光儲充電站得到了發展。光伏系統的加入提高了充電站的能源自給率與碳減排效益，而儲能系統的調節作用起到了平滑配網（Distribution Network，DN）供電功率和削峰填谷的作用。然而，光伏出力受多重因素影響，具有實時波動的特點，而電動汽車的隨機充電行為更加大了對光儲充電站實時調度的難度[4-5]。因此，本文提出了一種融合啟發式算法與深度強化學習算法的光儲充電站實時控制策略，通過粒子群算法（Particle Swarm Optimization，PSO）拓展深度確定性策略梯度函數（Deep Deterministic Policy Gradient，DDPG）的探索性能，提高控制策略的求解質量與實時性能。

1? ? 光儲充電站能量實時控制策略

為充分發揮光儲充電站的節能減排效益，選取充電站碳排放量最小與運行成本最低為優化目標，建立光儲充電站能量調度模型。此外，為提高所建立優化模型對復雜工況的實時應對性能，本文進一步將該優化模型建立為馬爾可夫決策過程（Markov Decision Process，MDP）[6]。

1.1? ? 光儲充電站能量調度模型

1.1.1? ? 目標函數

1）碳排放最小。為充分消納光伏，提高充電站的能源自給率與碳減排效益，本文考慮電網動態二氧化碳排放因子，將充電站碳排放最小作為優化目標之一。

式中：γ 為電網在不同時間段的碳排放系數；Pt DN為光儲充電站向配電網的購電功率；T為一天總時間段；Δt為時間步長。

2）運行成本最低。光儲充電站通過能量管理系統對站內能量流動進行控制，從而降低整站的運行成本，其中運行成本可以分為向電網購電成本以及儲能損耗成本兩部分：

式中：C1與C2為購電成本以及儲能損耗成本；γt TOU為電網工業分時電價（Time of Use，TOU）；Pt DN為電網向光儲充電站提供的有功功率大小；γESS為由儲能充放電帶來的損耗系數；Pt ESS為儲能系統的充放電功率，充電時為正，放電時為負。

1.1.2? ? 約束條件

1）充電站功率平衡：

式中：Pt EV為t時刻電動汽車充電負荷；Pt PV為光伏出力。

上式中等號左側代表受電端，右側代表送電端。

2）儲能運行約束：

式中：St ESS與St-1 ESS分別為儲能系統t時刻與t-1時刻的電池荷電狀態（State of Charge，SOC）；Pt-1 ESS為t-1時刻儲能系統充放電功率；EESS為儲能電池容量；Smin ESS與Smax ESS分別為儲能系統最小與最大SOC。

3）電網供電功率約束：

式中：Ptr與PAD分別為充電站所配置的變壓器與AC/DC模塊的額定容量[7]。

4）電動汽車充電約束：

式中：Si set與Si end分別為用戶i到站設置的期望SOC與離站時的實際車輛SOC；

EV為電動汽車用戶集合。

1.2? ? 基于MDP的能量實時控制策略

為提高所提策略的實時性能，本文將所建立的優化模型轉換為馬爾可夫決策過程，其核心思想如圖1所示。在訓練過程中，智能體從環境中捕捉實時狀態st，依據當前策略做出控制動作at從而改變當前環境，而后通過獎勵rt給予智能體實時反饋，引導智能體獲得更高的獎勵值以及更優越的控制策略。

1）狀態st代表MDP模型中環境的實時信息。本文從電網、光伏、儲能、用戶四個角度構建智能體的狀態空間，狀態st為：

2）動作at是針對環境狀態st所做出的控制決策。本文將儲能充放電功率以及用戶充電樁功率作為控制動作，即：

式中：Pi，t CH為用戶i所接入充電樁的輸出功率；χi，t為充電樁開關控制變量：

1，充電狀態（13）

3）獎勵rt是環境對智能體動作at的及時反饋。依據上文建立的優化模型，本文設計獎勵rt包含二氧化碳排放成本C以及運行成本兩項，其中運行成本包含購電成本C1與儲能損耗成本C2：

式中：π為二氧化碳排放成本系數。

2? ? 基于PSO-DDPG的求解算法

DDPG是一種基于Actor-Critic架構的深度強化學習算法，其在連續動作空間問題上具有良好的學習性能。然而，DDPG算法訓練過程中的梯度方向固定，僅與所抽取的mini-batch中的樣本有關，這導致算法缺乏探索性，最終訓練的智能體容易陷入局部最優。為此，本文提出了一種基于樣本繼承機制的PSO-DDPG算法，通過引入粒子群算法提高DDPG算法的探索性能。

2.1? ? PSO算法基本原理

作為一種經典的群體智能算法，PSO算法通過模擬自然界的鳥群捕食來實現優化問題的求解。具體而言，粒子群中的所有粒子都被分配了速度與位置，通過粒子個體在解空間單獨尋優Pi，k best，進而求得全局最優解Gk best。在迭代過程中，粒子的位置xi，k與速度vi，k可由下式更新：

式中：ω為慣性因子；c1與c2分別為代表個體學習與群體學習的加速因子；ξ1與ξ2為[0，1]區間的隨機數，賦予了PSO算法空間探索能力。

2.2? ? DDPG算法基本原理

DDPG算法通過Actor網絡μ（s|θμ）、目標Actor網絡μ′（s|θμ′）、Critic網絡Q（s，a|θQ）與目標Critic網絡Q′（s，a|θQ′）實現智能體的訓練。在訓練過程中，Critic網絡通過損失函數LQ更新網絡參數：

式中：Nb為mini-batch容量；yj為目標Q值；sj、aj、rj、sj+1分別為訓練樣本（sj，aj，rj，sj+1）中的狀態、動作、獎勵與下一時刻狀態；γ為折扣率。

Actor網絡基于確定性策略梯度損失函數[Δ]J更新網絡參數：

式中：[Δ]aQ（sj，aj|θQ）表示Critic網絡對決策動作求梯度；[Δ] μ（sj|θμ）表示Actor網絡對網絡參數求梯度。

而后，兩個目標網絡采用軟更新方式更新網絡參數，具體如式（21）所示：

式中：τ為軟更新系數；θμ，k與θμ′，k分別為Actor與目標Actor網絡在第k回合的網絡參數；θQ，k與θQ′，k分別為Critic與目標Critic網絡在第k回合的網絡參數。

2.3? ? PSO-DDPG算法訓練流程

為解決DDPG算法探索性能不足的局限，本文提出了一種PSO-DDPG算法，其訓練流程如圖2所示。首先，基于PSO算法對光儲充電站隨機場景進行求解，將滿足精度要求的全局最優解Gk best對應的樣本存入經驗池中，直至達到PSO模塊的最大回合NP。其次，運行DDPG算法模塊，智能體觀測充電站狀態st，做出對儲能系統與充電樁的控制動作at，在得到獎勵后將樣本存入經驗池。然后，從PSO與DDPG的混合經驗池中隨機抽取mini-batch樣本（sj，aj，rj，sj+1）更新Critic與Actor，并進一步軟更新兩個目標網絡。最后，重復DDPG的訓練流程直至達到最大回合ND。這樣，探索性能優越的PSO算法通過經驗池將樣本繼承給DDPG智能體，增強了DDPG的探索性能與全局尋優能力。

3? ? 算例分析

3.1? ? 參數設置

為了便于算例的量化分析，對光儲充電站設定如下條件：1）儲能容量取300 kW·h，額定充放電功率120 kW，光伏容量200 kW，站內配置了12個60 kW快充樁；2）儲能損耗系數取0.06元/（kW·h），電網不同時段碳排放系數如圖3所示[7]，二氧化碳排放成本系數為0.04元/kg[8]。

3.2? ? 訓練過程分析

設PSO算法的種群規模為100，最大迭代次數為200，慣性因子取0.8，個體與群體加速因子均取1.8。此外，設DDPG算法折扣率為0.99，學習率為0.000 5，mini-batch容量為100，經驗池容量為12 000，最大訓練次數為1 000，可得所提PSO-DDPG算法的訓練曲線如圖4所示。從圖中可見，智能體訓練獎勵曲線快速上升，并在300回合左右進入穩定范圍，獎勵曲線最終在-6.96左右小幅振蕩，證明了所提算法能夠通過PSO經驗繼承機制快速幫助智能體探索訓練環境。

3.3? ? 策略有效性分析

光儲充電站在無序與有序場景下的功率曲線如圖5所示，無序與有序場景的成本對比如表1所示。

由圖5（a）可見，無序場景的功率控制邏輯是當有充電負荷時先由光伏供電，光伏不足時由儲能系統供電，而站內光儲無法滿足充電需求則由電網供電，這導致充電站未完全發揮光儲的協調互補功能，全天向電網購電918.30 kW·h，花費662.78元。而所提策略充分發揮了儲能與充電樁的靈活調節能力，不僅削減了最大充電負荷，同時購電費用僅為499.04元，相較于前者降低了24.71%。值得注意的是，所提策略的儲能損耗成本要高于無序場景，這主要是由于對儲能更頻繁的調度，盡管如此，相較于購電成本的降低，儲能損耗增加21.94元仍是可以接受的。以上結果驗證了所提PSO-DDPG策略能夠更好地發揮儲能的靈活調整作用，利用峰谷電價降低光儲充電站的整體運行成本。

4? ? 結束語

在“雙碳”背景下，光伏等分布式可再生能源與電動汽車的協調發展無疑是大勢所趨。針對光儲充電站，本文提出了一種基于PSO改進深度強化學習的算法，基于經驗繼承機制提高DDPG智能體的探索性能與求解能力。通過算例結果發現，本文所提PSO-DDPG策略能夠有效完成光儲充電站的實時能量控制，相較于無序場景降低了24.71%的購電成本，并能夠降低二氧化碳排放。下一步將考慮電動汽車集群的V2G能力，進一步優化所提策略。

[參考文獻]

[1] 徐昌寶，丁健，宋宏劍，等.計及電能質量約束的充電設施布局優化方法[J].電氣傳動，2022，52（22）：51-59.

[2] 蔣林洳，龍羿，李興源，等.基于實測數據的多類型電動汽車充電負荷分析[J].電測與儀表，2023，60（1）：36-41.

[3] DABBAGHJAMANESH M，MOEINI A，KAVOUSI-FARD A.Reinforcement Learning-Based Load Forecasting of Electric Vehicle Charging Station Using Q-Learning Technique[J].IEEE Transactions on Industrial Informatics，2021，17（6）：4229-4237.

[4] KABIR M E，ASSI C，TUSHAR M H K，et al.Optimal Scheduling of EV Charging at a Solar Power-Based Charging Station[J].IEEE Systems Journal，2020，14（3）：4221-4231.

[5] 薛貴挺，汪柳君，劉哲，等.考慮碳排放的光儲充一體站日前運行策略[J].電力系統保護與控制，2022，50（7）：103-110.

[6] 倪爽，崔承剛，楊寧，等.基于深度強化學習的配電網多時間尺度在線無功優化[J].電力系統自動化，2021，45（10）：77-85.

[7] 付張杰，王育飛，薛花，等.基于NSGA-Ⅲ與模糊聚類的光儲式充電站儲能系統優化運行方法[J].電力建設，2021，42（3）：27-34.

[8] 趙乃新，顧文波，美合日阿依·穆太力普.考慮低碳經濟運行的四聯供綜合能源系統優化調度[J].熱力發電，2023，52（4）：54-62.

收稿日期：2023-05-18

作者簡介：張帥（1995—），女，湖北人，助理工程師，研究方向：電力系統及其自動化。