基于深度強化學習的分布式電力配電網負荷調度研究

常 遠

（內蒙古電力（集團）有限責任公司）

0 引言

隨著能源需求的不斷增長和能源結構可持續(xù)發(fā)展的需求，分布式電力配電網作為一種新興的電力供應模式逐漸受到關注。相比傳統(tǒng)的中央化電力配電網，分布式電力配電網通過將電力生產和負荷管理逐漸下放到用戶端，具有更高的可靠性、靈活性和可持續(xù)性等優(yōu)勢。然而，在實際運行中，分布式電力配電網面臨著諸多挑戰(zhàn)，包括負荷調度問題[1]。分布式電力配電網負荷調度的研究具有重要的理論和實踐意義。首先，優(yōu)化負荷調度可以有效解決分布式電力網絡中負荷高峰和供需失衡等問題，提升系統(tǒng)整體的供電質量和效率[2]。其次，聚焦于分布式電力配電網負荷調度問題，可以促進清潔能源的大規(guī)模應用和能源消耗的合理化，鏈路對能源的利用效率，減少能源浪費，降低環(huán)境污染和碳排放。此外，負荷調度研究還能改善分布式電力配電網的魯棒性和抗災能力，增加對電力異常情況的應對能力，提升用戶用電體驗和供電可靠性[3]。然而，在分布式電力配電網實際運行中，負荷數據可能存在損壞、缺失和誤差等問題，這可能導致負荷調度過程中的不精確性和不準確性。例如，如果存在損壞的負荷數據，調度系統(tǒng)可能無法正確識別用戶的實際用電情況，進而導致負荷的高峰和供需失衡問題。此外，負荷數據的準確性還對于負荷預測和優(yōu)化調度算法的有效性產生重要影響，不準確的負荷數據可能導致預測偏差和調度策略的錯誤[4]。

1 基于深度強化學習的損壞負荷數據提取

利用深度強化學習提取損壞負荷數據的原理是通過智能體在虛擬環(huán)境模型中與環(huán)境進行交互，根據環(huán)境狀態(tài)觀測結果選擇合適的動作，并從環(huán)境獲得獎勵信號來優(yōu)化模型的參數，以實現(xiàn)對損壞負荷數據的提取。通過不斷嘗試和學習，深度強化學習模型可以學習到負荷數據的特征和規(guī)律，從而具備生成損壞負荷數據的能力。這一過程類似于人類學習的方式，通過試錯和獎懲機制實現(xiàn)智能體的自主學習和決策能力，最終達到提取損壞負荷數據的目標。

用深度強化學習中的LSTM（長短期記憶）網絡來實現(xiàn)配電網損壞負荷數據的提取。LSTM 網絡具有處理時序數據的能力。配電網損壞負荷數據通常包含時間上連續(xù)的信息，存在著時序的依賴關系。LSTM網絡通過其記憶單元和遺忘門的機制，能夠有效地捕捉和建模時序依賴關系，從而更好地理解和提取損壞負荷數據中的時序模式。LSTM 網絡在處理長期依賴問題上表現(xiàn)出色。配電網損壞負荷數據可能存在長期依賴性，即當前狀態(tài)受前面多個狀態(tài)的影響。傳統(tǒng)的前饋神經網絡往往難以處理這種長期依賴關系。而LSTM 網絡通過其門控機制，可以選擇性地保存和更新記憶，有效地緩解了長期依賴問題，使模型能夠更準確地提取損壞負荷數據。并且，LSTM 網絡還可以對序列數據進行動態(tài)建模和預測。在深度強化學習框架中，LSTM 網絡可以作為智能體的決策層，根據當前狀態(tài)觀測結果和記憶內容，生成相應的動作，并將其發(fā)送給后續(xù)層進行優(yōu)化。這樣，LSTM 網絡不僅可以提取損壞負荷數據的特征，還可以針對不同場景和環(huán)境做出更合理和智能的決策。

LSTM 作為一種對周期神經網絡進行了改良，能有效地解決常規(guī)周期神經網絡不具有梯度的缺點。在此基礎上，提出了一種新的輸入門、遺忘門和輸出門的新方法，利用內存元素作為隱含的狀態(tài)維來保存額外的信息。其結構如圖1 所示。

圖1 深度強化學習網絡模型

在圖1 中，設定負荷數據處理總時間為T，深度強化學習網絡模型的輸入為x，前一時刻的隱藏狀態(tài)為H，利用sigmod 激活函數可獲取負荷數據的特征，根據以上已知參數，計算輸入門i，遺忘門f，輸出門o：

式中，i、f、o分別為輸入門，遺忘門，輸出門；δ為輸入數據特征系數；W為學習系數。

相對于單純循環(huán)結構，LSTM 網絡更容易學習時間序列，因此在這類任務中具有明顯的優(yōu)勢，實現(xiàn)多個損壞負荷數據包的特征提取。

2 分布式電力配電網調度模型

2.1 約束條件

在構建分布式電力配電網調度模型時，設置約束條件是必要的。約束條件可以確保系統(tǒng)運行的合理性、安全性和穩(wěn)定性，同時滿足各種技術和運行要求。約束條件可以限制電力設備和系統(tǒng)運行的范圍，確保其在安全工作區(qū)間內運行。例如，對任何電力設備的電壓、電流、頻率等進行限制，以確保不超過設備的額定值或防止出現(xiàn)過載現(xiàn)象。通過設置這些約束條件，可以有效地避免設備的損壞、事故的發(fā)生，維護系統(tǒng)的可靠性和穩(wěn)定性[5]。

其次，約束條件可以確保供需平衡和電能質量。例如，根據消費需求和供電能力，設置合適的功率平衡約束條件，確保系統(tǒng)供電與需求匹配；對電壓波動、諧波含量以及功率因數等電能質量指標進行約束，確保提供穩(wěn)定、高質量的電能供應。

此外，還可以設置環(huán)境和政策方面的約束條件。比如對可再生能源發(fā)電容量的上限以及碳排放限制等，以促進低碳環(huán)保發(fā)展。在分布式電力配電網中，還可以考慮約束條件來確保微網運行的可靠性，例如對微網內部能源供應與需求的匹配以及電力交互的安全性等。

本節(jié)設置的具體約束方程如下：

（1）功率損耗約束

式中，Pd(t)為負荷的有功損耗；P1x(t)、Pd(t)分別為分布式電力配電網中負荷的削減功率和用電功率。

（2）電壓約束

式中，Ui為節(jié)點的實時電壓。

（3）儲能部分剩余能量約束

式中，SOC.n為第n個儲能裝置的荷電狀態(tài)，通常取值在5%～95%之間。

式中，E0、E'分別為儲能模塊初始能量和剩余能量。

2.2 負荷優(yōu)化調度模型求解

為實現(xiàn)負荷的尋優(yōu)調度，引入粒子群算法對上述模型完成求解。但是傳統(tǒng)粒子群算法存在以下幾個弊端。

早熟收斂問題：傳統(tǒng)粒子群算法容易陷入局部最優(yōu)解，而無法獲得全局最優(yōu)解。這是因為經典粒子群算法只對全局最優(yōu)位置進行更新，而未考慮到個體粒子的探索能力和多樣性。

缺乏自適應性：傳統(tǒng)粒子群算法通常使用固定的參數設置，如慣性權重和加速度因子，無法靈活地、自適應地調整參數來適應問題的特性，導致算法的魯棒性和適應性不足。

收斂速度慢：傳統(tǒng)粒子群算法在求解復雜問題時，由于沒有有效的機制來引導搜索過程，往往需要較長的時間才能收斂到較好的解。

因此，為了進一步優(yōu)化負荷調度結果，將非線性遞減慣性權重引入到傳統(tǒng)粒子群算法中，可產生以下優(yōu)勢。

提高全局搜索能力：非線性遞減慣性權重可以增強粒子群算法的全局搜索能力。在開始階段，較大的慣性權重有利于粒子群在搜索空間中快速探索，增加了算法的多樣性和全局搜索能力。隨著迭代次數的增加，遞減的慣性權重使粒子逐漸減小步長，有助于精細搜索和收斂到更優(yōu)解。

提高算法的收斂速度：非線性遞減慣性權重的引入可以使粒子群算法更快地收斂到最優(yōu)解。初始階段較大的慣性權重可以促使粒子群更迅速地發(fā)現(xiàn)全局最優(yōu)解的區(qū)域，而后期遞減的慣性權重則有助于粒子逐漸收斂到更優(yōu)解。

增強算法的適應性：非線性遞減慣性權重可提高粒子群算法對問題的適應性。粒子群算法可以根據問題的特性自適應地調整權重的下降速度，以更好地平衡全局探索和局部開發(fā)的需求。

改進后的粒子群算法表達式為：

式中，vi為粒子i速度；ω為慣性權重系數；Qi為單個粒子尋優(yōu)最優(yōu)值；Qg為所有粒子的尋優(yōu)最優(yōu)值；Xi為第i個粒子的位置信息。

經過全局搜索和局部搜索后，輸出得到目標函數值，具體實現(xiàn)過程如圖2 所示。

圖2 流程圖

3 試驗測試

構建試驗平臺進行試驗，檢驗提出的算法能否獲得最佳的調度效果。本項目擬在44 個由4 個光伏電站、2 個燃氣輪機、2 個風力發(fā)電廠和7 個蓄能單元組成的44 個節(jié)點組成的分布式配電網絡中進行試驗。系統(tǒng)結構圖如圖3 所示。

圖3 試驗環(huán)境

將圖3試驗環(huán)境的真實全天負荷數據繪制在圖4中。

圖4 優(yōu)化前負荷日負荷曲線

利用研究方法對試驗區(qū)域內負荷完成調度，得到負荷結果如圖5 所示。

圖5 優(yōu)化后負荷日負荷曲線

通過對比圖3 和圖5 可以看出，在此基礎上，通過對負荷進行最優(yōu)調度，實現(xiàn)存儲設備及靈活負荷的主動加入，實現(xiàn)新能源功率特性與負載特性的匹配。

為進一步驗證研究方法的實用性，以電網成本為指標，測試其性能。對比研究方法應用前后的成本，結果如下表所示。

表 優(yōu)化調度前后分布式電力配電網運行成本對比

通過對比表中優(yōu)化調度前后數據可以很明顯地看出，所提方法可有效降低分布式電力配電網的發(fā)電成本，從而使用戶的購電成本得以降低。

4 結束語

通過提出基于深度強化學習的分布式電力配電網負荷調度方法，本方法在以下幾個方面具有創(chuàng)新：首先，利用深度強化學習中的LSTM 網絡實現(xiàn)對損壞負荷數據的特征提取，能夠更好地理解和分析負荷數據中的時序模式和特征。其次，通過建立分布式電力配電網調度模型的約束條件，考慮了不同能源源頭的協(xié)調調度以及供需平衡等要素，保證了調度的可行性和系統(tǒng)的穩(wěn)定運行。最后，引入非線性遞減慣性權重到傳統(tǒng)粒子群算法中，對調度結果進行優(yōu)化，提高了算法的全局搜索能力和收斂速度。通過實驗結果的驗證，本方法成功實現(xiàn)了負荷的優(yōu)化調度，并能夠適應存儲設備和靈活負荷的主動加入，以及與新能源功率特性和負荷特性的更高匹配度。綜上所述，該方法在分布式電力配電網負荷調度中具有可靠的特征提取、靈活的模型約束和高效的尋優(yōu)調度等主要創(chuàng)新之處，對于實現(xiàn)可持續(xù)、智能化的分布式電力配電網具有重要的實際應用價值。