基于近似動態規劃的海上風電制氫微網實時能量管理策略

陳鴻琳，劉新苗，余浩，鐘治垚，劉文昕，艾小猛

(1.廣東電網有限責任公司電網規劃研究中心，廣州市 510080；2.廣東電網有限責任公司，廣州市 510080；3.華中科技大學電氣與電子工程學院，武漢市 430074)

0 引 言

構建新型電力系統是實現碳達峰和碳中和目標的核心環節[1]。海上風電的年利用小時數高、占地面積小，是一種快速發展的新能源利用模式[2]。但其出力具有隨機性和間歇性，對海上風電并網和消納提出挑戰[3]。電解水制氫(power-to-hydrogen,PtH)作為一類無碳化產氫技術，在近年來受到廣泛關注[4]。在海上風電系統中引入電解水制氫裝置，不僅可以消納過剩的電功率，還能制備作為工業生產關鍵原料的氫氣[5]，是提高海上風電利用率的重要途徑。

目前海上風電制氫技術根據與電網的連接關系可分為并網型和離網型2類[6]。并網型中，電制氫裝置可安裝于海上或陸上，用于提升并網友好性；離網型中，海上風能經電制氫裝置轉換成氫氣，后續可由輸氣管道或船舶運輸，一定程度降低供電建設成本[7]。由國內外示范項目總結可得，離網型技術更適合深遠海范圍的海上風電制氫，其制氫及運氫方案的全生命周期經濟性評價最高[8]。現有海上風電制氫系統的項目和研究，主要關注點集中在電制氫裝置的性能優化。在適應波動功率的電解槽、電力電子變換器以及控制策略等關鍵技術上取得了突破性進展[9]。然而，鮮有文獻關注海上風電制氫系統內部各元件之間的能量分配問題，導致系統整體的能量利用效率偏低[10]。

海上風電制氫系統的能量管理策略指在電制氫裝置與加熱器等輔助設備之間合理分配海上風電功率，形成多種能源的協同，提高能源利用率。文獻[11]建立了海上風電制氫系統的配置優化模型，在全清潔供能的綠氫生產模式下，系統的電能成本可能增大，降低運行經濟性。文獻[12]建立了海島微網的能量管理優化模型，電制氫裝置不僅提升海上風電利用率，還可以通過出售制備的氫氣增加系統收益。

在上述有關能量管理的研究中，海上風電制氫系統運行在確定性場景，即海上風電、電負荷等外部條件固定。然而，在實時運行階段，系統內海上風電出力、電負荷功率等因素具有不確定性，導致日內實際值與日前預測值存在差異，上述能量管理策略難以達到其效果。所以，亟需開展計及不確定性的海上風電制氫系統的實時能量管理研究。近似動態規劃算法(approximate dynamic programming,ADP)作為一類實時優化方法，通過值函數近似來避免動態規劃的維數災問題，已經應用于數據中心[13]和工業園區[14]的能量管理。在滿足海上風電制氫系統供需平衡的前提下，ADP可用于應對海上風電出力、氫負荷質量、電負荷功率等因素的不確定性，在隨機環境下給出安全、穩定、經濟的實時能量管理策略。

綜上，本文以海上風電制氫微網系統為對象，針對該系統的實時能量管理策略開展研究。在海上風電出力波動的情形下，協調微網內的各元件以滿足電負荷與氫負荷的需求，同時提高海上風電的消納能力和微網運行的經濟性。首先，根據所提海上風電制氫微網的運行原理，建立其能量管理優化模型，并且基于馬爾科夫過程進行模型重構。然后，基于近似動態規劃提出海上風電制氫微網的實時能量管理策略，采用分段線性函數近似狀態值函數，包含離線訓練和實時優化兩階段。最后，通過算例分析驗證所提實時能量管理策略的有效性和優越性。

1 海上風電制氫微網實時能量管理模型

1.1 海上風電制氫微網運行原理

本文所研究的海上風電制氫微網結構如圖1所示，包含海上風電(offshore wind,OW)、電制氫裝置、儲氫罐、電負荷以及柴油發電機(diesel generator,DG)。在該微網中，海上風電是主要的電能來源，向電制氫裝置提供電功率。在電制氫裝置內發生電解水反應，電能轉換為氫氣中的化學能。產生的氫氣可存儲在儲氫罐內，后續再通過運氫船運輸至岸上氫負荷，例如煉油或化工合成等。此外，電制氫過程需要一系列輔助設備，如加熱器、循環泵等。這些設備與微網內其他用電設備一同構成海上風電制氫微網的電負荷。然而，由于海上風電出力具備不確定性，電制氫裝置以及電負荷難以獲得穩定的電能供應。考慮使用柴油發電機和外部電網在海上風電出力不足時作為微網的備用電源提供電功率。同時，當海上風電制氫經運氫船運輸的氫氣不足以滿足氫負荷需求時，可以從外部氫源購買氫氣來彌補缺額。

圖1 海上風電制氫微網結構Fig.1 Structure of offshore wind power-to-hydrogen microgrid

在海上風電制氫微網的運行過程中，海上風電由傳統的并網送出模式轉變為就地消納模式，將電能轉化為氫能，實現海上風電的柔性接入，促進海上風電消納。同時，海上風電制氫全過程無碳排放，產生綠色氫能。綠氫在煉油和化工合成等工業領域的應用，將顯著加快脫碳進程，促進我國“雙碳”目標的達成。

1.2 海上風電制氫微網能量管理優化模型

根據上述的海上風電制氫微網運行原理，可構建該微網的能量管理優化模型，包括約束條件和目標函數兩部分。

1.2.1 約束條件

在下列約束條件中，涉及到功率P的變量單位均為kW，涉及到質量M的變量單位均為kg。

海上風電作為海上風電制氫微網的主要能量來源，其出力需滿足上下限約束：

(1)

在電制氫裝置內，來自海上風電或柴油發電機的電功率被消耗并轉換成氫氣，其功率需滿足上下限約束式(2)。電制氫裝置的電-氫能量關系如式(3)所示。氫氣存儲在儲氫罐內，后續可通過運氫船輸送至岸上，儲氫罐的壓力pHS,t用于表示氫氣存儲的多少，其相鄰時刻間的變化關系如式(4)所示。儲氫罐的壓力也需要滿足上下限約束式(5)。

(2)

MPtH,t=ηPtHPPtH,tΔt

(3)

(4)

(5)

柴油發電機和外部電網作為備用電源，其出力PDG,t和Pgrid,t均需要滿足上下限約束式(6)和(7)。發電機還受到機組爬坡能力的限制，即爬坡功率約束式(8)。

(6)

(7)

RDG,down≤PDG,t-PDG,t-1≤RDG,up

(8)

本文所提系統包含電能和氫能兩部分，需要分別滿足電功率平衡式(9)和氫氣質量平衡式(10)約束。

POW,t+PDG,t+Pgrid,t=Pload,t+PPtH,t

(9)

Mship,t+Msource,t=Mload,t

(10)

式中：Pload,t、Msource,t、Mload,t分別表示海上風電制氫微網電負荷功率、從外部氫源購買的氫氣質量以及岸上氫負荷質量。

1.2.2 目標函數

海上風電制氫微網能量管理的優化目標是最小化運行周期(T個時段)內的總運行成本J，其中單時段的運行成本Ct，包括柴油發電機的發電成本CDG,t、外部電網的購電成本Cgrid,t、外部氫源的購氣成本CH2,t以及棄風懲罰成本Cc,t，如式(11)—(16)所示。

(11)

Ct=CDG,t+Cgrid,t+CH2,t+Cc,t

(12)

CDG,t=kDGPDG,tΔt

(13)

Cgrid,t=kgrid,tPgrid,tΔt

(14)

CH2,t=kH2Msource,t

(15)

(16)

式中：kDG表示柴油發電機的成本系數，元/(kW·h)；kgrid,t表示t時刻的外部電網電價，元/(kW·h)；kH2表示從外部氫源購買的氫氣單價，元/kg；kwcur表示棄風懲罰系數，本文參考文獻[15]，取1元/(kW·h)。

1.3 馬爾科夫決策過程重構

上述海上風電制氫微網能量管理優化模型是線性規劃(linear programming，LP)問題。雖然可以求解得到該優化問題的最優解，但是這需要在優化決策時獲得海上風電制氫微網的全時段精確狀態信息。在實時能量管理階段，這一要求難以得到滿足。故本節基于馬爾科夫決策過程(Markov decision process,MDP)對海上風電制氫微網能量管理模型進行重構，用于該微網的實時優化。

St={Wt,pHS,t,PDG,t-1}

(17)

xt={POW,t,PDG,t,Pgrid,t,PPtH,t,MPtH,t,Mship,t,Msource,t}

(18)

除外部狀態信息外，海上風電制氫微網的狀態變量St還包括儲氫罐t時刻的壓力pHS,t和柴油發電機在t-1時刻的輸出功率PDG,t-1，如式(17)所示。上述兩者分別受到時段間耦合約束的影響：壓力變化約束式(4)和爬坡功率約束式(8)。海上風電制氫微網的決策變量如式(18)所示。

海上風電制氫微網的實時能量管理過程如圖2示。

圖2 海上風電制氫微網的馬爾科夫決策過程Fig.2 The MDP framework of offshore wind PtH microgrid

(19)

然而，在實際問題中，外部狀態信息的不確定性具有高維度的特點，容易造成狀態變量和決策變量的空間極其龐大，計算負擔大，即動態規劃方法的“維數災”問題。

2 基于ADP的實時能量管理策略

針對海上風電制氫微網實時能量管理的“維數災”問題，本文提出基于ADP的實時能量管理運行策略。在所提策略下，分段線性函數(piece-wise linear function,PLF)用于近似狀態值函數，進而求解貝爾曼方程，獲得近似最優的決策序列。

2.1 基于PLF的值函數近似方法

首先，ADP的核心思想是采用值函數近似(value function approximation,VFA)方法來降低計算負擔，而近似的準確性對決策效果有顯著影響。在諸多近似方法中，分段線性函數近似具有數學性質好、易收斂等特點[16]。本文選擇基于儲氫罐壓力的PLF來近似決策后狀態值函數，如式(20)所示。

(20)

(21)

(22)

(23)

vm-1,t≤vm,t

(24)

最后，海上風電制氫微網的實時能量管理決策可通過求解式(25)獲得，其中Ct由式(11)—(16)決定，而xt需要滿足約束式(1)—(10)和式(21)—(24)。

(25)

在所提ADP方法中，實時能量管理決策的最優性受到值函數近似準確性的顯著影響。而對于采用PLF近似，影響準確性的關鍵是PLF各分段的斜率。通過訓練和更新PLF斜率，可以減小近似值函數與原值函數的誤差，提升近似精度。以第n次迭代過程的t時刻為例，PLF的訓練和更新過程如圖3所示。

圖3 分段線性函數訓練和更新過程Fig.3 The training and update of piece-wise linear functions

(26)

然后，基于該采樣估計值更新t時刻PLF的第m分段斜率，如式(27)所示。

(27)

式中：β表示斜率更新步長。

更新后的斜率如圖3中紅色虛線所示，當更新前后斜率相等時，即紅色實線與虛線重合時，說明此時近似值函數可以較為精確地擬合原值函數。從物理意義的角度看，分段線性函數的斜率表示單位儲氫罐壓力變化對系統后續時段總運行成本的影響。如果斜率訓練良好，在實時能量管理時，決策可以考慮到儲氫罐壓力對后續時段的影響，更有可能得到近似的全局最優解。針對其他分段，采用Leveling算法檢查和更新其斜率，確保斜率隨分段序號增大保持單調遞增，PLF仍為凸函數，如式(28)所示[17]。

(28)

最后，經過N次迭代訓練，可得到一組準確擬合值函數的分段線性函數斜率，用于海上風電制氫微網的實時能量管理，其可獲得近似最優的實時決策。

2.2 基于ADP的海上風電制氫微網能量管理流程

上述值函數近似方法和斜率訓練與更新方法為獲得海上風電制氫微網的近似最優實時能量管理決策提供基礎。基于此，本節提出海上風電制氫微網的能量管理流程，如圖4所示，其包含離線訓練和實時優化兩階段。

圖4 基于ADP的海上風電制氫微網能量管理流程Fig.4 ADP based energy management procedure of offshore wind PtH microgrid

在離線訓練階段，根據訓練場景數量確定總迭代次數，在每一次迭代過程中，從第一個時刻開始模擬海上風電制氫微網的實時能量管理。在每一決策時刻，首先，根據1.3節所述內容，由上一時刻的狀態變量和當前時刻的外部狀態信息更新得到當前時刻的微網狀態變量。然后，根據1.2節所述內容，求解能量管理優化模型，得到當前時刻的決策變量。最后，根據2.1節所述內容，對分段線性函數的斜率進行更新，再進入下一決策時刻。

在實時優化階段，實時能量管理流程與離線訓練階段的一次迭代過程相似，區別在于：實時優化的PLF斜率是經離線訓練得到的，不需要再進行訓練，決策結束后輸出實時能量管理策略，并且直接進入下一決策時刻。綜上，本文所提的海上風電制氫微網能量管理優化模型是能量管理策略決策的基礎，馬爾科夫決策過程重構是相鄰時刻間狀態轉移的基礎，而分段線性函數訓練和更新過程用于提升實時能量管理策略的優化效果。此外，圖4所示能量管理流程中的離線訓練和實時優化兩階段不是完全獨立的，例如，在完成時長一天的實時優化后，相關變量信息可作為離線訓練的場景輸入，進一步提升PLF斜率的近似效果，提高能量管理的全局最優性。

3 算例分析

本節通過算例驗證所提的海上風電制氫微網實時能量管理策略，并且對比現有的實時能量管理方法，即短視方法(myopic)和模型預測控制方法(model predictive control,MPC)，說明ADP方法的優越性。算例僅考慮分布式離網型海上風電制氫系統的一個單元，即由1臺海上風力發電機和電制氫裝置以及其他元件構成的微網，海上風電單機容量取300 kW[18]，其余微網參數如表1所示。優化時段總數T=24，分段線性函數共4段，其初始斜率設置等于0，更新步長β=0.1。本文中，MATLAB/YALMIP用于建立所提優化模型并采用GUROBI求解。計算機配置如下：CPU是Intel Core i7 3.80 GHz，內存容量為16 GB。

表1 海上風電制氫微網參數Table 1 Parameters of offshore wind PtH microgrid

(29)

假設海上風電出力、電負荷功率、外部電網電價和氫負荷質量的預測誤差服從正態分布，并且標準差分別是10%、5%、5%和5%。基于蒙特卡洛方法生成100組離線訓練場景和500組實時測試場景，如圖5所示。其中黑實線表示上述物理量的日前預測值，陰影部分表示所有場景的分布范圍。

圖5 海上風電制氫微網的外部狀態信息Fig.5 The external information of offshore wind PtH microgrid

經過100組離線訓練場景的迭代后，可以得到一組經訓練的分段線性函數斜率，如表2所示。由表2中數據可知，經訓練的分段線性函數斜率均為負值，說明提前存儲氫氣，增大儲氫罐壓力，可以降低后續時刻的運行成本。同時，斜率逐漸增加保證分段線性函數是凸函數。

為分析在所提基于ADP的實時能量管理策略下，海上風電制氫微網的實時運行狀態，從實時測試場景集中選擇一個場景，其外部狀態信息的日內實際值如圖5中的帶標記實線所示。

圖6為在所選實時場景下，海上風電制氫微網的電功率分配情況。除所提ADP方法外，圖中增加由短視方法和MPC方法獲得的優化結果，用于不同實時方法的對比。在所選場景下，海上風電實現就地消納，無棄風現象發生。但在負荷高峰期，海上風電出力降低，難以滿足電功率的實時平衡，需要柴油發電機或外部電網來彌補功率缺額。上述兩電源的發電決策取決于柴油發電機成本系數和外部電網電價之間的大小關系。當外部電網電價高于柴油發電機的成本系數(0.075元/(kW·h))，即11～22時段，柴油發電機優先發電彌補功率缺額，微網運行成本更低，反之亦然。

圖6 海上風電制氫微網的電功率分配Fig.6 The electrical power distribution in offshore wind PtH microgird

電制氫裝置作為海上風電制氫微網內的靈活性負荷，其消耗的電功率受到實時能量管理方法的影響。在所提ADP方法下，電制氫裝置的總功率最多，達到588.95 kW，說明制備的氫氣質量最多。由于微網內電功率總需求增加，電源出力對應增加，發電成本上升。但是，從總運行成本來看，所提ADP方法下，微網總運行成本最低(313.66元)，說明購氣成本下降，即多制備的氫氣可減少從外部氫源購買的氫氣。

圖7為在所選實時場景下，各實時能量管理方法的岸上氫負荷質量平衡關系。雖然氫負荷質量一定，但在不同方法下，運氫船和外部氫源的氫氣質量占比不同。以外部氫源購買為例，在所提ADP方法下，氫氣購買總質量是3.84 kg；在MPC方法下，氫氣購買總質量是4.15 kg；在短視方法下，氫氣購買總質量是4.96 kg。上述結果說明，在所提ADP方法下，電制氫裝置消耗電能制備氫氣，可以減少海上風電制氫微網從外部氫源購買的氫氣，從而降低購氣成本。

圖7 岸上氫負荷的質量平衡Fig.7 The mass balance of onshore hydrogen demand

電制氫裝置制備的氫氣可以存儲在儲氫罐內，而儲氫罐內的氫氣可以通過運氫船輸送至陸上，上述過程將導致儲氫罐壓力實時變化。在所選實時場景下，各實時能量管理方法決策的儲氫罐壓力變化曲線如圖8所示。

短視方法在實時優化中僅考慮當前時刻的能量管理，不考慮當前時刻決策對后續時刻的影響。因此，陸上氫負荷的需求優先由儲氫罐內已存儲的氫氣滿足，儲氫罐壓力下降。此時，儲氫罐的靈活性沒有得到充分發揮，即從全時段運行來看，短視方法的運行成本最高。模型預測控制方法雖然在實時優化決策時考慮未來時段，即提前制備氫氣并存儲，減少從外部購買的氫氣，降低全時段運行成本。但是，其決策的最優性取決于預測的時段數及精度，兩者難以取得權衡。

圖8 海上風電制氫微網內儲氫罐壓力Fig.8 The pressure of hydrogen storage tank in offshore wind PtH microgird

與上述實時能量管理方法相比，本文所提的ADP方法選取儲氫罐壓力為變量，利用分段線性函數來近似貝爾曼方程中的值函數，用于表示壓力對后續時刻微網運行的影響。而通過離線訓練階段，所提實時能量管理策略已得到一組訓練良好的分段線性函數斜率，其可以較為準確地反映儲氫罐壓力對海上風電制氫微網運行成本的影響。當微網發電成本較低并且氫負荷需求較少時，根據PLF的斜率，電制氫裝置將制備氫氣并存儲于儲氫罐內，儲氫罐壓力上升，近似值函數下降。在氫負荷較高時，存儲的氫氣可通過運氫船輸送至岸上，避免從外部氫源購買。因此，所提實時能量管理策略在滿足微網電負荷和氫負荷的基礎上，調度電制氫裝置提前制備氫氣并存儲，利用儲氫罐的靈活性，減少氫氣的購買量，降低全時段微網的運行成本。

為對比所提策略與現有方法在海上風電制氫微網實時能量管理的效果，以具備精確預測技術的理想算例為基準，根據式(29)計算500組實時測試場景下，采用所提ADP方法、MPC方法和短視方法的實時優化準確率，其頻率分布如圖9所示。

圖9 實時優化準確率對比Fig.9 Accuracy comparison of the real-time optimization between ADP and MPC

統計結果表明：對于算例生成的實時測試場景，本文所提基于ADP的實時能量管理策略在實時優化階段具有99.80%的平均準確率。上述結果說明離線訓練得到的PLF斜率在不同測試場景下均可以提升貝爾曼方程解的最優性，說明所提實時能量管理策略可得到近似全局最優解，具備可復現性。與之相比，短視方法僅考慮當前時刻的決策，運行周期內總運行成本較高，因此實時優化準確率偏低，平均值僅為95.14%。MPC方法可考慮未來有限時段，故其優化準確率高于短視方法，但低于可考慮全時段影響的ADP方法，在實時測試場景下，MPC方法的優化準確率平均值是98.03%。雖然在部分場景下，MPC方法的實時優化準確率高于所提ADP方法，但是所提ADP方法具有更窄的優化準確率分布范圍。這說明面對不同的測試場景，所提ADP方法均可以獲得最優決策，實現海上風電制氫微網的高效能量管理。

綜上所述，本節通過算例分析驗證所提基于ADP的海上風電制氫微網實時能量管理策略。該策略在滿足微網電負荷和氫負荷需求的前提下，充分利用儲氫罐的靈活性，電制氫裝置提前消耗電功率制備氫氣，然后存儲在儲氫罐中。當氫負荷較高時，通過運氫船輸送至岸上氫負荷，減少從外部氫源購買氫氣，從而降低微網的總運行成本。此外，與現有的短視方法和MPC方法相比，所提ADP方法具有更高的實時優化準確率，并且在不同測試場景下可以保持優化性能。

4 結 論

本文針對海上風電制氫微網的實時能量管理展開研究。首先，建立海上風電制氫微網的能量管理優化模型并基于馬爾科夫決策過程重構。然后，提出基于近似動態規劃的實時能量管理策略以計及海上風電出力、電負荷功率、氫負荷質量和外部電網電價等不確定性因素。最后，通過仿真算例說明所提基于ADP的海上風電制氫微網實時能量管理策略可以在海上風電就地消納的情形下，提前通過電制氫裝置制備并存儲氫氣，用于應對高氫負荷需求，減少從外部氫源購買氫氣，降低運行成本。同時，離線訓練得到的分段線性函數斜率可以幫助所提ADP方法在實時優化階段得到近似最優的能量管理決策，以具備精確預測技術的理想算例為基準，即線性規劃的優化結果，在本文的測試場景下，所提ADP方法的優化準確率平均值是99.80%，對比現有的實時能量管理方法，優化準確率至少提升1.8%。