基于近端策略優(yōu)化算法的電化學(xué)/氫混合儲能系統(tǒng)雙層配置及運(yùn)行優(yōu)化

閆慶友，史超凡，秦光宇,3，許傳博

(1.華北電力大學(xué)經(jīng)濟(jì)與管理學(xué)院，北京市 102206；2.新能源電力與低碳發(fā)展研究北京市重點(diǎn)實(shí)驗(yàn)室(華北電力大學(xué))，北京市 102206；3.加利福尼亞大學(xué)伯克利分校，可再生能源重點(diǎn)實(shí)驗(yàn)室，美國舊金山伯克利市 94709)

0 引 言

隨著我國雙碳目標(biāo)的提出，如何高效利用可再生能源受到了高度重視，受風(fēng)光隨機(jī)性和波動(dòng)性的影響，我國在可再生能源的利用上存在明顯的棄風(fēng)、棄光問題。而隨著近年來儲能技術(shù)的快速發(fā)展，電網(wǎng)在調(diào)峰、調(diào)頻、改善電能質(zhì)量和系統(tǒng)穩(wěn)定性方面得到了很大改善[1-3]，可以說儲能技術(shù)是推動(dòng)我國能源由化石能源向清潔能源轉(zhuǎn)型的關(guān)鍵，轉(zhuǎn)變電網(wǎng)原先“即發(fā)即用”的狀態(tài)，將發(fā)電和用電在時(shí)空上分割開，從而提高了電網(wǎng)對于現(xiàn)有資產(chǎn)的利用率，由向外擴(kuò)張轉(zhuǎn)為向內(nèi)增效的發(fā)展模式[4-6]。

在儲能系統(tǒng)的配置和運(yùn)行問題上，已有許多學(xué)者進(jìn)行了相關(guān)研究。文獻(xiàn)[7]提出一種儲能系統(tǒng)規(guī)劃和運(yùn)行的綜合優(yōu)化模型，將規(guī)劃和運(yùn)行2個(gè)不同時(shí)間尺度的問題結(jié)合在一起求解；文獻(xiàn)[8-9]以光伏消納率和利潤率為目標(biāo)構(gòu)建了多目標(biāo)優(yōu)化模型，為微電網(wǎng)進(jìn)行儲能優(yōu)化；文獻(xiàn)[10-12]在考慮風(fēng)電間歇性和波動(dòng)性的情況下驗(yàn)證了抽水蓄能與風(fēng)電聯(lián)合運(yùn)行對于風(fēng)電消納具有有效性。但已有研究中，對于配置和運(yùn)行兩者的優(yōu)化界定不夠清晰，對于2個(gè)不同時(shí)間尺度的變量計(jì)算較為混亂。文獻(xiàn)[13-15]通過對于全球電力行業(yè)數(shù)據(jù)的收集，針對發(fā)電側(cè)電化學(xué)儲能的應(yīng)用進(jìn)行了分析，在大規(guī)模新能源并網(wǎng)、電力輔助服務(wù)領(lǐng)域以及微電網(wǎng)領(lǐng)域，電化學(xué)儲能都具有巨大潛力；文獻(xiàn)[16]綜合考慮分布式電源、儲能裝置及配網(wǎng)安全運(yùn)行約束條件，建立了以儲能成本、網(wǎng)損率以及電壓穩(wěn)定性作為優(yōu)化指標(biāo)的配網(wǎng)儲能優(yōu)化配置模型，并運(yùn)用小生境多目標(biāo)粒子群優(yōu)化算法對該模型進(jìn)行驗(yàn)證。在已有研究中，對于容量型儲能技術(shù)的研究多以抽水蓄能為主，受地形限制較大，在規(guī)劃中幾乎沒有考慮儲能的布局情況，不利于在全國范圍推廣。同時(shí)，為實(shí)現(xiàn)儲能系統(tǒng)配置的可行性，在儲能的配置中，除了提高風(fēng)光等可再生能源消納之外，對于可再生能源機(jī)組的儲能配置成本也要進(jìn)行分析，充分發(fā)揮不同儲能技術(shù)之間的互補(bǔ)特性[17]。進(jìn)一步研究顯示，儲能技術(shù)在經(jīng)濟(jì)性和能量充放速度之間存在明顯矛盾，響應(yīng)速度快的儲能裝置儲能成本較高，成本較低的大容量儲能反應(yīng)時(shí)間較長。對此，文獻(xiàn)[18]針對典型的容量型和功率型儲能進(jìn)行技術(shù)分析，總結(jié)了儲能電站全生命周期成本的構(gòu)成，為混合儲能模型的構(gòu)建提供了經(jīng)濟(jì)測算方法；文獻(xiàn)[19-20]將分布式光伏與儲能系統(tǒng)深度融合，提出源-網(wǎng)-荷協(xié)同優(yōu)化方式，兼顧光伏消納及光儲投資商經(jīng)濟(jì)效益；文獻(xiàn)[21]提出一種改進(jìn)的人工蜂群算法，對比混合儲能和單儲能模式的經(jīng)濟(jì)性，證明混合儲能系統(tǒng)的優(yōu)勢；文獻(xiàn)[22]提出微電網(wǎng)的儲能系統(tǒng)采取2種儲能電池設(shè)備，即能量型儲能鋅溴液流電池和功率型儲能鈦酸鋰電池進(jìn)行配置優(yōu)化；文獻(xiàn)[23]引入機(jī)會(huì)約束建立儲能系統(tǒng)優(yōu)化配置模型；文獻(xiàn)[24]針對發(fā)電側(cè)新能源風(fēng)光場站的氫儲能容量優(yōu)化配置問題，以氫儲能投資成本最小，二氧化碳減排量增量最大為目標(biāo)，構(gòu)建了氫儲能多目標(biāo)優(yōu)化配置模型，并通過遺傳算法進(jìn)行求解驗(yàn)證。在已有研究中，應(yīng)用粒子群算法、遺傳算法、蟻群算法等傳統(tǒng)算法求解計(jì)算時(shí)間較長，且過程復(fù)雜、收斂性較差，所得結(jié)果偏離最優(yōu)解。文獻(xiàn)[25-26]提出一種基于深度強(qiáng)化學(xué)習(xí)的最優(yōu)控制方法，設(shè)計(jì)狀態(tài)空間、動(dòng)作空間、獎(jiǎng)勵(lì)函數(shù)與神經(jīng)網(wǎng)絡(luò)，克服傳統(tǒng)方法中求解的復(fù)雜性以及收斂性差的問題，實(shí)現(xiàn)混合儲能系統(tǒng)的最優(yōu)控制，將智能算法應(yīng)用到儲能系統(tǒng)的優(yōu)化配置中。

上述研究有效推動(dòng)了儲能技術(shù)的發(fā)展，提供了混合儲能在新能源消納中的應(yīng)用新思路，然而，仍存在三點(diǎn)不足較為突出：

1)將氫儲能技術(shù)應(yīng)用到混合儲能系統(tǒng)中進(jìn)行配置的研究尚處于起步階段，多以獨(dú)立的氫儲能系統(tǒng)進(jìn)行研究；

2)對儲能系統(tǒng)的配置和運(yùn)行進(jìn)行優(yōu)化時(shí)，時(shí)間尺度混亂，配置問題屬于長時(shí)間尺度，運(yùn)行問題屬于短時(shí)間尺度，優(yōu)化時(shí)層次不分明；

3)在儲能規(guī)劃中所建模型較為復(fù)雜，傳統(tǒng)算法求解難度較大，與智能算法結(jié)合較少。

本文提出一種由電化學(xué)儲能和氫儲能組成的混合儲能系統(tǒng)，并采用分層優(yōu)化的模式，構(gòu)建雙層決策優(yōu)化模型，將儲能配置問題放在上層優(yōu)化中，將系統(tǒng)運(yùn)行問題放在下層優(yōu)化中求解，選用強(qiáng)化學(xué)習(xí)近端策略優(yōu)化(proximal policy optimization，PPO)算法，并對比不同儲能類型配置下系統(tǒng)的綜合效益和棄風(fēng)、棄光率。另外，本文將氫儲能配置中的場地限制考慮在內(nèi)，使配置問題更加貼近實(shí)際情況。

1 混合儲能系統(tǒng)結(jié)構(gòu)

在典型可再生能源系統(tǒng)中引入氫儲能系統(tǒng)，分布式電源包含了風(fēng)力發(fā)電和光伏發(fā)電，混合儲能系統(tǒng)包含電化學(xué)儲能和氫儲能系統(tǒng)，具體結(jié)構(gòu)如圖1所示。

圖1 含氫儲能的混合儲能系統(tǒng)Fig.1 Hybrid energy storage system with hydrogen energy storage

依據(jù)電化學(xué)儲能和氫儲能優(yōu)缺點(diǎn)，如表1所示，本文提出2種假設(shè)運(yùn)行條件，并在后續(xù)算例分析中進(jìn)行對比驗(yàn)證。

表1 電化學(xué)儲能和氫儲能優(yōu)缺點(diǎn)對比Table 1 Comparison between electrochemical energy storage and hydrogen energy storage

假設(shè)條件1：風(fēng)電和光電作為該系統(tǒng)內(nèi)的主要電源，在儲能充放電優(yōu)先級中，氫儲能優(yōu)先于電化學(xué)儲能。在可再生能源發(fā)電高峰時(shí)，氫儲能通過與電化學(xué)儲能耦合縮短系統(tǒng)響應(yīng)時(shí)間，短期內(nèi)多余的風(fēng)電、光電向電化學(xué)儲能充電，之后通過電解槽電解水生成氫氣進(jìn)入儲氫罐儲存，若供電仍然大于所需，則繼續(xù)向電化學(xué)儲能充電，其余電量上網(wǎng)；同理，在用電負(fù)荷高峰時(shí)，可再生能源發(fā)電供不應(yīng)求，短時(shí)間內(nèi)由電化學(xué)儲能供電，之后由燃料電池進(jìn)行供電，氫儲能供電不足時(shí)再通過電化學(xué)儲能繼續(xù)供電，仍無法滿足用電需求時(shí)，則通過向電網(wǎng)購電滿足負(fù)荷。

假設(shè)條件2：在儲能充放電優(yōu)先級中，電化學(xué)儲能優(yōu)先于氫儲能。在可再生能源發(fā)電高峰時(shí)，多余風(fēng)電、光電向電化學(xué)儲能充電，若供電仍大于所需，則通過電解槽電解水生成氫氣進(jìn)入儲氫罐儲存；在用電負(fù)荷高峰時(shí)，優(yōu)先由電化學(xué)儲能供電，再通過燃料電池供電，仍無法滿足用電需求時(shí)，通過向電網(wǎng)購電滿足負(fù)荷。

1.1 電化學(xué)儲能模型

電化學(xué)儲能選用發(fā)展較完備的鋰離子電池，由充放電功率表示的電化學(xué)儲能荷電狀態(tài)為：

(1)

式中：Vd(t)、Vd(t0)分別表示在t時(shí)刻和t0時(shí)刻的電化學(xué)儲能儲電情況；Pcd、Pfd分別表示電化學(xué)儲能的充放電功率；μcd、μfd分別表示電化學(xué)儲能充放電過程的效率。

1.2 氫儲能模型

如圖1所示，氫儲能系統(tǒng)由電解槽、儲氫罐和燃料電池3個(gè)部分組成。相較于其他容量型儲能系統(tǒng)，氫儲能是一種可以同時(shí)適用于短時(shí)和長時(shí)供電的能量儲備方式，能夠保持穩(wěn)定的輸出功率，且不受地形地勢影響，對于環(huán)境污染也小，是一種極具發(fā)展?jié)摿Φ男滦痛笠?guī)模儲能技術(shù)。目前，在眾多電解技術(shù)中，堿性電解水制氫最為成熟，且已形成高度產(chǎn)業(yè)化；在燃料電池類型中，固體氧化物燃料電池在容量和成本上各有優(yōu)勢，適用于大規(guī)模集中儲能，因此本文采用堿性電解槽和固體氧化物燃料電池技術(shù)。

在理想情況下，ρ表示每kW·h電通過電解槽所能產(chǎn)生的氫氣質(zhì)量，γ表示燃料電池每燃燒1 g氫氣所產(chǎn)生的電能。但在實(shí)際的轉(zhuǎn)換過程中，效率無法達(dá)到100%，因此分別用α1和α2表示電解槽和燃料電池的運(yùn)行效率。

設(shè)在t時(shí)段，風(fēng)光電站輸出功率之和記作Pfg(t)，儲氫罐容量表示為VH(t)。當(dāng)可再生能源電站處于發(fā)電高峰時(shí)，一定比例δ的風(fēng)光發(fā)電通過電解槽電解制氫，并傳輸至儲氫罐中儲存。因此，儲氫罐容量變化為：

VH(t)=VH(t-1)+Pfg(t)δρα1

(2)

當(dāng)可再生能源電站發(fā)電無法滿足高負(fù)荷用電時(shí)，此時(shí)需將一定比例λ的VH(t-1)通過燃料電池進(jìn)行發(fā)電。儲氫罐容量變化為：

VH(t)=VH(t-1)-VH(t-1)λγα2

(3)

式(2)、(3)描述了電轉(zhuǎn)氫和氫轉(zhuǎn)電的過程，通過儲氫罐中的氫氣容量作為判斷依據(jù)，在優(yōu)化配置中作為中間變量。

2 儲能配置及運(yùn)行雙層優(yōu)化模型構(gòu)建

2.1 雙層決策優(yōu)化模型

本文從混合儲能系統(tǒng)的經(jīng)濟(jì)效益和對可再生能源的消納2個(gè)方面出發(fā)，提出了雙層決策優(yōu)化模型。上層優(yōu)化模型負(fù)責(zé)求解儲能系統(tǒng)的配置和布局問題；下層優(yōu)化模型負(fù)責(zé)求解儲能系統(tǒng)的運(yùn)行問題，即在考慮風(fēng)光出力波動(dòng)性的情況下儲能系統(tǒng)的運(yùn)行出力情況。

2.1.1 上層優(yōu)化問題

影響上層決策優(yōu)化的變量為儲能系統(tǒng)的配置情況，包括配置容量、配置類型以及最大輸入和輸出功率，目標(biāo)函數(shù)為：

minCtotal=Cinvest+Copera

(4)

式中：Ctotal為混合儲能系統(tǒng)的總成本；Cinvest為儲能系統(tǒng)建設(shè)投資成本；Copera為儲能系統(tǒng)運(yùn)行成本。

為方便對本模型的驗(yàn)證，模型中均以“日”作為周期進(jìn)行結(jié)算，從而Cinvest由儲能系統(tǒng)中氫儲能系統(tǒng)和電化學(xué)儲能系統(tǒng)日投資成本決定，受各儲能系統(tǒng)設(shè)備購置成本、維護(hù)成本和替換成本影響，具體為：

Cinvest=Ci,H+Ci,d

(5)

Ci,H=C0,EL+C0,HT+C0,FC+C1,EL+
C1,HT+C1,FC+C2,EL+C2,HT+C2,FC

(6)

Ci,d=C0,Li+C1,Li+C2,Li

(7)

式中：Ci,H為氫儲能投資成本；Ci,d為電化學(xué)儲能投資成本；C0,EL、C0,HT、C0,FC分別為氫儲能系統(tǒng)中電解槽、儲氫罐和燃料電池的設(shè)備購置成本；C1,EL、C1,HT、C1,FC分別為電解槽、儲氫罐和燃料電池的設(shè)備維護(hù)成本；C2,EL、C2,HT、C2,FC分別為電解槽、儲氫罐和燃料電池的設(shè)備替換成本；C0,Li、C1,Li、C2,Li分別為電化學(xué)儲能系統(tǒng)中鋰離子電池的設(shè)備初始購置成本、設(shè)備維護(hù)成本、設(shè)備替換成本。因電解槽、儲氫罐、燃料電池、鋰離子電池壽命周期不同，轉(zhuǎn)換為日投資成本計(jì)算更為便捷。

儲能系統(tǒng)的運(yùn)行成本包括儲能設(shè)備出力成本Csto和網(wǎng)損成本Closs，具體計(jì)算公式為：

Copera=Csto+Closs=Csto+ηlossWloss

(8)

式中：Csto為儲能設(shè)備出力成本，是下層優(yōu)化結(jié)果中的一部分，由下層優(yōu)化傳遞而來，是連接上下層的關(guān)鍵變量；Closs為網(wǎng)損成本；ηloss為網(wǎng)損電價(jià)；Wloss為網(wǎng)損值，由可再生能源實(shí)際發(fā)電量和儲能系統(tǒng)實(shí)際接收量的差值決定。由此也體現(xiàn)了儲能運(yùn)行成本既受上層儲能配置影響，也與下層儲能系統(tǒng)運(yùn)行計(jì)劃有關(guān)。

上層優(yōu)化模型的約束條件為系統(tǒng)平穩(wěn)運(yùn)行的安全約束，對于儲能系統(tǒng)的容量則采用儲能裝置的數(shù)量進(jìn)行表示，進(jìn)一步簡化變量進(jìn)行求解。

電化學(xué)儲能系統(tǒng)約束條件為：

(9)

(10)

(11)

氫儲能系統(tǒng)約束條件為：

VH,min≤VH(t)≤VH,max

(12)

式中：VH,min、VH,max分別表示氫儲能系統(tǒng)容量及其最小值和最大值。

對于氫儲能系統(tǒng)建造還要考慮實(shí)際場地的約束：

(13)

式中：SEL、SHT、SFC分別表示單個(gè)電解槽、單個(gè)儲氫罐和單個(gè)燃料電池的占地面積；xEL、xHT、xFC分別表示電解槽、儲氫罐和燃料電池的配置個(gè)數(shù)；SEL,max、SHT,max、SFC,max分別表示電解槽、儲氫罐和燃料電池的可用占地面積。氫儲能場地約束相關(guān)參數(shù)取值如表2所示[27]。

表2 氫儲能場地約束相關(guān)參數(shù)取值[27]Table 2 Parameter description value ofhydrogen storage field constraint

2.1.2 下層優(yōu)化問題

通過上層優(yōu)化確定了在以總成本最小為目標(biāo)的情況下，混合儲能系統(tǒng)中儲能的種類和個(gè)數(shù)，在這基礎(chǔ)上，下層優(yōu)化主要考慮儲能系統(tǒng)的運(yùn)行問題，通過對儲能在運(yùn)行中的功率進(jìn)行分配，從而求解在棄風(fēng)、棄光率不斷降低的情況下控制運(yùn)行成本。因此，下層優(yōu)化的決策變量為風(fēng)電站、光伏電站和儲能系統(tǒng)在典型日的運(yùn)行情況，目標(biāo)函數(shù)為儲能系統(tǒng)的運(yùn)行成本，具體為：

minCsto=fsto+fpun

(14)

(15)

(16)

(17)

(18)

表3 下層優(yōu)化相關(guān)參數(shù)取值Table 3 Parameter Description Value Low-level optimization

在系統(tǒng)約束條件中，對于系統(tǒng)的功率平衡及系統(tǒng)內(nèi)各組成部分的輸出功率進(jìn)行約束，約束條件為：

(19)

(20)

(21)

Vskt+1=Vskt-PsktΔt,1≤t≤T

(22)

2.2 求解算法

雙層優(yōu)化問題的變量既包含整數(shù)變量，也包含連續(xù)變量，屬于混合整數(shù)規(guī)劃，用常規(guī)的尋優(yōu)算法求解較為復(fù)雜，優(yōu)化的約束條件在搭建了較大混合儲能系統(tǒng)后，計(jì)算時(shí)間較長。同時(shí)，儲能系統(tǒng)的運(yùn)行特性決定了其必須接入整個(gè)系統(tǒng)進(jìn)行運(yùn)行，混合系統(tǒng)接入的儲能個(gè)數(shù)、儲能種類都會(huì)影響系統(tǒng)的功率和容量變化區(qū)間，從而收斂性達(dá)不到要求。綜上所述，本文采用強(qiáng)化學(xué)習(xí)近端策略優(yōu)化算法，該算法收斂速度快，且參數(shù)設(shè)置復(fù)雜度較低，適用于復(fù)雜環(huán)境下的尋優(yōu)問題。

2.2.1 策略梯度算法

強(qiáng)化學(xué)習(xí)根據(jù)環(huán)境與動(dòng)作策略之間的相互映射，使動(dòng)作向著在環(huán)境中獲取累積獎(jiǎng)勵(lì)值最大的方向發(fā)展。而當(dāng)動(dòng)作過多或動(dòng)作空間連續(xù)時(shí)，適宜直接進(jìn)行策略學(xué)習(xí)，將策略參數(shù)化并進(jìn)行優(yōu)化，從而最大化累積回報(bào)的期望值，得到最優(yōu)策略。策略梯度算法是在給定最大概率行為的基礎(chǔ)上所進(jìn)行的一定程度的采樣探索。

在智能體和環(huán)境的交互過程中，將起始狀態(tài)到結(jié)束狀態(tài)序列稱作軌跡χ。在策略參數(shù)ω給定的情況下，每個(gè)χ存在的概率表示為pω(χ)，計(jì)算過程為：

(23)

(24)

(25)

圖2 策略梯度算法流程Fig.2 Flowchart of policy gradient algorithm

2.2.2 近端策略優(yōu)化算法

近端策略優(yōu)化算法的提出來自于對策略梯度算法的改進(jìn)。傳統(tǒng)的策略梯度方法在應(yīng)用過程中對步長的敏感性較強(qiáng)，過小的步長會(huì)導(dǎo)致策略更新緩慢，步長過大又會(huì)提高學(xué)習(xí)到壞策略的概率，最終導(dǎo)致學(xué)習(xí)過程崩潰。而PPO算法對策略更新進(jìn)行了限制，控制前后策略差異來保證更新的穩(wěn)定性。PPO算法對原策略梯度算法公式修改后為：

(26)

PPO算法通過構(gòu)建動(dòng)作網(wǎng)絡(luò)和評價(jià)網(wǎng)絡(luò)2個(gè)深度神經(jīng)網(wǎng)絡(luò)即可完成目標(biāo)，實(shí)現(xiàn)過程簡單。實(shí)現(xiàn)近端策略優(yōu)化算法流程如圖3所示。

圖3 深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)近段策略優(yōu)化算法流程Fig.3 Flow chart of PPO algorithm using deep neural network

3 算例分析

3.1 研究對象及基本數(shù)據(jù)

本文以甘肅省某地區(qū)風(fēng)光數(shù)據(jù)為例進(jìn)行分析，該地區(qū)風(fēng)電站裝機(jī)容量為350 MW，光伏電站裝機(jī)容量為250 MW。雙層決策優(yōu)化模型以“日”為周期進(jìn)行結(jié)算，因此通過選取夏季典型日和冬季典型日的風(fēng)光數(shù)據(jù)進(jìn)行混合儲能系統(tǒng)的優(yōu)化配置。該地區(qū)的風(fēng)光出力預(yù)測曲線及用戶負(fù)荷曲線如圖4所示。

圖4 風(fēng)光出力及用戶負(fù)荷預(yù)測曲線Fig.4 Forecast curves of wind and solar power and user load

混合儲能系統(tǒng)中，電化學(xué)儲能和氫儲能系統(tǒng)的相關(guān)參數(shù)取值見附表A1—A4，由附表A3、A4可得儲能系統(tǒng)各元件的日購置成本、日維護(hù)成本以及日替換成本，便于后續(xù)模型的驗(yàn)證。

3.2 優(yōu)化結(jié)果及分析

本文采用近端策略優(yōu)化算法對雙層決策優(yōu)化模型進(jìn)行優(yōu)化求解。考慮到實(shí)際應(yīng)用中，混合儲能系統(tǒng)的應(yīng)用會(huì)受所在地區(qū)經(jīng)濟(jì)、技術(shù)等因素的限制，因此假設(shè)3種方案進(jìn)行優(yōu)化：

方案1：只采用電化學(xué)儲能，即只配置鋰離子電池；

方案2：只配置氫儲能系統(tǒng)；

方案3：配置由電化學(xué)儲能和氫儲能所組成的混合儲能系統(tǒng)，并根據(jù)假設(shè)條件1和條件2進(jìn)行對比驗(yàn)證。

其中，方案1和方案2作為方案3的對比，用于驗(yàn)證本文所提混合儲能方案的經(jīng)濟(jì)性和環(huán)保性。

以儲能系統(tǒng)經(jīng)濟(jì)成本和棄風(fēng)、棄光率最小為目標(biāo)進(jìn)行優(yōu)化后的各方案典型日儲能系統(tǒng)出力分布如圖5—8所示。

圖5 電化學(xué)儲能出力分布Fig.5 Capacity distribution of electrochemical energy storage

圖6 氫儲能出力分布Fig.6 Capacity distribution of hydrogen energy storage under

圖7 假設(shè)條件1下混合儲能出力分布Fig.7 Hybrid energy storage capacity distribution under assumed condition 1

圖8 假設(shè)條件2下混合儲能出力分布Fig.8 Hybrid energy storage capacity distribution under assumed condition 2

從圖5—8中可以看到，在00：00—06：00時(shí)段和23：00—24:00時(shí)段，可再生能源出力充足，系統(tǒng)全部由風(fēng)電出力，而在09：00—22:00時(shí)段，方案1和方案2均需向電網(wǎng)購電，方案3(假設(shè)條件1和2)僅短暫用電高峰需少量購電以滿足負(fù)荷。

在方案1中，因鋰離子電池配置成本較高，在保證儲能經(jīng)濟(jì)效益的情況下，無法大規(guī)模配置，從而所配置容量只能儲存少量多余電量，大部分電量在風(fēng)電、光電多發(fā)時(shí)被棄用；在方案2中，電解水制氫和燃料電池發(fā)電需要維持在一定溫度范圍內(nèi)，啟動(dòng)時(shí)間較長，新能源發(fā)電供過于求時(shí)短期內(nèi)會(huì)存在少量棄風(fēng)、棄光，在電力負(fù)荷發(fā)生變化時(shí)，需從電網(wǎng)購電以滿足燃料電池啟動(dòng)期間的負(fù)荷變化；在方案3中，按照2種假設(shè)條件運(yùn)行，大部分新能源發(fā)電都能被充分利用，僅短暫用電高峰需少量購電，在保證經(jīng)濟(jì)效益的情況下因儲能容量限制導(dǎo)致少量新能源發(fā)電被棄用。

3.2.1 決策目標(biāo)分析

為了更好體現(xiàn)該決策優(yōu)化模型對于整體效益的提升，本算例中各時(shí)段購電均采用分時(shí)電價(jià)，具體取值見附表A5。

各方案儲能系統(tǒng)配置優(yōu)化后的日綜合效益隨儲能容量變化曲線如圖9所示。

圖9 日綜合效益隨儲能容量變化曲線Fig.9 Curve of daily comprehensive benefit changing with storage capacity

由圖9可得，隨著儲能系統(tǒng)容量的增大，綜合效益先增后減，存在最優(yōu)配置點(diǎn)，使得系統(tǒng)效益最大。對比3種方案的最優(yōu)配置點(diǎn)，假設(shè)條件2下混合儲能系統(tǒng)最優(yōu)配置點(diǎn)最高，假設(shè)條件1下混合儲能系統(tǒng)次之，之后是配置單一氫儲能系統(tǒng)，僅配置電化學(xué)儲能效益最小。

3個(gè)方案的優(yōu)化結(jié)果對比如表4所示，從表4中可以看出，僅配置單一儲能系統(tǒng)的棄風(fēng)棄光率遠(yuǎn)高于混合儲能系統(tǒng)，從而在綜合效益的計(jì)算中，不僅電網(wǎng)購電成本增加，相應(yīng)的棄風(fēng)棄光懲罰成本也會(huì)導(dǎo)致綜合效益的降低。隨著對可再生能源利用率的不斷重視，棄風(fēng)棄光懲罰成本的系數(shù)會(huì)進(jìn)一步提高，從而綜合效益的差距也會(huì)更大；在混合儲能系統(tǒng)中，混合儲能系統(tǒng)按照假設(shè)條件2運(yùn)行時(shí)棄風(fēng)棄光率低于假設(shè)條件1，綜合效益增加了22.97%。因此，在綜合考慮環(huán)保性和經(jīng)濟(jì)性的情況下，按照假設(shè)條件2運(yùn)行，所得結(jié)果最優(yōu)。

表4 儲能系統(tǒng)優(yōu)化結(jié)果對比Table 4 Comparison of optimization results of energy storage system

3.2.2 算法運(yùn)行分析

為驗(yàn)證本文所用近端策略優(yōu)化算法對所建模型求解的適用性，以冬季典型日的混合儲能系統(tǒng)(假設(shè)條件2)為優(yōu)化對象，對比其他幾種經(jīng)典算法的收斂速度及收斂效果，所得結(jié)果如表5所示。

表5 算法運(yùn)算結(jié)果對比Table 5 Comparison of algorithm results

由表5可得，粒子群算法可以較快求解一些復(fù)雜性問題，但所求結(jié)果相較于最優(yōu)結(jié)果差距較大，在實(shí)際運(yùn)算中對于遺傳算子的選擇也較為復(fù)雜；蟻群算法所得最優(yōu)解較為準(zhǔn)確，但計(jì)算過程繁瑣，且用時(shí)最長；應(yīng)用遺傳算法求解，系統(tǒng)迭代至91代收斂，總計(jì)算時(shí)長相比于蟻群算法有所縮短，但存在過早收斂的情況，結(jié)果偏離最優(yōu)解；而應(yīng)用PPO算法求解，雖存在離線訓(xùn)練耗時(shí)，但在線決策僅為3.21 s，即在PPO模型訓(xùn)練完成后，其效率具有明顯優(yōu)勢，且隨著學(xué)習(xí)的深入，優(yōu)化結(jié)果還能進(jìn)一步得到完善。

綜上所述，本文所提算法在雙層優(yōu)化決策中，能夠適應(yīng)儲能環(huán)境的復(fù)雜變化，高效學(xué)習(xí)新能源出力波動(dòng)規(guī)律，從而制定綜合效益較高的儲能配置方案。

4 結(jié) 論

本文提出了含電化學(xué)儲能和氫儲能的混合儲能系統(tǒng)，以經(jīng)濟(jì)成本最小和棄風(fēng)、棄光率最低為目標(biāo)構(gòu)建雙層決策優(yōu)化模型。該模型可以分析不同儲能類型配置下的電力系統(tǒng)運(yùn)行結(jié)果，通過以甘肅省某地區(qū)為例對比分析不同儲能方案配置下的系統(tǒng)效益。主要結(jié)論如下：

1)在我國追求可再生能源優(yōu)先發(fā)電和大力發(fā)展氫能源的背景下，氫儲能作為容量型儲能與電化學(xué)儲能搭配，參與到解決風(fēng)光消納問題中，具有全國適用的參考價(jià)值，符合國家關(guān)于碳中和的號召。

2)電化學(xué)儲能響應(yīng)快，技術(shù)較成熟；氫儲能容量大，功率較穩(wěn)定，受地形影響小，但所需啟動(dòng)時(shí)間較長且成本較高還不具備商業(yè)化水平。將電化學(xué)儲能與氫儲能混合運(yùn)行，可以縮短儲能系統(tǒng)的響應(yīng)時(shí)間，大幅減少電網(wǎng)購電成本，提高可再生能源消納，減少棄風(fēng)、棄光的懲罰成本，從而獲得更大的綜合效益。

3)現(xiàn)階段氫儲能的配置成本依舊較高，轉(zhuǎn)換效率較低。隨著未來技術(shù)的更新和氫儲能的規(guī)模化發(fā)展，成本必定會(huì)大幅下降，從而在最終配置中，所獲綜合效益會(huì)進(jìn)一步提高。