基于權(quán)參數(shù)優(yōu)化的并行深度學(xué)習(xí)光伏功率預(yù)測(cè)

董 坤, 冉 鵬,2, 劉 旭, 樊欽洋, 李 政, 曾慶華, 李偉起,5

(1．華北電力大學(xué) 能源動(dòng)力與機(jī)械工程學(xué)院,河北保定 071003;2．華北電力大學(xué) 河北省低碳高效發(fā)電技術(shù)重點(diǎn)實(shí)驗(yàn)室,河北保定 071003;3.清華大學(xué) 能源與動(dòng)力工程系,北京 100084; 4.國(guó)網(wǎng)湖南省電力有限公司電力科學(xué)研究院,長(zhǎng)沙 410007;5. 天府永興實(shí)驗(yàn)室, 成都 610213)

隨著“雙碳”政策的提出與逐步落實(shí),可再生能源發(fā)電占比將不斷提高[1]。光伏發(fā)電以其高性能、高效率和低成本等優(yōu)點(diǎn)在全球范圍內(nèi)得到了廣泛應(yīng)用[2-3]。然而,由于太陽能的間歇性及氣象條件的不確定性,光伏的高滲透率也給電網(wǎng)系統(tǒng)帶來了諸多挑戰(zhàn)[4-6]。光伏功率精準(zhǔn)預(yù)測(cè)是解決光伏發(fā)電不確定性的一種經(jīng)濟(jì)可行的解決方案[7],同時(shí)也是光伏電站接入電網(wǎng)、調(diào)度和保障電網(wǎng)安全的重要基礎(chǔ)[8]。

目前,基于深度學(xué)習(xí)的光伏發(fā)電功率預(yù)測(cè)受到越來越多的關(guān)注[9-11]。這些深度學(xué)習(xí)模型采用的算法包括長(zhǎng)短期記憶(Long Short Term Memory,LSTM)模型[12]、門控循環(huán)單元(Gate Recurrent Unit,GRU)模型[13]和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[14]等。研究者以這些深度學(xué)習(xí)模型為基本架構(gòu),開發(fā)了一系列基于時(shí)間序列的深度學(xué)習(xí)預(yù)測(cè)模型,取得了一定的預(yù)測(cè)效果。上述單一的深度學(xué)習(xí)算法在一定程度上受自身深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)的限制,容易有一定的局限性。為了避免單一深度學(xué)習(xí)算法的局限性,研究者嘗試將多種單一深度學(xué)習(xí)預(yù)測(cè)模型進(jìn)行串聯(lián)組合預(yù)測(cè)。這種串聯(lián)組合的方式將不同算法整體組合成單一的預(yù)測(cè)算法,可以在一定程度上提高單一算法的預(yù)測(cè)精度。劉旭麗等[15]將CNN與LSTM相結(jié)合并采用離散小波變換的數(shù)據(jù)處理方法,所提出模型的平均絕對(duì)誤差與基準(zhǔn)模型相比最高可提高12.68%;劉國(guó)海等[16]將注意力機(jī)制與GRU相結(jié)合,其希爾不等系數(shù)比常規(guī)GRU降低約10%,可加強(qiáng)對(duì)光伏發(fā)電功率時(shí)序特征的提取;馬磊等[17]將注意力機(jī)制與LSTM結(jié)合,可高效處理長(zhǎng)時(shí)間序列中的關(guān)鍵信息,其均方根誤差指標(biāo)比單一LSTM時(shí)減少0.26。

除了對(duì)單一深度學(xué)習(xí)預(yù)測(cè)模型進(jìn)行串聯(lián)組合以獲得更好的預(yù)測(cè)效果之外,一些學(xué)者近年來也嘗試優(yōu)化深度學(xué)習(xí)算法的框架參數(shù),同樣取得了一定的效果。趙晉斌等[18]使用粒子群算法對(duì)LSTM算法的網(wǎng)絡(luò)層數(shù)和學(xué)習(xí)率進(jìn)行尋優(yōu),使得光伏發(fā)電模型的預(yù)測(cè)精度提升2%左右。Zhen等[19]采用遺傳算法優(yōu)化雙向長(zhǎng)短期記憶模型(Bidirectional Long Short Term Memory,BiLSTM),通過對(duì)光伏電站實(shí)際數(shù)據(jù)進(jìn)行預(yù)測(cè),所提模型的預(yù)測(cè)精度要優(yōu)于LSTM和反向傳播神經(jīng)網(wǎng)絡(luò)等基準(zhǔn)模型。王晨陽等[20]使用遺傳算法同時(shí)優(yōu)化CNN和LSTM 2種深度學(xué)習(xí)算法的超參數(shù),其平均絕對(duì)誤差率比未經(jīng)優(yōu)化的CNN-LSTM提高了0.873%。

上述研究在光伏發(fā)電功率預(yù)測(cè)領(lǐng)域都取得了一定效果。但無論是基于單一深度學(xué)習(xí)預(yù)測(cè)模型的串聯(lián)組合或是通過優(yōu)化深度學(xué)習(xí)算法的框架參數(shù)的方法,仍存在一定的局限,主要表現(xiàn)在:(1) 不同深度學(xué)習(xí)模型的串聯(lián)組合融合難度較高,且優(yōu)化深度學(xué)習(xí)算法的框架參數(shù)計(jì)算復(fù)雜度較高;(2) 較難結(jié)合不同深度學(xué)習(xí)算法預(yù)測(cè)的優(yōu)點(diǎn),達(dá)到更好的預(yù)測(cè)效果;(3) 串聯(lián)算法可能會(huì)存在不同場(chǎng)景適應(yīng)性不足的問題,模型預(yù)測(cè)精度在測(cè)試集中可能存在較大的波動(dòng)。為避免上述問題,獲得更好的預(yù)測(cè)效果以及降低模型融合的復(fù)雜度,筆者在單一光伏預(yù)測(cè)模型的基礎(chǔ)上,提出了一種新型權(quán)參數(shù)自適應(yīng)性優(yōu)化的并行深度學(xué)習(xí)光伏發(fā)電功率預(yù)測(cè)框架。該預(yù)測(cè)框架包含并行預(yù)測(cè)的深度學(xué)習(xí)算法單元(Attention-Seq2Seq和Transformer)以及一個(gè)權(quán)參數(shù)自適應(yīng)優(yōu)化單元。與傳統(tǒng)串聯(lián)組合算法不同的是,所提出的并行預(yù)測(cè)框架所包含的Attention-Seq2Seq及Transformer算法,首先同時(shí)并行預(yù)測(cè)輸出初始結(jié)果,然后借助于具有自適應(yīng)性的權(quán)參數(shù)優(yōu)化單元可對(duì)預(yù)測(cè)算法進(jìn)行動(dòng)態(tài)的權(quán)重分配。其中,Attention-Seq2Seq算法單元專注于捕獲數(shù)據(jù)中對(duì)預(yù)測(cè)結(jié)果產(chǎn)生重要影響的特定序列變化模式;Transformer算法單元用于將數(shù)據(jù)映射到多維空間后,可以關(guān)注到不同空間位置的信息,捕捉到更豐富的特征信息,有效解決時(shí)間序列預(yù)測(cè)中的長(zhǎng)程依賴問題。

所提出的預(yù)測(cè)框架可以結(jié)合Attention-Seq2Seq和Transformer算法的優(yōu)點(diǎn),并且權(quán)參數(shù)自適應(yīng)優(yōu)化單元可自動(dòng)根據(jù)數(shù)據(jù)序列不同波動(dòng)特征,依據(jù)最佳預(yù)測(cè)效果,自適應(yīng)調(diào)整不同算法的預(yù)測(cè)權(quán)重,使其適應(yīng)時(shí)間序列數(shù)據(jù)的不同波動(dòng)模式,滿足不同場(chǎng)景下的光伏發(fā)電功率預(yù)測(cè)。

1 基于權(quán)參數(shù)優(yōu)化的并行深度學(xué)習(xí)框架處理流程

筆者采集了國(guó)內(nèi)某光伏電站的運(yùn)行數(shù)據(jù),利用極端梯度提升算法對(duì)上述數(shù)據(jù)進(jìn)行特征選擇,在所提出的權(quán)參數(shù)自適應(yīng)優(yōu)化單元的并行深度學(xué)習(xí)光伏發(fā)電功率預(yù)測(cè)框架的基礎(chǔ)上,對(duì)光伏發(fā)電功率進(jìn)行預(yù)測(cè),其處理流程如圖1所示,主要流程如下:

圖1 基于權(quán)參數(shù)優(yōu)化的并行深度學(xué)習(xí)框架處理流程Fig.1 Flow chart of parallel deep learning framework based on weight parameter optimization

(1) 原始數(shù)據(jù)預(yù)處理。檢查采集的運(yùn)行數(shù)據(jù)是否存在缺失值與異常值,缺失值和異常值采用線性插值的方法進(jìn)行填充或修正,然后統(tǒng)一對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

(2) 基于極端梯度提升算法的特征選擇。基于極端梯度提升算法對(duì)影響光伏出力的相關(guān)因素進(jìn)行特征選擇。篩選出對(duì)光伏出力影響明顯的特征并排序,并篩選出排序靠前的若干個(gè)特征。

(3) 并行預(yù)測(cè)算法模型訓(xùn)練。將數(shù)據(jù)分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。逐月將數(shù)據(jù)的前三分之二歸入訓(xùn)練數(shù)據(jù)集,其他數(shù)據(jù)歸入測(cè)試數(shù)據(jù)集。基于Attention-Seq2Seq和Transformer算法單元,采用訓(xùn)練數(shù)據(jù)集并行執(zhí)行模型訓(xùn)練和預(yù)測(cè)。

(4) 并行預(yù)測(cè)。由于不同天氣狀況下,光伏發(fā)電數(shù)據(jù)也會(huì)呈現(xiàn)不同的波動(dòng)模式,權(quán)參數(shù)優(yōu)化單元隨機(jī)分配Attention-Seq2Seq算法和Transformer算法的初始輸出權(quán)重,并給出初始預(yù)測(cè)結(jié)果及預(yù)測(cè)誤差。

(5) 并行預(yù)測(cè)單元權(quán)重的迭代優(yōu)化。基于量子粒子群算法(QPSO)對(duì)并行預(yù)測(cè)結(jié)果的適應(yīng)度值進(jìn)行多次迭代優(yōu)化,直到預(yù)測(cè)誤差達(dá)到最小值,從而確定Attention-Seq2Seq和Transformer算法單元的最優(yōu)輸出權(quán)重。若時(shí)間序列的波動(dòng)模式或特征發(fā)生變化,權(quán)參數(shù)優(yōu)化單元可根據(jù)不同波動(dòng)模式,自適應(yīng)數(shù)據(jù)的波動(dòng)特征,并基于QPSO以預(yù)測(cè)誤差為適應(yīng)度,迭代計(jì)算并行預(yù)測(cè)結(jié)果的適應(yīng)度值,對(duì)并行預(yù)測(cè)算法進(jìn)行動(dòng)態(tài)權(quán)重分配,使預(yù)測(cè)結(jié)果一直保持較高的預(yù)測(cè)精度。

2 并行深度學(xué)習(xí)框架的基礎(chǔ)算法

本文所述框架涉及的功能模塊包括數(shù)據(jù)預(yù)處理、特征選擇、并行模型訓(xùn)練、多波動(dòng)模式數(shù)據(jù)的并行預(yù)測(cè)和預(yù)測(cè)單元權(quán)重的迭代優(yōu)化等模塊,相關(guān)模塊涉及的主要算法包括極端梯度提升算法、Attention-Seq2Seq算法、Transformer算法以及QPSO算法。

2.1 極端梯度提升算法

在特征選擇過程中,采用極端梯度提升算法對(duì)影響光伏發(fā)電功率的特征進(jìn)行篩選。極端梯度提升算法主要是利用梯度提升技術(shù),將許多弱分類器集成在一起,形成一個(gè)強(qiáng)分類器[21]。極端梯度提升算法因其具有良好的防過擬合特性和較高的計(jì)算效率,得到了廣泛應(yīng)用[22-23]。

特征篩選需首先對(duì)相關(guān)因素進(jìn)行分類并建立樹模型,具體表達(dá)式如下:

(1)

極端梯度提升算法的目標(biāo)函數(shù)xobj如下:

(2)

基于上述目標(biāo)函數(shù),對(duì)生成特征的重要性排序,并按照前向搜索的原則生成特征子集;然后在子集上進(jìn)行模型重要性驗(yàn)證,重復(fù)進(jìn)行搜索驗(yàn)證。

2.2 Attention-Seq2Seq算法

考慮到不同因素及不同數(shù)據(jù)波動(dòng)特征對(duì)預(yù)測(cè)結(jié)果的影響差異,采用具有關(guān)注輸入序列特定重要影響的Attention-Seq2Seq算法[24],并將該算法作為深度學(xué)習(xí)預(yù)測(cè)框架的并行預(yù)測(cè)算法之一。Attention-Seq2Seq算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,其由語義向量X、編碼器、解碼器等環(huán)節(jié)組成。語義向量可以訪問編碼層的隱藏狀態(tài),注意力機(jī)制將編碼器的隱藏狀態(tài)與解碼器的上一個(gè)時(shí)間步的隱藏狀態(tài)連接起來,最后解碼器通過關(guān)注所需要的隱藏狀態(tài)從而獲得更好的結(jié)果。

圖2 Attention-Seq2Seq 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of Attention-Seq2Seq

2.3 Transformer算法

考慮到所提出的基于權(quán)參數(shù)優(yōu)化的并行深度學(xué)習(xí)框架主要針對(duì)中短期光伏發(fā)電功率預(yù)測(cè),筆者采用Transformer算法[25-26]。Transformer算法可以關(guān)注到不同空間位置的信息,捕捉到更加豐富的特征信息,有效解決時(shí)間序列預(yù)測(cè)中長(zhǎng)程依賴問題,所以將Transformer算法作為另一個(gè)深度學(xué)習(xí)預(yù)測(cè)框架的并行預(yù)測(cè)算法。Transformer算法將多個(gè)數(shù)量相同的編碼器與解碼器疊加在一起,并包含若干個(gè)多頭注意力機(jī)制。其中,多頭注意力機(jī)制又由多個(gè)并行運(yùn)行的自注意力機(jī)制組成。Transformer網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Transformer 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of Transformer

自注意力機(jī)制可表述為

(3)

其中,A代表注意力機(jī)制;S代表Softmax歸一化函數(shù),用于計(jì)算注意力權(quán)重;Q、K、V是由注意力函數(shù)計(jì)算的矩陣,矩陣來自鍵和值;dK為鍵的維度。

多頭注意力機(jī)制表述為

Mh=C(h1,…,hi)Wo

(4)

hi=A(QWQi,QWKi,QWVi)

(5)

其中,C代表連接機(jī)制;Mh為多頭注意力機(jī)制;hi為第i個(gè)注意力機(jī)制;WQi、WKi、WVi為線性變換權(quán)重矩陣;Wo為多頭注意力矩陣拼接以后的線性變換權(quán)重矩陣。

Transformer算法的預(yù)測(cè)流程如下:輸入數(shù)據(jù)先經(jīng)嵌入模塊和位置編碼模塊處理后,生成輸入向量;然后,輸入向量經(jīng)過編碼和解碼處理,再經(jīng)過線性變換和Softmax函數(shù)處理,最終得到預(yù)測(cè)值。

2.4 QPSO模型

針對(duì)2種異類并行預(yù)測(cè)算法預(yù)測(cè)結(jié)果不一致及2種預(yù)測(cè)算法各自的優(yōu)勢(shì),需全面考慮其所屬權(quán)重的分配,故采用QPSO優(yōu)化算法[27-30]對(duì)2種并行預(yù)測(cè)單元的權(quán)重進(jìn)行迭代優(yōu)化。

在QPSO算法中,量子理論為粒子的運(yùn)動(dòng)加入了速度和位置的不確定性,同時(shí)也提高了尋優(yōu)的精度和速度。其中,粒子的位置表征為

X(t+1)=P±b|Pm,best-X(t)|ln(1/m)

(6)

式中:b為收縮-擴(kuò)張系數(shù);P為粒子的運(yùn)動(dòng)隨機(jī)點(diǎn),P=(P1,P2,…,PG);Pm,best為群體最優(yōu)位置;X(t)為量子狀態(tài);m為[0,1]之間的隨機(jī)數(shù)。

Pm,best的計(jì)算公式如下:

(7)

式中:M為粒子群的粒子總數(shù);Pi為第i個(gè)粒子的個(gè)體最優(yōu)位置;下標(biāo)D為粒子維度。

粒子運(yùn)動(dòng)過程中,Pi是不斷更新的,其計(jì)算式為

(8)

式中:f(Xi(t))為適應(yīng)度函數(shù);Pi(t)為第i個(gè)粒子在t時(shí)刻的單個(gè)粒子向其個(gè)體最優(yōu)位置收斂,最終定位于隨機(jī)點(diǎn)P,即

P=aPi+(1-a)Pg

(9)

式中:a為隨機(jī)數(shù);Pg為全局最優(yōu)位置。

3 算例分析

3.1 數(shù)據(jù)預(yù)處理

筆者采集了國(guó)內(nèi)某光伏電站全年運(yùn)行數(shù)據(jù),時(shí)間粒度為小時(shí)。為了提升深度學(xué)習(xí)網(wǎng)絡(luò)的收斂速度,需要將光伏數(shù)據(jù)和氣象數(shù)據(jù)等進(jìn)行歸一化處理,其公式如下:

(10)

式中:xj為原始數(shù)據(jù);xmax為xj中的最大值;xmin為xj中的最小值;Dj為歸一化后的數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理模型評(píng)價(jià)指標(biāo)

預(yù)測(cè)框架平臺(tái)使用Intel i7-10700處理器,基于Python語言搭建Tensorflow框架。采用相對(duì)均方根誤差ERMSE、平均絕對(duì)誤差EMAE和決定系數(shù)R2來評(píng)價(jià)模型預(yù)測(cè)的精度,具體公式如下:

(11)

(12)

(13)

3.3 特征選擇

光伏發(fā)電功率受多種因素的影響,如輻射強(qiáng)度、季節(jié)等。這些因素都可以直接或間接反映在總輻射、溫度、氣壓和濕度等特征上。為了提高訓(xùn)練速度和效率,采用極端梯度提升算法對(duì)特征進(jìn)行篩選。首先采用極端梯度提升算法分類并建立樹模型;然后對(duì)模型生成的特征進(jìn)行重要性排序,并按照前向搜索的原則生成特征子集;最后,在子集上進(jìn)行模型重要性驗(yàn)證,重復(fù)進(jìn)行搜索驗(yàn)證。具體結(jié)果如圖4所示,最終選取前4個(gè)特征作為訓(xùn)練特征,分別為總輻射、溫度、氣壓和組件溫度。

圖4 特征重要性圖Fig.4 Feature importance

3.4 結(jié)果與分析

設(shè)置量子粒子群的迭代次數(shù)為100,粒子群數(shù)量為100,數(shù)據(jù)維度為2。Attention-Seq2Seq和Transformer的基本參數(shù)設(shè)置為:學(xué)習(xí)率為0.001,單批次訓(xùn)練樣本量為128,迭代次數(shù)為30。分別選取夏季典型日和冬季典型日的數(shù)據(jù)進(jìn)行驗(yàn)證,優(yōu)化結(jié)果如圖5和圖6所示。可以看出,兩者都可在100次迭代次數(shù)內(nèi)收斂達(dá)到穩(wěn)定值。

圖5 夏季典型日QPSO優(yōu)化權(quán)重迭代次數(shù)驗(yàn)證Fig.5 Iteration verification of QPSO optimization weights in a typical day of summer

圖6 冬季典型日QPSO優(yōu)化權(quán)重迭代次數(shù)驗(yàn)證Fig.6 Iteration verification of QPSO optimization weights in a typical day of winter

在夏季和冬季的測(cè)試數(shù)據(jù)集中選取典型日的數(shù)據(jù),將所提出的基于權(quán)參數(shù)優(yōu)化的并行深度學(xué)習(xí)框架預(yù)測(cè)結(jié)果與單一模型進(jìn)行比較。各誤差指標(biāo)對(duì)比計(jì)算結(jié)果見表1。由于測(cè)試集眾多,隨機(jī)選取測(cè)試集中的24 h數(shù)據(jù)進(jìn)行展示,對(duì)比結(jié)果如圖7和圖8所示。

表1 模型誤差指標(biāo)Tab.1 Indicators of model errors

圖7 夏季典型日模型預(yù)測(cè)結(jié)果對(duì)比Fig.7 Comparison of model prediction results in a typical day of summer

圖8 冬季典型日模型預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of model prediction results in a typical day of winter

由表1可知,本文所提出的并行深度學(xué)習(xí)框架預(yù)測(cè)結(jié)果EMAE和ERMSE誤差最小,與單一的Attention-Seq2Seq模型和Transformer模型相比預(yù)測(cè)精度顯著提高。圖7和圖8預(yù)測(cè)結(jié)果的EMAE分別最大降低0.18和0.36,ERMSE指標(biāo)最大降幅分別為1.93和0.87,其中夏季典型日EMAE和ERMSE誤差指標(biāo)最大降幅分別是41.18%和45.59%,冬季典型日EMAE和ERMSE誤差指標(biāo)最大降幅分別是81.13%和82.86%。

圖7中,單一Attention-Seq2Seq模型和單一Transformer模型的預(yù)測(cè)結(jié)果無明顯差別。圖8中,單一Attention-Seq2Seq模型對(duì)光伏發(fā)電功率預(yù)測(cè)的結(jié)果略好于單一Transformer模型。因此,光伏發(fā)電功率在不同天氣情況下會(huì)產(chǎn)生不同的波動(dòng)模式,單一模型較難適應(yīng)光伏發(fā)電功率預(yù)測(cè)的所有波動(dòng)模式。

此外,從圖7和圖8還可以看出,本文模型的預(yù)測(cè)結(jié)果更貼近真實(shí)值,均優(yōu)于上述2個(gè)單一模型。可見,本文所提出的并行深度學(xué)習(xí)預(yù)測(cè)框架比單一算法模型更能有效捕捉光伏發(fā)電的變化特征。

4 結(jié)論

(1) 本文所提出的并行深度學(xué)習(xí)預(yù)測(cè)框架耦合了Attention-Seq2Seq算法和Transformer算法的優(yōu)點(diǎn),Transformer算法單元用于關(guān)注到不同空間位置的信息,捕捉到更加豐富的特征信息,Attention-Seq2Seq算法單元用于捕捉數(shù)據(jù)中對(duì)預(yù)測(cè)結(jié)果有重要影響的特定序列的變化規(guī)律。

(2) 本文所提出的并行深度學(xué)習(xí)預(yù)測(cè)框架包含一種權(quán)參數(shù)自適應(yīng)優(yōu)化單元,該單元通過QPSO對(duì)預(yù)測(cè)權(quán)重進(jìn)行迭代優(yōu)化,以達(dá)到最佳的預(yù)測(cè)效果。同時(shí),權(quán)參數(shù)優(yōu)化單元可隨著時(shí)間序列數(shù)據(jù)波動(dòng)模式的變化自動(dòng)調(diào)整算法權(quán)重,從而提高了并行預(yù)測(cè)框架對(duì)不同應(yīng)用場(chǎng)景的適應(yīng)性。

(3) 將本文模型分別與Attention-Seq2Seq模型和Transformer模型的預(yù)測(cè)結(jié)果進(jìn)行了對(duì)比驗(yàn)證,本文模型在夏季典型日和冬季典型日的EMAE指標(biāo)最大降幅分別是0.18和0.36,ERMSE指標(biāo)最大降幅分別是1.93和0.87。其中,夏季典型日EMAE和ERMSE誤差指標(biāo)最大降幅分別是41.18%和45.59%,冬季典型日EMAE和ERMSE誤差指標(biāo)最大降幅分別是81.13%和82.86%。