基于DA-CNNGRU混合神經(jīng)網(wǎng)絡(luò)的超短期風(fēng)電場功率預(yù)測方法

王雅蘭，田 野，楊麗華

（1.國網(wǎng)湖北省電力有限公司營銷服務(wù)中心（計(jì)量中心），湖北 武漢 430077；2.國網(wǎng)湖北省電力有限公司電力科學(xué)研究院，湖北 武漢 430077）

0 引言

近年來，我國風(fēng)力發(fā)電發(fā)展迅速，截止2020年全國風(fēng)電裝機(jī)容量已達(dá)2.815億千瓦［1］。隨著“2030碳達(dá)峰、2060碳中和”奮斗目標(biāo)的提出，風(fēng)電、光伏等可再生能源將迎來進(jìn)一步快速發(fā)展［2］。風(fēng)力發(fā)電主要由風(fēng)速、風(fēng)向、氣壓、溫度、濕度等自然條件決定，具有間歇性、波動性、隨機(jī)性的特點(diǎn)。大規(guī)模風(fēng)電并網(wǎng)對電網(wǎng)的安全穩(wěn)定運(yùn)行帶來挑戰(zhàn)［3-4］。

現(xiàn)有風(fēng)電超短期功率預(yù)測方法可分物理方法與統(tǒng)計(jì)方法［5-8］。其中前者基于風(fēng)力發(fā)電的物理原理，建立風(fēng)速-功率物理模型，以數(shù)值天氣預(yù)報(bào)中風(fēng)速預(yù)測值為模型輸入得到預(yù)測值。此類方法過分依賴時空分辨率不高的數(shù)值天氣預(yù)報(bào)數(shù)據(jù)而難以得到精確預(yù)測結(jié)果。后者以建立相關(guān)氣象特征與功率時序的線性或非線性映射為主要手段，因具有較好的預(yù)測精度而得到廣泛應(yīng)用。隨著風(fēng)電場站信息采集系統(tǒng)的普及與完善，風(fēng)電功率預(yù)測通過氣象預(yù)報(bào)數(shù)據(jù)、風(fēng)電場歷史運(yùn)行數(shù)據(jù)、風(fēng)電場運(yùn)行狀態(tài)數(shù)據(jù)等海量參數(shù)，預(yù)測風(fēng)電出力變化趨勢［9］。具體地，文獻(xiàn)［10］提出一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和門控循環(huán)單元的超短期風(fēng)電預(yù)測模型，一定程度提高了風(fēng)電預(yù)測精度，但其缺乏對參數(shù)的優(yōu)選策略，對海量特征參數(shù)缺乏分辨能力而影響預(yù)測精度；文獻(xiàn)［11］提出一種基于改進(jìn)長期循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，提高了風(fēng)電預(yù)測精度，為本文提取優(yōu)選特征提高預(yù)測精度提供思路。文獻(xiàn)［12］提出一種結(jié)合交叉局部異常因子和注意力機(jī)制的超短期風(fēng)電功率預(yù)測方法，但該方法采用傳統(tǒng)LSTM神經(jīng)網(wǎng)絡(luò)算法，運(yùn)算效率有所欠缺。文獻(xiàn)［13］提出一種具有一定自適應(yīng)能力的超短期風(fēng)電功率預(yù)測方法，增加了預(yù)測模型的實(shí)用性，但該方法缺乏對相關(guān)因素多樣化性的考慮導(dǎo)致預(yù)測精度欠佳。綜上所述，超短期風(fēng)電預(yù)測已取得了一定的成果，但隨著海量數(shù)據(jù)信息的采集與匯總，如何提取強(qiáng)相關(guān)性特征數(shù)據(jù)時序以提升模型預(yù)測精度是亟需解決的主要問題。

本文提出一種基于雙重注意力機(jī)制-CNNGRU（Dual Attention-CNNGRU，DA-CNNGRU）的超短期風(fēng)電場功率預(yù)測方法。具體地，首先，利用CNN-GRU神經(jīng)網(wǎng)絡(luò)算法精確預(yù)測超短期風(fēng)電功率；接著采用特征Attention機(jī)制提取歷史數(shù)據(jù)與輸入特征之間的影響程度；進(jìn)而采用時序Attention機(jī)制提取強(qiáng)相關(guān)性關(guān)鍵時間節(jié)點(diǎn)的歷史信息；最后得到精確預(yù)測結(jié)果。

1 超短期風(fēng)電功率預(yù)測方法思路

基于雙重注意力機(jī)制與CNNGRU的超短期風(fēng)電功率預(yù)測方法流程如下：

1）利用數(shù)據(jù)清洗技術(shù)［14-16］定位零值、壞值等非正常數(shù)值，并以局部均值進(jìn)行填充，最大程度降低異常數(shù)值引起的預(yù)測結(jié)果不穩(wěn)定。

圖1 基于雙重注意力機(jī)制與CNN-GRU的超短期風(fēng)電功率預(yù)測方法流程圖Fig.1 Flow chart of ultra-short-term wind power prediction method based on DA-CNNGRU

2）為了避免數(shù)據(jù)量綱多樣性引起不必要的數(shù)值問題，對海量特征數(shù)據(jù)組成的輸入特征矩陣元素歸一化處理。

3）為提取數(shù)據(jù)矩陣中相對獨(dú)立的特征序列間相關(guān)特性并兼顧時序特性，構(gòu)建CNN-GRU混合模型。

4）為了量化分析并提取歷史數(shù)據(jù)與輸入特征之間的影響程度，同時綜合考慮強(qiáng)相關(guān)性關(guān)鍵時間節(jié)點(diǎn)的歷史信息，提出一種特征-時序雙重Attention機(jī)制。

2 DA-CNNGRU預(yù)測模型

將海量數(shù)據(jù)清洗以后得到的優(yōu)質(zhì)數(shù)據(jù)矩陣數(shù)據(jù)進(jìn)行MinMaxScaler歸一化處理，利用CNN網(wǎng)絡(luò)提取矩陣空間特性，并將CNN網(wǎng)絡(luò)輸出的特征向量作為GRU神經(jīng)網(wǎng)絡(luò)的輸入。為提高CNNGRU預(yù)測精度，引入注意力機(jī)制。在輸入側(cè)，引入特征注意力機(jī)制對輸入變量自適應(yīng)分配權(quán)重系數(shù)。在輸出側(cè)，充分利用時序數(shù)據(jù)之間的關(guān)聯(lián)性，在時間維度引入注意力機(jī)制得到光伏輸出功率時間序列之間的依賴關(guān)系。

2.1 CNNGRU神經(jīng)網(wǎng)絡(luò)模型

CNN網(wǎng)絡(luò)作為一種前饋式神經(jīng)網(wǎng)絡(luò)，一維-CNN（Conv1D）能夠提取時間序列組成的數(shù)據(jù)矩陣的相應(yīng)特征［17-18］。本文在此選用窗寬為ts的定時間窗以步長1截取數(shù)據(jù)矩陣，使用雙層Conv1D卷積層對所選取矩陣進(jìn)行特征向量提取，具體建模方法見文獻(xiàn)［19］。

為了更好地克服傳統(tǒng)RNN所普遍存在的梯度消失的問題，本文采用門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)（GRU）作為處理CNN所得特征向量的點(diǎn)預(yù)測算法［20］。GRU是LSTM網(wǎng)絡(luò)的一個簡化變體，屬于門控循環(huán)神經(jīng)網(wǎng)絡(luò)家族。GRU中的更新門是由LSTM網(wǎng)絡(luò)中的遺忘門和輸入門合并而成，模型架構(gòu)更為簡單，在保證模型預(yù)測精度的同時減少了計(jì)算量和訓(xùn)練時間。

LSTM有輸出門，遺忘門和輸出門，而GRU則只包含更新門和重置門，減少了參數(shù)的訓(xùn)練。更新門控制前一時刻的狀態(tài)信息保留到當(dāng)前狀態(tài)中的程度，值越大表示前一時刻的狀態(tài)信息保留越多。重置門控制當(dāng)前狀態(tài)與先前的信息結(jié)合的程度，值越小說明忽略的信息越多。

圖2 GRU神經(jīng)元Fig.2 GRU neuron

本文提出的DA-CNNGRU混合神經(jīng)網(wǎng)絡(luò)具體輸入輸出與網(wǎng)絡(luò)具體構(gòu)建結(jié)構(gòu)如圖3所示。

圖3 DA-CNNGRU混網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 DA-CNNGRU hybrid network structure diagram

3 雙重注意力機(jī)制

注意力機(jī)制是一種模仿人類視覺注意力的模型，其主要借鑒了人腦在特定環(huán)境下會將注意力“聚焦”于某些地方，而忽略了其他部分的特點(diǎn)，從而對關(guān)鍵部分給予更多關(guān)注，而對非關(guān)鍵部分則可適當(dāng)忽略。該機(jī)制的核心操作是一系列權(quán)重參數(shù)，從序列中了解每個元素的重要性，并合并這些元素成為注意特征向量。Attention機(jī)制框架圖如圖4所示。

由圖4可以看出，輸入的數(shù)據(jù)結(jié)構(gòu)看作是i個特征，T時長的數(shù)據(jù)矩陣。這時在其中一個輸入序列中給定一個元素Query，接著計(jì)算出Query與各key值之間的相關(guān)性，從而得出每個key對應(yīng)的value權(quán)重系數(shù)值，接著將value權(quán)重系數(shù)進(jìn)行加權(quán)求和得到最終的Attention數(shù)值。

圖4 Attention機(jī)制框架圖Fig.4 Framework diagram of Attention mechanism

針對海量數(shù)據(jù)下強(qiáng)相關(guān)性特征參數(shù)提取難度較大，以及在長時間尺度下難以聚焦與待預(yù)測時段匹配的歷史數(shù)據(jù)時序時段，因此有必要提出一種兼顧特征間與時間尺度兩方面的注意力機(jī)制，以提升模型的預(yù)測泛化性能。

3.1 特征注意力機(jī)制

令輸入的氣溫、氣壓、10 m風(fēng)速、30 m風(fēng)速、50 m風(fēng)速、70 m風(fēng)速、輪轂處風(fēng)速等相關(guān)氣象特征時序序列如下式：

展開后具體如下矩陣所示：

而為了得到每一個相關(guān)氣象特征變量與當(dāng)前時刻的風(fēng)電功率的內(nèi)在關(guān)聯(lián)程度，需采用特征注意力機(jī)制編碼特征量化權(quán)重。將t時刻的相關(guān)氣象特征因素輸入到注意力機(jī)制，結(jié)合上一時刻t-1的隱層單元輸出ht-1與記憶單元信息st-1，計(jì)算當(dāng)前時刻每個氣象特征對應(yīng)的注意力權(quán)重，量化權(quán)重計(jì)算方法如下：

式（7）中，Vf、Wf、Uf為注意力機(jī)制為注意力感知權(quán)重矩陣；bf為相應(yīng)的偏置項(xiàng)。

由上述運(yùn)算可知，通過特征注意力機(jī)制可以自適應(yīng)提取輸入的關(guān)聯(lián)氣象特征矩陣。通過特征注意力機(jī)制，輸入GRU網(wǎng)絡(luò)的輸入不再是原始特征矩陣的基于CNN網(wǎng)絡(luò)提取所得的特征向量。通過注意力機(jī)制充分考慮了輸入氣象特征與輸出功率時序的關(guān)聯(lián)特性，增強(qiáng)了模型對輸出功率強(qiáng)相關(guān)因素的提取能力，從而提高模型預(yù)測精度。

3.2 時序注意力機(jī)制

由于風(fēng)力發(fā)電功率輸出情況受到歷史時序狀態(tài)的影響較大，不同時刻的功率時序與特征時序狀態(tài)對風(fēng)電場功率輸出的影長程度是不同的。而為了充分考慮某一歷史時刻對當(dāng)前預(yù)測結(jié)果的影響程度，在此提出一種基于時間尺度的注意力機(jī)制。用以提升模型自適應(yīng)處理歷史狀態(tài)信息，強(qiáng)化強(qiáng)相關(guān)性歷史時序?qū)ΥA(yù)測時段的影響力。

圖5 時序注意力機(jī)制Fig.5 Timing attention mechanism

時序注意力機(jī)制以各歷史信息的最后一層隱層狀態(tài)作為輸入，分析其與當(dāng)前待預(yù)測時段的關(guān)聯(lián)性，并賦予其影響力權(quán)值。

式（9）-式（12）中，score為評分函數(shù)；αt，i為歷史輸入的隱藏層狀態(tài)對當(dāng)前輸入的注意力權(quán)重；ct是中間向量；h?t表示最終輸出的當(dāng)前時刻的隱藏層狀態(tài)值。

4 算例驗(yàn)證

4.1 實(shí)驗(yàn)數(shù)據(jù)說明

本實(shí)驗(yàn)選取中國西北某風(fēng)電場數(shù)據(jù)作為實(shí)驗(yàn)樣本。本實(shí)驗(yàn)數(shù)據(jù)和信息包括該風(fēng)電場2020年全年功率輸出以及10 m風(fēng)速、30 m風(fēng)速、50 m風(fēng)速70 m風(fēng)速、輪轂處風(fēng)速、氣溫等氣象參數(shù)。具體特征指標(biāo)如表1所示。

表1 樣本數(shù)據(jù)特征指標(biāo)Table 1 Characteristic indicators of data

上述數(shù)據(jù)的采樣時間間隔均為15 min。

4.2 評價指標(biāo)

本文通過均方根誤差（Root Mean Square Error，RMSE）與平均絕對百分比誤差（Mean Absolute Percentage Error，MAPE）評價算法預(yù)測精度。具體計(jì)算公式如下：

式（13）、式（14）中，Xp為待預(yù)測時序；Xq為預(yù)測時序。

在預(yù)測結(jié)果對比中，如果模型預(yù)測性能較優(yōu)，則體現(xiàn)為RMSE與MAPE越小。

4.3 預(yù)測結(jié)果對比

本文利用Python平臺中的Keras框架構(gòu)建基于CNNGRU模型的風(fēng)電功率超短期預(yù)測模型。預(yù)測模型初始化參數(shù)為：模型網(wǎng)絡(luò)隱藏層節(jié)點(diǎn)個數(shù)和權(quán)重學(xué)習(xí)速率由IGWO算法確定，模型迭代次數(shù)為15，采用Sigmoid函數(shù)作為GRU模型的激活函數(shù)。

模型的原始訓(xùn)練集數(shù)據(jù)范圍為2020年各季度前兩個月的數(shù)據(jù)，測試集分別為各訓(xùn)練集范圍之后的一天。為了觀察較長時間范圍內(nèi)的預(yù)測效果，對2020年各季度數(shù)據(jù)進(jìn)行了為期1個月的短期滾動預(yù)測，預(yù)測時間窗為24 h，即提前一天預(yù)測未來24 h的點(diǎn)。為驗(yàn)證本文算法的有效性與性能優(yōu)越性，分別采用ARIMA［21］、GRU［22］、CNNGRU［10］及DA-CNNGRU對某一天風(fēng)電功率進(jìn)行預(yù)測，各算法預(yù)測結(jié)果如表2所示，不同方法預(yù)測結(jié)果曲線對比如圖6所示。

表2 算法預(yù)測結(jié)果對比Table 2 Comparison of prediction results

圖6 預(yù)測結(jié)果對比圖Fig.6 Comparison of prediction results

由圖6中曲線與預(yù)測誤差對比可得，DACNNGRU算法可更深入解決RNN普遍存在的梯度消失問題。由于提出一種基于雙重Attention機(jī)制的特征權(quán)重規(guī)劃策略，提升了時序數(shù)據(jù)在通道尺度與時間尺度上的特征提取能力，有助于提高預(yù)測精度。GRU算法以特征序列和歷史功率為輸入，其自主提取輸入特征能力較差，且在模型訓(xùn)練中存在梯度不穩(wěn)定等問題，因此效果較差。ARIMA模型只依據(jù)歷史功率時序進(jìn)行預(yù)測，缺乏考慮多種因素的影響，因此導(dǎo)致預(yù)測誤差較大。

本文所提出的DA-CNNGRU算法預(yù)測性能綜合表現(xiàn)最優(yōu)，對比次優(yōu)的CNNGRU算法預(yù)測結(jié)果的RMSE分別降低25.3%，表明了引入雙重Attention機(jī)制的必要性。

5 結(jié)語

本文針對海量數(shù)據(jù)難以提取強(qiáng)相關(guān)性特征時序段的問題，提出一種基于雙重注意力機(jī)制結(jié)合CNNGRU的預(yù)測方法。與現(xiàn)有文獻(xiàn)相比，本文所提方法通過CNN結(jié)合GRU混合神經(jīng)網(wǎng)絡(luò)方法，提升了預(yù)測模型在時空尺度上特征提取能力；通過提出一種包括特征、時序的雙重注意力機(jī)制，在通道尺度、時間尺度上提升模型訓(xùn)練的泛化性能，顯著提升了模型預(yù)測性能。

綜上，本文所提出的預(yù)測方法具有良好的預(yù)測精度，且具有良好的泛化性能，可滿足“超短期預(yù)測”的實(shí)際工程要求。

本文未考慮預(yù)測模型在極端天氣下對風(fēng)電功率的影響，后續(xù)研究工作將針對極端天氣下的分鐘級功率變化特征，進(jìn)一步研究分鐘級功率預(yù)測方法。