基于新型注意力機(jī)制的LSTM 光伏發(fā)電預(yù)測(cè)方法

陳晨，王小楊，梁建盈，馬武興

（1.電子科技大學(xué)中山學(xué)院，中山528402；2.湖南安華源電力科技有限公司，湘潭411100；3.水發(fā)興業(yè)能源（珠海）有限公司，珠海519000）

0 引言

全球經(jīng)濟(jì)持續(xù)快速發(fā)展增加了電力需求，同時(shí)化石燃料的大量使用造成溫室氣體排放問題，進(jìn)一步導(dǎo)致全球變暖和全球氣候變化。光伏發(fā)電日益成為我國(guó)能源生產(chǎn)當(dāng)中不可或缺的一部分，到2020 年底，太陽能發(fā)電裝機(jī)將達(dá)到1.1 億千瓦以上，其中光伏發(fā)電裝機(jī)達(dá)1.05 億千瓦以上。由于其受氣象因素影響較大，光伏產(chǎn)能曲線波動(dòng)較大，光伏電能并網(wǎng)時(shí)會(huì)對(duì)電網(wǎng)造成安全問題，光伏發(fā)電準(zhǔn)確預(yù)測(cè)可以有效解決并網(wǎng)安全問題。許多學(xué)者針對(duì)該問題提出了解決方法，目前光伏發(fā)電預(yù)測(cè)方法概括起來有以下四大類[1]（如圖1 所示）：

（1）物理模型：主要依據(jù)太陽能發(fā)電原理，結(jié)合太陽能電板的材料性能、太陽輻射量、輻射角度、溫度等參數(shù)整理出一套公式進(jìn)行計(jì)算。該方法在氣象環(huán)境穩(wěn)定時(shí)可以獲得較好的預(yù)測(cè)精度，異常環(huán)境下的預(yù)測(cè)結(jié)果較差，文獻(xiàn)[2-3]中提出了幾種常用的物理模型方法。

（2）統(tǒng)計(jì)模型：使用統(tǒng)計(jì)學(xué)方法從大量歷史數(shù)據(jù)中，分析出發(fā)電量與氣象數(shù)據(jù)之間的關(guān)系，搭建統(tǒng)計(jì)學(xué)模型，實(shí)現(xiàn)對(duì)未來光伏發(fā)電量的預(yù)測(cè)。常見的統(tǒng)計(jì)學(xué)方法有多元回歸方法[4-5]、主成分分析法[6]、自回歸移動(dòng)平均法[7]等。該類方法直接從大數(shù)據(jù)中分析發(fā)電量與氣象數(shù)據(jù)直接的關(guān)系，忽略了光伏系統(tǒng)本身的參數(shù)對(duì)發(fā)電量的影響。

（3）機(jī)器學(xué)習(xí)模型：通過算法分析數(shù)據(jù)，從結(jié)果中進(jìn)行學(xué)習(xí)，將“學(xué)習(xí)后的算法”用來做出決策或進(jìn)行預(yù)測(cè)。文獻(xiàn)[8]提出了新型前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，文獻(xiàn)[9]使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，文獻(xiàn)[10]使用支持向量機(jī)的方法進(jìn)行發(fā)電量預(yù)測(cè)等，該類方法需要大量歷史數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，再使用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)。

（4）混合模型：該類方法是將多種模型結(jié)合起來進(jìn)行預(yù)測(cè)，發(fā)揮不同模型的優(yōu)勢(shì)，提高預(yù)測(cè)的精度。對(duì)于n 個(gè)預(yù)測(cè)模型m1,m2,…,mn組成的混合預(yù)測(cè)模型，可以表示為：

其中yt是t 時(shí)刻預(yù)測(cè)的結(jié)果，wit是t 時(shí)刻各個(gè)模型的權(quán)重，bt是t 時(shí)刻的偏移量。混合模型常見的方法有SARIMA+LSTM[11]，文獻(xiàn)[12]提出了時(shí)序數(shù)據(jù)預(yù)測(cè)方法ARIMA+LSTM，文獻(xiàn)[13]提出了GAN+CNN 方法。

圖1 光伏預(yù)測(cè)技術(shù)分類

后三類方法均需要在大量高質(zhì)量的歷史數(shù)據(jù)集中訓(xùn)練才能得到較好的模型，實(shí)際情況下我們很難獲得較好的訓(xùn)練數(shù)據(jù)集，特別是對(duì)于光伏發(fā)電影響最大的氣象因素——太陽輻射量歷史數(shù)據(jù)難以獲取，通常情況下較容易獲取的氣象數(shù)據(jù)只有溫度、濕度、風(fēng)速等。本文提出一種方法改善實(shí)際氣象數(shù)據(jù)缺乏情況下的預(yù)測(cè)準(zhǔn)確度，由于溫度、濕度、風(fēng)速與光伏發(fā)電量之間并不是簡(jiǎn)單的線性關(guān)系，不同時(shí)刻它們對(duì)于光伏發(fā)電量的影響因子是變化的，因此我們嘗試使用注意力機(jī)制在不同時(shí)刻選擇不同的氣象因素的組合進(jìn)行發(fā)電量預(yù)測(cè)，同時(shí)氣象數(shù)據(jù)和發(fā)電量均是時(shí)序數(shù)據(jù)，一定時(shí)間段內(nèi)的發(fā)電量具有連續(xù)性，使用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以獲得較好的效果，LSTM 是一種時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)，可以應(yīng)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度衰減問題，并更好地捕捉時(shí)間序列中時(shí)間步距離較大的依賴關(guān)系。

1 理論基礎(chǔ)

1.1 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）

LSTM 是一種常用的門控循環(huán)神經(jīng)網(wǎng)絡(luò)，可以應(yīng)對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度衰減問題，并更好地捕捉時(shí)間序列中時(shí)間步距離較大的依賴關(guān)系。LSTM 引入了三個(gè)門，輸入門、遺忘門、輸出門以及隱藏狀態(tài)形狀的記憶細(xì)胞，遺忘門控制上一時(shí)間步的記憶細(xì)胞Ct-1的信息是否傳遞到當(dāng)前時(shí)間步，輸入門控制當(dāng)前時(shí)間步的輸入通過候選記憶細(xì)胞如何流入當(dāng)前時(shí)間步的記憶細(xì)胞，輸出門控制記憶細(xì)胞如何流入當(dāng)前隱藏狀態(tài)Ht，計(jì)算關(guān)系結(jié)構(gòu)如圖2 所示。

圖2 LSTM計(jì)算關(guān)系結(jié)構(gòu)圖

假設(shè)隱藏單元有h 個(gè)，給定時(shí)間步t 的小批量輸入Xt和上一時(shí)間步隱藏狀態(tài)Ht-1，則：

其中Wxf、Wxi、Wxo、Wxc、Whf、Whi、Who、Whf是權(quán)重參數(shù)，bf、bi、bo、bc是偏差參數(shù)，σ是激活函數(shù)，這里選擇sigmoid 函數(shù)，Ht為隱藏狀態(tài)矩陣。

1.2 傳統(tǒng)注意力機(jī)制

注意力機(jī)制在很多任務(wù)中都已經(jīng)成為序列建模和變換模型的不可或缺的一部分，也因此我們的序列依賴關(guān)系建模也就突破了輸入和輸出序列中距離的限制，在大部分任務(wù)中，注意力機(jī)制通常和遞歸神經(jīng)網(wǎng)絡(luò)聯(lián)合起來使用。深度學(xué)習(xí)中的注意力機(jī)制從本質(zhì)上講是模擬人類大腦的選擇性視覺注意力機(jī)制，目的是從眾多信息中選擇出對(duì)當(dāng)前任務(wù)目標(biāo)更關(guān)鍵的信息，注意力機(jī)制思想如圖3 所示，它更多地關(guān)注輸入序列中的關(guān)鍵部分，即可以從中更好地學(xué)習(xí)有用信息去影響輸出結(jié)果，此外不會(huì)增加模型的計(jì)算與存儲(chǔ)。注意力機(jī)制是一種通用加權(quán)池方法，其中輸入由兩部分組成：keys-values、query,attention 層可獲取輸出尺寸，針對(duì)每一個(gè)query,attention 層會(huì)計(jì)算每個(gè)key 的注意力比重并且歸一化這些比重，輸出結(jié)果是每個(gè)value 乘上其加權(quán)值的總和。

圖3 注意力機(jī)制思想

注意力機(jī)制主要應(yīng)用在LSTM 框架中的隱藏狀態(tài)矩陣Hi={h1,h2,…,ht}生成過程中，重要計(jì)算公式如下：

其中hi是第i 時(shí)間步的隱藏狀態(tài)信息，vt上下文信息向量，最終可由vt、ht得到預(yù)測(cè)結(jié)果。

2 MVWM設(shè)計(jì)

由上述傳統(tǒng)注意力機(jī)制的介紹可知，基于傳統(tǒng)注意力機(jī)制的LSTM 方法對(duì)時(shí)序數(shù)據(jù)的預(yù)測(cè)是選擇當(dāng)前時(shí)間步的前一段時(shí)間步進(jìn)行加權(quán)，這種設(shè)計(jì)方式存在一定的缺陷，特別是多變量時(shí)序數(shù)據(jù)的預(yù)測(cè)，因?yàn)槊總€(gè)時(shí)間步上都存在多個(gè)變量，上述加權(quán)方式下同一個(gè)時(shí)間步上的變量權(quán)重是相同的，但實(shí)際情況下，每個(gè)變量對(duì)后續(xù)時(shí)間步的預(yù)測(cè)影響程度并不同，而光伏發(fā)電量預(yù)測(cè)問題也具有這種特性，氣象因素與發(fā)電量之間的關(guān)系如圖4，從圖中結(jié)果可知?dú)鉁亍穸扰c發(fā)電量有較明顯的正關(guān)系趨勢(shì)、負(fù)關(guān)系趨勢(shì)，下面使用皮爾遜相關(guān)性分析法對(duì)溫度、濕度、風(fēng)速與發(fā)電量的相關(guān)性進(jìn)行分析。

Pearson 相關(guān)性系數(shù)（Pearson Correlation）是衡量向量相似度的一種方法。輸出范圍為-1 到+1，0 代表無相關(guān)性，負(fù)值為負(fù)相關(guān)，正值為正相關(guān)，計(jì)算公式如下：

結(jié)果如圖5，可以發(fā)現(xiàn)這些變量與發(fā)電量之間并無明顯線性關(guān)系，不同時(shí)刻不同氣象因素與發(fā)電量之間的相關(guān)性是動(dòng)態(tài)變化的。

圖4 溫度、濕度、風(fēng)速與發(fā)電量的關(guān)系圖

圖5 不同時(shí)刻溫度、濕度、風(fēng)速與發(fā)電量的皮爾遜相關(guān)性

因此我們將使用新型注意力機(jī)制應(yīng)用到LSTM中，其計(jì)算框架如圖6，主要特點(diǎn)是同一時(shí)間步上不同變量使用不同加權(quán)系數(shù)做為網(wǎng)絡(luò)輸入，這里的不同變量實(shí)際上是指隱藏狀態(tài)矩陣中的不同行向量，注意力加權(quán)系數(shù)計(jì)算公式如下：

其中是隱藏狀態(tài)矩陣的第i 行向量，包含了第i 個(gè)變量的信息，w 是滑動(dòng)窗口的寬度，αi是第i 個(gè)變量的加權(quán)系數(shù)。得到隱藏狀態(tài)每行的權(quán)重αi之后，我們可以得到一個(gè)上下文向量vt，它包括多個(gè)時(shí)間步的信息，獲取了時(shí)間維度信息。最后連接vt和ht生成，使用生成最終預(yù)測(cè)值。相關(guān)計(jì)算公式如下：

其中Wh、Wv、wh'為矩陣變換參數(shù)，通過樣本訓(xùn)練確定其值，αi的計(jì)算方法顯然不同于傳統(tǒng)注意力機(jī)制中的方法，也最終影響我們的預(yù)測(cè)結(jié)果。

圖6 新型注意力機(jī)制計(jì)算框架

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證該方法的效果，提取了陽江地區(qū)光伏電站2019 年2 月1 日至2020 年3 月30 日的單個(gè)光伏陣列的氣象數(shù)據(jù)與發(fā)電量數(shù)據(jù)，每條記錄每隔15 分鐘采集一次，采集時(shí)間段為7:00-19:00，共20774 條數(shù)據(jù)。列舉簡(jiǎn)單的示例樣本如表1。

表1 實(shí)驗(yàn)示例樣本

MVWM 網(wǎng)絡(luò)參數(shù)設(shè)置如表2。

表2 網(wǎng)絡(luò)模型參數(shù)

模型損失函數(shù)采用均方根誤差函數(shù)（MSE），定義如下：

3.2 實(shí)驗(yàn)步驟

Step 1：訓(xùn)練集、測(cè)試集按照80%、20%的比例劃分后分別是16620、4154 條數(shù)據(jù)。

Step 2：將訓(xùn)練集、測(cè)試集進(jìn)行歸一化處理，提高模型收斂速度。

Step 3：使用訓(xùn)練集訓(xùn)練我們的網(wǎng)絡(luò)模型MVWM，得到模型的最終學(xué)習(xí)后的參數(shù)。

Step 4：利用學(xué)習(xí)后的模型進(jìn)行預(yù)測(cè)，將測(cè)試集作為輸入，得到預(yù)測(cè)值。

Step 5：將測(cè)試集的預(yù)測(cè)值與真實(shí)值對(duì)比，進(jìn)行實(shí)驗(yàn)結(jié)果分析。

3.3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證MVWM 模型的有效性，我們?cè)赨buntu 深度學(xué)習(xí)平臺(tái)搭建環(huán)境，使用Pytorch 深度學(xué)習(xí)框架，硬件為Intel Core i7-8750H CPU+2×NVIDIA 1080ti GPU，經(jīng)過訓(xùn)練集學(xué)習(xí)后，在測(cè)試集進(jìn)行預(yù)測(cè)，光伏發(fā)電實(shí)際值與預(yù)測(cè)結(jié)果對(duì)比如圖7 所示，橫坐標(biāo)是連續(xù)的時(shí)間步，縱坐標(biāo)是發(fā)電量值，紫色線條表示MVWM 模型的預(yù)測(cè)值，紅色線條表示實(shí)際值，預(yù)測(cè)值與實(shí)際值平均誤差5.362。

圖7 MVWM模型預(yù)測(cè)結(jié)果

同時(shí)我們也將MVWM 模型預(yù)測(cè)結(jié)果與LSTM、SVM 線性回歸模型進(jìn)行對(duì)比，由于每種模型訓(xùn)練參數(shù)不同都會(huì)得到不同的預(yù)測(cè)果，這里我們選擇每種模型最好的結(jié)果進(jìn)行對(duì)比，結(jié)果如表3 多模型預(yù)測(cè)結(jié)果對(duì)比表示，列舉了每種模型的誤差值，誤差值計(jì)算方法使用的是均方根誤差、平均絕對(duì)誤差，由表結(jié)果知，對(duì)于一般氣象參數(shù)的太陽能發(fā)電預(yù)測(cè)，循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)于時(shí)序周期性的數(shù)據(jù)具有較好的預(yù)測(cè)結(jié)果，實(shí)際結(jié)果也驗(yàn)證了LSTM、MVWM 模型優(yōu)于SVM 線性回歸模型；添加新型注意力機(jī)制的MVWM 模型對(duì)比傳統(tǒng)的LSTM模型，其性能有一定的提高。

表3 多模型預(yù)測(cè)結(jié)果對(duì)比

4 結(jié)語

本文針對(duì)常規(guī)氣象數(shù)據(jù)情況下的光伏發(fā)電短期預(yù)測(cè)問題，提出了一種基于注意力機(jī)制的多氣象因素加權(quán)預(yù)測(cè)模型，模型的網(wǎng)絡(luò)以LSTM 網(wǎng)絡(luò)為基礎(chǔ)，同時(shí)采用不同時(shí)間步對(duì)氣象變量進(jìn)行加權(quán)的方式實(shí)現(xiàn)注意力機(jī)制，最后我們?cè)跀?shù)據(jù)集上驗(yàn)證了該模型的效果，對(duì)比SVM 線性回歸、LSTM 等方法有了進(jìn)一步的提高。