基于新型注意力機制的LSTM 光伏發電預測方法

陳晨，王小楊，梁建盈，馬武興

（1.電子科技大學中山學院，中山528402；2.湖南安華源電力科技有限公司，湘潭411100；3.水發興業能源（珠海）有限公司，珠海519000）

0 引言

全球經濟持續快速發展增加了電力需求，同時化石燃料的大量使用造成溫室氣體排放問題，進一步導致全球變暖和全球氣候變化。光伏發電日益成為我國能源生產當中不可或缺的一部分，到2020 年底，太陽能發電裝機將達到1.1 億千瓦以上，其中光伏發電裝機達1.05 億千瓦以上。由于其受氣象因素影響較大，光伏產能曲線波動較大，光伏電能并網時會對電網造成安全問題，光伏發電準確預測可以有效解決并網安全問題。許多學者針對該問題提出了解決方法，目前光伏發電預測方法概括起來有以下四大類[1]（如圖1 所示）：

（1）物理模型：主要依據太陽能發電原理，結合太陽能電板的材料性能、太陽輻射量、輻射角度、溫度等參數整理出一套公式進行計算。該方法在氣象環境穩定時可以獲得較好的預測精度，異常環境下的預測結果較差，文獻[2-3]中提出了幾種常用的物理模型方法。

（2）統計模型：使用統計學方法從大量歷史數據中，分析出發電量與氣象數據之間的關系，搭建統計學模型，實現對未來光伏發電量的預測。常見的統計學方法有多元回歸方法[4-5]、主成分分析法[6]、自回歸移動平均法[7]等。該類方法直接從大數據中分析發電量與氣象數據直接的關系，忽略了光伏系統本身的參數對發電量的影響。

（3）機器學習模型：通過算法分析數據，從結果中進行學習，將“學習后的算法”用來做出決策或進行預測。文獻[8]提出了新型前饋神經網絡進行預測，文獻[9]使用人工神經網絡進行預測，文獻[10]使用支持向量機的方法進行發電量預測等，該類方法需要大量歷史數據對模型進行訓練，再使用訓練好的模型進行預測。

（4）混合模型：該類方法是將多種模型結合起來進行預測，發揮不同模型的優勢，提高預測的精度。對于n 個預測模型m1,m2,…,mn組成的混合預測模型，可以表示為：

其中yt是t 時刻預測的結果，wit是t 時刻各個模型的權重，bt是t 時刻的偏移量。混合模型常見的方法有SARIMA+LSTM[11]，文獻[12]提出了時序數據預測方法ARIMA+LSTM，文獻[13]提出了GAN+CNN 方法。

圖1 光伏預測技術分類

后三類方法均需要在大量高質量的歷史數據集中訓練才能得到較好的模型，實際情況下我們很難獲得較好的訓練數據集，特別是對于光伏發電影響最大的氣象因素——太陽輻射量歷史數據難以獲取，通常情況下較容易獲取的氣象數據只有溫度、濕度、風速等。本文提出一種方法改善實際氣象數據缺乏情況下的預測準確度，由于溫度、濕度、風速與光伏發電量之間并不是簡單的線性關系，不同時刻它們對于光伏發電量的影響因子是變化的，因此我們嘗試使用注意力機制在不同時刻選擇不同的氣象因素的組合進行發電量預測，同時氣象數據和發電量均是時序數據，一定時間段內的發電量具有連續性，使用循環神經網絡進行訓練可以獲得較好的效果，LSTM 是一種時間循環神經網絡，可以應對循環神經網絡中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關系。

1 理論基礎

1.1 長短期記憶網絡（LSTM）

LSTM 是一種常用的門控循環神經網絡，可以應對循環神經網絡中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關系。LSTM 引入了三個門，輸入門、遺忘門、輸出門以及隱藏狀態形狀的記憶細胞，遺忘門控制上一時間步的記憶細胞Ct-1的信息是否傳遞到當前時間步，輸入門控制當前時間步的輸入通過候選記憶細胞如何流入當前時間步的記憶細胞，輸出門控制記憶細胞如何流入當前隱藏狀態Ht，計算關系結構如圖2 所示。

圖2 LSTM計算關系結構圖

假設隱藏單元有h 個，給定時間步t 的小批量輸入Xt和上一時間步隱藏狀態Ht-1，則：

其中Wxf、Wxi、Wxo、Wxc、Whf、Whi、Who、Whf是權重參數，bf、bi、bo、bc是偏差參數，σ是激活函數，這里選擇sigmoid 函數，Ht為隱藏狀態矩陣。

1.2 傳統注意力機制

注意力機制在很多任務中都已經成為序列建模和變換模型的不可或缺的一部分，也因此我們的序列依賴關系建模也就突破了輸入和輸出序列中距離的限制，在大部分任務中，注意力機制通常和遞歸神經網絡聯合起來使用。深度學習中的注意力機制從本質上講是模擬人類大腦的選擇性視覺注意力機制，目的是從眾多信息中選擇出對當前任務目標更關鍵的信息，注意力機制思想如圖3 所示，它更多地關注輸入序列中的關鍵部分，即可以從中更好地學習有用信息去影響輸出結果，此外不會增加模型的計算與存儲。注意力機制是一種通用加權池方法，其中輸入由兩部分組成：keys-values、query,attention 層可獲取輸出尺寸，針對每一個query,attention 層會計算每個key 的注意力比重并且歸一化這些比重，輸出結果是每個value 乘上其加權值的總和。

圖3 注意力機制思想

注意力機制主要應用在LSTM 框架中的隱藏狀態矩陣Hi={h1,h2,…,ht}生成過程中，重要計算公式如下：

其中hi是第i 時間步的隱藏狀態信息，vt上下文信息向量，最終可由vt、ht得到預測結果。

2 MVWM設計

由上述傳統注意力機制的介紹可知，基于傳統注意力機制的LSTM 方法對時序數據的預測是選擇當前時間步的前一段時間步進行加權，這種設計方式存在一定的缺陷，特別是多變量時序數據的預測，因為每個時間步上都存在多個變量，上述加權方式下同一個時間步上的變量權重是相同的，但實際情況下，每個變量對后續時間步的預測影響程度并不同，而光伏發電量預測問題也具有這種特性，氣象因素與發電量之間的關系如圖4，從圖中結果可知氣溫、濕度與發電量有較明顯的正關系趨勢、負關系趨勢，下面使用皮爾遜相關性分析法對溫度、濕度、風速與發電量的相關性進行分析。

Pearson 相關性系數（Pearson Correlation）是衡量向量相似度的一種方法。輸出范圍為-1 到+1，0 代表無相關性，負值為負相關，正值為正相關，計算公式如下：

結果如圖5，可以發現這些變量與發電量之間并無明顯線性關系，不同時刻不同氣象因素與發電量之間的相關性是動態變化的。

圖4 溫度、濕度、風速與發電量的關系圖

圖5 不同時刻溫度、濕度、風速與發電量的皮爾遜相關性

因此我們將使用新型注意力機制應用到LSTM中，其計算框架如圖6，主要特點是同一時間步上不同變量使用不同加權系數做為網絡輸入，這里的不同變量實際上是指隱藏狀態矩陣中的不同行向量，注意力加權系數計算公式如下：

其中是隱藏狀態矩陣的第i 行向量，包含了第i 個變量的信息，w 是滑動窗口的寬度，αi是第i 個變量的加權系數。得到隱藏狀態每行的權重αi之后，我們可以得到一個上下文向量vt，它包括多個時間步的信息，獲取了時間維度信息。最后連接vt和ht生成，使用生成最終預測值。相關計算公式如下：

其中Wh、Wv、wh'為矩陣變換參數，通過樣本訓練確定其值，αi的計算方法顯然不同于傳統注意力機制中的方法，也最終影響我們的預測結果。

圖6 新型注意力機制計算框架

3 實驗與結果分析

3.1 實驗數據

為了驗證該方法的效果，提取了陽江地區光伏電站2019 年2 月1 日至2020 年3 月30 日的單個光伏陣列的氣象數據與發電量數據，每條記錄每隔15 分鐘采集一次，采集時間段為7:00-19:00，共20774 條數據。列舉簡單的示例樣本如表1。

表1 實驗示例樣本

MVWM 網絡參數設置如表2。

表2 網絡模型參數

模型損失函數采用均方根誤差函數（MSE），定義如下：

3.2 實驗步驟

Step 1：訓練集、測試集按照80%、20%的比例劃分后分別是16620、4154 條數據。

Step 2：將訓練集、測試集進行歸一化處理，提高模型收斂速度。

Step 3：使用訓練集訓練我們的網絡模型MVWM，得到模型的最終學習后的參數。

Step 4：利用學習后的模型進行預測，將測試集作為輸入，得到預測值。

Step 5：將測試集的預測值與真實值對比，進行實驗結果分析。

3.3 實驗結果與分析

為驗證MVWM 模型的有效性，我們在Ubuntu 深度學習平臺搭建環境，使用Pytorch 深度學習框架，硬件為Intel Core i7-8750H CPU+2×NVIDIA 1080ti GPU，經過訓練集學習后，在測試集進行預測，光伏發電實際值與預測結果對比如圖7 所示，橫坐標是連續的時間步，縱坐標是發電量值，紫色線條表示MVWM 模型的預測值，紅色線條表示實際值，預測值與實際值平均誤差5.362。

圖7 MVWM模型預測結果

同時我們也將MVWM 模型預測結果與LSTM、SVM 線性回歸模型進行對比，由于每種模型訓練參數不同都會得到不同的預測果，這里我們選擇每種模型最好的結果進行對比，結果如表3 多模型預測結果對比表示，列舉了每種模型的誤差值，誤差值計算方法使用的是均方根誤差、平均絕對誤差，由表結果知，對于一般氣象參數的太陽能發電預測，循環神經網絡對于時序周期性的數據具有較好的預測結果，實際結果也驗證了LSTM、MVWM 模型優于SVM 線性回歸模型；添加新型注意力機制的MVWM 模型對比傳統的LSTM模型，其性能有一定的提高。

表3 多模型預測結果對比

4 結語

本文針對常規氣象數據情況下的光伏發電短期預測問題，提出了一種基于注意力機制的多氣象因素加權預測模型，模型的網絡以LSTM 網絡為基礎，同時采用不同時間步對氣象變量進行加權的方式實現注意力機制，最后我們在數據集上驗證了該模型的效果，對比SVM 線性回歸、LSTM 等方法有了進一步的提高。