改進型LSTM網絡光伏發電功率預測研究

葉 興，薛家祥

(華南理工大學機械與汽車工程學院，廣東 廣州 510640)

0 引 言

光伏發電并網系統中光伏板易受太陽能輻射強度等氣象因素以及光伏陣列自身因素影響，導致輸出功率波動較大，發電功率具有明顯的隨機性，對電網的安全運行帶來了一系列的安全問題，因而對光伏發電系統功率的預測顯得尤為重要。

在光伏發電預測方面國內外科研人員在該領域采用各種理論與預測模型，進行了大量的探索與研究[1-3]。Muhammad Waseem Ahmad 等[4]提出了基于隨機森林算法和額外樹算法組合光伏發電預測模型，模型的輸入充分考慮光伏發電的氣象因素，從而預測出下一小時的光伏輸出功率，但是預測時間過于短暫，無法長時間預測。De Giorgi等[5]采用多元線性回歸方法，以光伏發電系統的太陽能輻射等氣象因素來預測發電功率，但是精確度較差。單英浩等[6]提出了基于改進BP-SVM-ELM與粒子化SOM-LSF的微電網光伏發電組合預測方法，考慮目標光伏電站與其相連的光伏電站之間的能量關系預測光伏電站發電功率，該方法只驗證了微電網而沒有對大規模光伏電站進行研究。張雨金等[7]提出Stacking-SVM的短期光伏發電功率預測方法，該方法使用與測試樣本相同類別的訓練次數SVM，最后使用次級SVM對多個預測輸出進行結合得到最終預測結果；但該方法僅考慮雨天、晴天、多云天氣的預測，沒有考慮具體的天氣參數等因素的影響。

長短期記憶（long short-term memory，LSTM）網絡是一種改進的循環神經網絡（RNN），LSTM已被應用于空氣質量指數、電力負荷、語音識別等的預測中，并且取得了較好的精準度[8-10]。本文綜合了太陽輻射強度、溫度、風速、相對濕度等多種氣象因素，提出了基于改進型長短期記憶網絡的光伏發電預測方法，結合一定數量的歷史功率數據、光伏電站氣象數據搭建光伏發電功率預測模型，通過Python3.6、TensorFlow、Spyder軟件對所構建的模型進行訓練和測試，并與單因素下的預測性能進行對比，結果表明多因素參與下的預測更加接近真實值。

1 LSTM深度學習原理

1.1 RNN神經網絡與正則化一般推導過程

如圖1所示，長短期記憶人工神經網絡是基于循環神經網絡，在其基礎上進行優化與改進。因此本文先以循環神經網絡推導其一般計算過程。RNN相比于前饋神經網絡引入了定向循環，其能夠處理輸入之間的關聯問題。

圖1 RNN模型結構

RNN的一個特點是所有的隱含層共享一套(U,V,W)參數，以該模型推導RNN神經網絡計算過程，RNN前向傳導計算：

ot——模型輸出層t時刻的輸出向量。

模型反向傳播的目的是為了得到預測誤差E關于參數(U,V,W)的梯度，即對參數求偏導。每個時刻預測值與實際值都有一定的誤差，對誤差求關于共享參數的梯度，以便模型后續計算過程的參數調整。本文以誤差Et為例推導梯度計算。Et對特征矩陣V的梯度計算有：

yt——t時刻的實際值。

由式（1）可知 ?st依賴 ?st-1，?st-1依賴W、?st-2，可得：

可見所有隱含層中共享權重W，并且變量依賴權值。在反向傳播算法中定義一個delta向量：

聯合式（6）、式（7）可得：

同理可得：

到此，完成模型梯度的求解。

深度神經網絡往往具有龐大數量的神經元，因此容易造成神經網絡過擬合。一般引入DropOut層與正則化來解決模型過擬合問題。

DropOut層的作用是在神經網絡訓練的過程中，按照一定的概率丟棄神經元，并且丟棄是隨機的[11]。DropOut同時也強迫神經單元和隨機挑選出來的神經單元共同工作，以此來降低神經元節點之間的適應性，其示意圖如圖2所示。DropOut數學表達式如下：

正則化是對模型添加先驗，從而減少模型的復雜度。當模型過擬合時，函數會傾向于噪聲點，也就表明函數的曲線會在噪聲點之間跳躍，可能會導致函數的切線斜率在局部變動非常大；對于多項式模型來說，函數導數的絕對值，實際上就是多項式系數的一個線性加和，這也就是說，過擬合的模型，至少某幾個參數分量的絕對值非常大。因此，當系數增大時，損失函數會增大，由梯度的計算公式可以知道梯度的增大會使得系數的下降程度變大，這樣就阻止了系數的進一步增大。本文采用L2正則化其數學公式：

E——模型損失函數；

λ——正則化參數。

圖2 DropOut示意圖

1.2 標準LSTM模型

相比RNN神經網絡，LSTM網絡能夠捕獲間隔較大的時序數據之間的依賴關系，擺脫RNN網絡訓練后期出現梯度消失和梯度爆炸等問題。LSTM是將RNN的隱含層神經元替換成記憶單元，LSTM引入“門”來控制丟棄或者增加信息，神經網絡通過單元狀態上的門結構來選擇記住或者遺忘信息。門結構中包含了sigmoid函數，函數輸出區間 (0,1)，“0”表示遺忘，“1”表示記憶信息。LSTM 單元中有3種調節信息流的門結構：遺忘門、輸入門、輸出門。

1）遺忘門：遺忘門決定了上一時刻的單元狀態Ct-1保留到當前時刻狀態Ct程度，遺忘門計算公式為：

其中ft為遺忘門輸出值，σ為Sigmoid函數，bf為偏置。

2）輸入門：輸入門和一個tanh函數配合控制前一時刻網絡的輸入xt保存到單元狀態Ct的程度。結合上一時刻單元狀態Ct-1與遺忘門ft的乘積，再計算當前輸入的單元狀態，其計算公式如下：

3）輸出門：輸出門控制單元狀態Ct輸出到LSTM的當前輸出值ht，首先運行sigmoid函數來確定單元狀態輸出部分，再將單元狀態通過tanh函數進行運算，最終兩者相乘得到輸出，計算公式為

LSTM運行流程如圖3所示，輸出值ht已經達到神經元所需的閾值，則將其與當前層計算值相乘值作為輸出進入下一層進行計算，未達到閾值，神經元則將其遺忘。

圖3 LSTM網絡運行流程圖

1.3 LSTM模型改進方法

深度學習問題本質上就是找到神經網絡的最小損失函數點，往往引入優化算法幫助更新與計算影響模型訓練和模型輸出的網絡參數，逼近或達到最優值，尋找最小損失函數點，提高模型精確度。

本文采用 RMSProp算法[12]優化LSTM網絡。RMSProp算法采用累積平方梯度，即算法初始迭代點占的權重很小，迭代點靠后的梯度的權重大，這樣模型可以丟棄靠前的梯度，從而加速整體的收斂速度。算法采用了動態的調整模型學習速率，在計算累積平方梯度時加入了衰減系數來控制模型獲取的歷史信息等優點。其算法過程如下：

1）計算梯度g，定義 ?w為權值的Nabla算子，m為訓練樣本數。其公式為：

2）計算累積平方梯度r：

其中 ρ為衰減速率。

3）計算權值更新：

其中 δ為一個十分接近于0的極小數，ε為學習速率。

4）更新權值：

2 基于改進型LSTM網絡的光伏發電功率預測

2.1 光伏發電功率預測模型

本文提出基于改進型LSTM網絡的光伏發電功率預測模型，模型首先需要進行樣本訓練過程，訓練完模型后輸入數據完成預測過程。預測模型訓練過程需要不斷進行誤差與參數更新，迭代的過程需要計算機進行較大規模的運算，通常是將模型訓練過程放在高性能的計算機上，或者利用云計算的計算能力將模型部署到云服務器上，快速得到訓練模型。然后將模型移植到一般的計算機上進行預測，模型的整體流程如圖4所示。

圖4 光伏發電功率預測流程圖

2.2 數據源及其預處理

本文光伏發電功率歷史數據集來自澳大利亞艾利斯斯普林斯光伏電站，所采用氣象數據（包括風速、溫度、相對濕度、全球水平輻射、漫反射水平輻射），囊括了2016年3月3日-2018年5月9日的每日數據，數據每5 min采集一次。為了驗證預測模型的性能，模型運行環境是以keras為前端，谷歌第二代人工智能學習系統TensorFlow為后端，在Python3.6中完成預測模型程序的編寫，Spyder軟件編譯。并輸入數據進行模型的仿真驗證。

本文除了5個氣象因素作為預測模型的輸入序列，還需要24個歷史光伏數據同時作為模型輸入序列。表1為光伏電站歷史部分數據。

表1 光伏電站歷史部分數據

深度學習預測模型中，常對數據進行預處理，從而消除不同特征的量綱的影響和提高模型的計算能力和收斂速度，需對收集到的到的數據進行zscore標準化處理：

式中：x——標準化前的數據；

z——標準化后的數據；

μ——樣本的均值；

σ——樣本的標準差。

數據經過z-score標準化后平均值為0，標準差為1，數據呈標準正態分布。經過處理后的數據可以放在一個矩陣中進行運算，經過標準化處理后數據樣本有效樣本數是91 445，LSTM模型完成預測訓練后，按照下式對預測的輸出數據進行處理，從而得到真實的預測功率數據：

2.3 評價指標

深度學習中常采用均方誤差（mean squared error，MSE）作為損失函數來檢驗和衡量模型的精確度和效果。MSE的定義如下：

式中：yt——t時刻實際發電功率值；

m——樣本數據量。

從MSE的定義中可知，MSE是預測數據和真實值誤差的平方和的均值。顯然，均方誤差值意味著模型預測值與真實值的接近程度。均方誤差值越小，模型精度越高。

2.4 預測模型建立與仿真結果及分析

LSTM模型結構的搭建與參數的設置，對于樣本訓練過程的優化、訓練時耗、預測精度起關鍵性作用。模型的搭建首先應確定網絡深度，為了使訓練最優分別對2～6層隱含層的網絡進行對比，分別迭代100次，以此確定最佳的網絡深度。

表2中比較了不同隱含層模型訓練時間與訓練后模型的損失函數值，隱含層層數少于4層時，損失函數值隨隱含層數目增加而減小；隱含層層數大于4時，損失函數值隨隱含層層數增大而增大，模型出現過擬合現象，訓練時間也增多。由結果可見，當隱含層數目為4時，損失函數值最小，訓練時間模型精度最高，誤差最小。因此本文選用隱含層為4層深度的網絡。本文模型分別采用350、200、100個神經元的LSTM層和50個神經元的普通層，并對每個層進行DropOut層操作。DropOut層選擇一個常數0.25作為丟棄神經元輸出的概率模型利用RMSPropS算法進行優化，衰減速率和學習速率分別取值為0.9和0.001。模型選取了5個氣象參數與24個歷史功率數據作為輸入的LSTM層的訓練樣本，模型整體結構如圖5所示。

表2 隱層數目對預測效果的影響

圖5 光伏發電功率預測模型圖

在相同的計算機上，將收集的數據中，進行標準化處理后，選取68 583樣本數作為訓練集，22 862作為測試集，選擇迭代次數為100次。對網

絡進行仿真實驗。實驗結果如圖6所示，模型在迭代100次后訓練的損失函數值與測試的損失函數值分別為0.077 8和0.078 2。選取預測值與真實值的100個數據進行對比，從圖6（b）可以明顯地看出兩者曲線較為貼合。說明改進型的LSTM模型的預測精度較高，預測效果良好。

圖6 模型預測結果

考慮到光伏電站的氣象因素對發電功率影響，以及對預測結果的影響，本文在模型的基礎上剔除氣象因素的條件，僅僅依靠歷史功率數據進行光伏發電的預測，并對兩者進行對比。

單一因素輸入的模型，訓練集損失函數值從圖7(a)可以明顯看出比多因素輸入模型的損失函數值大。以及測試集的損失函數值波動與最后收斂的值都比多因素輸入下的測試集損失函數大。從圖7(c)可以看出單一因素的預測結果比氣象因素下的預測結果差。

圖7 單一因素與多因素模型預測結果對比圖

3 結束語

本文將深度學習理論應用于光伏發電系統功率預測，本文通過RNN與LSTM門計算過程推導了LSTM一般計算過程。建立基于改進型長短期記憶（LSTM）網絡模型，仿真證明了模型充分考慮多氣象因素下的預測性能優于單因素預測模型。所提模型基于Python語言與TensorFlow框架搭建，相比于其他語言搭建模型更加靈活。雖然本文所提模型能獲得良好的光伏發電預測效果，但所提模型無法滿足數據實時輸入與輸出的要求。下一步可通過優化模型得到實時輸入輸出的光伏預測數據以及將模型嵌入到具體的APP中，使得模型具有更大的實用性與普遍性。