一種用于風(fēng)電功率預(yù)測(cè)的雙存儲(chǔ)結(jié)構(gòu)LSTM模型

應(yīng)稼田 程良倫 林錦發(fā)

摘 要：文章針對(duì)風(fēng)力發(fā)電特有的間歇性和不穩(wěn)定性等特性，提出一種雙存儲(chǔ)神經(jīng)元的長短時(shí)記憶（LSTM）模型（Du-LSTM）用于風(fēng)電功率預(yù)測(cè)。通過建立雙存儲(chǔ)神經(jīng)元結(jié)構(gòu)的LSTM模型，對(duì)周期性較強(qiáng)和突變性較強(qiáng)的風(fēng)電功率分別采用不同神經(jīng)元建模，有效解決受天氣劇烈變化影響下的風(fēng)電功率預(yù)測(cè)精度較低的問題。實(shí)驗(yàn)結(jié)果表明，預(yù)測(cè)誤差相對(duì)LSTM模型從10.4%下降到7.0%，改進(jìn)后的Du-LSTM神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)精度和擬合度上優(yōu)于原始LSTM網(wǎng)絡(luò)模型。

關(guān)鍵詞：風(fēng)電功率；神經(jīng)網(wǎng)絡(luò)；趨勢(shì)預(yù)測(cè)

風(fēng)力發(fā)電是一種清潔安全的能源，技術(shù)相對(duì)成熟，是具有大規(guī)模開發(fā)的可再生能源技術(shù)之一。然而風(fēng)是隨機(jī)的、不可控的，這就導(dǎo)致風(fēng)力發(fā)電具有不穩(wěn)定性，若能實(shí)現(xiàn)風(fēng)電功率高精度預(yù)測(cè)，就能準(zhǔn)確掌握風(fēng)電變化趨勢(shì)，有利于消除風(fēng)電對(duì)電網(wǎng)的不良影響，使其在電力市場(chǎng)具有更強(qiáng)的競(jìng)爭(zhēng)力[1]。研究基于歷史數(shù)據(jù)的風(fēng)電高精度預(yù)測(cè)對(duì)我國風(fēng)電行業(yè)具有重要意義，已經(jīng)成為相關(guān)研究人員研究重點(diǎn)[2]。

風(fēng)電功率預(yù)測(cè)方法主要有以下幾種：基于數(shù)值天氣預(yù)報(bào)系統(tǒng)的物理模型預(yù)測(cè)方法，統(tǒng)計(jì)預(yù)測(cè)方法和空間相關(guān)性方法[3]，卡爾曼濾波法[4]，遺傳算法與預(yù)測(cè)模型結(jié)合的預(yù)測(cè)方法[5-6]。隨著人工智能發(fā)展，神經(jīng)網(wǎng)絡(luò)在風(fēng)電功率預(yù)測(cè)中應(yīng)用最為廣泛[7-8]。其中，長短時(shí)記憶網(wǎng)絡(luò)模型（Long Short-Term Memory，LSTM）神經(jīng)網(wǎng)絡(luò)模型由于其可以記憶更長遠(yuǎn)的歷史時(shí)間信息，在風(fēng)電功率預(yù)測(cè)上表現(xiàn)更好。

針對(duì)風(fēng)力具有季節(jié)性和波動(dòng)性的特征，本文構(gòu)建雙存儲(chǔ)神經(jīng)元的長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型（DU-LSTM），長時(shí)記憶單元存儲(chǔ)長期歷史風(fēng)力數(shù)據(jù)進(jìn)行訓(xùn)練，風(fēng)力出現(xiàn)短時(shí)大幅波動(dòng)時(shí)將其存儲(chǔ)在短時(shí)記憶單元進(jìn)行訓(xùn)練?？梢越鉀Q受天氣劇烈變化影響下風(fēng)電功率變化大，導(dǎo)致預(yù)測(cè)精度較低的問題。最終提高了雙存儲(chǔ)神經(jīng)元LSTM模型的短期風(fēng)電功率預(yù)測(cè)精度。

1 LSTM模型相關(guān)理論

LSTM是一種遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的特殊類型，可以學(xué)習(xí)長期依賴的信息[9-10]。盡管標(biāo)準(zhǔn)RNN模型能夠有效地處理非線性時(shí)間序列，但是主要存在兩個(gè)問題：一是由于梯度消失和梯度爆炸問題，RNN不能處理延遲過長的時(shí)間序列；二是訓(xùn)練RNN模型需要預(yù)先確定延遲窗口長度，然而實(shí)際應(yīng)用中很難自動(dòng)地獲取這一參數(shù)的最優(yōu)值。LSTM模型改變了RNN的細(xì)胞模型，使之具有長期記憶能力。LSTM模型結(jié)果包含一組相互聯(lián)系的遞歸子網(wǎng)絡(luò)，被稱為記憶模塊。每個(gè)記憶模塊包含一個(gè)或多個(gè)自相關(guān)的記憶信元和3個(gè)增值單元。它的前向算法可以表示為：

其中：i，f，c，o分別表示輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門，W和b分別為對(duì)應(yīng)的權(quán)重系數(shù)矩陣和偏置項(xiàng)，σ為sigmoid函數(shù)。

LSTM模型的前向傳播算法（Forward Propagation）跟反向傳播算法（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)的并無本質(zhì)不同，而其訓(xùn)練過程采用的基于時(shí)間的反向傳播算法（Back Propagation Through Time，BPTT）是經(jīng)典BP的簡(jiǎn)單變體，其目的也是從最后一步時(shí)間向前傳遞累積的殘差，其計(jì)算過程為：

（1）按照前向傳播算法（公式（1）—公式（5））計(jì)算LSTM模型中cell的輸出值。

（2）反向計(jì)算每個(gè)cell的誤差項(xiàng)，包括時(shí)間和網(wǎng)絡(luò)層兩個(gè)反向傳播方向。

（3）根據(jù)誤差，計(jì)算相應(yīng)權(quán)重的梯度。

（4）應(yīng)用基于梯度的優(yōu)化算法更新權(quán)重。

2 雙存儲(chǔ)LSTM模型實(shí)現(xiàn)

2.1 雙存儲(chǔ)LSTM神經(jīng)元

為了解決不同天氣因素情況下，長期時(shí)間因素和短時(shí)時(shí)間因素對(duì)風(fēng)電功率預(yù)測(cè)不同程度的影響，本文提出了一種長時(shí)記憶單元和短時(shí)記憶單元相結(jié)合的雙存儲(chǔ)LSTM神經(jīng)元，定義變量ηt，用于判斷風(fēng)電功率訓(xùn)練所用的LSTM神經(jīng)元記憶單元。它們有不同的時(shí)間步長。對(duì)于時(shí)間t+1步的風(fēng)電功率預(yù)測(cè)，長時(shí)記憶單元的時(shí)間步長為起始時(shí)間到t時(shí)刻。相對(duì)應(yīng)的，短時(shí)記憶單元捕捉短周期內(nèi)的風(fēng)電功率變化趨勢(shì)，其時(shí)間步長為預(yù)測(cè)時(shí)間點(diǎn)t之前的最短時(shí)間步長ω，即從t-ω+1到t時(shí)刻。這種雙存儲(chǔ)結(jié)構(gòu)的LSTM神經(jīng)元模型如圖1所示。其中h為LSTM層輸出，x為觀測(cè)特征，y為風(fēng)電功率。

基于雙存儲(chǔ)神經(jīng)元的LSTM模型，需要定義兩組細(xì)胞，{ct（l）}和{ct（s）}，分別記錄長時(shí)記憶單元信息和短時(shí)記憶單元信息。c（l）和c（s）有獨(dú)立的LSTM權(quán)重參數(shù)，即對(duì)于長時(shí)記憶單元和短時(shí)記憶單元來說，它們的細(xì)胞狀態(tài)，遺忘門和輸入門分別有其各自對(duì)應(yīng)的權(quán)重矩陣，分別記為θ（l）={Wc（l），Wf（l），Wi（l）}和θ（s）={Wc（s），Wf（s），Wi（s）}，但是它們的輸出門的權(quán)重矩陣Wo是共用的。在LSTM模型的訓(xùn)練階段，參數(shù)θ（l）和θ（s）分別為長時(shí)記憶單元與短時(shí)記憶單元中的樣本數(shù)據(jù)訓(xùn)練所得。在本文中，通過變量ηt來確定隱藏層輸出ht所屬記憶單元。ηt通過所觀測(cè)特征{P1，P2，Pn}計(jì)算所得。某些時(shí)間點(diǎn)的風(fēng)電功率表現(xiàn)為季風(fēng)特性，趨向于長期的風(fēng)電功率變化特性，而對(duì)于某些時(shí)間點(diǎn)的風(fēng)電功率表現(xiàn)為受短時(shí)極端天氣影響，則趨向于短期的大幅波動(dòng)變化。長時(shí)記憶單元和短時(shí)記憶單元的選擇過程可以表示為：

當(dāng)ηt大于0.5時(shí)，LSTM神經(jīng)元的細(xì)胞為長時(shí)記憶單元；當(dāng)ηt小于等于0.5時(shí)，LSTM神經(jīng)元的細(xì)胞為短時(shí)記憶單元。

在已經(jīng)設(shè)計(jì)好的雙存儲(chǔ)LSTM模型上，結(jié)合Adam算法計(jì)算LSTM模型各個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率。流程如圖2所示。

2.2 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練主要是以隱藏層為研究對(duì)象。首先在LSTM神經(jīng)網(wǎng)絡(luò)輸入層中，定義原始的風(fēng)電功率時(shí)間序列為Po={P1，P2，…，P3}，將其劃分為訓(xùn)練集Ptrain={P1，P2，…，Pm}和測(cè)試集Ptest={Pm+1，Pm+2，…，Pm+3}。接著對(duì)訓(xùn)練集和測(cè)試集中的所有元素p進(jìn)行標(biāo)準(zhǔn)化。

設(shè)定時(shí)間步長為L，對(duì)訓(xùn)練集進(jìn)行切割，切割后的模型輸入為：

公式（9）中的Cn-1和Hn-1為前一個(gè)LSTM神經(jīng)元的狀態(tài)和輸出，可由公式（1）到公式（5）求得。對(duì)于訓(xùn)練過程中的損失函數(shù)，采用均方根誤差作為誤差計(jì)算公式，訓(xùn)練的目標(biāo)是使得損失函數(shù)最小化。

2.3 網(wǎng)絡(luò)預(yù)測(cè)

將訓(xùn)練完成的模型用于預(yù)測(cè)。預(yù)測(cè)采用迭代的過程，首先將LSTM訓(xùn)練模型的最終輸出結(jié)果Yt={pm-L+1'，pm-L+2'，pm}作為輸入，輸入到訓(xùn)練完成的LSTM模型（記為LSTMtrain），得到m+1時(shí)刻的預(yù)測(cè)值為pm+1。刪除Yt中第一個(gè)時(shí)間點(diǎn)的值pm-L+1，將pm+1與Yt合并為新的數(shù)據(jù)集。以此類推，可以得到最終的預(yù)測(cè)結(jié)果為：Yp={pm+1，pm+2，…，pn}。

得到預(yù)測(cè)結(jié)果后，對(duì)Yp進(jìn)行反標(biāo)準(zhǔn)化，得到與測(cè)試集Ptest對(duì)應(yīng)的預(yù)測(cè)序列Ytest={p*m+1，p*m+2，…，p*n}。

總的來說，Du-LSTM模型的訓(xùn)練及預(yù)測(cè)過程如下。

步驟1 設(shè)置LSTM模型參數(shù)。包括輸入層維度，輸出層維度，LSTM層神經(jīng)元個(gè)數(shù)，初始學(xué)習(xí)率。

步驟2 數(shù)據(jù)集切割與標(biāo)準(zhǔn)化處理。LSTM模型所用激勵(lì)函數(shù)為sigmoid函數(shù)，其值域?yàn)閇0，1]，對(duì)數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理。將數(shù)據(jù)集劃分為訓(xùn)練集與訓(xùn)練標(biāo)簽。

步驟3 構(gòu)建雙存儲(chǔ)LSTM網(wǎng)絡(luò)模型，即Du-LSTM網(wǎng)絡(luò)模型。每個(gè)LSTM神經(jīng)元包括長時(shí)記憶單元與短時(shí)記憶單元兩個(gè)存儲(chǔ)塊，具體結(jié)構(gòu)如圖1所示。

步驟4 利用構(gòu)建好的LSTM模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，采用Adam算法對(duì)LSTM所有參數(shù)自適應(yīng)其學(xué)習(xí)率。

步驟5 確定預(yù)測(cè)時(shí)間范圍，逐點(diǎn)預(yù)測(cè)風(fēng)電功率。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)選取

為驗(yàn)證所建立的預(yù)測(cè)模型的有效性，本文采用Global Energy Forecasting Competition 2012-Wind Forecasting的風(fēng)電場(chǎng)數(shù)據(jù)為樣本進(jìn)行風(fēng)電功率預(yù)測(cè)。時(shí)間跨度為2010年1月1日到2012年6月28日。時(shí)間分辨率為1小時(shí)。所采集數(shù)據(jù)包括實(shí)際風(fēng)電功率和風(fēng)機(jī)監(jiān)測(cè)系統(tǒng)采集的緯度方向風(fēng)分量，經(jīng)度方向風(fēng)分量，風(fēng)速和風(fēng)向等。以單臺(tái)的異步風(fēng)力發(fā)電機(jī)組為例，對(duì)該風(fēng)電機(jī)組的短期風(fēng)電功率進(jìn)行預(yù)測(cè)。為了預(yù)測(cè)短期的風(fēng)電機(jī)組輸出功率，將前一小時(shí)的風(fēng)電機(jī)組輸出功率、后一小時(shí)的風(fēng)速、風(fēng)向、緯度方向風(fēng)分量和經(jīng)度方向風(fēng)分量作為網(wǎng)絡(luò)訓(xùn)練的輸入。

對(duì)于風(fēng)電功率預(yù)測(cè)模型中輸入的訓(xùn)練特征風(fēng)速、風(fēng)電功率等，它們的量綱不一樣，數(shù)量級(jí)也不相同，因此，首先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將訓(xùn)練數(shù)據(jù)映射到[0，1]，當(dāng)使用訓(xùn)練好的模型進(jìn)行預(yù)測(cè)時(shí)，將預(yù)測(cè)所得的風(fēng)電功率進(jìn)行反標(biāo)準(zhǔn)化，則可得到真實(shí)數(shù)據(jù)。

風(fēng)速是一個(gè)變化趨勢(shì)明顯的非線性函數(shù)，對(duì)風(fēng)電機(jī)組的發(fā)電功率影響最大。風(fēng)速的變化呈現(xiàn)出一定的周期性，同時(shí)存在波動(dòng)較大的特點(diǎn)。

設(shè)置LSTM模型的參數(shù)為：隱藏層數(shù)為2，每一層的神經(jīng)元個(gè)數(shù)為10，初始學(xué)習(xí)率為0.001，最大迭代次數(shù)1 000次；兩層的Dropout層，Dropout層神經(jīng)元丟棄率為0.2；一層池化層，激勵(lì)函數(shù)為relu函數(shù)。

3.2 方法評(píng)估及誤差分析

在實(shí)際建模過程中，選取了2012年6月27日到2012年6月28日作為預(yù)測(cè)時(shí)間段，預(yù)測(cè)這兩天內(nèi)48小時(shí)中每小時(shí)的風(fēng)電功率。為了評(píng)價(jià)本文提出的Du-LSTM算法的預(yù)測(cè)效果，將通過上述的訓(xùn)練樣本分別用Du-LSTM，LSTM和XGBoost（Extreme Gradient Boosting）模型訓(xùn)練，并用同樣測(cè)試集預(yù)測(cè)檢驗(yàn)。XGBoost最初是由Tianqi Chen提出，所應(yīng)用的算法就是GBDT（Gradient Boost Decision Tree），近年來在kaggle等各大數(shù)據(jù)挖掘競(jìng)賽展示了強(qiáng)大的能力，有兩個(gè)以上的團(tuán)隊(duì)采用XGBoost算法獲得最終冠軍。圖3是本文方法的預(yù)測(cè)結(jié)果。

由圖3可以看出，本文提出的Du-LSTM模型不僅能很好地逼近風(fēng)電功率時(shí)間序列，同時(shí)也能迅速趨近風(fēng)電功率變化趨勢(shì)。

為了判定模型預(yù)測(cè)結(jié)果的有效性，采用絕對(duì)平均誤差，均方根誤差RMSE和相對(duì)系數(shù)R-square作為模型預(yù)測(cè)的評(píng)價(jià)指標(biāo)。其中絕對(duì)平均誤差MMAPE和RMSE用來評(píng)估模型預(yù)測(cè)結(jié)果的準(zhǔn)確性，而相對(duì)系數(shù)R-square是通過數(shù)據(jù)的變化來表征一個(gè)擬合的好壞。“確定系數(shù)”的正常取值范圍為[0，1]，越接近1，表明模型的解釋能力越強(qiáng)，這個(gè)模型對(duì)數(shù)據(jù)擬合得也較好。

為進(jìn)一步驗(yàn)證預(yù)測(cè)模型的有效性，分別利用原始LSTM和XGBoost建立風(fēng)電功率預(yù)測(cè)模型。其中原始LSTM和XGBoost的模型參數(shù)初始學(xué)習(xí)率，迭代次數(shù)與Du-LSTM的對(duì)應(yīng)參數(shù)保持一致，采用與Du-LSTM相同的訓(xùn)練樣本和測(cè)試樣本數(shù)據(jù)，同樣計(jì)算對(duì)應(yīng)的絕對(duì)平均誤差、RMSE和R-square。圖4是各個(gè)方法每個(gè)時(shí)間點(diǎn)的絕對(duì)平均誤差對(duì)比圖。絕對(duì)平均誤差、RMSE和R-square的對(duì)比如表1所示。

由圖4和表1可得，Du-LSTM在絕對(duì)平均誤差、RMSE和R-square 3種指標(biāo)上的表現(xiàn)均優(yōu)于原始LSTM和XGBoost，說明其在預(yù)測(cè)精度和模型擬合度上表現(xiàn)都是最好的。尤其是相對(duì)于原始LSTM，絕對(duì)平均誤差從19.40%下降到12.90%，RMSE從10.40%下降到7.04%，R-square從85.04%提升到93.20%。提升效果較為明顯。

4 結(jié)語

本文在LSTM模型基礎(chǔ)上，提出了雙存儲(chǔ)神經(jīng)元結(jié)構(gòu)LSTM模型對(duì)風(fēng)電功率趨勢(shì)進(jìn)行預(yù)測(cè)，可以很好地預(yù)測(cè)未來風(fēng)電功率值。

通過將Adam算法與LSTM模型結(jié)合，改變單一學(xué)習(xí)率更新網(wǎng)絡(luò)模型參數(shù)為自適應(yīng)學(xué)習(xí)率更新網(wǎng)絡(luò)模型參數(shù)。

在相同的數(shù)據(jù)條件下，Du-LSTM的雙存儲(chǔ)神經(jīng)元結(jié)構(gòu)能夠更好地處理長期與短期訓(xùn)練特征，使之預(yù)測(cè)結(jié)果相對(duì)LSTM模型預(yù)測(cè)精度更高，擬合度更好。在絕對(duì)平均誤差，RMSE和R-square上均有提升。但是在運(yùn)算的速度上，本文的算法相對(duì)較慢，主要原因是兩層的LSTM模型訓(xùn)練過程時(shí)間復(fù)雜度更高。

對(duì)于其他預(yù)測(cè)算法，其他數(shù)據(jù)，本文提出算法是否同樣具有優(yōu)越性還有待進(jìn)一步深入研究。

[參考文獻(xiàn)]

[1]鄭婷婷，王海霞，李衛(wèi)東.風(fēng)電預(yù)測(cè)技術(shù)及其性能評(píng)價(jià)綜述[J].南方電網(wǎng)技術(shù)，2013（2）：104-109.

[2]谷興凱，范高鋒，王曉蓉，等.風(fēng)電功率預(yù)測(cè)技術(shù)綜述[J].電網(wǎng)技術(shù)，2007（S2）：335-338.

[3]安學(xué)利，蔣東翔.風(fēng)力發(fā)電機(jī)組運(yùn)行狀態(tài)的混沌特性識(shí)別及其趨勢(shì)預(yù)測(cè)[J].電力自動(dòng)化設(shè)備，2010（3）：15-19.

[4]潘迪夫，劉輝，李燕飛.基于時(shí)間序列分析和卡爾曼濾波算法的風(fēng)電場(chǎng)風(fēng)速預(yù)測(cè)優(yōu)化模型[J].電網(wǎng)技術(shù)，2008（7）：82-86.

[5]周洪煜，曾濟(jì)貧，王照陽，等.基于混沌DNA遺傳算法與PSO組合優(yōu)化的RNN短期風(fēng)電功率預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制，2013（2）：144-149.

[6]楊洪，古世甫，崔明東，等.基于遺傳優(yōu)化的最小二乘支持向量機(jī)風(fēng)電場(chǎng)風(fēng)速短期預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制，2011（11）：44-48.

[7]張穎超，王雅晨，鄧華，等.基于IAFSA-BPNN的短期風(fēng)電功率預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制，2017（7）：58-63.

[8]范高鋒，王偉勝，劉純，等.基于人工神經(jīng)網(wǎng)絡(luò)的風(fēng)電功率預(yù)測(cè)[J].中國電機(jī)工程學(xué)報(bào)，2008（34）：118-123.

[9]HAO X，DU Q H，REYNOLDS M.SS-LSTM： a hierarchical lstm model for pedestrian trajectory prediction[C].Lake Placid：IEEE Winter Conference on Applications of Computer Vision，IEEE Computer Society，2018：1186-1194.

[10]KUMAR V，KUMAR V，KUMAR V，et al.Incremental dual-memory lstm in land cover prediction[C].Chicago：ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，ACM，2017：867-876.