基于雙深度神經網絡的光功率預測方法

張弘鵬，劉家慶，郭希海，孫 羽，徐 崢

(國家電網有限公司 東北分部，沈陽 110180)

利用清潔能源發電是未來的趨勢，而光伏發電是新能源的一種重要方式。但光伏發電方式的光功率受日照強度、溫度等諸多因素影響，故發電量會隨時間有較大的波動。而設備產生的電能直接被并入電網，這樣勢必會給電網調峰和調度帶來巨大壓力。因此，正確地預測光伏發電系統在某個時間段內光功率變化情況，對電網的穩定運行具有重要意義，也受到學術界和產業界的廣泛關注[1]。

現有的光功率預測方法大致可以分為統計分析方法和人工智能方法2類。其中，基于套索算法[2]、基于統計升尺度[3]和基于整合移動平均自回歸模型[4-5]的系列方法都屬于統計分析方法。此類方法中模型較為簡單，不能適應氣象數據的隨機變化，故其總體預測能力較差。人工智能方法主要基于各種神經網絡、支持向量機、馬爾可夫模型等，也有研究人員利用集成學習和信息融合的思想來解決問題[6-8]。目前，基于神經網絡的方法是此問題領域最常見的解決方法，這是因為神經網絡具有擬合未知的復雜函數關系的能力，善于處理分類與預測問題。求解未來的光功率問題既是一個預測問題，又可以轉化為對發電量等級進行預測的分類問題，故神經網絡非常適用于此領域。現有神經網絡中反向傳播神經網絡[9-10](BPNN, back propagation neural networks)、長短期記憶網絡(LSTM, long short term memory)[11-12]、自組織神經網絡[13]、徑向基神經網絡[14]、模糊神經網絡[15]，以及極限學習機等類神經網絡方法都被應用到了光伏發電量預測問題中，并取得良好的效果。例如，白會杰[16]與田義[17]將一些人工智能基礎模型用于光伏發電量預測，經過實驗對比發現神經網絡的判別能力高于傳統統計學的ARIMA模型、決策回歸樹、支持向量回歸算法及梯度提升樹。基于此，研究人員也提出了許多對基礎神經網絡進行優化或改進的新方法[18-21]，來預測復雜環境下的光伏發電量。

在現有的基于神經網絡的光伏發電預測方法中，BPNN和LSTM是2種常用模型。這是因為BPNN是最具普適性的神經網絡，可以擬合各種類型、各種特征的數據[22]。LSTM則適用于處理序列數據，尤其是時間序列數據，它更能關注樣本數據在時間維度上所具有的特征，可以應對實際時序數據分類問題中，各種因素在實際發揮作用時的遲滯性問題與影響累積性問題[23]。光伏設備所采集的環境數據恰是時間序列數據，所以LSTM和BPNN能夠取得更好的預測結果。

然而以上方法都是從單個視角出發，或是注重全局擬合，或是僅關注時序特征，未能同時發揮各種神經網絡的優勢，使預測模型受采集數據的變化影響較大，導致預測結果精度較低、穩定性較差。基于此，文中提出了一種基于雙深度神經網絡的光功率預測方法，利用長短期記憶網絡LSTM與前饋神經網絡BPNN的各自優勢學習光伏發電時序數據，并通過遺傳算法優化神經網絡待定結構參數，最大化模型整體目標函數精度來搜索最優解，得到更加準確和魯棒的預測結果。

1 相關技術

文中算法以BPNN和LSTM為基礎判別器，通過遺傳算法將二者融合為更高精度的雙深度神經網絡光功率預測方法。本節對文中用到的BPNN、LSTM和遺傳算法等基礎知識進行簡單介紹。

1.1 反向傳播神經網絡BPNN

BPNN為使用反向傳播算法的人工神經網絡[22],其中每個計算單元可以抽象為一個非線性函數，對傳來的數據進行如式(1)的處理，該表達式以數學形式還原了人腦中神經元間化學信號轉換為神經元上電信號的類似激活過程。

z(l)=W(l)·a(l-1)+b(l),

a(l)=fl(z(l)),

(1)

式中：上標和下標l表示該神經元所處的層；a(l)表示神經元的輸出；W(l)表示網絡權重；b(l)為對應偏置向量；fl(·) 表示使用的激活函數，常用的激活函數有非線性修正單元(RELU，rectified linear unit)、擠壓函數(sigmoid型)等。

要訓練BPNN神經網絡使其能夠學習數據的規律，就要為其設置一個損失函數，用來衡量神經網絡輸出值與目標輸出值(標簽)之間的差距。通過使用反向傳播的梯度下降法，不斷地修正神經網絡中各計算單元的可調參數W、b，可以使損失函數達到極小化。此時，模型輸出值已達到最接近目標輸出值的狀態。模型訓練完畢，可以用來對其他數據進行預測或分類。

1.2 長短期記憶網絡LSTM

循環神經網絡(RNN, recurrent neural network)是一種具有一定記憶能力的人工神經網絡[23]。在RNN中某一時刻t隱藏層與其上一時刻t-1的隱藏層間存在反饋連接，此連接將上一時間段內的信息——外部狀態ht-1傳入當前時刻，來實現記憶功能。在RNN中，每個計算單元可以用如下函數表達：

zt=Uht-1+Wxt+b,

ht=fl(zt),

(2)

式中：zt表示t時刻隱藏層的凈輸入值；ht為隱藏層狀態值；U是狀態權重矩陣。每一時刻網絡的凈輸入不僅與當前的樣本數據有關，也與上一時刻隱藏層的信息輸入有關。

長短期記憶網絡(LSTM)是RNN最常用的變體形式，它引入了門機制，可以解決標準RNN模型在樣本數據過多時所產生的一些問題。每個LSTM計算單元中包含3個控制信息流量的“門”，分別為輸入門it, 遺忘門ft和輸出門ot，每種門在(0,1)之間取值。LSTM還引入了內部狀態ct，它專門用于隱藏層間循環信息傳遞，同時也輸出信息給隱藏層的外部狀態。內部狀態與外部狀態共同影響下一時刻。其單元結構如圖1所示。

圖1 長短期記憶網絡(LSTM)的單元結構Fig. 1 Unit structure of long short-term memory network (LSTM)

1.3 遺傳算法

遺傳算法[24]源自生物學領域“適者生存”的思想,它模擬生物種群在繁衍時基因的隨機自由組合以及DNA交叉、突變、異位等變異過程，常被用于參數選擇、組合優化、規劃設計等問題。遺傳算法對要進行優化的參數進行編碼，編碼串可視為基因，經過個體間每代繁衍過程的基因隨機組合和變異，會得到眾多新的參數取值及參數組合形式。這些參數在適應函數(即優化的目標函數)下的值，就是該個體的適應度。每代僅保留一定數量的優秀個體，適應度較高的個體有更大的概率被保留，這樣可以保證在優秀解的基礎上逐步向最優解靠近。

遺傳算法的本質是在給定的參數取值范圍內進行非線性地、隨機地搜索，找到使目標函數達到最優的一組解。可將其用于尋找文中模型融合的最佳比例系數。

2 基于雙深度神經網絡的預測方法

不同來源的光伏發電的數據雖在采集屬性、頻次和參數單位等方面等存在差異，但都是標準的時間序列數據。LSTM具有記憶功能，可以探尋相鄰的序列沿時間維度的特征，而BPNN從數據整體出發去擬合樣本的真實分布，從而能夠做出正確判別。LSTM和BPNN的特點決定了其擅于處理時間序列問題，2種網絡各有側重，將二者的決策進行有效融合能達到優勢互補的作用，進而可以得到具有更高判別能力的魯棒模型。因此，融合BPNN和LSTM的特點，文中提出了基于雙深度神經網絡的光功率預測方法，如圖2所示。首先，對采集到的光功率數據進行預處理，使其滿足BPNN和LSTM 2個深度神經網絡；然后，訓練、優化BPNN和LSTM 2個深度神經網絡，分別預測光功率數據結果；最后，利用遺傳算法優化2個深度神經網絡的融合系數，得到更加準確的光功率預測結果。具體過程如圖2所示。

圖2 雙深度神經網絡融合算法結構圖Fig. 2 Schematic diagram of double deep neural network fusion algorithm

2.1 BPNN神經網絡優化求解

BPNN可以擬合各種類型、各種特征的數據，因此可以用其擬合預測光伏發電序列數據。在本模型使用的BPNN結構中，使用交叉熵損失函數與梯度下降法優化更新網絡的結構參數，完成光功率序列數據的預測，具體函數求解過程如下：

首先，定義交叉熵損失函數定義：

(3)

然后，利用梯度下降法計算各層梯度：

(4)

在反向傳播過程中，對各層參數進行更新：

(5)

最后，利用優化更新好的BPNN神經網絡預測光功率數據值。

2.2 LSTM神經網絡優化求解

LSTM是一種典型的適用于處理序列數據尤其是時間序列數據的模型，可以應對時序數據分類問題中，各種因素在實際發揮作用時的遲滯性與影響累積性問題。光伏設備所采集的環境數據恰是時間序列數據，因此可以通過優化更新LSTM預測光功率數據值。同BPNN神經網絡一樣，循環神經網絡也使用反向傳播學習方法——隨時間反向傳播算法，優化更新整個深度預測網絡。在具體優化更新過程中，主要計算3種門(遺忘門ft、輸入門it、輸出門ot)、節點狀態及激活值，為

ft=σ(Wfχ(t-1)+Ufht+bf)，

(6)

it=σ(Wiχ(t-1)+Uiwt+bi)，

(7)

at=tan h(Waχ(t-1)+Uawt+ba)，

(8)

Ct=C(t-1)⊙ft+it⊙at，

(9)

ot=σ(Woχ(t-1)+Uowt+bo)，

(10)

ht=ot⊙tanh(Ct)，

(11)

式中：權重W*、U*為各門處的權重b*為偏置；⊙表示向量元素乘。最后利用優化好的LSTM預測光功率數值。

2.3 雙深度神經網絡融合預測

尋找融合的比例參數問題本質上是一種目標優化問題，利用遺傳算法的搜索功能，可以找到使兩者融合效果達到最佳的比例參數。用遺傳算法尋找最佳融合系數，每代個體的適應度應為融合后的多模態模型所具有的判別精度。適應度函數為

f(?1,?2)=a(g(X)) ，

(12)

式中：a(·)是正確率統計函數；g(X)為多模態模型給出的對數據集X中每個樣本所屬等級的判斷，定義為

g(X|?1,?2)=?1·B(X)+?2·R(X)，

(13)

式中：B(X)是BPNN對輸入X的判別結果；R(X)是RNN對輸入X的判別結果。

在得到遺傳算法的雙深度網絡融合優化結果后，即可得到文中提出模型的最終預測值。由于遺傳算法是在解空間內進行隨機的搜索，每次將獲得的不同的最優解，所以遺傳算法的缺點是帶有一定的不可重復性。對于文中光功率預測問題，由于融合結果對融合系數即遺傳算法的待優化參數相對不敏感，所以遺傳算法的缺點很難體現出來。加之，構成此算法的基礎單模態模型都是由具有容錯能力的神經網絡來實現的，所以文中算法具有一定的魯棒性。算法詳細操作過程如表1所示。

表1 雙深度網絡融合算法

3 實 驗

針對文中提出的基于雙深度神經網絡的光功率預測方法進行實驗分析，在具體的實驗中選用東北電網的光伏發電歷史數據，包括東北電網全網、遼寧電網、吉林電網、黑龍江電網和蒙東地區電網，進行BPNN和LSTM2個深度網絡的融合預測模型分析，并通過預測正確率指標驗證文中提出融合模型和各單深度網絡模型(BPNN和LSTM)的精度。以下將對實驗數據選取和預處理，以及實驗過程調試和實驗結果分析進行詳細介紹。

3.1 實驗數據

實驗數據來自東北電網電力研究所：包含東北電網全網、遼寧電網、吉林電網、黑龍江電網和蒙東地區電網的光伏發電歷史數據。每個地區的數據包含輻照度、風速、實發電量等實時采用數據。數據的采用間隔為15 min，采樣時間范圍為2019年1月1日～11月3日。此外，由于光伏發電情況受溫度等環境因素影響，在實驗中從網絡上獲取了上述地區在該段時間的歷史天氣情況，使用每天的最高氣溫和最低氣溫作為實驗數據的附加指標。

將上述的輻照度、風速、實發電量采樣數據，每4個為一組取平均值，獲得每小時的時均參數，得到每天24小時的數據。將獲取的每天最高最低氣溫，插值到24個小時。認為最高溫度出現在12時，最低溫度出現在0時。

在實發電量的最高值和最低值間取2個閾值，將實發電量劃分為高、中、低三個等級，此實際應用問題轉化為了三分類問題。借鑒“相似日”思想[18]，實際發電量可以反映當前很多不可測量因素對發電能力及發電設備效率的綜合影響，所以對每條數據來說，其上一時段的實發電量也是有價值的數據，可將其作為本時刻的一維屬性。

綜上，數據集共有307×24=7 368條數據，每條時間序列共有4條屬性和1個標簽，屬性即輻照度、風速、溫度、上一時間段內實發電量。將數據劃分為測試集和訓練集，供實驗使用，具體如表2所示。

表2 數據集描述

3.2 實驗結果

按照文中提出算法的步驟進行實驗，分別將2個基礎神經網絡模型BPNN和LSTN訓練優化至最佳狀態。此時，2種神經網絡的主要參數如表3所示。

表3 BPNN和LSTM在最佳狀態下的參數

當2個深度神經網絡調整至最優時，利用遺傳算法優化選擇2個深度網絡的融合權重，得到最后權重后，可以獲取最優的雙深度神經網絡融合預測結果。在用遺傳算法優化2種深度模型的融合加權系數過程中，為了更好地完成隨機搜索，將用于融合的待優化參數由2個分裂為4個，賦予其不同的參數范圍限制。在實驗中對優化參數在設定范圍內進行隨機初始化，并對遺傳算法進行20代繁衍，得到加權系數的最優解。

表4和圖3展示了BPNN和 LSTM 2種深度網絡分別在各測試集的判別精度和2種深度網絡在遺傳算法作用下的融合判別精度，以及遺傳算法給出的2個深度網絡的歸一化融合系數。

表4 實驗比較結果

圖3 各算法比較結果Fig. 3 Comparison results of different methods

從圖3可以看出，對于東北、吉林、黑龍江和蒙東電網等大多數數據集，2種基本的神經網絡判別能力相近，融合后的模型正確率高于任一種單視圖判別模型。當2種基本模型的判別能力相差較大時，如遼寧電網數據集，BPNN和LSTM的正確率相差達9%，此時融合后的結果也不會比單視圖模型中的最大精度值低。由此雙神經網絡模型可以將正確率穩定在單神經網絡的最佳狀態。

如表4所示，通過遺傳算法求解的模態網絡參數在不同數據集上表現有所不同，致使不同深度網絡在不同數據集結果預測上起到的作用也不盡相同。例如，在東北全網數據集上BPNN網絡在融合預測結果中起到了較大作用，占到0.656的比重，而在遼寧電網數據集上，BPNN網絡的比重只占到0.33。這說明，面對不同電網數據集時，由于數據特點的不同，深度神經網絡的選擇對預測結果影響巨大，如果預測網絡選擇不當將嚴重影響預測結果的精度。例如，如果在遼寧電網數據集上，只是用BPNN網絡進行預測，得到結果的正確率僅為80.05%；而選擇融合網絡對數據進行預測，結果精度可以達到89.01%。即使單神經網絡選擇相對合理時能夠得到相對較高的預測精度，如東北全網、吉林、黑龍江、蒙東電網等單網絡預測結果，但數據中也可能存在部分數據不適用于選擇的網絡，因此選擇雙網融合預測能夠得到更加有效和魯棒的預測結果，例如，使用雙網融合得到的結果全部優于單網預測結果(如表4最后一列所示)。

綜上，文中提出的基于雙深度神經網絡的光功率預測方法能夠有效融合2個深度網絡的優點，使其適應于不同數據集，得到更加有效和穩定的數據預測結果。

4 結 論

文章針對由氣象因素和歷史發電數據預測光伏發電光功率存在的問題，提出了基于BPNN和LSTM的雙深度神經網絡融合模型，該模型結合了兩者在時序數據處理上的數據擬合與特征學習的能力，可以獲得較高的光功率預測精度和穩定的預測結果。在東北電網實際數據集上的實驗結果表明，文中提出的模型能夠充分融合2種深度網絡的特點，其判別能力強于單一深度網絡模型，且具有一定的魯棒性。