基于自適應深度長短時記憶網絡的電力負荷預測

丁子涵 施亞華

摘要：電力負荷數據有著明顯的時序依賴關系。針對電力負荷的時序依賴特性，提出了一種基于自適應深度長短時記憶網絡模型來進行電力負荷的預測。該模型通過深度長短時記憶網絡有效的提取負荷序列的時序依賴關系。另外，該模型輸入的自適應度量可以解決幅度變化和趨勢確定的問題，避免了網絡的過擬合。新的混合輸出機制可以通過相對誤差調整預測結果，使預測結果更加準確。實驗結果表明，該模型優于BP神經網絡、自回歸模型、灰色系統、極限學習機模型和K-近鄰模型。自適應深度LSTM網絡為電力負荷預測提供了一種新的有效方法。

關鍵詞：電力負荷；預測分析；長短時記憶網絡；深度學習

中圖分類號：TM714 文獻標識碼：A 文章編號：1007-9416（2018）08-0095-04

1 引言

電力系統的可靠運營是國民經濟各領域發展的基礎。而電力負荷預測是目前只能電網規劃與生產調度的重要數據依據，精準的負荷預測已經成為智能電網的重要標志之一[1]。電力負荷預測的核心是預測算法。電力負荷預測是一種典型的時間序列預測，目前負荷預測的主要方法有基于優化的數學擬合方法，灰色系統理論以及機器學習方法[2]。

基于優化的數學擬合方法以自回歸模型為代表[3-5]，主要有自回歸滑動平均法（Auto-Regressive and Moving Average ARMA）以及累積自回歸滑動平均（Auto-regressive Integrated Moving Average ARIMA）方法?；诨貧w的模型算法簡單，但對于數據的平穩性要求很高，該類方法的負荷預測準確率不夠高。另外，灰色系統理論也被廣泛應用與負荷預測，灰色理論對于隨機波動不確定性時間序列的建模有優勢，因此也比較適宜對負荷預測進行建模[6]。但是灰色系統很難實現復雜場景的時間序列建模，從而導致負荷預測精確度不夠。另一類負荷預測的方法是基于機器學習理論的方法。目前基于機器學習的負荷預測主要有神經網絡[7-13]、支持向量機以及小波分析等[14-18]。其中由于神經網絡有強大的非線性擬合能力，因此在負荷預測方面相對其它方法有優勢。但是目前的方法很難提取負荷時間序列的時序依賴關系。

近年來，越來多的研究證實了長短時記憶網絡（Long Short-Term Memory，LSTM）可以很好的提取時間序列的時序依賴關系[19]，這種特性非常適合負荷時間序列的分析。然而，由于長短時記憶網絡缺乏建立模型的系統過程，當輸入數據與訓練數據非常不同時，預測結果并不總是準確的，網絡可能遭受欠擬合或過擬合。為了解決這一問題，本文提出了一種新的機制，采用輸入的自適應度量，輸出數據由混合機制演變而來。模型的輸入的自適應度量能夠適應趨勢和振幅的局部變化。網絡的大部分輸入與歷史數據接近，以避免由于訓練數據和輸入數據之間的大差異而導致預測誤差的急劇增加。在所提出的混合輸出機制中，可以通過相對誤差來調整預測結果，使預測結果更加準確。

2 負荷預測模型

2.1 深度長短時記憶網絡

長短時記憶網絡（LSTM）包含一種重復神經網絡模塊的鏈式的形式。LSTM重復模塊的內部結構如圖1所示，其中每個小圓角矩形代表一層可學習參數的循環神經網絡；小圓圈代表point-wise操作，這里使用了向量加法和點乘兩種矩陣運算；σ代表sigmoid激活函數，tanh代表tanh激活函數，Ct-1代表上一個時刻的狀態，ht-1代表上一個時刻的輸出，Xt代表當前時刻的輸出，Ct代表當前時刻的狀態，ht代表當前時刻的輸出。長短期記憶網絡（LSTM）模型就是由多個這樣的重復模塊組成。

深層LSTM能增強模型的表達能力，可以將每一個時刻上的重復模塊復制多次。每一層的循環體參數是一致的，不同層中的參數不同。圖2展示了深層長短時記憶網絡的時間步展開結構，每一個圓角矩形代表一個LSTM的重復模塊結構。

2.2 自適應深度長短時記憶網絡

眾所周知，人工神經網絡可能會出現欠擬合和過擬合的情況（Moody，1992；Geman等人1992；Bartlett，1997）。一個不夠復雜的網絡可能無法完全探測到信號，這樣會導致欠擬合。當一個模型過于復雜時，通常會發生過擬合情況。對于這兩個問題，當信號數據足夠多并且網絡足夠復雜時，過擬合就顯得更為重要。為了避免過擬合的發生，自適應神經網絡模型被提出來。在該模型中，事后的數據用于修改人工神經網絡在預測處理中的輸入數據，使輸入數據接近于學習數據。因此，這個算法可以降低過擬合的概率。本文在現有人工神經網絡的基礎上，對時間序列預測的自適應神經網絡模型（ADNN）進行了擴展。首先，采用一種策略來初始化輸入數據yt，yt-1，yt-2，…，yt-m+1，其中m為輸入節點數。該策略采用了與自適應的k-近鄰方法相似的自適應指標。其中數據集yt，yt-1，yt-2，…，yt-m+1與這個時間序列中長度相同的其他部分進行了比較。本文的比較度量選擇Minkowski指標：

上述方程給出了Yt和Yr的差值，但趨勢和振幅的差異并沒有呈現出來。在時間序列預測中，趨勢和振幅信息是至關重要的因素。在這項研究中，為了解決這個問題，引入了自適應度量，算法如下：

優化問題（2）能夠被Levenberg-Marquardt算法（Press等人.1992）或者其他d≥1的梯度優化算法。在這項研究中，d被假定為2并給出了廣泛使用的歐幾里得的度量。最小化λr的參數平衡了Yt和Yr之間的振幅差。參數決定了時間序列的走向?？紤]兩個方程：

當相應的線性系統得到解決時，可以通過分析得到最小化問題的解決方案：

基于這一策略，選擇自適應k-近鄰方法。第一個網絡（稱為主網絡）的輸入向量可以定義為：

從式（5）中發現，yt+1的預測結果是由bv v=1，2，…，k來計算的，其中Tv為權重系數，在實際過程中被設定為序列相似度。所提出方法的算法步驟如下。

第一步：使用歷史數據訓練兩個神經網絡。在第一個神經網絡中，是輸入訓練數據，是輸出的訓練數據。在第二個神經網絡中，和是訓練的輸入，相對誤差是訓練的輸出。BP算法用于訓練這兩個神經網絡。

第二步：比較數據集和其他部分的時間序列使用基于方程（3）的歐幾里德空間的自適應度量距離。

第三步：選擇K最近鄰分類算法，并獲得基于方程（3）的。根據公式（4）初始化第網絡的輸入數據 。

第四步：應用第一個神經網絡并獲得結果輸出 。

第五步：應用混合機制方程式（5）并獲得的預測結果。

3 電力負荷預測實例分析

為了驗證本文方法的可靠性，本文采用EUNITE Network的公開數據集進行測試。EUNITE Network數據集為采樣間隔為30分鐘的真實電力負荷數據。圖3給出了該數據集的730天的負荷數據。圖4給出了該數據集中截取的50天的單天負荷數據。電力負荷序列從數據特征上有明顯的周期性。數據的周期性特性對于序列預測是一個重要的輔助特性。這種時序依賴關系為負荷預測提供了一種可靠信息。

為了有效利用負荷數據的時序依賴關系，本文采用了一種自適應深度長短時記憶網絡實現負荷的預測。該方法通過LSTM實現時序關系的提取，利用自適應輸入減少網絡的過擬合。

為了將本文模型與其他方法作比較，本文采用歸一化均方誤差（NMSE）和絕對平均誤差（MAPE）作為誤差準則。已有的文獻中電力負荷預測的正確率通常采用MAPE 作為評價指標，本文中為了更加有效的反映算法的可信性采用了NMSE和MAPE兩種指標。為了更好的證明本文方法的有效性，將本文的方法與BP神經網絡、自回歸模型（ARMA）、極限學習機模型（ELM）以及灰色系統模型（GM（1，1））進行對比。為了反映本文方法對時序關系建模的優勢，本文從兩種尺度實現負荷預測：以天為單位和以半小時為單位。以按天負荷預測時，BP網絡以及ELM的輸入也為預測數據的一個星期的數據，ARMA的擬合也是基于前一個星期數據進行的。

圖5給出了幾種方法按天預測時的對比圖。從圖5可以看出，本文的方法比其它幾種方法的預測精度都高，能很好的實現對負荷的預測。幾種方法的具體數值指標如表1所示。從表1可以看出，ARMA的效果最差，這是由于回歸的方法是一種線性擬合方式，不能有效的反映數據的非線性關系。雖然BP網絡和ELM網絡能夠實現非線性擬合，但是不能很好的利用時序信息，因此效果不如本文的方法。

圖6給出按照半小時負荷預測的效果對比圖，本文中截取了其中1個周期進行顯示。從仿真可以看出，本文方法的預測精度要優于其它方法。表2給出了幾種方法的具體預測結果對比。

通過上述對比試驗可以看出，不論是按天預測還是按半小時進行預測，本文方法比其它幾種都具有優勢，能夠有效的實現負荷預測。

4 結語

電力負荷的時間序列有明顯的時序依賴關系，但是目前的相關方法很少考慮這種關系。為了有效利用數據的時序依賴關系，并減少神經網絡在學習的過擬合現象，本文提出了一種自適應深度長短時記憶網絡來實現負荷預測。該方法通過長短時記憶網絡實現時序關系的提取，利用自適應輸入操作進一步有效利用歷史數據，并減少過擬合的現象，有效提高了模型在負荷預測時的準確率。通過仿真實驗表明本文提出的方法比傳統的BP網絡、極限學習機、自回歸模型以及傳統的灰色系統模型準確度更高。自適應深度LSTM網絡為電力負荷預測提供了一種新的有效方法。

參考文獻

[1]肖白，周潮，穆鋼.空間電力負荷預測方法綜述與展望[J].中國電機工程學報，2013，33（25），78-92.

[2]廖旎煥，胡智宏，馬瑩瑩，等.電力系統短期負荷預測方法綜述[J].電力系統保護與控制，2011，39（1）：29-29.

[3]崔和瑞，彭旭.基于ARIMAX模型的夏季短期電力負荷預測[J].電力系統保護與控制，2015，43（4）：108-114.

[4]王惠中，劉軻，周佳，等.電力系統短期負荷預測建模仿真研究[J].計算機仿真，2016，33（2）：175-179.

[5]吉興全，傅榮榮，文福拴，等.飽和負荷預測中的多級聚類分析和改進Logistic模型[J].電力系統及其自動化學報，2017，29（8）：138-144.

[6]焦潤海，蘇辰雋，林碧英，等.基于氣象信息因素修正的灰色短期負荷預測模型[J].電網技術，2013， 37（3）：720-725.

[7]王保義，趙碩，張少敏.基于云計算和極限學習機的分布式電力負荷預測算法[J].電網技術，2014，38（2）：526-531.

[8]劉念，張清鑫，劉海濤.基于核函數極限學習機的微電網短期負荷預測方法[J].電工技術學報，2015，30（8）：218-224.

[9]回立川，于淼，梁芷睿.應用近鄰傳播算法改進RBF的短期負荷預測[J].電力系統及其自動化學報，2015，27（1）：69-73.

[10]寧曉光，朱永利.基于增量優化極限學習機的電力負荷預測[J].計算機仿真，2016，33（2）：163-166.

[11]蘇學能，劉天琪，曹鴻謙，等.基于Hadoop架構的多重分布式BP神經網絡的短期負荷預測方法[J].中國電機工程學報，2017，37（17）：4966-4973.

[12]陳亞，李萍.基于神經網絡的短期電力負荷預測仿真研究[J].電氣技術，2017，18（1）：26-29.

[13]梁智，孫國強，李虎成，等.基于VMD與PSO優化深度信念網絡的短期負荷預測[J].電網技術，2018，42（2）.

[14]王新，孟玲玲.基于EEMD-LSSVM的超短期負荷預測[J].電力系統保護與控制，2015（1）：61-66.

[15]王奔，冷北雪，張喜海，等.支持向量機在短期負荷預測中的應用概況[J].電力系統及其自動化學報，2011，23（4）：115-121.

[16]肖白，聶鵬，穆鋼，等.基于多級聚類分析和支持向量機的空間負荷預測方法[J].電力系統自動化，2015，39（12）：56-61.

[17]李霄，王昕，鄭益慧，等.基于改進最小二乘支持向量機和預測誤差校正的短期風電負荷預測[J].電力系統保護與控制，2015，（11）：63-69.

[18]王保義，王冬陽，張少敏.基于Spark和IPPSO_LSSVM的短期分布式電力負荷預測算法[J].電力自動化設備，2016，36（1）：117-122.

[19]Tai K S， Socher R， Manning C D. Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks[J]. Computer Science， 2015，5（1）：36.