基于注意力機制和EMD-GRU模型的電力負荷預測

黃元行 劉曉波 范津瑋 熊焱 葉琦

摘 要：為提高非平穩性電力負荷的預測精度以及充分挖掘歷史負荷數據的時序特征，本文提出了基于注意力（Attention）機制和經驗模態分解（EMD）以及門控循環神經網絡（GRU）組合的負荷預測方法。首先使用EMD對原始負荷數據進行EMD分解，繼而得到有限個具有本征模態函數（IMF）的分量;然后考慮到各分量間的相關性，使用多層GRU網絡對IMF分量進行多輸入多輸出預測，同時引入注意力機制，深入挖掘歷史負荷數據的時序相關性特征;最后對多層神經網絡輸出的有限個分量預測結果進行重構得到最終的負荷預測值。算例分析采用貴州電網某地實際負荷數據，經過與不同模型進行預測誤差分析和對比，本文所提方法能夠有效提高預測精度。

關鍵詞： 電力負荷預測; 經驗模態分解; 門控循環神經網絡; 注意力機制

文章編號： 2095-2163（2021）03-0033-06 中圖分類號： TP18 文獻標志碼： A

【Abstract】In order to improve the prediction accuracy of non-stationary electric load and fully exploit the time-series characteristics of historical load data， this paper proposes a method of load prediction based on a combination of Attention mechanism and empirical modal decomposition （EMD） and gated recurrent unit （GRU）. Firstly， EMD is used to decompose the original load data， and then some components with intrinsic modal functions （IMFs） are obtained; subsequently， considering the correlation among these components， a multi-layer GRU network is used to predict the IMF components with multiple inputs and multiple outputs， and the Attention mechanism is also introduced to deeply explore the time-series correlation characteristics of the historical load data; finally， the results of load prediction are obtained by reconstructing the finite components from the multilayer neural network. The actual load data of a place in Guizhou power grid are used to the simulative analysis， and the prediction errors of different models are compared， which shows the proposed method could effectively improve the prediction accuracy.

【Key words】 power load forecasting; empirical modal decomposition; gated recurrent unit; Attention mechanism

0 引 言

隨著智能電網的發展，配電側用電負荷呈現多元化，電網負荷波動性和尖峰性較為明顯，其對電網的調度和運行規劃提出了更高的要求。因此，準確而實時的負荷預測有助于電網的經濟和可靠運行。同時隨著調度系統對負荷的采集頻率和數據準確性也不斷提升，為負荷特性分析和負荷預測提供了高質量、海量化的數據基礎[1]。

過去由于預測算法的限制以及計算機并行處理的能力和電力負荷大數據的不足，負荷預測通常采用經典的預測方法如回歸分析法[2]、時間序列法[3]和傳統的負荷求導法、指數平滑法[4]、卡爾曼濾波法[5]以及灰色預測法[6]等。近年來，隨著計算機和智能算法的發展，以小波分析法、支持向量機、專家系統以及人工神經網絡為代表的智能預測方法使得負荷預測的精度越來越高。文獻[7]通過循環神經網絡（Recurrent Neural Network， RNN）將上一時刻的神經元狀態值輸入當前神經元，實現了時間序列數據的挖掘，但是循環神經網絡無法對長時序數據進行特征提取。文獻[8]通過長短期記憶神經網絡（Long Short-Term Memory， LSTM）網絡有效解決了RNN梯度消失問題且可以有效地處理和挖掘長時間序列的有效信息，但是單一的LSTM網絡在數據特征提取上效果不明顯。文獻[9]先通過卷積神經網絡（Convolutional Neural Networks， CNN）提取特征向量，將特征向量以時序序列方式構造并作為門控循環神經網絡（Gated Recurrent Unit， GRU）輸入數據從而提高預測精度，但是CNN對單變量的負荷數據特征提取不明顯。考慮到負荷數據的非平穩性特點，文獻[10]通過經驗模態分解（Empirical Mode Decomposition， EMD）對原始數據進行分解得到有限個本征模態（Intrinsic Mode Function， IMF）分量，然后再對每個分量進行LSTM模型預測，但是單獨的分量重構未考慮到分量間的相關性。文獻[11]使用了注意力機制與LSTM結合，利用注意力機制對歷史數據進行側重點的學習，增強網絡的關注點。以上文獻算法較于單一，在處理非平穩性負荷數據時有所不足。

為了減小直接對非平穩性時序數據直接預測所帶來的誤差，本文首先使用EMD對數據進行分解，得到有限個平穩性IMF分量;為了減少超參數設置，提高訓練效率，同時考慮到由原始負荷數據進行EMD分解得到的每個IMF分量之間存在一定相關性，使用GRU網絡對所有IMF分量進行多輸入多輸出預測;為了提高GRU網絡對歷史數據特征的學習能力，在GRU網絡中引入注意力機制重點關注歷史數據的時序相關性特征;最后對輸出的IMF分量預測結果進行重構，得到最終的負荷預測結果。本文選取了GRU模型、EMD-GRU模型以及本文提出的含注意力機制的EMD-GRU模型進行實驗誤差分析，經過算例分析表明，本文所提含注意力機制的EMD-GRU模型能夠有效提高負荷預測精度。

1 原理分析

1.1 EMD基本原理

經驗模態分解（EMD）是一種新的自適應處理非平穩信號分析方法，適用于處理非線性、非平穩性的時間序列數據。短期的電力負荷數據常呈現非線性、非平穩性等特點，受影響因素較多，波動性較大，將其看作是標準的非平穩性時間序列數據，使用EMD對其進行分解可以得到不同時間尺度的平穩性分量。對時間序列數據x（t）進行經驗模態分解包含有以下幾個步驟：

（1）找出原始數據x（t）的所有極大值點，并使用三次樣條插值函數擬合出原始數據的上包絡線US（t），并使用同樣的方法找出原始數據的下包絡線VS（t），并運算求出均值包絡線m1。具體公式為：

（2） 使用原始信號減去均值包絡線得到中間信號c1（t）。具體公式為：

（3）判斷該中間信號是否滿足IMF的2個條件，即：

① 在整個數據段內，極值點的個數和過零點的個數必須相等或相差最多不能超過一個。

② 在任意時刻，由局部極大值點形成的上包絡線和由局部極小值點形成的下包絡線的平均值為零。

如果滿足這兩個條件，該信號就是一個IMF分量;如果不滿足，則以該信號為基礎，重新做（1）～（3）的分析。

（4）當中間信號滿足2個條件時，令c1（t）=IMF1，用原始信號減IMF1，作為新的原始信號。具體公式為：

（5）重復通過（1）～（4）的分析，可以得到IMF2，以此類推，完成EMD分解。最終得到n個IMF分量和一個殘余分量rn。具體公式為：

1.2 GRU基本原理

為了解決傳統循環神經網絡在訓練長序列數據時產生的梯度消失以及梯度爆炸問題，長短期記憶神經網絡（LSTM）通過在循環神經網絡的神經元中加入輸入門、輸出門和遺忘門來控制存儲單元中的信息，從而提高網絡的記憶能力[12]。但是在面對大量數據時，LSTM需要設置的參數較多，訓練時間長，收斂速度慢。

門控循環神經網絡（GRU）是LSTM的一個變體[13]。相較于具有3個門的LSTM，GRU只有2個門：更新門和重置門。使用更新門代替了LSTM中的輸入門和遺忘門。這樣的設計結構使得GRU參數設置減少，收斂速度更快，有效提高了訓練效率[14]。GRU網絡結構如圖1所示。對圖1中的結構闡析，擬做研究分述如下。

（1）更新門：決定了前一時刻有多少狀態歷史信息被保留到當前狀態中，同時決定了保留多少當前時刻的候選狀態信息。此時需用到的公式為：

（2）重置門：決定了當前時刻的狀態對上一時刻網絡狀態的依賴程度，此時需用到的公式為：

在此基礎上，研究推導可得候選隱藏狀態的數學公式為：

其中，tanh為激活函數;Wc、bc為隱藏狀態單元的權重矩陣、偏置。

最終，可得當前時刻的網絡狀態輸出為：

1.3 Attention機制

Attention機制的本質是模仿人類視覺注意力的資源分配機制，特定時刻人的大腦只會將注意力集中在某一重點關注的區域[15]，從而減少對其他區域的關注。這樣的關注方式可以減少資源損耗，從重點需要的區域獲取更有用的特征信息，提高任務效率。從網絡結構上來說，注意力機制通過對數據輸入進行關注，學習出一個對數據特征的權重分布，再把學習到的權重施加到原來的數據特征上，為后續對數據的處理能夠提供一個突出的特征影響，使重點特征得到更大的關注。Attention機制的模型結構如圖2所示。

2 含注意力機制的EMD-GRU預測模型

2.1 輸入數據處理

為了便于模型的訓練，本文先對輸入數據進行處理，由于所使用的數據無缺失、異常等問題，現只需對輸入數據進行MinMaxScaler歸一化處理，公式為：

2.2 含注意力機制的GRU網絡結構設計

本文設計使用了2層GRU網絡，并在GRU層后加入注意力層，而后通過一個全連接層輸出全部分量的預測結果。含注意力機制的多層GRU網絡結構如圖3所示。

基于keras的GRU模型參數設置為：2層GRU網絡，每層網絡神經元數目為128個，激活函數使用修正線性單元（ReLU），并采用100次epochs迭代訓練，損失函數采用均方誤差MSE，梯度優化函數使用Adam可以更快收斂，并提高準確率。

2.3 含注意力機制的EMD-GRU模型預測流程

本文采用含注意力機制的EMD-GRU模型，EMD部分對數據進行分解，把非平穩性數據分解成多個平穩性分量;GRU對負荷數據進行多輸入多輸出短期預測，同時使用Attention機制進行歷史數據學習，選擇負荷數據的歷史時序狀態特征，增加網絡對歷史時序特征的關注。對此預測流程，可做分述如下。

（1）先對原始數據進行歸一化，使數據分布在[0，1]區間，以便后續模型的訓練。

（2） 對歸一化的數據進行EMD分解，分解成有限個不同頻率的IMF分量和一個趨勢分量。

（3） 本文在大量的歷史負荷數據的基礎上，同時考慮到每個分量之間的相關性，對所有分量建立了2層GRU神經網絡模型。為了深入挖掘歷史負荷曲線特征，在GRU模型中加入Attention機制進行歷史數據的時序狀態特征學習，獲取歷史時序狀態權重，為預測提供關鍵信息。

（4） 根據得到的每個IMF分量預測數據進行重構獲得最終的負荷預測結果。

含注意力機制的EMD-GRU預測模型流程圖如圖4所示。

2.4 評價指標

本文選取均方根誤差（RMSE）、平均絕對百分誤差（MAPE）來評價模型的預測準確性。其公式分別為：

3 算例分析

選取貴州某地電網2019年10月27日至2020年10月25日電力負荷數據作為數據集，采樣時間間隔為10 min，總計364天，有52 560個數據。同時劃分2019年10月27日至2020年10月18日的12個月數據為訓練集，用于模型的訓練，調整模型的權重。以2020年10月19 ～ 25日一個星期數據作為測試集，用于評估模型的預測精度。基于此則在同一數據集下，分別采用GRU、EMD-GRU和含注意力機制的EMD-GRU三個模型進行負荷預測，并對3個模型進行評價。

3.1 數據展示

算例分析使用的2019年10月27日到2020年10月25日實際負荷數據如圖5所示。從圖5中可以看出，該地區2020年負荷基本穩定在均值800 MW。在一年的負荷趨勢中，11月和12月具有最大值，尖峰性較為明顯;在2月中達到最小值，這是由于2月處于春節假期，并且2020年由于疫情影響，企業還未復工復產，因此總體負荷偏小;到3月以后疫情控制有利，企業逐漸開始有序復工復產，總體負荷逐漸增加;4～10月期間總體負荷較為穩定。

3.2 EMD分解結果

負荷數據經過EMD分解以后得到13個IMF分量和一個趨勢RES分量，各分量如圖6所示。從圖6中可以看出每個IMF分量頻率都是從高頻到低頻分布，同時高頻分量的周期性比較明顯，而低頻分量具有一定的趨勢性。在RES分量中，分量變化趨勢從高到低，這與原始負荷數據整體負荷從高到低變化趨勢相符。

3.3 含注意力機制的EMD-GRU模型預測結果

為了更好地體現出模型預測的效果，把作為比較的GRU和不含注意力機制的EMD-GRU模型預測結果也進行疊加得到不同模型的預測曲線圖，其中含有注意力機制的EMD-GRU模型縮寫為AT-EMD-GRU。3個模型6月1日一天的預測結果見圖7。由圖7中可以看出，含有注意力機制的EMD-GRU模型預測的結果與實際值更接近，更能擬合真實值，具有更好的預測精度。

不同模型預測七天的指標對比結果見表1。從指標對比可以看出，含有注意力機制的EMD-GRU模型（AT-EMD-GRU）預測誤差比其他模型更小。在7日均誤差中，含注意力機制的EMD-GRU模型在RMSE、MAPE誤差指標中相對于GRU模型分別降低了2.64 MW和0.22%;相對于EMD-GRU模型分別降低了1.37 MW和0.05%。同時從每日的誤差指標中也可以看出，使用EMD-GRU模型預測的誤差要比直接使用GRU預測的誤差有很大降低，加上注意力機制的EMD-GRU模型預測誤差又比EMD-GRU模型預測誤差有了小幅的降低，這表明注意力機制在重要時間特征上發揮了作用。

圖8為含注意力機制的EMD-GRU模型預測一個星期的誤差。從圖8中可以看出，一周內最大RMSE為18.89 MW，最小RMSE為13.6 MW，最大MAPE為2.07%，最小MAPE為1.3%。最大誤差出現在星期天，最小誤差出現在星期六。另外，周一至周五預測誤差相差不大，而周末預測誤差相對較大。這與實際負荷變化中工作日負荷變化規律性較強而休息日負荷波動較大的情況相吻合。

4 結束語

為了有效處理非平穩性負荷數據以及進一步提高負荷預測的精度，本文提出了含注意力機制的EMD-GRU負荷預測方法。模型首先對原始數據進行了EMD分解，然后再對平穩性的IMF分量進行預測，降低了直接對非平穩性負荷數據進行預測帶來的誤差;構建多層GRU網絡并加入了Attention機制，深入挖掘當前數據與歷史數據在關鍵時間上的相關性特征，進一步提高預測精度;使用貴州某地實際負荷數據進行實例分析并與3個不同模型進行指標對比，驗證了本文所提方法的有效性。

參考文獻

[1]陸繼翔，張琪培，楊志宏，等. 基于CNN-LSTM混合神經網絡模型的短期負荷預測方法[J]. 電力系統自動化，2019，43（8）：131-137.

[2] 李春濤，李嘯驄，袁輝，等. 基于改進灰色模型的短期負荷預測[J]. 電氣開關，2017，55（2）：11-13，96.

[3] 楊正瓴，張廣濤，林孔元. 時間序列法短期負荷預測準確度上限估計[J]. 電力系統及其自動化學報，2004（2）：36-39.

[4] CHARLTON N， SINGLETON C. A refined parametric model for short term load forecasting[J]. International Journal of Forecasting，2014，30（2）：364-368.

[5] QIU Xueheng，REN Ye，SUGANTHAN P N，et al. Empirical mode decomposition based ensemble deep learning for load demand time series forecasting[J]. Applied Soft Computing，2017，54：246-255.

[6] 趙峰，孫波，張承慧. 基于多變量相空間重構和卡爾曼濾波的冷熱電聯供系統負荷預測方法[J]. 中國電機工程學報，2016，36（2）：399-406.

[7] ZHENG J，XU J A，ZHANG C A，et al. Electric load forecasting in smart grids using long-short-term-memory based recurrent neural network [C]// 2017 51st Annual Conference on Information Sciences and Systems （CISS）. Baltimore， MD，USA：IEEE，2017：1-6.

[8] 陳卓，孫龍祥. 基于深度學習LSTM網絡的短期電力負荷預測方法[J]. 電子技術，2018，47（1）：39-41.

[9] 張立峰，劉旭. 基于CNN-GRU神經網絡的短期負荷預測[J]. 電力科學與工程，2020，36（11）：53-57.

[10]任成國，肖兒良，簡獻忠，等. EMD-LSTM算法在短期電力負荷預測中的應用[J]. ?電力科學與工程，2019，35（8）：12-16.

[11]彭文，王金睿，尹山青. 電力市場中基于Attention-LSTM的短期負荷預測模型[J]. ?電網技術，2019，43（5）：1745-1751.

[12]李鵬，何帥，韓鵬飛，等. 基于長短期記憶的實時電價條件下智能電網短期負荷預測[J]. 電網技術，2018，42（12）：4045-4052.

[13]鄧帶雨，李堅，張真源，等. 基于EEMD-GRU-MLR的短期電力負荷預測[J]. 電網技術，2020，44（2）：593-602.

[14]朱偉，孫運全，錢堯，等. 基于CEEMD-GRU模型的短期電力負荷預測方法[J/OL]. 電測與儀表：1-8[2020-07-28]. http：//kns.cnki.net/kcms/detail/23.1202.TH.20200727.1613.026.html.

[15]趙兵，王增平，紀維佳，等. 基于注意力機制的CNN-GRU短期電力負荷預測方法[J]. 電網技術，2019，43（12）：4370-4376.