注意力機制下的VMD-IDBiGRU 負荷預測模型

邵必林，嚴義川，曾卉玢

（西安建筑科技大學管理學院，西安 710055）

由于電能儲存技術的缺乏，如何保證電力系統的供需平衡成為電力系統安全運行的關鍵問題。電力負荷預測能夠為電力系統的調度和安全評估提供依據，對保證電力系統的供需平衡具有重要的意義。目前，負荷預測的方法可分為傳統預測方法和基于人工智能預測方法[1]。其中，傳統預測方法包括時間序列法[2]、回歸分析法[3]和趨勢外推法[4]等。傳統預測方法一般以統計學為基礎，隨著社會的不斷發展，影響負荷的因素也越來越多，傳統預測方法已經不能滿足預測要求。因此，人工智能的方法被引入到負荷預測中，例如，隨機森林[5]、支持向量機[6]、人工神經網絡[7]等。基于人工智能的負荷預測方法能夠更好的擬合非線性數據，相較于傳統的負荷預測方法精度有較大的提升。長短期記憶LSTM（long short-term memory）模型是一種循環的人工神經網絡，相較于普通的神經網絡，LSTM網絡由于負荷數據具有時序性的特點，能夠大大提高負荷預測的精度[8]。門控循環單元GRU（gated recurrent unit）是在LSTM 神經網絡基礎上改進而來，相比LSTM 神經網絡，GRU 在簡化自身結構的同時也保證了預測精度，能夠很大程度上提高模型的訓練效率。目前，負荷預測[9]、狀態檢測[10]、流量分類[11]等GRU 已經在諸多領域中得到應用，但利用LSTM、GRU這類循環神經網絡對電力負荷進行預測時，一般只能考慮單向的數據信息，忽略了對于電力負荷具有的雙向信息流特征的考慮。

近年來，基于人工智能的負荷預測方法發展迅速，出現了許多組合負荷預測方法。其中，許多學者將分解算法和預測算法相結合，有效地降低了電力負荷數據的非平穩性。文獻[12]利用自適應噪聲的完全集成經驗模態分解CEEMDEN（complete ensemble empirical modal decomposition）算法對用戶側凈負荷進行分解，將分解得到的分量輸入到深度信念網絡DBN（deep belief network）中進行預測，結果表明與直接預測相比，分解后再預測提高了預測精度；文獻[13]將經驗模態分解EMD（empirical modal decomposition）與粒子群優化PSO（particle swarm optimization）及自適應網絡模糊推理系統NFIS（network fuzzy inference system）相結合提出一種混合負荷預測方法，利用模型對北京某微電網負荷進行預測，結果表明，所提方法具有較好的預測精度。但EMD 會出現模態混疊的現象，CEEMDEN通過加入白噪聲解決模態混疊問題時又使原始信號的波動趨勢受到了污染。變分模態分解VMD（variational modal decomposition）采取的是非遞歸的分解方法，能夠根據不同的情況自主選擇分解數量，其通過構造并求解約束變分問題實現原始信號的分解，具有較好的信號分解精度和抗干擾等特點。文獻[14] 利用變分模態分解和粒子群算法優化的支持向量回歸模型進行電力負荷預測，實驗結果表明，對比其他分解方法VMD 分解方法能夠取得更高的預測精度。雖然利用分解方法能夠提高負荷預測模型的精度，但由于分解得到的每一個分量都需要進行單獨建模預測，不僅使模型的計算量變大、訓練時間變長，還會使每個分量之間的共性信息提取的不充分。

針對以上負荷預測存在的問題，本文提出一種基于注意力機制和變模態分解下的改進深度雙向門控循環單元VMD-IDBiGRU（Improved Deep Bidirectional Gated Recurrent Unit with Variable Mode Decomposition）的短期負荷預測模型。首先，利用VMD 將原始電力負荷數據分解為若干個平穩的分量；然后，利用權值共享機制通過共享深度雙向門控循環單元DBiGRU（deep bi-directional gated recurrent unit）神經網絡的部分結構建立改進的深度雙向門控循環單元IDBiGRU（improved deep bi-directional gated recurrent unit）神經網絡，旨在提取數據雙向信息和分量間共性信息的同時簡化模型參數、提高訓練速度，并引入注意力機制突出關鍵因素的影響。最后，通過實例驗證，將本文所提模型與傳統模型進行對比，以訓練時間、均方根誤差、平均絕對百分比誤差等作為評價指標進行分析，驗證了所提模型的有效性。

1 變分模態分解

VMD是Dragomiretskiy 等[15]在經驗模態分解的基礎上提出的。與EMD 和CEEMDEN 不同，VMD是一種自適應非遞歸的信號分解方法，分解出的模態分量是一個有帶寬限制的調幅-調頻函數，具有良好的噪聲魯捧性。VMD具體的分解流程如下。

步驟1通過Hibert 變換計算每個模態分量uk(t)的分析信號以獲取單邊頻譜dk(t)，即

式中：δ(t)為狄拉克函數；uk(t)為分解得到的第k個模態分量；j為虛數單位；t為取樣時間。

將每個模態解析到的信號和其相對應的中心頻率指數e-jωkt進行混頻處理，將各模態的頻譜移位到對應的基頻帶，即

式中：ωk為分解后第k個分量相應的中心頻率；uk為移位后的第k個分解分量。

步驟2通過解調信號的高斯平滑度和梯度平方準則來計算梯度平方L范數，由此估計各個模態信號的帶寬，其變分約束模型為

式中：*為卷積運算；f(t)為未分解的主信號；K為分解后的模態分量個數；{uk}={u1,u2,…,uK}和{ωk}={ω1,ω2,…,ωK}分別為K階模態的集合及其中心頻率。

步驟3引入拉格朗日乘法算子及二次懲罰因子，將其變為無約束的變分模型，即

式中：λ為拉格朗日算子；α為二次懲罰因子；?t為偏導符號；λ(t)為拉格朗日算子的變動函數。

步驟4為了得到式（4）的最優值，VMD 應用乘法算子交替方法來循環更新各個分解信號{uk}及其對應的中心頻率{ωk}，其循環更新的公式可表示為

步驟5當循環迭代滿足設定的條件時循環終止，其循環終止條件為

式中，G為設定的最大迭代次數。

2 IDBIGRU 神經網絡

2.1 BiGRU 神經網絡

LSTM 是在RNN 的基礎上優化而來[16]，其通過在記憶單元中加入獨有的門結構，利用輸入門、輸出門和遺忘門進行信息的篩選和儲存，成功地解決了RNN 中出現的梯度爆炸問題，因此，很適合處理電力負荷等大量的時序數據。近年來，為解決LSTM 中出現的參數過多、訓練速度慢等問題，LSTM 中的輸入門和遺忘門被合并為更新門，衍生出了收斂速度更快的GRU。GRU 的單位神經元通過更新門和重置門來處理上一時刻輸出的信息，更新門決定上一時刻信息對當前時刻輸出的影響程度；重置門決定前一時刻的信息被忽略的程度。GRU單位神經元結構如圖1所示。

圖1 GRU 神經元結構Fig.1 Structure of GRU neuron

GRU隱藏層單元ht狀態更新公式可表示為

式中：xt為當前時刻的輸入；rt、zt分別為重置門和更新門；gt為候選值；σ、tanh 分別為Sigmoid函數和雙面正切函數；Wr、Ur、Wz、Uz和W、U分別為重置門、更新門和隱藏層網絡狀態的權重矩陣；ht-1、ht分別為上一時刻和當前時刻隱藏層神經元的輸出；?表示復合關系。

將負荷序列輸入到GRU 后，信息總會從前到后進行單向傳播，然而負荷序列具有明顯的正、反向規律性，因此歷史負荷和未來負荷對模型的預測精度均有影響[17]。BiGRU 作為一種雙向結構，信息會在結構中雙向傳播，能有效地考慮到未來負荷和過去負荷對當前負荷的影響[18]。因此，BiGRU 由一正一反2個GRU結構構成，將數據分別以正向和反向的序列順序輸入到2個獨立的隱含層中，然后將2 個隱含層連接到同一個輸出層中，其網絡結構如圖2所示。

圖2 BiGRU 網絡結構Fig.2 Structure of BiGRU network

由圖2 可知，當前時刻的隱藏狀態ht-1由當前時刻輸入xt及上一時刻沿著正向和反向傳播到隱藏層輸出的共同決定，其數學表達式為

式中：εt、βt分別為t時刻前向傳播和后向傳播GRU的隱藏層輸出權重；bt為偏置量。的計算式與計算ht的式（8）～（11）相同。

2.2 IDBiGRU 神經網絡

由于影響電力負荷的因素較多，單層的BiGRU網絡在處理電力負荷數據時精確度欠佳，而深度網絡結構能夠全方位的提取負荷特征[19]。基于此，本文采用深度網絡結構DBiGRU 模型來對電力負荷進行預測，其隱藏層由3個串聯的BiGRU網絡單元組成，其結構示意如圖3所示。

圖3 DBiGRU 網絡結構Fig.3 Structure of DBiGRU network

圖3 中，DBiGRU 網絡和普通神經網絡大致相同，由輸入層、隱藏層和全連接層組成。其中，隱藏層由3 個BiGRU 網絡組成。負荷數據通過輸入層進入后，每一層BiGRU網絡都將同時從正向和反向對信息進行處理，處理完成后將全部輸出序列通過加法器進行融合后傳輸到下一層BiGRU 網絡中。最后一層BiGRU 處理完數據后只返回輸出序列最后一個時間步的結果，最后通過全連接層輸出最后的預測結果。

將維度為k的第i個序列輸入到第一層DBiGRU網絡中，其輸出序列為

第n層的輸出序列為

式中：hn為第n層的輸出；為第n層的輸入；f為BiGRU的激活函數

最終的預測結果為

式中：Wd、Wq分別為全連接層和輸出層的權重；h為全連接層的激活函數；bd為全連接層的偏置；yi為最終預測結果；qd為全連接層的輸入。

雖然DBiGRU 能夠有效提高負荷模型的預測精度。但是如果按照傳統思路將分解算法分解得到的每一個分量都進行單獨建模預測，訓練時每個模型完全獨立訓練，不僅會導致訓練參數過多，訓練速度過慢，還會導致各分量之間的共性信息提取不充分。因此，本文引入權值共享WS（weight sharing）機制[20]建立IDBiGRU模型。權值共享機制作為近年來的熱點，在圖像識別、語言交互等方面均得到廣泛應用。IDBiGRU 模型本質在于通過共享DBiGRU的部分參數，在達到減少訓練參數、提高訓練速度的同時充分提取各分量之間的共性信息。IDBiGRU結構示意如圖4所示。

圖4 IDBiGRU 結構示意Fig.4 Schematic of IDBiGRU structure

圖4中，IDBiGRU保留了DBiGRU原有的輸入、輸出層，將隱含層的一部分參數進行了共享。在進行訓練時模型需要不斷更新權重和偏置兩部分參數，而權重的數量遠遠大于偏置的數量。為了能夠最大程度減少參數數量，在共享層中，n個BiGRU模型將使用同一個權重矩陣，即各個分量計算GRU隱藏層狀態及BiGRU隱藏層狀態ht時使用的權重是相同的。該層的權重數量將會減少到原來的1/n，在訓練時n個BiGRU 模型的權重也會進行同步更新。具體更新方法：首先，通過分解算法將原始電力負荷分解為若干個分量后，分別輸入到第1層獨立層中，獨立層主要負責提取各分量的獨立信息；然后，進入到第2 層共享層，在共享層中，各個模型之間的權重是共享的，該層負責提取各分量的共性信息；最后，進入到第3層獨立層中，該層會進一步有效挖掘數據之間的潛在特征，使模型在訓練時具有更好的學習能力。電力負荷數據通過3層隱藏層之后進入到全連接層，對數據進行疊加后輸出最終的預測結果。在進行訓練時，IDBiGRU與普通的深度神經網絡類似，采用誤差反向傳播來計算模型的誤差，并采用最小誤差法調整權重。

3 基于注意力機制的VMD-IDBiGRU 負荷預測

3.1 注意力機制

注意力機制類似于人腦對事物的觀察規律，人腦在處理接收到的圖像時會將注意力集中在某一需要重點關注的區域[21]。注意力機制通過概率分配的方式忽略無效信息放大所需信息，其本質在于加強關鍵信息對于模型輸出結果的影響。將注意力機制引入神經網絡中，可以通過對神經網絡中的隱藏層狀態賦予不同的權重來提高模型的訓練效率。具體結構如圖5所示。

圖5 注意力機制單元結構Fig.5 Structure of attention unit

圖5 中，x1～xn為預測模型的輸入；h1～hn為每一個輸入對應的隱藏層的輸出；o1～on為每個隱藏層輸出的注意力概率分布值；y為經過注意力機制處理后的模型輸出值。

3.2 模型總體結構

基于注意力機制和VMD-IDBiGRU負荷預測模型層級結構如圖6 所示。由圖6 可知，該模型主要由輸入層、分解層、BiGRU 層、注意力機制層、輸出層5個部分組成。

圖6 本文所提負荷預測模型Fig.6 Load prediction model proposed in this paper

（1）輸入層。將電力負荷數據通過劃分訓練集和歸一化等預處理后，與電力負荷外部特征（溫度、濕度、節假日類型、日期類型等）合并作為模型的輸入。設經過預處理后的數據序列長度為N，則輸入的數據可表示為X=[X1,X2,···,XN]T。

（2）分解層。利用VMD 將輸入的原始負荷數據分解為若干個平穩的分量。本文通過計算分解后各模態分量的中心頻率來確定最佳的分解數量K。分解后的第i個分量可表示為，將分解好的數據通過滑動窗口輸入到BiGRU層中，假設滑動窗口大小為P，則在t時刻的輸入序列可表示為Xt=[Xt-P+1,Xt-P+2,···,Xt]T。

（3）BiGRU 層。該層由3 層BiGRU 結構組成。第1 層和第3 層BiGRU 負責提取各分量的獨立信息；第2 層BiGRU 負責提取分量間的共性信息，具體結構及計算方法見第3.1 節。BiGRU 層在t時刻的輸出ht可表示為

（4）注意力機制層。注意力機制層的輸入為經過BiGRU 層計算輸出的隱藏層狀態ht，該層會根據注意力機制自適應地計算不同輸入特征的權重，突出重要信息。注意力機制層在t時刻的輸出st可表示為

式中：vt為t時刻BiGRU層輸出的隱藏層狀態ht的概率分布值；w、u為權重系數；b為偏置系數；m為預測模型輸入向量的維度

（5）輸出層。輸出層本質上是一層全連接層，通過激活函數計算出預測結果。本文選擇Sigmoid函數作為全連接層的激活函數，t時刻的模型輸出yt可表示為

式中，wo、bo分別為權重矩陣和偏置矩陣。

4 實例驗證

為了驗證本文所提方法的有效性和科學性，采用中國某地區2014 年—2015 年數據作為數據集。該數據集包括間隔15 min的歷史負荷數據、天氣數據和節假日數據。選用特征包括日平均最高溫度、日平均最低溫度、日降雨量、節假日類型、日期類型和季節類型。

實驗使用的仿真軟件為MatlabR2018b，實驗平臺為NVIDIA Tesla P100 GPU，8TB/16GB 內存的服務器。

4.1 數據的預處理及誤差指標

在數據的實際采集過程中，采集設備故障或者人為失誤操作等情況的發生會導致采集到一部分異常或者空缺數據。本文采用灰色系統理論中的均值生成來填補空缺或異常數據。為保證模型的訓練速度，采用min-max 歸一化法將原始電力數據進行歸一化，即

式中：xn為歸一化后的數據；x為原始電力負荷數據；、xmax和xmin分別為原始電力數據的平均值、最大值和最小值。

為了能夠客觀評價預測模型的精度，本文選取均方根誤差RMSE、平均絕對百分比誤差MAPE 作為評價模型精度和速度的指標，其計算公式為

式中：n為預測樣本數量；yi、分別為電力負荷的實際值和預測值。RMSE、MAPE 越小，表示預測結果越好，相應模型越優。

4.2 預測結果及其對比分析

本文采用滑動窗口的方式來進行訓練和預測，窗口長度為1 d，即以前96 個時間點的數據為“特征”，下一個時間點為“標簽”。將“特征”數據帶入模型中獲取下一時刻負荷預測值，同時，窗口向前滑動一個時間點，將預測值加入這一窗口，生成相同序列長度的新窗口；當窗口中的數據全為預測值時，用真實數據覆蓋重置窗口，重新啟動該過程。使用數據集中2014 年8 月—2015 年8 月數據作為訓練集，對2015 年9 月—2015 年12 月每月連續一周的日負荷進行預測。將GRU 模型、LSTM 模型、基于變模態分解的門控循環單元VMD-GRU（Gated recurrent unit based on variable mode decomposition）模型、基于變模態分解的長短期記憶VMD-LSTM（Long and short-term memory model based on variable mode decomposition）模型、基于變模態分解的雙向門控循環單元VMD-BiGRU（Bidirectional Gated Recurrent Unit Based on Variable Mode Decomposition）模型、基于變模態分解的深度雙向門控循環單元VMD-DBiGRU（Deep Bidirectional Gated Recurrent Unit Based on Variable Mode Decomposition），以及未引入注意力機制的VMD-IDBiGRU模型和本文模型進行對比分析，所有模型均輸入相同的歷史負荷和特征，對同一測試集進行預測。

采用VMD 分解原始電力負荷，分解之前需要預先確定分解個數。由于VMD分解算法相當于自適應維納濾波器組，當分解個數較少時會導致原始信號中的信息被過濾掉一部分；當分解個數較多時，會導致分量之間的中心頻率較近從而產生模態混疊現象。本文通過計算不同分解數下的中心頻率來確定最佳分解數量K，不同分解數下各分量中心頻率如表1所示。

由表1 可以看出，當分解數量為6 時，IMF4、IMF5的中心頻率分別為0.205 4和0.276 1，兩者中心頻率相似；當分解數量為7時，IMF4、IMF5、IMF6和IMF7的波形相似，中心頻率分別為0.348 1、0.473 6、0.395 1 和0.427 9。因此可以判定，當K＞5 時發生過分解，得出K=5。將分解后的數據輸入到各模型中進行預測，各模型預測結果評價如表2所示。

表1 分量中心頻率Tab.1 Center frequencies of components

表2 不同模型預測指標對比Tab.2 Comparison of prediction indexes among different models

由評價指標的平均值可以得出，本文所提模型的預測精度是8種方法中最高的，預測精度達到了96.67%；RMSE相較于其它方法分別降低了140.91、147.7、97.26、92.38、52.17、24.39 和18.12 MW；MAPE 分別降低了2.81%、2.87%、1.81%、1.74%、1.37%、0.69%、和0.42%。在RMSE和MAPE指標上均有明顯的下降，表明本文模型相較于其他模型的預測性能和精度都有所提高。

由表2 數值具體分析可以得出：①分解加預測的VMD-GRU 和VMD-LSTM 組合模型相較于GRU和LSTM這類單一的負荷預測模型，RMSE和MAPE指標均有不同程度的下降，說明通過分解算法將數據分解后再進行預測能夠有效提高模型的預測精度；②采用雙向結構的VMD-BiGRU 相比單向結構模型VMD-GRU 和VMD-LSTM，RMSE 和MAPE 指標有較大程度的下降，說明了雙向結構的有效性；③VMD-DBiGRU 相 較 于VMD-BiGRU，RMSE 和MAPE 指標也有所下降，說明通過深度結構對數據特征進行深度挖掘能夠有效提高模型的精度；④采取部分結構共享的VMD-IDBiGRU 的RMSE 指標和MAPE指標相較于VMD-DBiGRU也有所下降，說明通過權值共享提取分量間的共性信息也能夠提高模型精度；⑤本文模型的MAPE 和RMSE 指標低于VMD-DBiGRU 模型，說明通過attention 機制突出關鍵特征對預測結果的影響使預測精度有了一定的提升。為進一步可視化不同模型的預測效果，選取2015 年10 月15 日的預測值和真實值進行對比，如圖7所示。

由圖7 可以看出，本文所提預測模型相較于其他模型能夠更好的貼近真實值，具有更好的預測精度。

圖7 不同模型預測結果對比Fig.7 Comparison of prediction result among different models

負荷預測除了預測精度以外，模型訓練時間也是考察模型有效性的重要指標，不同分解加組合模型的訓練時間如表3所示。

由表3 數值分析可知，在采用單向結構的模型中，由于GRU將LSTM中的輸入門和遺忘門簡化為更新門，所以VMD-GRU 的訓練速度要快于VMD-LSTM；在采用雙向結構的模型中，VMD-BiGRU 預測模型的訓練速度最快，而VMD-DBiGRU 的訓練速度最慢。這主要是由于DBiGRU 采用的是多層BiGRU結構，在進一步追求預測精度的同時也會付出較多的時間成本；采用權值共享機制的VMD-IDBiGRU 模型相較于VMD-DBiGRU 訓練速度有較大提升，說明通過共享權值提取共性信息除了能夠提高預測精度以外，對預測效率方面也有所優化。

表3 不同模型訓練時間對比Tab.3 Comparison of training time among different models

5 結論

本文構建了一種基于注意力機制的VMD-IDBiGRU 負荷預測模型。首先，利用VMD 將原始電力負荷數據進行分解；然后，采用基于attention和權值共享機制的IDBiGRU模型進行預測，以中國某地區電力實際數據作為實例進行驗證分析；最后，將本文所提模型與GRU、LSTM、VMD-GRU、VMDLSTM、VMD-BiGRU、VMD-DBiGRU 模型，以及未引入attention 機制的VMD-IDBiGRU 模型相比較，得出以下結論。

（1）采用VMD 分解算法將原始數據分解后再預測能夠有效地降低原始數據的波動性，提高模型的預測精度。

（2）利用權值共享機制IDBiGRU不僅能夠有效提取分量間共性信息從而提高預測精度，還能提高模型的訓練速度，從而克服傳統分解加預測模型的缺點。

（3）attention機制的引入，能夠突出重要特征的作用，提高模型的訓練效率。