基于Adam算法優(yōu)化GRU神經網絡的短期負荷預測模型

高 翱，李國玉，撖奧洋，周生奇，魏 振，張智晟

（1.青島大學電氣工程學院，山東青島 266071；2.青島地鐵集團有限公司，山東青島 266000；3.國網青島供電公司，山東青島 266002）

隨著電網復雜性的增加，電力系統(tǒng)對電力供需 實時平衡提出了更高的要求[1-2]。準確的短期負荷預測可以幫助電網工作人員制定準確合理的生產計劃，維持供需平衡，保證電網安全運行[3-5]。

利用神經網絡模型進行負荷預測屬于智能預測法。文獻[6]采用改進的粒子群算法優(yōu)化循環(huán)神經網絡（RNN），但是RNN 容易出現梯度消失和梯度爆炸現象。文獻[7]提出了一種基于卷積神經網絡和長短期記憶神經網絡的預測方法，LSTM 神經網絡解決了循環(huán)神經網絡中存在的梯度消失和梯度爆炸的問題，但是在運行時，計算量偏大，計算時間偏長。文獻[8]提出了一種CNN-GRU 混合神經網絡，利用CNN 提取特征向量，將其輸入到GRU 神經網絡中進行訓練，在提高預測精度的同時，也加快了模型的訓練速度。

該文采用Adam 算法優(yōu)化GRU 神經網絡模型，不僅解決了RNN 模型中存在的梯度消失和梯度爆炸的問題，而且解決了LSTM 模型中存在的收斂速度較慢的問題。Adam 算法有效解決了隨機梯度下降算法前期收斂速度慢和容易產生精度下降的問題。以某地區(qū)的實際電網負荷數據為例，對該文提出的模型進行仿真驗證，證明了該模型能夠有效提高短期負荷預測的準確性。

1 GRU神經網絡

GRU是在LSTM神經網絡的基礎上提出來的[9-10]。LSTM 神經網絡由輸入門、遺忘門、輸出門組成[11-12]，GRU 將LSTM 的遺忘門和輸入門合并成更新門，同時將記憶單元與隱含層合并成重置門，進而讓整個結構運算變得更加簡化且性能得以增強[13-15]。GRU結構圖如圖1 所示。

圖1 GRU結構圖

圖1 中：xt為t時刻的輸入；ht-1為t-1時刻的輸出；zt為更新門，rt為重置門；為t時刻隱含層的激活狀態(tài)；ht為t時刻的輸出。σ為sigmoid函數，可以將數據限制在0～1 范圍內；tanh 激活函數將數據放縮到-1～1 范圍內；⊕代表進行矩陣加法操作；?代表矩陣之間按元素相乘，要求相乘兩個矩陣是同型的；1-表示運算后的輸出為1-zt。

GRU 可由下式描述：

其中，Wz、Uz、Wr、Ur、W、U、Wy為GRU 神經網絡的權值，W為輸入層到隱含層的權值，U為隱含層自身的權值，Wy為隱含層到輸出層的權值，Wz為輸入到更新門zt的權值，Uz為上一時刻隱含層到更新門zt的權值，Wr為輸入到重置門rt的權值，Ur為上一時刻隱含層到重置門rt的權值，y為神經網絡的輸出，⊙表示矩陣中對應的元素相乘。

2 基于Adam算法優(yōu)化GRU神經網絡

常規(guī)的GRU 神經網絡采用隨機梯度下降算法迭代更新神經網絡的權重，此模型算法前期的收斂速度較慢，而且容易出現精度下降的問題。為了提高預測的精度，加快模型前期的收斂速度，文中采用Adam 優(yōu)化算法并引入學習率衰減策略，對GRU 神經網絡模型進行優(yōu)化。

2.1 Adam優(yōu)化算法

Adam 通過計算梯度的一階和二階矩估計為不同的參數設計獨立的自適應性學習率[16]。

其算法如下：

首先，計算mt和vt的衰減平均值：

一階矩估計：

二階矩估計：

其中，beta1 為一階矩估計的指數衰減率；beta2為二階矩估計的指數衰減率，dx為梯度。該文令參數beta1=0.9，beta2=0.999。

第二步進行偏差修正，通過計算偏差，修正了第一和第二矩估計。

一階矩估計、二階矩估計偏差修正：

參數更新：

其中，xt、xt+1為參數向量，參數eps是一個接近于0 的正數，可以防止公式計算中分母為0；alpha代表學習率。eps=1×10-8，且參數eps的初始值為0。

2.2 Adam算法中的學習率衰減策略

該文在Adam 算法的基礎上引入了學習率衰減策略[17]，可以加快參數的更新速度，使Adam 算法在前期的收斂速度加快，并且可以提升模型的精度。

該文采用的是分數衰減方式，分數衰減的公式為：

其中，epoch代表樣本集內所有的數據經過了一次訓練；decayrate為衰減率。文中令參數decayrate=1，epoch=1。

隨著迭代次數的增加，學習率將以分數衰減方式衰減，通過衰減后的學習率尋求全局最優(yōu)解。采用此方法的目的是希望減少迭代過程中收斂曲線的振蕩，提高模型收斂速度和穩(wěn)定性，得到全局最優(yōu)解。

為了避免出現采用學習率衰減策略時學習率衰減到零的情況，令最小學習率為0.000 5。在算法迭代過程中，當學習率小于0.000 5 時，將不再進行學習率衰減。

3 算例分析

3.1 數據處理

為了驗證該文模型的有效性，將某地區(qū)實際電網負荷數據作為算例進行預測仿真，預測日負荷96個點的數據。

該文采用了15 維的輸入變量。要預測某天t時刻的負荷數據，需要考慮15 維的輸入變量，包括預測日前3 天的t-1 時刻、t時刻、t+1 時刻的負荷數據（共9 維），以及預測日當天的最低氣溫、最高氣溫、平均氣溫、天氣因素、降水概率、日類型（共6 維）。為了使輸入數據的量綱統(tǒng)一，對輸入數據采用歸一化處理，即：

其中，X為歸一化處理之后的輸入數據；x為實際的輸入數據；xmax為實際輸入數據的最大值；xmin為實際輸入數據的最小值。

3.2 仿真結果分析

基于Adam 算法優(yōu)化的GRU 神經網絡模型采用15-10-1 結構。輸入維數是15 維，隱含層神經元個數為10 個，輸出維數為1 維。模型的初始學習率alpha0=0.6，經學習率衰減后的最小學習率為0.000 5。最大迭代次數為8 000 次，在訓練過程中，當預測值與實際值誤差小于0.05%時，終止循環(huán)，將此時的權值賦給GRU 神經網絡。

為了驗證學習率衰減策略能提高預測的精度，將采用學習率衰減策略的Adam 算法優(yōu)化GRU 神經網絡的模型與不采用學習率衰減策略的Adam 算法優(yōu)化GRU神經網絡的模型進行對比分析，如圖2所示。

圖2 有無學習率衰減策略的Adam-GRU 模型負荷預測對比圖

采用平均絕對百分比誤差EMAPE和最大相對誤差Emax來評估模型的預測效果。EMAPE如式（13）所示：

其中，n為預測負荷點的總個數；yact(i)為i時刻負荷的真實值；ypred(i)為i時刻負荷的預測值。

由圖2 可知，不采用學習率衰減策略的Adam-GRU 負荷預測模型的EMAPE為1.78%，Emax為6.46%；采用學習率衰減策略的Adam-GRU 負荷預測模型的EMAPE為1.40%，Emax為5.38%。由此可知，學習率衰減策略有效提升了模型的預測精度。

為了驗證基于Adam 算法優(yōu)化GRU 神經網絡的短期負荷預測模型的有效性，將該模型與BP 神經網絡模型和GRU 神經網絡模型進行對比研究分析。3 種模型的負荷預測對比圖如圖3 所示。

3 種模型的誤差對比如表1 所示。對比表1 數據可知，該文模型與BP 神經網絡模型相比，EMAPE下降了1.19%，Emax下降了6.60%；與常規(guī)GRU 神經網絡模型相比，EMAPE下降了0.79%，Emax下降了2.34%。觀察圖3 可以看出，Adam-GRU 模型全程的預測精度更好，在負荷波峰和波谷處的誤差更小，預測數據更加接近真實值。由此可見該模型的預測精度更高，穩(wěn)定性更好，具有良好的可行性。

圖3 3種模型的負荷預測對比圖

表1 預測結果誤差對比

為了進一步驗證基于Adam 算法優(yōu)化GRU 神經網絡模型的穩(wěn)定性，采用傳統(tǒng)BP 神經網絡模型、常規(guī)GRU 神經網絡模型和基于Adam 算法優(yōu)化GRU 神經網絡模型分別對該地區(qū)電網進行連續(xù)一周的負荷預測。預測結果如表2 所示。

表2 連續(xù)一周預測結果誤差對比

由表2 可以看出，3 種模型的工作日誤差均比休息日誤差要小。Adam-GRU 模型與GRU 網絡模型相比，連續(xù)一周預測結果的EMAPE的平均值下降了0.67%，Emax的平均值下降了0.63%。與BP 網絡模型相比，連續(xù)一周預測結果的EMAPE的平均值下降了1.64%，Emax的平均值下降了2.35%。結果表明，基于Adam 算法優(yōu)化GRU 神經網絡的短期負荷預測模型能夠解決常規(guī)GRU 神經網絡模型中的精度下降問題，有效提高了負荷預測的精度和穩(wěn)定性。

4 結束語

為了進一步提高負荷預測的精度，該文提出了采用Adam 算法優(yōu)化GRU 神經網絡的短期負荷預測模型，并采用了學習率衰減策略，與隨機梯度下降算法相比，Adam 算法可以在訓練過程中調整學習率，為不同參數產生自適應的學習率。而且Adam 算法能保證模型在訓練過程中每一次更新時，上一次更新的梯度與當前更新的梯度不會相差太大，即梯度平滑、穩(wěn)定地過渡，可以適應不穩(wěn)定的目標函數。后續(xù)研究工作考慮將GRU 神經網絡和其他模型結合，進一步提高預測模型的預測精度。