基于LSTM的短期電力負荷預測算法研究

劉海峰 王艷如

摘? 要：基于組合預測方法的研究思路，在LSTM神經網絡的基礎上，引入強化學習思想，采用簡化的Inception網絡結構，構造成隱藏狀態矩陣，實現LSTM網絡的改進與優化，并據此構建短期電力負荷預測模型。實驗結果表明，與DBN、RBF等網絡模型相比，基于強化學習的改進LSTM網絡模型可更好地捕捉依賴信息，具有更高的短期負荷預測準確性。

關鍵詞：短期電力負荷;深度學習網絡;LSTM網絡;強化學習

中圖分類號：TP18? ? ? ?文獻標識碼：A文章編號：2096-4706（2021）23-0040-04

Research on Short-term Power Load Forecasting Algorithm Based on LSTM

LIU Haifeng1， WANG Yanru2

（1.Big Data Center of State Grid Corporation of China， Beijing 100053， China; 2.Beijing Fibrlink Communications Co.， Ltd.， State Grid Information & Telecommunication Group Co.， Ltd.， Beijing 100052， China）

Abstract： Based on the research idea of combined forecasting method， on the basis of LSTM neural network， the reinforcement learning idea is introduced， the simplified Inception network structure is adopted to construct a hidden state matrix， so as to improve and optimize the LSTM network， and a short-term power load forecasting model is constructed based on it. The experimental results show that compared with DBN， RBF and other network models， the improved LSTM network model based on reinforcement learning can better capture the dependency information and has higher accuracy of short-term load forecasting.

Keywords： short-term power load; deep learning network; LSTM network; reinforcement learning

0? 引? 言

電力工業是國民經濟的命脈，對我國經濟建設、社會穩定、國家安全和生活質量都具有非常重要的作用。電力負荷是指在一段時刻內，用電設備的電功率總和，是電力協調調度的關鍵。若能準確預測電力負荷，將對輔助電力系統協調調度有著非常重要的意義。

電力負荷預測利用歷史用電數據，預測未來一段時間的負荷情況。由于電力負荷預測受諸多因素影響，為了提高預測精度，就需深入研究與創新電力負荷預測方法。短期負荷預測的研究，也從回歸分析[1]、時間序列[2]、指數平滑[3]等單一經典預測方法，向灰色預測[4]、人工神經網絡[5]、LSTM（Long Short-Term Memory，長短期記憶神經網絡）[6]、模糊預測、小波分析等組合現代預測方法發展。在本文的研究中，也主要基于組合預測方法的研究思路，通過強化學習對LSTM算法的改進優化，對改進后LSTM網絡在短期電力負荷預測中的應用進行研究。

1? LSTM網絡概述

1.1? LSTM技術基礎

前饋神經網絡的輸出只依賴當前輸入，但是在文本、視頻、語音等時序數據中，時序數據長度并不固定，前饋神經網絡的輸入輸出維數不能任意更改，因此難以適應這類型時序數據的處理。短期電力負荷預測的輸入與輸出均為時間序列，其本質仍是基于先前元素的序列預測問題，為此需要采用與前饋神經網絡不同的方法，進行短期電力負荷預測。

循環神經網絡具有記憶功能，可提升網絡性能。與前饋神經網絡相比，循環神經網絡具備可同時接受自身信息與其他神經元信息的神經元，更貼合生物神經網絡結構，在文本等序列數據分析中有廣泛應用。循環神經網絡的參數學習隨時間反向傳播，錯誤信息前傳遞學習，建立長時間間隔的狀態間依賴，支持序列數據的分析處理。但隨著網絡層數增多與時間加長，循環神經網絡容易因梯度消失或爆炸問題，導致只能學習短距離依賴，無法解決長距離依賴問題。為了解決循環神經網絡的長程依賴問題，在循環神經網絡上添加門控機制，實現調度信息積累速度控制，這類方法被稱之為基于門控的循環神經網絡，例如LSTM長短期記憶網絡。

LSTM是一種基于RNN的改進模型，通過引入門和單元的概念，解決長距離依賴問題，具有比RNN更強的適應性。LSTM網絡的單元結構如圖1所示。

每個神經單元內部結構如圖2所示。

每個LSTM神經單元都包含遺忘門、輸入門和輸出門三個門控結構，以控制數據有信息的換地。其中，遺忘門負責丟棄和保留上一個時刻的有效信息在CtCt內，輸入門將當前時刻有效信息存放在Ct內，輸出門決定神經單元輸出中Ct的信息。

1.2? LSTM網絡分析

與傳統神經網絡算法相比，LSTM網絡具有更強的自適應學習能力，對復雜樣本數據有更好的擬合效果。LSTM網絡通過門控結構，有效避免了時間增加所導致的梯度消失的問題，且由于采用了三個輸入值與兩個輸入值的當前時刻記憶單元，因此模型也具有更好的泛化能力。

但是，在LSTM網絡在實際應用中也存在一些缺陷。例如，LSTM網絡采用梯度下降法進行權值更新，導致模型的收斂速度較慢，容易出現梯度發散問題，使更容易陷入局部極小值，且沒有科學的方法，確定模型的隱含層節點數量、學習率與迭代等參數。

2? 預測模型的設計

強化學習通過樣本與環境的不斷交互，提供延遲的反饋獎勵。強化學習的算法基本可分為時序差分學習、動態規劃等基于值函數的方法和策略梯度函數兩類方法。其中，基于值函數的方法，因為值函數在更新過程中的改變較大，其收斂性受到影響;基于策略函數的方法，在更新時具有更強的穩定性，但采樣難度大，容易收斂到局部最優解，基于強化學習的LSTM模型結構設計如圖3所示。

第一層為輸入層，將歷史負荷數據X=[x1，x2，… ，xt]T輸入網絡模型進行訓練;

第二層為LSTM層，結合強化學習，構建隱藏狀態矩陣H，動態學習網絡輸入負荷數據中的長期依賴;

第三層為Inception網絡層，通過一系列并行的一維卷積分支，處理與分析輸入負荷數據，并將處理與分析結果合并為張量;

第四層為全連接輸出層，由于預測結果輸出個數匹配的神經元構成，輸出結果為電力負荷預測結果輸出矩陣L。

在本文所研究的基于強化學習的LSTM網絡模型中，借鑒動態跳躍LSTM[57]在語言處理方面對序列數據處理的優勢，通過強化學習選擇最優依賴，以學習電力負荷的周期性特征，改進的LSTM模型結構如圖4所示。

在如圖4所示的改進型LSTM模型中，在t-1時刻的隱藏狀態發生變化，細胞候選狀態ct-k與ct-1間、隱藏狀態ht-k與ht-1間根據預測效果選擇最優依賴。

采用改進LSTM模型作為Inception節點輸入模塊的改進短期電力負荷預測模型如圖5所示。

設計與改進的短期電力負荷預測模型，其核心為策略梯度代理，在時間步長t中，代理與環境st交互將決定LSTM單元的動作，基于當前選擇的模型性能為更新代理參數的獎勵。代理的環境、動作與獎勵三個關鍵點的介紹為：

（1）環境。由當前輸入xt與前狀態ht-1形成的環境表示如式（1）所示：

St=xt⊕ht-1? ? ? （1）

（2）動作。根據環境St確定對后續LSTM單元影響最佳的狀態，構建一個保留最近K狀態，最大尺寸為K的狀態集合SK，采用如式（2）、式（3）所示的多項式分布πK（h|St）對狀態集合SK中的最優狀態進行采樣。

（2）

（3）

其中，softmax（）用戶將向量變換為概率分布P，MLP（）為多層感知器將環境St變換為K維向量，pi為概率分布P第i個元素。

（3）獎勵。獎勵函數選擇一系列最佳跳過動作，進行預測模型學習與訓練，選擇最佳跳過達到提升短期電力負荷預測模型性能的目的，算法中的獎勵函數設計如式（4）所示。

（4）

基于改進LSTM模型的短期電力負荷預測模型采用簡化的Inception網絡結構，采用基于時間步長向量，構造隱藏狀態矩陣，生成一組優化的特征。因此，雖然當前狀態為不正確隱藏狀態向量，在通過1-D初始模塊，和級聯濾波器隱藏狀態向量后，輸出未來短期的預測結果。

3? 預測模型的實驗

3.1? 實驗數據

此次實驗使用的是新英格蘭2004年3月至2014年12月間，以小時為單位的電網總負荷，總計103 000項數據。

實驗程序底層采用Tensorflow框架，基于Keras深度鏈接庫，實驗結果采用平均絕對百分比誤差（Mean Absolute Percentage Error， MAPE）作為實驗效果的評價。

（5）

其中，ti為負荷值，為預測值，m為樣本數，MAPE值越小，表明預測值相對偏離程度越低，模型的預測精度越高。

3.2? 實驗實施與結果分析

本次實驗用數據總計約10萬項，按照8：2的比例，隨機將實驗數據劃分為模型訓練集和模型測試集。其中，訓練集中數據用于短期負荷預測模型的學習與訓練，測試集中數據中數據用于短期負荷預測模型的測試與驗證。經過多次試驗，確定模型結構的參數設置如表1所示。

為了增強實驗的可對比性，采用RBF徑向基神經網絡、DBN深度信念網絡進行對比實驗，實驗結果如圖7所示。

如圖7所示，與DBN、RBF等深度學習模型相比，本文所研究的改進LSTM網絡模型，通過引入強度學習，更好的捕捉長期依賴信息，具有更高的預測性能。

4? 結? 論

采用深度學習神經網絡，深度分析與挖掘電力負荷歷史數據，構建短期電力負荷預測模型，預測未來一段時間的電力負荷。本文研究基于LSTM網絡的短期電力負荷預測方法，通過引入強化學習思想，與LSTM網絡的時序特征結合，有效提高了LSMT網絡模型的預測性能。隨著深度學習技術的不斷發展與完善，傳統與預測模式結合的方法有待更進一步的研究與完善，通過各種模型與算法優勢的組合，提高負荷預測精度，更好地推動開展電力系統高相關領域工作。

參考文獻：

[1] 廖旎煥，胡智宏，馬瑩瑩等.電力系統短期負荷預測方法綜述 [J].電力系統保護與控制，2011，39（1）：147-152.

[2] 夏博，楊超，李沖.電力系統短期負荷預測方法研究綜述 [J].電力大數據，2018，21（7）：22-28.

[3] 張文哲，陳剛.電力市場下負荷預測綜述 [J].渝西學院學報（自然科學版），2003（3）：71-74.

[4] 黎華盛，王宇，黎軍.基于灰色理論的GM（1，1）模型對配電網進行中長期負荷預測 [J].通訊世界，2017（18）：218-219.

[5] 張靜，石鑫.基于改進MOPSO-BP算法的短期電力負荷預測研究 [J].電力學報，2019，34（6）：556-563.

[6] 張旭東，錢仲文，沈思琪，等.一種基于LSTM與LGBM的電力負荷預測算法 [J].系統工程，2019，37（1）：152-158.

作者簡介：劉海峰（1983.04—），男，漢族，陜西榆林人，工程師，碩士研究生，研究方向：電力大數據開發及研究;王艷如（1987.09—），男，漢族，山東成武人，工程師，碩士研究生，研究方向：用電負荷預測及應用。