智能負荷預測算法研究綜述

鄭承新 彭苗 凌治坤 李鎮(zhèn)東

（1、國家電投集團湖北分公司，湖北 武漢 430063 2、國家電投集團科學技術研究院有限公司，北京 102209）

相較于煤、石油等化石能源來說，電能的存儲是困難的，所以它的生產、傳輸和消費幾乎是同時進行。生產過量會造成能源浪費以及生產機器損耗，同時生產不足將會影響人們的生活并對經濟發(fā)展造成損失，所以精確的負荷預測能夠指導生產計劃，在電力系統(tǒng)運行、能源投資規(guī)劃扮演重要角色。由于負荷預測具有非線性和時序性，傳統(tǒng)的負荷預測方法只能利用時序性信息，預測精度難以滿足要求，但隨著人工智能技術的不斷發(fā)展，它即能夠抓住負荷預測的時序性特征，又能很好的處理負荷數(shù)據的非線性特性，所以預測精度更高。同時負荷預測的使用環(huán)境不斷拓展，不但為電力系統(tǒng)的安全、經濟運行提供保障，也是市場環(huán)境下編排調度計劃、供電計劃、交易計劃的基礎，所以對負荷預測的研究至關重要。由于傳統(tǒng)的負荷預測方法（如：回歸分析法、多元線性回歸、指數(shù)平滑法、卡爾曼濾波法、灰色預測法、ARIMA、ARMA、傅里葉展開法模型、聚類分析法、小波變換和層次聚類方法相結合和線性外推法等），主要關注負荷數(shù)據的時序性問題，但是很難捕捉數(shù)據本身存在的非線性特征，所以目前負荷預測中難以應用。于是本文重點對目前的智能負荷預測方法進行研究。

1 智能預測方法

隨著人工智能的發(fā)展，智能化負荷預測方法不斷地產生并應用于實際的生產活動中。以下將介紹常見的智能化負荷預測模型，分為單一模型智能化負荷預測法和多模型融合的智能負荷預測方法。

1.1 單一模型智能預測方法

1.1.1 BP 神經網絡

1.1.1.1 BP 神經網絡優(yōu)化

由于傳統(tǒng)的BP 神經網絡具有訓練速度慢且容易陷入誤差局部極小點的缺點，改進的BP 神經網絡算法[1]分別為自適應BP 算法、彈性梯度下降法和L-M （Levenberg-Marquardt）法。自適應BP 算法是根據誤差大小自動調節(jié)學習速率，克服了傳統(tǒng)的固定大小學習速率導致的訓練速度慢的缺點；彈性梯度下降法將傳統(tǒng)的BP 神經網絡算法中根據梯度大小調整權值和閾值修改為固定的調整值，然后根據誤差偏導數(shù)的符號調整該調整值的大小；L-M 法結合了標準BP 神經網絡算法訓練初期下降速度快的優(yōu)點和擬牛頓法法在靠近誤差極小點時能避免震蕩情況的發(fā)生的特點對負荷數(shù)據進行預測。經計算得改進的BP 神經網絡L-M 法的計算結果優(yōu)于其他的兩種改進的結果。還有一種改進的BP 神經網絡算法是對隱層節(jié)點數(shù)進行調整[2]。對于傳統(tǒng)的BP 神經網絡隱層節(jié)點數(shù)個數(shù)的確定一般都是根據經驗設定，優(yōu)化BP 神經網絡的預測精度的方法是對BP 神經網絡采用試探法對隱層節(jié)點數(shù)進行改變。即不斷地選擇不同的神經網絡隱層節(jié)點數(shù)后計算模型的預測精度，選擇計算精度最高的隱層節(jié)點數(shù)為最后BP 神經網絡的隱層節(jié)點數(shù)。

1.1.1.2 多重BP 神經網絡

多重BP 神經網絡[3]解決了海量數(shù)據下BP 神經網絡運行時間長且容易出現(xiàn)過擬合的問題，借助于大數(shù)據平臺運用聚類分析的方法將不同的負荷進行分類，然后更新整體BP 神經網絡的權值和閾值，對未來的負荷進行預測。預測結果比傳統(tǒng)的運用BP 神經網絡的精度高，但是需要借助于Hadoop大數(shù)據平臺對數(shù)據進行處理，數(shù)據處理階段較為繁瑣。

1.1.2 LSTM 神經網絡

目前負荷預測較常用的方法是LSTM 神經網絡[4]。LSTM神經網絡克服了傳統(tǒng)的RNN 神經網絡梯度消失和梯度爆炸的缺陷，在反向傳播過程中，LSTM 可以通過門控制信息，使得LSTM 能夠記住長期信息。在典型的LSTM 神經網絡算法中，輸入變量包括負荷、溫度、濕度、氣壓、風向和風速。結果顯示負荷預測精度很高，具有重要的經濟和社會效益,預測結果優(yōu)于BP 神經網絡和RNN 神經網絡。

1.2 多模型融合的智能預測方法

1.2.1 CNN-LSTM 混合神經網絡模型

CNN-LSTM 混合神經網絡模型[5]將影響負荷的因素和歷史負荷的特征圖作為輸入，運用CNN，即卷積神經網絡，提取數(shù)據特征，形成新的時間序列數(shù)據。將新的時間序列數(shù)據運用LSTM，即長短期記憶神經網絡，進行訓練，然后對負荷進行預測。由于LSTM 訓練速度較慢，所以在進行特征輸入時運用CNN 神經網絡進行特征提取，預測結果表明CNNLSTM 網絡的預測精度高于單一模型LSTM 神經網絡, 隨機森林和隨機森林的預測精度高于ARIMA 模型。

1.2.2 基于Stacking 的集成學習

基于stacking 模型的集成學習方法[6]對負荷進行預測，首先運用K 折交叉驗證法將模型劃分為不同的訓練集和測試集。然后選取LSTM 神經網絡、XGboost、隨機森林、梯度提升法（GBDT）、支持向量機（SVM）、K 近鄰(KNN)作為第一層的基學習器，將各個模型的預測結果作為新的數(shù)據集，再對新數(shù)據集劃分測試集和驗證集，以XGboost 方法作為第二層的元學習器，對新的數(shù)據集進行學習，最后得到負荷預測的結果。結果顯示，基于stacking 模型的集成學習的預測精度高于單一的基于支持向量機的預測精度。但是運用該方法需要對每個基學習器訓練若干次，增加了算法計算的時間復雜度。具體的stacking 模型的集成學習方式如圖1 所示。

圖1 基于Stacking 的集成學習方法

1.2.3 CNN-GRU- Attention 模型

基于CNN-GRU- Attention[7]對負荷進行預測，首先是利用CNN 對數(shù)據進行特征提取，然后用提取的數(shù)據運用門控循環(huán)神經網絡(GRU) 作訓練，將訓練得到的輸出結果通過Attention 機制加權得到輸出層的輸入，然后根據attention 機制得到的結果計算最終預測的負荷值。

1.2.4 CNN-LSTM-XGBoost 模型

為提高輸入特征信息較少情況下的預測精度，采用CNN-LSTM-XGBoost[8]的多模型融合方法。首先通過CNN 對特征數(shù)據進行提取，減少LSTM 的輸入特征，同時保證精度。解決了LSTM 網絡訓練慢的特點。然后運用XGBoost 模型并行預測，降低了數(shù)據的處理時間且比使用單一模型支持向量回歸(SVR),LSTM 神經網絡和梯度提升算法(GBDT)模型的精度更高。

1.2.5 GA-SVM 模型

基于GA-SVM[9]的負荷預測模型，首先以歷史負荷、日期類型和氣象因素為輸入變量，對訓練數(shù)據運用遺傳算法尋優(yōu)，計算支持向量機的懲罰因子和徑向基函數(shù)，然后運用支持向量機對未來一天的負荷進行預測, 其預測精度優(yōu)于BP神經網絡算法。

GA 屬于遺傳算法，該算法主要是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型。它首先將問題求解表示為常用的二進制編碼串，然后從中選取適應環(huán)境的樣本個體，過濾掉不好的樣本個體，然后將篩選得到的樣本個體復制再生，通過交叉、變異等遺傳算子產生新一代染色群體。依據之前設定的各種收斂條件，從新老樣本中選出適應環(huán)境的個體，不斷更新，每一代都在進步，最后收斂到適應環(huán)境個體上，計算求得最優(yōu)解。

1.2.6 Attention-ResNet-LSTM 模型

基于Attention-ResNet-LSTM 網絡的中期負荷預測模型[10]，將Attention 機制引入LSTM 模型，賦予不同的權重于特征向量，加入ResNet 網絡后計算出負荷的預測值。

首先運用Attention 機制對關鍵信息進行提取，同樣是減少冗余變量的輸入，加快訓練速度且保證預測的精度。Attention 機制就是模擬人的大腦在某一時刻對大量信息中的某一部分重要信息分配更多的注意力，對其他關注很少的信息將其忽略，從而挑選出重要信息，減少LSTM 的輸入特征。采用Attention 機制對模型輸入的特征向量賦予不同的權重，從而找出更關鍵的因素，有助于模型進行精準的負荷預測。在LSTM 人工神經網絡中加入Attention 機制，找出影響負荷預測的重要因素，提高預測精度，Attention 單元如圖2所示。

在圖2 中，x1，x2，…，xk為輸入的原始特征變量；h1，h2，…，hk為對應于輸入的特征變量的隱藏層狀態(tài)值；?ki為歷史輸入的特征變量信息的隱藏層對當前輸入信息的注意力權重值；C 為整個隱藏層狀態(tài)的一個加權值；hk'為最后輸出節(jié)點的隱藏層狀態(tài)值。

圖2 Attention 單元關聯(lián)圖

ResNet 用于減少信息損失且提高神經網絡運算的收斂速度，其結構如圖3 所示。

圖3 resNet 網絡結構

在圖3 中，x 為通過運用Attention 機制計算得到的結果作為輸入值，F(xiàn)(x)為擬合的殘差映射值，H(x)為通過resNet 網絡得到的輸出值，三個變量之間得關系為H(x)=F(x)+x。然后再計算，如果F(x)=0，那么H(x)=x，為一層疊加網絡層后的最優(yōu)解映射值；若F(x)≠0 但是F(x)特別接近于0，那么，x 將逼近真實的映射值H (x)，能夠解決網絡層堆疊之后的性能退化，特征減退等問題。

且運用愛爾蘭某地區(qū)的真實負荷為數(shù)據集進行仿真實驗，負荷預測結果如圖4 所示。

由圖4 可知：相比于RNN、LSTM、Attention-LSTM 模型，Attention-ResNet-LSTM 模型的預測精度更高。

圖4 四種模型負荷預測結果與真實負荷對比圖

2 結論與展望

本文對預測精度高的智能負荷預測算法進行總結和介紹，同時相較于單一模型而言，運用多模型融合方法得到的負荷預測的精度更高。通過分析可知，傳統(tǒng)的負荷預測方法有很多用到時間序列分析的方法，如：指數(shù)平滑法、ARIMA、ARMA 等，可知負荷具有時序性。在智能預測算法中，循環(huán)神經網絡（RNN）、長短期記憶神經網絡（LSTM）和門控循環(huán)網絡（GRU）都是處理時序相關的算法，它們不但能處理時序關系，又能擬合非線性關系，所以在負荷預測中得到推廣。在多模型融合算法中，比如在運用長短期記憶神經網絡（LSTM）之前運用卷積神經網絡（CNN）的目的是能夠提取原始數(shù)據的特征，進而提高模型的預測精度。

隨著人工智能的發(fā)展，智能負荷預測方法相較于傳統(tǒng)的預測方法精度得到很大的提高，也很好的應用于實際生產活動中。但是它們都是基于歷史的數(shù)據庫進行學習并實現(xiàn)預測，目前無法實現(xiàn)在線預測。在今后的研究過程中，如何基于歷史的數(shù)據庫進行離線學習，實現(xiàn)對新采集的數(shù)據，在原始樣本學習的基礎上增量學習更多新的特征，即類似于人的學習過程一樣，在學習到新的知識的時候對歷史學過的知識有記憶的功能，而不需要每次對所有的歷史知識進行學習。此舉一方面可節(jié)省歷史數(shù)據的存儲成本；另一方面可以增加模型的訓練速度。