基于IPSO-LSTM神經網絡的短期負荷預測

宋思遠，朱 武，王光東，鄧安全

(1.上海電力大學電子與信息工程學院，上海 200090；2.國網上海電力公司崇明供電公司，上海 202150)

1 引言

電力系統負荷預測是電力系統規劃和穩定、安全、經濟運行的基礎[1]。根據預測期限可以將負荷預測分為長期預測，中期預測，短期預測和超短期預測。不同的預測類型對電網有著不同的應用目的。其中短期負荷預測(Short term load forecasting，STLF)一般指當前時刻往后1小時到1周的負荷預測[2]，適用于火電分配及水火協調等方面。可靠的預測結果有利于提高發電設備的利用率，降低電力網絡的運營成本[3]。而隨著電網市場化改革的推進，有效的短期負荷預測對實時電價的影響更加明顯。但是隨著電網規模的不斷擴大，負荷多樣性的增加，高效和精確的短期負荷預測變得更加困難。這就要求超短期的負荷預測方法同時具有快速和準確的特點。

目前，用于負荷預測的方法主要可以分為兩大類，分別是傳統的統計學方法和新興的機器學習方法。統計學方法包括了多元線性回歸模型[4]、卡爾曼濾波器模型[5-6]、以及時間序列模型[7]等，它建立的模型具有比較明確的數學形式，數據分布的假定和模型的合理性決定了預測結果好壞。而由于電力負荷具有復雜性和非線性的特點，很難做出較為符合實際的分布假定和建立明確的數學模型。因此多數的統計學方法在進行短期負荷預測時效果并不理想。機器學習方法包括了包括模糊推理系統(fuzzy inference system，FIS)[8]、人工神經網絡(artificial neural network，ANN)[9]和支持向量機(support vector machine，SVM)[10-11]等。這些方法能夠較好的處理非線性問題，因此預測的準確率有所提高，但也存在一些其它問題，如缺乏自學能力，無法處理大規模數據，破壞數據的時序特征，手動特征選擇等。

在ANN基礎上發展出來的深度神經網路(deep neural network，DNN)具有自學習，非線性函數模擬，大數據處理等特點，但仍需人工選擇時序特征。

長短期記憶(long short term memory，LSTM)網絡作為一種特殊的循環神經網絡(recurrent neural network，RNN)能夠更好的學習到數據中的時序特征，解決了時序特征提取問題，具有更高的預測精度，但是存在訓練時間長的問題[12]。而短期負荷預測具有數據量大，時效性特點，運用LSTM網絡進行預測時存在一些問題。首先是隱含層數和神經元數的確定，其次是學習率和迭代次數的確定。這些參數直接影響了LSTM網絡的訓練時間和預測精度。

本文提出了一種改進粒子群算法(IPSO)與長短期記憶網絡(LSTM)相結合的預測模型(IPSO-LSTM)。通過IPSO方法來優化LSTM網絡的隱含層神經元數，學習率，從而得到合適的網絡參數提高LSTM網絡的預測精度，以歷史負荷作為網絡輸入數據，迭代輸入，充分挖掘數據的內部信息。并通過對比由經驗公式獲得的LSTM網絡進行驗證。

2 LSTM和IPSO算法

2.1 LSTM原理

LSTM是一種對RNN改進后得到的神經網絡。相對于RNN而言LSTM能夠更好的處理梯度消失和梯度爆炸的問題。LSTM與RNN的區別在于LSTM在隱含層的神經元中添加了記憶單元Cell和3個門(輸入門，遺忘門和輸出門)[13]。Cell是LSTM的計算節點核心，記錄當前狀態；輸入門(input gate)控制進入計算節點的信息；遺忘門(forgetting gate)控制Cell內歷史狀態的去留；輸出門(output gate)控制計算節點的信息輸出。LSTM神經網絡的計算節點如圖1所示。

圖1 長短期記憶網絡計算節點結構

LSTM計算節點的在t時刻的傳播公式可表示為

it=g(Whiht-1+Wxixt+bi)

(1)

ct=ft·ct-1+it·tanh(Whcht-1+Wxcxt+bc)

(2)

ft=g(Whfht-1+Whfxt+bf)

(3)

ot=g(Whoht-1+Woxxt+Wcoct+bo)

(4)

ht=ot·tanh(ct)

(5)

上式中W和b為參數矩陣；xi為計算節點的輸入值；ht為t時刻計算節點的輸出值；g(·)為sigmoid函數；it為t時刻輸入門的輸出；ct為t時刻Cell狀態參數；ft為t時刻遺忘門的輸出；ot為t時刻輸出門的輸出。

2.2 PSO算法[14-17]原理

粒子群優化算法可以描述為：假設在n維空間內存在一個含有m個微粒的種群X=(X1，X2，…，Xm)，第i個微粒的速度和位置分別為Vi=(vi1，vi2，…，vin)T，Xi=(xi1，xi2，…，xin)T通過目標函數來評價t時刻微粒個體的最優位Pi=(pi1，pi2，…，pin)T和群體的最優位置Pg=(pg1，pg2，…，pgn)T。再通過下式對各微粒的速度和位置進行迭代更新。

(6)

(7)

式中w為慣性權重；d=1，2，…，n；i=1，2，…，m；k為迭代次數；Vid為第i個粒子在第d維的速度；Xid為第i個粒子在第d維的位置；c1和c2為非負常數；r1和r2為[0，1]之間的隨機數。

2.3 改進PSO算法

慣性權重w直接影響著PSO算法的收斂效率。增大w能夠提高算法的全局收斂能力，減小w能夠調高算法的局部收斂能力。原算法的w為常量并不會隨著迭代次數的增加而變化，會削弱算法的全局尋優能力，降低算法的收斂速度。提出新的非線性的慣性權重w，使得迭代初期算法具有較好的全局收斂能力；迭代的后期減小w，從而提高算法的局部收斂能力。w的形式如下

(8)

式中k為當前迭代次數；Kmax為最大迭代次數；η為曲率調節參數。當a=0.6，b=0.3，Kmax=50時不同的η對應著不同的慣性權重變化，如圖2所示。

圖2 非線性慣性權重曲線

3 IPSO-LSTM模型

本文將IPSO算法優化的LSTM神經網絡稱為IPSO-LSTM模型，經實驗得到本文所用的LSTM網絡的隱含層為2層時既能有較高的預測精度，迭代次數在30次以內已經收斂。因此在IPSO算法中粒子Xi為(l1i，l2i，εi)，其中l1i表示LSTM網絡第一個隱含層的神經元個數，l2i表示LSTM網絡第二個隱含層的神經元個數，εi表示LSTM網絡的學習率，LSTM網絡的迭代次數設置為30。

IPSO-LSTM網絡模型的流程圖如圖3所示。

圖3 IPSO-LSTM流程框圖

具體的步驟如下：

1)對樣本數據進行預處理，剔除異常數據，填充殘缺數據，將輸入數據轉換為矩陣形式，初始化IPSO算法參數。

2)定義適應度。采用LSTM網絡預測值的均方差作為粒子適應度值fit。

(9)

式中y為真實值，y′為預測值。

3)以粒子的位置信息作為LSTM網絡的參數，構建多個LSTM網絡

4)訓練所有網絡，得到每個粒子的自適應度值。更新個體極值和群體極值。

5)根據個體極值和群體極值用非線性慣性權值迭代更新粒子速度和位置信息。

6)滿足條件或達到最大迭代次數后進入步驟7)，否則返回執行步驟3)。

7)得到優化后的參數，提高迭代次數到100，重新訓練LSTM網絡。

8)通過訓練好的IPSO-LSTM網絡進行預測。

采用農產品重金屬危害風險、土壤重金屬污染風險、重金屬生物可利用性和土壤重金屬污染源輸入風險相結合的評估方法，評估指標包括農產品重金屬污染指數（E）、土壤重金屬污染指數（P）、重金屬生物可利用風險商（QBCF）、土壤污染源輸入指數（Qs）。

4 案例驗證

本文用某市電力公司2016年全年的網供負荷作為試驗數據，負荷數據采集周期為1小時，共有8760條信息。選取前8000小時的負荷數據作為訓練集，重構數據得到矩陣Train7975×25。矩陣每行前24列為24個輸入值，最后1列為需要預測的真實值。同理后760小時的負荷數據作為測試集，重構得到矩陣Test735×25。首先，進行數據的歸一化處理得到適用于網絡訓練的數據。然后設置模型參數為：種群個體數為10；迭代次數Kmax=20；粒子Xi(l1i，l2i，ε)的隱含層的神經元數l1i和l2i的取值范圍為[5，30]；學習率ε取值范圍為[0.005，0.05]；各維度的速度取值范圍分別為[-1，1]，[-1，1]，[-0.002，0.002]和a=0.6；b=0.3；η=1.7。

經過IPSO優化LSTM網絡后得到的最優參數為l1=5，l1=27，ε=0.014。由經驗式(10)得到單隱含層LSTM網絡的隱含層神經元數為12，學習率采用0.01。

兩種網絡的其它參數相同：輸入層神經元數為24，輸出層神經元數為1，batch size為 24，optimizer為adam，迭代次數為100。

(10)

式中m為隱含層神經元數，n為輸入層節點數，l為輸出層節點數，α為1到10中間的常數。

分別使用LSTM網絡和IPSO-LSTM網絡對電力負荷進行預測。得到部分的預測結果的如圖4所示。

圖4 兩種網絡預測曲線與實際曲線對比圖

圖中ls_fore為LSTM網絡預測值，os_fore為IPSO-LSTM網絡預測值，real為實際值。通過圖中LSTM網絡和IPSO-LSTM網絡的預測值對比，可以判斷出IPSO-LSTM網絡的預測結果普遍比LSTM網絡好。IPSO-LSTM能夠提高網絡符合預測的精度。

兩種網絡的損失曲線如圖5所示，由圖中可以看出優化后的IPSO-LSTM網絡的收斂速度要快于LSTM網絡，說明通過IPSO能夠的到更合適的LSTM網絡參數，能夠提高網絡的收斂速度。

圖5 LSTM和IPSO-LSTM網絡丟失曲線

5 誤差分析

在數值預測方面常用到的誤差分析方法有：均方根誤差(RMSE)，平均絕對誤差(MAE)，平均絕對百分比誤差(MAPE)等[18-19]。考慮到電力行業對供電穩定性的要求很高，本文在誤差分析中加入了最大相對誤差來為電網的儲備功率提供相關參考。經多種誤差計算方法處理得到的誤差指標如表1所示。

表1 兩種模型的主要誤差指標

兩種網絡的相對誤差比較結果如圖6。

圖6 LSTM和IPSO-LSTM相對誤差曲線

從圖中可以看出，IPSO-LSTM網絡的預測誤差分布相較于LSTM網絡的預測結果更為穩定，所以IPSO-LSTM網絡的預測結果更為可靠。

6 結束語

為提高短期負荷預測的預測精度和效率，提出新的IPSO-LSTM模型。首先將PSO慣性權值改為非線性慣性權值得到IPSO算法。提高了PSO算法前期的全局尋優能力和后期的收斂速度。然后運用IPSO算法自動調節LSTM網絡參數得到最優的LSTM網絡即IPSO-LSTM模型。分別使用由經驗參數所得LSTM網絡和IPSO-LSTM模型進行短期的負荷預測。分析預測結果可知：IPSO-LSTM模型預測結果的MAPE比LSTM網絡降低了0.8%；IPSO-LSTM模型預測結果的最大相對誤差比LSTM網絡降低了4%。IPSO-LSTM模型能夠得到更好的網絡參數，在預測結果的穩定性和精度上都優于LSTM網絡。對比兩種網絡結果可知在預測精度相同時，IPSO-LSTM模型需要的迭代次數更少，所以IPSO-LSTM模型的收斂速度更快。

綜上，IPSO-LSTM模型在短期預測方面比LSTM更具優勢。