深度學習在電力負荷預測中的應用

張建寰,吉 瑩，陳立東

(廈門大學航空航天學院，福建 廈門 361000)

0 引言

負荷預測作為電力系統調度的重要組成部分，其預測精度或預測誤差對電網后續運行的狀態評估、安全性、經濟性等具有重要意義[1-3]。隨著機器學習的快速發展，目前負荷預測多采用前饋神經網絡、支持向量機等機器學習技術。但由于其只是停留在淺層的學習，難以提取負荷序列的深層特征，預測精度有待進一步提升。

深度學習負荷預測領域表現出的自適應學習、感知能力，可以有效解決淺層預測模型對非線性負荷數據和多因素影響的認知能力不足，以及人為干擾等問題[4-5]。因此，為提高負荷預測的精度，本文將深度學習中的幾個典型模型應用到負荷預測中，進行短期電力負荷預測，并采用常用的模型評價指標對幾種模型的負荷預測進行評估和對比。

1 電力負荷預測及深度學習簡介

1.1 電力負荷預測現狀

電力系統的負荷預測是根據電力系統的運行特性及其他諸多因素，在滿足一定精度要求下預測電力系統未來某些特定時刻的負荷數據。由于電能難以大量存儲且用戶端電力需求時刻變化，這就要求系統發電量要和負荷變化時刻保持動態平衡。由于負荷預測是根據過去的數值來推測未來的數值，因此負荷預測的研究對象是一個不確定、復雜的隨機事件，具有不準確性、條件性、時間性和多方案性等特點。

電力負荷預測，根據其預測周期，可以分為長期、中期、短期以及超短期負荷預測。其中，短期負荷預測研究較多，其預測目標一般是預測某個地區未來一天或者一周的用電量數據。相較于其他周期的負荷預測，短期負荷預測更具實際意義，是制定發電計劃和提供調度的重要參考依據。短期負荷預測的方法有很多，傳統的負荷預測主要方法有：基于時間序列的自回歸滑動平均模型(autoregressive moving average model,ARMA)、灰度預測和線性回歸分析法等。這些模型的預測結構較為簡單，應用廣泛。但是它們對序列數據平穩型要求較高。大多數情況下，這些模型只是利用歷史負荷數據對未來負荷進行預測，考慮因素單一，在某些情況下預測的精度會受到很大的影響。

1.2 深度學習簡介

深度學習(也稱為深度結構學習或逐層學習)不是特定于任務的算法，而是作為以數據學習規律為代表的、更廣泛的機器學習方法系列的一部分。它的學習方式分為監督學習、半監督學習和無監督學習。作為機器學習中一個新的研究領域，它的原理是通過建立神經網絡模擬人腦來分析學習，并試圖模仿人腦的機制去解釋事物原理。深度學習架構，比如深度神經網絡、深度信念網絡和遞歸神經網絡，目前已被廣泛應用到計算機視覺、圖像處理、自然語言處理、語音識別、音頻識別、社交網絡過濾、機器翻譯、生物信息學、藥物設計和棋盤游戲程序等領域。機器學習的成果可與人類專家媲美，甚至在某些情況下要優于人類專家。

2 三種深度學習模型原理

2.1 LSTM神經網絡原理

長短時記憶(long-short-term memory,LSTM)神經網絡是一種特殊的循環神經網絡(recurrent neural networks,RNN)類型，可以學習長期依賴信息。其由Hochreiter &Schmidhuber于1997年提出，近期取得了改良和推廣。典型的RNN結構如圖1所示。RNN神經網絡內部節點定向鏈接成環。相比于前饋神經網絡，它的本質特征是在內部的處理單元中既有反饋連接，又有前饋連接。因此，它可以利用結構的記憶功能來處理任意時間序列，更適用于不分段的手寫識別或者語音識別等[6-7]。

圖1 RNN結構圖Fig.1 RNN structure

圖1中：X為RNN神經網絡的輸入；h為隱含層；損失L用來衡量每個O與相應的訓練目標y的距離；權重矩陣U為輸入到隱藏層的權重；權重矩陣W為隱藏層到隱藏層的連接權重；權重矩陣V為隱藏層到輸出層的權重矩陣。

RNN神經網絡的局限性在于，隨著時間間隔的不斷增大，它會出現梯度消失或梯度爆炸的問題，并且其結構很容易依賴于激活函數和網絡參數。基于上述問題，出現了RNN的變體LSTM神經網絡[3]。LSTM典型結構如圖2所示。

圖2 LSTM典型結構圖Fig.2 Typical LSTM structure

圖2中，每條線表示一個完整的向量，即從一個節點的輸出到其他節點的輸入。

在標準的RNN結構中，其重復的神經網絡模塊的鏈式形式只包含一個非常簡單的結構，如tanh層(如圖1所示)。LSTM擁有一個不同的內部結構。它不是只有單一的神經網絡層，而是有四個，并且以特殊的方式進行交互。根據圖2所示，可以用以下幾個公式解釋LSTM循環模型單個循環體的結構。

輸入門：

it=σ(Wi[ht-1,xt]+b)

(1)

遺忘門：

ft=σ(Wf[ht-1,xt]+bf)

(2)

候選時刻記憶單元：

(3)

當前時刻記憶單元：

(4)

輸出門：

ot=σ(W0[ht-1,xt]+b0)

(5)

輸出：

ht=ottanh(Ct)

(6)

LSTM和RNN都是利用隨時間反向傳播(back propagation through time,BPTT)、隨機梯度或者其他算法，優化去擬合模型的最佳參數。由于LSTM更新的狀態值Ct的表達式是相加的形式，因此不容易出現狀態值逐漸接近0的情況，即梯度消失現象。

2.2 GRU神經網絡原理

并非所有的LSTM網絡結構都如圖2所示。LSTM神經網絡目前包含了很多的變體，其中較流行的一種是變體門循環單元(gated recurrent unit,GRU)神經網絡，其結構如圖3所示。它既保持了LSTM的效果，又使得結構更為簡單。LSTM實現了三個門(遺忘門、輸入門和輸出門)的計算，而GRU實現了更新門和重置門的計算，即圖3中的Zt和γt。

圖3 GRU結構圖Fig.3 GRU structure

GRU的前向傳播方式為：

r1=σ(Wr[ht-1,xt])

(7)

zt=σ(Wz[ht-1,xt])

(8)

(9)

(10)

yt=σ(W0ht)

(11)

2.3 SAE編碼器原理

自編碼器(autoencoder，AE)是構建棧式自編碼器(stacked auto-encoder,SAE)模型的基本單元，通過編碼和解碼兩個功能去逼近一個使得輸出接近于輸入的恒等函數。自編碼器結構如圖4所示。其包含可視層、隱藏層和重構可視層，是一個類似于三層神經網絡的結構[8]。

圖4 自編碼器結構圖Fig.4 AE structure

在編碼階段，將Xi作為特征向量輸入到隱藏層中，通過式(12)完成特征提取，得出編碼結果h；然后使用式(13)隱含層輸出結果進行解碼重構，輸出解碼結果y(xi)。

h=f(w1xi+b1)

(12)

y(xi)=g(w2h+b2)

(13)

式(12)、式(13)中，w1和w2分別表示可視層與隱藏層、隱藏層與重構可視層的連接權值矩陣，b1和b2分別表示可視層與隱藏層、隱藏層與重構可視層的偏置值矩陣。f()和g()是對應節點的變換函數，一般采用sigmoid函數。單個自編碼器通過反向傳播算法訓練網絡，以最小化損失函數L來求解滿足逼近條件y(xi)≈xi的參數{w,b}的值。自編碼器損失函數C可表示為：

(14)

從圖4可以發現，每個單元輸入層與輸出層的神經元數量相等。在實際使用中，SAE是由多個AE自編碼器疊加起來的，并且逐個訓練。只不過從第二個自編碼器開始，其輸入向量就變成了前一個編碼器的隱藏層。

SAE模型結構如圖5所示。其中，虛線框的結構在SAE堆疊模型結構中不出現。

圖5 SAE模型結構圖Fig.5 SAE model structure

3 負荷預測模型建立

3.1 數據預處理

目前，電網系統系統收集了大量的電量信息，但是仍不可避免地存在數據缺失或者數據異常的情況[5]。如果這些數據不加以處理直接輸入神經網絡預測模型，必然會導致很大的誤差。因此，需要對缺失的數據進行填補，并對異常數據進行識別和修正。這就是數據預處理所要做的工作[9-10]。

(1)異常數據的識別和修正處理。

正常情況下，電力負荷數據都是連續平滑的，相鄰時刻點的負荷數據值不會相差太大。如果差距明顯很大，那就可能是異常數據。本文中對異常數據采取水平處理方法修正，具體修正方法如下。

如果：

max[|Y(d,t)-Y(d,t-1)|,|(Y(d,t)-

Y(d,t+1)|]>ε(t)

(15)

那么：

(16)

式中：ε為閾值；t為采樣的時間點。

本文中的數據是每隔半小時的數據，因此t的取值范圍為1～48，Y(d,t+1)表示第d天(t+1)時刻的電力負荷值。

(2)缺失數據的補充。

考慮到負荷數據的周期性，本文對負荷數據中意外丟失的數據作拉格朗日插值法處理。

(3)數據樣本歸一化。

歸一化操作的公式為：

(17)

式中:P為預處理后的輸入樣本矩陣；Pd為歸一化處理后的數據矩陣；Pmax為歷時輸入數據中的最大值；Pmin為歷時輸入數據中的最小值。

3.2 建立基于負荷預測的深度學習模型

本次試驗中，采用的數據樣本為某地區2016年整年的負荷數據，采樣周期為每半小時一次。將預處理后的數據分別輸入構建的LSTM、GRU和SAE模型中。

LSTM和GRU按照正常的RNN網絡進行訓練。由于電腦硬件的限制，在模型的訓練中，LSTM 和GRU模型都只設計了兩個隱藏層，SAE模型中構建了三個單獨的自動編碼器。

自編碼器訓練的原理如前文所述，就是通過encode層對輸入進行編碼，即提取特征；然后，用encode層參數的轉置成特征矩陣再加偏置值矩陣，以此重構輸入；最后，利用最小化重構的輸入和實際輸入值的損失函數訓練模型參數。SAE的訓練過程是多個AE分別訓練，第一個AE訓練完以后，其輸出作為第二個AE的輸入，以此類推。訓練完成后，將所有AE的隱藏層連接起來，就組成了SAE網絡模型。按照之前各自AE訓練好的權值作為初始化權值，對整個網絡進行參數微調，優化全局網絡參數。

3.3 預測結果分析

本文采用了平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)、相對百分誤差絕對值的平均值(mean absolute percentage error,MAPE)、R平方(R2)和可釋方差得分(explained_variance_score)這五個指標,分別對模型的預測結果進行評估和對比。

(18)

(19)

(20)

explained_variance_score[y(i),h(x(i)]=

(21)

式中:h(x(i))為網絡輸出的預測值；y(i)為實際負荷值。

本文以三種算法模型作為對比算法，分別將2016年一整年的負荷數據和2015～2016年兩年負荷數據輸入模型，對比各個模型的預測結果。編碼實現基于Python3.6平臺完成。表1展示了三個算法模型以2016全年數據訓練模型的負荷預測指標評估結果，表2展示了三個算法模型以2015～2016數據訓練模型的負荷預測指標評估結果。

表1 負荷預測指標評估結果(2016)Tab.1 Evaluation results of load forecasting indicators (2016)

表2 負荷預測指標評估結果(2015～2016)Tab.2 Evaluation results of load forecasting indicators (2015～2016)

由表1和表2可知，無論是對于負荷的長期預測還是短期預測，LSTM預測算法各個指標評價結果均優于其他預測模型。當以2016年的負荷數據作為訓練樣本時，LSTM負荷預測的預測誤差達到5.34%；當以2015至2016兩年的負荷數據作為訓練樣本時，LSTM負荷預測的誤差可以降低至4.98%。

但由結果可知，當數據數據類型只有歷史負荷數據時，三種模型的負荷預測效果都不是很理想，誤差皆超過3%。其主要原因是影響負荷的因素有很多，例如節假日、氣候狀況、溫度等。因此，進行負荷預測時，如果只考慮歷史負荷數據，誤差會相對較大。但是通過以上三個模型的預測結果評估對比可知，LSTM 預測模型更適用于負荷預測，并且輸入的歷史負荷訓練數據時間越長，越有利于提高模型的預測準確度。在下一步工作中，考慮以LSTM模型作為基礎進行改進，并對輸入數據加入更多的特征(例如溫度、氣候、節假日等)，以提高負荷的預測精度。

4 結束語

電力系統的海量負荷數據為電網負荷的特性分析和高準確度、復雜的預測模型的奠定了基礎。傳統的負荷預測模型的結構較為簡單，且考慮因素單一。而前饋神經網絡、支持向量機等機器學習技術只是停留在淺層的學習，難以提取負荷序列的深層特征，模型的泛化性受到了限制，預測精度有待進一步提升。因此，本文將深度學習算法模型應用到負荷預測領域，主要對比了LSTM、GRU和SAE三種算法的預測效果，并通過對比預測精度來挖掘較為適合負荷預測的基礎模型。在今后的研究中，會研究更多影響負荷預測的因素，并將其輸入到神經網絡模型中，以優化負荷預測模型的結構、提高預測精度；同時，考慮加入更多的頂層預訓練器，以實現更精準的負荷預測。