結合改進殘差網絡和Bi-LSTM的短期電力負荷預測

李艷波,尹 鐠,陳俊碩,張 鈺,姚博彬,劉維宇

(長安大學 能源與電氣工程學院,西安 710064)

電力負荷預測的研究始于20世紀60年代,統計方法是最早提出的方法,主要有時間序列法[1]、回歸法[2]和指數平滑法[3],但這些模型相對簡單,不能滿足非線性時間序列的要求。隨著分布式電源[4]和智能設備在智能電網環境中的廣泛應用,負荷數據規模急劇增加,呈現出更復雜的變化規律和特征[5],神經網絡開始取代傳統方法。Zheng等[6]采用典型的BP神經網絡進行負荷預測,但BP神經網絡結構簡單,泛化能力差,容易陷入局部最優,預測精度不高。為克服這一局限性,研究人員開始嘗試將單個神經網絡與其他算法相結合,并取得了一定的成果。Gensler等[7]將自動編碼器和LSTM相結合對可再生能源發電廠進行預測。Han等[8]將具有k均值聚類的卷積神經網絡(Convolutional neural network,CNN)應用于短期預測。但是簡單的LSTM網絡與CNN網絡在長時間序列或多維輸入數據面前,仍然存在序列特征信息丟失、數據間結構信息紊亂、多維特征挖掘不夠充分等問題。Shi等[9]使用匯集深度遞歸神經網絡(Pooling-based deep recurrent neural network,PDRNN),提出向神經網絡添加更多層可以提高預測性能。Pan等[10]提出了深度信念網絡(Deep belief network,DBN)算法,通過使用集成方法和支持向量回歸(Support vector regression,SVR)提高DBN的負荷預測性能,但DBN在計算過程中存在著訓練時間較長、容易過擬合的缺點。

本文基于深度學習方法中經典LSTM神經網絡在負荷預測中的應用成果,采用加入注意力機制的雙向LSTM結構,并將其與改進的深度殘差網絡結合,提出一種混合網絡模型—殘差AM-Bi-LSTM預測模型。通過增加捷徑連接和改變捷徑連接方式,從時間、特征維度和網絡深度3個方面提升模型的預測精度和泛化能力。

1 殘差AM-Bi-LSTM預測模型

1.1 Bi-LSTM網絡

一個LSTM單元包括輸入門、遺忘門和輸出門,如圖1所示。這些門結構使LSTM在進行反向傳播時能夠保持更穩定的誤差,使神經網絡可以在多個時間步上繼續學習[11]。

圖2 Bi-LSTM模型結構

(1)

(2)

(3)

1.2 注意力機制

注意力機制[13]源于模仿人類大腦的注意力特性。注意力機制的核心思想是將關注的重點放在對輸出有重要影響的輸入序列的重要環節,而較少地關注輸入序列的其他信息,這樣就可以巧妙、合理地改變對外界信息的注意力,放大所需信息,忽略無關信息。因此,信息的接收靈敏度和處理速度大大提高。注意力機制的實現過程如圖3所示。

圖3 注意力機制計算過程

1.3 深度殘差網絡

深度殘差網絡[14]是2015年提出的一種具有重要意義的網絡結構。在神經網絡中,通常通過增加網絡層數來提高模型的精度,但受梯度消失與梯度爆炸的影響,深層網絡的實際表現可能比淺層網絡更差。深度殘差網絡中,通過殘差網絡上的短接路徑,梯度可以在非常深的網絡中連貫的傳播而不受到過多卷積層梯度的疊加,這從本質上避免了梯度消失與梯度爆炸問題。深度殘差網絡一般通過堆疊多個殘差塊構成,殘差塊結構與深度殘差網絡如圖4(a)、(b)所示。

殘差網絡的優異性能主要得益于它的捷徑連接。利用恒等映射捷徑連接的一個殘差塊的輸出可以用如下公式表示:

xl+1=F(xl,wl)+xl

(4)

式中:xl、xl+1分別為殘差網絡中第l個殘差塊的輸入和輸出,F為要學習的殘差映射,wl為要學習的權重參數。

如果堆疊了K個殘差塊,則結構的正向傳播可以表示為

(5)

式中:x0為殘差網絡的輸入,xK為第K個殘差塊的輸出,Wi={wi,l|1≤l≤L}為與第i個殘差塊關聯的權重集,L為殘差塊內的層數。式(5)說明了殘差網絡的前向傳播過程,即數據如何從殘差網絡的淺層1傳遞到深層K的學習過程。誤差的反向傳播可以表示為

(6)

式中:loss為神經網絡的損失函數,“1”為殘差網絡中的捷徑連接。

Chen等[15]改進了常規意義上的殘差網絡架構,給出了一種新的深度殘差網絡的變體,并命名為ResNetPlus。如圖4(c)所示,與傳統的殘差網絡結構不同,模型的每一層由主殘差塊和側殘差塊兩個殘差塊構成。改進的深度殘差網絡由于加入了更多的殘差塊和捷徑連接,大大提升了網絡誤差的反向傳播效率。

1.4 殘差AM-Bi-LSTM負荷預測模型

殘差AM-Bi-LSTM組合預測模型由輸入層、ResNetPlus層和AM-Bi-LSTM層組成。模型使用ResNetPlus層來提取輸入數據的隱藏特征,生成特征向量并整合為一個已編碼特征輸入到AM-Bi-LSTM層。最后,通過AM-Bi-LSTM層整合數據樣本與數據特征,輸出最終預測值。殘差AM-Bi-LSTM模型結構如圖5所示。

圖5 殘差AM-Bi-LSTM模型結構圖

2 數據預處理

2.1 數據集的劃分

本文的測試基于ISO-NE數據集。ISO-NE數據集對2003—2014年間美國某地區的4 324 d的每小時負荷數據進行了統計,總計103 776條。數據集的劃分方式見表1,將2003年5月—2005年12月的每小時負荷數據作為訓練集,并將其后一年的負荷數據作為測試集。

表1 數據集劃分方式

2.2 數據歸一化

負荷數據在模型訓練過程中占主要地位,由于負荷數據具有很大的數量級,若不對數據進行歸一化處理,模型很難正確收斂到最優解。本文采用極值法對收集的電力負荷數據及溫度數據進行批量歸一化處理,即

(7)

式中:Y′為歸一化后的負荷或溫度數據,Y為原始負荷或溫度數據,Ymin為負荷或溫度數據中的最小值,Ymax為負荷或溫度數據中的最大值。以訓練集前10 d數據為例,歸一化后的負荷與溫度數據曲線如圖6所示。

圖6 歸一化后的負荷與溫度曲線

數據經歸一化后就可劃分為訓練集和測試集并將其輸入到模型中進行訓練與預測,最后還需要對得到的預測值進行反歸一化[16],即

(8)

2.3 模型的輸入

表2列出了用于預測第2天第h小時負荷Lh的輸入。

表2 基礎結構模型輸入

3 結果與分析

3.1 多模型集成策略

本文在模型中應用了Snapshot集成方法,在一次模型訓練過程中截取4個Snapshot點,如圖7所示。

圖7 Snapshot集成策略

每一個Snapshot點是在適當的迭代次數之后截取的,因此每個Snapshot點的損失程度相似。在獲得所有Snapshot點的模型后,本文對模型的輸出進行平均,并生成最終預測。

3.2 預測結果評價指標

為評價預測模型的性能,通常選用均方根誤差(RMSE)和平均絕對誤差百分比(MAPE)為評價預測模型準確率的評價指標[18]。計算公式為:

(9)

(10)

式中:yt為t時刻的實際值,f(x)t為t時刻的預測值,n為觀測次數。

3.3 不同網絡深度的模型預測結果對比分析

本文對比測試了不同網絡深度下常規LSTM模型[19]和殘差AM-Bi-LSTM模型的預測性能,測試結果見表3。未使用殘差網絡的常規LSTM網絡在層級增大到一定程度時,其預測誤差表現出了明顯的上升的趨勢,而殘差AM-Bi-LSTM模型的精度隨著LSTM的層數增加而不斷提升。圖8顯示了LSTM層數為16層時兩模型的MAPE曲線。16層的殘差AM-Bi-LSTM模型的MAPE僅為1.73%,約為具有相同層數的常規LSTM網絡MAPE的1/3,這是因為引入的殘差網絡在前向傳播時,網絡中的恒等映射可將輸入信號從任意底層直接傳到高層,一定程度上解決了網絡退化問題。

表3 不同網絡深度下模型性能對比

圖8 16層模型性能對比

3.4 多模型預測結果對比分析

本文將所提的殘差AM-Bi-LSTM網絡模型與目前多種主流深度學習模型的預測結果進行對比測試,測試結果如表4和圖9所示。與單純采用殘差網絡或AM-Bi-LSTM網絡相比,本文提出的組合模型在很大程度上減少了系統的學習錯誤,且殘差AM-Bi-LSTM模型的MAPE僅為傳統LSTM網絡的1/3。

表4 殘差AM-Bi-LSTM模型與主流模型性能對比

圖9 不同網絡模型的預測誤差對比

3.5 不同模型不同時段的預測結果對比分析

本文對比了殘差AM-Bi-LSTM模型、AM-Bi-LSTM模型和ResNetPlus模型在不同年份的預測結果,結果如圖10所示,進一步驗證了本文所提模型具有較高的預測精度和泛化能力。

圖10 不同模型在不同年份上的預測結果

由圖10可以看出,相較于AM-Bi-LSTM模型和ResNetPlus模型,在3 a的預測結果中,殘差AM-Bi-LSTM模型在預測精度上均有1.00%左右的提高。在對不同年份的預測結果中,殘差AM-Bi-LSTM網絡模型的預測準確率變化較小,說明采用集成方法可以保證模型具有一定的魯棒性。

LSTM模型和殘差AM-Bi-LSTM模型對不同月份的預測結果如圖11所示,預測曲線如圖12(選取每個季度的第1個月為例)所示。相較于LSTM模型,殘差AM-Bi-LSTM模型在每個月份上均擁有更低的MAPE且波動更小。

圖12 不同模型不同月份預測曲線

根據圖11數據,12個月內LSTM模型的MAPE為4.66%,殘差AM-Bi-LSTM模型的MAPE為1.79%,將預測精度的平均值提升了2.87%。另一方面,由于大多數超參數沒有在ISO-NE數據集上進行調整,可以得出該模型具有良好的泛化能力。

表5為不同模型在不同季節下預測結果的MAPE對比(在每個季節最中間的兩星期隨機選取3 d為例),圖13顯示了殘差AM-Bi-LSTM網絡模型、AM-Bi-LSTM模型以及ResNetPlus模型在不同季節上的預測曲線。

表5 不同模型在不同季節上的預測結果(MAPE)

圖13 不同模型在不同季節的預測結果

從圖13中可以看出,相比于AM-Bi-LSTM和ResNetPlus兩個模型,殘差AM-Bi-LSTM模型在4個季節中得到的預測曲線都是最接近實際負荷值的。以平均絕對百分比誤差MAPE作為主要評價指標,對比3種模型在4個季節上的平均預測結果(見表5),殘差AM-Bi-LSTM模型的MAPE為1.81%。AM-Bi-LSTM和ResNetPlus模型的MAPE分別為2.86%和2.97%,預測誤差分別比殘差AM-Bi-LSTM模型高出1.05%和1.16%。此外,由圖13(b)、(d)可知,ResNetPlus模型的夏季和冬季負荷預測曲線和真實值有較大的偏差,說明ResNetPlus模型對時間特征的提取較差,而殘差AM-Bi-LSTM模型的4個季節的預測精度沒有較大波動,表明所提模型在不同的季節中都能較準確地對負荷進行預測,具有較高的穩定性和泛化能力。

4 結 論

1)本文所提模型結合了注意力機制、多層改進殘差網絡和Bi-LSTM網絡,并采用Snapshot集成策略,從深度、特征提取、時間、穩定性等多方面提升模型的性能。

2)與LSTM和AM-Bi-LSTM模型相比,所提模型在相同條件下的平均預測精度分別提升2.87%和1.05%,說明引入改進深度殘差網絡能有效提高負荷預測的精度。

3)與ResNetPlus模型相比,所提模型在不同季節負荷預測的平均預測精度提升了1.16%,并且預測精度不被季節變化影響,說明所提模型能夠充分提取輸入數據的時間特征,有較強的準確率、魯棒性以及泛化能力。