基于JANET神經網絡的短期負荷預測模型

許飛，武志剛，張文倩

(華南理工大學 電力學院，廣東 廣州 510640)

0 引 言

電力系統負荷預測是保證電力系統安全穩定經濟運行的重要基礎，按照時間尺度可以分為長期負荷預測、中長期負荷預測、短期負荷預測和超短期負荷預測。不同時間尺度的負荷預測對電力系統有不同的作用，其中短期負荷預測有利于提高發電設備的利用率和經濟調度的有效性[1]，同時有利于幫助電力系統運行人員制定更加合理的調度計劃，維持供需平衡和確保電網安全，減少資源浪費和用電成本[2]。

國內外對短期電力負荷預測方法已經做了非常多的研究，可以達到一定的預測精度。目前的研究方法主要分為兩大類。一類是傳統的時間序列分析方法，包括回歸分析法、多元線性回歸法和自回歸積分滑動平均模型等。文獻[3]基于人口、GDP和用電量的海量歷史負荷數據建立多元線性回歸模型，這種方法只能預測線性關系的模型，預測誤差較大。文獻[4]使用自回歸滑動平均混合模型來研究季節性特征與負荷預測之間的關系，但是只考慮了單一影響因素，預測誤差較大。文獻[5]使用改進的卡爾曼濾波算法能夠考慮包括日期和溫度等外界因素的存在使負荷產生很大的波動，具有更高的預測精度、收斂速度和耗時短等優點，但是仍然無法解決具有時序性特點的短期負荷預測問題，同時無法擬合影響因素與負荷之間的高度非線性關系。另一類是人工智能分析方法，包括反向傳播算法、支持向量機、深度信念網絡以及長短期記憶網絡等。文獻[6]使用基于改進的BP反向傳播網絡進行短期負荷預測，具有一定的預測精度，但是收斂速度慢，泛化能力差，易陷入局部最優。文獻[7]將SVM算法、Elman以及BP神經網絡相結合，分析溫度、濕度和氣壓等氣象因素對負荷的影響。文獻[8]使用深度信念網絡，通過逐層無監督訓練的方法得到網絡的初始權重，能夠有效地解決傳統神經網絡中隨機初始化導致的一系列問題，同時能夠很好地解決過擬合和欠擬合問題，但是需要人工選擇負荷序列，破壞了負荷數據的時序性。文獻[9]使用長短期記憶網絡并且引入Attention機制來突出對短期負荷預測起到關鍵作用的影響因素，在一定程度上能夠提高模型的魯棒性和穩定性。文獻[10]將卷積神經網絡與長短期記憶網絡相結合，把大量的歷史負荷數據、氣象數據、日期信息以及電價信息按照時間滑動窗口來構造特征圖作為輸入量，然后通過卷積神經網絡來提取特征向量，并作為長短期記憶網絡的輸入數據進行短期負荷預測，能夠有效地提高負荷預測精度。

為了進一步提高短期負荷預測精度，并且在資源受限的場景中能夠快速地獲取預測結果，對標準的長短期記憶網絡進行簡化，提出了一種簡化模型，稱為JANET(just another network)網絡模型。JANET網絡只保留了標準LSTM網絡中的遺忘門，訓練時間大大縮短，能夠在更短的時間內獲得與LSTM網絡相當精度的預測結果。

為此，本文首先對影響負荷的因素和歷史負荷數據進行相關性分析，選取與負荷數據相關性最大的影響因素作為模型的輸入，然后使用JANET網絡進行短期符合預測，將所得預測結果與標準LSTM網絡進行對比。仿真結果表明，JANET網絡在資源受限和計算量較大的情況下，能夠保證一定的預測精度并且極大地縮短訓練和預測的時間，為電網提供及時有效的負荷預測數據。

1 短期負荷預測影響因素分析

隨著配電側分布式電源以及電動汽車的大規模接入，影響負荷的因素變得越來越復雜，除了傳統方法中考慮的歷史負荷、氣象信息和日期類型外，政府的調控以及用戶的行為習慣對負荷也會產生重要的影響。使用神經網絡模型進行短期負荷預測時一個非常重要的環節就是輸入特征的選取，影響因素選取的好壞將直接影響到預測結果的準確度。研究的重點在于比較LSTM變體與傳統的RNN網絡以及標準的LSTM神經網絡模型在短期負荷預測問題上的有效性，因此本文將會選取相同的影響因素，包括歷史負荷數據、主要的氣象影響因素以及日類型作為神經網絡的輸入變量。

氣象影響因素主要包括溫度、濕度和太陽光照等。由于本文著眼于對比標準的LSTM網絡與改進后的LSTM網絡的短期負荷預測效果，因此只需要考慮天氣因素中與負荷相關性最大的影響因素，確保在同等的條件下進行對比試驗。本文采用互信息理論分別計算各氣象因素與負荷之間的相關性，并且選取出相關性最強的影響因素最為預測模型的輸入。

1.1 互信息理論

互信息(mutual information)是一種信息度量，表示的是一個隨機變量中所包含的另外一個隨機變量的信息量，也可以看作是兩個隨機變量之間的非線性依賴程度。兩個離散隨機變量和的互信息如式(1)所示。

(1)

式中:p(x,y)為變量X和Y的聯合概率分布函數；p(x)和p(y)分別為X和Y的邊緣概率密度。本文通過計算影響因素與負荷之間的最大相關-最小冗余值mRMR(minimal redundancy maximal relevance)來確定相關性最大的影響因素，mRMR值如式(2)～式(4)所示。

(2)

(3)

(4)

式中:xi為影響因素；yi為歷史負荷；J為影響因素的總個數；D(J,y)為影響因素xi與歷史負荷yi之間的相關性；R(J)為影響因素之間的相關性。式(4)表示選擇與歷史負荷互信息量最大并且與其他影響因素之間冗余信息量最小的影響因素。

1.2 負荷與影響因素相關性分析

本文基于某電網歷史負荷數據集，計算影響因素與負荷數據之間的mRMR值。從溫度、日期類型和濕度等因素中選擇與負荷之間的mRMR值最大的影響因素，結果如表1所示。

歷史負荷數據的相關因數為0，說明歷史負荷數據與負荷之間的相關程度最大，按照相關因數從小到大的排列順序，本文選擇歷史負荷數據、日期類型和溫度作為影響負荷預測精度的主要因素。

表1 負荷與影響因素的相關性分析

2 神經網絡荷預測模型

2.1 傳統神經網絡模型

傳統的神經網絡模型通常包含一層到多層的前向神經網絡，又名BP神經網絡。單隱含層的前向神經網絡結構圖如圖1所示。

圖1 單隱藏層神經網絡結構圖

傳統的神經網絡模型當隱藏層達到兩層或者兩層以上，理論上已證明可以擬合任意的非線性函數。但是前向神經網絡前一個輸入對應輸出與下一個輸入所對應的輸出之間并不具有相關性，因此前向神經網絡無法處理具有時序性的問題。負荷預測具有時序性的特征，因此無法使用單純的前向神經網絡來進行有效的負荷預測。

2.2 長短期記憶網絡模型

為了改善前向神經網絡中輸入數據之間沒有任何的關聯信息的這一問題，Elaman提出了RNN(recurrent neural network)神經網絡模型。RNN模型中擁有循環神經單元，并允許隱藏單元之間相互連接，能夠探索非線性數據之間的時間關系，使它更適用于處理具有時序性的數據[11]。RNN的這種網絡結構被稱為循環神經網絡，RNN神經網絡結構如圖2所示。

圖2 RNN神經網絡結構圖

RNN網絡與普通的深層前向神經網絡有相同的訓練機制，在深層次的前向神經網絡中，如果激活函數使用sigmoid函數將會導致在反向傳播的過程中梯度逐漸消失，從梯度消失的那一層神經網絡開始，參數將不再更新。而導致梯度消失的原因在于，循環神經網絡中梯度在反向傳播的過程中采用的是連乘的方式，使得多個小于1的數連乘之后將會越來越小，甚至出現等于0的情況。

為了解決這一困難，神經網絡工程師們對RNN網絡進行改進，增加了一個細胞單元，用來控制存儲器單元的輸入和輸出是否被接收。他們提出了具有LSTM(long short term memory network)長短期記憶單元的循環神經網絡，它具有乘法的輸入門和輸出門。這些門能夠保證輸入或者其他單元的輸出的無關信息的干擾，最大程度地減少信息更新沖突的問題。標準LSTM網絡的細胞結構如圖3所示，基本單元中包括遺忘門、輸入門和輸出門。遺忘門決定從上一個基本單元輸入的信息哪些被遺忘，輸入門決定狀態記憶單元中保留的向量、輸出門輸出信息到下一個基本單元。計算公式如式(5)～式(10)所示。

圖3 LSTM神經網絡結構圖

ft=σ(Wf·[ht-1,xt]+bf)

(5)

it=σ(Wi·[ht-1,xt]+bi)

(6)

ot=σ(Wo·[ht-1,xt]+bo)

(7)

(8)

(9)

ht=ot×tanh(Ct)

(10)

式中：ft、it、ot、Ct分別為遺忘門、輸入門、輸出門和狀態單元的狀態；Wf、Wi、Wo、Wc分別為對應門的權重；bf、bi、bo、bc為對應門的偏置量；σ為sigmoid函數。

2.3 長短期記憶網絡模型的簡化

長短期記憶網絡可以非常好地解決具有時序性的問題，鑒于門控循環網絡的成功，下一步希望能夠設計一個網絡，在資源受限制的實際程序中不降低負荷預測的精度，同時需要更少的硬件資源。

最開始的RNN循環神經網絡記憶時間非常短，較為久遠的輸入對當前輸出不會產生影響，因此在最初的長短期記憶網絡中增加了兩個門，具有乘法結構的輸入門和輸出門，通過輸入和其他單元的輸出來排除無關信息對當前信息的干擾，這是長短期記憶網絡的第一個版本。Gers等人意識到LSTM網絡的第一個版本中沒有忘記信息的機制，它們可能會無限增長并導致網絡奔潰。為了解決這一問題，他們提出了另外一個乘法門，稱為遺忘門，完成了標準的LSTM網絡模型。

經過多年的研究，Greff等人和Jozefowicz等人幾乎同時發現標準LSTM網絡中遺忘門是最重要的，同時隨著門控循環網絡的成功，Westhuizen等人開始考慮標準LSTM網絡中是否只需要保留遺忘門，簡化冗余的輸入門和輸出門。他們在MNIST、pMNIST和MIT-BIH心理失常數據集上進行仿真，證明有更好的泛化效果。此外，該模型需要LSTM所需參數的一半以及元素乘法的三分之二，從而節約計算量，縮短計算時間。Westhuizen等人將只有一個遺忘門的LSTM網絡稱為JANET(just another network)網絡。

JANET網絡作為LSTM網絡的一種變體，是LSTM網絡的一種簡化形式。相對于LSTM網絡來說，JANET在盡可能保證記憶能力以及訓練效率的基礎上，刪去了冗余的輸入門和輸出門，只保留了遺忘門，其他部分與標準的LSTM網絡完全一致。

JANET網絡的表達形式如下。

ft=σ(Ufht-1+Wfxt+bf)

(11)

Ct=ft×Ct-1+it×tanh(Ucht-1+Wcxt+bc)

(12)

ht=Ct

(13)

式中:ft和Ct分別為遺忘門和狀態單元的狀態；Uf、Wf、Uc、Wc分別為對應門的權重值；bf、bc分別為對應門的偏置值。

3 基于JANET網絡的負荷預測模型

3.1 輸入數據預處理

本文使用同一數據集分別建立BP神經網絡、標準LSTM神經網絡以及JANET神經網絡模型，并進行結果對比。三個模型的輸入特征保持一致，包括歷史負荷數據、溫度以及日期類型，將所有特征值組成輸入特征矩陣，在同等條件下比較三個模型的性能，保證試驗的科學性和公平性。使用所提出的方法對某電網提供的歷史負荷數據進行預測試驗。由于不同的輸入量有不同的數量級和量綱，同時由于神經網絡激活函數對[-1,1]之間的數值更敏感，因此需要對輸入數據進行歸一化處理。使用minmax函數將歷史負荷數據歸一化到[-1,1]之間，將日期分為節假日和工作日兩種類型，節假日用0表示，工作日用1表示。歷史負荷數據的歸一化公式如下：

(14)

式中:x′為標準化之后的輸入量；max(x)和min(x)分別為待歸一化變量的最大和最小值。

3.2 JANET的結構和訓練

本文搭建的JANET含有兩個隱藏層和1個輸出層。預測未來24小時的48個負荷量，每30分鐘一個時間節點，因此，選擇JANET的時間步為48，特征數為2。

具體的流程如下所示。

步驟 1：對輸入數據進行歸一化，假設一共n個訓練樣本，因為對于單個時刻的預測輸入量為2維，且時間步長為48，即連續預測未來24小時負荷，所以輸入數據以(n×48×2)的3維張量形式存儲。

步驟 2：將訓練集的輸入數據輸入到JANET中，得出預測值。

步驟 3：根據預測值和真實值以及選定的誤差函數計算誤差。

步驟 4：根據誤差通過反向傳播算法，本文的優化算法為Adam，對JANET的權重進行更新，實現JANET的監督學習。

步驟 5：利用訓練好的JANET神經網絡，輸入測試集數據，對未來24小時的負荷進行預測。

3.3 預測結果評價

使用均方根誤差(mean square error，MSE)和平均絕對值百分誤差(mean absolute percentage error，MAPE)作為評價各個模型預測結果的評價指標，其中EMSE和EMAPE的表達式如下所示。

(15)

(16)

(17)

式中:yf為負荷預測值；yf為負荷實際值；n為負荷點總數。

4 算例分析

4.1 模型參數設置

本文著眼于全新的預測模型的提出，因此僅考慮單一天氣影響因素以及日期類型這一影響因素，未考慮包括濕度、光照強度以及電價等因素的影響。為了保證試驗的可靠性，提高負荷預測的精度，本文采用完全相同的負荷數據和影響因素作為訓練集?；诒疚牡念A測模型，對某電網歷史負荷數據集進行進行未來24小時的負荷預測。

本文中LSTM和JANET模型參數設置通過多次的仿真和調整尋優，最終確定的基本參數如表2所示。

試驗平臺是win10的64位操作系統的臺式電腦，使用python語言在spyder平臺實現所提出的方法，LSTM模型和JANET模型采用keras框架，由于JANET模型無法使用keras直接進行調用，因此首先對LSTM模型代碼進行簡化處理，然后再用keras調用實現。

本文中使用基本庫版本如表3所示。所選版本可以調用臺式機所有可用資源用于計算，計算速度相對于其他版本組合有明顯提升。

表2 LSTM和JANET模型基本參數

表3 LSTM和JANET模型基本參數

4.2 算例結果

為了體現算法本身的差異性，本文使用前文所述數據集，分別建立LSTM神經網絡模型以及JANET神經網絡模型進行短期負荷預測。預測2月份某天的負荷值，并將預測結果與當天實際負荷值進行對比，如圖4～圖7所示。

圖4和圖5為兩種網絡負荷預測所得到的MSE值，可以看出JANET網絡的MSE值減小更快，能夠更快達到收斂的狀態。

圖4 LSTM神經網絡訓練MSE值

圖5 JANET神經網絡訓練MSE值

圖6表示標準LSTM和JANET網絡在2018年某天的實際負荷值與預測值歸一化之后的對比圖。由圖6和圖7可以看出，JANET網絡和LSTM網絡在給出相同歷史數據的情況下，對同一天的預測精度基本相同，JANET網絡的預測精度在某些時刻甚至高于LSTM網絡。

圖6 LSTM神經網絡負荷預測結果

圖7 JANET神經網絡負荷預測結果

此外，使用同樣的樣本大小和模型參數，JANET網絡預測未來一天所需要的計算時間大約是176 s，而LSTM所需要的計算時間大約是297 s。

5 結束語

本文提出了一種標準LSTM網絡的簡化模型，保留了網絡中最重要的遺忘門，并且通過考慮影響短期負荷預測精度的溫度以及日期類型建立了短期負荷預測模型，有效地提高了預測精度，同時減少了模型得出預測結果所消耗的時間，使得模型的整體性能有較大提升。與RNN神經網絡和標準的LSTM神經網絡相比，本文使用的JANET神經網絡能夠消耗更短的時間得到更高的預測精度。未來，在能夠得到更多氣象相關數據的基礎上，可以將JANET神經網絡與其他數據處理的方法相結合，充分利用數據中蘊藏的有效信息，進一步提高預測的精度和效率。