何 琬 劉 進 朱肖晶
(1.國網(wǎng)能源研究院,北京 102209;2.國網(wǎng)蘇州供電公司,江蘇 215004)
?
基于深層神經(jīng)網(wǎng)絡(luò)的電力負荷預測
何琬1劉進1朱肖晶2
(1.國網(wǎng)能源研究院,北京102209;2.國網(wǎng)蘇州供電公司,江蘇215004)
【摘要】精確的電力負荷預測具有很大的經(jīng)濟和社會效益。本文基于深層神經(jīng)網(wǎng)絡(luò)研究負荷預測。文章首先分析了負荷預測中用到的關(guān)鍵特征,接著描述了深層神經(jīng)網(wǎng)絡(luò)和有監(jiān)督的判別式預訓練方法,以及文中使用的三種激活函數(shù)。最后,在一個較大的電力負荷數(shù)據(jù)集上比較了不同神經(jīng)網(wǎng)絡(luò)模型的預測效果。實驗結(jié)果表明,使用有監(jiān)督的預訓練的深層神經(jīng)網(wǎng)絡(luò)具有最好的預測精度。
【關(guān)鍵詞】負荷預測;深層神經(jīng)網(wǎng)絡(luò);預訓練;激活函數(shù)
1引言
現(xiàn)代社會,電力在國民經(jīng)濟發(fā)展中起著關(guān)鍵的支撐作用。隨著我國經(jīng)濟和社會的飛速發(fā)展,電力需求也持續(xù)增長。但是在一個較短的時間段內(nèi),電力需求受多種因素影響,波動較大。此外,電力還有一個特點,就是難以存儲。因此,如果電力供應(yīng)超過了消費需求,就會導致浪費,給電力企業(yè)帶來損失。因而,我們需要預測電力負荷,并用于指導電力生產(chǎn)與調(diào)度。
電力負荷預測具有重大的經(jīng)濟和社會意義,負荷預測研究受到廣泛關(guān)注。2001年舉行的EUNITE電力負荷預測競賽吸引了來自21個國家的56支參賽隊伍,而2012年的全球能源預測競賽(GEFCom2012)則有105支隊伍參加,其中一些隊伍來自國際知名大學和公司,包括劍橋大學和Petrobras公司。
從廣義的角度來看,負荷預測是一個時間序列預測問題,很多經(jīng)濟問題都與此類似,例如股票價格預測、石油風險預測等。根據(jù)預測期限長短,負荷預測可以分為三類[1]:短期預測,用于預測一個小時到一周時間內(nèi)的負荷;中期預測,預測一周至一年的負荷;長期預測,提前一年或一年以上進行預測。本文關(guān)注的是短期負荷預測問題。
研究人員提出了各種各樣的方法來改善負荷預測的性能。Mbamalu和El-Hawary[2]將負荷表示為多種因素的函數(shù),例如時間和氣象因素,然后用回歸方法進行預測。Kiartzis和Bakirtzis[3]利用模糊邏輯預測每日峰值負荷。由于負荷序列可以表示為時間序列,經(jīng)濟領(lǐng)域中廣泛使用的時間序列方法也被用于負荷預測。Taylor研究了多種指數(shù)加權(quán)模型并比較了它們的預測效果[4],Huang 和Shih[5]提出了一種結(jié)合自回歸移動平均模型(ARMA)和非高斯過程的預測方法,并用于實際的電力系統(tǒng)中。
人工智能與機器學習方法也被廣泛用于電力負荷預測。最常用的機器學習模型包括支持向量機(SVM)[6]、高斯過程[7]和人工神經(jīng)網(wǎng)絡(luò)[8]。負荷預測是一個非常復雜的問題,負荷與其影響因素之間有著復雜的非線性關(guān)系,不存在簡單的解析解。由于可以表示高度非線性的關(guān)系,而且在隱層神經(jīng)元個數(shù)足夠多時,或者隱層數(shù)目足夠多時可以近似任意復雜函數(shù),神經(jīng)網(wǎng)絡(luò)模型非常適于負荷預測問題。自從Peng[8]等提出用基于神經(jīng)網(wǎng)絡(luò)的方法建模節(jié)假日和氣象模式劇烈變化等因素以來,研究人員廣泛使用神經(jīng)網(wǎng)絡(luò)來處理負荷預測中存在的各種問題[9,10]。本文的方法也基于神經(jīng)網(wǎng)絡(luò)。
雖然只有一個隱層的神經(jīng)網(wǎng)絡(luò)在隱層足夠大時也可以近似表示任意復雜的函數(shù),有多個隱層的深層網(wǎng)絡(luò)不僅具有理論意義,而且通常有更好的實際效果[11,12]。近期以來,深層神經(jīng)網(wǎng)絡(luò)在圖像處理和語音識別領(lǐng)域取得了巨大成功,并且?guī)怼吧疃葘W習”的興起和神經(jīng)網(wǎng)絡(luò)研究的“復興”。本文基于深層神經(jīng)網(wǎng)絡(luò),考察各種影響因素,構(gòu)造豐富的預測特征集合,預測一天以后的每小時負荷。文中基于我國北方某城市的真實負荷數(shù)據(jù)設(shè)計實驗方案,實驗結(jié)果表明本文基于深層神經(jīng)網(wǎng)絡(luò)的方法具有更好的預測精度。
本文第二節(jié)分析電力負荷序列的特點以及影響負荷預測的各種因素;第三節(jié)詳細介紹基于深層神經(jīng)網(wǎng)絡(luò)的預測方法;第四節(jié)介紹實驗結(jié)果;第五節(jié)為總結(jié)和展望。
2負荷預測影響因素
在實際生活中,電力需求的變化受多種因素影響,本節(jié)分析其中一些比較重要的因素。然后基于這些分析,從這些因素中抽取有代表性的特征。這些特征將作為神經(jīng)網(wǎng)絡(luò)負荷預測模型的輸入。以下著重分析周期性、時間依賴性、節(jié)假日效應(yīng)以及氣象因素。
2.1周期性
短期電力負荷具有顯著的周期性。直觀上,電力消費與人們的日常作息模式緊密相關(guān),呈現(xiàn)出明顯的周期性。圖1是本文實驗數(shù)據(jù)中某一周7天的每小時負荷曲線,從中可以看出每一天的每小時負荷曲線與臨近各天非常相似。

圖1 負荷數(shù)據(jù)的每日周期性
基于負荷序列的周期性,我們可以提取三類特征。首先,當天平均負荷通常與前一天的非常接近,因此前一天的平均負荷是一個非常重要的特征,因為它可以大致反映當天的負荷水平。其次,對于當前時刻(小時),前一天同一時刻的負荷值也是一個很好的特征。第三,前一天前幾個小時的負荷數(shù)據(jù)也可以作為預測當前負荷值的指標,例如,昨天兩點到四點的負荷可以用來預測今天五點的負荷。同樣,也可以利用前幾天而不是前一天的數(shù)據(jù),從而提取更豐富的特征。
此外,臨近幾周的負荷數(shù)據(jù)也有相似的模式,從圖2可以看出相鄰三周的負荷曲線大致重合,其中數(shù)據(jù)為本文實驗數(shù)據(jù)集中2011年4月4日至4月24日的每小時負荷。因此本文把前一周相同時刻的負荷作為預測當前負荷的一種特征。

圖2 負荷數(shù)據(jù)的每周周期性
2.2時間依賴性
圖1和圖2展現(xiàn)了負荷值隨時間規(guī)則變化的特性,因此負荷值可以表示為時間的隨機函數(shù)。這樣可以把所在時刻和在一周里所處的日子(例如星期三)作為預測模型的特征。
2.3節(jié)假日效應(yīng)
之前的研究指出節(jié)假日的負荷與平時有著顯著不同。一般來說,節(jié)假日的負荷比平時低一些。例如,在我們的數(shù)據(jù)集上,2011年5月1日的平均負荷比一周前的4月25日低12.6%。因此,我們把是否節(jié)假日作為預測特征。
2.4氣象因素
從常識和經(jīng)驗可知,氣象因素對負荷有重要影響。一方面是因為某些工作和生產(chǎn)活動受天氣因素影響;另一方面,在某些氣象條件下人們需要消耗更多電力來調(diào)控環(huán)境,例如使用空調(diào)來降溫或者取暖。因此,本文把每日最高氣溫和最低氣溫作為特征。當前時刻的溫度也許更好,但是目前無法得到這一指標。圖3展示了在實驗數(shù)據(jù)上,每日平均負荷與每日最高溫度之間的關(guān)系,可見二者之間存在顯著而又比較復雜相關(guān)性,每日平均負荷與最低氣溫之間也有類似的相關(guān)性。

圖3 每日平均負荷與最高溫度之間的相關(guān)性
3基于深層神經(jīng)網(wǎng)絡(luò)的負荷預測
神經(jīng)網(wǎng)絡(luò)具有表示輸入模式與預測目標之間復雜非線性關(guān)系的能力。本文的負荷模型基于深層神經(jīng)網(wǎng)絡(luò)(Deep Neural Network,DNN)。深層神經(jīng)網(wǎng)絡(luò)是具有多個隱層的多層感知器,在訓練模型參數(shù)時使用預訓練(pretraining)的方法,使模型的參數(shù)收斂到更好的局部最優(yōu)解,從而提高性能。盡管有許多負荷預測相關(guān)的文章使用了神經(jīng)網(wǎng)絡(luò)模型,然而神經(jīng)網(wǎng)絡(luò)的研究在上世紀90年代就陷入低谷[12]。這一狀況一直持續(xù)到2006年,直到Hinton等人提出深層信念網(wǎng)絡(luò)(Deep Belief Network,DBN),并用受限玻爾茲曼機(Restricted Botzmann Machine,RBM)對神經(jīng)網(wǎng)絡(luò)逐層地進行預訓練[11]。從此深層神經(jīng)網(wǎng)絡(luò)受到廣泛關(guān)注,并且在學術(shù)界和工業(yè)界都取得了巨大成功。
本節(jié)首先介紹神經(jīng)網(wǎng)絡(luò)的基本原理,然后介紹本文采用的逐步增加隱層數(shù)目的有監(jiān)督的預訓練方法,最后介紹在實驗中對比研究的三種激活函數(shù)。
本文使用的神經(jīng)網(wǎng)絡(luò)是前饋多層感知器,包括一個輸入層、一個或多個隱層以及一個輸出層。神經(jīng)網(wǎng)絡(luò)的輸入是從負荷序列、氣象以及節(jié)假日等元信息中提取的特征所組成的向量。每個隱層從它的前一層獲取輸入向量,把輸入向量乘以一個矩陣做線性變換,再用該隱層的激活函數(shù)做非線性變換,最后把得到的向量作為輸出向量傳給下一層神經(jīng)元。

(1)

由于本文的預測目標是每小時的負荷值,是一個標量值,神經(jīng)網(wǎng)絡(luò)的輸出層只有一個神經(jīng)元。和輸入層一樣,輸出層的激活函數(shù)也是恒等函數(shù)。

標準的BP算法對于深層網(wǎng)絡(luò)收斂比較慢,而且往往會陷入不好的局部最優(yōu)值附近。為了使網(wǎng)絡(luò)收斂到更好的參數(shù)以及加速優(yōu)化過程,本文也采用了沖量項,起到近似二階優(yōu)化的效果。
對于深層神經(jīng)網(wǎng)絡(luò),隨機初始化參數(shù)值時,BP訓練常常得到比較差的參數(shù),其性能往往不如單個隱層的網(wǎng)絡(luò)。為了解決這一問題,可以采用預訓練的方法尋找更好的初始參數(shù)值。Hinton等最早提出通過受限玻爾茲曼機(RBM)逐層預訓練的方法尋找更好的初始參數(shù)[11,12],該方法推動了深層神經(jīng)網(wǎng)絡(luò)研究和深度學習的興起。RBM預訓練是一種無監(jiān)督的預訓練方法,本文采用的是另一種預訓練方法,即有監(jiān)督的判別式預訓練。Hinton等指出判別式預訓練通常效果更好[14]。RBM不需要知道每個輸入模式對應(yīng)的目標值,因此可以用于無監(jiān)督學習。但是對于我們的負荷數(shù)據(jù),訓練數(shù)據(jù)集中每個輸入向量都有對應(yīng)的目標值,因此可以采用有監(jiān)督的方式,進行判別式預訓練。在預訓練過程中,首先構(gòu)造一個單隱層的神經(jīng)網(wǎng)絡(luò),訓練該網(wǎng)絡(luò)以優(yōu)化其參數(shù),然后逐步增加隱層數(shù)目并進行訓練。圖4用偽代碼詳細展示了有監(jiān)督預訓練方法。

圖4 有監(jiān)督的預訓練方法
激活函數(shù)是生物神經(jīng)元發(fā)射模式的數(shù)學模型,在神經(jīng)網(wǎng)絡(luò)模型中起著關(guān)鍵的非線性變換作用。不同的激活函數(shù)會影響網(wǎng)絡(luò)參數(shù)學習過程的收斂速率,參數(shù)的稀疏性以及最終的預測性能等。激活函數(shù)也是深度學習研究中的一個熱點,maxout[15]和Rectified Linear(ReL)[16]等激活函數(shù),以及自動學習激活函數(shù)都受到廣泛關(guān)注。本文實證比較分析了sigmoid、雙曲正切(tanh)和Rectified Linear(ReL)三種激活函數(shù)在深層神經(jīng)網(wǎng)絡(luò)負荷預測中的性能。公式(2)給出了這三種激活函數(shù)的定義,圖5展示了三者的函數(shù)曲線與非線性特征。在實際使用中,tanh網(wǎng)絡(luò)訓練中收斂更快,ReL網(wǎng)絡(luò)參數(shù)更加稀疏[16]。
(2)

圖5 三種激活函數(shù)
4實驗結(jié)果
本節(jié)介紹本文基于深層神經(jīng)網(wǎng)絡(luò)的負荷預測模型的評測結(jié)果。首先簡要介紹實驗數(shù)據(jù)集,接著給出實驗結(jié)果,最后對實驗結(jié)果進行定性與定量分析。
首先收集中國北方某城市的每小時負荷數(shù)據(jù),然后從互聯(lián)網(wǎng)上收集該市的天氣信息。最終的數(shù)據(jù)集包含該市從2000年2月10日至2012年11月30日的負荷與氣象數(shù)據(jù)。每小時的氣溫對于預測每小時負荷非常重要,但是目前無法得到,我們只能使用每天的最高氣溫與最低氣溫。2012年10月的數(shù)據(jù)作為訓練過程的驗證數(shù)據(jù)(validation data),11月的作為測試數(shù)據(jù),其它數(shù)據(jù)用于訓練神經(jīng)網(wǎng)絡(luò)。這樣,訓練樣本大小為23136,驗證樣本大小為744,測試樣本大小為720。
我們的任務(wù)是要提前一天預測下一天每個小時的負荷。也就是說,利用24小時之前的歷史負荷數(shù)據(jù)和待預測時刻的天氣信息來預測某個時刻的負荷。例如,要預測7月7日12點的負荷,可以使用7月6日12點之前的負荷數(shù)據(jù)和7月7日的天氣數(shù)據(jù)。
本文第二節(jié)介紹了負荷預測系統(tǒng)用到的各種類型的特征。對于每個樣本,最終的特征是一個13維向量:其中3維為前面幾天同一時刻的負荷數(shù)據(jù);1維表示前一天的平均負荷;3維表示前一天前幾個時刻的負荷;1維表示前一周同一天(在星期中)同一時刻的負荷;2維用于表示當日最高與最低氣溫;1維表示所在天(在星期中);1維表示所在時刻;最后還有1維指示是否節(jié)假日。因此,本文的神經(jīng)網(wǎng)絡(luò)模型的輸入層有13個神經(jīng)元。在實驗中我們嘗試了不同的隱層數(shù)目以及不同大小的隱層,結(jié)果最好的網(wǎng)絡(luò)有3個隱層,每個隱層有30個神經(jīng)元。
DNN的訓練通常分為兩個步驟,即預訓練(pre-training)和精調(diào)(fine tuning),當然也可以不進行預訓練。對于預訓練,本文使用的是有監(jiān)督的判別式預訓練方法。表1與表2分別給出了不使用預訓練和采用有監(jiān)督的判別式預訓練時不同模型的預測結(jié)果。

表1 不使用預訓練時各模型的預測結(jié)果

表2 使用有監(jiān)督的判別式預學習時各模型的預測結(jié)果
這里性能度量標準為MAPE(mean absolute percentage error)與MAE (maximum absolute error),公式(3)與公式(4)給出了二者的計算方法。
(3)
(4)

圖6給出了測試數(shù)據(jù)上實際負荷值與最佳模型的預測值曲線,可以看出在大部分情況下預測值與實際值都非常接近。進一步分析發(fā)現(xiàn),我們的方法對于周末的負荷預測精度較差。周末的MAPE為2.83%,遠高于整個測試數(shù)據(jù)集上的1.71%。這表明將來我們需要著重關(guān)注周末的負荷預測。

圖6 實際負荷與預測負荷
5總結(jié)
當前深層神經(jīng)網(wǎng)絡(luò)與深度學習受到了廣泛關(guān)注,并且在學術(shù)界與工業(yè)界都取得了成功。鑒于此,本文提出了利用深層神經(jīng)網(wǎng)絡(luò)模型進行負荷預測。文中首先介紹了進行負荷預測所利用的特征。接著,介紹了深層神經(jīng)網(wǎng)絡(luò)、有監(jiān)督的判別式預訓練方法以及三種不同的激活函數(shù)。最后,在一個較大的實驗數(shù)據(jù)集上對不同模型的預測精度進行了評測。實驗結(jié)果表明,使用預訓練的深層神經(jīng)網(wǎng)絡(luò)可以提高負荷預測的精度。
負荷預測是一個非常復雜的問題,未來,可以從多種角度進行改進。其一,待預測時刻的溫度是非常重要的特征,可以利用這一數(shù)據(jù)來提高預測精度。其二,周末的負荷與平時不同,較難預測,未來需要研究如何改進周末負荷的預測,可能的方向包括增加周末數(shù)據(jù)的權(quán)重以及增加周末相關(guān)的數(shù)據(jù)特征等。
參考文獻:
[1]E. A. Feinberg and D. Genethliou. Applied Mathematics for Restructured Electric Power Systems:Optimization,Control,and Computational Intelligence[M].Springer,2005,pp. 269-285.
[2]G.A.N Mbamalu and M.E. El-Hawary. Load forecasting via suboptimal seasonal autoregressive models and iteratively reweighted least squares estimation[J].IEEE Transactions on Power Systems,1993,vol.8,no.1,pp. 343-348.
[3]S.J. Kiartzis and A.G. Bakirtzis. A fuzzy expert system for peak load forecasting:application to the Greek power system[C].Proceedings of the 10th Mediterranean Electrotechnical Conference,2000,3:1097-1100.
[4]J. W. Taylor,Short-term load forecasting with exponentially weighted methods[J].IEEE Transactions on Power Systems,2012,vol. 27,no. 1,pp. 458-464.
[5]S.J. Huang and K.R. Shih. Short-term load forecasting via ARMA model identification including non-Gaussian process considerations[J].IEEE Transactions on Power Systems,2003,vol. 18,no. 2,pp. 673-679.
[6]M.W. Chang,B.J. Chen and C.J. Lin. EUNITE network competition:electricity load forecasting[R].EUNITE network competition,2001.
[7]J. R. Lloyd. Hierarchical load forecasting using gradient boosting machines and Gaussian processes[R].GEFCom,2012.
[8]T. M. Peng,N.F. Hubele and G.G. Karady. Advancement in the application of neural networks for short-term load forecasting[J].IEEE Transactions on Power Systems,1992,vol.7,no.1,pp. 250-257.
[9]祝燕萍,方鴿飛. 基于動態(tài)自適應(yīng)神經(jīng)網(wǎng)絡(luò)和人體舒適度的短期負荷預測[J].電力系統(tǒng)保護與控制,2012,Vol 40,No.1,pp. 56-61.
[10]史會峰,牛東曉,盧艷霞. 基于貝葉斯神經(jīng)網(wǎng)絡(luò)短期負荷預測模型[J].中國管理科學,2012,20(4):118-124.
[11]G. E. Hinton,S. Osindero and Y. The. A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18,pp. 1527-1554.
[12]Y. Bengio. Learning Deep Architectures For AI:Foundations and Trends in Machine Learning[M].NOW Publishers,2009,pp. 1-127.
[13]J. Nocedal and S. J. Wright. Numerical Optimization[M],Springer,Second Edition,2006.
[14]A.Mohamed,G. E. Dahl and G. E. Hinton. Acoustic modeling using deep belief networks[J].IEEE Transactions. on Audio,Speech,and Language Processing,2012,20,pp. 14-22.
[15]I. J. Goodfellow,D. Warde-Farley,M. Mirza,A. Couville,Y. Bengio. Maxout networks[J].Journal of Machine Learning Research,2013,WCP vol 28 (3),pp.1319-1327.
[16]X. Glorot,A. Bordes and Y. Bengio. Deep sparse rectifier networks[J].Journal of Machine Learning Research,2011,WCP vol. 15,pp. 315-323.
《環(huán)境與可持續(xù)發(fā)展》簡介
環(huán)境保護部主管和環(huán)境保護部環(huán)境與經(jīng)濟政策研究中心主辦的《環(huán)境與可持續(xù)發(fā)展》(原《環(huán)境科學動態(tài)》,CCSCI來源期刊,全國中文核心期刊)于1976年創(chuàng)刊,現(xiàn)已加入“中國學術(shù)期刊(光盤版)全文收錄期刊”、“中國期刊全文數(shù)據(jù)庫(CJFD)全文收錄期刊”、“萬方數(shù)據(jù)—數(shù)字化期刊群全文收錄期刊”、“中國學術(shù)期刊綜合評價數(shù)據(jù)庫(CAJCED)統(tǒng)計源期刊”、“中文科技期刊數(shù)據(jù)庫(全文版)收錄期刊”。
我刊定位為“國家級政策指導性學術(shù)期刊”,依據(jù)從環(huán)境保護的視角報道可持續(xù)發(fā)展理論與實踐辦刊宗旨,創(chuàng)新設(shè)置“理論戰(zhàn)略探索”、“政策專題研究”、“法律法規(guī)研討”、“典型案例解析”、“研究動態(tài)瞭望”、“研究成果報道”、“生態(tài)文明之窗”等欄目。本刊底蘊深厚尤其自2011年改版以來一直發(fā)揮集中選題的宣傳優(yōu)勢,提前發(fā)布選題,開展征稿組稿,期刊學術(shù)質(zhì)量顯著提高。據(jù)知網(wǎng)《中國學術(shù)期刊影響因子年報》評估,我刊學術(shù)影響因子顯著大幅度提高,多年來一直位于全國收錄環(huán)境科學類期刊前列。
2016年本刊緊緊圍繞中國共產(chǎn)黨第十八屆五中全會審議通過《中共中央關(guān)于制定國民經(jīng)濟和社會發(fā)展第十三個五年規(guī)劃的建議》和《中國共產(chǎn)黨第十八屆中央委員會第五次全體會議公報》要求,切實貫徹創(chuàng)新、協(xié)調(diào)、綠色、開放、共享的發(fā)展理念,以全面建成小康社會、全面深化改革、全面依法治國、全面從嚴治黨的戰(zhàn)略布局為統(tǒng)領(lǐng),重點以深化生態(tài)文明體制改革和加快建立生態(tài)文明制度體系,綠色發(fā)展和建設(shè)美麗中國為議題,策劃選題,以期為“十三五”綠色環(huán)保新藍圖建言獻策。
Power Load Forecast Based on Deep Neural Networks
HE Wan1LIU Jin1ZHU Xiaojing2
(1.State Grid Energy Research Institute,Beijing 102209;2.State Grid Suzhou Power Supply Company,Jiangsu 215004)
Abstract:Accurate electrical load forecast has great economic and social value. In this paper,we study load forecast methods based on deep neural networks.We first analyze the critical features in load forecast.Then we present details of deep neural networks,supervised discriminative pre-training method,and the three activation functions used in this paper.We compare the performances of different neural network models and show the advantages of the proposed methods using a rather large data set of loads.
Keywords:load forecast;deep neural networks;pre-training;activation function
中圖分類號:X21
文獻標識碼:A
文章編號:1673-288X(2016)01-0083-05
通訊作者:劉進,法學碩士,經(jīng)濟師,研究方向電力法、電力經(jīng)濟
作者簡介:何琬,經(jīng)濟學博士,高級經(jīng)濟師,研究方向為電力經(jīng)濟、能源經(jīng)濟
引用文獻格式:何琬等.基于深層神經(jīng)網(wǎng)絡(luò)的電力負荷預測[J].環(huán)境與可持續(xù)發(fā)展,2016,41(1):83-87.