基于預(yù)訓(xùn)練GRU-LightGBM的電力負(fù)荷預(yù)測①

張 曉,丁云峰,王 剛

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計算技術(shù)研究所 系統(tǒng)與軟件事業(yè)部,沈陽110168)

3(國網(wǎng)遼寧省電力有限公司 調(diào)度控制中心,沈陽110004)

社會經(jīng)濟的發(fā)展離不開電網(wǎng)的可靠性保障.電負(fù)荷是電網(wǎng)運行狀態(tài)的重要表征,因此電力負(fù)荷的預(yù)測是配電網(wǎng)規(guī)劃的關(guān)鍵部分.在電網(wǎng)運行狀態(tài)的評估以及電網(wǎng)故障的預(yù)警上都有重要意義,減少電網(wǎng)故障的發(fā)生對提高電力系統(tǒng)的社會效益和經(jīng)濟效益有重大意義.隨著電網(wǎng)智能化的推進,電網(wǎng)中數(shù)據(jù)的智能化、信息化程度不斷提高,這為電力系統(tǒng)負(fù)荷預(yù)測提供了海量數(shù)據(jù)樣本,也為達(dá)成提高負(fù)荷預(yù)測準(zhǔn)確性的目標(biāo)奠定了基礎(chǔ).

短期電力負(fù)荷是對某一區(qū)域未來幾個小時的用電負(fù)荷進行預(yù)測.目前,在海內(nèi)外研究人員的探索、嘗試下,取得了很大的進展.當(dāng)下,短期電力負(fù)荷預(yù)測的方法主要有傳統(tǒng)的統(tǒng)計學(xué)方法和基于機器學(xué)習(xí)的預(yù)測方法[1-3].其中統(tǒng)計方法包括時序預(yù)測法[4]、多元線性回歸(MLR)[5,6]等.統(tǒng)計學(xué)方法取得了較好的成果,但是這些方法需要對電網(wǎng)領(lǐng)域的專業(yè)知識有比較深的理解才可以有效的建模并給出結(jié)果,使用起來學(xué)習(xí)成本較高.而近年來日漸崛起的人工智能方法降低了應(yīng)用門檻,并且取得了更好的效果.其中陳振宇等[7]提出結(jié)合LSTM 及XBGBOOST 方法的電負(fù)荷預(yù)測,該方法的創(chuàng)新點在于兩個模型的預(yù)測結(jié)果融合方法.但是在預(yù)測中兩個模型單獨起作用,實踐表明單獨的模型無法取得了比較好的結(jié)果.馬煜等[8]提出使用CNN 及SVR結(jié)合的方法,其中CNN 網(wǎng)絡(luò)主要用于特征提取.但是該提取方法,打亂了本身的時序特征.綜上分析,人工智能方法崛起后,大家的主要研究方向集中在特征提取方法和是否單一模型工作上.本文提出的方法也是在充分分析了前輩的工作成果以及電網(wǎng)負(fù)荷的變化特點后提出的.

電荷影響因素有很多,諸如歷史負(fù)荷數(shù)據(jù),氣象數(shù)據(jù)、電力設(shè)備使用時間以及峰谷電價等因素.文獻(xiàn)[9]通過整理發(fā)現(xiàn),這些因素主要可以分為時序因素和非時序因素,因此本文提出了一種同時對時序特征和非時序特征建模的電負(fù)荷預(yù)測方法——基于預(yù)訓(xùn)練GRULightGBM的電負(fù)荷預(yù)測方法.雙向循環(huán)GRU 網(wǎng)絡(luò)作為時序特征提取器,同時考慮歷史時期和未來時期負(fù)荷影響因素對預(yù)測負(fù)荷的影響,充分提取負(fù)荷特征數(shù)據(jù)之間有效潛在關(guān)系.將提取到的時序特征與影響電力負(fù)荷的非時序特征(例如區(qū)域電價)相結(jié)合,放入到對回歸預(yù)測問題有著不錯效果且運算速度快的LightGBM模型中,進行模型訓(xùn)練與預(yù)測.

算例測試結(jié)果表明,本文的組合模型由于針對時序特征與非時序特征進行了歸納整理、綜合預(yù)測,能夠降低單一模型在極端場景下的誤差,相比于其他組合模型,也具有更加穩(wěn)定的預(yù)測效果.

1 算法總體結(jié)構(gòu)設(shè)計

前文提出本文綜合考慮電力負(fù)荷的實際特點我們提出了GRU與LightGBM 相結(jié)合的方法.算法的總體架構(gòu)圖如圖1所示.

如圖1所示,整個算法結(jié)構(gòu)分為3 個階段.圖中階段1 表示時序特征提取,通過雙向GRU 網(wǎng)絡(luò)提取電網(wǎng)時序特征中蘊含的時序依賴語義信息,該階段分別輸出語義的前向依賴和反向依賴信息,并將兩個方向的信息進行組合.本文提出了兩種組合方案拼接和取平均值.階段2 表示特征融合,主要包括兩部分特征,一部分是階段1 雙向循環(huán)GRU 作為特征提取器提取的時序信息,另一部分是非時序特征;階段3 表示電負(fù)荷預(yù)測階段.下面對3 個階段進行詳細(xì)介紹.

圖1 預(yù)訓(xùn)練GRU-LightGBM的電力負(fù)荷預(yù)測方法整體架構(gòu)圖

1.1 GRU 網(wǎng)絡(luò)設(shè)計

GRU (Gate Recurrent Unit)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的一種.與LSTM(Long-Short Term Memory)近似,是為了緩解長時序下的梯度消失或者梯度爆炸而設(shè)計的一種方案.在眾多研究中LSTM 表現(xiàn)要略勝GRU,但是LSTM 參數(shù)多,訓(xùn)練起來耗時更長.并且本文GRU 網(wǎng)絡(luò)用于提取序列特征,對實際預(yù)測效果依賴性弱.相比之下,時效性對整個系統(tǒng)更加重要.因此我們選用了消耗時間少并且效果也不差的GRU 作為主要結(jié)構(gòu).

圖2是GRU 結(jié)構(gòu)示意圖.每一個GRU 結(jié)構(gòu)中,有一個當(dāng)前時刻的輸入xt,及上一個節(jié)點傳遞下來的隱狀態(tài)ht-1,ht-1中蘊含了之前各個時刻的依賴信息.結(jié)合xt和ht-1,GRU 會得到當(dāng)前隱藏節(jié)點的輸出yt和傳遞給下一個節(jié)點的隱狀態(tài)ht.

圖2 GRU 結(jié)構(gòu)示意圖

每個GRU中有重置門rt和更新門zt,如式(1)和式(2)所示.兩個門的計算邏輯都是拼接當(dāng)前時刻的輸入xt,以及上一時刻的隱狀態(tài)ht-1,并通過Sigmoid 函數(shù)將輸出控制在[0,1]之間.當(dāng)輸出趨向0 時表示抑制,當(dāng)趨向1 時表示激活,這兩種狀態(tài)對應(yīng)表示成門的開閉.重置門和更新門的構(gòu)建如下:

得到門控信號后首先使用重置門來重置信息rt·ht-1,然后將重置后信息通過一個tanh 函數(shù)將數(shù)據(jù)縮放到[-1,1]的范圍內(nèi)得到.如式(3),中包含當(dāng)前時刻要加入的信息,相當(dāng)于記憶了當(dāng)前時刻的狀態(tài).

最后一個階段輸出最終的隱藏信息.這一步的操作就是忘記傳遞下來的某些維度信息,并加入當(dāng)前節(jié)點輸入的某些維度信息.并根據(jù)這些隱藏信息輸出當(dāng)前時刻的輸出yt,如下:

本文的GRU 網(wǎng)絡(luò)是時間步長為6的雙向GRU 網(wǎng)絡(luò),正向GRU 網(wǎng)絡(luò)主要提取正向時間(相當(dāng)于歷史時期)步間的依賴信息.反向GRU 網(wǎng)絡(luò)則主要提取反向時間(相當(dāng)于未來時期)步的依賴信息,這樣保證提取到更加全面的特征信息.

1.2 組合特征

階段2 主要融合雙向GRU 網(wǎng)絡(luò)的隱藏單元特征.其中在GRU 網(wǎng)絡(luò)的訓(xùn)練階段,我們嘗試了拼接和取均值的兩種融合方式.經(jīng)過訓(xùn)練對比后發(fā)現(xiàn)拼接要比取均值效果更好,具體的訓(xùn)練細(xì)節(jié)以及原因分析在后面章節(jié)進行詳細(xì)說明.最后我們給出如式(6)所示的方案:

其中,表示向量拼接操作,舉例來說h1t=|x|r*c,h2t=|x|r*e,則F=|x|r*(c+e).

F輸出了時序特征向量.將時序特征與離散特征共同作為最終預(yù)測模型的特征輸入,此時的時序特征在數(shù)據(jù)形態(tài)上與離散特征相同.

1.3 預(yù)測算法

本文核心算法使用LightGBM,LightGBM 訓(xùn)練效率高、低內(nèi)存使用、準(zhǔn)確率更高、并且支持并行學(xué)習(xí)等優(yōu)勢,非常適合處理特征維度大,數(shù)據(jù)量大的電力數(shù)據(jù).

LightGBM是GBDT的一個變種.基于boosting增強策略的加法模型,訓(xùn)練的時候采用前向分布算法進行貪婪學(xué)習(xí),每次迭代都學(xué)習(xí)一顆CART 樹來擬合前t-1 棵樹的預(yù)測結(jié)果與訓(xùn)練樣本真實值的殘差.Light-GBM 提出了基于梯度的單側(cè)采樣GOSS 算法.GOSS算法的算法思想是去掉很大一部分梯度很小的數(shù)據(jù),只使用剩下的去估計信息增益.由于梯度大的數(shù)據(jù)在計算信息增益的時候更重要,所以GOSS 在小很多的數(shù)據(jù)上仍然可以取得相當(dāng)準(zhǔn)確的估計值.具體做法是保存梯度絕對值較大的a的數(shù)據(jù),然后對剩下的(1-a)的數(shù)據(jù),再隨機選取b的量.最終使用a+(1-a)b的數(shù)據(jù)量參與下一輪訓(xùn)練.但是這樣會引起分布變化,所以對隨機選擇的那部分樣本要乘以(1-a)/b.

1.4 模型評價標(biāo)準(zhǔn)

模型選用均方根誤差(Root Mean Square Error,RMSE),均方根誤差亦稱標(biāo)準(zhǔn)誤差,是觀測值與真值偏差的平方和與觀測次數(shù)N比值的平方根,是用來衡量觀測值同真值之間的偏差.RMSE的公式如下:

其中,N為樣本數(shù),yi為第i條樣本的真實值,pi為第i條樣本的預(yù)測值.

2 模型的訓(xùn)練方案

根據(jù)第1 節(jié)對模型結(jié)構(gòu)的闡述,本文模型屬于多個子模型的嫁接.一次訓(xùn)練整個模型比較困難,加上RNN 網(wǎng)絡(luò)本身收斂難度大因此整個網(wǎng)絡(luò)一起訓(xùn)練比較困難.所以在模型訓(xùn)練上本文使用fine-turning的思想.首先訓(xùn)練雙向GRU 網(wǎng)絡(luò),訓(xùn)練后的雙向GRU 網(wǎng)絡(luò)作為時序特征提取器.本文算法基于Tensorflow 框架編寫完成,選用了內(nèi)置ADAM 優(yōu)化算法作為GRU 網(wǎng)絡(luò)的優(yōu)化器.并在輸出層中添加DROPOUT 層,比率選擇0.5.在實際測試中dropout 層加入在預(yù)測準(zhǔn)度和運行時間上都有所優(yōu)化.

特征提取器訓(xùn)練完成后組合LightGBM 算法,進行模型的整體訓(xùn)練.在模型的整體訓(xùn)練階段,將特征提取器每個GRU 單元的輸出結(jié)構(gòu)移除然后模型整體參與訓(xùn)練.在訓(xùn)練階段使用反向傳播,更新LightGBM的參數(shù)及雙向GRU 網(wǎng)絡(luò)的參數(shù).

2.1 特征提取網(wǎng)絡(luò)預(yù)訓(xùn)練

首先訓(xùn)練雙向GRU 網(wǎng)絡(luò),通過分析電負(fù)荷在一天中變化發(fā)現(xiàn)＜這個地方為貼那張負(fù)荷變化圖,然后解釋一下＞每4 個小時為一個變化趨勢,所以使用4 個GRU時間步.t=1時的輸入,預(yù)測t=2刻的電負(fù)荷,以此類推最后一個時刻t的輸入預(yù)測t+1時刻的電負(fù)荷.

特征提取雙向GRU 網(wǎng)絡(luò)的訓(xùn)練效果如圖3所示.

圖3 F 函數(shù)使用拼接方案的訓(xùn)練過程圖

2.2 模型整體訓(xùn)練

模型整體訓(xùn)練,首先將雙向GRU 網(wǎng)絡(luò)的y 輸出刪掉,如圖4所示.預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò)最后一個狀態(tài)的只輸出對應(yīng)的隱狀態(tài).之所以這樣做是因為雙向GRU 網(wǎng)絡(luò)只負(fù)責(zé)時序特征的提取,并且在整個網(wǎng)絡(luò)訓(xùn)練階段參與訓(xùn)練.如果保留原GRU 網(wǎng)絡(luò)的y輸出,在反向傳播時GRU 網(wǎng)絡(luò)也會根據(jù)自身y的輸出進行參數(shù)的更新,這與從lightGBM 產(chǎn)生的梯度信息產(chǎn)生重合,導(dǎo)致更新量過多,最終導(dǎo)致模型效果不佳.

圖4 模型整體訓(xùn)練

模型從前向后一次經(jīng)過預(yù)訓(xùn)練的GRU 網(wǎng)絡(luò),輸出雙向的隱狀態(tài).然后拼接隱狀態(tài)輸入LightGBM中最終由LightGMB 輸出預(yù)測的電負(fù)荷值.然后訓(xùn)練過程中,直接使用梯度下降法依次更新LightGBM和GRU的內(nèi)部參數(shù).在超參數(shù)的調(diào)整上只調(diào)整LightGBM的參數(shù),不對預(yù)訓(xùn)練的模型以及超參數(shù)做任何修改.我們調(diào)整的LightGBM 參數(shù)有:(1)學(xué)習(xí)率.學(xué)習(xí)率對樹模型的調(diào)參非常重要,最終選擇了比較大的學(xué)習(xí)率0.1.(2)樹的深度和葉子結(jié)點數(shù)目.使用網(wǎng)格搜索的方法最終得到7和80 兩個值.其他參數(shù)我們使用了默認(rèn)值.

本文在訓(xùn)練中對F函數(shù)的兩種方案進行了分別測試.其中使用均值方案訓(xùn)練過程圖如圖5所示.觀察圖5發(fā)現(xiàn)在迭代7 萬次后整個模型還沒有收斂狀態(tài),并且RMSE值較高.而拼接方案的效果則比較好,已經(jīng)收斂并且RMSE值較低.F函數(shù)使用拼接方案的訓(xùn)練過程圖如圖6所示.

圖5 F 函數(shù)使用均值方案的訓(xùn)練過程圖

圖6 雙向GRU 網(wǎng)絡(luò)的訓(xùn)練效果

3 實驗仿真

3.1 數(shù)據(jù)集準(zhǔn)備

本文的數(shù)據(jù)集來自遼寧省某市區(qū)的2013 至2019年的電力數(shù)據(jù).數(shù)據(jù)選取的時序特征主要包括:上一小時電力負(fù)荷、溫度、濕度、風(fēng)力、降雨量等,非時序特征為:區(qū)域電價、是否為節(jié)假日、是否發(fā)生重大社會事件、社會事件影響程度等級、電力設(shè)備使用年限等.

我們首先從數(shù)據(jù)集中使用2013～2014年一年的數(shù)據(jù)訓(xùn)練雙向GRU 網(wǎng)絡(luò).然后使用后面的數(shù)據(jù)訓(xùn)練整個算法模型.前文提到我們進行模型的整體訓(xùn)練時,也要更新GRU 網(wǎng)絡(luò)的參數(shù)的另一個原因是我們訓(xùn)練的GRU 網(wǎng)絡(luò)所使用的數(shù)據(jù)時間比較早.電負(fù)荷環(huán)境會隨著社會進步發(fā)生變化,直接使用較早時間訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)可能對特征的提取產(chǎn)生偏差.為了緩解這種偏差考慮對GRU 網(wǎng)絡(luò)的參數(shù)進行更新.

3.2 不同模型對比

我們主要對比了前文提到的LSTM、XGBoost 以及CVR與CNN 結(jié)合的方法.如表1所示.

表1 不同模型之間不同指標(biāo)結(jié)果對比

4 結(jié)論與展望

通過實驗結(jié)果表明,預(yù)訓(xùn)練GRU-LightGBM 模型與其他模型相比在負(fù)荷預(yù)測的精度上有很大提高.本文方法即考慮歷史負(fù)荷數(shù)據(jù)、溫度等時許特征對電力負(fù)荷的影響,也考慮到社會、特殊事件等非時序特征對短期電力負(fù)荷預(yù)測的影響.總的來說,針對時序特征進行預(yù)訓(xùn)練再與非時序特征相結(jié)合放入預(yù)測模型訓(xùn)練的方法是切實有效的.