基于XGBOOST-DNN的中期電力負(fù)荷預(yù)測(cè)①

楊 洋,谷震浩

1(中國(guó)科學(xué)院大學(xué),北京 100049)

2(中國(guó)科學(xué)院 沈陽(yáng)計(jì)算技術(shù)研究所,沈陽(yáng) 110168)

電力負(fù)荷預(yù)測(cè)在電力系統(tǒng)調(diào)度、維護(hù)和容量規(guī)劃等方面起著至關(guān)重要的作用,對(duì)指導(dǎo)電網(wǎng)規(guī)劃建設(shè)和改善電力系統(tǒng)資源的優(yōu)化配置具有重要意義.實(shí)際的電力負(fù)荷預(yù)測(cè)分為短期、中期和長(zhǎng)期預(yù)測(cè).短期負(fù)荷預(yù)測(cè)(Short Term Load Forecasting,STLF) 與未來(lái)幾小時(shí)到幾天的負(fù)荷預(yù)測(cè)相關(guān),中期負(fù)荷預(yù)測(cè)(Medium Term Load Forecasting,MTLF) 則處理以幾周到幾個(gè)月為目標(biāo)的預(yù)測(cè),長(zhǎng)期負(fù)荷預(yù)測(cè)(Long Term Load Forecasting,LTLF) 則是處理一年到幾年的負(fù)荷預(yù)測(cè).LTLF可以協(xié)助規(guī)劃新的電力系統(tǒng);MTLF 有助于系統(tǒng)維護(hù)、購(gòu)買能源和定價(jià)計(jì)劃;而 STLF在配電和負(fù)荷調(diào)度中起著關(guān)鍵作用.MTLF是一項(xiàng)及具有挑戰(zhàn)性的任務(wù),因?yàn)樗枰谳^長(zhǎng)的時(shí)間內(nèi)完成及長(zhǎng)期指導(dǎo)和預(yù)測(cè)的功能.

在前沿工作者的研究當(dāng)中,短期電力負(fù)荷預(yù)測(cè)的算法種類較多,豐富多樣.如Chen 等[1]在2018年提出了一種引入深度殘差網(wǎng)絡(luò)結(jié)構(gòu)的短期電力負(fù)荷模型;孔祥玉等[2]在2019年提出了一種基于模態(tài)分解與特征相關(guān)分析的短期負(fù)荷預(yù)測(cè)方法;Del Carmen Ruiz-Abellón 等[3]在2018年驗(yàn)證了集成學(xué)習(xí)方法隨機(jī)森林在短期電力負(fù)荷的有效性.肖勇等[4]在2020年提出了基于多尺度跳躍深度長(zhǎng)短期記憶網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)方法.在中長(zhǎng)期的電力負(fù)荷預(yù)測(cè)的研究工作中,傅靖等[5]在2020年提出了基于基因表達(dá)式編程的中長(zhǎng)期電力負(fù)荷預(yù)測(cè)算法,并通過(guò)仿真實(shí)驗(yàn)驗(yàn)證了其算法的精確性;王軍[6]在2018年提出了基于深度神經(jīng)網(wǎng)絡(luò)的中期電力負(fù)荷預(yù)測(cè),在中期的負(fù)荷數(shù)據(jù)分析處理和神經(jīng)網(wǎng)絡(luò)模塊中給出了具體的處理方案;陳家慧[7]在2019年提出了灰色理論與深度神經(jīng)網(wǎng)絡(luò)在電力系統(tǒng)中長(zhǎng)期負(fù)荷預(yù)測(cè)中的應(yīng)用方案.

在本文中,我們提出了基于XGBoost和DNN 模型相結(jié)合的XGBoost-DNN 算法,最大程度地利用除負(fù)荷時(shí)序特征以外的特征信息,并引入短期電力負(fù)荷的預(yù)測(cè)形成的交叉特征到最終的中期電力負(fù)荷模型中.

1 電力負(fù)荷預(yù)測(cè)的影響因素

電力負(fù)荷預(yù)測(cè)的數(shù)據(jù)主要是以時(shí)序形式存儲(chǔ),其影響因素非常復(fù)雜,因此需要觀察不同時(shí)間段的天氣、溫度、濕度、節(jié)假日、經(jīng)濟(jì)狀況來(lái)對(duì)數(shù)據(jù)進(jìn)行不同角度的分析.這里我們主要采用的數(shù)據(jù)源于全球能源大賽GEF-Com2017,其中的更多數(shù)據(jù)細(xì)節(jié)可以參考文獻(xiàn)[8]進(jìn)行查閱.該數(shù)據(jù)提供了橫跨美國(guó)新英格蘭的8 個(gè)區(qū)域的小時(shí)級(jí)電力負(fù)荷數(shù)據(jù),還提供了包括干球溫度和露點(diǎn)溫度在內(nèi)的每小時(shí)天氣數(shù)據(jù).當(dāng)前數(shù)據(jù)的分析主要取2003年3月到2017年12月時(shí)期所有區(qū)域總和的負(fù)荷數(shù)據(jù),溫度是8 個(gè)地區(qū)氣象站的加權(quán)值,根據(jù)文獻(xiàn)[8]所解釋，每個(gè)負(fù)荷區(qū)對(duì)應(yīng)的氣象站是根據(jù)其與負(fù)荷區(qū)地理位置的接近程度來(lái)表示的“最佳選擇”,并不代表負(fù)荷區(qū)的“實(shí)際天氣”,而僅代表所列氣象站,其權(quán)重?cái)?shù)據(jù)可具體參見(jiàn)GEF-Com2017 數(shù)據(jù)集.

受于數(shù)據(jù)所限,本文的負(fù)荷數(shù)據(jù)影響因素的分析將在干球溫度和露點(diǎn)溫度的數(shù)據(jù)上進(jìn)行.如圖1和圖2所示,我們可以獲取到從2003年到2017年在以小時(shí)為粒度,溫度和真實(shí)需求負(fù)荷之間的散點(diǎn)圖,我們從中進(jìn)行了非線性函數(shù)的擬合,最終確定溫度和負(fù)荷之間的非線性關(guān)系.

圖1 露點(diǎn)溫度與負(fù)荷數(shù)據(jù)的散點(diǎn)圖

圖2 干球溫度與負(fù)荷數(shù)據(jù)的散點(diǎn)圖

數(shù)據(jù)在數(shù)據(jù)分析過(guò)程中,我們不得不去驗(yàn)證數(shù)據(jù)溫度的真實(shí)性,即其溫度數(shù)據(jù)是否符合我們的基礎(chǔ)認(rèn)知(呈現(xiàn)線性關(guān)系).如圖3所示,我們將所有的干球和露點(diǎn)數(shù)據(jù)進(jìn)行了散點(diǎn)圖的可視化,并進(jìn)行了線性函數(shù)的擬合.可以發(fā)現(xiàn),干球溫度和露點(diǎn)溫度小時(shí)粒度的區(qū)分度非常明顯,并且線性擬合的函數(shù)滿足于我們的基礎(chǔ)認(rèn)知的數(shù)據(jù)特性.

圖3 露點(diǎn)溫度與干球溫度數(shù)據(jù)的散點(diǎn)圖

除以上干球和露點(diǎn)溫度的影響因素外,其負(fù)荷數(shù)據(jù)本身便存在一定的周期性變化,如圖4所示,可以看出數(shù)據(jù)在2003年到2017年之間,每一年的負(fù)荷數(shù)據(jù)都呈現(xiàn)了3 個(gè)峰頭和3 個(gè)峰谷的周期性變化.因此,與周期性變化具有強(qiáng)關(guān)聯(lián)性的時(shí)間特征是需要重點(diǎn)挖掘的數(shù)據(jù)特征,比如季節(jié)、月份、上下旬、工作日、周末等.

圖4 負(fù)荷數(shù)據(jù)的周期性變化圖

2 XGBoost-DNN 模型算法

本文所提出的XGBoost-DNN 模型算法主要是由XGBoost和DNN 兩個(gè)模塊,前者作為特征處理器,利用短期負(fù)荷預(yù)測(cè)對(duì)原始數(shù)據(jù)進(jìn)行用來(lái)學(xué)習(xí)特征到目標(biāo)的映射關(guān)系,后者將學(xué)習(xí)的映射關(guān)系(葉子節(jié)點(diǎn))作為特征接入到DNN 模型中去學(xué)習(xí)中期電力負(fù)荷的時(shí)序目標(biāo),由此完成中期電力負(fù)荷的預(yù)測(cè)任務(wù).

2.1 XGBoost

樹(shù)模型具備一般的if-then 結(jié)構(gòu),簡(jiǎn)單的決策樹(shù)模型會(huì)將輸入數(shù)據(jù)集的特征空間進(jìn)行劃分,每個(gè)數(shù)據(jù)樣本最終會(huì)被分在特征空間的子空間中,也就是每個(gè)數(shù)據(jù)樣本會(huì)落在決策樹(shù)上的某一個(gè)葉子節(jié)點(diǎn)上,而該葉子節(jié)點(diǎn)得益于if-then 結(jié)構(gòu)的原因就具備了一個(gè)天然的特征交叉效果,如圖5所示,在Tree1 中,如果樣本A落在第一個(gè)葉子節(jié)點(diǎn)上,那么可以獲得＜age＜15 &gender=male＞的二階交叉特征.因此,通過(guò)樹(shù)模型我們可以很自然地獲取到高階的交叉特征,基于這類特性,我們選擇樹(shù)模型可以將時(shí)序特征和類別特征加工成豐富的交叉特征.

圖5 樹(shù)模型的特征交叉

在樹(shù)模型的演化歷史中,集成學(xué)習(xí)中的樹(shù)模型又被分為了以隨機(jī)森林(random forest) 模型為代表的bagging 思想和梯度提升樹(shù)(Gradient Boosting Decision Tree,GBDT)為代表的Boosting 思想,兩者都是使用弱學(xué)習(xí)器的集成學(xué)習(xí)方式對(duì)需求任務(wù)進(jìn)行學(xué)習(xí),其中主要的不同是,前者是分為多個(gè)子模型對(duì)放回抽樣的數(shù)據(jù)進(jìn)行多次決策,最終預(yù)測(cè)結(jié)果依賴于全部子模型的投票結(jié)果,后者是將多個(gè)子模型進(jìn)行堆疊,后一個(gè)子模型在前一個(gè)子模型的基礎(chǔ)上學(xué)習(xí)其剩余的殘差,即一個(gè)樣本不再只落在一棵樹(shù)的葉子節(jié)點(diǎn)上.如圖5所示,當(dāng)一個(gè)樣本A 通過(guò)Boosting的樹(shù)模型,并且落在Tree1的第一個(gè)葉子結(jié)點(diǎn)和Tree2的第一個(gè)葉子節(jié)點(diǎn),那么我們可以得到＜Age＜15 &gender=male＞和＜useComputer=yes &isKid=yes＞作為樣本A的高階特征表達(dá).

XGBoost (eXtreme Gradient Boosting)算法是由華盛頓大學(xué)陳天奇博士基于GBDT和隨機(jī)森林提出的高效和廣泛使用的集成學(xué)習(xí)方法,既可以應(yīng)用于分類任務(wù)中,也可以應(yīng)用在回歸問(wèn)題中.相比GBDT和隨機(jī)森林,XGBoost不僅具備更加良好的精確性,還添加了正則化項(xiàng)增強(qiáng)了模型的泛化效果,同時(shí)支持并行化特征選擇使其具備了更加高效的學(xué)習(xí)方式去提升模型的訓(xùn)練速度.損失函數(shù)的計(jì)算公式如下:

其中,是第t次迭代中第i個(gè)樣本的預(yù)測(cè)結(jié)果,ft(xi)是第當(dāng)前迭代中第i個(gè)樣本的預(yù)測(cè)函數(shù),Ω(ft)是正則項(xiàng).

基于此,樹(shù)模型本身的交叉特性和XGBoost的高精確性是我們選擇它的主要因素.借助XGBoost 模型對(duì)中長(zhǎng)期電力負(fù)荷預(yù)測(cè)任務(wù)進(jìn)行預(yù)訓(xùn)練,將中長(zhǎng)期電力負(fù)荷預(yù)測(cè)的特征數(shù)據(jù)接入到XGBoost 模型中,預(yù)測(cè)Label 由多目標(biāo)轉(zhuǎn)為單目標(biāo),即取最近的時(shí)序負(fù)荷作為目標(biāo)Label,預(yù)測(cè)任務(wù)是短期負(fù)荷預(yù)測(cè)任務(wù).該操作主要考慮到兩個(gè)因素,其一是樹(shù)模型本身不適用于做多目標(biāo)回歸任務(wù);其二是XGBoost在XGBoost-DNN的模型結(jié)構(gòu)里,承擔(dān)的主要任務(wù)是提供高階的交叉特征,而選擇最近時(shí)序的負(fù)荷數(shù)據(jù)作為目標(biāo)Label 有助于XGBoost 模型在學(xué)習(xí)過(guò)程中能更好地捕捉到以短期時(shí)序?yàn)槟繕?biāo)的特征結(jié)構(gòu)信息,讓DNN 模型學(xué)習(xí)到更豐富的特征空間.

2.2 DNN

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)是基于誤差反向傳播算法的前向神經(jīng)網(wǎng)絡(luò),具有較強(qiáng)的非線性擬合和學(xué)習(xí)能力,一般包含3 層網(wǎng)絡(luò):輸入層、隱含層和輸出層.每一層都是由許多神經(jīng)元組成,相同層的神經(jīng)元之間沒(méi)有任何連接,相鄰層則是完全互相連接,其中隱含層大多情況下不止一層,而其中每個(gè)隱層的每個(gè)神經(jīng)元都是非線性的激活函數(shù),如ReLU、Sigmoid 等.一般,DNN在工業(yè)界中是由機(jī)器學(xué)習(xí)轉(zhuǎn)到深度學(xué)習(xí)演進(jìn)過(guò)程中必不可少的模型,其強(qiáng)大的非線性擬合和學(xué)習(xí)能力是得到業(yè)界共識(shí)的.在中期電力負(fù)荷的領(lǐng)域里,DNN在多目標(biāo)的回歸任務(wù)中是學(xué)習(xí)時(shí)序關(guān)系必不可少的重要模型.它可以很好地捕捉到負(fù)荷數(shù)據(jù)到目標(biāo)的非線性映射關(guān)系,這是XGBoost 等樹(shù)模型所不能替代的.

2.3 XGBoost-DNN 算法

XGBoost-DNN 模型是由XGBoost和DNN 所構(gòu)成的組合模型,其模型結(jié)構(gòu)如圖6所示.在中期電力負(fù)荷預(yù)測(cè)的場(chǎng)景下一般是使用單個(gè)模塊來(lái)去實(shí)現(xiàn)特征信息的提取,如我們常使用LSTM 提取時(shí)序特征信息,使用DNN用來(lái)學(xué)習(xí)特征到目標(biāo)的非線性映射關(guān)系.目前在中長(zhǎng)期電力負(fù)荷領(lǐng)域下,使用DNN的單模塊模型在學(xué)習(xí)過(guò)程中更偏向于學(xué)習(xí)特征映射到多目標(biāo)的時(shí)序關(guān)系,對(duì)特征本身的特征捕捉能力較少.這里XGBoost作為子模塊之一,引入短期電力負(fù)荷的Label 作為單目標(biāo)回歸任務(wù)的學(xué)習(xí),相對(duì)中期電力負(fù)荷預(yù)測(cè)的多目標(biāo)回歸任務(wù),單目標(biāo)模型因?yàn)榫群蛽p失函數(shù)問(wèn)題會(huì)更多關(guān)注數(shù)據(jù)特征的深度挖掘,不會(huì)因?yàn)槎嗄繕?biāo)的Label之間存在時(shí)序關(guān)系從而導(dǎo)致模型更關(guān)注時(shí)序關(guān)系而忽略了特征本身.因此利用XGBoost 學(xué)習(xí)到的從數(shù)據(jù)到目標(biāo)的交叉特征,就是一份經(jīng)過(guò)深度挖掘后的豐富特征信息,利用這份預(yù)訓(xùn)練學(xué)習(xí)到的交叉特征結(jié)合原數(shù)據(jù)通過(guò)DNN的特性去學(xué)習(xí)中期電力負(fù)荷的時(shí)序關(guān)系,可在組合模型中降低DNN 單模型的學(xué)習(xí)閾值,并實(shí)現(xiàn)將中期電力負(fù)荷預(yù)測(cè)模型無(wú)法關(guān)注到的特征信息得以關(guān)注,以此來(lái)更適用于該場(chǎng)景下的預(yù)測(cè)任務(wù).其算法流程如下詳述:

圖6 XGBoost-DNN 模型結(jié)構(gòu)

1)XGBoost 獲取交叉特征:輸入層會(huì)將數(shù)據(jù)分為5 折輸入到XGBoost 模型中進(jìn)行一次短期負(fù)荷預(yù)測(cè),然后通過(guò)交叉預(yù)測(cè)的方式對(duì)每個(gè)樣本進(jìn)行預(yù)測(cè),進(jìn)而獲取到每一個(gè)樣本在XGBoost 中的所有葉子節(jié)點(diǎn).例如,假設(shè)模型共3 棵子樹(shù),并且Tree1、Tree2、Tree3分別對(duì)應(yīng)葉子節(jié)點(diǎn)數(shù)目為3,2,3,樣本數(shù)據(jù)分別落在第2,1,3的葉子節(jié)點(diǎn)上,其樣本數(shù)據(jù)獲得的交叉特征當(dāng)為[0,1,0,1,0,0,0,1]的特征向量.

2)特征工程:這里主要采用的是針對(duì)時(shí)間和負(fù)荷數(shù)據(jù)做了大量的特征處理,比如,在時(shí)間數(shù)據(jù)上,年、月、日,季度、工作日、節(jié)假日、小時(shí)、月份上下旬是我們所處理后的時(shí)間特征;在負(fù)荷數(shù)據(jù)上,我們生產(chǎn)了多階差分?jǐn)?shù)據(jù)(上一個(gè)時(shí)間點(diǎn)的負(fù)荷與當(dāng)前時(shí)間點(diǎn)的負(fù)荷差值)作為偏移值,這里只做了過(guò)去72 小時(shí)的差分特征.同時(shí),根據(jù)時(shí)間,為當(dāng)前時(shí)間點(diǎn)產(chǎn)出過(guò)去30 天的小時(shí)級(jí)負(fù)荷數(shù)據(jù),同時(shí)引入前一年同期的前后15 天小時(shí)級(jí)負(fù)荷數(shù)據(jù).最后,將類別特征做獨(dú)熱編碼的處理,并將全部產(chǎn)出特征和XGBoost所得到的交叉特征進(jìn)行拼接,即可得到全部轉(zhuǎn)換后的特征數(shù)據(jù).

3)DNN 訓(xùn)練:DNN 模塊這里主要采樣了3 層的結(jié)構(gòu),激活函數(shù)采樣ReLU,每層神經(jīng)元數(shù)目根據(jù)塔式變化進(jìn)行調(diào)整,并需保證最后一層輸出層是720 個(gè)神經(jīng)元,以此預(yù)測(cè)未來(lái)30 天時(shí)間里的負(fù)荷數(shù)據(jù).

3 實(shí)驗(yàn)分析

如前面所說(shuō),實(shí)驗(yàn)所采用數(shù)據(jù)源自于全球能源大賽GEF-Com2017,主要是從2013年3月到2017年的12月的負(fù)荷和溫度數(shù)據(jù).

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文中的實(shí)驗(yàn)環(huán)境是Docker 容器,鏡像是Tensor-Flow-GPU-1.4.0 版本,對(duì)應(yīng)Keras-2.25 版本,所用Python 版本是3.6.8.除此之外,其他配置為6 核CPU,24 GB 內(nèi)存,一塊Tesla P40 GPU,顯存23 GB.

3.2 實(shí)驗(yàn)評(píng)估指標(biāo)

為評(píng)估預(yù)測(cè)結(jié)果的性能,設(shè)置均方根誤差(RMSE)和平均絕對(duì)百分比誤差(MAPE)來(lái)去評(píng)估實(shí)驗(yàn)預(yù)測(cè)結(jié)果的性能.其中,n是樣本數(shù)目,m是預(yù)測(cè)未來(lái)時(shí)間點(diǎn)的個(gè)數(shù),xtrue(ij)是第i個(gè)樣本在第j個(gè)時(shí)間點(diǎn)的真實(shí)負(fù)荷數(shù)據(jù),xpred(ij)是第i個(gè)樣本在第j個(gè)時(shí)間點(diǎn)的預(yù)測(cè)負(fù)荷數(shù)據(jù).

3.3 實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)采用了Grid Search對(duì)XGBoost的參數(shù)進(jìn)行了調(diào)試,并通過(guò)控制變量法逐步對(duì)DNN 模型的參數(shù)進(jìn)行調(diào)優(yōu),在固定網(wǎng)絡(luò)層數(shù)的情況下,測(cè)試不同的超參數(shù)對(duì)模型整體的影響.如圖7所示,可以發(fā)現(xiàn)XGBoost-DNN的模型算法預(yù)測(cè)的某個(gè)樣本未來(lái)30 天里的負(fù)荷曲線圖,較之其他模型算法有較好的表現(xiàn),更接近于真實(shí)的預(yù)測(cè)結(jié)果.

圖7 各類算法在某一樣本上對(duì)未來(lái)30 天的預(yù)測(cè)結(jié)果

各個(gè)算法的評(píng)測(cè)結(jié)果見(jiàn)表1.從表1中可知,XGBoost-DNN的算法在所有的實(shí)驗(yàn)算法中擁有較好的指標(biāo)提升,可見(jiàn)這種架構(gòu)模型的性能較好.

表1 各類算法實(shí)驗(yàn)結(jié)果

4 結(jié)論與展望

本文將XGBoost 引入到DNN 進(jìn)行中長(zhǎng)期電力負(fù)荷預(yù)測(cè)之中,并將短期電力負(fù)荷和長(zhǎng)期電力負(fù)荷相結(jié)合.在實(shí)驗(yàn)過(guò)程中,采用了全球能源大賽GEF-Com2017的數(shù)據(jù),分別對(duì)每一個(gè)時(shí)間點(diǎn)進(jìn)行特征工程和模型訓(xùn)練的工作,并將XGBoost-DNN 算法和其他模型進(jìn)行了對(duì)比,驗(yàn)證了該模型架構(gòu)的準(zhǔn)確性,也證實(shí)了多特征交叉的有效性.