梯度提升樹在月售電量預測中的應用

四川中電啟明星信息技術有限公司 李歡歡 王紫鵬 倪平波 張 強

新電改背景下，對售電量進行精準預測，不僅有利于規(guī)避電力交易中心的偏差考核，更能提升競爭性售電公司的核心能力、促進公司良好運營。本文在此背景下研究梯度提升樹在月售電量預測中的具體應用。梯度提升樹是基于分類與回歸樹的boosting模型，常用于分類與回歸模型中。實驗證明，梯度提升樹在月售電量預測中具有優(yōu)異的表現(xiàn)，不僅可以作為特征篩選的重要工具，也可直接用作預測模型的預測中。

1.引言

月售電量預測是指在對歷史資料進行整理和分析的情況下，采用一定手段對未來月售電量進行估計或表述。無論是在國網(wǎng)公司的對標考核制度抑或在售電市場放開的今天，售電預測都是一項十分重要的工作，尤其是對于售電公司而言，售電預測準確率的高低將直接影響到偏差考核。偏差的電量值越大，罰款數(shù)額也就越高。準確地對月售電量進行預測對國網(wǎng)電力考核、以及售電公司的直接利益有著至關重要的現(xiàn)實意義與實用價值。

實際上早已有諸多學者對月售電量預測作了大量的研究與實際工作。主要通過神經(jīng)網(wǎng)絡模型尋找用電量與各影響因素之間的非線性關系進行擬合，即根據(jù)給定的訓練樣本，可調(diào)整神經(jīng)網(wǎng)絡的參數(shù)以使網(wǎng)絡輸出接近于已知的樣本類標記。但是神經(jīng)網(wǎng)絡一般具有較多的參數(shù)，需要大量的樣本進行訓練，在成立不久售電公司中應用難度較高。ARIMA是典型的時間序列處理模型，它主要原理是許多非平穩(wěn)序列在經(jīng)過差分后會顯示出平穩(wěn)序列的性質(zhì)，而對差分平穩(wěn)序列可以使用AR、MA模型進行擬合。利用ARIMA根據(jù)歷史的數(shù)據(jù)對未來數(shù)據(jù)進行預測并在其基礎上進行改進。其優(yōu)點是簡單易行、樣本需求量不高。但由于其本質(zhì)是在前一序列基礎上的上下浮動，因此對于波動較大的序列，預測精度將會受到影響。提出了一種基于改進灰色理論的中長期負荷預測方法研究，該方法在經(jīng)典灰色預測GM（1，1）模型的基礎上，首先利用三點平滑法對歷史數(shù)據(jù)進行預處理，然后再構建基于等維新息矩陣的GM（1，1）模型，最后利用殘差處理方法對預測結(jié)果進行修正。引入支持向量機模型，將歷史負荷、預測日最高溫度、平均溫度、平均風速、平均相對濕度作為日最大(最小)負荷預測模型的輸入建立最大(最小) 負荷的回歸模型。

實際上分類與回歸樹（CART，Classify and Regress Tree）作為機器學習的常用算法之一，不僅在分類中有著出色的性能，在回歸預測中也有優(yōu)異的表現(xiàn)。尤其是基于CART的集成學習方法，在回歸分析中大放異彩。本文主要提出梯度提升樹(GBDT，Gradient Boosting Decision Tree)模型在月售電預測中的具體應用，首先對梯度提升樹的基本原理作簡單介紹；然后詳細介紹影響因素的處理過程以及如何將算法應用到售電預測中；最后對某省會城市的歷史月份售電數(shù)據(jù)進行實驗。實驗證明，梯度提升樹在售電預測中具有優(yōu)異的表現(xiàn)能力。

2.GBDT介紹

GBDT是在提升樹（BDT, boosting decision tree）上的改進。提升樹（BDT, boosting decision tree）主要利用加法模型和前向分步算法實現(xiàn)學習的過程，每次用之前所有樹疊加的殘差重新學習。由于提升樹采取的損失函數(shù)是最小均方誤差，所以每步擬合的就是上一次的殘差（實際值-預測值）。但是針對一般的代價函數(shù)，往往沒那么容易優(yōu)化，因此Freidman提出了梯度提升算法：利用最速下降的近似方法，即利用損失函數(shù)的負梯度在當前模型的值，作為回歸問題中提升樹算法的殘差的近似值，擬合一個回歸樹。

其主要的實現(xiàn)原理如下：

（1）初始化：

（2）對每顆樹執(zhí)行以下動作：

a）對每個樣本，計算損失函數(shù)在當前模型的負梯度作為殘差估計值；

b）對于給定的rim擬合一顆回歸樹，得到樹的葉子節(jié)點

c）對于葉節(jié)點，計算：

利用線性搜索估計葉節(jié)點值，使得代價函數(shù)最小化；

d）更新回歸樹

（3）輸出梯度提升樹：

3.數(shù)據(jù)準備

3.1 數(shù)據(jù)采集

本實驗收集了某省會城市從2008年12月到2017年6月份的用電數(shù)據(jù)，總計104個。然后分析影響用電的主要因素，重點采集了市商品房新開工面積、社會消費總額、大工業(yè)完成新裝、增容、氣溫等影響因素。同時，考慮到節(jié)假日對大工業(yè)用電的影響，因此將每月的節(jié)假日天數(shù)作為獨立屬性加入影響因素中，累計共33個影響因素。

3.2 數(shù)據(jù)預處理

實際上基于決策樹的集成模型對于數(shù)據(jù)的包容度非常高，不需要對數(shù)據(jù)做太多處理便可直接送入模型中進行訓練。這里為了獲取更好的性能主要對數(shù)據(jù)進行如下處理：

偏度檢測：對于數(shù)值型因素，檢測其是否為正太分布，如果不是的話，對數(shù)值進行相應的數(shù)據(jù)變換使其接近正太分布，如log1p、x^2等。時間因素：將年份、月份數(shù)據(jù)提取出來，作為單獨的影響因素。類別數(shù)據(jù)：對于類別數(shù)據(jù)進行one-hot編碼。

4.實驗過程

該實驗將本月用電量及影響因素作為屬性，用于預測下一個月的用電量：

（1）將前83個數(shù)據(jù)作為訓練數(shù)據(jù)，后20個數(shù)據(jù)作為預測數(shù)據(jù)。

（2）整個實驗過程歷經(jīng)數(shù)據(jù)處理、模型調(diào)參、訓練與預測等環(huán)節(jié)，并以均方誤差根作為評判標準。

（3）為消除時序因素帶來的影響，實驗采用依次迭代的方法。每次訓練完之后，只預測下一個月的用電量；如需繼續(xù)預測，則需要對模型重新進行訓練。

整個實驗過程設置一個對照組，兩個實驗組：

對照組：直接利用傳統(tǒng)的時間序列ARIMAX模型對下月售電量進行預測；

實驗組1：用GBDT模型對下月售電量進行預測；

實驗組2：將GBDT用于影響因素的篩選，并將篩選后的影響因素再送入ARIMAX模型中進行預測。

5.實驗結(jié)果

基于傳統(tǒng)的時序預測ARIMAX模型與基于GBDT模型預測的比較，對照組與實驗組1結(jié)果如下：

基于GBDT模型的RMSE：49320.2

基于ARIMAX模型的RMSE：57121.2

圖1 對照組與實驗組1預測曲線Fig.1 Predictive curve of control group and experimental Group 1

總體而言GBDT模型比ARIMA性能要好，損失代價更少。同時，ARIMA前期擬合度較高，但是后期效果GBDT更佳。這是因為對于ARIMA模型，其訓練數(shù)據(jù)數(shù)量要求并沒有很高，即很小的數(shù)據(jù)也能有較好的擬合效果。但是隨著訓練數(shù)據(jù)的增加，GBDT的回歸預測能力越來越強，與實際曲線也越來越接近。實驗證明GBDT在月售電預測上有著優(yōu)異的性能。

傳統(tǒng)的時序預測ARIMA模型在有無GBDT模型進行影響因素篩選情況下，對照組與實驗組2結(jié)果如下：

基于GBDT+ARIMAX模型的RMSE：47657.5

基于ARIMAX模型的RMSE：57121.2

圖2 對照組與實驗組2預測曲線Fig.2 Predictive curve of control group and experimental Group 2

可以看到，基于GBDT的ARIMAX模型在與真實值擬合上的趨勢也比單純的ARIMAX預測效果更好。對于GBDT模型，由于每次分裂都是其屬性選擇的過程，因此模型本身具有很強的特征工程的能力。通過將模型選擇后的特征重新送入新的訓練器，也會有較好的結(jié)果。

6.總結(jié)

GBDT作為決策樹模型的集成學習器，在回歸方面表現(xiàn)了非常優(yōu)異的性能。本論文提出逐步預測的方式、以消除時間因素帶來的影響，在月售電預測上展現(xiàn)了比ARIMAX更加優(yōu)異的性能。該模型不僅可以用作對售電量的精準預測，還可以作為特征選擇算法對眾多影響因素進行特征篩選，可根據(jù)實際場景需求進行完善。