一種基于XGBoost 算法的月度負荷預測方法

錢仲文， 陳 浩， 紀德良

（1. 國網浙江省電力有限公司， 杭州 310007； 2. 浙江華云信息科技有限公司， 杭州 310008）

0 引言

負荷預測對電力系統的安全運行和電網企業的經濟效益有著重要意義， 一直以來， 短、 中、長期的電力負荷預測作為供電企業的重要工作，各類負荷預測方法和研究層出不窮， 經典的預測方法包括時間序列、 神經網絡、 SVM（支持向量機）、 灰色預測法等。 主流的電力負荷預測主要針對地區性、 行業性的宏觀負荷數據， 單個企業的負荷數據由于受企業生產、 宏觀政策等不確定因素影響， 缺乏周期性規律， 波動性大， 存在較大的模型預測誤差。

用電客戶， 尤其是大工業用戶的月度電力負荷數據與用電成本密切相關， 在當前電力改革大背景下， 電網企業可以利用自身的技術和數據優勢， 為大工業用戶提供月度負荷預測結果， 幫助企業合理選擇計費方式， 降低用電成本， 為客戶提供增值服務。

本文提出了一種應用XGBoost（極端梯度上升）算法[1]進行大工業用戶月度負荷預測的模型，通過綜合考慮天氣、 企業生產情況、 歷史負荷變化等因素， 預測企業月度負荷變化趨勢， 為企業業擴報裝提供科學的判斷依據。

1 基于XGBoost 模型的建立

1.1 XGBoost 原理

XGBoost 算法原理于2004 年由陳天奇提出[2]，是在GBDT（梯度提升決策樹）的基礎上對Boosting 算法的改進， 解決GBDT 算法模型難以并行計算的問題， 實現對模型過擬合問題的有效控制。

GBDT 是一種迭代的決策樹算法， 為便于求解目標函數， GBDT 常用回歸樹生長過程錯誤分類產生的殘差平方作為損失函數， 即通過擬合殘差平方構造損失函數。 隨著樹的生成， 損失函數不斷下降； 回歸樹生長過程每個分裂節點劃分時枚舉所有特征值， 選擇使得錯誤分類最少、 損失函數下降最快的特征值作為劃分點； 每一棵回歸樹學習的是之前所有樹的結論和殘差， 擬合得到一個當前的殘差回歸樹； 最后， 累加所有樹的結果作為最終結果。 GBDT 回歸樹生長過程如圖1所示。

圖1 GBDT 回歸樹生長過程

GBDT 回歸樹求取目標函數最優解只對平方損失函數方便求得， 對于其他的損失函數變得很復雜。 以最小平方損失確定分裂節點的選取， 僅考慮了回歸樹各葉節點預測精度， 在追求高精度的同時易造成模型復雜度提升， 造成回歸樹的生長出現過擬合。

XGBoost 算法模型對GBDT 上述兩個不足進行改進。 XGBoost 算法增加了對樹模型復雜度的衡量， 在回歸樹生成過程分裂節點的選取考慮了損失和模型復雜度[3]兩個因素， 在權衡模型低損失高復雜和模型低復雜高損失后[4]， 求取最優解，防止一味追求降低損失函數產生過擬合現象， 且速度快， 準確性高[5]， 是有效的集成學習算法[6]。XGBoost 回歸樹生長過程如圖2 所示。

圖2 XGBoost 回歸樹生長過程

通過推導， 最終的目標函數可簡化為：

式中： T 為回歸樹葉子數； Gj為所有數據在損失函數上的一階導數； Hj為所有數據在損失函數上的二階導數； γ 為葉節點個數代表的復雜度的懲罰系數； λ 為葉節點權重代表的復雜度的懲罰系數。

可見， 目標函數只依賴于每個數據點在誤差函數上的一階導數和二階導數， 通過二階泰勒展開式[7]的變換， 這樣求解其他損失函數變得可行。

XGBoost 目標函數根據研究的對象不同可進行自行定義， 具體可分為： 針對連續型研究變量，目標函數為線性回歸； 針對分類型研究變量， 目標函數可為邏輯回歸； 針對計數型研究變量， 目標函數為泊松回歸。

1.2 基于XGBoost 負荷預測模型的建立

1.2.1 樣本及數據預處理

本文采用XGBoost 模型對用戶每月最大負荷進行預測， 選取浙江某地市大工業用戶近5 年月度最大負荷數據及影響負荷因素指標數據作為樣本進行訓練建模。

由于負荷數據的獲取受設備和人為因素影響可能存在壞數據[8]， 會影響模型的準確性， 故在建模前需識別和替換負荷異常數據， 填補缺失數據； 影響負荷因素指標可能受偶然環境因素的影響， 需進行識別、 替換、 剔除、 填補操作； 對相關影響指標與負荷間的關聯性進行分析， 與負荷間存在復雜的非線性關系指標， 需對指標進行轉換； 對分類型影響因素指標進行獨熱編碼處理。處理步驟如下：

（1）負荷數據異常識別、 替換： 按用戶采用3σ 法則， 對于超出該用戶歷史5 年月度最大負荷±3σ取值的用±3σ 替代。

（2）負荷數據、 相關影響指標缺失填補： 按用戶采用歷史同期值進行填補。

（3）相關影響指標受偶然環境因素作用走勢明顯異常填補： 分別按用戶采用歷史同期值替換。

（4）指標轉換： 結合指標散點圖和關聯分析顯著性檢驗， 研究影響指標與負荷間關系， 并對指標進行相應轉換。

（5）分類指標處理： 對月份、 行業類別等分類變量進行獨熱編碼處理。

通過對模型指標數據的預處理， 填補缺失、替換異常、 尋找關聯挖掘指標間隱藏規律， 確保數據的完整性、 可用性、 有效性， 有利于提高模型準確性。

1.2.2 輸入輸出量的選擇

以浙江某地區大工業戶近5 年每月最大負荷數據為研究變量， 作為模型的輸出Y， 選擇關鍵指標進行建模是模型準確的保證[9]。 本文結合預處理結果， 選擇與月最大負荷關聯性較強的影響因素作為輸入變量X， 加入模型中。 具體的影響因素X， 分為以下幾類[10]：

（2）相關天氣指標： 預測月溫度、 濕度、 風力、天氣類型等的同期、 上期、 預報的n 個天氣指標B={b1， b2， …， bn}。

（3）用戶基本信息指標： 預測月用戶當前的戶齡、 行業、 合同容量、 用電類別等p 個基本信息指標C={c1， c2， …， cp}。

（4）企業生產情況指標： 預測月用戶生產計劃、 產值、 注冊資本等q 個生產情況指標D={d1，d2， …， dq}。

（5）行業整體情況指標： 預測月反映行業景氣度的r 個行業指標E={e1， e2， …， er}。

（6）節假日指標F={ f1， f2， …， fs}： 預測月所含節假日天數、 是否春節等s 個節假日指標。

（7）獨熱編碼變量G={ g1， g2， …， gt}： 基于上述幾類變量中的分類變量產生的獨熱編碼變量， 如天氣指標中的天氣類型； 用戶基本信息指標中的行業類別、 用電類別等分類指標產生的t個獨熱編碼變量指標。

1.2.3 負荷預測的XGBoost 模型

在當前的高中語文課堂教學中還存在很多的問題，部分教師還是習慣于采用“灌輸式”“照本宣科”的教學方法來對待學生，導致課堂氛圍較為枯燥，學生只能夠通過“死記硬背”的形式來學習高中語文知識，根本無法發揮出語文學科的育人功能，而在網絡時代，高中語文教師可以利用多媒體技術，把課本知識用圖片、聲音、視頻的形式展示出來，讓學生能夠全身心地投入到語文學習中去，加深對文章的理解與記憶，師生之間共同構建高效、和諧的語文課堂。

將選入模型的影響負荷預測因素變量轉化為稀疏矩陣， 形成XGBoost 建模數據； 將月最大負荷定義為XGBoost 模型輸出； 定義模型學習目標函數、 回歸樹生成參數等構造負荷預測的XGBoost 模型[11]。 XGBoost 可根據研究任務來確定目標函數。 本文研究任務為預測月度最大負荷， 負荷值屬于連續屬性變量， 學習任務是對負荷進行回歸預測， 故可選擇線性模型作為目標函數。

XGBoost 回歸樹的最大深度、 學習率、 迭代次數等參數均會影響預測精度。 通過對XGBoost 各參數進行交叉驗證測試， 調整優化模型參數[12]，得到模型精度最高的參數組合。

2 實例驗證

獲取實例數據， 分別采用傳統神經網絡、 支持向量機和XGBoost 3 類算法[13]進行模型效果測試， 通過對比分析， 對XGBoost 模型可行性進行驗證。

結合交叉驗證方法進行模型指標篩選和模型效果評估， 其中80%的樣本數據為測試集， 20%的樣本數據為驗證集。 為保證3 類算法具有可比性， 每種機器學習算法都采用相同的訓練集和測試集。 采用MAPE（平均絕對百分比誤差）、 RMSE（均方根誤差）和R2（R 平方值）3 種方法綜合評估模型性能[14]。

其中， MAPE 反映模型預測準確性， 其值越小， 代表模型預測準確性越高； RMSE 反映模型的平均誤差情況， 其值越小， 代表誤差越小； R2反映模型擬合效果， 其值越大， 代表這個模型對數據擬合越好。

式中： yi為歷史月最大負荷實際值；為模型預測值；為最大負荷平均值； n 為驗證集合數據樣本個數。

本文使用數據為浙江某地區部分大工業用戶近5 年每月最大負荷及其相關影響因素指標數據， 表1 為2018 年7 月部分用戶實際月最大負荷數據。

表1 部分用戶2018 年7 月最大負荷數據

2.1 指標測試與選擇

對用戶近5 年月最大負荷數據開展建模測試， 抽取前4 年歷史數據樣本作為訓練集， 最近1 年數據樣本作為測試集， 結合上述數據預處理和變量選取規則， 采取指標關聯分析、 指標變換、 因子降維等多種方法進行指標篩選[15]（如圖3 所示）。 經過模型多次迭代測試后， 保留預測誤差最小的指標體系。

圖3 指標篩選流程

針對本文使用的浙江某地區部分大工業用戶近5 年每月最大負荷及其相關影響因素指標數據， 采用XGBoost 算法， 以Gain（信息增益）指標對變量重要性進行排序， 其中重要性前十的變量如圖4 所示。

圖4 按變量重要性排序

2.2 模型預測效果對比

2.2.1 支持向量機模型負荷預測

針對本實例數據， 使用徑向機核函數將原始特征映射到高維線性空間， 尋找變量間線性關系（見圖5）。

圖5 函數尋找高維線性空間

經測試知設置懲罰因子Cost 為1 000， 決定數據映射到新特征空間分布的Gamma 為0.000 1時模型預測效果最佳，在測試集上MAPE=18.78%，RMSE=177.43， R2=0.988。

2.2.2 神經網絡模型負荷預測

針對本實例數據， 設置神經網絡隱藏層包含10 個神經元， 選取Sigmoid 為激活函數（見圖6）。 函數表達式為：

式中： w 為每個輸入的權重集合； b 為所有輸入的偏置； x 為輸入集合。

通過該激活函數轉化， 將輸入實數壓縮到0～1 區間。 通過多次測試， 最終權值衰減為0.01， 最大迭代次數為1 000 時， 模型預測效果最佳， 在測試集上，MAPE=14.37%，RMSE=190.21，R2=0.986。

圖6 Sigmoid 函數

2.2.3 XGBoost 模型負荷預測

針對本實例數據， 采用XGBoost 模型進行預測時， 根據研究對象， 定義目標函數為線性回歸。

通過交叉驗證， 最大深度為7， 學習率為0.3，迭代次數為60 時模型預測效果最佳。 在測試集上， MAPE=4.5%， RMSE=78.26， R2=0.998。 其交叉迭代誤差如圖7 所示。 3 種機器學習算法預測結果對比情況見表2。

圖7 交叉驗證迭代的RMSE

表2 3 類算法模型預測結果比較

由表2 的輸出結果可知， XGBoost 輸出的模型性能評估指標相比于支持向量機模型輸出的變化分別是：MAPE 降低14.28%，RMSE 降低99.17，R2提升0.01； 相比于神經輸出的變化分別是：MAPE 降低9.87%， RMSE 降低111.95， R2提 升0.012。

相比于支持向量機模型和神經網絡模型，XGBoost 模型的預測準確性高、 模型平均誤差小、模型數據擬合效果好。

綜上所述， XGBoost 模型預測效果最佳， 故保留XGBoost 算法對該地市大工業用戶用電負荷進行預測。

以某氣體有限公司（用戶1）為例， 該用戶合同容量6 060 kVA， 行業類別為化工業， 2018 年1—7 月的月度最大負荷實際值與預測值偏差情況如圖8 所示， 相對誤差最大值為2.3%。

圖8 2018 年用戶1 最大負荷預測值與實際值偏差率

以某化工有限公司（用戶9）為例， 該用戶合同容量10 000 kVA， 行業類別為化工業， 2018年1—7 月的月度最大負荷實際值與預測值偏差情況如圖9 所示， 相對誤差最大值為1.8%。

圖9 2018 年用戶9 最大負荷預測值與實際值偏差率

3 結語

隨著電力市場化改革和發展， 大工業用戶作為電力高價值客戶， 其用電負荷變化越來越受到售電公司的重視， 企業級負荷預測的重要性日趨顯著， 并且對預測的精準度要求也越來越高。 本文基于XGBoost 算法， 對比傳統神經網絡、 支持向量機算法模型， 對浙江某地市化工行業近5 年月度負荷數據進行建模和預測， 結果顯示， 采用XGBoost 模型MAPE 控制在5%以內， 對預測單個企業未來一個月的最大負荷數據效果較好。 本方法對幫助企業優化用電方式， 降低用電成本有一定的指導和借鑒意義。