用梯度提升決策樹實現電力負荷非線性影響因素分析

鄒鑫，羅涓

用梯度提升決策樹實現電力負荷非線性影響因素分析

鄒鑫，羅涓

（華北電力大學 經濟管理系，河北 保定 071003）

為了避免由因素冗余導致的預測精度下降，對比分析了6種集成機器學習模型的性能，發現梯度提升決策樹回歸模型性能最好。利用梯度提升決策樹進行特征重要性排序，選出顯著影響因素；然后通過計算偏依賴量來評估各影響因素與最大負荷之間的非線性關系；最后，運用長短期記憶預測模型對各個因素的組合進行驗證。結果表明，利用梯度提升決策樹可以有效捕捉最大負荷與各因素之間的非線性關系，且經過因素選擇和考慮溫度累積效應后，負荷預測準確度得到顯著提高。

新型電力系統；負荷預測；梯度提升決策樹；長短期記憶；非線性影響

0 引言

電力負荷預測對于電力系統規劃和運行至關重要。電力負荷預測主要分為短期、中期和長期預測3類。在“雙碳”目標下，準確而高效的短期電力負荷預測對于提高電力利用率、降低碳排放具有重要意義。

短期電力負荷預測主要包括收集并處理數據、特征選擇、模型訓練、預測等步驟。在進行負荷預測模型訓練前，分析負荷的相關影響因素是影響負荷預測準確性的關鍵環節。目前，對于負荷與各影響因素間線性關系的分析，學者大多聚焦于主成分分析法[1]、灰色關聯度分析法[2]以及皮爾遜相關系數[3]等方法。文獻[4]采用主成分分析方法對變量進行線性降維，隨后使用（Back propagation，BP）神經網絡進行負荷預測。文中考慮了因素間的關聯性，但忽略了負荷與影響因素間的非線性關聯。文獻[5]采用Pearson相關系數法選取到對冷熱電負荷影響顯著的相關因素，并利用長短期記憶（Long and short-term memory，LSTM）網絡對多元負荷進行了預測；但是文中未考慮各影響因素對熱電負荷的非線性影響。利用傳統的相關性方法僅能評估因素與最大負荷之間的線性關系，但是影響因素與最大負荷間的非線性關系不可忽略。

對于短期電力負荷預測方法，國內外學者主要從統計學、時間序列分析、機器學習和深度學習方法4方面展開了研究。

統計學方法主要包含多元線性回歸[6]和貝葉斯統計方法[7]等。這類方法建模復雜，不適用于特征變量和影響因素較多的情形[8]。

時間序列法主要包含指數平滑法[9]和卡爾曼濾波[10]等。這類方法的建模相對簡單，但缺少對因素間的非線性關系的考量。

機器學習法，如隨機森林[11]（Random forest，RF）和梯度提升決策樹（Gradient boosting decision tree，GBDT）[12]等，考慮了因素間的時間和非線性關系，具有強大的特征識別和特征重要性排序能力；但面對復雜的電力系統，該方法的預測精度略顯不足。

利用深度學習方法能夠高效地處理復雜的非線性時間序列數據；尤其LSTM模型適合用于處理歷史信息與當前信息間的關系。

在新型電力系統背景下，電力負荷預測受多種不確定性因素的影響，如溫度、濕度、風速以及節假日等。鑒于此，為了避免因素冗余影響預測結果，本文將GBDT用于特征提取和選擇，以更好地捕捉特征之間的非線性關系；利用LSTM對篩選出的關鍵因素進行負荷預測，在兼顧數據非線性的同時，降低整體的計算成本，提高訓練和預測的效率。

1 溫度累積效應及因素篩選模型

1.1 基于累積效應的溫度修正

溫度累積效應描述了負荷變化滯后于溫度變化的現象。

按照文獻[13]的方法，本文對夏季的最高溫度和平均溫度進行修正。

為保證溫度修正結果的合理性且滿足距預測日越近影響越大的原則，在溫度修正時滿足以下約束：

為從所有可能的修正系數組合中選出最優溫度修正系數值，采用Pearson相關系數檢驗修正后的平均溫度或最高溫度與最大負荷的相關性。

1.2 關鍵因素篩選模型的確立

目前，已有文獻提出了種類較多的負荷影響因素。為了減少影響因素冗余，本文采用機器學習方法對影響因素的重要程度做進一步分析，為后續預測模型的構建奠定基礎。

為了保證研究結果的客觀性和全面性，本文建立自適應提升（Adaptive boosting，AdaBoost）、極限梯度提升（eXtreme gradient boosting，XGBoost）、輕量級梯度提升機（Light gradient boosting machine，LGBM）、類別特征梯度提升（Categorical boosting，CatBoost）、RF以及GBDT共6種不同的機器學習方法的模型，并對比分析其模型性能，目的是選出最適合的方法對與最大負荷相關性較高的關鍵指標進行篩選；采用網格搜索對各模型參數進行優化，使所得到的特征重要性排序準確率更高。

在機器學習領域，XGBoost是一種用于解決分類和回歸問題的有監督機器學習算法。XGBoost的正則化有助于避免過擬合問題，但在每次預測時需要對整個數據集進行遍歷，這導致了其運算效率較低。

LGBM模型采用基于直方圖的算法來減緩高維數據的影響，其優點是相比XGBoost訓練時間更短，可防止預測系統過擬合[14]。

不同于LGBM，RF每個弱學習器之間不存在依賴關系，易于并行訓練；通過對參數的調整可實現預測誤差最小化。但是，在設置參數時，該算法存在任意性，這會在一定程度上影響RF的預測結果[15]。

CatBoost采用“有序原則”方式解決了XGBoost算法中存在的頻繁遍歷問題，從而提高了算法的泛化能力，使算法對于特征較少的數據也有較強的適用性，同時降低了過擬合的可能、增強了魯棒性[16]。

另外，AdaBoost通過多個弱分類器的線性組合得到了1個強分類器。在訓練過程中，AdaBoost使用樣本的權重來調整錯誤分類的樣本，重點關注了錯誤分類的樣本。

GBDT是GB（Gradient boosting）和DT（Decision tree）算法的結合。為實現數據預測，該算法構建了多棵決策樹，通過計算負梯度來改進模型[17]。GBDT可以看作是AdaBoost的一種推廣，對噪聲和異常值的魯棒性更強。

以上6種集成算法具有較強的數據處理能力和穩定性。本文對這6種方法測試集的決定系數2（Coefficient of determination）進行對比，進而選出用于對影響因素進行特征選擇和重要性分析的方法。

1.3 LSTM電力負荷預測模型

為了更好地處理時間序列數據中的時序依賴和動態變化[18]，本文基于所篩選出來的關鍵因素，采用LSTM模型對短期電力負荷進行預測。

LSTM是一種時間循環神經網絡，經常被用于時間序列預測。LSTM單元包括輸入門、遺忘門和輸出門。LSTM單元的設計可以影響模型的記憶能力和長期依賴能力，參數的調整可以影響模型的預測準確性和魯棒性[19,20]。LSTM模型構建的關鍵是對LSTM單元的設計和參數調整。

本文所使用的LSTM預測模型結構圖1所示。圖中，LSTM網絡隱藏層的層數設置為2；LSTM1的神經元個數為128，LSTM2的神經元個數為64。本模型考慮前5 d的因素影響，所以LSTM網絡隱藏層的步長為5。

圖1 LSTM預測模型

1.4 模型評價指標

本文使用均方根誤差（Root mean squared error，RMSE）、平均絕對誤差（Mean absolute error，MAE）、決定系數（2）來衡量AdaBoost、CatBoost、LGBM、RF、XGBoost、GBDT這6種機器學習方法的性能，使用平均絕對百分比誤差（Mean absolute percentage error，MAPE）來衡量LSTM模型預測效果。RMSE、MAE、MAPE、2等計算公式見文獻[21]。

2 實證分析

本文采用某省2020年至2022年5月—8月的數據進行實證分析。該省份氣候特點如下：夏季濕潤，降雨充沛，但由于地域廣泛，濕度存在較大差異，氣溫季節性鮮明。

自行采集得到數據共362組、2 896條，包含日電力負荷、風速、濕度、降雨量以及溫度信息。

本文中所有算法皆利用Python編程實現。

2.1 溫度修正結果

為了消除溫度累積效應，對2020年至2022年6月—8月的平均溫度與最高溫度進行修正，得到修正平均溫度和修正最高溫度。

基于式（1）—（3）對平均溫度和最高溫度的修正系數，，，分別進行計算，計算結果如表1所示。

表1 溫度的修正系數

根據表1中的溫度修正系數，對2020年至2022年6月—8月的平均溫度和最高溫度進行修正。以2022年8月12日至2022年8月24日數據為例，修正結果如表2所示。

由表2可知，2022年8月24日修正前的平均溫度和最高溫度相對于前一天分別下降了2 ℃和4 ℃，但最大負荷只下降了0.47 GW。8月15日和8月17日的平均溫度和最高溫度都高于8月 24日，但是最大負荷均小于8月24日的最大負荷，不符合常理。在對8月24日的溫度進行修正后，修正的平均溫度為33.58 ℃，修正的最高溫度為40.28 ℃，這樣便能解釋最大負荷為何下降幅度不大。

2.2 影響因素篩選分析

采用本文的方法對所選數據進行影響因素分析。基于上述溫度修正結果，被初步選取的影響因素如表3所示。

表2 修正前后溫度對比

表3 初步選取的最大負荷影響因素

對2020年至2022年5月—8月間的最大負荷影響因素與最大負荷的相關性進行分析，結果如圖2所示。

由圖2可知，需要用非線性研究方法來衡量最大負荷與其影響因素之間的非線性相關關系。

本文采用AdaBoost、CatBoost、LGBM、RF、XGBoost、GBDT方法進行特征值選取，使用90%的數據作為訓練集，10%作為測試集對362組數據進行計算分析，結果如表4所示。

由表4中6個模型的擬合精度可知，GBDT的性能最好，所以確定選用GBDT模型分析影響因素對最大負荷的影響程度。

圖2 2020年—2022年5月—8月最大負荷影響因素與最大負荷間的相關性分析

表4 各機器學習模型計算結果

利用訓練好的GBDT模型計算表3中的影響因素對最大負荷的重要性，所得到的特征序號以及特征重要性值如表5所示，特征重要性排序結果如圖3所示。

為了驗證表5、圖3結果的準確性，使用SHAP（Shapley additive explanation）對特征進行排序，排序結果如圖4所示。由圖4可知，SHAP特征重要性中前5項特征與GBDT模型下的前5項特征相同，這表明了顯著特征提取結果具有魯棒性。

表5 GBDT模型下的特征重要性表

根據本文實際情況，認為特征重要性大于0.03的特征為顯著特征[22]，即關鍵因素為修正平均溫度、修正最高溫度、年份、濕度、月份。

圖3 GBDT模型下的特征重要性

圖4 SHAP特征重要性排序

2.2.1 單因素影響分析

運用GBDT模型對所選出的顯著特征，逐步計算最大負荷對每個影響因素的偏依賴量，結果如圖5所示。圖5中各影響因素未呈線性相關關系，說明不能依賴于傳統的相關性分析方法，而是需要采用影響因素重要性的分析方法來研究最大負荷與這些影響因素之間的非線性關系。

由圖5可得出以下結論：

1）由圖5（a）可知，隨著修正最高溫度的升高，最大負荷也呈逐漸上升狀態。在33 ℃時最大負荷驟增，說明氣溫的升高導致用電負荷的增加。

2）在圖5（b）中，當修正平均溫度在28 ℃以下時，最大負荷隨修正平均溫度的上升逐漸升高；當修正平均溫度大于28 ℃時，最大負荷隨修正平均溫度的上升而逐漸降低。

3）從圖5（c）中可看出，最大負荷與月份在5月—7月中旬呈非線性的正相關關系，在7月中旬—8月呈非線性的負相關關系。

4）圖5（d）顯示，最大負荷在2020年至2021年與年份呈非線性的負相關關系，在2021年至2022年呈非線性的正相關關系。

5）圖5（e）顯示，在濕度小于62%以及在73%～77%時，隨著濕度逐步增加，最大負荷波動較大，其余段最大負荷處于較平穩狀態。

6）圖5（f）表明，休息日時，最大負荷較低；工作日用電量增加，最大負荷處于較高狀態。

圖5 最大負荷對各影響因素的偏依賴量

2.2.2 雙因素影響分析

利用偏依賴量對最大負荷進行雙因素影響分析，分別計算最大負荷對修正平均溫度/修正最高溫度和工作休息日的以及最大負荷對修正平均溫度/修正最高溫度和濕度的偏依賴量，計算結果如圖6所示。

圖6 修正平均溫度/修正最高溫度和工作休息日/濕度對最大負荷的影響

綜合分析圖6（a）和（b）、圖6（c）和（d）可知，在工作日，最大負荷對溫度較為敏感。隨著溫度的升高，最大負荷也會增加。

綜合分析圖6（e）和（f）、圖6（g）和（h）可知，最大負荷對特定的濕度段較為敏感。當濕度為60%以及高于77%時，隨著溫度的升高，最大負荷逐步增加。

綜合上述，不僅溫度對最大負荷產生了顯著影響，而且工作日情況和濕度條件也在此影響中起重要作用。

2.3 預測結果對比

基于以上分析，使用LSTM模型對最大負荷進行預測。為充分考慮內外因素，所選用的因素如表6所示。

表6 預測所選的因素

由表6可知，為形成對比，方案A考慮了最高溫度、平均溫度、濕度、月份、年份、工作休息日、降雨量、風速等未經特征重要性排列選擇過的因素；方案B中因素是經過特征重要性排列選擇出來的，但未考慮溫度累積效應，即只考慮了最高溫度、平均溫度、濕度、月份、年份、工作休息日等外部因素；方案C考慮了溫度的累積效應，對最高溫度和平均溫度進行了修正，其余外部因素與方案A相同；方案D則是在方案B的基礎上考慮了溫度累積效應，其余因素不變；而方案E在考慮溫度累積效應的基礎上還考慮了歷史負荷（即前一天最大負荷）。

根據表6所選的因素對2022年8月12日至2022年8月24日共13 d負荷進行預測，所得到的結果如圖7所示。

圖7 不同影響因素條件下的預測結果

計算各方案每天的預測最大負荷與真實最大負荷的MAPE，然后計算13 d的MAPE以及13 d中的最大MAPE值，結果如表7所示。

表7 不同影響因素條件下的預測誤差

對圖7和表7進行綜合分析，可得出以下結論：

1）對比方案A和方案B、方案C和方案D可知，13 d中的MAPE分別降低了1.548個百分點和2.6個百分點，13 d中最大的MAPE分別降低了2.204個百分點和1.883個百分點，說明用特征重要性分析對因素進行選擇對預測精度的提升有明顯作用。

2）通過對比方案B和方案D、方案A和方案C可知，13 d中的MAPE分別降低了1.783個百分點和2.835個百分點，13 d中最大的MAPE分別降低了2.980個百分點和2.661個百分點。這表明考慮溫度累積效應對提升預測精度有顯著效果。

3）方案E考慮了歷史負荷這個內部因素，所得到的準確率高于其他方案，表現最佳。

3 結論

本文運用GBDT提取出對最大負荷影響最大的因素，對所篩選出的因素進行重要性分析，并計算了最大負荷與顯著因素間的偏依賴關系。從單因素和雙因素2方面深入分析了修正平均溫度、修正最高溫度、年份、濕度、月份等顯著因素與最大負荷之間的非線性關系。最后，運用LSTM模型進行因素預測驗證。得出以下結論：

1）通過對6種不同的機器學習方法進行建模，并對比分析其計算結果，發現GBDT回歸模型性能最好。

2）通過GBDT進行重要性排序后選擇出顯著影響因素，不僅可以減少因素冗余，而且能夠提高負荷預測的準確性。

3）偏依賴圖顯示出，月份、年份、工作日和風速等因素與最大負荷之間存在非線性關系。

4）考慮歷史負荷等內部因素和溫度累積效應對預測準確性具有積極作用，可以提高預測準確性。

[1] 王艷松, 申曉陽, 李強, 等. 基于PCA-GRD-LWR模型的海上油田中長期最大電力負荷預測[J]. 中國石油大學學報(自然科學版), 2023, 47(2): 129-135. WANG YANSONG, SHEN XIAOYANG, LI QIANG, et al. Forecasting of medium and long-term maximum power load for offshore oilfields based on PCA-GRD-LWR model[J]. Journal of China University of Petroleum (Edition of Natural Science), 2023, 47(2): 129-135(in Chinese).

[2] 徐英, 李滿君, 段振興, 等. 基于灰色關聯分析的短期電力負荷預測系統[J]. 電子設計工程, 2022, 30(20): 185-188. XU YING, LI MANJUN, DUAN ZHENXING, et al. Short?term power load forecasting system based on grey relational analysis[J]. Electronic Design Engineering, 2022, 30(20): 185-188(in Chinese).

[3] 劉倩倩, 劉鈺山, 溫燁婷, 等. 基于PCC-LSTM模型的短期負荷預測方法[J]. 北京航空航天大學學報, 2022, 48(12): 2529-2536. LIU QIANQIAN, LIU YUSHAN, WEN YETING, et al. Short-term load forecasting method based on PCC-LSTM model[J]. Journal of Beijing University of Aeronautics and Astronautics, 2022, 48(12): 2529-2536(in Chinese).

[4] 徐江, 馮雪, 付兆慶, 等. 基于主成分分析和正則化神經網絡的電力負荷預測方法[J]. 內蒙古電力技術, 2021, 39(4): 33-37. XU JIANG, FENG XUE, FU ZHAOQING, et al. Power load forecasting method based on principal component analysis and regularized neural network[J]. Inner Mongolia Electric Power, 2021, 39(4): 33-37(in Chinese).

[5] 岳偉民, 劉青榮. 基于PCC-LSTM-MTL的綜合能源系統多元負荷預測[J]. 上海電力大學學報, 2022, 38(5): 483-487. YUE WEIMIN, LIU QINGRONG. Multi-energy load forecasting for integrated energy systems based on PCC-LSTM-MTL[J]. Journal of Shanghai University of Electric Power, 2022, 38(5): 483-487(in Chinese).

[6] 王寶財. 基于溫度近因效應的多元線性回歸電力負荷預測[J]. 水電能源科學, 2018, 36(10): 201-205. WANG BAOCAI. Load forecasting of multiple linear regression based on temperature recency effect[J]. Water Resources and Power, 2018, 36(10): 201-205(in Chinese).

[7] TZIOLIS G, SPANIAS C, THEODORIDE M, et al. Short-term electric net load forecasting for solar-integrated distribution systems based on Bayesian neural networks and statistical post-processing[J]. Energy, 2023, 271: 127018.

[8] 范杏蕊, 李元誠. 基于改進Autoformer模型的短期電力負荷預測[J/OL]. 電力自動化設備: 1-12[2024-01-15]. https://doi.org/10.16081/j.epae.202305011. FAN XINGRUI, LI YUANCHENG. Short-term power load forecasting based on improved Autoformer model[J/OL]. Electric Power Automation Equipment: 1-12[2024-01-15]. https://doi.org/10.16081/j.epae.20230 5011(in Chinese).

[9] 王亮, 王一鳴, 侯威, 等. 基于半指數支持向量回歸的電力負荷預測[J]. 國外電子測量技術, 2022, 41(12): 164-170. WANG LIANG, WANG YIMING, HOU WEI, et al. Electricity load forecasting based on half-exp support vector regression[J]. Foreign Electronic Measurement Technology, 2022, 41(12): 164-170(in Chinese).

[10] 陳培垠, 方彥軍. 基于卡爾曼濾波預測節假日逐點增長率的電力系統短期負荷預測[J]. 武漢大學學報(工學版), 2020, 53(2): 139-144. CHEN PEIGEN, FANG YANJUN. Short‐term load forecasting of power system for holiday point‐by-point growth rate based on Kalman filtering[J]. Engineering Journal of Wuhan University, 2020, 53(2): 139-144(in Chinese).

[11] 馮忠義, 王詠欣, 袁博, 等. 基于隨機森林和改進局部預測的短期電力負荷預測[J]. 水利水電技術(中英文), 2021, 52(S2): 300-305. FENG ZHONGYI, WANG YONGXIN, YUAN BO, et al. Short term load forecasting method based on random forests and improved local predictor[J]. Water Resources and Hydropower Engineering, 2021, 52(S2): 300-305(in Chinese).

[12] ZHANG T, HUANG Y, LIAO H, et al. A hybrid electric vehicle load classification and forecasting approach based on GBDT algorithm and temporal convolutional network[J]. Applied Energy, 2023, 351: 121768.

[13] BIAN H, WANG Q, XU G, et al. Research on short-term load forecasting based on accumulated temperature effect and improved temporal convolutional network[J]. Energy Reports, 2022, 8: 1482-1491.

[14] MASSAOUDI M, REFAAT S S, CHIHI I, et al. A novel stacked generalization ensemble-based hybrid LGBM-XGB-MLP model for short-term load forecasting[J]. Energy, 2021, 214: 118874.

[15] 韓旭光. 基于機器學習的電力負荷預測方法研究[D]. 淮南: 安徽理工大學, 2022. HAN XUGUANG. Research on power load forecasting method based on machine learning[D]. Huainan: Anhui University of Science and Technology, 2022(in Chinese).

[16] 柴敬, 張銳新, 歐陽一博, 等. 基于貝葉斯算法優化的CatBoost礦壓顯現預測[J]. 工礦自動化, 2023, 49(7): 83-91. CHAI JING, ZHANG RUIXIN, OUYANG YIBO, et al. CatBoost mine pressure appearance prediction based on Bayesian algorithm optimization[J]. Journal of Mine Automation, 2023, 49(7): 83-91(in Chinese).

[17] DELGADO-PANADERO á, HERNáNDEZ-LORCA B, GARCíA-ORDáS M T, et al. Implementing local-explainability in gradient boosting trees: feature contribution[J]. Information Sciences, 2022, 589: 199-212.

[18] 張文棟, 劉子琨, 梁濤, 等. 基于CNN-LSTM的綜合能源系統負荷預測模型[J]. 重慶郵電大學學報(自然科學版), 2023, 35(2): 254-262. ZHANG WENDONG, LIU ZIKUN, LIANG TAO, et al. Load prediction model of integrated energy system based on CNN-LSTM[J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2023, 35(2): 254-262(in Chinese).

[19] 李艷波, 尹鐠, 陳俊碩, 等. 結合改進殘差網絡和Bi-LSTM的短期電力負荷預測[J]. 哈爾濱工業大學學報, 2023, 55(8): 79-86. LI YANBO, YIN PU, CHEN JUNSHUO, et al. Short-term power load forecasting based on combination of residual network and Bi-LSTM[J]. Journal of Harbin Institute of Technology, 2023, 55(8): 79-86(in Chinese).

[20] WANG Y, RUI L, MA J. A short-term residential load forecasting scheme based on the multiple correlation-temporal graph neural networks[J]. Applied Soft Computing, 2023, 146: 110629.

[21] 李莉. 統計學原理與應用[M]. 南京: 南京大學出版社, 2019.

[22] 劉浩. 基于多模型綜合方法的短期電力負荷預測[D]. 烏魯木齊: 新疆財經大學, 2023. LIU HAO. Short term load forecasting based on multi-model fusion method[D]. Urumqi: Xinjiang University of Finance & Economics, 2023(in Chinese).

The Analysis of Nonlinear Influence Factors of Electric Power Load Realized by Gradient Lifting Decision Tree

ZOU Xin, LUO Juan

(Department of Economic Management,North China Electric Power University, Baoding 071003, China)

In order to avoid the degradation of prediction accuracy caused by factor redundancy, the performance of 6 integrated machine learning models was compared and analyzed, among which gradient boosting decision tree (GBDT) regression model had the best performance. In order to select the significant influencing factors, the gradient-lifting decision tree is used to rank the feature importance, and then the nonlinear relationship between the influencing factors and the maximum load is evaluated by calculating the partial dependence. Finally, the combination of these factors was tested by long and short-term memory prediction model. The results show that the non-linear relationship between the maximum load and the factors can be effectively captured by the decision tree with gradient elevation, and the accuracy of load forecasting improves significantly after factor selection and consideration for the accumulative affect of temperature.

new power system; load forecasting; gradient lifting decision tree; long and short-term memory; nonlinear influence

10.3969/j.ISSN.1672-0792.2024.03.002

TM715

A

1672-0792(2024)03-0010-10

國家自然科學基金資助項目（72171081）；中央高校基本科研業務費資助項目（2023MS153）。

2023-12-01

鄒鑫（1988—），男，副教授，研究方向為技術經濟及管理、項目調度、組合優化；

羅涓（1997—），女，碩士研究生，研究方向為技術經濟及管理、電力市場、負荷預測。

羅涓