基于改進Bi-LSTM 和XGBoost 的電力負荷組合預測方法

代業明， 周 瓊

（青島大學 商學院，青島 266071）

隨著電力需求日益增加，傳統電網在集中配電、人工監控和恢復、雙向通信等方面開始遇到挑戰[1-2]，智能電網的出現為解決上述困難提供技術可能，有助于監控電力生產、傳輸和消耗，并平衡三者關系[3]。但由于氣候、經濟、環境等不確定因素的影響，電力負荷波動較大[4]，難以簡單對其進行預測。為了確保電力系統安全運行，減少電力消耗，滿足市場需求，平衡電力負荷的供需關系，最大化經濟效益，對電力負荷進行精準預測十分必要。

現有電力負荷預測方法主要分為4 類：傳統預測、現代預測、混合預測和組合預測。其中，傳統預測方法包括時間序列分析[5]、回歸分析[6]和其他統計方法，能較好處理簡單線性問題和估計未來電力負荷，但在處理非線性問題時效果不佳。于是，基于非線性映射的現代預測技術逐漸用來預測非線性問題，主要包括模糊邏輯、灰色系統、人工神經網絡、支持向量回歸。但這些方法依然存在計算復雜[7-8]、泛化能力差[9]和過擬合[10]等固有局限，對電力負荷精準預測帶來新的挑戰。

針對上述不足，通過粒子群[11]、貝葉斯[12]等參數優化算法以及對數據進行預處理，提出了混合預測模型。從參數優化角度，Wang 等[13]使用混合支持向量回歸方法預測中長期負荷，并使用基于嵌套策略和狀態轉移算法的分層方法優化預測模型的參數；Barman 等[14]使用灰狼優化器優化支持向量機參數并預測了受文化或宗教儀式等社會因素顯著影響的電力需求。通過數據分解[15]和特征選擇技術[16]對數據進行預處理，有助于消除異常值，糾正數據錯誤和提高數據質量。因此，混合預測方法比前兩種預測方法表現更佳。

為進一步改進和優化預測模型，克服傳統、現代和混合預測方法中單一預測模型的固有缺陷，將兩個以上的不同預測模型以特定加權方法組合，從而得到組合預測方法。如Xiao 等[17]采用布谷鳥搜索算法來優化組合模型的權重系數，實驗結果表明所提出的組合預測模型可以產生更低的誤差，能夠提供穩定、高精度的負荷預測；林錦順等[18]、鄧帶雨等[19]和Chu 等[20]也證明了組合預測模型的性能優于單一模型；陳振宇等[21]使用長短期記憶網絡(long short-term memory, LSTM)和極端梯度提升(eXtreme gradient boosting, XGBoost)模型預測電力負荷，然后根據誤差倒數法為兩個模型分配權重，從而盡可能減小誤差和提高預測精度；莊家懿等[22]結合MAPE-RW 算法進行模型組合初始權重設置，對最佳權重進行搜索，構建了CNN-LSTM-XGBoost 組合預測模型，比單一預測模型誤差顯著降低；Nie 等[23]則使用多目標灰狼算法(multi-objective grey wolf algorithm, MOGWO)分別對徑向基函數網絡(radial basis function network,RBF)、廣義回歸神經網絡(generalized regression neural network, GRNN)和極限學習機(extreme learning machine, ELM)賦予權重，建立了一種基于群智能優化的組合預測模型，有效降低了單一模型適應性弱的不利影響，使準確性和適應性得到迅速提高。

從以上文獻可知，組合預測方法對預測的改進不僅需要多個預測模型，還需要計算每個模型所占權重，并沒有強調數據預處理的重要性，并且通常組合現有成熟預測模型。在此背景下，本文首先使用加權灰色關聯投影算法(weighted grey relational projection, WGRP)對數據進行預處理，消除節假日的不利影響；其次，在被廣泛認為是一種能夠充分隱藏信息并獲得良好預測效果的Bi-LSTM 預測模型基礎上，將具有大規模并行處理、分布式信息存儲、可接受的自組織和自學習能力等優點的注意力機制添加到Bi-LSTM 模型中，消除不合理的影響，并強調關鍵輸入數據影響，得到了“Attention-Bi-LSTM”模型；最后，為了避免單一預測模型缺陷，再將通過添加正則項來控制模型復雜性和防止過度擬合、提高模型泛化能力的XGBoost[21]模型與Attention-Bi-LSTM模型組合，得到“Attention-Bi-LSTM + XGBoost”電力負荷組合預測模型，并運用新加坡電力市場數據進行評估。

1 基本理論

1.1 加權灰色關聯投影算法

加權灰色關聯投影算法[16]是一種將各因素之間發展趨勢的相似或相異程度，即“灰色關聯度”作為衡量各因素關聯程度的一種方法。該方法不受樣本量多少的限制，可以全面分析指標間相互關系，反映各決策方案與理想方案之間接近程度，并對有無規律的樣本量都同樣適用，結果具有一般性、計算量小的特點。

首先，選擇n1個樣本的數據和待預測樣本的數據，計算它們之間的關系系數，并構造以下灰色關聯矩陣。

式中，An1m1表示第n1個樣本中第m1個因子的灰色關聯系數。

然后，使用熵權法計算各影響因素的權重，并對灰色關聯矩陣進行加權，得到加權灰色關聯矩陣，如下所示：

因此，每個歷史樣本和待預測樣本之間的加權灰關聯投影值Bi為

最后，將得到的投影值從大到小排序，選擇投影值較大的樣本作為相似樣本進行替換。

1.2 Attention-Bi-LSTM 電力負荷預測模型

1.2.1 Bi-LSTM 模型

為了改善循環神經網絡中的梯度爆炸和消失的問題，LSTM 用門控機制來控制信息的更新或丟棄，引入了輸入門、遺忘門、輸出門[24]，以此去除一些對當下情況不重要的內容，使得信息保存時間延長，可以保存一些時間較為久遠的信息。LSTM 門的輸入均為當前時間步輸入Xt與上一時間步隱藏狀態Ht-1，輸出由激活函數sigmoid 函數(σ)的全連接層計算得到。其總體框架為

與LSTM 不同，Bi-LSTM 方法由前向LSTM和后向LSTM 組合而成，在對數據特征提取的時候會考慮到隱藏在數據中的整體信息，通過正向和反向兩個角度來進行特征提取，然后將雙向提取的結果按照特定方式進行結合。從兩個維度進行總結，在一定程度上消除單一LSTM 中輸入數據順序對最終結果的不利影響，使結果更全面。

1.2.2 Attention 機制

目前，Attention 機制在計算機視覺、手寫識別等領域已被廣泛使用。應用于深度學習中的Attention 機制可以理解為如何從輸入數據中過濾出關鍵信息，并對這些關鍵信息賦予更高的權重以作出有效決策。為了強調輸入數據對輸出數據的不同影響力，優化數據的特征提取，提高預測性能，本文在Bi-LSTM 的基礎上引入Attention 機制，可以計算出注意力的概率分布，消除輸入數據對輸出數據不合理的影響，從而提高關鍵輸入數據的影響力。其結構如圖1 所示，相關計算見文獻[25]。

圖1 注意力機制結構Fig. 1 Structure of Attention mechanism

1.3 XGBoost 電力負荷預測模型

XGBoost 通過不斷添加樹，不斷進行特征分裂來生長一棵樹，每添加一個樹，就是學習一個新函數，去擬合上次預測的殘差。當訓練完成得到k棵樹，每棵樹中包含若干葉子結點，每個葉子結點就對應一個分數。最后只需要將每棵樹對應的分數加起來就是該樣本的預測值，即各樣本和它們對應的權值乘積累加[21]。因此，隨著迭代次數的增加，預測精度也不斷提高。XGBoost 模型如下：

每一次迭代，都在現有樹的基礎上，增加一棵樹去擬合前面樹的預測結果與真實值之間的殘差，其迭代過程如下：

XGBoost 的目標函數如下所示：

式（16）將每個樣本的損失函數值疊加起來，將所有以同一個葉子結點的樣本進行重組，過程如下：

為了方便計算，符合數據輸入的要求，數據要預先被歸一化處理，具體方法如式（20）所示，使數據被限制在 [0,1]的范圍內。

式中：xmin為電力負荷數據中的最小值；xmax為電力負荷數據中的最大值；x為需要歸一化處理的數據。

2 Attention-Bi-LSTM+XGBoost 電力負荷組合預測模型

2.1 權重賦予方式

在誤差倒數法中，誤差較小的預測模型被賦予較大權重，于是組合預測模型的總體誤差可以顯著降低。為確定權重系數，本文采用誤差倒數法為模型分配權重，公式如下：

式 中： ωi為 權 重 值；fit為Attention-Bi-LSTM 和XGBoost 所得出的預測值； ε1， ε2分別為預測模型Attention-Bi-LSTM 和XGBoost 的誤差值。

2.2 Attention-Bi-LSTM+XGBoost 電力負荷組合預測模型

與現有預測模型不同，Attention-Bi-LSTM 模型不僅可以充分考慮隱藏在輸入數據中的整體信息，而且可以從兩個維度獲得更全面的結果，同時也強調了關鍵輸入數據的影響。因此，使用Attention-Bi-LSTM 模型可以提高預測結果的準確性；此外，XGBoost 作為一種新興的預測模型，具有較低復雜度，可以防止過度擬合，并具有良好的預測性能。本文首先使用Attention-Bi-LSTM和XGBoost 方法預測電力負荷，并獲得相應的誤差；然后根據誤差結果，采用誤差倒數法計算上述兩種模型的權重；最終將上述兩種模型的不同預測結果組合起來，從而克服單一預測模型各種固有缺陷。該預測模型框架如圖2 所示。

圖2 Attention-Bi-LSTM + XGBoost 組合預測模型框架Fig.2 Framework of Attention-Bi-LSTM + XGBoost combined prediction model

3 Attention-Bi-LSTM+XGBoost 電力負荷組合預測方法

本文所提出的組合預測方法預測過程如圖3所示，預測步驟主要分為以下4 個階段：

圖3 組合預測模型框架圖Fig.3 Frame diagram of combined forecasting model

第一階段，預處理數據。首先，本文選擇了幾個影響最大的特征，如時間、日類型、假日類型、實時價格，然后利用WGRP 算法對節假日數據進行處理，使數據更具一般性，最后將數據標準化。

第二階段，單一模型預測。使用注意力機制對LSTM 模型進行優化，消除不合理因素的影響，突出關鍵輸入數據的影響，使結果更加全面。Attention-Bi-LSTM 和XGBoost 模型都用于預測同一數據集，并根據預測結果為兩個模型組合作準備。

第三階段，權重賦予。在用Bi-LSTM和XGBoost方法對電力負荷數據進行預測后，根據預測的誤差使用誤差倒數法獲得權重，并對單個模型進行加權，形成了Attention-Bi-LSTM + XGBoost 組合預測模型。

第四階段，預測評估。通過比較6 個基準模型和新加坡電力市場實際數據的預測誤差，評估該方法能否提高電力負荷預測的準確性。

4 模型評價

本節基于新加坡電力市場數據集評估和討論所提出的預測方法性能。由于LSTM，Bi-LSTM，Attention-Bi-LSTM，Attention-LSTM ，Attention-RNN 和XGBoost 與本文的模型具有很高的相關性，因此作為基準模型與本文提出的方法進行比較。

4.1 數據集和實驗環境

本文選取新加坡電力市場2019 年1 月1 日至2021 年1 月7 日的數據，并考慮了日類型、時刻、節假日類型、實時電價等因素，歷史電力負荷數據的采樣周期為1 h，2019 年1 月1 日至2020 年12 月31 日的數據為訓練數據，2021 年1 月1 日至2021 年1 月7 日的數據為測試數據，預測出2021 年1 月1 日至2021 年1 月7 日的電力負荷情況，最后進行結果比較和誤差分析。

本次實驗硬件平臺為裝有Intel i5-1035G1 處理器的臺式電腦，內存為8 GB，固態硬盤容量為477 GB，CPU 顯卡為MX230。基于Python 語言實現本文所提出的方法，Attention-Bi-LSTM 模型使用Keras 深度學習框架，XGBoost 使用py-xgboost框架。

4.2 評價標準

本文選取平均相對誤差絕對值(mean absolute percent error, MAPE)作為各個預測模型的主要評判指標，并選取平均絕對誤差(mean absolute error,MAE)和均方根誤差(root mean squared error, RMSE)作為輔助評判指標。MAPE，MAE 和RMSE 的計算公式分別如下所示。

式中：n為 電力負荷數據的數量；yt為實際的電力負荷數據；y?t為預測出的電力負荷數據。

4.3 數據預處理對預測結果的影響

首先對新加坡電力負荷數據使用加權灰色關聯投影算法進行處理，選取與五一勞動節關聯度較大的歷史數據，使數據更加具有一般性。為了驗證WGRP 算法的重要性，分別使用Attention-Bi-LSTM 和經過加權灰色關聯投影算法處理的Attention-Bi-LSTM，以及XGBoost 和經過加權灰色關聯投影算法處理的XGBoost，對五一假期的數據進行預測。最后將上述4 種模型的結果與真實值進行比較，并進行誤差分析。

圖4 比較了引入WGRP 算法前后Attention-Bi-LSTM 預測結果與真實值變化趨勢，可以發現經過處理的模型比未經處理的模型更接近實際值。表1 顯示了WGRP 算法處理的Attention-Bi-LSTM的MAPE，MAE 和RMSE 值分別為0.639，67.147和96.232，意味著經過WGRP 處理的Attention-Bi-LSTM 預測模型具有更高的預測精度。因此，對于Attention-Bi-LSTM，在選擇2020 年5 月1 日的歷史假日數據后，可以使用WGRP 算法來提高模型的精度，表明了WGRP 算法預處理的有效性。

圖4 加權灰色關聯投影算法預處理前后的Attention-Bi-LSTM 預測結果與真實值對比Fig. 4 Comparison between real values and prediction results of Attention-Bi-LSTM model before and after processing by WGRP algorithm

表1 加權灰色關聯投影算法預處理前后的Attention-Bi-LSTM 預測誤差分析Tab.1 Error analysis of Attention-Bi-LSTM model before and after processing by WGRP algorithm

圖5 比較了引入WGRP 算法前后的XGBoost 預測結果與真實值關系，WGRP 算法處理的XGBoost線條趨勢與實際值基本一致，從表2 也可以看出，WGRP 算法處理的XGBoost 的MAPE，MAE和RMSE 值分別為0.409，42.976 和43.817，意味著經過WGRP 處理的XGBoost 模型具有更高的預測精度。因此，對于XGBoost，WGRP 算法同樣有助于提高模型的預測精度。

圖5 加權灰色關聯投影算法預處理前后的XGBoost 預測結果與真實值對比Fig. 5 Comparison between real values and prediction results of XGBoost model before and after processing by WGRP algorithm

表2 XGBoost 及加權灰色關聯投影算法處理的XGBoost 誤差分析Tab.2 Error analysis of XGBoost model before and after processing by WGRP algorithm

當不考慮WGRP 算法時，雖然預測結果與實際值的變化趨勢基本一致，但是差異很大。使用WGRP 算法后，減少了預測結果與實際值之間的差距。因此，為了減少預測誤差，首先使用WGRP算法處理歷史數據中的假日數據。然后，為了驗證該算法在提高預測精度和減少誤差方面的優勢，使用相同的模型對處理后和未處理的數據進行預測。結果發現，數據處理的預測結果更接近真實值，預測精度可以進一步提高。因此，采用WGRP 算法對假日數據進行處理，使數據更加通用，提高了預測精度。

4.4 預測結果分析

接下來以預處理后的電力負荷數據來驗證提出的電力負荷預測方法的適用性。首先，使用Attention-Bi-LSTM 和XGBoost 模型對同一組數據進行預測，并得出兩個模型的預測誤差；其次，根據誤差對上述兩種預測模型進行加權，并將其與誤差倒數法相結合，誤差較小的模型被賦予更高的權重；第三，為了驗證本文提出的組合預測模型的有效性，使用LSTM，Bi-LSTM，Attention-RNN，Attention-LSTM，Attention-Bi-LSTM，XGBoost和“Attention-Bi-LSTM + XGBoost”組合預測模型分別進行預測，并對預測結果進行比較。

4.4.1 預測結果和實際數據比較

a. 圖6 顯示LSTM，Bi-LSTM，Attention-RNN，Attention-LSTM，Attention-Bi-LSTM，XGBoost模型和“Attention-Bi-LSTM + XGBoost”組合預測模型的預測結果與實際值之間的比較，易知“Attention-Bi-LSTM + XGBoost”組合預測模型的預測精度最高，而Bi-LSTM 模型的預測精度最低。

圖6 預測結果和實際數據的趨勢比較圖Fig. 6 Trend comparison chart of prediction results and actual values

b. 新加坡2020 年1 月7 日24 h 預測結果的局部放大圖如圖7 所示，從圖7 中可以看出，“Attention-Bi-LSTM + XGBoost”組合預測模型的預測值曲線與實際值曲線最接近，即本文提出的模型擬合效果最好。

圖7 新加坡2020 年1 月7 日預測結果的局部放大圖Fig. 7 Local enlarged drawing of Singapore’s prediction results on January 7, 2020 (24 hours)

4.4.2 誤差比較分析

上述6 種模型的MAPE，MAE 和RMSE 值如表3 所示，通過比較表3 中誤差值可知：

表3 新加坡電力市場的誤差分析Tab.3 Error analysis in Singapore power market

a. 由于LSTM 是循環神經網絡(recurrent neural network, RNN)的改進，因此Attention-LSTM 的誤差小于Attention-RNN，說明本文選擇LSTM 作為基礎預測模型的必要性。

b. 根據LSTM，Attention-LSTM 和Attention-RNN 模型3 種預測模型綜合比較，可知注意力機制對預測精度有顯著影響。

c. 在所有基準模型的精度測試標準中，XGBoost的誤差值最小，這意味著XGBoost 具有極其優異的預測性能，因此本文使用XGBoost 來組合提高Attention-Bi-LSTM 預測模型的精準性。

d. 表3 顯示，“Attention-Bi-LSTM + XGBoost”組合預測模型的MAPE 和MAE 值分別為0.445 和49.546，從整體角度來看最小。盡管XGBoost 的RMSE 值最小為62.585，但所提出的組合預測模型的值僅略高于最小值，顯然可以接受。因此，兩種預測模型的組合可以從整體上降低預測誤差，從而優于單一預測模型，提高現有模型的預測精度。

e. 與文獻[21] 不同的是，本文首先對數據進行了處理，并且將雙向和注意力機制添加到LSTM模型進行改進，以提高預測精度。通過誤差對比，可以發現本文所用方法相較文獻[21]在精確度上可以提高12%左右，因此證明本文使用各種改進方法的必要性和有效性。

5 結 論

為了提高電力負荷預測的準確性和穩定性，本文提出了一種基于WGRP 算法的Attention-Bi-LSTM + XGBoost 電力負荷組合預測方法。在數據預處理階段，采用WGRP 算法選擇節假日歷史負荷序列，在預測階段則采用Attention-Bi-LSTM +XGBoost 電力負荷組合預測模型進行預測并得到了較好的預測結果。使用新加坡電力市場的數據集對比評估后，可以得出以下結論：

a. 利用WGRP 算法對假日數據進行預處理，可以有效提高模型的預測精度；

b. 注意力機制允許Bi-LSTM 模型強調重要因素的影響，從而消除冗余，提高預測性能；

c. 在XGBoost 中加入正則項可以降低模型復雜性，有效防止過度擬合，減少計算量，從而大大提高算法的效率，因此使用XGBoost 模型進行組合優化可以極大減少模型誤差；

d. 與所有基準模型預測結果相比，“Attention-Bi-LSTM + XGBoost”組合模型的預測結果誤差最小，與實際值最接近，表明了本文預測方法的優越性。

綜上所述，本文提出的組合預測方法比單一的傳統和現代預測方法、混合預測方法，以及其他現有的組合預測方法更有效，獲得更高的電力負荷預測精度，從而減少電力市場中不必要的浪費，提高電力系統運行的可靠性和安全性。