基于LightGBM及LSTM融合的科技園區短期負荷預測

昌玲，鄧國安

(湖南大唐先一科技有限公司，湖南 長沙 410000)

0 引言

電力負荷預測是指以外界因素變化為基礎，通過對歷史數據的處理和分析，利用數學手段建立特定的模型來預測未來電力負荷的需求情況[1]。電力負荷預測在保證電力系統規劃和可靠、經濟性運行方面具有十分重要的意義。尤其在售電側市場化的環境下，逐漸開展了大用戶或園區的短期負荷預測理論及方法的研究。

隨著科技園區的迅速建設，園區的電力需求也在不斷的增長，電網對園區負荷的分配也不斷在改變。尤其是對于新建園區，負荷缺失、異常等問題使電網對園區的負荷分配、園區需量上報和負荷預測存在干擾，針對這些問題，對已有相關電力數據進行分析，通過調研園區用戶總體情況，結合用電政策、天氣數據和歷史負荷數據對異常數據進行處理，在數據量較少的情況下進行負荷預測。

目前為止常見的負荷預測方法主要包括基于時間序列[2]、支持向量機[3－5]、神經網絡[6]、機器學習[7－8]等相關的負荷預測方法，這些方法為負荷預測提供了理論基礎，但是目前已有的方法存在局限性。如時間序列方法的自回歸滑動平均模型(ARMA)，僅能對少量影響負荷的因素以及樣本數據進行處理，且要求歷史負荷序列平穩性較高。支持向量機算法能夠解決負荷存在非線性、收斂于局部最優的問題，但是若數據樣本太多會出現計算速度慢且預測精度低等問題。神經網絡具有強大的非線性映射能力，但是存在學習速度慢，容易陷入局部最優的缺陷。XGBoost是一種基于決策樹的機器學習算法，采用預排序法選擇最優分割點，數據量大時會比較耗時，影響訓練速度。

科技園區的用電負荷主要為辦公設備負荷，空調負荷、照明、電梯等其他負荷，考慮空調負荷為科技園區受天氣影響變化最大的負荷，其次是辦公設備負荷受到使用人數的影響，有明顯的工作日及時間屬性。本文根據提取的某科技園區負荷數據，結合園區調研信息數據及異常信息進行數據預處理，增加時間相關特征量，采用K折交叉驗證訓練方法訓練第一層特征，能避免因數據量較少導致的泛化能力差的問題，采用長短時間記憶網絡(LSTM)與LightGBM算法融合，即考慮一周內的天氣與負荷的時序相關性，也考慮天氣數據與負荷的回歸特性，經過算例分析，證明該融合算法在一定程度上能提高預測精度。

1 相關理論

1.1 LightGBM

LightGBM(Light Gradient Boosting Machine)是一款基于決策樹算法的分布式梯度提升框架，是GBDT模型的變體，其基本原理與GBDT原理基本一致，通過將n顆弱回歸樹線性組合為強回歸樹，但是因為其采用了Histogram和Leaf－wise決策樹優化算法，能夠減小數據計算的內存占用，保證在不犧牲速度的前提下盡可能地利用更多的數據，能夠實現并行計算學習，支持大規模數據處理，具有更高的準確度。

直方圖算法的基本思想如圖1所示，首先把連續的特征值離散化成k個整數，并且構造成一個寬度為k的直方圖。在遍歷數據的時候，根據離散化后的值作為索引在直方圖中累積統計量，當完成一次數據遍歷后，直方圖已經累積了需要的統計量，所以就可以根據直方圖的離散值，遍歷尋找最優的分割點。

圖1 直方圖算法

LightGBM通過leaf－wise策略來生長樹。如圖2所示，每次分裂都是從當前所有葉子中，找到分裂增益最大的一個葉子，然后分裂，如此循環。因此同Level－wise相比，在分裂次數相同的情況下，Leaf－wise可以降低更多的誤差，得到更好的精度。但是，當樣本量較小的時候，leaf－wise可能會造成過擬合。但是，LightGBM可以通過調節額外的參數max＿depth來限制樹的深度，從而避免過擬合。

圖2 leaf－wise生長策略

1.2 LSTM

長短期記憶神經網絡(LSTM，Long Short－Term Memory)是循環神經網絡(RNN)的一種改進模型[9]。原始的RNN在訓練過程中，若輸入的時間序列過長或網絡層數過多，容易出現梯度爆炸或者梯度消失等問題，反向傳遞的損失值會隨層數的增加而越來越小，無法學習太長時間的序列特征。LSTM通過控制輸入、遺忘和輸出3個門能實現對記憶單元的讀取和修改，通過門控狀態來控制傳輸狀態，記住需要長時間記憶的，忘記不重要的信息。最終反映到細胞狀態ct和輸出信號ht－1。LSTM的網絡結構如圖3所示。

圖3 LSTM網絡結構

圖3為xt一個時間單元的網絡循環結構，分別由細胞狀態更新、遺忘門、輸入門、輸出門等組成。其中，xt為t時刻的輸入，ct－1和ct分別為t－1和t時刻的狀態記憶量，ht－1和ht分別是t－1和t時刻的輸出量，ft、it、ot分別為遺忘門、輸入門、輸出門計算輸出的變量，σ和tanh分別為sigmoid函數和tanh激活函數。

網絡的計算公式如下:

式中，W f、W i、W g、W o分別為各控制門的相應權重矩陣，bf、bi、bg、bo分別為各控制門的相應偏置項。

2 基于LightGBM與LSTM模型融合算法

基于LigtGBM預測未來24 h負荷模型的建立，其輸入輸出的結構模式與LSTM結構不同，無法記憶時序性的特征，只需針對預測時刻的相關特征建立對每小時負荷值的回歸預測。考慮數據可能存在不均勻性且避免過擬合，采用K折交叉驗證的方法對數據進行交叉訓練，如圖4所示。首先按照K折的比例將原始數據集分為訓練集和驗證集，然后選取LigtGBM預測算法以交叉驗證的方式對訓練集進行訓練，將訓練完成后的預測模型對驗證集和測試集進行預測。所得的測試集預測值即為各交叉驗證模型預測值的平均值。

圖4 K折交叉驗證

基于LSTM預測未來24 h負荷模型的建立，首先確定模型的輸入輸出，考慮待預測日24 h負荷值與前一周的負荷及天氣等特征有很大的相關性，由于LSTM網絡獨特的記憶結構，能夠直接將時間序列作為單個特征，所以選取前一周每天24 h的負荷相關特征數據作為輸入，預測輸出未來24 h的負荷值。其次確定基于LSTM預測模型的網絡架構，采用兩層LSTM網絡和一層全連接輸出層結構。采用2個隱藏層可以提高對輸入特征的提取深度，通過全連接層映射輸出為負荷預測值。

多種較高準確率、不同類型的預測算法融合可以提高模型的性能[10－11]，LSTM算法能考慮負荷的時序特性，LightGBM能充分考慮負荷與天氣數據的相關性。兩算法的融合在處理特征的相關性方面能形成互補。圖5為模型融合的具體框架。

圖5 模型融合框架

3 模型融合算法計算流程

模型融合算法流程如圖6所示。

圖6 算法流程

1)對獲取的負荷數據、氣象數據進行數據清洗，結合科技園區用能調研結果對數據進行異常值修正或刪除。處理非數值特征量，將其進行編碼至0—1，以便數值計算。增加特征量，針對數據集的時間構造屬性，如節假日屬性、周屬性、小時屬性等。對所有數據進行相關性分析，提取相關性較大的特征量。

2)將提取的特征量構建LightGBM預測模型。根據數據集總數進行訓練集、驗證集、測試集的劃分，采用K折交叉驗證方法訓練LightGBM預測模型，對數據集分別訓練，并輸出預測結果及預測誤差。

3)將上一層算法預測的訓練集負荷數據加入特征量中，統一進行歸一化處理，構建LSTM時序訓練模型，得出預測結果及預測誤差。

4)根據以上兩層訓練得出的預測結果和驗證集預測誤差，并驗證預測誤差加權平均得出最終的負荷預測值[10]。

4 短期負荷預測算例分析

空調負荷是科技園區受天氣影響變化最大的負荷，采用某科技園區每小時的負荷數據，當地的天氣數據，包括溫度、露點、濕度、風向、風速、壓力、天氣類型等。按照模型融合算法流程進行數據預處理，構造時間相關屬性，對所有數據進行相關性分析，提取相關性較大的特征量。構建訓練集、驗證集、測試集比例為8∶1∶1。程序計算采用python語言實現，第一、二層算法分別調用Lightgbm的機器學習庫、Keras的深度學習庫。LSTM網絡的層數為2，每層的神經元個數均為256，優化算法為Adam算法，歸一化按照sklearn庫里面的MinMaxScaler處理。Lightgbm算法的葉子數為31，學習率為0.1，訓練次數為12 000，目標函數是regression。誤差考核標準參考平均絕對誤差百分比εMAPE、均方根誤差εRMSE、平均絕對誤差εMAE。

式中，yi為測量值，為預測值，n為數據集個數。

4.1 模型訓練及結果展示

按照模型融合算法計算流程，將處理后的數據集作為LightGBM預測模型的第一層數據進行訓練，根據數據量大小，選擇4折交叉驗證，訓練后測試集的εMAPE為6.32%，εMAE為44.86，εRMSE為69.32。將第一層訓練得出的訓練集預測結果加入第二層模型訓練中，將兩層模型預測的訓練集數據通過融合算法訓練出融合模型，最終得出測試集的預測值。圖7為某天的24 h負荷預測值及其實際負荷值。

圖7 24 h負荷預測值

4.2 不同算法預測結果比較

分別采用單獨的LightGBM、XGBoost、LSTM算法進行負荷預測，測試的預測結果見表1。可見融合算法相比其他的預測算法能獲得更高的預測精度。其次，單獨的LightGBM算法比采用4折交叉驗證算法的預測誤差要大，證明交叉驗證能一定程度上提高模型的泛化能力，從而提高預測精度。

表1 不同算法的預測結果

提取某天的24 h預測值如圖8所示。由此可見，融合算法比其他算法能獲得更高的預測精度，從而證明了方法的有效性。

圖8 不同算法的預測值比較

5 結語

根據某科技園區的歷史負荷數據及天氣數據預測未來24 h的負荷值，采用基于LightGBM及LSTM算法融合的負荷預測方法，考慮負荷的歷史時序特性，也考慮天氣及時間因素對負荷的影響。增加時間相關特征量，映射時間對負荷值的影響，采用LightGBM訓練第一層特征預測模型，4折交叉訓練避免了因數據量較少而導致模型泛化能力差的問題，預測精度明顯比直接訓練要高。采用兩種預測算法融合，在一定程度上能減小負荷的預測誤差，提高了負荷預測的精度。