LSTM與XGBoost混合模型在風力發電功率預測中的應用

摘要：文章提出了一種基于LSTM與XGBoost的混合模型用于風力發電功率預測。主要研究了LSTM模型與XGBoost模型的融合方法，通過LSTM捕捉序列數據的長期依賴關系，再利用XGBoost進行非線性擬合以提升預測精度。實驗采用國家電網新能源發電預測大賽提供的公開數據集，使用平均絕對誤差和決定系數等指標對模型性能進行評估。實驗結果表明，文章所提出的混合模型相比標準LSTM模型在預測精度和擬合能力上均表現出顯著的優勢。

關鍵詞：長短期記憶；極端梯度提升；風力發電；功率預測

中圖分類號：TM7 "文獻標志碼：A

0 引言

風力發電作為一種清潔能源，在全球能源轉型過程中扮演著至關重要的角色［1］。然而，風力發電的不確定性給電網的穩定運行帶來了挑戰，因此，預測風力發電功率具有重要的現實意義［2-3］。近年來，隨著深度學習技術的快速發展，長短期記憶網絡（Long and short-term memory， LSTM）作為一種擅長處理時間序列數據的模型已經得到廣泛應用［4-5］。然而，單一模型在面對復雜多變的風力發電數據時，常常難以同時平衡模型的精度與泛化能力。為此，XGBoost模型憑借其強大的特征處理和集成學習能力，逐漸被引入各種數據預測領域［6-7］。

目前，LSTM模型和XGBoost模型分別展現了各自的優勢。LSTM模型在捕捉時間序列數據的長短期依賴性方面具有出色的表現；XGBoost模型則在處理非線性關系和防止過擬合方面具備顯著優勢。然而，單一使用其中任何一種模型都難以在預測精度和計算復雜度之間取得平衡，因此如何有效融合LSTM和XGBoost 2種模型來構建一種混合模型，以提高風力發電功率預測的準確性和穩定性，成為一個亟待解決的問題。

本文在分析LSTM模型與XGBoost模型各自特點的基礎上，提出了一種融合兩者優勢的混合模型，探討了其在風力發電功率預測中的應用。本文針對LSTM與XGBoost的融合方法進行了詳細設計，基于該混合模型研究了一種改進的功率預測方法。在試驗階段，利用公開數據集對所提方法進行了測試。本文研究期望為風力發電功率預測提供一種新的思路和方法，以進一步推動該領域的發展。

1 基于LSTM與XGBoost的混合模型

1.1 混合模型的基本結構

本文提出的混合模型的基本結構如圖1所示，該混合模型通過LSTM層對輸入的風速、溫度等時間序列數據進行處理來提取其中的長短期依賴關系。由于LSTM在處理時間序列數據時能夠有效捕捉數據的動態變化，這一階段所提取的特征能夠很好地表征風力發電過程中的潛在模式。這些提取的深層特征被輸入XGBoost模型進行非線性擬合。在該階段，XGBoost利用其決策樹集成算法進一步對LSTM輸出的特征進行優化，捕捉其中的非線性關系［8］。

通過LSTM與XGBoost的聯合建模，該混合模型能夠在風力發電功率預測中實現更為準確和穩定的預測結果，為電網調度和能源管理提供有力支持。

混合模型結合應用了LSTM與XGBoost，在風力發電功率預測中具有以下優勢。

（1）捕捉長期依賴性。LSTM擅長處理序列數據，能夠有效捕捉風速、溫度等時間序列中的長期依賴性和動態變化。

（2）非線性擬合能力強。通過結合LSTM提取的時間序列特征，XGBoost能夠進一步進行精細的非線性擬合，從而提高整體模型的預測精度。

（3）靈活性與可擴展性。該混合模型具備較強的靈活性，既可以根據具體應用場景調整LSTM和XGBoost的結構及參數，又可以結合其他模型進一步擴展，以提升對更復雜任務的適應能力。

1.2 混合模型的數學原理

本文針對LSTM與XGBoost混合模型的數學原理進行了深入研究。LSTM通過一系列的門控機制（如遺忘門、輸入門和輸出門）有效地捕捉時間序列數據中的長期依賴性，形成一個適應風力發電數據的隱狀態序列。XGBoost模型利用LSTM生成的隱狀態序列作為輸入，進行非線性特征的學習與擬合。XGBoost通過梯度提升算法（Gradient Boosting）逐步建立一系列回歸樹，每一棵樹都修正前一棵樹的殘差。通過逐步加權的方式，XGBoost能夠精準地擬合復雜的非線性關系，進一步提升風力發電功率預測的準確性。

假設輸入的多維時間序列數據X={x1，x2，…，xT}。其中，xt∈ n表示在時間t時的輸入向量；n是輸入變量的維數（如風速、溫度等）。

在LSTM模型中，每個時刻t的隱藏狀態ht可以通過一系列遞歸公式來計算得到的。

it=σ（Wixt+Uiht-1+bi）（1）

ft=σ（Wfxt+Ufht-1+bf）（2）

ot=σ（Woxt+Uoht-1+bo）（3）

ct=ft⊙ct-1+it⊙tanh（Wcxt+Ucht-1+bc）（4）

ht=ot⊙tanh（ct）（5）

其中，it、ft、ot分別表示輸入門、遺忘門和輸出門的激活向量；ct表示細胞狀態；Wi、Wf、Wo、Wc和Ui、Uf、Uo、Uc分別為各門的權重矩陣；bi、bf、bo、bc為偏置項；σ（·）為Sigmoid激活函數；⊙表示逐元素相乘操作。

通過上述方法，LSTM能夠有效捕捉輸入序列X中的長短期依賴關系，并生成最終的隱藏狀態序列{h1，h2，…，hT}，該隱藏狀態序列hT是后續XGBoost模型輸入的特征向量。

后續階段使用XGBoost模型對從LSTM生成的特征向量hT進行非線性擬合，預測風力發電功率y^。假設在XGBoost模型中，使用了K個加權決策樹來進行預測。每棵樹fk（hT）的輸出結果通過加權求和得到最終的預測值。

y^=∑Kk=1fk（hT）（6）

每棵樹fk對應的結構可以表示為決策樹結構qk（hT）和葉子節點權重wk的組合。

fk（hT）=wk，qk（hT）（7）

其中，qk（hT）是樹的結構函數，可以將輸入特征向量hT映射到對應的葉子節點索引。

該模型通過最小化預測誤差和正則化項構成的損失函數來優化決策樹的結構和葉子節點的權重［9］。

（y^，y）=∑Ni=1（yi，y^i）+∑Kk=1Ω（fk）（8）

其中，（yi，y^i）為單樣本的損失函數，常用的損失函數包括均方誤差等，Ω（fk）是正則化項，用于控制模型的復雜度，防止過擬合。具體形式如下。

Ω（fk）=γTk+12λ∑Tkj=1w2k，j（9）

其中，γ和λ為正則化參數，Tk為決策樹fk的葉子節點數目。

1.3 混合模型的功率預測方法研究

在實際應用中，LSTM與XGBoost混合模型的整體工作流程如下。

（1）輸入多維時間序列數據X，LSTM層提取序列數據中的時序特征hT。

（2）將hT輸入XGBoost模型，利用加權決策樹的非線性擬合能力，最終輸出預測值y^。

（3）通過優化損失函數（y^，y），調整LSTM模型參數和XGBoost決策樹結構及其葉子節點權重，以最小化預測誤差，實現對風力發電功率的精確預測。

2 仿真實驗與分析

2.1 數據集與實驗環境

本文使用了國家電網可再生能源發電預測大賽提供的公開數據集［10］。該數據集包含了中國6個風電場和8個太陽能站在2019年—2020年的詳細運行數據。數據樣本的采樣時間間隔為15 min，能夠較為精細地反映出風電和光伏發電系統在不同時間尺度上的動態變化特征。該數據集中的關鍵變量包括發電功率、溫度和風速等，這些變量分別記錄了每15 min的風電場和太陽能站的實際發電量（單位：MW）、現場的環境溫度（單位：℃）以及實時風速（單位：m/s）。

在MATLAB平臺上構建上述基于LSTM和XGBoost的混合模型進行測試，實驗環境配置如表1所示。

在如表1的實驗配置中，處理器和顯卡為模型訓練和測試提供了強大的計算能力，尤其是對于深度學習模型的加速計算；內存和高速硬盤確保了數據處理和模型訓練的高效性。MATLAB R2021b 作為軟件平臺，不僅提供了豐富的工具箱來支持模型構建與調試，還結合了XGBoost 1.5.0，使得在處理大規模數據集和復雜模型時具備更高的靈活性與效率。

2.2 實驗方法設計

基于上述數據集和實驗環境，本文對LSTM與XGBoost混合模型進行了測試，分為數據預處理、模型構建、參數設置、模型訓練與測試4個主要階段。

2.2.1 數據預處理

將數據集導入MATLAB環境并對數據中的缺失值和異常值進行處理，接著將發電量（單位：MW）、溫度（單位：℃）和風速（單位：m/s）等特征進行歸一化處理，使數據范圍映射到 ［0， 1］ ，以提高模型訓練的穩定性和收斂速度并將數據集劃分為訓練集和測試集，其中訓練集占比80%，測試集占比20%。

2.2.2 模型構建

在MATLAB中使用Deep Learning Toolbox構建LSTM模型。LSTM層的隱藏單元數量設置為100，輸入層大小與輸入數據的特征維度一致，輸出層為全連接層，由用戶輸出預測的特征序列。在LSTM層提取的特征序列基礎上，構建XGBoost模型進行非線性擬合。在MATLAB中使用XGBoost 1.5.0版本，設置決策樹的最大深度max_depth為6、決策樹的數量n_estimators為100、學習率learning_rate為0.1、子樣本采樣比例subsample為0.8、構建每棵樹時對特征采樣的比例colsample_bytree為0.8

2.2.3 模型訓練

使用Adam優化器訓練LSTM模型，初始學習率設為0.001，批量大小設置為32，訓練輪數設置為50輪，該過程使用均方誤差（Mean Squared Error， MSE）作為損失函數進行模型優化。

MSE=1N∑Ni=1（yi-y^i）2（10）

其中，N為樣本數，yi為實際值，y^i為預測值。

在訓練完成的LSTM模型基礎上，提取特征序列輸入XGBoost模型進行訓練。XGBoost模型通過逐步加權決策樹的方法來最小化損失函數并通過5折交叉驗證來調整參數防止過擬合。

2.2.4 模型測試與評估

使用訓練好的混合模型對測試集數據進行預測，輸出預測的發電功率。

2.3 結果分析

本文采用了平均絕對誤差（Mean Absolute Error， MAE）和決定系數（R2）等指標對方法進行評估并對比了本文方法與標準LSTM的預測結果，如表2所示。

從表1可以看出，LSTM與XGBoost混合模型在MAE方面顯著優于標準LSTM模型。具體而言，混合模型的MAE為1.92 MW，顯著低于標準LSTM模型的2.56 MW。這表明混合模型在預測風力發電功率時能夠更加準確地貼近實際值，減少了預測誤差的幅度。

此外，混合模型的R2值達到了0.93，高于標準LSTM模型的0.89。R2作為評估模型擬合效果的指標，其值越接近1，模型的擬合能力越強。由此可以得出，LSTM與XGBoost混合模型能夠更好地捕捉風力發電功率的波動趨勢。

通過以上分析可以得出，基于LSTM與XGBoost的混合模型在風力發電功率預測中展現了更優異的性能。相較于單一的LSTM模型，混合模型不僅在預測精度上有所提升，而且在數據的擬合效果上也表現得更加優異。這進一步驗證了將LSTM與XGBoost相結合的有效性，并為實際應用提供了更可靠的技術支持。

3 結語

本文構建了一種結合LSTM與XGBoost的混合模型，用于提升風力發電功率預測的準確性。研究表明，LSTM能夠有效提取風速和溫度等時間序列數據中的長期依賴特征，而XGBoost進一步優化了模型的非線性擬合能力。實驗結果顯示，混合模型在多個評價指標上均優于傳統的LSTM模型，特別是在降低預測誤差和提高擬合效果方面具有明顯優勢。這一研究不僅為風力發電功率的精確預測提供了新的技術方案，也為復雜時間序列數據的建模與分析提供了有力的支持。未來的研究將進一步探索其他模型的融合方法，以繼續提升風力發電功率預測的準確性和穩定性。

參考文獻

［1］劉波，賀志佳，金昊.風力發電現狀與發展趨勢［J］.東北電力大學學報，2016（2）：7-13.

［2］楊秀媛，肖洋，陳樹勇.風電場風速和發電功率預測研究［J］.中國電機工程學報，2005（11）：1-5.

［3］劉坤.基于隨機森林的風力發電系統輸出功率預測方法［J］.光源與照明，2022（7）：165-167.

［4］楊麗，吳雨茜，王俊麗，等.循環神經網絡研究綜述［J］.計算機應用，2018（增刊2）：1-6，26.

［5］王鑫，吳際，劉超，等.基于LSTM循環神經網絡的故障時間序列預測［J］.北京航空航天大學學報，2018（4）：772-784.

［6］李占山，劉兆賡.基于XGBoost的特征選擇算法［J］.通信學報，2019（10）：101-108.

［7］王燕，郭元凱.改進的XGBoost模型在股票預測中的應用［J］.計算機工程與應用，2019（20）：202-207.

［8］方匡南，吳見彬，朱建平，等.隨機森林方法研究綜述［J］.統計與信息論壇，2011（3）：32-38.

［9］張海，王堯，常象宇，等.L_（1/2）正則化［J］.中國科學：信息科學，2010（3）：412-422.

［10］CHEN Y，XU J.Solar and wind power data from the Chinese state grid renewable energy generation forecasting competition［J］.Scientific Data，2022（1）：577.

（編輯 沈 強）

Application of LSTM and XGBoost hybrid model in wind power forecasting

CHEN Dawei 1， ZHANG Wei 1， MU" Long2

（1.Wuwei Xincheng New Energy Co.， Ltd.， Wuwei 737100， China;

2.Gulang Lvzhou Photovoltaic Power Generation Co.， Ltd.， Wuwei 737100， China）

Abstract：" The article proposes a hybrid model for wind power forecasting based on LSTM and XGBoost， and investigates the fusion method of LSTM and XGBoost models. The LSTM captures the long-term dependencies of sequential data， while XGBoost is utilized for nonlinear fitting to enhance prediction accuracy. The experiment utilizes the public dataset provided by the State Grid New Energy Power Generation Forecasting Competition， and evaluates the model performance using metrics such as mean absolute error and determination coefficient. The experimental results demonstrate that the proposed hybrid model exhibits significant advantages over the standard LSTM model in terms of prediction accuracy and fitting capability.

Key words： long and short-term memory; extreme gradient boosting; wind power generation; power prediction