基于特征加權Stacking集成學習的凈負荷預測方法

鮑海波，吳陽晨，張國應，李江偉，郭小璇，黎靜華

(1.廣西電網有限責任公司南寧供電局，南寧市 530031；2.廣西電力系統最優化與節能技術重點實驗室(廣西大學)，南寧市 530004；3.廣西電網有限責任公司電力科學研究院，南寧市 530023)

0 引 言

隨著大規模新能源尤其是分布式新能源在用戶側接入電網，通常采用實際用電負荷減去新能源出力后的負荷功率(以下稱為“凈負荷”)進行預測、調度方面的研究[1]。準確預測凈負荷對于新型電力系統的規劃、優化運行和控制具有重要意義。

目前，已有不少學者對凈負荷預測開展了研究工作。根據是否組合多個預測模型來進行預測，現有凈負荷預測方法可分為單一預測方法和集成預測方法[2-3]。

凈負荷的單一預測方法主要包括時間序列預測法、神經網絡預測法、支持向量機預測法等。文獻[4]采用差分整合移動平均自回歸模型(autoregressive integrated moving average model, ARIMA)建立凈負荷預測模型，利用自適應預測策略優化模型參數，并通過仿真分析證明該方法適用于含風電的凈負荷預測。然而，由于ARIMA為線性預測模型，其挖掘凈負荷非線性變化規律的能力有限。文獻[5]提出一種基于經驗模態分解和深度信念網絡的預測方法，首先將凈負荷時序數據分解為頻率、幅值不一的時序分量，然后用深度信念網絡建立各時序分量的預測模型。該方法僅考慮凈負荷的時序規律，忽略了氣象等因素對凈負荷的影響，因此預測精度有限。文獻[6]提出基于最小二乘支持向量機(least squares support vector machine，LSSVM)的預測方法，適用于凈負荷樣本數量較少的情況。然而，由于LSSVM的網絡結構相對簡單，其面對特性復雜的凈負荷時預測能力有限。

由以上分析可知，單一預測方法在凈負荷預測中具有一定的局限性。這是因為單一預測方法僅從某一特定角度挖掘負荷的變化規律，而凈負荷具有強波動性和不確定性，單一方法通常難以對凈負荷進行全面、準確的建模[5]。針對單一預測方法的不足，有學者提出了集成預測方法。集成預測方法通過集成學習理論將多個預測模型進行結合，綜合了不同模型的預測優勢，通常可獲得比單一預測模型更優越的預測性能。

負荷預測中比較成熟的集成預測方法主要有Boosting方法和Stacking集成方法。文獻[7]提出了Boosting集成原理的XGBoost預測模型，實現了對日高峰負荷的準確預測。Boosting方法屬于串行集成學習算法，其對同一類算法進行多次迭代訓練，每次迭代結束時產生一個學習器，由此獲得多個學習器。因此，Boosting方法的學習器之間存在較強的依賴關系，導致該方法在預測任務中的泛化能力有限。

Stacking集成方法則采用并行學習方式，采用不同類型算法(稱為“初級學習器”)獲得初步預測值，并采用元學習器進一步優化初步預測值，得到最終的預測結果。文獻[8]提出一種基于多模型融合Stacking集成學習方式的負荷預測方法，采用長短期記憶神經網絡(long short-term memory, LSTM)、梯度決策樹、隨機森林、支持向量機等作為集成學習的初級學習器，然后通過元學習器對初級學習器的預測結果進一步優化。該方法充分發揮各個模型優勢，對常規負荷的預測效果良好。文獻[9]構建了基于卷積神經網絡(convolutional neural networks, CNN)和LSTM的Stacking集成負荷預測方法，兼顧了CNN和LSTM網絡模型優點，預測效果較好。

然而，文獻[8-9]均采用傳統的Stacking集成學習框架，在模型訓練過程中將不同初級學習器的輸出結果平均加權以構造元學習器的訓練數據。換言之，傳統Stacking集成方法的訓練過程不考慮初級學習器之間的差異性。當某一初級學習器的預測誤差較大時，將給元學習器的訓練過程引入較大的誤差特征，進而影響到整體模型的預測準確性。

基于以上分析，本文提出一種改進的Stacking集成凈負荷預測方法。首先，通過對不同算法預測性能的差異性分析，優選出LSTM模型[10-12]、隨機森林樹(random forest，RF)[13-14]、Elman網絡[15]、LSSVM[16-18]作為Stacking集成學習的初級學習器。其次，針對傳統Stacking集成學習訓練過程因忽略初級學習器差異性導致的問題，根據預測效果對初級學習器賦予相應的權值，從而對初級學習器的預測誤差進行修正，一定程度上摒棄各個算法中預測效果較差的部分，最終提升整體預測精度。最后，為了檢驗本文方法在不同場景下的預測效果，分別對周末、晴天、多云、多雪、多雨等場景下的凈負荷進行預測。算例分析結果表明，本文所提出的集成預測方法相較于單一預測方法和傳統Stacking集成預測方法具有更高的精度，而且能適應晴天、多云、多雨等不同環境場景。

1 Stacking集成預測原理

Stacking集成預測的框架如圖1所示，包含兩層預測模型，第一層預測模型稱為初級學習器，第二層預測模型稱為元學習器。Stacking集成預測方法首先將原始數據輸入到各初級學習器中，獲得初級學習器的預測結果。然后將初級學習器的預測結果作為元學習器的輸入，得到最終的預測結果。Stacking集成預測方法通過對多個初級學習器的集成，結合了不同學習器的優勢，使預測模型具有較強的泛化能力；進一步采用元學習器優化初級學習器的輸出結果，提升整體的預測精度[19]。

圖1 Stacking集成預測框架過程

在Stacking集成預測的模型訓練過程中，通常采用k折交叉驗證法進行數據劃分和模型訓練，以減少出現過擬合的風險[20]。k折交叉驗證法的流程如圖2所示。首先，將原始數據集D平均劃分為k個互斥子集，分別為D1,D2,…,Dk。然后，分別選擇其中k-1個子集的并集作為訓練集，余下的1個子集作為測試集，構造初級學習器的訓練集和測試集。這樣可獲得k組訓練集和測試集。對于Stacking集成預測中的每一個初級學習器，都采用這k組訓練集和測試集進行學習器的訓練和測試，并獲得k個測試結果S1,S2,…,Sk。這一過程稱為“交叉驗證”。

圖2 k折交叉驗證流程圖

以上是基于k折交叉驗證法的Stacking集成預測模型訓練過程。值得注意的是，k折交叉驗證法的效果很大程度上取決于k的取值。k常用的取值有5、10、20等。

2 基于特征加權的改進Stacking集成預測方法

2.1 傳統 Stacking集成算法的不足分析

已有研究表明，元學習器訓練數據集的屬性特征對于Stacking集成預測的性能有較大影響[21]。元學習器輸入數據的誤差成分越少，其訓練效果則越好，Stacking集成預測的精度也越高[22]。由第1節可知，傳統的Stacking集成預測方法在構造元學習器的訓練樣本時，直接將多個初級學習器的輸出結果作為元學習器的輸入。然而，各個初級學習器的性能不盡相同，當某些初級學習器的輸出結果誤差較大時，直接構造輸入樣本將給元學習器的訓練過程引入較大的誤差特征，進而影響到整體模型的預測準確性。

針對該問題，本文提出一種特征加權法用于改進傳統Stacking集成算法的不足。根據各學習器自身的預測精度，為初級學習器生成的訓練數據賦予相應的權值，再代入元學習器進行訓練。所提出的改進方法對各初級學習器的預測誤差進行了修正，從而在一定程度上摒棄各個算法中預測效果較差的部分，生成更有利于元學習器訓練的數據集。

2.2 Stacking集成預測的特征加權改進

本文提出的基于特征加權的Stacking集成方法，其核心在于根據各初級學習器的預測效果賦予不同的權值。具體計算方法如下：

1)選取均方根誤差(root mean square error, RMSE)作為評估初級學習器預測精度的指標。RMSE公式如下：

(1)

2)將數據集按8∶2劃分為訓練集和驗證集。采用訓練集對各初級學習器進行訓練，并計算各個初級學習器在驗證集上的均方根誤差。對均方根誤差進行標準化處理，標準化公式為：

(2)

式中：wl為第l個初級學習器的權重，l=1,2,…,T；T為初級學習器的個數；ERMSE,l為第l個初級學習器的均方根誤差；ERMSE,h為第h個初級學習器的均方根誤差。

(3)

式中：Si,1,Si,2,…,Si,T分別為T個初級學習器在第i折交叉驗證中的輸出；w1,w2,…,wT分別為T個初級學習器的權重。

2.3 Stacking集成預測學習器的優化選擇

Stacking集成預測方法中學習器的選擇直接決定集成預測效果。對于初級學習器的選擇，應遵循“好而不同”的原則，即各初級學習器要有較高的預測精度，同時各學習器間應具有差異性，即各學習器由不同的算法生成[2]。這是因為預測能力較強的模型有助于提升整體的預測精度，而模型之間差異性較大，有助于從更廣泛的角度來學習數據中蘊藏的規律，從而提升整體預測方法的泛化能力。

據此，本文基于對不同模型預測能力和模型差異性的分析，優選出Stacking集成預測的初級學習器。其中，采用Pearson相關系數對各模型的誤差關聯性進行計算，以此分析不同初級學習器的差異性。各模型預測能力和差異性的分析過程將在本文第3.3節中具體討論。最終，本文優選出LSTM算法、RF算法、Elman網絡和LSSVM算法作為Stacking集成預測的初級學習器。

其中，LSTM是一種深度循環神經網絡，可以學習長時間尺度的時序特性，在負荷預測領域得到廣泛應用，其建模過程見參考文獻[11]。RF是結合決策樹和Bagging集成的一種預測方法，具有抗噪力和適應力強等優點，被廣泛應用于各領域，其實現過程見參考文獻[13]。Elman網絡是一種具有局部記憶單元和局部反饋連接的神經網絡，能夠挖掘數據中的短期時序特性并進行預測，其建模過程見參考文獻[15]。LSSVM在解決小樣本、非線性及高維度的預測問題上具有獨特優勢，在負荷預測中有良好的實踐效果。LSSVM算法實現過程見參考文獻[16]。

對于Stacking集成預測的元學習器，本文選擇訓練高效、非線性擬合能力強的LSSVM作為元學習器，對初級學習器的預測結果做進一步的優化。

2.4 基于特征加權Stacking集成方法的凈負荷預測步驟

本文提出的基于特征加權Stacking集成的凈負荷預測方法流程如圖3所示。

圖3 基于特征加權Stacking集成凈負荷預測方法

基于特征加權的Stacking集成凈負荷預測方法的主要步驟如下：

1)對原始數據進行歸一化處理，將歸一化后數據劃分為訓練集和測試集。

2)采用訓練集，對Stacking集成預測的各個初級學習器進行訓練，并計算各個初級學習器的均方根誤差。根據式(1)、式(2)，計算出各個初級學習器的特征權重。

3)取k=5，采用5折交叉驗證法對數據集進行劃分，并對Stacking集成預測的模型進行訓練。將5折交叉驗證中初級學習器的輸出結果，按式(3)進行特征加權，獲得含特征加權的元學習器訓練數據集。

4)使用含特征加權的數據集對元學習器進行訓練。訓練過程中，元學習器LSSVM的輸入為圖3中各個權值與預測結果乘積的并集，輸出為圖3中未使用數據集的并集。

5)對于待預測數據集，將各初級學習器的預測結果按式(3)進行加權，輸入到訓練好的元學習器中，輸出最終的預測結果。

3 仿真分析

3.1 仿真說明

本文采用德國TENNET區域2016年的凈負荷數據和氣象數據進行仿真分析(采樣周期為1 h)。其中，凈負荷數據由用電負荷減去光伏發電功率得到，數據來源見文獻[23]。氣象數據來源見文獻[24]。預測模型的輸入特征量包括時間、降雨量、溫度、表面輻照度、大氣輻照度、降雪量、云量、氣壓。

為了驗證所提出的基于特征加權Stacking集成學習方法的有效性和先進性，采用以下方法作為對比方法：1)單一預測模型，包括LSTM網絡、RF模型、Elman網絡、RBF神經網絡、BP神經網絡、LSSVM模型、決策樹；2)無特征加權的傳統Stacking集成學習方法。

為了檢驗本文方法對不同場景下凈負荷預測的適應性，設置了如表1所示的仿真場景。其中，連續1個月的預測場景用于檢驗本文方法的整體預測水平。同時，考慮到日類型、降雨量、降雪量、云量等氣象因素對凈負荷的影響[1]，分別對周末、晴天、多云、多雪、多雨等5種類型的凈負荷進行預測。其中，周末區別于工作日，用戶用電行為具有特殊性，因此采用周末預測場景檢驗本文方法對特殊日類型場景下的預測效果；設置晴天、多云、多雪、多雨等天氣場景，則是為了檢驗本文方法對不同天氣場景下的凈負荷預測效果。通過設置6種類型的凈負荷預測場景，對比分析不同情況下各個預測方法的預測效果，以檢驗本文方法的適應性和有效性。

表1 仿真場景

將2016年1月1日至11月30日的凈負荷及相關氣象數據作為訓練樣本集，用于確定各初級學習器的權重系數以及對模型進行訓練。不同仿真場景下測試集劃分如下：在連續1個月凈負荷預測的仿真場景中，測試集為整個12月份的凈負荷相關數據；在周末凈負荷預測場景中，測試集為12月10日、11日(分別為周六、周日)的數據；在晴天凈負荷預測場景中，測試集為12月7日、8日的數據；在多云凈負荷預測場景中，測試集為12月2日、16日的數據；在多雪凈負荷預測場景中，測試集為12月19日、20日的數據；在多雨凈負荷預測場景中，測試集為12月1日、25日的數據。其中，以上不同天氣類型下測試集對應的日期由氣象預報確定。

采用平均絕對百分比誤差(mean absolute percentage error, MAPE)作為預測誤差指標[25]，其計算公式為：

(4)

3.2 單一模型的預測結果分析

為說明本文優選Stacking集成預測初級學習器的過程及其合理性，本節首先對不同單一模型的預測性能和差異性進行分析。

選擇LSTM、RF、Elman網絡、RBF網絡、BP網絡、LSSVM、決策樹等7種單一預測模型，作為初級學習器的待選項，設計實驗對各個初級學習器單獨預測的結果進行比較。將凈負荷數據按5折交叉驗證的方式進行劃分，產生5組訓練集和測試集。各單一預測模型在5個測試集上的MAPE數值如表2所示。

表2 各單一預測模型的MAPE

進一步，為了分析各個預測模型的預測差異性，計算各個模型預測誤差的Pearson相關系數，結果如圖4所示。

由表2可知，LSTM模型、LSSVM模型和RF模型的預測精度相對較高。由圖4可知，各模型的誤差相關性普遍較高，這是由于各模型的學習能力較強，訓練所得的訓練誤差分布也較為相似引起的。其中，Elman網絡、RBF網絡和BP網絡均屬于神經網絡算法，雖然從預測精度上來看，RBF網絡的預測性能優于Elman網絡和BP網絡，但是Elman網絡與其他算法相關性較低。綜上考慮，最終選擇LSTM模型、Elman網絡、RF模型、LSSVM模型作為Stacking集成預測的初級學習器。

圖4 各模型預測誤差的相關性分析

3.3 不同仿真場景的結果分析

3.3.1 連續1個月的凈負荷預測結果分析

表3為不同預測方法對2016年12月整月的凈負荷預測誤差統計結果。從預測誤差平均值來看，本文方法的EMAPE為6.83%，優于BP網絡(EMAPE為7.43%)、LSSVM模型(EMAPE為7.15%)、RF模型(EMAPE為7.79%)和LSTM模型(EMAPE為8.33%)，證明了本文的集成預測方法比單一預測方法具有更高的預測精度。

表3 不同預測方法對12月凈負荷預測的MAPE

無加權Stacking集成方法的EMAPE為7.28%，其預測精度高于BP網絡、LSTM、隨機森林算法，而低于Elman神經網絡和LSSVM算法，表明直接采用無加權Stacking集成方法的效果未必優于所有單一預測方法。同時，本文方法優于無加權Stacking集成方法，表明對初級學習器進行特征加權可以提高Stacking 集成預測方法的精度。

圖5為不同預測方法對2016年12月不同時間點(24個時刻)的凈負荷預測絕對誤差百分比統計結果的折線圖，所采用的分析數據為12月整月的凈負荷預測誤差數據。分析不同時間段各預測方法的預測精度，可發現對于所有預測方法，06：00—16：00時間段內預測誤差相對于其他時段更大。這是因為該時間段內存在光伏發電，凈負荷的隨機性和波動性增強，負荷預測難度增大。同時可發現，該時間段內本文方法預測精度高于與其他方法。

圖5 不同預測方法對12月24 h凈負荷預測的MAPE

3.3.2 對周末凈負荷預測結果的分析

在周末，用戶用電的模式通常與工作日不同。因此周末凈負荷的變化規律往往更難把握，預測難度更大。圖6展示了不同預測方法對12月份2個周末日的凈負荷預測結果。

由圖6可看到，相比于Elman網絡、BP網絡、RBF網絡、LSSVM算法、RF模型、決策樹、LSTM模型、無加權Stacking集成方法，本文方法的預測曲線更接近于實際凈負荷曲線。

進一步統計不同預測方法對周末日的凈負荷預測誤差。其中，本文方法(EMAPE為6.23%)和無加權Stacking集成方法(EMAPE為6.25%)預測精度高于Elman網絡(EMAPE為7.04%)、BP 網絡(EMAPE為8.87%)、RBF網絡(EMAPE為9.75%)、LSSVM模型(EMAPE為6.69%)、RF模型(EMAPE為6.34%)、決策樹模型(EMAPE為10.18%)、LSTM模型(EMAPE為7.80%)等單一預測方法，表明對于周末凈負荷的預測，集成預測方法比單一預測方法更有優勢。同時可看到，本文方法的預測精度高于無加權Stacking集成方法，表明本文方法更適合用于周末的凈負荷預測。

3.3.3 對晴天凈負荷預測結果的分析

圖7為不同方法在晴天條件下的2天凈負荷預測曲線。觀察圖7中的實際凈負荷曲線可發現，在中下午時段凈負荷曲線向下凹陷，峰谷差變大，負荷爬坡明顯。這是因為中下午時段光伏出力較大的緣故。

觀察圖7中的各預測曲線可發現，Elman網絡、BP網絡、RBF神網絡、LSSVM算法、RF、決策樹和LSTM的預測曲線與實際凈負荷曲線偏差較大。無加權Stacking集成方法和本文方法的預測曲線更接近于實際凈負荷曲線。

圖7 不同預測方法對晴天凈負荷的預測結果

表4為各個預測方法對晴天凈負荷預測的平均絕對百分比誤差。由表4中數據可以看出，本文方法(EMAPE為6.13%)和無加權Stacking集成方法(EMAPE為6.62%)預測精度高于Elman網絡(EMAPE為6.78%)、BP神經網絡(EMAPE為7.86%)、RBF神經網絡(EMAPE為7.78%)和LSSVM算法(EMAPE為7.29%)、隨機森林樹(EMAPE為6.95%)、決策樹(EMAPE為10.81%)、LSTM(EMAPE為8.57%)。表明Stacking集成預測對晴天凈負荷的預測精度更高。

對比表4和表3可發現，對于晴天凈負荷預測，本文方法、無加權集成的Stacking、Elman算法、隨機森林樹算法的預測精度都有所提升。這是因為晴天時光伏出力較穩定，光伏發電對凈負荷的影響較小，凈負荷的變化規律較容易把握，因此預測精度有所提高。

表4 不同預測方法對晴天凈負荷的預測誤差

3.3.4 對多云天氣凈負荷預測結果的分析

圖8為不同方法在多云天氣下2天凈負荷預測曲線。可看到本文方法的預測曲線與實際凈負荷曲線最為靠近，表明本文方法可以較為準確地跟蹤多云天氣下的凈負荷變化，實現較高的預測精度。

圖8 不同預測方法對多云日凈負荷的預測結果

表5為各個預測方法對多云凈負荷預測的平均絕對百分比誤差。由表5可看到，本文方法(EMAPE為2.45%)預測精度高于Elman網絡(EMAPE為4.76%)、BP網絡(EMAPE為4.23%)、RBF網絡(EMAPE為4.11%)和LSSVM算法(EMAPE為3.39%)、RF模型(EMAPE為2.66%)、決策樹(EMAPE為6.85%)、LSTM(EMAPE為6.26%)等單一預測方法，同時也高于傳統的無加權Stacking集成預測方法(EMAPE為2.53%)。表明本文所提出的基于特征加權的Stacking集成預測方法更適合于多云場景下的凈負荷預測。

對比表5和表3可發現，各方法對多云天氣凈負荷的預測精度高于整月的平均預測精度。這是因為多云天氣下光伏出力較少且相對平穩，光伏發電對凈負荷的影響較小。此外，多云天氣對人類的生產生活影響較小，因此用電負荷模式也會遵循一定的歷史規律。綜上，多云天氣下凈負荷的隨機性和波動性較低，凈負荷預測精度普遍較高。

表5 不同預測方法對多云天氣凈負荷的預測誤差

3.3.5 對多雪天氣凈負荷預測結果的分析

圖9為不同方法在多雪天氣下的2天凈負荷預測曲線。可看到本文方法的預測曲線與實際凈負荷曲線最為靠近，表明本文方法可以較為準確地跟蹤多雪天氣下的凈負荷變化，實現較高的預測精度。表6為各個預測方法對多雪凈負荷預測的平均絕對百分比誤差。

圖9 不同預測方法對多雪日凈負荷的預測結果

由表6可看到，本文方法預測精度高于各單一預測模型，也高于傳統Stacking集成預測。表明本文所提出的基于特征加權的Stacking集成預測方法更適合于多雪場景下的凈負荷預測。

對比表6和表3可發現，各方法對多雪天氣凈負荷的預測精度高于整月的平均預測精度。這是因為多雪天氣的氣象因素不復雜，同時光伏出力很小且相對平穩，多雪天氣下凈負荷的隨機性和波動性較低，凈負荷預測精度普遍較高。

表6 不同預測方法對多雪天氣凈負荷的預測誤差

3.3.6 對多雨天氣凈負荷預測結果的分析

圖10為不同方法在多雨天氣下的2天凈負荷預測曲線，可看到本文方法的預測曲線與實際凈負荷曲線最為靠近。

圖10 不同預測方法對多雨凈負荷的預測結果

表7為各個預測方法對多雨凈負荷預測的平均絕對百分比誤差。可看到，本文方法預測精度高于Elman網絡、BP網絡、RBF網絡和LSSVM算法、隨機森林樹、決策樹、LSTM等單一預測方法，同時也高于Stacking集成預測。表明本文所提出的基于特征加權的Stacking集成預測方法更適合于多雨場景下的凈負荷預測。

對比表7和表3可發現，各方法對多雨天氣凈負荷的預測精度高于整月的平均預測精度。這是由于降雨量較大時，原光伏出力不大的時間段預測精度較高。

表7 不同預測方法對多雨天氣凈負荷的預測誤差

對比不同方法在表6和表7中的預測誤差，可發現各方法在表7中的預測誤差更高。這是因為多雨的天氣不僅會導致氣溫降低而且伴隨著云量變化。此外，人們的生產生活也會受到降雨量的影響，光伏出力的影響因素變得更加復雜，預測難度也相應提高。

4 結 論

準確的凈負荷預測對于新能源并網電力系統的規劃、優化運行與控制具有重要意義。為了克服單一預測方法的局限性、提升凈負荷的預測精度，提出了基于Stacking集成學習的凈負荷預測方法。基于模型預測性能及差異性分析，優選出Stacking集成的初級學習器。針對傳統Stacking集成學習忽略初級學習器差異性導致的預測精度不高問題，提出了基于特征加權改進的Stacking集成學習預測方法。

基于德國TENNET區域2016年的凈負荷數據進行仿真分析，結果表明所提出的基于特征加權Stacking集成預測方法與單一預測方法和傳統無加權Stacking集成預測方法相比，具有更高的預測精度，并適合于不同天氣條件和日類型的凈負荷預測。同時也發現，不同天氣條件下的預測精度差別較大。因此，未來將考慮對不同天氣類型凈負荷分別建立Stacking集成預測模型。