基于聚類集合的EMD-CNN-BiLSTM自注意力機制短期電力負荷預測

關鍵詞：短期負荷預測；經驗模態分解；CNN-BiLSTM;自注意力機制

中圖分類號：TP181 文獻標志碼：A

0引言（Introduction）

超短期電力負荷預測在智能電網控制、電力安全等領域具有重要作用。電力系統的負荷受多種因素影響，展現出較強的周期性和波動性特征。然而，傳統數學統計方法如多元回歸算法、指數平滑法、卡爾曼濾波法等，在處理復雜的非線性非平穩序列時，預測效果大打折扣。相比之下，機器學習方法可以有效地解決非線性非平穩特征的擬合問題，如隨機森林法、支持向量回歸算法和小波分析預測法，但在面對規模龐大的數據時，傳統的機器學習模型容易陷入局部最優解，導致預測的精度無法達到預期。

深度學習作為機器學習的分支，在處理大數據時展現出優異的效果。DU等將CNN和BiLSTM相結合，提出CNN-LSTM模型，有效地解決了局部特征提取和長期依賴的問題。在此基礎上，本文提出一種基于聚類集合的EMD-CNN-BiLSTM自注意力機制混合模型。該模型對輸入數據進行EMD分解和K-menas分組以提高輸入數據的質量。在深度學習模塊中，融入了自注意力機制的CNN-BiLSTM被用于深入挖掘輸入數據中更多的內部信息，獲得了較高的預測精度。

1算法模型原理（Principles of algorithm model）

1.1 EMD模型

電力系統的負荷受如天氣、節假日等諸多因素的影響，表現出高度的非線性和非平穩特征，并且在局部區域表現出顯著的特征性。本文采用了經驗模態分解法，利用其自適應序列分解能力，將非線性和非光滑的電力系統負荷時間序列處理成平穩的時間序列。原始負荷序列可以分解為多組頻率由高到低的本征模態函數（Intrinsic Mode Function，IMF）和一個殘差項（Residuals，Res），分解出的不同頻率IMF分量代表了在不同時間尺度上電力負荷的局部特征。EMD分解流程圖如圖1所示。EMD分解后的IMF必須滿足以下兩點：①整個時間范圍內，函數極值點與過零點的差值必須等于1；②在任意時刻點，本征模態函數的上下包絡線均值必須為零。

1.2 K均值聚類算法

對于給定的數據集X={x₁，x₂，…，x_n}預先指定初始聚類數k。根據設定的聚類數，從數據中找出對應的聚類中心m_j（j=1，2，…，c），然后將離質心最近的數據點分配到不同質心對應的簇中；對于每個聚類，計算其內部所有數據點的均值，將該均值作為新的聚類中心。重復以上步驟，直至聚類中心不再發生改變或達到設定的迭代次數。

原始負荷數據經過EMD分解后，會生成頻率從高到低的多條本征模態函數。這些函數中隱藏了原始信號的多種特征且包含了許多相似的特征。如果對所有的本征模態函數和殘差都建立CNN-BiLSTM自注意力機制預測模型，將導致計算量巨大。為了將同集合內相似的特征最大化，同時最大化不同集合間的差異，并減少計算量，本研究在輸入預測模型前，先對EMD分解后的分量進行K-Means聚類集成。

1.3卷積神經網絡

在計算機視覺領域，卷積神經網絡已經被廣泛應用于圖像識別、目標檢測等任務中。然而，CNN不僅適用于處理二維圖像數據，它也可以有效地處理一維數據，如時間序列數據、音頻信號等。CNN模型使用卷積層、池化層及全連接層，通過局部連接和共享權值的模式，大幅減少了訓練過程中的權重數量，不僅加快了模型的訓練速度，而且還有效地提取了原始序列中的局部特征信息。CNN結構圖如圖2所示。

CNN采用卷積層和池化層交替架構，對原始序列進行數據重構，實現了壓縮權值與特征的提取。通過這一過程，網絡有效地挖掘出數據間的關聯信息并提取其中的特征信息。

1.4雙向LSTM網絡

長短期記憶神經網絡是一種基于循環神經網絡（RNN）的改進模型，解決了循環神經網絡長期依賴的問題。LSTM網絡引入門（gate）機制用以控制特征信息的保留與舍棄，以避免早期信息的遺忘及長序列數據在RNN中常出現的梯度消失或爆炸問題。LSTM網絡單元結構圖如圖3所示。

LSTM在RNN的基礎上增加了輸入門i_t、遺忘門f_t、輸出門o_t3個邏輯單元及記憶細胞，遺忘門主要處理前一記憶單元信息的去留，輸入門和輸出門負責讀取上一時刻的數據和將處理后的數據傳遞到下一單元。相關計算過程如公式（1）至公式（6）所示：

2.2模型結構

本文使用無監督學習中的聚類算法和深度學習模型相結合的方式，提出了基于聚類集合的EMD-CNN-BiLSTM自注意力機制模型，其結構圖如圖7所示。在數據預處理階段采用聚類集合下的經驗模態分解算法對輸入數據進行分解，然后將聚類集合后的數據分量輸入CNN-BiLSTM自注意力機制神經網絡中進行預測。該算法可以有效提取原始數據中的特征，減少無關因素的干擾，提升預測精度，并且能加快運算速度、降低運算負載。

短期電力負荷受多種外界因素的影響，使其具有非平穩和非線性的特征，為了更好地提取其中的數據特征，本研究采取EMD算法將歸一化后的原始數據分解為若干條本征模態函數和殘差分量。若將所有分量全部輸入預測模型中，將會導致數據量過大。為了保留各分量特征并減少計算量，后續采取K-means聚類算法對各IMF分量和Res進行分類累加。將經過聚類操作后的分量組成新的序列輸入神經網絡中進行預測。

本文采用的CNN-BiLSTM Self-Attention結構圖如圖8所示。首先，將經過經驗模態分解并聚類集合后的原始數據輸入CNN層中，該層主要是對數據進行特征的提取。CNN網絡層由兩層不斷遞進的一維卷積層和一層最大池化層組成，卷積層的作用是提取序列特征，其中選擇RULU函數作為激活函數，池化層的作用是對數據進行過濾和精簡化。其次，將數據經過Flatten層展平后送人自注意力機制層，自注意力機制層可以增強序列中的特征表示并捕捉到輸入序列之間的關系。經過自注意力機制層加權后的數據輸入BiLSTM層進行負荷的預測，BiLSTM層中含有一層BiLSTM網絡。最后，由全連接層輸出各分組的預測結果，經疊加后得到最終的預測值。

3實例分析與模型評估（Example analysis and model evaluation）

3.1 EMD分解及聚類分組

輸入數據經過歸一化處理后，采用EMD經驗模態分解法，將電力負荷數據的頻率從高到低分解為如圖9所示的12個本征模態函數（IMF）分量和1個殘差分量（Res）。不同頻率的本征模態函數體現了原序列在不同時間尺度上的特征信息，殘差分量則體現了序列長期變化的趨勢，這一操作可以將原始非平穩序列轉化為多條平穩序列，有利于負荷的預測。

為了增加預測的精準性和減少計算量，使用K-means聚類算法對12條本征模態函數和1條殘差分量進行聚類。選取不同的聚類數，將分解出的13條序列根據K-means算法原則分為Ll～Lk組，每組內的序列進行疊加組成新的序列，然后將新的序列采用滑動窗口的方式輸入神經網絡中進行后續預測。

不同分類數對預測精度和時間的影響如表1所示。分析表1數據可知，當聚類分組數為5時，達到了最優平衡，既保證了較高的預測精度，又使得計算耗時最少。相比之下，當選擇1個聚類分組時，雖然處理時間最短，但是由于所有分量被混合在一起，導致預測精度過低，失去了實際意義。當設置分組為最大時，即不對輸入序列進行聚類，此時耗時巨大且相似特征過多而使精度降低。所以，選擇合理的分組，不僅能節約時間，而且還能提升預測精度。

3.2仿真結果分析

本實驗采用了5種模型進行仿真對比，分別是CNN-LSTM、EMD-CNN-BiLSTM、CNN-BiLSTM自注意力機制、EMD-CNN-LSTM自注意力機制及EMD-CNN-BiLSTM自注意力機制。在采用EMD分解的模塊中采取K-means聚類算法，聚類數取表1中效果最佳的5聚類數。本文采用浙江省西南部某市2021 2022年的電力負荷數據比，測試集和驗證集按9：1的比例進行分配，不同模型的預測曲線圖如圖10所示。圖10展示了2021年最后兩天的電力負荷情況，共192個數據。其中，黑色線表示真實負荷，方塊點線為CNN-LSTM的預測值，圓形點線為EMD-CNN-BiLSTM的預測值，棱形點線為CNN-BiLSTM自注意力機制的預測值，下三角形點線為EMD-CNN-LSTM自注意力機制的預測值，五角形點線為EMD-CNN-BiLSTM自注意力機制的預測值。從圖10中可以看出EMD-CNN-BiLSTM自注意力機制模型與真實負荷的擬合程度最高。

表2為本實驗模型與傳統及相似模型的誤差對比。相較于傳統的CNN-LSTM模型，混合神經網絡的誤差有了顯著降低。在數據處理過程中引入EMD分解聚類模塊后，預測精度得到了進一步提升。通過將傳統的單向LSTM結構改為雙向LSTM，并加入自注意力機制模塊，本文構建的EMD-CNN-BiLSTM自注意力機制模型相較于EMD-CNN-BiLSTM模型，RMSE降低了34.787%，MAE降低了45.042%，MAPE降低了46.697%；而相較于EMD-CNN-LSTM自注意力機制模型，RMSE降低了19.742%，MAE降低了30.248%，MAPE降低了24.857%。這些數據充分說明，本文所提出的模型能夠做出更加精準的預測。

4結論（Conclusion）

本文提出了基于聚類集合的EMD-CNN-BiLSTM自注意力機制的短期電力負荷預測模型，并通過實驗與不同模型進行對比，得出以下結論。

（1）通過引入經驗模態分解法，將非平穩數據分解為不同頻率的本征模態函數和殘差項，有助于更深入地挖掘序列特征。在此基礎上，加入K-means聚類算法對分解后的序列進行歸類，有效減少了運算時的數據量，并增強了序列的特征表現。與未使用聚類算法相比，模型的RMSE降低了5.28，MAE降低了5.987，MAPE降低了2.119百分點，同時運算時間減少了2530.632s。

（2）CNN-BiLSTM白注意力機制的神經網絡首先利用CNN提取序列的特征，其次通過自注意力機制層增強特征表現，最后利用BiLSTM挖掘更深層次的序列信息，提高了對歷史數據的利用率，并能作出準確預測。

相較于傳統機器學習模型，本文提出的基于聚類集合的EMD-CNN-BiLSTM白注意力機制模型能有效提升短期負荷數據預測的精度，對比其他基于經驗模態分解算法的模型，能在保證預測精度的同時，縮短運算的時間。