










摘 要:針對電力負荷數據由于受多種因素的影響具有高度不確定性的問題,將負荷數據的不確定性與深度學習算法相結合,提出了一種基于模糊邏輯的FBiLSTM-Attention短期負荷預測模型,以提高負荷預測的精度。首先,對原始數據進行數據預處理,包括缺失值填充、相關性分析及數據歸一化;其次,通過K-Means聚類將每個特征的數據轉換成模糊規則引入模糊邏輯的處理,同時,模型結構方面采用雙向長短期記憶網絡(BiLSTM)和注意力機制(Attention);最后,對所提方法和傳統的LSTM與BiLSTM-Attention模型的預測結果進行對比。結果表明,結合了模糊邏輯的模型精確度和魯棒性都有了明顯的提升,具有更好的預測性能。所提模型可以有效提高處理不確定性數據的能力,為負荷預測研究提供了參考。
關鍵詞:數據處理;模糊邏輯;負荷預測;雙向長短期記憶網絡;注意力機制
中圖分類號:TN958.98
文獻標識碼:A"" DOI:10.7535/hbkd.2025yx01005
收稿日期:2024-04-03;修回日期:2024-06-30;責任編輯:馮民
基金項目:
國家自然科學基金(62233006);河北省高等學??茖W技術研究項目(ZD202120 QN2022028)
第一作者簡介:
張巖(1983—),男,河北石家莊人,副教授,博士,主要從事負荷預測、智能電網及電力大數據分析方面的研究。
E-mail:yanyanfly163@163.com
FBiLSTM-Attention short-term load forecasting
based on fuzzy logic
ZHANG Yan" KANG Zepeng" GAO Xiaozhi" YANG Nan WANG Zhaolei3
(1.School of Electrical Engineering, Hebei University of Science and Technology, Shijiazhuang, Hebei 050018, China;
2.School of Electrical Engineering and New Energy, Three Gorges University, Yichang, Hubei 44300" China;
3.Ultra High Voltage Branch, State Grid Hebei Electric Power Company Limited, Shijiazhuang, Hebei 050070, China)
Abstract:Aiming at the problem of high uncertainty in power load data due to various factors, a fuzzy logic based FBiLSTM Attention short-term load forecasting model was proposed by combining the uncertainty of load data with deep learning algorithms to improve the accuracy of load forecasting. Firstly, the raw data, including filling in missing values, conducting correlation analysis and normalizing the data, was preprocessed. Secondly, K-Means clustering was used to transform the data of each feature into fuzzy rules and introduce fuzzy logic processing. In terms of model structure, a bi-directional long short-term memory (BiLSTM) and attention mechanism (Attention) were adopted. Finally, the prediction results of the proposed method with traditional LSTM and BiLSTM Attention models were compared. The results show that the model combined with fuzzy logic has significantly improved accuracy and robustness, and has better predictive performance. The proposed model can effectively improve the ability to handle uncertain data, providing reference for load forecasting study.
Keywords:data processing; fuzzy logic; load forecasting; bi-directional long short-term memory(BiLSTM); attention mechanism(Attention)
電力負荷預測對于電力系統與環境保護至關重要。準確的負荷預測可以幫助電力系統規劃和運營者合理安排電力供應,避免能源浪費和過度發電,從而減少對環境的不良影響。通過預測負荷,可以優化能源調度和資源分配,促進可再生能源的集成和利用,減少對傳統化石燃料的依賴,從而降低溫室氣體排放和環境污染[1-2]。
負荷預測的方法主要分為2種:一種是基于統計學的傳統預測方法,另一種則是基于深度學習的先進預測方法。傳統統計方法如線性回歸模型灰色預測[3-4]、自回歸積分移動平均模型(autoregressive integrated moving average model, ARIMA)[5-6]等,在數據維度較低、問題結構較為線性的環境下表現出一定的優越性,當面臨非線性問題及大數據環境時,其效果通常弱于深度學習預測算法。目前深度學習算法包括卷積神經網絡(convolutional neural network,CNN)[7]、長短期記憶網絡(long short-term memory,LSTM)[8-9]、門控循環單元(gated recurrent unit,GRU)[10-11]等,已經在電力負荷預測領域得到了廣泛應用并取得了顯著的成果。但這些網絡是單層的,只能根據歷史狀態向前編碼,無法考慮反向序列的影響。雙向長短期記憶網絡(bi-directional long short-term memory,BiLSTM)引入了雙向計算的思想,它可以實現基于原始的LSTM網絡同時進行正向和反向計算,可以同時提取前向和后向信息[12],更好地挖掘負荷數據的時序特征,進一步提高預測模型精度[13]。注意力機制(Attention)的核心思想是獲得需要重點關注的注意力焦點,忽略其他無關信息,從而提高預測模型的準確率,使模型可以更加有效地進行預測[14]。但電力負荷數據通常具有高度的不確定性以及隨機性,這是由天氣和季節等諸多不確定性因素引起的,如果直接利用深度學習算法在原始序列上進行預測,很難達到預期精度。
基于此,本文將模糊邏輯與深度學習算法結合提出了一種基于模糊邏輯的FBiLSTM-Attention短期負荷預測模型,數據集的特征通過K-Means聚類算法被模糊化為多個類別。例如,通過將負荷、溫度和濕度等特征分為不同的類別,使得模型能夠捕捉這些特征的不確定性和模糊性,在面對不確定性數據時提升其預測性能。最后與傳統的LSTM與BiLSTM-Attention模型對比以證明所提模型的優越性。
1 FBiLSTM-Attention模型
本文FBiLSTM-Attention模型各部分功能介紹如下。
1.1 模糊邏輯
模糊邏輯是一種基于模糊集理論的邏輯系統,用于處理不確定性和模糊性信息。與傳統的二值邏輯不同,模糊邏輯允許變量在0和1之間的任何值,提供了一種連續的真值表示[15-16]。在本文模型中,模糊邏輯的引入主要有以下幾個關鍵作用。
1)特征的模糊化 數據集的特征通過K-Means聚類算法被模糊化為不同類別,增強了模型對數據內在復雜性的理解和適應能力。
2)模糊邏輯激活函數 自定義的模糊邏輯激活層(基于tanh函數)在網絡中引入了非線性,允許模型捕捉復雜的、非線性的依賴關系。
3)提高預測的魯棒性 由于模糊邏輯能夠靈活處理噪聲和異常值,它在面對數據波動時通常表現出較好的魯棒性。
4)融合多種信息 電力負荷預測涉及多種因素,如氣溫、濕度以及時間等,這些因素的影響是相互關聯且難以精確量化的。模糊邏輯可以通過模糊化處理將這些不同類型的信息綜合起來,從而提高預測結果的準確性。
1.2 BiLSTM模型
雙向長短期記憶網絡(BiLSTM)作為一種先進的深度學習模型,近年來在時間序列負荷預測方面得到了廣泛的研究和應用,表現出顯著的優勢[17]。與傳統的長短期記憶網絡相比,BiLSTM的獨特之處在于其雙向結構,允許網絡不僅從過去到未來處理信息,而且還能夠從未來到過去捕獲數據的關聯性。這一創新的結構使BiLSTM能夠捕獲更為復雜的模式和依賴關系[18]。本文模型中其作用如下:在電力負荷預測中,BiLSTM模型通過其雙向結構、長短期記憶機制和強大的非線性建模能力,能夠充分捕捉電力負荷的時間依賴性、季節性波動和突發性事件影響。它能夠在電力負荷預測中提供更加準確、魯棒的預測結果,尤其在面對復雜的時間序列數據時表現出顯著的優勢。
1.3 注意力機制
注意力機制(Attention)是一種在深度學習模型中用來增強模型對輸入特征中重要部分的關注的技術。在深度學習中,Attention允許模型在處理一系列輸入數據(如一段文本或時間序列)時,動態地對不同部分的數據分配不同的關注權重。通過這種方式,模型可以學習到哪些部分的信息更為重要,從而更加有效地進行預測[19]。本文模型中其作用如下:Attention通過自動識別和聚焦在輸入序列中的重要信息(例如關鍵時間步、重要特征等),有效提升預測模型的表現。它能夠幫助模型捕捉到復雜的非線性關系,改進長時依賴建模,增強模型的可解釋性,同時使得預測過程更加靈活和高效。
1.4 FBiLSTM-Attention模型結構
綜上,本文基于模糊邏輯的FBiLSTM-Attention模型結構如圖1所示。
本文模型具體步驟如下。
step1 對數據集進行預處理,包括數據缺失值的檢測和填充、特征相關性分析以及數據歸一化處理。
step2 在數據預處理完成后,采用K-Means聚類方法對每個特征的數據進行進一步的轉換,將其轉化為模糊規則,以此引入模糊邏輯的處理,之后將其輸入到BiLSTM模型中。
step3 所提的BiLSTM模型包含2個隱藏層,且每個隱藏層都是一個雙向LSTM層,每層后接一個雙曲正切模糊激活函數(基于tanh函數),來處理輸入數據的非確定性。
step4 將BiLSTM模型的特征作為 Attention層的輸入、全連接層作為輸出層生成預測結果。
step5 在模型訓練過程中,采用學習率衰減和早停策略,當驗證集的損失在連續10個epoch中沒有改善時,停止訓練。這種策略能夠有效地防止過擬合,優化模型訓練效果。
step6 利用訓練好的模型進行預測,計算誤差指標,保存預測結果。
2 數據預處理
2.1 缺失值填充
數據預處理和模型輸入是機器學習和數據分析的關鍵步驟。首先,需要對原始負荷數據進行深入的預處理工作。填補缺失值是預處理的一個重要環節,缺失的數據點可能會影響模型的性能,因此選擇適當的方法來填補這些缺失值是至關重要的。本文選擇線性插值方法來填補缺失數據[20],見式(1)。
yt+k=yt+yt+1-yti×k," 0<k<i ,(1)
式中:yt和yt+1分別為t時刻和t+1時刻的負荷;
yt+k是缺失電力數據。
從圖2 a)可以看出數據缺失的部分,經過處理的數據集如圖2 b)所示。
2.2 輸入特征分析
數據集中影響預測的因素有很多,如果僅僅依靠負荷的歷史值進行判斷,會導致預測的結果誤差較大,并且模型的外推性較低。本文采用Pearson 相關系數法[21]判斷各個變量之間的相關性,其計算公式見式(2)。
ρ=Cov(X,Y)Var[X]Var[Y] , (2)
式中:ρ為變量X和Y之間的相關性;Cov(X,Y) 為變量 X和Y 之間的協方差;Var[X]為變量X的方差;Var[Y]為變量Y的方差。
兩變量之間相關系數的絕對值|ρ|取不同范圍表示相關性強弱,范圍為0到 數值越大表示相關性越強,如表1所示,特征之間的相關性如圖3所示。
本文中|ρ|的范圍定到0.4及以上,僅保留此時的特征。
本數據集的特征包含負荷、風速、溫度、濕度和輻照強度,因風速相關性低于0. 故其被排除在最終數據集之外。
2.3 數據歸一化
數據歸一化是負荷預測中一個不可或缺的部分,由于負荷數據集不單單只有負荷的歷史值還有天氣等諸多特征,這些特征彼此之間的單位和范圍都是不同的,為了減少模型的訓練時間和提高預測性能,必須對這些特征進行歸一化處理[22]。在完成預測后還需要對預測結果進行反歸一化處理得到最終的預測結果。數據歸一化公式如式(3)所示。
x*=x-xminxmax-xmin" ,(3)
式中:x*為歸一化后的值;x為原始值;xmax為數據中最大值;xmin為數據中最小值。
將模型預測出來的預測結果進行反歸一化,如式(4)所示。
x=(xmax-xmin)x*+xmin。(4)
3 算例分析
3.1 評價指標
本文選擇3種度量方法來評估模型預測的準確性:相對均方誤差(root mean square error, RMSE)、平均絕對誤差(mean absolute error, MAE)、以及決定系數R2。RMSE能夠量化預測結果與真實值之間的平均偏差;MAE可以幫助評估預測模型在處理樣本數據時的整體質量;R2是一個統計學上的度量,用于衡量模型解釋目標變量的變動的能力。3個評價指標的具體計算公式見式(5)—(7)。
RMSE=∑ni=1
(i-yi)2n" ,(5)
MAE=1n∑ni=1
|i-yi| ,(6)
R2=∑ni=1
(i-)2∑ni=1
(yi-)2 ,(7)
式中:n為樣本的數量;
i為第i個數據的預測值;yi為第i個數據的實際值;為實際值的平均值。
3.2 FBiLSTM-Attention模型參數設置
為了精確地確定深度學習模型的最優參數配置,采用了網格搜索方法。該方法涉及系統地遍歷多種參數組合,從而找到在驗證集上性能最佳的模型配置。本文模型包含2個隱藏層,且每個隱藏層都是一個雙向LSTM層,分別包含64和32個單元,每層后接一個模糊激活函數。此外,本文模型還引入Bahdanau注意力機制以增強性能,其注意力權重的維度是一個重要的參數。在網格搜索中考慮了從16到64的不同維度,以找到最適合數據的配置。經過多輪實驗,確定輸出的注意力權重的最佳維度為32。本文模型的學習率是另一個關鍵參數,它決定了模型權重更新的速度。通過網格搜索,測試了從0.001到0.1的不同學習率,發現0.01的學習率能夠提供穩定而有效的學習過程。具體參數如表2所示。
3.3 預測結果對比
在本研究中,采用石家莊市某地區2017-11-01—2018-10-31的2份數據集來作為算例進行分析,采樣頻率為1次/h,樣本總數每份為8 760個,其中80%的數據用作訓練集,剩余的20%作為測試集。由于數據集樣本數量較多,本文選取部分原始負荷數據集進行展示,如圖4所示,其中圖4 a)與圖4 b)的數據集分別用于算例a和算例b的分析中。
所有的實驗都基于Python語言并使用TensorFlow架構進行實現,而預測任務設定為單步預測。為了證實本文模型的性能,選擇LSTM和BiLSTM-Attention作為參照模型進行對比。
模型的參數確定后,將電力負荷及相關特征的訓練集數據輸入,經過模型訓練及預測得到最終結果,并隨機選取部分測試集進行直觀地畫圖展示。各模型的預測結果如圖5所示,評價指標如表3所示。
其中圖5 a)與圖5 b)分別對應于算例a與算例b的預測結果。由圖5可以看出,本文模型與真實值的契合度比其他2種模型更高。由表3可知,在算例a的預測中,本文模型的R2達到了0.98 顯著高于BiLSTM-Attention和LSTM模型的預測效果,表明了其在解釋數據變異性方面的卓越能力。相較于BiLSTM-Attention和LSTM模型,本文模型在MAE上分別減少了9.893和114.747,在RMSE上分別減少了47.575和80.24 說明預測結果與真實數據之間的平均偏差降低,顯示了本文模型的精確性。在算例b的預測中,3種模型的R2值差異不大,但本文模型在MAE和RMSE上仍然領先,尤其是在MAE上,展示出了本文模型魯棒性優于其他2種模型。無論是在算例a還是算例b的預測中,本文模型在多個指標上都超越了傳統的2種模型。這些結果集中體現了模糊邏輯與深度學習技術的結合為電力負荷預測帶來的顯著提升。
4 結 語
提出了一種基于模糊邏輯的FBiLSTM-Attention短期負荷預測模型,通過實驗得出以下結論。
1)通過引入模糊邏輯,顯著提升了模型處理不確定性數據的能力。模糊邏輯的加入使得模型在不犧牲精度的情況下有效處理模糊和不確定性較高的數據。
2)在數據預處理階段,采用K-Means聚類方法將原始數據轉換為模糊規則,不僅為模型提供了更有結構的輸入,而且確保了模糊邏輯可以在模型中得到充分的應用。
3)所提模型結合了BiLSTM和Attention機制,能更有效地捕捉時間序列數據中的長期和短期依賴關系。同時,Attention機制確保了模型可以自動地為輸入數據分配適當的權重,從而關注更重要的信息。
綜上所述,所提出的基于模糊邏輯的FBiLSTM-Attention短期負荷預測模型在設計和實現上都展現出了明顯的優勢。經過對石家莊的2份數據集進行算例分析,顯示出本文模型在預測精度、魯棒性以及處理不確定性數據的能力上都有了明顯的提高,為未來的電力負荷預測提供了新的研究方向和思路。
盡管本文模型在電力負荷預測方面展現了顯著優勢,它仍面臨一些挑戰,如其復雜性導致的高計算需求,以及性能高度依賴于輸入數據的質量和特征。因此,未來的研究應著重于簡化模型結構,提高其在不同數據環境下的適用性,并探索其在更廣泛預測場景的應用,同時融合新興的機器學習技術,如強化學習和遷移學習,以增強模型的適應性和精確度。
參考文獻/References:
[1] 童佳亮.電力數據處理與負荷預測的研究[D].杭州:浙江大學,2023.TONG Jialiang.Research on Power Data Processing and Load Forecasting[D].Hangzhou:Zhejiang University,2023. EYA C U,SALAU A O,BRAIDE S L,et al.Improved medium term approach for load forecasting of nigerian electricity network using artificial neuro-fuzzy inference system: A case study of university of Nigeria, nsukka[J].Procedia Computer Science,202 218:2585-2593.
[3] 徐英,李滿君,段振興,等.基于灰色關聯分析的短期電力負荷預測系統[J].電子設計工程,202 30(20):185-188.
XU Ying,LI Manjun,DUAN Zhenxing,et al.Short-term power load forecasting system based on grey correlation analysis[J].Electronic Design Engineering,202 30(20):185-188.
[4] 潘力超.基于分數階灰色模型的中長期電力負荷預測[D].大慶:東北石油大學,2023.
PAN Lichao.Medium and Long Term Power Load Forecasting Based on Fractional Grey Model [D].Daqing:Northeast Petroleum University,2023.
[5] 汪旭明,張均東,劉一帆,等.基于Elman神經網絡修正的ARIMA預測模型[J].上海海事大學學報,202 44(2):57-61.
WANG Xuming,ZHANG Jundong,LIU Yifan,et al.Modified ARIMA prediction model based on Elman neural network[J].Journal of Shanghai Maritime University,202 44(2):57-61.
[6] 郭建鵬,佘穎鈴,溫步瀛.基于EEMD-ARIMA模型的地區月負荷量預測[J].電力工程技術,2018,37(6):28-32.
GUO Jianpeng,SHE Yingling,WEN Buying.Regional monthly load forecast based on EEMD-ARIMA model[J]. Electric Power Engineering Technology,2018,37(6):28-32.
[7] 張玲,王美萍,田琦,等.基于卷積神經網絡的換熱站熱負荷預測研究[J].建筑節能,202 51(5):67-72.
ZHANG Ling,WANG Meiping,TIAN Qi,et al.Heat load forecasting of heat exchange station based on convolutional neural network [J].Building Energy Efficiency,202 51(5):67-72.
[8] 張珂.基于LSTM組合模型的短期電力負荷預測研究[D].淮南:安徽理工大學,2022.
ZHANG Ke.Research on Short-Term Power Load Forecasting Based on LSTM Combination Model[D].Huainan:Anhui University of Science and Technology,2022.
[9] JAHANI A,ZARE K,MOHAMMAD K L.Short-term load forecasting for microgrid energy management system using hybrid SPM-LSTM[J].Sustainable Cities and Society,2023.DOI: 10.1016/j.scs.2023.104775.
[10]劉可真,阮俊梟,趙現平,等.基于麻雀搜索優化的Attention-GRU短期負荷預測方法[J].電力系統及其自動化學報,202 34(4):99-106.
LIU Kezhen,RUAN Junxiao,ZHAO Xianping,et al.Short-term load forecasting method based on sparrow search optimized Attention-GRU[J].Proceedings of the CSU-EPSA,202 34(4):99-106.
[11]王凇瑤,張智晟.基于量子加權GRU神經網絡的電力系統短期負荷預測[J].電力系統及其自動化學報,202 34(1):1-7.
WANG Songyao,ZHANG Zhisheng.Short-term load forecasting of power system based on quantum weighted GRU neural network[J].Proceedings of the CSU-EPSA,202 34(1):1-7.
[12]李澤文,胡讓,劉湘,等.基于PCA-DBILSTM的多因素短期負荷預測模型[J].電力系統及其自動化學報,2020,32(12):32-39.
LI Zewen,HU Rang,LIU Xiang,et al.Multi-factor short-term load prediction model based on PCA-DBILSTM[J].Proceedings of the CSU-EPSA,2020,32(12):32-39.
[13]任建吉,位慧慧,鄒卓霖,等.基于CNN-BiLSTM-Attention的超短期電力負荷預測[J].電力系統保護與控制,202 50(8):108-116.
REN Jianji,WEI Huihui,ZOU Zhuolin,et al.Ultra-short-term power load forecasting based on CNN-BiLSTM-Attention[J].Power System Protection and Control,202 50(8):108-116.
[14]吳永洪,張智斌.基于麻雀搜索優化的Attention-BiLSTM短期電力負荷預測[J].自動化儀表,202 44(8):91-95.
WU Yonghong,ZHANG Zhibin.Attention-BiLSTM short-term electricity load forecasting based on sparrow search optimization[J].Process Automation Instrumentation,202 44(8):91-95.
[15]魏春陽.基于區間二型模糊模型的抽水蓄能機組調速系統預測控制研究[D].武漢:華中科技大學,2022.
WEI Chunyang.Study on Predictive Control of Pumped Storage Unit Governing System Based on Interval Type-2 Fuzzy Model[D].Wuhan:Huazhong University of Science and Technology,2022.
[16]王尉銘.基于多模態數據與模糊學習的股票預測研究[D].廣州:華南理工大學,2022.
WANG Weiming.Research on Stock Price Prediction Based on Multimodal Data and Fuzzy Learning Model[D].Guangzhou:South China University of Technology,2022.
[17]陳悅,楊柳,李帥,等.基于Softmax函數增強卷積神經網絡-雙向長短期記憶網絡框架的交通擁堵預測算法[J].科學技術與工程,202 22(29):12917-12926.
CHEN Yue,YANG Liu,LI Shuai,et al.Traffic congestion prediction algorithm based on CS-BiLSTM framework[J].Science Technology and Engineering,202 22(29):12917-12926.
[18]章佳維.基于多頭注意力和BiLSTM的微博情感分析——基于“三孩政策”案例研究[D].武漢:中南財經政法大學,2022.
ZHANG Jiawei.Based on Multi-Headed Attention and BilLSTM Analysis of Public Emotion on Microblog:Case Study Based on \"Three-Child Policy”[D].Wuhan:Zhongnan University of Economics and Law,2022.
[19]唐菲菲,唐天俊,朱洪洲,等.結合注意力機制和Bi-LSTM的降雨型滑坡位移預測[J].測繪通報,2022(9):74-79.
TANG Feifei,TANG Tianjun,ZHU Hongzhou,et al.Rainfall landslide deformation prediction based on attention mechanism and Bi-LSTM[J].Bulletin of Surveying and Mapping,2022(9):74-79.
[20]陳呂鵬,殷林飛,余濤,等.基于深度森林算法的電力系統短期負荷預測[J].電力建設,2018,39(11):42-50.
CHEN Lyupeng,YIN Linfei,YU Tao,et al.Short-term power load forecasting based on deep forest algorithm[J].Electric Power Construction,2018,39(11):42-50.
[21]李云松,張智晟.基于GRU-TGTransformer的綜合能源系統多元負荷短期預測[J].電力系統保護與控制,202 51(15):33-41.
LI Yunsong,ZHANG Zhisheng.Multi load short-term forecasting of an integrated energy system based on a GRU-TGTransformer[J].Power System Protection and Control,202 51(15):33-41.
[22]劉迪.電網需求側分布式用戶響應模型及差異化需求響應策略研究[D].北京:華北電力大學,2020.
LIU Di. Research on Demand Side Distributed User Responsemodel and Differentiated Demand Response Strategy[D].Beijing:North China Electric Power University,2020.