基于模態分解-PSO-DNB深度學習的短期負荷預測研究

趙恩來，李向陽，王高峰，劉澎源，劉朝龍

(北京國網信通埃森哲信息技術有限公司，北京 100053)

隨著分布式能源、儲能、充電樁等新型供能方式持續大規模并網，促使配網智能化程度的不斷發展和能效管理系統的智能化完善升級，將呈現出電力用戶需求多樣化的局面。電力負荷的預測結果將成為提升電網調度和配網智能化管控水平的重要依據[1]。因此，有必要對負荷預測的新方法、新技術開展研究，以此提高負荷預測的準確性。傳統的負荷預測方法已無法滿足負荷多元化的發展需求[2]。通常，負荷預測類型根據預測周期主要劃分為(超)短期預測和中長期預測2大類。

本文重點以未來24 h內的負荷預測開展建模研究。文獻[3]主要利用主成分分析原理提取數據樣本集的特征量，采用如降維、簡化數據空間等系列方法，有助于消除變量間的冗余性。文獻[4]采用多層進化感知的深度訓練模型，利用多層拓撲網絡感知方法，將電力負荷數據向量由高維轉化為低維，并從低維向量中提取出隱含特征量，以減小高維向量中的干擾成分。文獻[5]詳細探討了基于一種ARIMA時間序列算法的光伏短期預測模型，該模型在陰雨天和晴天環境下均能獲得較好的預測精度。文獻[6]利用云計算相關技術設計了一種電力用戶大數據分析平臺，將智能電表、SCADA系統和各類傳感器組合起來，將采集的數據整合并行優化預測電力用戶短期數據，并結合預測數據開展邊緣分析。深度學習理論作為當下人工智能領域的研究熱點。另外，為提高短期負荷的預測精度，已有文獻對短期負荷的預測算法進行了深入研究[7-9]，且從預測模型上也提高了日負荷(24 h內)的負荷精度[10-11]。深度信念網絡(Deep Belief Network，DBN)預測模型可由多層受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)組合而成，適用于求解維度高、復雜化的非線性問題。并對DBN訓練模型開展研究發現，其模型的網絡連接初始化權重系數是隨機生成的，該方式極大促使DBN模型在訓練中易陷入局部解，進而影響系統模型的預測效果。為此，本文利用自適應粒子群算法[12]優化模型的連接權重系數，建立自適應粒子群的DBN訓練模型。此外，為了對負荷樣本數據進行訓前篩選，充分保證訓練數據的合理性。本文充分利用了信號處理方法[13]—變分模態分解方法，可將樣本負荷分解為一系列特征互異的子序列—模態量，并結合互信理論[14]利用其變化特點選用合理的輸入量。

綜上所述，為了跟隨電力負荷周期性、隨機性的變化特點，本文將原始負荷進行變分模態分解，并對各組模態集合建模分析，結合互信理論選擇有效的輸入，提出模態分解-PSO-DNB組合深度學習的短期負荷預測模型，對未來24 h內的負荷進行滾動預測，通過仿真結果說明了本文所給模型的有效性。

1 深度置信模型

深度學習模型作為多層神經訓練網絡的衍生模型[15]，其區別在于抽象化模型數據的低層特征，挖掘出數據內在的分布特征，利用訓練較少的數據樣本來獲取數據的本質特征[16]。同時，深度學習模型很好地繼承了神經網絡訓練模型的魯棒特性，兼顧較少數據樣本的條件下具備處理復雜函數的運算能力，本文將采用多隱層的非線性深度訓練結構[17]。

1.1 深度學習單元

文獻[18]對深度學習模型進行了深入分析，其核心內容是結合智能算法逐層訓練每個多層受限玻爾茲曼機，最后結合反向傳播算法對整個訓練效果進行微調整。一般情況下，RBM模型包含有n個神經元、m個隱層神經元，其概率分布函數:

(1)

基于式(1)獲得(v，h)的聯合概率分布函數為:

(2)

(3)

式中，ai和bj分別為RBM模型可視層中的第i單元、隱含層第j單元的偏置量；vi和hj分別為對應的隨機態；wij為權值系數；e-E(v，h|θ)為勢函數；Z(θ)為配分量。

開展RBM模型訓練主要為獲取最優參數{wij，ai，bj}。為了克服數據采樣效率低下的問題，文獻[18]給出了一種散度對焦算法，適用于訓練RBM模型。

1.2 深度學習模型

深度學習模型主要將RBM和自適應智能算法有機整合，如圖1所示。其訓練思路:①提取深度學習模型的底層數據特征量，用于模型設計頂層學習的輸入變量，同時，采用由模型底層向高層逐層訓練的模式；②訓練至模型頂層后，再利用自適應粒子群算法對整個訓練網絡進行自適應優化調整，保證模型訓練結果能跳出局部解。

圖1 DBN訓練流程Fig.1 DBN training process

鑒于DBN模型是由多個RBM模型整合而來，提高RBM的訓練效率事關整個模型訓練的核心地位。本文結合散度對焦算法進行快速訓練，這有利于避開開展模型深度學習訓練涉及的運算規模，直接采取RNM模型分散式訓練，既提高訓練速度，又能獲得較優的初始訓練參數。

RBM模型所需參數可利用學習訓練的方式獲取，并結合最大似然函數得到RBM參數的更新公式，具體表達式:

(4)

式中，λ為學習率；E()data為訓練數據分布期望值；E()model為模型初始值設置的期望值。

為了減少取得無偏差值的運算量，結合CD梯度快速算法[19]對RBM參數予以優化，其更新公式:

(5)

式中，E()recon為模型數據重構后的期望值。

1.3 PSO算法

針對深度學習模型在訓練中易陷入局部解的問題，本文利用PSO算法對模型網絡的權重系數進行優化配置。傳統的粒子群算法涉及的粒子速度和位置的更新公式[20]:

(6)

PSO算法的實施步驟參見文獻[19]，本文設定模型的適應度函數:

(7)

式中，n、m分別為樣本數和訓練維數；pij、tij分別為訓練數據的重構值和真實值。

2 短期預測模型

鑒于電力負荷非線性、隨機性的分布規律，加之考慮到氣候條件、外部經濟和政治因素等外部環境，都會不同程度地反映在負荷波動特性上來。另外，季節因素、日期類型也會促進電力負荷發生波動。盡管如此，電力負荷依然帶有很強的周期性。為充分反映電力負荷的波動變化，本文運用模態分解法[13]對負荷序列進行特征化處理，獲取區分性辨識的效果，以此提升學習模型的預測精度。同時，變量輸入的合理選取也決定了預測負荷的準確性，為避免過度地依賴人工經驗，本文充分考慮輸入和輸出變量間的關聯信息，并篩選出對預測結果較大影響的輸入變量集合。

2.1 數據分析

(1)數據異常分析。利用離群數據判定原則[21]，設定w的異常數據判據:

(8)

式中，Q1、Q3分別對應第一、第三四分位數；IQR為四分位距。

(2)數據分布分析。為了確定樣本負荷數據的時間分布，對采集的樣本數據圖形化，可大致確定高峰負荷的時間節點。以某市電網供應負荷2020年1月—8月實測負荷開展數據分析，采樣間隔為1 h，結合文獻[13]所述方法對樣本數據進行分解，模態分解的部分結果如圖2所示。

圖2 負荷原始序列及模態分解結果 Fig.2 Load original sequence and modal decomposition results

由圖2所知，U1的振幅均值最小，有較大波動，規律性較差；U2、U3具有較好的規律性和周期性；U4、U5振幅均值較大，波動平緩，規律性較好。

基于上述分析，若對U1—U5分別建模，致使訓練模型的效率降低且運算任務加重。本文利用近似熵方法[22]，先對近似熵值相近的狀態序列采取合并處理，從而利于隨機分量、細節分量和趨勢分量集合獲取。

由圖3可知，結合近似熵方法處理后，隨機分量的平均周期和振幅分別約為5.34 h和21.34 MW，該分量的意義主要體現工作和休息期間電力用戶的用電規律，且具有較大波動性。細節分量的平均周期和振幅分別約為11.88 h和125.15 MW，該分量主要反映了各類用戶生產的用電規律，規律性較好。趨勢分量的平均周期和振幅分別約為24 h和342.15 MW，該分量重點反映以天為單位的負荷變化情況，規律性較好，周期性穩定。

圖3 模態重構結果Fig.3 Modal reconstruction results

2.2 數據處理

深度學習模型主要用于訓練輸入樣本數據，并通過植入優化的權重系數w和偏置量b，以獲取較高質量的輸入數據，故在訓練前應對樣本數據進行質化處理。

(1)默認值處理。考慮到電力負荷的測量數據具備連續性特點，在正常運行狀態下數據不存在短時躍變，故選取t-1時刻的負荷代替t時刻的默認值。

(2)數據異常處理。篩選出異常數據，并將此部分數據(如電壓、電流等電氣量)同配網運行正常變化范圍內的監測數據校核，從而剔除異常數據。

(3)歸一化處理。對于訓練模型而言，選擇的輸入變量需對影響因子和輸出變量間的關聯性綜合考慮，為避免因物理量綱不統一引起的換算問題，需對數據采取歸一化處理，具體方式為:

(9)

2.3 變量輸入

本文結合互信理論[14]輸入有效的變量。作為信息論中熵的概念，互信理論用來表征多變量信息的共享規模。隨機離散變量x、y間交互信息量化為:

(10)

式中，n、m分別為隨機離散變量x、y的樣本數。若二者隨機量之間的交互信息越多，表明變量間的關聯性越強；反之，關聯性越弱。本文重點研究短期(24 h內)負荷預測，則輸入變量應著重考慮歷史日負荷、典型溫度等變量。結合負荷周期性和交互理論，對樣本數據進行分類處理。

2.4 特征化處理

數據特征化處理是將樣本數據轉化為模型數據，其目的為模型獲取更好的數據特征，提高機器學習效率。

(1)特征信息提取。提取出原始數據的隱藏信息，挖掘數據內涵特征。結合電力負荷特點，綜合考慮月、周、小時、工作日以及峰谷等屬性，結合向量編碼原則對樣本數據的特征信息進行編碼組合。

(2)特征信息融合。該過程主要將數據源和應用場景按照對應原則相互融合，并根據電力網絡參數的相應物理意義，本文選用電力網絡中的有功和無功、電壓和電流等數據參與特征融合，其架構如圖4所示。

圖4 特征工程整合流程 Fig.4 Feature engineering integration process

2.5 評價指標

采用平均絕對百分比誤差和均方根誤差作為模型預測效果評價指標，計算公式為:

(11)

2.6 模型訓練流程

綜合以上論述，本文將獲得的電力運行樣本數據開展短時負荷預測模型建模。模態分解-PSO-DNB深度進化模型如圖5所示。

圖5 模態分解-PSO-DNB深度進化模型Fig.5 Modal decomposition-PSO-DNB deep evolution model

3 算例分析

本文選擇某地區實際負荷數據進行相關驗證，采集的樣本數據為某地區10 kV配電網絡系統2020年1月—8月的運行負荷數據，采樣周期為1 h。其中，樣本數據含儲能、分布式發電和充電樁等負荷類型，分布式發電以光伏發電為主，供電負荷類型主要為樓宇負荷，該類型負荷的峰谷時段明顯，且季節性波動范圍較大。為了驗證深度學習特征提取預測模型的準確性，結合多場景開展深度學習仿真訓練。

圖6 原始樣本數據Fig.6 Original sample data

設定2020年1月1日—2020年6月30日期間的數據作為訓練樣本，剩余數據作為測試樣本。通過仿真，可得出模態分解-PSO-DNB深度進化模型的中間性能見表1。

表1 模態分解-PSO-DNB深度進化模型的預測性能Tab.1 Predictive performance of modal decomposition-PSO-DBN deep evolution model

由表1可知，當模型的隱含層數遞增時，δMAPE、δRMSE總體上呈先遞減后遞增的趨勢，而模型訓練所需時間隨著節點數呈遞增變化。綜合表2測試結果，本文構建的模態分解-PSO-DBN模型選擇隱含層數為3，節點數選擇64。模型其余參數設置見文獻[23]。模型訓練的迭代次數設為1 000次，學習率設為10-3。

通過仿真優化后，本文獲得的預測結果見表2。由表2可知，通過不同模型訓練結果發現，基于進化深度學習模型訓練得到的負荷結果具有更好的擬合精度，能夠跟隨負荷曲線進行自適應調整。

表2 部分節點負荷預測值Tab.2 Partial node load forecast

4 結論

本文利用模態分解-PSO-DBN模型對電力負荷數據進行相應訓練，可作用于電力短期負荷的預測下研究。得出的結論如下。

(1)利用模態分解方法將原始負荷進行序列分解，提取其特征分量。促進清晰掌握用電行為的周期特性。

(2)綜合考慮樣本負荷的歷史規律、溫度及日期類型等因素，結合互信息理論整合各輸入分量，避免了人工經驗干預的缺陷。

(3)通過循環滾動24 h負荷預測場景，采用自適應PSO算法優化深度學習模型的權重參數，提高了模型的預測性能。

參考文獻(References):

[1] 康重慶，夏清，張伯明.電力系統負荷預測研究綜述與發展方向的探討[J].電力系統自動化，2004，28(17):1-11.

Kang Chongqing，Xia Qing，Zhang Boming.Review of power system load forecasting and its development[J].Automation of Electric Power Systems，2004，28(17):1-11.

[2] 陳艷平，毛弋，陳萍，等.基于EEMD-樣本熵和 Elman神經網絡的短期電力負荷預測[J].電力系統及其自動化學報，2016，28(3): 59-64.

Chen Yanping，Mao Yi，Chen Ping，et al.Short-term power load forecasting based on EEMD-sample entropy and Elman neural network[J].Proceedings of the CSU-EPSA，2016，28(3): 59-64.

[3] Amjady N，Keynia F.A new prediction strategy for price spike forecasting of day-ahead electricity markets[J].Ap-plied Soft Computing，2011，11(6):4246-4256.

[4] Gensler A，Henze J，Sick B，et al.Deep learning for solar power forecasting - an approach using Auto Encoder and LSTM neural networks[C]//IEEE International Conference on Systems，Man，and Cybernetics.Budapest，Hungary，2016:2858-2865.

[5] 趙濱濱，王瑩，王彬，等.基于ARIMA時間序列的分布式光伏系統輸出功率預測方法研究[J].可再生能源，2019，37(6):820-823.

Zhao Binbin，Wang Ying，Wang Bin，et al.Photovoltaic power prediction in distribution network based on ARIMA model time series[J].Renewable Energy Resources，2019，37(6):820-823.

[6] 王德文，孫志偉.電力用戶側大數據分析與并行負荷預測[J].中國電機工程學報，2015，35(3):527-537.

Wang Dewen，Sun Zhiwei.Big data analysis and parallel load forecasting of electric power user side[J].Proceedings of the CSEE，2015，35(3):527-537.

[7] 葛少云，賈鷗莎，劉洪.基于遺傳灰色神經網絡模型的實時電價條件下短期電力負荷預測[J].電網技術，2012，36(1):224-229.

Ge Shaoyun，Jia Ousha，Liu Hong.A gray neural network model improved by genetic algorithm for short-term load forecasting in price-sensitive environment[J].Power System Technology，2012，36(1):224-229.

[8] 王保義，王冬陽，張少敏.基于Spark和IPPSO-LSSVM 的短期分布式電力負荷預測算法[J].電力自動化設備，2016，36(1): 117-122.

Wang Baoyi，Wang Dongyang，Zhang Shaomin.Distributed short-term load forecasting algorithm based on Spark and IPPSO-LSSVM[J].Electric Power Automation Equipment，2016，36(1):117-122.

[9] 曾鳴，呂春泉，田廓，等.基于細菌群落趨藥性優化的最小二乘支持向量機短期負荷預測方法[J].中國電機工程學報，2011，31(34):93-99.

Zeng Ming，Lü Chunquan，Tian Kuo，et al.Least squares-support vector machine load forecasting approach optimized by bacterial colony chemotaxis method[J].Proceedings of the CSEE，2011，31(34):93-99.

[10] 孫謙，姚建剛，趙俊，等.基于最優交集相似日選取的短期母線負荷綜合預測[J].中國電機工程學報，2013，33(4):126-134.

Sun Qian，Yao Jiangang，Zhao Jun，et al.Short-term bus load integrated forecasting based on selecting optimal intersection similar days[J].Proceedings of the CSEE，2013，33(4):126-134.

[11] Ceperic E，Ceperic V，Baric A.A strategy for short-term load forecasting by support vector regression machines[J].IEEE Transactions on Power Systems，2013，28(4):4356-4364.

[12] 朱經緯，方虎生，邵發明，等.自適應粒子群算法求冗余機械臂逆運動學解[J].計算機工程與應用，2019，55(14):215-220.

Zhu Jingwei，Fang Husheng，Shao Faming，et al.Self-adaptive particle swarm optimization algorithm for solving inverse kinematics problem of redundant manipulator[J].Computer Engineering and Applications，2019，55(14):215-220.

[13] 張曉宇，張建成，王寧，等.基于變分模態分解的混合儲能系統協調控制[J].中國電力，2018，51(9):169-177.

Zhang Xiaoyu，Zhang Jiancheng，Wang Ning，et al.Coordinated control of hybrid energy storage system based on variational mode decomposition[J].Electric Power，2018，51(9): 165-173.

[14] Vahabie A H，Yousefi M M R，Araabi B N，et al.Mutual information based input selection in neuro-fuzzy modeling for short term load forecasting of Iran National Power System[C]//2007 IEEE International Conference on Control and Automation.Guangzhou，China:IEEE，2007:2710-2715.

[15] Yuan Lecun，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521(7553):436-444.

[16] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29(8):2806-2810.

Sun Zhijun，Xue Lei，Xu Yangming，et al.Overview of deep learning[J].Application Research of Computers，2012，29(8):2806-2810.

[17] Bengio Y.Deep learning of representations for unsuper-vised and transfer learning[J].Workshop on Unsupervised & Transfer Learning，2012，7:1-20.

[18] Sauer D U，Wenzl H.Comparison of different approaches for lifetime prediction of electrochemical systems-using lead-acid batteries as example[J].Journal of Power Sources，2008，176(2):534-546.

[19] 孫莉敏，張聰.線性反問題的一個改進CD算法[J].數學的實踐與認識，2020，50(5):184-189.

Sun Limin，Zhang Cong.An Improved CD algorithm for linear inverse problems[J].Journal of Mathematics in Practice and Theory，2020，50(5):184-189.

[20] 付雪松，王建林，胡志雄，等.基于動態權重PSO算法的眼科OCT設備橫向分辨率檢測[J].儀器儀表學報，2019，40(9):145-153.

Fu Xuesong，Wang Jianlin，Hu Zhixiong，et al.Lateral resolution detection of ophthalmic OCT equipment based on dynamic weight PSO algorithm[J].Chinese Journal of Scientific Instrument，2019，40(9):145-153.

[21] 孫毅，李世豪，崔燦，等.基于高斯核函數改進的電力用戶用電數據離群點檢測方法[J].電網技術，2018，42(5):1595-1604.

Sun Yi，Li Shihao，Cui Can，et al.Improved outlier detection method of power consumer data based on Gaussian kernel function[J].Power System Technology，2018，42(5):1595-1604.

[22] 李勛貴，魏寧，魏霞.系統復雜性測度參數確定的新方法及其應用[J].系統工程理論與實踐，2018，38(1):252-262.

Li Xungui，Wei Ning，Wei Xia.A new method for determining parameters of system complexity measures and its application.Systems Engineering-Theory & Practice，2018，38(1): 252-262.

[23] 向育鵬，衛志農，孫國強，等.基于全壽命周期成本的配電網蓄電池儲能系統的優化配置[J].電網技術，2015(1):264-270.

Xiang Yupeng，Wei Zhinong，Sun Guoqiang，et al.Life cycle cost based optimal configuration of battery energy storage system in distribution network[J].Power System Technology，2015(1):264-270.