基于深度置信網絡的配電網負荷預測

呂秋霞，孫 亮，車延華，于全喜

（1.東方電子股份有限公司技術中心，山東 煙臺 264000；2.煙臺職業學院信息工程系，山東 煙臺 264670）

0 引言

廣州大學城配電網的用戶類型比較復雜，主要包括高校、商業中心、醫院和小型普通工業等。由于用戶內部用電設備繁多，電表年久失修、電表數據讀取錯誤或者無法上送等問題，導致各個變電站統計的配電網負荷數據不完整。在當今大數據時代，數據信息至關重要，通過對海量配電網數據進行挖掘分析，可進一步推動數字化電網［1-2］的發展，所以對缺失數據進行數據預測至關重要。

隨著人工智能技術在電力系統的廣泛應用，智能電網［3-4］成為新一代電網技術發展的必然趨勢。機器學習算法作為人工智能的核心驅動，在電網數據預測中的應用也日漸成熟。國內外很多學者針對數據預測展開一系列的研究，并提出很多適用于電力數據預測的機器學習算法。文獻［5］利用改進粒子群算法對Elman 模型的權值以及反饋因子進行優化訓練，提高數據預測精度、模型泛化能力和系統實時數據準確性。文獻［6］利用遞歸神經網絡模型在時間序列預測上的獨特優勢，并結合受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）模型的無監督學習能力，進行電力數據預測，提高了短期電力負荷數據預測的準確性。文獻［7-10］都采用改進和優化的長短期記憶網絡（Long Short-term Memory，LSTM）算法進行電力負荷預測，LSTM 在時序學習方面具有良好的性能，所以在具有周期性的電力負荷預測方面能極大提升預測精度。文獻［11］提出一種改進的反向傳播（Back Propagation，BP）神經網絡，能夠自適應調整學習率，對樣本數據進行批處理訓練，提高了改進算法的收斂速度和預測精度。文獻［12］結合隨機森林算法，對支持向量機（Support Vector Machine，SVM）和BP 神經網絡進行對比研究，發現隨機森林算法在電力系統小時負荷預測方面有較好的精度。文獻［13］提出一種模糊信息粒化支持向量機預測算法，實現了電力負荷數據的點預測和區間預測，對電網調度工作有一定意義。文獻［14］結合RBM 的無監督學習和遞歸神經網絡，對電力負荷數據進行預測訓練，較其他網絡獲得了更高的準確性。

國內配電網自動化當前正處于起步階段，還有諸多問題亟待解決，如采集數據不完整、數據來源多且難以整合等。上述問題導致配電網負荷預測難度較大。深度置信網絡（Deep Belief Networks，DBN）是無監督學習模型，相對傳統BP 神經網絡，其收斂速度更快，預測精度更高。提出基于DBN 的負荷預測算法，結合粒子群的快速尋優能力，實現了已缺失電力數據的快速準確預測。

1 深度置信網絡

1.1 受限玻爾茲曼機

DBN［15］是由一定數目的RBM［16］堆疊而成，每一個RBM 模型都是由一個隨機的隱含層和可見層組合而成，其中，模型的隱含層和可見層的各個單元之間保持全連接，單獨的隱含層和可見層的層內無連接，RBM 模型擁有強大的數據無監督學習能力，其結構如圖1 所示。

圖1 RBM結構Fig.1 Model structure of RBM

RBM 用v表示可見層，h表示隱含層，則系統的能量方程為

式中：vi為可見層單元i的狀態；hj為隱含層單元j的狀態；ai為可見層單元i的偏置；bj為隱含層單元j的偏置；m可見層所有單元的數目；n為隱含層所有單元的數目；wij為可見層各個單元i和隱含層各個單元j之間的連接權值；θ為所有參數的集合{ai,bj,wij}。

給定狀態的聯合概率分布為

式中：Z(θ)為配分函數，表示為Z(θ)=∑v∑he-E(v, h|θ)。

由于RBM 可見層的各個單元和隱含層的各個單元之間保持相互獨立，所以其條件概率分布為：

RBM 采用無監督貪婪訓練算法［17］進行參數訓練，訓練目標為最大化模型的對數似然函數，lgP(v|θ)。通過對似然函數求偏導數，結合吉布斯采樣可以得到ai，bj和wij參數的更新迭代公式如下：

式中：〈·〉data為模型分布的數學期望值；〈·〉recon為模型進一步重構之后的分布數學期望值；ε為學習率。

1.2 深度置信網絡

DBN 由兩個以上的RBM 堆疊而成，模型第一層的隱含層將作為下一層的RBM 的可視層，其模型如圖2 所示。DBN 采用貪婪逐層訓練算法完成模型自底端到頂端的認知和生成過程，再通過最頂端的經典BP 神經網絡的反饋學習，完成自頂端到底端的反向傳播訓練和權值微調。

圖2 DBN模型結構Fig.2 Model structure of DBN

2 基于DBN的電力負荷預測

2.1 訓練模型及學習算法

文中采用的時間序列預測模型［18-20］是基于DBN的神經網絡算法。模型使用由多個RBM 堆疊在一起而成的DBN 算法對初始權值和閾值進行前向無監督學習，通過貪婪逐層訓練算法對訓練模型的各個初始參數進行迭代優化，再通過經典的反饋學習對模型參數進行微調，從而使訓練結果收斂到最優。模型訓練流程如圖3 所示。

圖3 DBN模型訓練流程Fig.3 The flow chart of DBN training model

根據負荷數據的時序化特點，將實驗數據作為一組時序數據進行模型訓練。假設算法模型在t時刻第i*個輸入變量為x*i，第i*個輸出變量yi*=x(t)，其中，x（t）表示當前t時刻的時序值，即用該時刻的值作為輸出，前t個時刻的值作為輸入進行預測，即

預測模型具體訓練步驟如下。

第一步：對原始電力負荷數據進行分析處理，采用標準分數公式將數據歸一化到［0，1］區間，如式（9）所示。歸一化后的數據在一定程度上能夠加快模型收斂速度，提高模型精度。

式中：x*為歸一化處理之后的數據；x為原始實驗數據；為每個元素為原始數據均值的向量；σ為原始實驗數據的標準差。

第二步：采用由多個RBM 模型堆疊而成的DBN 模型進行數據訓練，設置隱含層個數n，以及反向傳播訓練時BP 神經網絡模型的學習率εbp和動量因子α，并給出DBN 訓練次數和反向傳播算法訓練次數，退出模型迭代的條件是達到最大迭代次數或期望誤差。

第三步：DBN 模型采取貪婪逐層訓練算法，完成訓練模型的無監督學習過程，由于吉布斯采樣的效率隨著采樣步數的增大而降低，因此文中采用由 Hinton 提出的對比散度（Contrastive Divergence，CD）［21］算法來進行參數快速估計。CD算法通過一步采樣的方式就可以得到足夠好的訓練模型參數。

基于模型的對稱結構以及獨立性，通過可見層的初始狀態v0得到其激活概率P(h|v0)以及隱含層的初始狀態h0。經過一步吉布斯采樣，如圖4 所示，根據模型的初始狀態可以得到v1，h1。具體采樣流程如下。

圖4 吉布斯采樣Fig.4 Diagram of Gibbs sampling

模型隱含層的神經元之間采用Sigmoid 函數作為激勵函數來對數據進行標準化處理，處理的函數公式為

由此可以得到可見層和隱含層在開啟狀態時的激活概率分布：

最后可以按照式（5）—式（7）和式（13）—式（15）更新模型的各個訓練參數為：

式中：k為迭代次數。

2.2 基于粒子群優化的預測模型

式中：ω為模型權值；c1和c2為學習因子常數；r1和r2為區間［0，1］內的隨機數；d為粒子的個數；k為迭代次數。

基于PSO 算法特點，對DBN 無監督訓練后的模型參數進一步優化，提出了PSO-DBN 模型。該模型PSO 初始粒子群位置采用DBN 訓練好的參數，然后PSO 對模型的回歸訓練層進行迭代優化訓練，訓練參數分別為第一層的連接權值w1和偏置θ1，以及第二層的連接權值w2和偏置θ2，訓練參數的更新公式為：

式中：k為迭代次數；s1為DBN 第一層的單元個數；s2為DBN 第二層的單元個數。

PSO-DBN 模型訓練流程如圖5。

圖5 PSO-DBN模型訓練流程Fig.5 Flow chart of PSO-DBN training model

第一步：對模型輸入參數進行歸一化處理；

第二步：給出粒子群優化算法的迭代次數和種群個數，算法的權值和學習因子按照經驗設置初始值，確定模型隱含層的神經元個數；

第三步：按照第2.1 節給出的DBN 模型進行無監督訓練；

第四步：使用粒子群優化算法對無監督訓練好的模型參數進行優化更新，從而得到全局最優解。模型約束條件為預設的迭代次數和期望誤差。

模型的目標函數為

3 實驗仿真

3.1 數據分析

對項目獲取的配電網負荷數據進行建模分析，主要針對配電網負荷檢測值的歷史值進行模型訓練和預測。由于變電站不同設備各個點之間的數據存在差異性，為了使預測模型對變電站的不同點數據具有普適性，選取數據庫中一個點的量測數據作為實驗對象，且對實驗數據進行歸一化處理，提高訓練模型的訓練速度和模型精度。

圖6 繪制了100 天該點的負荷值變化曲線。進行預測時，選擇前7 個時刻的值作為輸入變量進行預測，即xi=[x(t-7),x(t-6),…,x(t-2),x(t-1)]作為t時刻的輸入變量，輸出變量表達式為yi=x(t)，即用該時刻的值作為輸出。

圖6 負荷變化曲線Fig.6 Load variation curves

3.2 仿真結果

分別設置粒子群優化算法的迭代最大數和種群個數為500 和30，權值ω為0.9，學習因子c1和c2為1.494 45。DBN 的學習率ε為0.000 1，動量因子α為0.09，隱含層個數n為20，DBN 訓練次數為1 000 次。

將PSO-DBN 模型、DBN 模型與BP 神經網絡訓練模型的數據仿真結果進行對比。為了更好地評價預測模型在電力負荷預測方面的預測精度，采用均方根誤差（Root Mean Square Error，RMSE）以及平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）兩個指標，對實驗結果的準確性進行分析，具體指標計算為：

式中：xe為真實數據為預測數據；ne為數據總數。

文中提出兩種預測模型與BP 神經網絡模型的仿真對比結果如表1 所示。

表1 仿真結果Table 1 Simulation results

圖7 給出三種模型的收斂曲線。結合表1 的仿真結果和三種模型的時間復雜度可知，PSO-DBN 模型在電力負荷預測方面有較好的預測結果且收斂速度較快。

圖7 三種模型的收斂曲線Fig.7 Convergence curves of three model

4 結束語

大學城配電網負荷數據的完整性對于廣州大學城的用電統計分析和高級應用正常運行具有非常重要的意義。提出一種基于粒子群優化算法的DBN預測模型，對缺失負荷數據進行時間序列預測。結合DBN 自身的無監督學習能力和PSO 的全局搜索能力，提高了預測模型的精度和收斂速度，在廣州大學城項目中的配電網負荷預測方面具有很好的現實意義。