基于WD-LSSVM-LSTM模型的短期電力負荷預測

趙倩，鄭貴林

(武漢大學 電氣與自動化學院， 武漢 430072)

0 引 言

隨著經濟社會的發展，電力需求呈現出不斷飆升與峰谷差愈來愈顯著的態勢，因此，需求側負荷預測成為電力系統源-網-荷協調調度的一項重要技術。準確的需求側負荷預測，對于電力供需平衡、電力系統穩定、保障電力服務、有效地降低發電成本等有著重大意義。

許多學者對需求側負荷預測開展了多方位的研究，提出了多種預測方法，如線性外推法、回歸分析法、時間序列法、小波分析法、人工神經網絡法、支持向量機法以及組合預測法等[1-8]。

由于電力需求側的特點，千家萬戶、千變萬化、千姿百態，具有隨機變化性強，非線性顯著，近年來，對于需求側負荷預測的研究工作也傾向于先對負荷進行分解之后再進行預測，也產生了很多負荷分解方法，如小波分解法[9]、改進局域均值分解法[10]、頻域分解法[11]等。

由于單一的預測方法都有其局限性，因此組合預測的方法應運而生。第一類方法是進行多組單一方法預測，將預測結果通過權重分配進行組合得到預測結果。但是，基于權重的組合預測算法中模型的拓展性較差。第二類方法即為負荷分解的方法，最常用的是小波變化和EMD分解。

小波分解適用于分解非平穩信號且分解速度較快，文中將電力負荷數據通過小波分解的方法分解為頻率不同的若干分量，對較為平穩的低頻分量建立PSO-LSSVM預測模型進行預測，對變化較大的高頻分量通過LSTM網絡進行預測，將所得結果疊加還原，得到最后的預測結果。

1 基本原理

1.1 小波變換

小波變換是在克服傅里葉變換缺點的基礎上發展而來的一種新的變換方法。它是一種在時間和頻域的局域變換，主要通過對信號的伸縮平移運算實現對信號的多尺度細化，它能夠提供目標信號各個頻率子段的頻率信息，非常適用于非穩定信號的分析。

文中利用小波分解算法將用電量離散時間序列分解為不同頻率的分量，但是分解后得到的分量長度不同，而且長度不同于原始數據，因此需要對這些分量進行小波重構[12]，進而得到和原始數據長度相等、頻率不同的分量，如圖1所示。

圖1 小波分解與重構結果

圖1中，s為原數據波形;a5為變化緩慢的低頻分量，包含信號的低頻信息；d1、d2、d3、d4、d5是變化迅速的高頻分量，包含信號的高頻信息。

1.2 支持向量機算法

對于訓練集中的一個樣(xi,yi)，其函數間隔為：

ri=yi(Wxi+b)

(1)

訓練集的函數間隔等于所有樣本點的函數間隔的最小值：

(2)

函數間隔只能表示分類預測的正確性，不能表示樣本到分隔超平面的準確距離。

對于訓練集中的一個樣本(xi,yi),其幾何間隔為：

(3)

訓練集的幾何間隔等于所有樣本點的幾何間隔的最小值：

(4)

幾何間隔不但可以表示分類預測的正確性還能準確地表示樣本到分隔超平面的距離。

SVM的優化問題轉化為最大化訓練樣本的幾何距離：

(5)

s.t.yi(Wxi+b)≥r,i=1,2,…m

(6)

函數間隔的取值不會影響最優問題的解，將訓練樣本的函數間隔取值為1，上述問題轉化為：

(7)

s.t.yi(Wxi+b)≥1,i=1,2,…m

(8)

由此可知SVM的優化問題是一個帶有分等式約束的QP(Quandratic Programming)問題。

1.3 最小二乘支持向量機

LSSVM將SVM優化問題的非等式約束用等式約約束替換，具體形式如下：

(9)

s.t.yi(Wxi+b)=1,i=1,2,…m

(10)

為了解決存在部分特異點的情況，給每一個樣本引入誤差變量ei，并在原始函數中加入誤差變量的L2正則項，這樣LSSVM的優化問題就轉化為：

(11)

s.t.yi(Wxi+b)=1-ei,i=1,2,…m

(12)

式中C為正則化參數，對于非線性可分的訓練樣本，可以將原始樣本從映射到更高的線性可分的空間中，φ(xi)將xi映射到更高維空間中。LSSVM的優化問題是一個帶有等式的約束的QP問題，為求解該問題，先列出上述優化問題的Lagrange函數：

(13)

式中αi表示對應于xi的lagrange乘子。lagrange函數對各個變量進行求道，并使導數為零：

(14)

(15)

(16)

(17)

(18)

(19)

1.4 粒子群優化算法

粒子群優化算法(PSO)是通過模擬鳥群覓食行為而發展起來的一種基于群體協作的隨機搜索算法。

PSO初始化為一群隨機粒子，然后通過迭代找到最優解，每次迭代粒子通過跟蹤兩個“極值”來更新自己，即個體最優解和種群最優解。所有的粒子通過一個適應度函數確定本身的適應值，用以判斷目前位置的好壞。每個粒子僅具備速度和位置屬性。

PSO的標準形式如式(20)、式(21)所示：

vi=ω×vi+c1×rand()×(pbestt-xi)+c2×rand()×(gbesti-xi),i=1,2,3…N

(20)

xi=xi+vi

(21)

(22)

式中ω為慣性權重；vi為粒子的速度；N為種群粒子數；rand()為介于(0,1)之間的隨機數；xi為粒子的當前位置；c1和c2為學習因子；pbesti表示粒子經過的最好位置；gbesti表示種群所經歷的最好位置。粒子通過pbestt和gbesti兩個極值來更新自己。文章采用典型線性遞減策略來確定慣性權重，如式(22)所示，ωmax為慣性權重最大值，ωmin為慣性權重最小值，t為當前迭代次數，tmax為總的迭代次數。

1.5 LSTM基本理論

LSTM網絡是一種具有記憶的神經網絡模型，使得處理時序的屬性數據具有很好的效果。標準LSTM網絡架構中的核心單元。主要通過通入門、遺忘門以及輸出門這三個門達到了對網絡具有記憶效果。基本的LSTM網絡結構如圖2所示。

圖2 LSTM結構示意圖

遺忘門決定從狀態中丟棄什么信息，主要通過sigmoid函數去參考上一次的結果與當前的內容，其數學模型為：

ft=σ(Wf[ht-1,xt]+bf)

(23)

式中h為上一次輸出的結果；x為當前輸入的信息；ft為輸出0到1的概率；Wf和bf為遺忘門權重矩陣和偏置項；σ表示sigmoid函數。

輸入門作用是控制哪些信息被放入細胞狀態值中，其數學模型如式(24)和式(25)所示：

it=σ(Wi[ht-1,xt]+bi)

(24)

(25)

(26)

式中ft表示遺忘門。

輸出門確定細胞狀態的哪個部分將輸出，其數學模型為：

σt=σ(Wo[ht-1,xt]+bo)

(27)

ht=ot*tanh (Ct)

(28)

式中ot為輸出門的輸出；tanh為激活函數。

2 負荷預測方法研究

2.1 模型構建

該模型的主要思想是將用電量時間序列進行小波分解之后得到不同頻率的分量，對各分量進行小波重構，然后對低頻分量構建LSSVM預測模型，通過PSO算法找到LSSVM模型的最佳參數，對高頻分量構建LSTM模型進行預測，將預測結果疊加在一起得到最終的預測結果。

2.2 LSSVM模型構建

如圖3所示，在LSSVM建模過程中，重要的一個步驟是確定兩個參數C和σ。只有設置合適的參數才能使模型得到較好的預測效果。

圖3 WD-LSSVM-LSTM預測模型流程圖

LSSVM建模的步驟如下：

步驟一：確定輸入，對輸入進行預處理并進行標準化；

步驟二：形成訓練樣本；

步驟三：確定參數C和σ；

步驟四：計算α、b參數，建立LSSVM預測模型；

步驟五：進行短期負荷預測。

2.3 PSO優化的LSSVM模型

為了使預測效果達到最大化，通過粒子群算法對LSSVM方法的核函數參數進行優化，建立PSO-LSSVM模型。

粒子群優化算法尋找最小二乘支持向量機最優參數的步驟如下：

步驟1：設定參數。設置粒子群優化算法的搜索范圍：C∈[0.1,100],σ∈[0.1,10]；粒子數m=20；加速常數c1=c2=2；

步驟2:在速度區間和搜索空間上隨機初始化粒子速度和位置；

步驟3:定義適應度函數。將pbesti和gbesti作為支持向量機的C和σ參數代入LSSVM模型，通過式(30)計算出每個粒子的適應值,式中fi為第i個粒子的適應值，n為樣本個數，yij為第i個粒子的第j個樣本的模型預測值，Yj為第j個樣本的模型期望值。適應值最小的粒子的值記為前群體的最優位置。

(29)

步驟4:按照式(20)、式(21)更新粒子速度和位置。重復步驟3，計算更新后的每個粒子的適應值。最小值對應的粒子的兩個極值作為LSSVM的最優參數；

步驟5:達到迭代次數后就結束搜索計算過程；

步驟6:將最優解作為LSSVM的參數，代入模型后進行負荷預測。

2.4 WD-LSTM預測模型

針對隨機性較強的負荷分量，LSTM神經網絡既有較強的非線性擬合能力，并且能夠挖掘時間序列自身特征，使得預測結果盡可能準確。因此通過LSTM神經網絡來預測負荷的高頻分量。

WD-LSTM建模過程如下：

(1)采用WD分解技術將輸入負荷分解成頻率不同的分量；

(2)對分解后得到的負荷分量數據進行預處理，對數據進行歸一化處理；

(3)實現LSTM模型，需要設置網絡的相關參數。

文中選擇當前時刻的前96個電力負荷數據作為網絡的輸入預測下一時刻的負荷數據，因此設置輸入層節點數為96，輸出層節點數為1。隱藏層采用LSTM細胞和Dropout搭建雙層循環神經網絡[13]。由于LSTM神經網絡模塊的層數越多，學習能力越強，但是層數過多又會造成網絡訓練難以收斂，因此訓練過程中網絡的層數一般不超過3層[14-15]，文中采用2層。文中隱藏層的每個LSTM層后面加入了一個Dropout層，在前向傳播時讓神經元的激活值以指定的概率停止工作，從而增強模型的泛化性，防止過擬合；

(4)對每個高頻分量分別建立LSTM模型；

(5)在進行預測后，對預測值進行反歸一化處理，然后將低頻分量預測值和高頻分量預測值進行疊加，得到最后的預測結果。

3 算例分析

3.1 試驗數據和試驗平臺

試驗以2016年電工數學建模競賽[16]提供的2009年1月1日～2015年1月10日的電力負荷為數據，數據的采樣周期為15分鐘，每天產生96組數據。以2009年1月1日～2015年1月1日的數據為訓練數據，以2015年1月2日～2015年1月9日的負荷數據為測試數據。預測1月10日的短期電力負荷，并與真實負荷進行對比。

3.2 電力負荷數據分析

選取連續三天的電力負荷數據做出變化曲線如圖4所示。

圖4 電力負荷變化曲線圖

可以看出電力負荷數據有相似的波動規律，總體上與時間存在一定的周期關系。

3.3 數據預處理

對樣本數據進行歸一化處理，將其轉化為無量綱的純數值。這樣不僅可以提升模型的收斂速度，還可以提升模型的精度。歸一化公式如下所示：

(30)

式中Z′為歸一化后的樣本值；Z為原樣本值；Zmax為原樣本集中的最大值；Zmin為原樣本集中的最小值。

3.4 實驗仿真與結果

文中仿真實驗使用matlab2016b編程軟件進行分析。對歸一化后的低頻樣本分量建立PSO-LSSVM預測模型進行預測，高頻樣本分量分別建立LSTM預測模型進行預存，得到各分量的初始預測值，之后對這些初始值進行反歸一化得到實際預測值。最后，將各個樣本分量的預測值進行疊加，得到最終的預測結果，做出預測值與實際值曲線的對比圖，如圖5所示。圖5顯示了基于小波分析的WD-LSSVM-LSTM預測模型的最終預測結果。

圖5 基于小波分析的PSO-SVM模型預測結果

為了評估該模型的精確度，對負荷原始數據分別構建PSO-LSSVM預測模型、基于小波分析的PSO-LSSVM預測模型和BP神經網絡預測模型進行預測，將所有預測模型的預測結果做出曲線對比圖，如圖6所示,并做出各模型的逐點相對誤差如圖7所示。

圖6 幾種預測模型預測結果

圖7 逐點相對誤差對比

為了比較這幾種預測模型的精確性，選擇平均絕對誤差和均方根誤差作為評價標準，有：

(31)

(32)

式中n為預測樣本數量；xi為實際用電量；x′i為預測用電量。

經計算，得到幾種預測模型預測結果的MAE值和RMSE值，如表1所示。

表1 幾種預測模型預測結果的比較

可以看出WD-LSSVM-LSTM預測模型誤差降低，精度有一定提升。

4 結束語

文中針對電力負荷預測提出了基于小波分析的LSSVM-LSTM預測模型。由于電力負荷隨機變化性強，非線性顯著，文章采用小波分析方法對電力負荷做了小波分解和重構，為優化的LSSVM模型和LSTM模型得到更高的預測精度提供了保障。對電力負荷進行WD分解，得到不同頻率的分量，隨后，分別采用PSO-LSSVM與LSTM網絡對分解后的低頻與高頻負荷數據進行預測，將預測結果進行疊加，得到電力負荷預測結果。實驗結果表明，該預測模型有較高的預測精度，整體上對電力負荷的趨勢預測較為準確。文中研究的方法仍然需要進一步完善和改善，使預測的效果更加符合實際的需求。