基于LSSVR和LSTM的多模型優化集成負荷預測

郭傅傲，劉大明，唐 飛

(上海電力大學計算機科學與技術學院，上海 200093)

1 引言

負荷預測對于能源規劃和安全至關重要，基于負荷預測可進行包括電力系統調度、規劃、電價調整和維護等一系列電力系統運行操作。精確負荷預測是提高發電設備利用率和經濟調度有效性的重要保證[1]。在過去的十年中，由于負荷預測在需求側管理和智能電網方面的潛力，人們對負荷預測進行了廣泛的研究。

氣象、日期類型和其它外生變量影響著負荷需求。對天氣因素而言，研究人員利用分析方法探究天氣因素與負荷的相關性，取相關性較大的因素作為預測模型輸入。對日期類型而言，主要有工作日休息日，星期類型，節假日等。文獻[2，3]提取氣象主要因素、日期類型特征分析并修正后作為預測模型輸入，結果表明考慮相關影響因素分析修正后的特征輸入比直接負荷預測有更好的效果。

當今人工智能技術在負荷預測領域發揮著越來越重要的作用。人工神經網絡、支持向量機、深度學習[4-6]等是短期負荷預測的流行技術，都在一定程度上提升了負荷預測的精度。但以上所提模型都有其特定的應用范圍。單個模型可能存在過擬合問題，且可能受到泛化能力的限制[7]。在模型預測中，相同的單一模型對不同的預測樣本具有不同的預測精度，不同的單一模型對相同的預測樣本也具有不同的預測精度。為了降低單個模型的預測誤差，在負荷預測領域主要有兩類集成方法，分別是使用不同采樣數據集，設置不同模型參數而構建的多個同類模型集成和涉及多種算法的異構模型集成預測。第一類集成方法可以解決單個模型過擬合和泛化能力有限的問題。但是，由于算法本身的局限性，這種方法不能解決單一算法應用局限性問題。另一種集成由多種異構模型組成，多預測模型的互補優勢克服了單一算法應用有限的缺點，但每種模型的訓練仍是相同的訓練集，依然存在單模型過擬合和泛化能力有限的問題。

在集成預測中，決策過程應是單個預測的策略組合。常用的方法有簡單平均法、加權平均法、MLR(多元線性回歸)等。簡單平均法是對多個子預測輸出取均值，但在預測輸出過程中，某些個體的預測精度會明顯高于其它個體，導致在決策中弱化了具有高預測精度子模型的預測能力。同時單個子模型經相同數據集訓練，預測結果高度相關，可能產生共線性或奇異性問題，如采用MLR決策，可能會忽略重要權重因子。

針對以上問題，本文提出了一種基于LSSVR和LSTM的多模型優化集成負荷預測方法。首先探究負荷相關特征對負荷剖面的影響，作出適當的修正并由互信息進行特征選擇，提升輸入數據的相關性。采用boostrap隨機抽樣生成多個訓練集。以這種方式，通過改變簇的數量來獲得不同的負荷預測，增強了訓練模型泛化能力。然后，使用具有良好預測能力的最小支持向量回歸(LSSVM)和長短期記憶循環神經網絡(LSTM)模型進行預測。并由粒子群優化算法進行優化，進一步提升預測精度。在決策過程中利用偏最小二乘回歸(PLSR)組合各個子模型的最優預測并提供最終預測結果。對真實電網數據進行了仿真，并與其它預測方法進行了比較。驗證了方法的有效性。

2 基于LSSVR和LSTM的多模型優化集成負荷預測方法

所提方法如圖1所示，由以下4個階段組成。

圖1 所提方法流程圖

2.1 特征分析與選擇階段

影響負荷變化的因素有多種，主要包括經濟發展規模、日期類型(工作日與休息日、星期類型、節假日)和氣象因素(溫度、濕度、氣壓、風速和降雨量)等。經濟增長規模的短期數據暫時由于無法獲得，所以并未考慮。文中通過對影響負荷變化的氣象和日期類型特征進行可視化分析，尋找特征之間聯系。然后采用互信息(MI)特征選擇方法選出最優特征集。

互信息(MI)度量是單個變量的減少影響另一個變量的不確定性的程度。此方法非常適合于尋找非線性關系的相關性。設X，Y為隨機變量，其聯合概率密度函數為p(x，y)，邊緣密度函數為p(x)和p(y)。Y的不確定性由熵來表示

(1)

當已知X，條件為X的Y的不確定性由條件熵給出，定義為

(2)

隨機變量X和Y之間的互信息(MI)定義為

(3)

互信息I(X;Y)描述了隨機變量之間的依賴關系。I(X，Y)越大，兩個隨機變量之間的相關性越高。并可由熵表示為I(X;Y)=H(Y)-H(Y|X)。

2.2 多異構模型集成階段

在預測模型構建方面，首先在互信息選出的最優數據集上進行有放回的隨機抽樣(bootstrap)[8]，生成多個訓練集。采用這種方式，通過改變簇的數量來獲得不同的負荷預測，增強訓練模型泛化能力。然后利用不同的機器學習算法構建出一個多模型，即預測模型層次上多個非線性異構模型的集成預測。文中采用在負荷預測領域具有良好預測性能的LSSVR和LSTM模型在各個抽取的子訓練集上進行預測。

2.2.1 LSSVR

支持向量回歸是通過構造最優擬合超平面為目標的機器學習模型，模型中的核函數取代了高維特征空間的內積運算，解決了神經網絡存在的“維數災難”問題，且泛化能力強[9]。在負荷預測中，最小二乘支持向量回歸LSSVR是它的一種擴展。其將SVR算法的不等式約束轉換為等式約束，大大方便了Lagrange乘子 α的求解，降低了計算復雜度。且由于待選參數少，求解速度快的優勢，廣泛的應用于電力系統負荷預測中。其基本原理如下：

給定一組樣本(xi，yi)，i=1，…，N，預測模型可表示為

f(x)=(ω，φ(x))+b

(4)

其中ω是權值向量，φ(x)表示高維特征空間的非線性映射輸入，b為偏置值。由結構化最小原理的該模型優化目標為

s.t.yi=ωTφ(xi)+b+ei，i=1，…，N

(5)

其中，γ為正則化參數，ei為引入的誤差變量，y=f(x)，即為預測模型函數。引入Lagrange乘子α

(6)

(7)

K(x，xi)=φ(x)Tφ(xi)為LSSVR的核函數，α和b的值可由式(7)求出。

實驗中LSSVR采用的參數為：核函數類型為高斯核函數kernel=RBF，懲罰因子C=2.0，正則化參數γ=30。

2.2.2 LSTM

由于循環神經網絡RNN存在梯度消失或爆炸的問題，學習中的長期記憶是難以保存的。(梯度消失指的是長期分量的梯度范數以指數方式快速縮減為零，限制了模型學習長期時間相關性的能力，而梯度爆炸則指的是相反事件)。為了克服這些問題，Hochreiter等人首次提出了長期短期記憶(LSTM)架構[10]。它由循環神經網絡RNN衍變出的一種變種模型，能夠建立先前信息與當前環境之間的時間相關性。克服了普通RNN在訓練反傳過程中出現的梯度消失等問題。因其中含有記憶單元，非常適用于處理和預測長時間序列問題。

LSTM的單元結構由輸入門，遺忘門和輸出門組成，如圖2。

圖2 LSTM單元結構

在LSTM單元中有3個sigmoid函數和2個tanh函數，輸出范圍分別為(0，1)和(-1，1)，其中，sigmoid被用作“軟”開關，以決定信號是否通過。如果門為0，則信號被阻擋。遺忘門，輸入門和輸出門的開關都取決于當前輸入和先前的輸出。以下為LSTM單元模型的數學表示：

ft=σ(Wf[ht-1，xt]+bf)

(8)

it=σ(Wi[ht-1，xt]+bi)

(9)

(10)

(11)

ot=σ(Wo[ht-1，xt]+bo)

(12)

ht=ottanh(ct)

(13)

其中，式(8)為遺忘門信號，式(9)(10)(11)為輸入門信號，輸出門信號由式(12)(13)得出。Wf，Wi，Wc，Wo是相應輸入的權重矩陣；σ和tanh分別表示sigmoid和tanh激活函數；xt和ht-1為單元輸入；ht為單元輸出；it為輸入門輸出，ft為遺忘門輸出，ot為輸出門輸出；ct表示當前時刻為t的細胞單元更新狀態。

遺忘門信號控制是否丟棄信息。將輸出ft在(0，1)范圍內的值與細胞狀態ct-1對比進行判斷。輸入門信號控制內部狀態的更新信息，然后更新細胞狀態。輸出門確定LSTM單元輸出傳遞的內容。然后，該過程繼續重復下一個LSTM單元。通過最小化LSTM輸出和實際訓練樣本之間的誤差來學習更新權重和偏差。LSTM詳細結構和最新進展可參考文獻[11]。

文中LSTM采用的結構為：3層結構，優化器為adam，損失函數mse。激活函數linear。迭代30次。

選擇在負荷預測領域具有良好預測性能的LSSVR和LSTM來訓練集成模型中的多個訓練子集。

2.3 模型優化階段

粒子群優化算法(PSO)是一種基于粒子群中粒子數量的啟發式搜索方法[12]。該算法具有較強的尋優能力，在眾多領域都得到了廣泛應用。但PSO算法易于陷入局部最優，為了解決這一問題，引入混沌理論，生成一種新的群智能算法—混沌粒子群算法(CPSO)，通過對粒子的混沌擾動來幫助粒子逃離局部最優解，然后更新粒子的速度和位置來獲得全局最優解。粒子群算法的速度和位置迭代更新公式為：

(14)

(15)

混沌優化方法是先建立映射關系(即混沌空間和解空間之間關系)，然后將優化變量映射到混沌空間，最后利用混沌變量搜索出全局最優解。其中，映射模式可以是一種典型的迭代混沌方程式

zi+1=μzi(1-zi)，i∈(0，1)

(16)

其中，zi表示混沌域，取值范圍為(0，1)；μ為控制參量，由式(16)可知，由任意初值z0，通過遍歷(0，1)空間，可迭代出確定的混沌序列z1，z2，z3，…。然后利用混沌運動遍歷全局，從而在解空間上尋出全局最優解。

2.4 決策集成階段

單個預測子模型經類似數據集訓練后產生的預測結果高度相關，可能會使預測序列在集成過程中存在共線性或奇異性問題，因此多元線性回歸(MLR)集成可能會丟失某些重要權重因子。文中利用偏最小二乘回歸(PLSR)方法組合各個子預測模型的輸出結果。PLSR的主要思想是通過將原始變量投影到一個新的空間來尋找線性回歸模型。假設X和Y是單獨輸出和集合輸出，PLSR將通過新空間中的潛在變量由X去預測Y。經X和Y通過伸縮變換后的Xc和Yc的分解公式為

(17)

其中，T和U是核心矩陣，P和Q是加載矩陣，E和F是剩余矩陣，J為分量數。PLSR的目的是找到潛在的向量tj和uj，使Xc和Yc之間的協方差最大化。

PLSR是對潛在變量而不是原始變量進行回歸分析。這樣，PLSR就能夠處理共線性，并為組合權重生成可靠的估計。此外，PLSR允許選擇具有最佳泛化性能估計值的潛在分量子集，這可以消除個體預測的過擬合。

2.5 所提負荷預測方法工作流程

1) 對負荷及相關影響因素數據進行特征分析，考慮綜合氣象指數及簡單修正，由互信息選擇出最優特征集。

2) 利用boostrap重采樣技術對所選特征集進行隨機抽樣，劃分出不同子集作為訓練集(文中分為兩類，每一類有三組子訓練集。如采用更多模型，可劃分多類)。

3) 將2)中的數據歸一化處理(文中采用z_score標準化)，數據集的前80%做為預測子模型的訓練集，20%作為測試集。

4) 訓練模型結構及參數(文中采用LSSVR與LSTM作為訓練模型)。以最小化實際與輸出誤差為目標，通過訓練來調整模型的權重及偏值。

5) 混沌粒子群優化算法(CPSO)分別與最小二乘支持向量回歸(LSSVR)和長短期記憶循環神經網絡(LSTM)結合，可提升算法預測精度。

6) 在集成決策階段，通過偏最小二乘回歸(PLSR)組合各個子模型的最優預測并提供最終預測結果。

3 仿真分析

數據集：實驗數據來自中國某地區近三年(2012/01/01-2014/12/27)的真實電網數據和相關影響因素數據。主要包括歷史負荷數據(一天96點)、天氣數據(溫度、相對濕度、降雨量)、日期類型數據(年、月、日、小時)。

實驗環境：使用CoreI5處理器、8GB RAM和DDR3存儲。

3.1 數據特征分析選擇

首先可視化原始數據特征，如圖3、4所示。

圖3 負荷及氣象數據

圖4 日期類型分析圖

由圖3、4分析可知：

1)負荷需求曲線呈現逐年遞增規律，年與年負荷變化相似；

2)溫度、降雨量與負荷需求呈正相關，而相對濕度看似與負荷需求影響不大；

3)周末負荷整體比工作日(周一至周五)負荷低，但周五的負荷需求比較特殊，夾在兩者之間；

4)在夏季和冬季負荷需求相差較大，具有明顯的季節性。日負荷的整體規律非常相似，在大約上午10點至下午8點達為用電高峰，在凌晨5點為用電低谷；

文中在原始數據特征的基礎上考慮了綜合氣象因素(溫濕指數，雨量指數等)并對日期類型作為簡單修正。利用[0，1]范圍之間的數來表示一周中的星期類型。例如，周末和工作日(周一至周四)由0和1表示，周五由0.8表示。

圖5顯示了每個天氣因素、日期類型與負荷需求的MI是不同的。在本文中，選取前8個特征和歷史負荷一起作為訓練模型的輸入。

圖5 負荷需求與相關特征互信息圖

選出最佳特征集作為預測模型輸入。

3.2 結果與分析

平均絕對百分比誤差(MAEP)和歸一化均方根誤差(NRMSE)用于評估文中所提方法與其它方法的性能。公式如下

(18)

(19)

圖6 預測模型對比圖

在圖6中，由互信息選出的最優特征集作為其它預測模型的輸入，BP、LSSVR和LSTM仿真預測結果與實際負荷需求的MAPE分別為3.76%，1.72%，1.48%，0.86%。可見LSSVR和LSTM預測模型對時間序列具有較為良好的預測能力，而BP神經網絡由于學習速率緩慢，易陷入局部極值，從而不能建立良好的負荷預測模型。本文所提方法集成了子預測模型LSSVR和LSTM優化的預測結果，大大提升了負荷預測精度。

由于LSTM模型訓練時間較長，為了簡單說明，本文采用LSSVR來進行仿真分析。圖7比較了LSSVR和經混沌粒子群優化(CPSO)后的LSSVR預測仿真結果。LSSVR和LSSVR+CPSO的MAPE分別為1.72%和1.32%。LSSVR-CPSO算法獲得更為理想的預測效果，這表明采用CPSO算法對LSSVR的相關參數進行優化，可以極大概率建立全局最優解，進一步提高了負荷預測精度。

圖7 LSSVR和LSSVR+CPSO預測對比圖

圖8為經隨機抽樣后的多預測模型的集成仿真預測結果。多元線性回歸(MLR)和偏最小二乘回歸(PLSR)集成的MAPE分別為0.99%和0.86%。可見，此案例仿真分析集成預測方法優于任一單一的預測算法。由于每個子模型預測結果具有高度相似性，且MLR集成過程是在原始變量空間進行線性回歸，極可能存在共線性問題，使某些子模型預測權重置0，忽略掉重要權重因子。而PLSR集成預測將原始變量投影到新空間來尋找線性回歸模型。避免了原始空間存在的共線性問題，提升了決策集成的效果。

圖8 MLR集成和PLSR集成預測對比圖

表1為各種算法的預測結果誤差分析，可見本文所提集成方法具有非常高的穩定性和預測精度，明顯優于單一LSSVR和LSTM預測模型，表明了多先進模型的集成預測在負荷預測中的有效性。

表1 預測結果誤差分析

4 結論

本文提出的基于LSSVR和LSTM的多模型優化集成負荷預測模型，通過分析負荷相關特征并由互信息選出最優特征集。然后，隨機抽樣生成多個子訓練集，每個子訓練集作為具有良好預測能力的子預測模型輸入，克服了單個模型易過擬合和泛化能力有限的問題，提升了模型的魯棒性和穩定性。并利用了多算法的互補優勢解決了單一算法應用有限的問題，同時使用混沌粒子群優化進一步提升負荷預測精度。最后由偏最小二乘方法組合各個子模型的預測結果作為最終預測輸出。本模型方法具有非常高的預測精度，是一種實用的短期電力負荷預測方法。在今后的研究中將考慮更多的先進預測算法組合和在多種公開的數據集上驗證此模型方法的適用性。