基于相關向量機模型的用電需求預測研究
——以北京為例

張斌儒,唐玉萍,胡 蓉

(四川文理學院數學學院,四川達州635000)

基于相關向量機模型的用電需求預測研究
——以北京為例

張斌儒,唐玉萍,胡 蓉

(四川文理學院數學學院,四川達州635000)

用電需求的科學預測在能源系統的運行、管理與決策中起著重要的作用.針對用電需求的非線性特征及傳統預測技術的缺陷,引入相關向量機構建預測模型對北京用電量進行預測.實證結果表明,與基準模型相比,所引入方法能有效提高模型預測精度,預測結果可為相關部門的決策制定提供必要的參考.

相關向量機;用電需求;支持向量回歸;預測精度

0 引言

電力對國民經濟的發展有著非常重要的影響,對用電量需求預測的精確性能促進能源等管理部門的科學決策,避免不必要的資源浪費.然而,已有文獻預測集中在以日度或周度為頻率的短期預測.[1]從管理角度看,更長時域的預測仍具有重要的現實意義.由于受經濟發展的不平衡性等因素的影響,用電需求常表現出明顯的非線性特征,傳統的線性預測技術無法對其充分的擬合.因此,有必要開發新的預測技術以更好的模擬用電量需求的特征.

人工神經網絡(Artificial Neural Networks, ANN)具備良好的非線性預測能力,該技術已被成功應用于短期電力需求預測.[2－3]研究表明,相對于基準模型,ANN能有效提高預測精度.然而,該方法易陷入局部最優、要求數據樣本容量較大以及訓練過程較為復雜.[4]支持向量回歸(support vector regression,SVR)算法能有效克服ANN的缺陷.[5]比如,應劍烈等(2007)提出改進的SVR對電力系統短期負荷進行預測.[6]研究表明與ANN等方法相比,SVR具有良好的泛化能力,能夠有效解決小樣本非線性預測問題.但SVR的自由參數對預測精度影響較大,沒有統一的方法對其參數進行優化;SVR的核函數必須滿足Mercer’s條件以及訓練過程較為復雜等.[5]

為克服SVR模型的局限,Tipping(2001, 2004)分別提出相關向量機(Relevance Vector Machine,RVM)及其改進的算法,[7－8]該算法的訓練是在貝葉斯框架下進行,在先驗參數的結構下基于主動相關決策理論來移除不相關的點,以保證獲得稀疏化的模型.RVM的優點是能得到概率輸出,訓練過程簡單,所選核函數不必滿足Mercer條件,而且不需要太多的樣本數據構造模型.該算法在電力預測領域應用較少,劉遵雄等(2004)利用RVM對電力負荷進行了實證研究,[9]取得了較好的預測效果,但在用電需求方面的預測效力仍需進一步檢驗.

利用2010年1月至2017年2月北京用電量數據,引入RVM模型對北京月度用電量進行為期12個月的預測,SVR以及ANN作為基準模型用于預測對比.

1 預測方法構建

1.1 相關向量機算法原理

RVM是Tipping在2001年提出的一種稀疏概率模型,[7－8]其基本原理概括如下:

其中w＝[w0,w1,...,wN]Τ表示權重向量, ε為服從均值為零,方差為σ2的高斯分布,方差由數據進行估計.Φ為N×(N＋1)矩陣且Φnm＝K(xn,xm－1)表示核函數,Φn1＝1.從(1)式可以看出,模型的輸出可以表示為非線性函數的加權組合,且核函數不必滿足Mercer條件.因此,數據集t＝(t1,t2,...,tN)Τ的似然函數可以表示為:

若不對權值進行約束,直接求解(2)式可能會導致模型過度學習問題.因此,根據稀疏貝葉斯方法對w定義為均值為0的高斯先驗分布:

其中,α＝[α0,...,αN]Τ為包含N＋1個超參數的超參數向量,而每個獨立超參數控制權參數的先驗分布,從而導致RVM預測模型的稀疏性.

利用貝葉斯原理求出未知權參數向量w的后驗分布:

其中,∑＝(σ－2ΦΤΦ＋A)－1和μ＝σ－2∑ΦΤt分別表示后驗權重協方差矩陣和后驗均值,A＝diag(α0,...,αN).

最優估計值αMP可以通過構造如下極大似然估計的對數形式進行估計:

然后,最優估計值μMP可以通過μ＝σ－2∑ ΦΤt獲得.最終,預測輸出表達式為:y＝ΦμMP.

在整個優化算法中,μMP中包含大多數零元素,而μMP用于對權重向量的估計.因此,與SVR算法的支持向量類似,被估計的權重向量中的非零元素被當作相關向量用于模型的預測.[7－9]在預測表達式中,核函數需要用戶自行確定.

1.2 混合核函數的構造與自由參數的優化

由于RVM模型的核函數不必滿足Mercer定理,因此對其選擇相對自由.而混合核函數的本質是將若干個核函數進行線性組合從而聚合并且反映不同的核函數的特征性質.本文將利用高斯徑向基函數(RBF)以及多項式函數進行線性組合以構造RVM類預測模型的混合核函數:

其中,參數η∈[0,1]為核函數的權重系數.在SVR算法中給定RBF核函數,有三個自由參數(和核寬度)需要優化,實質上是求解一個三維優化問題.而RVM算法中有兩個參數δ和η需要優化,蝙蝠算法(Bat Algorithm,AB)在對模型參數優化中表現出實用性和優異性能,[10]能有效避免PSO以及GA等傳統優化算法的缺陷,故本文采用BA對所有預測模型的自由參數進行優化選擇.

1.3 預測程序

根據RVM以及BA優化算法原理,[10]具體預測程序概括如下:

步驟1:預設參數.在利用BA進行參數優化前,需對該算法本身的一些參數進行預設.本文運用Taguchi法(Ghani,2004)對BA的參數進行設置.[11]

步驟2:初始化參數.為了得到最優的RVM參數集,需對蝙蝠種群進行初始化,因為σ2和超參數α通過迭代進行計算,這里也需事對其初始值設置.具體而言,RVM的兩個參數(δ和η)需要通過BA進行優化,因此實質上是求解一個二維優化問題.

步驟3:產生新解.蝙蝠將依據自身所處的位置以及速度迭代進行計算以獲取最優的參數.

步驟4:評估適應度.本文采用均方誤差(Mean Square Error,MSE)作為適應度函數以評估模型的預測性能.MSE旨在度量預測值與實際值之間的偏離程度,該值越小,意味著模型預測精度越高.

步驟5:停止準則.步驟3與4循環迭代進行,直到進化代數達到用戶規定的值為止,并且在該點適應度函數曲線收斂.此時得到最優的RVM參數集.

步驟6:獲得模型的最優參數集后,在訓練集上訓練得到RVM模型,然后在測試集上進行預測實驗得到預測值.

2 實證檢驗

2.1 數據描述與模型輸入集構造

作為應用,本文以北京為例,對其月度用電需求進行預測.用電量月度數據來源于金融數據庫萬得(Wind)資訊,數據收集的時間跨度為2010年1月至2017年2月.

北京是全國的政治與文化中心,用電量需求增長較快且波動明顯,是一個復雜的非線性系統,且受季節性的影響較大,在每年的7、8月份以及12月到次年的1月出現用電量高峰.因此,本文引入季節性虛擬變量D以進行季節調整,當某月為用電高峰期時,取值為1,否則為零.由于受經濟一體化以及區位因素的影響,天津與北京用電需求時間序列之間具有相似的波動特征.交叉相關分析結果顯示,北京用電量(yt)與自身12階滯后變量(yt－12)之間的最大相關系數為0.9089且顯著,與天津用電量(x)的滯后12期時間序列(xt－12)之間的最大相關系數為0.8470且顯著,因此,它們均被選為預測變量.

圖1 各個變量趨勢圖

圖1直觀展示了北京用電需求與自身滯后觀測以及天津用電需求之間的趨勢,可以看出三個變量之間具有一致的波動特征和趨勢性.因此,本文認為所選預測變量對北京用電需求具有很好的預測作用.

根據以上分析,將RVM模型的輸入集表示為:{yt－12,xt－12,D},輸出變量為用電需求yt.基于滯后階數進行對齊后的實驗數據集共74個數據點.將實驗數據分成訓練集(前62個月)與檢驗集(后12個點)兩部分分別用于訓練模型和預測檢驗.

2.2 結果與討論

平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)、均方根誤差(Root Mean Square Error,RMSE)和相關系數三個統計指標被用于預測性能度量,MAPE和RMSE衡量預測值與實際值之間的偏離程度,該值越小表明預測性能越強,而R度量實際值與預測值之間的相關程度,該值越接近1表明模型擬合程度越高.

預測之前,需在訓練集上獲得最優參數以構造預測模型.對RVM模型,核寬度σ和權重系數η需要設置,本文采用BA對其進行優化,目標是使得適應度函數(均方誤差)值最小.對SVR模型,仍然使用該優化算法對其參數進行優化.RVM的最優核寬度σ＝0.770,η＝0.446,相關向量占訓練樣本的比例為15.1%.SVR的三個最優參數為:C＝28.34,ε＝0.09,σ＝2.07,支持向量占比則為76.2%.可以看出,RVM能提供更稀疏的解.ANN模型的基本結構為:隱藏層數為1,輸入層節點為數目為3,輸出層節點數為1.預測結果見表1,其中加黑字體表示與實際值偏離最小的預測值.

表1 不同模型預測結果對比

表1顯示3個模型中RVM預測結果最好,最佳預測值為6個,而SVR為4個,ANN表現最差,預測最佳值僅占1個月.圖2更為直觀的呈現了三個預測模型的預測曲線,可以看出本文所引入的RVM模型具有更強的擬合能力,SVR也具有較強的非線性擬合效果,而ANN的預測曲線偏離最大.

基于預測結果的三個統計指標值見表2.該表顯示,整體而言,對于三個統計指標,訓練集上的值要優于測試集上的值.具體而言,在測試集上RVM與SVR的值明顯優于ANN模型,但RVM表現最好;MAPE和RMSE值意味著RVM的預測值與實際值之間的偏離最小,R值暗示所引入模型的擬合值與實際值之間具有最大相關性.因為SVR具有良好的小樣本非線性預測能力,其預測性能僅次于RVM模型,而由于ANN對樣本容量要求較高,因而預測效果相對較差.最后,運用paired－t檢驗對三個模型的預測誤差(相對誤差)進行顯著性檢驗,結果顯示RVM與SVR之間的預測精度沒有顯著性差異,但與ANN之間在5%水平具有顯著性差異,這進一步驗證了所引入預測方法的有效性.

圖2 不同模型預測曲線對比

表2 各個模型在訓練集與測試集上的性能指標值對比

3 結論與展望

準確預測用電量需求對能源體系的科學決策至關重要.針對傳統預測技術不適用于小樣本非線性預測系統,本文引入RVM模型對北京用電量進行了預測.實證結果顯示,與基準模型SVR以及ANN相比,RVM預測精度最高,證實了RVM為一種有效的預測工具.

相對于基準模型,RVM算法訓練過程簡單,適合于小樣本非線性預測問題.SVM預測效果也較為理想,但受限于模型自由參數的選擇,使得訓練過程較為復雜.而ANN對數據樣本容量要求較高,訓練時間較長,容易出現過擬合等現象,這使得預測效果相對較差.本文預測方法可擴展到其它社會經濟預測領域,比如,可考慮將該方法應用于四川省九寨溝景區并對其游客流量進行預測研究.

研究所引入模型的預測結果可為能源體系的運行與管理提供必要的參考.探索更具預測能力的影響因素作為模型的輸入集以進一步提高模型預測精度是將來努力的方向.

[1]McDonald,J R.The forecasting of growth of demand for electrical energy[M].In Modern Power System Planning.Wang X,McDonald JR(eds),McGraw－Hill Book Company:New York,1994:43.

[2]Abdel－Aal,R E.Short－term hourly load forecasting using abductive networks[J].IEEE Transactions on Power Systems,2004(1):164－173.

[3]Darbellay,G A.,Slama M.Forecasting the short－term demand for electricity:Do neural networks stand a better chance[J].International Journal of Forecasting,2000(1):71－83.

[4]Suykens,J A K.Nonlinear modelling and support vector machines[J].In:Proceedings of IEEE Instrumentation and Measurement Technology Confer－ence,2001(2－3):287－294.

[5]Vapnik,V.The nature of statistical learning theory[M].New York:Springer,1995:37－40.

[6]應劍烈,華國棟,劉耀年.基于v－SVR的短期電力負荷預測[J].東北電力大學學報,2007(2):43－48.

[7]Tipping M E.Sparse Bayesian learning and the relevance vector machine[J].Mach.Learn.Res.,2001(2):211－244.

[8]Tipping M E.Bayesian inference:An introduction to principles and practice in machine learning[J].Lectures Notes in Computer Science,2004(1):41－62.

[9]劉遵雄,張德運,孫欽東,徐 征.基于相關向量機的電力負荷中期預測[J].西安交通大學學報,2004(10):1005－1008.

[10]Zhang B R.,et al.A novel hybrid model for tourist volume forecasting incorporating search engine data[J].Asia Pacific Journal of Tourism Research,2017(3):245－254.

[11]Ghani J.,Choudhury I.,Hassan,H.Application of Taguchi method in the optimization of end milling parameters[J].Journal of Materials Processing Technology,2004(1):84－92.

[責任編輯 范 藻]

Forecasting Electricity Consumption Demand Based on Relevance Vector Machine: The Case Study of Beijing

ZHANG Binru,TANGYuping,HU Rong
(Mathematics School of Sichuan University of Arts and Sciences,Dazhou Sichuan 635000,China)

Scientific electricity consumption demand forecast plays an important role in the operation,management and decision－making of energy system.In view of the nonlinearity in the electricity consumption demand and some deficiencies of traditional forecast techniques,this study introduce relevance vector machine(RVM)and develop forecastmodel to predict consumption demand in Beijing.With the empirical analysis results suggesting that RVM can effectively improve the prediction accuracy compared to its counterparts including SVR and ANN models.Forecasted results can be referenced by the decision－making of relevant departments.

relevance vectormachine;electricity consumption demand;support vector regression;prediction accuracy

TM715

A

1674－5248(2017)05－0010－05

2017－04－17

四川省教育廳一般項目(17ZB0375);國家自然科學基金項目(71373023)

張斌儒(1980—),男,四川南江人.講師,博士研究生,主要從事數量經濟及旅游經濟研究.