基于最小一乘的GA-SVR用電量預測

□章 政 王曉佳 [合肥工業大學 合肥 230009]

引言

近些年來，我國經濟高速發展，但這也伴隨著能源的快速消耗。同時，隨著工業化進程的不斷深入和城鄉居民生活水平的不斷提高，對電力的需求也越發旺盛。因此，對未來用電量的準確預測，將有助于合理地安排生產活動，制定生產計劃，維持社會的穩定發展，實現經濟效益的快速提升。支持向量機(Support Vector Machine)是由Vapnik等人在1995年提出來的[1]，它是基于統計學習理論，采用結構風險最小化的原理，較好地解決了“過學習”的現象，并且具備良好的泛化能力。支持向量回歸機(Support vector regression)是將支持向量機應用于回歸分析中而形成的。雖然該理論的發展只有不到20年時間，但海內外學者仍然對其展開了廣泛地研究。如文獻[2]基于支持向量機原理，提出了一個預測系統用以預測輸配電線路上的積冰問題；文獻[3]通過支持向量機預測了土耳其的用電量情況；文獻[4]將免疫優化算法應用于支持向量機的參數尋優中，并建立了優化模型預測臺灣各地區的用電量；文獻[5]運用蟻群算法優化訓練數據，加快了SVM的訓練時間；文獻[6]應用支持向量回歸機原理預測混沌時間序列，實驗結果顯示SVM方法不僅精度高，而且具有良好的泛化能力；文獻[7]運用加權支持向量機原理對不平衡庫存問題進行分類研究，取得了較好的結果；文獻[8]將主成分分析與支持向量機相結合進行電力預測，加快了學習速度，提高了預測精度。

本研究采用最小一乘原理，通過自適應遺傳算法優化支持向量機的模型參數，并且在訓練過程中使用了交叉驗證的思想，通過江蘇省2004年～2009年全社會用電量及宏觀經濟影響因素月度數據，預測未來的用電量水平。實驗結果表明，該模型在擬合度和誤差上均優于BP-神經網絡模型和傳統的SVR模型，并且預測精度也較高。

一、支持向量回歸機原理

給定樣本空間D=(xi,yi)，xi∈Rp，yi∈R，i=1,2,…,n。并且令線性回歸函數為

其中：w稱為權向量，b稱為分類閾值。φ(x) 為一非線性變換，它將數據集x映射到高維的特征空間F中。從而，由結構風險最小化的原則，為求得 f(x)，就需要極小化如下泛函：

其中，C是一個正常數，它是模型平坦性和經驗誤差之間的折中因子，也稱為懲罰因子。L(yi,f(xi))為損失函數。一般的，取損失函數為ε不敏感損失函數，即對于i=1,2,…,n，

從而問題轉化為：

為求解優化問題(4)，引入Lagrange 因子αi,βi,μi,υi，i=1,2,…,n，并定義Lagrange函數如下：

對函數L(·)關于變量w，b，ξi，ξi*求偏導，并令其為零，則有

將(6)～(9)式代入(5)式，并將優化問題轉化為其對偶問題，則有

求解二次規劃問題(10)，有

其中：

K(xi,x)為核函數，而由于滿足Mercer條件的核函數[1]，即對應高維空間中的一組點積。從而只需要獲得滿足該條件的核函數，即可求得回歸函數f(x)，甚至都不需要知道φ(x)的具體形式。由于徑向基函數的參變量少，且采用RBF核的SVM對頻率較高的非線性系統有較好的逼近性能。另外，RBF核的參數在有效范圍內改變時不會使空間復雜度過大[9]。因此，本研究將核函數取為徑向基函數，即

二、基于最小一乘的遺傳算法參數尋優

不敏感損失函數中的ε、懲罰因子C和徑向基函數中的2σ這三個參數取值的不同，將得到不同的支持向量回歸模型。從而，這三個參數的取值將對回歸模型的預測精度產生很大的影響。遺傳算法對含參變量多且計算結果難以獲得的復雜優化問題尤為適用[10]。本研究將采用自適應遺傳算法對SVR的參數C，2σ和ε進行尋優。對傳統的遺傳算法，它能避免過早收斂，且具有更好的局部搜索能力和全局搜索能力。

本研究在求解的優化準則中，將采用最小一乘準則取代最小二乘準則。這是由于在應用最小二乘準則時，異常點的誤差會被擴大化，且在樣本數據較少時，預測精度會變低，而最小一乘準則具有較好的穩健性，它的統計性能要優于最小二乘準則[11]。

在采用最小一乘準則的參數優化步驟如下：

Step1：初始化種群大小，令 80N=，并隨機產生N個個體 (C,σ2,ε)的取值，且編碼方法采用二進制編碼。

Step3：針對每個個體的適應度值，進行選擇和復制運算，從而形成了一個臨時的集合G。選擇策略采用正比例選擇策略，第i個個體被選擇的概率為

其中Fi為第i個個體的適應度值。在得到選擇概率后，采用旋輪法來實現選擇操作。即對于隨機數ξ，當Ai-1≤ξ≤Ai時，則第i個個體被選擇，其中

Step4：交叉運算采用多點交叉。交叉概率為

其中pcmax是最大交叉概率，pcmin是最小交叉概率，F′是兩個個體中較小的適應度值，maxgen是最大迭代次數，curgen是當前迭代次數。為了獲得較優的全局搜索能力，避免陷入局部最優，這里令pcmax=0.9，pcmin=0.1。

Step5：變異策略采用多點變異。概率如下：

其中pmmax是最大變異概率，pmmin是最小變異概率，F是個體的適應度值。為了使個體在初始迭代過程中盡量多樣化并且在后期迭代過程中有出色的局部搜索能力，這里令pmmax=0.4，pmmin=0.01。

Step6：判斷是否達到終止條件，如何不是，則跳轉到Step1。這里終止條件為迭代次數M=2000或者誤差精度η=10-6。

Step7：輸出最優參數集 (C,σ2,ε)，得到預測模型f(x)。

三、建模和預測

（一）數據的選取及預處理

本研究的影響因素為上月用電量(億千瓦時)、月平均溫度(℃)、居民消費價格指數(CPI)、社會消費品零售額(億元)、工業增加值(億元)和進出口總額(億元)等。通過對江蘇省2004年1月～2009年7月的數據，采用交叉驗證的思想，構建基于最小一乘準則下的GA-SVR模型，并對未來進行預測分析。

并利用公式

對數據進行標準化處理，以消除量綱的影響。

（二）模型的回歸預測結果

本研究使用matlab進行建模分析，將江蘇省2004年1月～2009年7月的宏觀經濟數據和全社會用電量數據作為訓練集，進行模型訓練。同時用2009年8月～10月的全社會用電量數據進行驗證分析。為了有良好的訓練速度，交叉驗證的訓練份數 4K=。從而采用基于最小一乘準則的GA-SVR方法擬合預測結果和相對誤差如圖1、圖2所示。

圖1 基于最小一乘準則的回歸預測結果對比

圖2 相對誤差

將本文模型與matlab工具箱中的BP-神經網絡模型進行比較分析，結果見表2：

表1 擬合比較

yi為真實值，為預 測值，

RMSE度量了模型誤差的偏離程度，R2度量了模型的擬合程度。

本文模型與傳統SVR方法、PSO-SVR方法比較，結果如表2所示。

表2 預測結果比較

其中，相對誤差rel=(-yi)yi，yi為真實值，為預測值。

從圖1和圖2可以看出，模型的訓練精度還是比較高，總體上誤差保持在10%以內。從表1的結果看出，基于最小一乘準則和交叉驗證思想的GA-SVR模型的偏離程度和擬合精度都比BP-神經網絡要好。同時，表2表明該方法在實驗中的預測精度上也要比傳統的SVR方法和PSO-SVR方法要精確。

四、結論

本研究提出了一種基于最小一乘準則和交叉驗證思想的GA-SVR模型。該模型不同于一般的模型曲線擬合中采用的最小二乘方法，而是使用了最小一乘準則，從而可以避免異常點對模型總體的影響，提高模型的穩定性。接著利用自適應遺傳算法對SVR模型進行參數尋優，加快了參數的擇優速度，提高了模型的預測精度，同時通過交叉驗證的思想，進一步提升模型的穩定性和泛化能力。雖然支持向量回歸模型對非線性問題能有很好的擬合能力，但是與所預測問題選取的相關因素將對預測結果產生較大影響。因此，為了使模型提供更好的預測能力，應當選取更能反映問題本質的訓練數據。同時，提高訓練樣本容量并且尋求更優的參數優化方法也將有助于提高模型的預測精度。

[1]VAPNIK V N．The Nature of Statistic Learning Theory[M]．New York：Springer，1995．

[2]ZARNANI A,MUSILEK P,SHI Xiaoyu,et al．Learning to predict ice accretion on electric power lines[J]．Engineering Applications of Artificial Intelligence,2012,25(3):609-617．

[3]KAVAKLIOGLU K．Modeling and prediction of Turkey’s electricity consumption using Support Vector Regression[J]．Applied Energy,2011,88(1):368-375．

[4]HONG Wei-Chiang．Electric load forecasting by support vector model[J]．Applied Mathematical Modelling,2009,33(5):2444-2454．

[5]NIU Dongxiao,WANG Yongli,et al．Power load forecasting using support vector machine and ant colony optimization[J]．Expert Systems with Applications,2010,37(3):2531-2539．

[6]劉涵，劉丁，李琦．基于支持向量機的混沌時間序列非線性預測[J]．系統工程理論與實踐，2005，25(9)：94-99．

[7]肖智，王明愷，謝林林，王偉立．考慮樣本不平衡的多準則庫存分類加權支持向量機方法及其參數選擇[J]．中國管理科學，2007，15(z1)：29-34．

[8]石海波．PCA-SVM在電力負荷預測中的應用研究[J]．計算機仿真，2010，21(10)：279-282．

[9]榮海娜，張葛祥，金煒東．系統辨識中支持向量機核函數及其參數的研究[J]．系統仿真學報，2006,18(11)：3204-3208,3226．

[10]FRANK H F,LEUNG,H K,et al．Tuning of the Structure and Parameters of a Neural Network Using an Improved Genetic Algorithm[J]．IEEE Transactions on Neural Networks,2003,14(1):79-88．

[11]陳希孺．最小一乘線性回歸[J]．數理統計與管理，1989，8(5):48-55．

[12]董春嬌，邵春福，熊志華．基于優化SVM的城市快速路網交通流狀態判別[J]．北京交通大學學報，2011，35(6)：13-16,22．

[13]王曉佳，沈建新，楊善林．基于Gauss插值的正交化預測方法在智能電網用電量預測中的應用研究[J]．電力系統保護與控制,2010,38(21):141-145．

[14]楊海軍，王太雷．基于模糊支持向量機的上市公司財務困境預測[J]．管理科學學報，2009，12(3):102-110．