基于蛙跳算法的改進支持向量機預測方法及應用

宋曉華，楊尚東，劉達

(1. 華北電力大學 經(jīng)濟與管理學院，北京，102206；2. 國網(wǎng)能源研究院 科研發(fā)展部，北京，100052)

中長期能源需求總量預測是謀劃能源工業(yè)科學發(fā)展的重要基礎性工作。能源需求總量的變化受到多種復雜因素的影響，如何提升其預測的準確性一直吸引著眾多學者關(guān)注和研究。傳統(tǒng)研究方法多基于統(tǒng)計學的多元線性回歸或時間序列方法，這些方法對于趨勢性因素的模擬比較精確，但是，難以模擬復雜因素對于中長期負荷變化的影響[1]。自20世紀90年代以來，人工神經(jīng)網(wǎng)絡方法逐步被應用到中長期能源需求預測中[2]。最近，有研究者利用群智能算法來改進支持向量機的學習機制，以進一步提升算法學習能力和預測模型的精度。支持向量機預測的效果在很大程度上受到其核函數(shù)中關(guān)鍵參數(shù)選擇的影響[3]，為此，本文作者提出應用蛙跳算法，以解決支持向量機關(guān)鍵參數(shù)盲目選擇問題，提高算法的預測效果。通過對 2001—2009年中國能源需求總量進行預測，并將本文提出算法(SFLA-SVM)與用PSO改進的支持向量機以及普通支持向量機回歸預測模型(SVM)進行比較，以驗證蛙跳算法引入后，對解決支持向量機核函數(shù)關(guān)鍵參數(shù)的選擇所產(chǎn)生的改進效果。

1 蛙跳算法

2003年，Eusuff等[4]在粒子群算法的基礎上，結(jié)合混合競爭進化(Shuffled complex evolution, SCE)提出了蛙跳算法(Shuffled frog leaping algorithm, SFLA)。這是一種受自然生物模仿啟示而產(chǎn)生的基于群體的協(xié)同搜索方法[4]。該算法模擬青蛙群體尋找食物時按族群分類進行信息傳遞的過程，在同一族群內(nèi)進行局部深度搜索，離食物源最遠的青蛙將主要依據(jù)族群內(nèi)距離食物源最近的青蛙提供的信息調(diào)整自己的位置，向食物源靠近。每隔一段時間，不同族群會進行全局信息交換，并根據(jù)當前的青蛙狀態(tài)，重新構(gòu)成新的族群。以上局部搜索與全局信息交換過程更替進行，直至尋找到食物為止。蛙跳算法將確定性競爭進化策略與有限度隨機搜索有機結(jié)合[5-7]。確定性策略保證該算法可以有效利用所獲信息指導粒子(青蛙)的隨機搜索過程。該算法具有概念簡單、參數(shù)少、計算速度快、全局尋優(yōu)能力強、易于實現(xiàn)等優(yōu)點，與粒子群算法、蟻群算法等群智能搜索方法相比，能夠更好地與支持向量機進行融合，提高算法應用的效率與效果。蛙跳算法的機理、模型和算法實現(xiàn)見文獻[8-9]。

蛙跳算法的主要參數(shù)[10]有：青蛙群體數(shù)N，子群數(shù)N1，混合操作前族群內(nèi)的更新代數(shù)和混合迭代次數(shù)。第i只青蛙的位置向量可以表示為Xi=(Xi1,Xi2, …,Xij)(其中，j為變量的個數(shù))。將種群內(nèi)青蛙個體適應度降序排列。將整個青蛙群體分為N1個子群體，每個子群體包括B只青蛙，則N=BN1。其中：第1，2，…，N1只青蛙分別進入第1，2，…，N1個子群體中 ，第N1+1個青蛙進入第1個群體，如此類推，直到青蛙分配完為止。

每個子群體適應度最高的個體為Xg，適應度最低的個體為Xb，整個青蛙群體的最優(yōu)值為Xall，對每個子群體進行局部搜索可提高最低個體適應度。蛙跳步長更新策略為：

式中：rand( )∈[0, 1]；Smax為青蛙所允許改變位置的最大值。

經(jīng)更新計算后，若得新解XB+1，則用其取代XB，重復執(zhí)行更新策略，求解全局最優(yōu)解Xall；若所得解無改進，則隨機產(chǎn)生一個新解替代所求個體的解，算法繼續(xù)迭代，直至設定迭代次數(shù)為止。本文混合蛙跳算法的參數(shù)設置為N=150，N1=9，族內(nèi)更新次數(shù)為10，混合迭代次數(shù)為1 000。

2 支持向量機預測核函數(shù)關(guān)鍵參數(shù)的選擇

2.1 支持向量機原理

支持向量機(Support vector machine, SVM)是由Vapnik提出的一種機器學習方法，是基于結(jié)構(gòu)風險最小化原理的機器學習方法[11]，能夠比較充分利用有限學習樣本獲得較強泛化能力的決策函數(shù)。其算法是一個凸二次優(yōu)化問題[12]，以保證算法找到的解是全局最優(yōu)解，可以較好地解決小樣本、非線性、維數(shù)災等問題，解決神經(jīng)網(wǎng)絡方法存在的收斂速度慢和局部極值問題，目前，已經(jīng)廣泛地應用于預測、回歸、分類和模式識別問題的解決中。在具體應用過程中，存在一個突出問題，即如何選擇關(guān)鍵參數(shù)。支持向量機的參數(shù)選擇決定了其學習能力和泛化能力。

2.2 支持向量機的關(guān)鍵參數(shù)

付陽等[13]經(jīng)過分析認為，對支持向量機學習能力有影響的主要參數(shù)有：懲罰因子c，核函數(shù)及其核寬度σ和函數(shù)擬合誤差ε。懲罰因子c用于控制模型復雜度和逼近誤差的折中，c越大，則對數(shù)據(jù)的擬合程度越高，學習及其復雜度就越高，容易出現(xiàn)“過學習”現(xiàn)象。而c取值若小，則機器復雜度過低，會出現(xiàn)“欠學習”問題[14]。核寬度σ與學習樣本輸入空間的范圍有關(guān)，樣本越大，取值越大；樣本空間越小，取值越小。函數(shù)擬合誤差ε對支持向量機學習能力影響不大，因此，可以不作為主要因素考慮[15]。

3 蛙跳算法改進支持向量機模型(SFLA-SVM)

蛙跳算法用于優(yōu)化支持向量機的關(guān)鍵參數(shù)(c和σ)，每一個青蛙所處的位置向量對應一組特定的關(guān)鍵參數(shù)組合，對其位置適應度的評價函數(shù)可以定義為：

其中：N為訓練樣本數(shù)量和Yi分別為訓練預測值和真實值。

通過蛙跳算法不重種群青蛙之間全局信息和局部搜索之間的信息交換以及迭代實現(xiàn)最優(yōu)搜索，最優(yōu)個體的位置向量即對應最佳的關(guān)鍵參數(shù)組合。輸出最佳參數(shù)組合作為支持向量機預測模型的核函數(shù)關(guān)鍵參數(shù)。具體的算法運行過程如圖1所示。

圖1 蛙跳算法優(yōu)化SVM關(guān)鍵參數(shù)示意圖Fig.1 Schemes of SVM key parameters optimization by SFLA

4 模型應用實例

4.1 實證環(huán)境

以 1979—2000年中國能源總消費的歷史數(shù)據(jù)作為訓練樣本，以2001—2009年的能源消費量作為檢驗樣本，運用本文設計的預測方法進行實證研究，以檢驗本文設計算法對于預測效果的改進情況。本文實證研究的物理平臺為：PC終端，CPU為Intel 酷睿i7 2600(6核)，內(nèi)存為 4 G，WINOWS732位操作系統(tǒng)，MATLAB7.1運行環(huán)境。用本文提出的SFLA-SVM分別與PSO-SVM和SVM模型進行比較。

4.2 實證結(jié)果分析

對比SFLA-SVM和PSO-SVM的訓練過程，如圖2所示。從圖2可見：SFLA-SVM和PSO-SVM方法在同一適應度評價函數(shù)下，SFLA-SVM的訓練過程曲線比較平滑，算法收斂速度較慢，但最終效果比PSO- SVM的好。說明與PSO-SVM算法相比，SFLA-SVM算法運行的全局性、魯棒性更好，可更好地發(fā)揮對 SVM的優(yōu)化作用。

分別將SFLA-SVM，PSO-SVM和SVM的能源需求預測值與2000—2009年相應的真實值進行比較，結(jié)果見圖3。從圖3可以發(fā)現(xiàn)：總體來說，2004年以前各自的能源需求精度要高于2009年以后的精度，但總體趨勢比較吻合；隨著預測時序的延伸，誤差增大。SFLA-SVM的預測曲線比PSO-SVM和SVM的預測曲線更加貼近真實曲線，說明SFLA-SVM模型的能源需求預測效果要比PSO-SVM和SVM的好。

圖2 SFLA改進SVM訓練過程算法SFLA-SVM與PSO-SVM算法對比Fig.2 Comparison of train process of SFLA-SVM and PSO-SVM

圖3 蛙跳算法改進支持向量機預測結(jié)果Fig.3 Comparison of results between improved SVM and other SVM

綜合比較SFLA-SVM，PSO-SVM和SVM的平均精度和運行時間，如表1所示。從表1可見：蛙跳算法改進支持向量機SFLA-SVM比PSO-SVM和SVM的精度有明顯提高，增加的運行時間很少，分別僅為51 s和109 s。這表明SFLA-SVM算法提高了SVM預測模型的預測精度，而造成的效率損失不顯著，在可接受范圍之內(nèi)。

表1 SFLA-SVM綜合預測效果對比分析Table 1 Comprehensive analysis on forecasting results of SFLA-SVM

5 結(jié)論

(1) 本文提出的蛙跳算法能夠有效地進行支持向量機關(guān)鍵參數(shù)的優(yōu)化，避免支持向量機產(chǎn)生“過學習”或“欠學習”等問題，從而使得支持向量機能夠獲得更強的學習能力。

(2) 中長期能源需求問題受多種復雜因素的影響，尤其是宏觀經(jīng)濟和產(chǎn)業(yè)政策的影響，要更加準確地預測分析中長期能源需求變化趨勢，需要對表征宏觀經(jīng)濟和產(chǎn)業(yè)政策的影響因子進行深入研究，以構(gòu)建更貼近實際情況的量化分析模型。

(3) 對本文提出的算法和預測分析模型，還可通過改進支持向量機學習方法和預測模型進行改進，以便得到更加精確的預測模型。

[1] 牛東曉, 營樹華, 趙磊, 等. 電力負荷預測技術(shù)及其應用[M].北京: 中國電力出版社, 2002: 15-29.NIU Dong-xiao, YING Shu-hua, ZHAO Lei, et al. Electric power load forecasting technology and its application[M].Beijing: China Electric Power Press, 2002: 15-29.

[2] 靳忠偉, 陳康民, 閏偉, 等. 基于支持向量機的中長期電力負荷預測研究與應用[J]. 上海理工大學學報, 2008(2): 31-34.JIN Zhong-wei, CHEN Kang-min, YAN Wei, et al. Study and application of support vector machine to forecast mid-long-term electric power load[J]. Journal of University of Shanghai for Science and Technology, 2008(2): 31-34.

[3] 孫翠娟. 基于K型核函數(shù)的支持向量機[J]. 淮海工學院學報:自然科學版, 2006, 15(4): 4-7.SUN Cui-juan. Support vector machine based K-type kernel function[J]. Journal of Huaihai Institute of Technology: Natural Sciences Edition, 2006, 15(4): 4-7.

[4] Eusuff M M, Lansey K E. Optimization of water distribution network design using the shuffled frog leaping algorithm[J].Journal of Water Sources Planning and Management, 2003,129(3): 210-215.

[5] 韓毅, 蔡建湖, 周根貴, 等. 隨機蛙跳算法的研究進展[J]. 計算機科學, 2010, 37(7): 16-19.HAN Yi, CAI Jian-hu, ZHOU Gen-gui, et al. Advances in shuffled frog leaping algorithm[J]. Computer Science, 2010,37(7): 16-19.

[6] 李英海, 周建中, 楊俊杰, 等. 一種基于閾值選擇策略的改進混合蛙跳算法[J]. 計算機工程與應用, 2007, 43(35): 9-21 LI Ying-hai, ZHOU Jian-zhong, YANG Jun-jie, et al. Modified shuffled frog leaping algorithm based on threshold selection strategy[J]. Computer Engineer and Application, 2007, 43(35):9-21.

[7] 熊偉平, 曾碧卿. 幾種仿生優(yōu)化算法的比較研究[J]. 計算機技術(shù)與發(fā)展, 2010, 10(3): 9-12.XIONG Wei-ping, ZENG Bi-qing. Studies on some bionic optimization algorithm[J]. Computer Technology and Development, 2010, 10(3): 9-12.

[8] Elbeltagi E, Hegazy T, Grierson D. Comparison among five evolutionary-based optimization algorithms[J]. Advanced Engineering Informatics, 2005, 19(1): 43-53.

[9] Rahimi-Vahed A, Dang C M, Rafiei H. A novel hybrid multi-objective shuffled frog-leaping algorithm for a bi-criteria permutation flow shop scheduling problem[J]. International Journal of Advanced Manufacturing Technology, 2009, 41(11):1227-1239.

[10] YANG Cheng-san, CHUANG Li-ye, KE Chao-huan, et a1. A combination of shuffled frog-leaping algorithm and genetic algorithm for gene selection[J]. Journal of Advanced Computational Intelligence and Intelligent Informatics, 2008,12(3): 218-226.

[11] Lin S W, Ying K C, Chen S C, et al. Particle swarm optimization for parameter determination and feature selection of support vector machines[J]. Expert Systems with Applications, 2008,35(4): 1817-1824.

[12] 伍鐵斌, 成運, 周桃云, 等. 基于混沌遺傳算法的PID參數(shù)優(yōu)化[J]. 計算機仿真, 2009, 26(5): 202-205.WU Tie-bin, CHENG Yun, ZHOU Tao-yun, et al. Optimization control of PID based on chaos genetic algorithm[J]. Computer Simulation, 2009, 26(5): 202-205.

[13] 付陽, 李昆侖. 支持向量機模型參數(shù)選擇方法綜述[J]. 電腦知識與技術(shù), 2010, 6(10): 8081-8082.FU Yang, LI Qun-lun. A survey of model parameters selection method for support vector machines[J]. Computer Knowledge and Technology, 2010, 6(10): 8081-8082.

[14] Huang C L, Wang C J. A GA-based feature selection and parameters optimization for support vector machines[J]. Expert Systems with Applications, 2006, 31(2): 230-231.

[15] 朱鳳明, 樊明龍. 混沌粒子群算法對支持向量機模型參數(shù)的優(yōu)化[J]. 計算機仿真, 2010, 27(11): 183-186.ZHU Feng-ming, FAN Ming-long. Chaos particle swarm optimization algorithm for optimizing the parameter of SVM[J].Computer Simulation, 2010, 27(11): 183-186.