基于改進支持向量機模型的開都河年徑流量預測

王娟娟

(新疆金達鑫工程建設有限公司，新疆 庫爾勒 841000)

文章編號：1006—2610(2015)04—0001—05

基于改進支持向量機模型的開都河年徑流量預測

王娟娟

(新疆金達鑫工程建設有限公司，新疆 庫爾勒 841000)

針對回歸支持向量機(SVR)懲罰因子C和核函數(shù)參數(shù)g的選取對模型性能有著關鍵性影響以及在實際應用中存在參數(shù)選取等困難，提出基于啟發(fā)式算法的PSO-SVR和GA-SVR年徑流預測模型，以新疆開都河大山口水文站年徑流預測為例進行實例研究。首先，利用DPS軟件選取年徑流影響因子，確定輸入向量；其次，基于粒子群算法(PSO)、遺傳算法(GA)基本原理，采用PSO、GA優(yōu)化SVR懲罰因子C和核函數(shù)參數(shù)g，構建PSO-SVR和GA-SVR年徑流預測模型，并構建基于網(wǎng)格劃分(GS)與交叉驗證(CV)算法相結(jié)合的GS-SVR模型作為對比模型。最后，利用所構建的模型對實例進行預測分析。結(jié)果表明：PSO-SVR和GA-SVR模型對開都河1996—2012年徑流預測的平均相對誤差絕對值分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預測精度和泛化能力均優(yōu)于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進行優(yōu)化，具有預測精度高、泛化能力強以及穩(wěn)健性能好的特點。相對而言，PSO-SVR模型性能略優(yōu)于GA-SVR模型。

粒子群算法；遺傳算法；支持向量機；徑流預測；開都河

0 前 言

提高徑流預測精度對于水文預測預報具有重要意義，由于河川徑流受多種因素的影響和制約，其預測常表現(xiàn)出復雜、隨機、多維等特性，探尋能夠有效提高徑流預測精度的模型和方法是水文預測預報工作中的熱點和難點。

目前，中長期徑流預測常用模型有時間序列分析模型、回歸分析模型、模糊分析模型、小波分析模型及灰色系統(tǒng)模型等。人工神經(jīng)網(wǎng)絡(Artifical Neural Network，ANN)具有較強的非線性映射能力、魯棒性、容錯性和自適應、自組織、自學習等許多特性，廣泛應用于中長期徑流預測預報中[1-3]。但由于ANN算法是基于漸近理論，僅在樣本容量趨向于無窮大時其經(jīng)驗風險才趨近于實際風險，實際應用中面臨泛化能力差、收斂速度慢及存在局部極值等問題[4,5]。回歸支持向量機(Support Vector Regression，SVR)是20世紀90年代中后期發(fā)展起來的基于統(tǒng)計學習理論構建的典型神經(jīng)網(wǎng)絡，在徑流預測預報中具有廣泛應用[6-9]。SVR具有嚴謹?shù)臄?shù)學基礎，通過統(tǒng)計學習中的VC維(Vapnik-Chervonenkis Dimension)理論和尋求結(jié)構風險最小化原理來提高泛化能力，已成為繼ANN之后機器學習領域新的研究熱點。然而，SVR用于回歸預測時，懲罰因子C和核函數(shù)參數(shù)g的選取對模型的預測精度有著關鍵性影響。由于目前懲罰因子C和核函數(shù)參數(shù)g的選取尚無理論上的指導原則或方法，最優(yōu)參數(shù)的選取多憑經(jīng)驗、實驗對比等進行搜尋，極大地制約了SVR模型精度與泛化能力的提高[10]。目前，常采用基于交叉驗證(Cross Validation,CV)意義下的網(wǎng)格劃分(Grid Search,GS)方法來尋找最佳參數(shù)C和g。

粒子群算法(Particle Swarm Optimization,PSO)和遺傳算法(Genetic Algorithm,GA)等啟發(fā)式算法可以不必遍歷網(wǎng)格內(nèi)所有的參數(shù)點也能獲得更大范圍內(nèi)的最佳參數(shù)C和g，使得全局最優(yōu)。基于此，筆者基于PSO和GA算法原理，提出PSO-SVR、GA-SVR年徑流預測模型，以新疆開都河大山口水文站1956—2012年徑流預測為例進行實例驗證，并構建GS-SVR模型作為對比模型,結(jié)果表明PSO-SVR和GA-SVR模型具有較好的預測精度和泛化能力。

1 預測模型

1.1 回歸支持向量機(SVR)原理

SVR是基于VC維概念和結(jié)構風險最小化原則，通過同時控制模型的復雜度和逼近精度來獲得較好的推廣能力。在解決非線性回歸問題時，SVR是將樣本通過核函數(shù)將低維空間中非線性回歸問題映射到高維空間，并在高維空間中求解最優(yōu)回歸函數(shù)。

SVR實現(xiàn)回歸預測步驟歸納為5步。

Step1,設訓練樣本為(x1,y1),…,(x1,y1)∈Rm×R,則在高維特征中建立的線性回歸函數(shù)為：

f(x)=wφ(x)+bw∈Rn,b∈R

(1)

式中：f(x)為回歸函數(shù)預測值，即擬合值；w為空間超平面；φ(x)為非線性映射函數(shù)；b為偏置量。

Step2,定義ε線性不敏感損失函數(shù)為：

(2)

式中：f(x)為回歸函數(shù)預測值；y為對應的真實值；ε為不靈敏參數(shù)，反映對誤差的容忍度。

(3)

約束條件：

式中：C為懲罰因子，C越大表示對訓練誤差大于ε的樣本懲罰越大；ε規(guī)定了回歸函數(shù)的誤差要求，ε越小表示回歸函數(shù)的誤差越小。

求解式(3)時，同時引入Lagrange函數(shù)，并轉(zhuǎn)換成對偶形式：

約束條件：

(4)

式中：K(xi,xj)=φ(xi)φ(yi)為核函數(shù)。

(5)

Step5，引入函數(shù)K(xi,x)，將w代入式(1)，得到f(x)表達式如下：

(6)

常用的核函數(shù)主要有線性核函數(shù)、多項式核函數(shù)、徑向基核函數(shù)與兩層感知核函數(shù)等。核函數(shù)的合理選取有助于提高模型精度，故本文選擇徑向基核函數(shù)作為SVR核函數(shù)。

Vapnik[11]等人研究表明，SVR的性能主要受懲罰因子C、核函數(shù)參數(shù)g和不敏感系數(shù)ε的影響。懲罰因子C決定著由訓練樣本產(chǎn)生的經(jīng)驗風險對模型性能的影響，即經(jīng)驗風險隨著C值的增加而增加、減小而減小，當C值無窮大時，SVR結(jié)構風險趨于經(jīng)驗風險；而當C值趨于零時，則會導致模型失去解決問題的能力。核函數(shù)參數(shù)g的改變意味著改變映射函數(shù)，因此它主要影響樣本數(shù)據(jù)在高維特征空間中分布的復雜程度。不敏感系數(shù)ε用于控制支持向量的個數(shù)，平衡模型的復雜程度與模型對訓練樣本維數(shù)的依賴程度，若ε值過小，則會導致模型“過擬合”，并且增加訓練時間；反之，則會導致模型“欠擬合”。

因此，本文在給定不敏感系數(shù)ε的條件下，提出PSO、GA算法對SVR懲罰因子C和核函數(shù)參數(shù)g進行尋優(yōu)，以期獲得更好的預測效果。

1.2 PSO-SVR預測模型

(1) 粒子群優(yōu)化算法

粒子群算法(ParticleSwarmOptimization,PSO)是近年來發(fā)展起來的一種新型啟發(fā)式進化算法，最早由Kennedy和Eberhart[12]于1995年受鳥群覓食過程中遷徙和群聚行為而提出的群體智能全局隨機搜索算法，具有簡單、容易實現(xiàn)、收斂速度快和全局尋優(yōu)等特點，并被證明在大多數(shù)情況下比遺傳算法(GA)更有效。

(2) 基于PSO優(yōu)化的SVR預測模型

定義目標函數(shù)：

(7)

本文選取式(7)作為PSO算法的目標函數(shù)，利用PSO算法對SVR參數(shù)(C,g)進行優(yōu)化。具體算法步驟分6步。

Step1：選取SVR模型的訓練樣本和檢驗樣本，設定懲罰因子C和核函數(shù)參數(shù)g搜尋范圍。

Step2：確定目標函數(shù)，初始化PSO算法中的種群W=(W1,W2,…,Wn)、最大迭代次數(shù)、慣性權重ω、加速因子c1和c2為等參數(shù)取值，隨機初始化待優(yōu)化參數(shù)C和g的可行解位置W=(wi1,wi2,…,wis)T和速度V=(Vi1,Vi2,…,Vis)T。

Step3：根據(jù)初始化參數(shù)C和g，由式(7)計算適應值。若滿足PSO收斂停止準則(達到訓練誤差或迭代次數(shù))，則轉(zhuǎn)至步驟Step6，否則轉(zhuǎn)至步驟Step4。

Step4：更新粒子的位置、速度，計算PSO適應度值，記憶個體與群體所對應的最佳適應度位置Pi=(Pi1,Pi2,…,Pis)T與Pg=(Pg1,Pg2,…,Pgs)T，若Pi和Pg優(yōu)于歷史最優(yōu)位置，則更新Pi和Pg。

Step5：重復Step4直到滿足PSO收斂停止準則。

Step6：確定最佳懲罰因子C和核函數(shù)參數(shù)g，利用SVR模型對檢驗樣本進行預測。

1.3 GA-SVR模型

(1) 遺傳優(yōu)化算法

遺傳算法(GeneticAlgorithm,GA)的基本思想是將問題的求解表示成“染色體”，并置于問題的“環(huán)境”中，根據(jù)適者生存原則，從中選擇出適應環(huán)境的“染色體”進行復制，即再生(reproduction)，并通過交叉(crossover)、變異(mutation)2種基因操作產(chǎn)生出新一代更適合環(huán)境的“染色體”群，這樣不斷重復，最后收斂到一個最適合環(huán)境的個體上，從而求得問題的最優(yōu)解或次優(yōu)解。GA具有隱含的并行性和強大的全局搜索能力，可以在短時間內(nèi)搜索到全局最優(yōu)點。因此，可利用GA對SVR懲罰因子C和核函數(shù)參數(shù)g進行優(yōu)化。

(2) 基于GA優(yōu)化的SVR預測模型

同樣選取式(7)作為GA算法的目標函數(shù)，利用GA算法對參數(shù)(C,g)進行優(yōu)化。具體算法步驟分6步。

Step1：選取SVR模型的訓練樣本和檢驗樣本，設定懲罰因子C和核函數(shù)參數(shù)g的搜尋范圍，對SVR懲罰因子C和核函數(shù)參數(shù)g進行染色體基因編碼，產(chǎn)生SVR參數(shù)初始種群。

Step2：確定式(7)為目標優(yōu)化適應度函數(shù)。

Step3：設定變異、交叉概率系數(shù)以及種群規(guī)模、進化代數(shù)等。

Step4：進行SVR訓練，按式(7)計算GA適應度函數(shù)值，若滿足GA訓練停止準則(達到訓練誤差或迭代次數(shù))，則轉(zhuǎn)至步驟Step6，否則轉(zhuǎn)至步驟Step5。

Step5：根據(jù)計算GA適應度值，對種群進行遺傳、變異以及交叉操作，產(chǎn)生下一代SVR參數(shù)種群，利用得到的子代參數(shù)種群對SVR模型進行訓練，計算適應度，若滿足GA訓練停止準則，則轉(zhuǎn)至步驟Step6，否則返回步驟Step4。

Step6：結(jié)束訓練，得到最佳懲罰因子C和核函數(shù)參數(shù)g，利用SVR模型對檢驗樣本進行預測。

2 模型應用

2.1 數(shù)據(jù)來源與分析

新疆開都河大山口水文站1956—2012年57a的實測資料為例進行實例研究。利用DPS軟件分析年徑流量與1—12月月均徑流量的相關性，分析結(jié)果如表1所示。

表1 開都河年徑流量與各月流量的相關系數(shù)表

從表1可以看出，無論是簡單相關系數(shù)還是偏相關系數(shù)，年徑流與1—12月的月均徑流量均呈正相關關系，相關系數(shù)在0.379～0.999之間，相關性十分顯著。

2.2 模型計算

將PSO-SVR、GA-SVR和GS-SVR模型應用于開都河大山口水文站年徑流預測的步驟分為訓練及預測樣本選取、數(shù)據(jù)歸一化、模型構建、模型訓練、預測結(jié)果分析5個步驟。

(1) 訓練及預測樣本選取。基于表1，選取與年徑流在0.01水平(雙側(cè))上顯著相關的1—12月的月均徑流量作為年徑流量預測的影響因子，并以1956—1995年40a的實測資料作為訓練樣本，1996—2012年17a的資料作為預測樣本。

(2) 數(shù)據(jù)歸一化處理。利用式(8)對各徑流序列進行歸一化處理：

(8)

(3) 模型構建。本文基于Matlab軟件環(huán)境和libsvm工具箱構建各SVR模型，選取1—12月的月均徑流量作為模型輸入向量，年徑流作為輸出向量，創(chuàng)建12輸入1輸出的PSO-SVR、GA-SVR和GS-SVR年徑流預測模型。

(4) 模型的訓練。利用選取的訓練樣本對PSO-SVR、GA-SVR和GS-SVR年徑流預測模型進行訓練，并選取平均相對誤差絕對值VMRE為各模型性能的評價指標，公式如下：

(9)

經(jīng)反復調(diào)試，在下述參數(shù)設置條件下，PSO-SVR、GA-SVR和GS-SVR預測模型具有較好的預測效果。

1)PSO-SVR模型。選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間分別設為0.1～100、0.01～1 000；局部和全局搜索學習因子c1、c2分別設為1.5、1.7；最大迭代次數(shù)設為200；種群規(guī)模設為30；慣性權重系數(shù)設為0.6；CV參數(shù)K值設為3；不敏感系數(shù)ε設為0.001(其他參數(shù)采用默認值)。利用PSO優(yōu)化SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，優(yōu)化結(jié)果為：C=41.051 5；g=0.01。

2)GA-SVR模型。基于謝菲爾德(Sheffield)遺傳算法工具箱，選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間分別設為0～100、0～1 000；最大迭代次數(shù)設為200；種群規(guī)模設為50；變異系數(shù)設為0.9；CV參數(shù)K值設為5；不敏感系數(shù)ε設為0.001(其他參數(shù)采用默認值)。利用GA優(yōu)化SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，優(yōu)化結(jié)果為：C=17.128 1；g=0.009 54。

3)GS-SVR模型。選擇徑向基核函數(shù)作為SVR的核函數(shù)。懲罰因子C和核函數(shù)參數(shù)g的搜索空間均設為2-2～26；步進大小均取0.1；CV參數(shù)K值設為5；不敏感系數(shù)ε設為0.001(其他參數(shù)采用默認值)，利用交叉驗證法(CrossValidation,CV)確定SVR模型中的懲罰因子C和核函數(shù)參數(shù)g，尋優(yōu)結(jié)果為：C=1.071 8；g=0.217 64。

PSO-SVR、GA-SVR與GS-SVR模型訓練結(jié)果見表2和圖1。

表2 不同模型訓練結(jié)果誤差分析表

圖1 不同模型訓練結(jié)果與實測值對比圖

由表2可知，PSO-SVR模型訓練精度最優(yōu)，平均相對誤差為2.83%。平均絕對誤差為0.934億m3；GA-SVR模型訓練精度次之，其平均相對誤差為3.16%。平均絕對誤差為1.059億m3；GS-SVR模型訓練精度最低，其平均相對誤差為4.68%。平均絕對誤差為1.518億m3。

表3 不同模型預測結(jié)果誤差分析表

(5) 預測結(jié)果分析。根據(jù)圖1與表3可以得出以下結(jié)論：PSO-SVR和GA-SVR模型對開都河大山口水文站1996—2012年17a徑流預測的VMRE分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預測精度和泛化能力均優(yōu)于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進行優(yōu)化；其次，從PSO-SVR和GA-SVR模型預測值來看，PSO-SVR和GA-SVR模型預測的相對誤差分別在0.20%～4.68%、0.13%～6.19%之間，表明PSO-SVR和GA-SVR模型算法具有較好的預測效果和穩(wěn)健性能。相對而言，PSO-SVR模型性能略優(yōu)于GA-SVR模型。

3 結(jié) 語

在給定不敏感系數(shù)ε和徑向基核函數(shù)條件下，提出SVR模型懲罰因子C和核函數(shù)參數(shù)g的PSO、GA優(yōu)化方法，以新疆開都河大山口水文站年徑流預測為例進行分析，并與具有良好回歸性能的GS-SVR模型進行比較，結(jié)果驗證了PSO和GA能有效對SVR懲罰因子C和核函數(shù)參數(shù)g進行優(yōu)化。PSO-SVR和GA-SVR模型兼顧了啟發(fā)式優(yōu)化算法與結(jié)構風險最小化算法二者的優(yōu)點，具有預測精度高、泛化能力強以及穩(wěn)健性能好等優(yōu)點，模型及方法可為相關預測研究提供參考。

[1] 崔東文. 多隱層BP神經(jīng)網(wǎng)絡模型在徑流預測中的應用[J].水文,2013,33(1)：68-73.

[2] 崔東文. 改進Elman神經(jīng)網(wǎng)絡在徑流預測中的應用[J].水利水運工程學報,2013,38(2)：71-77.

[3] 鄧霞,董曉華,薄會娟.基于BP網(wǎng)絡的河道徑流預報方法與應用[J].人民長江,2010,41(2)：56-59.

[4] 田雨波.混合神經(jīng)網(wǎng)絡技術[M].北京：科學出版社,2009.

[5] 王雷.支持向量機在汽輪機狀態(tài)監(jiān)測中的應用[M].北京：北京師范大學出版社,2012.

[6] 李彥彬,黃強,徐建新.河川徑流中長期預測的支持向量機模型[J].水力發(fā)電學報,2008,27(5)：28-32.

[7] 李彥彬,黃強,徐建新. 基于混沌支持向量機的河川徑流預測研究[J].水力發(fā)電學報,2008,27(6)：42-47.

[8] 衛(wèi)太祥,馬光文.基于懲罰加權支持向量機回歸的徑流預測模型[J].水力發(fā)電學報,2012,31(6)：35-38.

[9] 張俊,程春田.基于蟻群算法的支持向量機中長期水文預報模型[J].水力發(fā)電學報,2010,29(6)：34-40.

[10] 崔東文,郭榮.基于幾種參數(shù)優(yōu)化的支持向量機在徑流預報中的比較分析[J].水資源研究,2013,34(2)：34-38.

[11] 崔東文.支持向量機在湖庫營養(yǎng)狀態(tài)識別中的應用研究[J].水資源保護,2013,29(4):26-30.

[12] 史峰,王輝,郁磊,等.MATLAB智能算法30個案例分析[M].北京:北京航空航天大學出版社,2011.

Predication of Annual Runoff in Kaidu River Based on Modified Support Vector Machine

WANG Juan-juan

(Xinjiang Jindaxin Engineering Construction Co., Ltd., Kurle, Xinjiang 841000,China)

The annual runoff predication models of PSO-SVR and GA-SVR based on the heuristic calculation method are proposed aiming at the key impacts on the model performance by selection of the penalty factorCand the nuclear function parametergof SVR as well as the difficulty of parameter selection in actual application. The predication of the annual runoff at Dashankou gauge station on the Kaidu River in Xinjiang is studied. First, the impact factors of the annual runoff are selected by application of DPS software to finalize the input vectors; second, the predication models of the annual runoff of PSO-SVR and GA-SVR are built as well as the GS-SVR model based on the combination of GS and CV is constructed in accordance with the basic principle of PSO and GA and by application of the penalty factorCand the nuclear function parametergof SVR optimized by PSO and GA. Finally, the built models are applied for predication of practice. The analysis presents that the absolute values of the average relative errors of the annual runoff of the Kaidu River in 1996—2012 predicated by both PSO-SVR and GA-SVR are 2.65% and 3.22% prospectively. Their average absolute errors are 105.5 million m3and 129.1 million m3respectively. Their predication precision and generalization ability both are superior to those of GS-SVR model. This proves that both PSO and GA can effectively optimize the SVR penalty factorCand the nuclear function parameterg. They feature high prediction precision, strong generalization ability and good stability. Relatively, performances of PSO-SRV model are superior to those of GA-SVR model.Key words: swarm intelligence; genetic algorithm method; support vector machine; runoff predication; Kaidu River

2015-03-03

王娟娟(1981- )，女，新疆烏魯木齊市人，工程師，主要從事水利工程建設管理工作.

TV121.4

A

10.3969/j.issn.1006-2610.2015.04.001