EP-RBF神經網絡在時間序列預測中的應用

林麗娜，魏德志，2

(1.集美大學 誠毅學院， 福建 廈門 361021; 2.福州大學 經濟與管理學院，福州 350108)

?

EP-RBF神經網絡在時間序列預測中的應用

林麗娜1，魏德志1，2

(1.集美大學 誠毅學院， 福建 廈門 361021; 2.福州大學 經濟與管理學院，福州 350108)

為了提高RBF神經網絡預測的準確率，提出了一種基于EM聚類算法和改進的PSO算法優化RBF神經網絡的混合算法(EP-RBF)。首先，采用EM聚類算法獲得初始網絡結構，并改進RBF神經網絡的徑向基函數；然后引入非線性慣性權重和分段變異算子改進PSO算法，增強算法的全局和局部搜索能力，利用改進的PSO優化RBF神經網絡的基寬向量、中心矢量、網絡權值等參數，提高逼近精度；最后對典型的混沌系統進行驗證。結果表明：該混合算法能更好地逼近非線性函數，提高預測準確率。

徑向基函數；神經網絡；粒子群算法；混沌系統；時間序列

混沌系統具有亂序、無規則、隨機、對初始條件依賴等特點，它是研究演化過程的一種科學系統。對混沌系統的研究已經在各行各業得到了廣泛的應用。混沌系統時間序列是毫無規律的，要從長期來進行預測非常困難，但在看似無規律的背后，通過對非線性系統的研究可以在短期對它進行預測。用于混沌時間序列預測的方法有神經網絡[1-3]、支持向量機[4-5]、誤差補償[5-6]、相空間重構[7-8]、混合模型[9-10]等。支持向量機是一種有關統計學的模型算法，通過對非線性函數的逼近可以獲得很好的效果，但是算法的參數選擇過于依賴人工。

人工神經網絡通過足夠時間的訓練，對時間序列的預測可以達到很好的精度。RBF網絡和其他網絡相比，具有拓撲結構簡單、學習快速高效的特點，是前向網絡的一種主要結構，被廣泛應用于實時自適應系統。該網絡經過證明只要節點數足夠多，可以以任何精度逼近單值函數，因此得到了廣泛應用。RBF神經網絡應用于預測的難點主要是本身網絡結構的確定和相關參數的優化，目前還沒有一種方法可以解決這個問題。文獻[6]提出一種進化算法改進RBF網絡結構和參數，實驗結果表明泛化能力得到了提高。文獻[7]采用極大熵學習算法改進混沌系統，改善網絡的學習和回歸能力。文獻[8]在確定網絡隱含層中心過程中采用了聚類方式，提高網絡訓練速度。文獻[9]提出一種主動控制思想，將系統分解為受控和自由子系統，試驗結果表明該方法能抑制抖振，不受外界干擾。文獻[10]為了克服RBF網絡容易收斂于局部極值的缺點，采用PSO算法進行優化，從而提高逼近的精度。

以上改進方法在一定程度上取得了不錯的效果，文獻[6-7，10]主要從優化網絡參數角度進行改進，文獻[8]主要從初始化網絡結構、確定隱含層角度進行改進，但是隨著混沌理論的發展，并不能滿足實際系統要求的高精確度，而且，網絡結構和參數優化還有待于進一步提高。因此，本文為了提高預測的精確度，分別從前期初始化網絡結構和后期優化網絡參數兩個角度進行。首先在前期無監督學習中采用EM算法獲得網絡結構的隱含層的中心點，并改進徑向基函數；然后在后期有監督學習中，采用改進PSO進化算法，根據誤差不斷對網絡參數進行優化得到相關網絡參數；最后經過混沌時間序列的實驗驗證，證明EP-RBF方法有較高預測準確性。

1 RBF神經網絡

RBF網絡是一種三層結構的神經網絡：第一層是輸入層，第二層是隱含層，第三層是輸出層。第一層節點個數通過輸入向量x的維數來計算；第二層的節點數根據訓練數據點的個數決定，同時和輸入層進行連接；第三層的節點數等于輸出數據的維數。假設有n個訓練樣本，則RBF網絡結構如圖1所示。

圖1 RBF神經網絡結構

設輸入Xn=[xn1,xn2,…,xnm]，實際輸出為Yk=?yk1,yk2,…,ykj」，那么從輸入到輸出的函數映射如式(1)所示。

(1)

(2)

式(1)中：n為輸入樣本的個數；J為輸出單元的個數；I為隱含層的節點數；Xi=[xi1,xi2,…,xim]為基函數的中心；θj為網絡閾值；ωij為網絡連接權值。式(2)中：基函數φ采用高斯函數，σ為基寬向量。RBF網絡的精度主要由中心節點、基寬向量、閾值、網絡值等參數決定，通過對網絡參數進行優化，可以提高網絡的逼近性能。

2 EM聚類算法結合高斯模型改進徑向基函數

(3)

(4)

最大似然估計算法簡稱EM算法，是一種以統計學為基礎、能抗噪音干擾、具有魯棒性的聚類算法，可以快速有效地計算出式(4)的中心值ui和方差Σi，具體實現過程描述如下。

2) 假設算法已經循環迭代k次，k大于0，根據式(5)計算樣本Xn屬于各個聚類中心的概率值。

(5)

3) 根據式(6)～(8)計算更新基本參數λ0。

(6)

(7)

(8)

4) 根據式(9)計算最大對數似然估計Ek。如果|Ek-Ek+1|≤ε，其中ε為接近0的自定義值，則算法循環迭代終止，否則程序跳至步驟2)繼續循環計算。

(9)

5) 求出最終中心值ui和方差Σi計算的結果，代入式(4)隱含層徑向基函數進行求解。

整個算法的核心思想是利用EM算法得到聚類模型的中心值ui和方差Σi，并且把結果直接應用到改進隱含層徑向基函數ψ(Xn,ui)中，減少了聚類計算的次數，根據樣本的概率值來進行數據對象的分割計算，抗噪音干擾性強，可以進行高維空間計算，算法初始化容易并且收斂快速。

3 改進的PSO算法

PSO算法是一種進化算法，主要根據鳥類捕食行為來進行尋優設計。空間中的每個解通過粒子來表示，最優解根據粒子在空間中的運動不斷進行位置和速度的調整來獲得。算法的基本思想如下：假設搜索空間為m維，空間有n個粒子，這些粒子組成對應的種群X，則Xn=[xn1,xn2,…,xnm]代表第n個粒子在m維空間的位置；Vn=[Vn1,Vn2,…,Vnm]代表第n個粒子的速度；Pn=[Pn1,Pn2,…,Pnm]代表個體極值；Pg=[Pg1,Pg2,…,Pgm]代表全局極值。算法在每次搜索過程中，粒子通過式(10)和(11)修改自身的位置和速度，不斷在空間進行搜索，直到得到最優解。

(10)

(11)

PSO算法具有容易收斂、簡單易操作等特點，但是存在著收斂早熟、有一定誤差以及不容易進行全局尋最優等缺點。通過引入非線性權重和變異算子，對PSO算法進行修改，解決算法種群多樣性不足的缺點。

3.1 非線性權重

慣性權重ω代表的是當前粒子速度和一代粒子的速度的相似性。Shi.Y提出了線性遞減慣性權重來提高算法的搜索能力，具體見式(12)。為了解決線性遞減慣性權重不能很好處理非線性的問題，本文對式(12)進行改進，提出了一種非線性權重，具體見式(13)。

ω(k)=ωstart-(ωstart-ωend)(kmax-k)/kmax

(12)

(13)

取值ωstart=0.9，ωend=0.4，從圖2中根據式(12)和(13)，描述出了權重ω迭代不斷變化的整個過程。通過式(13)計算的結果顯示變化過程更加平滑穩定，主要原因在于算法開始時，權重取較大的值有利于進行全局計算和查找，在算法后期權重取較小的值對局部計算和搜索有利，從而可以加快整個算法的搜索速度，更快地進行收斂。

圖2 慣性權重ω變化過程

3.2 分段變異算子

目前部分學者把遺傳算法中的變異操作引入PSO算法進行改進，主要是根據一定的概率在粒子更新的時候進行變異操作。粒子作為粒子群的一部分在粒子群不斷迭代運算過程中，粒子的狀態也不斷改變，傳統的變異操作在這方面的考慮有待提高。本文提出一種分段變異算子，在算法迭代初期對適應度較低的粒子進行變異，把該粒子的位置更新為適應度高粒子的平均值；在后期為了防止算法的早熟現象出現預設一個閾值，讓個體和全局極值在一定范圍內進行隨機變化，具體隨機變化的操作見式(14)。

(14)

隨機變化的基本思想為：如果大于閾值，按照式(14)進行更新，否則按照式(10)進行更新計算。通過以上利用算子進行分段的變異操作，粒子群在迭代計算中產生更多的多樣性，拓展了種群的空間搜索能力，防止出現收斂過早的現象，可更好地得到全局最優解。

4 EP-RBF混合算法

混合算法首先利用了EM聚類算法對RBF結構進行改進，然后利用PSO優化相關結構的參數，最終算法能夠有效提高逼近精度，更好地解決非線性系統預測的問題。算法具體流程見圖3。

圖3 EP-RBF混合算法流程

算法具體步驟如下：

1) 給定神經網絡的訓練數據集，包含輸入和輸出樣本集；

2) 利用EM聚類算法確定RBF神經網絡的中心值ui和方差Σi，并確定徑向基函數；

3) 對網絡的隱含層中心值、方差、閾值、權值參數進行實數編碼，隨機產生粒子種群，同時初始化PSO參數；

4) 更新迭代新粒子的速度和位置；

5) 確定PSO算法的適應度函數，采用輸出值的均方根誤差公式作為適應度的計算公式，具體見式(15)。根據誤差適應度函數計算結果對個體和群體極值進行更新。

(15)

6) 判斷是否符合算法結束條件，如果不符合，轉至步驟4)，如果符合，得到一組最優的網絡參數。

7) RBF網絡算法進行實驗數據訓練預測，得到預測結果。

5 實驗

5.1 實驗條件

本文的實驗仿真環境為Matlab2010b，通過神經網絡工具箱編寫RBF、PSO-RBF、EP-RBF三種神經網絡預測算法。對表1中經典非線性混沌系統時間序列進行預測實驗，并和參考文獻中的其他預測算法進行誤差指標對比。

表1 Lorenz非線性混沌系統

(15)

(16)

(17)

(18)

5.2 實驗結果

將混沌系統產生的3 000個x分量的時間序列數據分成兩種數據樣本，分別是訓練和預測。其中前2 000個數據作為訓練樣本，后1 000個數據作為預測樣本。表2給出了混合算法和其他算法在誤差Rmse、Perr和Smape的比較結果。

表2 不同模型算法對Lorenz系統預測誤差

從表2中可以看出：不同模型算法在誤差指標RMSE、Perr、Smape中的表現情況，本文算法相比其他模型算法的誤差指標提高了一個數量級左右，得到較好的效果。

6 結束語

本文提出了一種基于EM算法和改進的PSO算法優化RBF神經網絡的混合算法EP-RBF。通過利用EM算法和智能算法的優點，提高了對混沌系統的預測精度。對Lorenz混沌系統的實驗結果表明，本文模型算法能精確模擬混沌系統的時間序列，適用于混沌系統，適用范圍廣。同時，在和其他模型算法的比較實驗中，本文模型算法在精確度上有較大的提升，達到了一個數量級。

[1] 趙永平,王康康.具有增加刪除機制的正則化極端學習機的混沌時間序列預測[J].物理學報,2013,62(24):82-89.

[2] 張學清,梁軍.基于EEMD-近似熵和儲備池的風電功率混沌時間序列預測模型[J].物理學報,2013,62(5):76-85.

[3] 龍文.基于混合進化算法的RBF神經網絡時間序列預測[J].控制與決策,2012,27(8):1265-1268.

[4] 郭會軍,劉丁,趙光宙.受擾統一混沌系統基于RBF網絡的主動滑模控制[J].物理學報,2011,60(1):104-110.

[5] 肖本賢,王曉偉,劉一福.MPSO-RBF優化策略在鍋爐過熱系統辨識中的仿真研究[J].系統仿真學報,2007,19(6):1382-1385.

[6] 趙永平.過濾窗最小二乘支持向量機的混沌時間序列預測[J].物理學報,2013,62(12):113-121.

[7] 黃敏,胡學鋼.基于支持向量機的網絡輿情混沌預測[J].計算機工程與應用,2013,49(24):130-134.

[8] 張金良,譚忠富.混沌時間序列的混合預測方法[J].系統工程理論與實踐,2013,33(3):763-769.

[9] 唐舟進.基于迭代誤差補償的混沌時間序列最小二乘支持向量機預測算法[J].物理學報,2014,63(5):78-87.

[10]AMJADY N,KEYNIA F.Day-ahead price forecasting of electricity markets by a mixed model and hybrid forecast method[J].International Journal of Electrical Power & Energy Systems,2008,30(9):533-546.

(責任編輯 楊黎麗)

The Application of EP-RBF Neural Networks in the Prediction of Time Series

LIN Li-na1, WEI De-zhi1，2

(1.Chengyi College, Jimei University, Xiamen 361021,China;2.School of Economics and Management, Fuzhou University, Fuzhou 350108, China)

A hybrid algorithm (EP-RBF), which was optimized by the EM clustering and improved PSO,was proposed in order to improve the prediction accuracy of RBF neural network. Firstly, the network structure was initialized by EM clustering algorithm, and the radial basis function of RBF neural network was improved. Then the nonlinear inertia weight and sectional mutation operator were introduced to improve the PSO in order to improve theglobal and local search ability, and the base width vector, center vector, network weights and other parameters of the RBF neural net work was optimized by the improved PSO in order to improve the accuracy of approximation. Finally, the several typical chaotic systems were verified to show that the hybrid algorithm can approach the nonlinear function better and improve the accuracy of prediction.

radial basis function;neural network;particle swarm optimization algorithm;chaotic system;time series

2016-03-18 基金項目：國家自然科學基金資助項目 (71271056)；福建省教育廳資助項目(C13001，JA14368)

林麗娜(1984—)，女，碩士,講師，主要從事網絡安全與網絡輿情研究，E-mail:linda_839@126.com；魏德志(1982—)，男，副教授，博士研究生，主要從事網絡安全與網絡輿情研究。

林麗娜，魏德志.EP-RBF神經網絡在時間序列預測中的應用[J].重慶理工大學學報(自然科學)，2016(11):121-126.

format：LIN Li-na,WEI De-zhi.The Application of EP-RBF Neural Networks in the Prediction of Time Series [J].Journal of Chongqing University of Technology(Natural Science)，2016(11):121-126.

10.3969/j.issn.1674-8425(z).2016.11.020

TP393

A

1674-8425(2016)11-0121-06