基于Hermite神經網絡的混沌時間序列預測

李瑞國 張宏立 王 雅

基于Hermite神經網絡的混沌時間序列預測

李瑞國1張宏立1王 雅2

1(新疆大學電氣工程學院 新疆 烏魯木齊 830047)

2(新疆大學機械工程學院 新疆 烏魯木齊 830047)

針對混沌時間序列的混沌性，提出一種改進的相空間重構方法——交集尋優法；針對傳統的BP神經網絡、RBF神經網絡及AR模型對混沌時間序列預測效率和預測精度較低的缺點，提出兩種不同的Hermite神經網絡預測模型。以四階蔡氏電路為模型，結合粒子群算法建立預測模型。仿真結果表明，利用交集尋優法進行相空間重構能很好地保留原系統的動力學特性，證實了該方法的有效性；Hermite神經網絡較傳統的預測模型精度更高，便于基于粒子群算法的Hermite神經網絡預測方法的推廣和應用。

相空間重構 Hermite神經網絡 粒子群算法 混沌時間序列預測

0 引 言

混沌時間序列是指對混沌系統進行觀測采樣而得到的一個單變量時間序列，在混沌動力學系統中，通過時間序列來研究整個系統的動力學行為并對混沌序列進行預測[1]。目前，混沌時間序列預測已經在天氣預報、經濟預測、電力負荷預測、股市預測等方面得到了廣泛應用[2]。混沌時間序列預測模型的構造包括兩個關鍵流程：一是混沌時間序列的相空間重構；二是預測模型的確定。

相空間重構有兩個關鍵的參數，即延遲時間τ和嵌入維數m[3]。對于延遲時間τ的估計方法有自相關法、復自相關法、互信息法和平均位移法等， 嵌入維數m的選取方法有飽和關聯維數法(即G-P法)、偽最近鄰域法、Cao方法以及τ和m的聯合算法等。但這些方法實現過程較復雜，效果不理想。為解決這個問題，提出了一種改進的相空間重構方法——交集尋優法。

傳統時間序列預測模型有BP神經網絡、RBF神經網絡[4]及AR模型等。但混沌時間序列對初始條件具有敏感依賴性，是一組具有非線性和時變的數據，采用傳統的預測模型很難把這種復雜規律表達出來。傳統的BP神經網絡、RBF神經網絡計算效率低、泛化能力低，預測精度不高[5]。AR模型是一種線性模型，對于混沌時間序列預測往往不能滿足精度要求。鑒于此，提出了兩種不同結構的Hermite正交基神經網絡，以解決神經網絡訓練過程中出現的運算量大、收斂慢及容易陷入局部最小值等問題[6]。粒子群PSO算法作為一種并行優化算法，操作簡單，而且保留了基于種群的全局搜索策略，它特有的記憶功能使其可以動態跟蹤當前的搜索情況。因此，提出了基于PSO算法與Hermite神經網絡組合預測的方法。

1 相空間重構

1.1 τ→m方法尋優最小嵌入維數

τ→m方法，就是根據給定的一組τ(2≤τ≤tf,τ∈N),利用Cao方法[7]求出相應的一組m(ms≤m≤mf,m∈N)。Cao方法表述如下：

m維相空間中的重構時間延遲相量為：

Ym,i=[x(i),x(i+τ),…,x(i+(m-1)τ)]T(i=1,2,…,N-(m-1)τ)

(1)

令：

(2)

其中，‖·‖2為向量的2—范數。

令：

(3)

如果時間序列是有吸引子產生的，則m≥m0后，若EE(m)<ε，那么最小嵌入維數為m0。其中，ε為任意給定得很小的正數。

1.2 m→τ方法尋優最佳延遲時間

m→τ方法，就是根據給定的一組m(2≤m≤mf,m∈N),利用復自相關函數求出相應的一組τ(τs≤τ≤τf,τ∈N)。復自相相關函數[8]表述為：

(4)

1.3 交集尋優法重構相空間

交集尋優法，就是通過兩種不同組合的相空間重構法(τ→m方法和m→τ方法)求公共的一組解[m,τ]或最近(所謂最近，就是兩者的2—范數最小)的兩組解[m1,τ1]和[m2,τ2]，可表述為：

[m,τ]={(m,τ)|min{‖(m,τ)τ→m方法-(m,τ)m→τ方法‖2}}

(5)

2 兩種不同的Hermite正交基神經網絡

正交多項式具有獨特的性質，在現實問題中有著廣泛應用。Hermite正交基神經網絡作為一種以Hermite正交多項式為激勵函數的神經網絡，在函數逼近、預測等領域具有優越的性能。

2.1 Hermite正交基函數

Hermite正交基函數為：

(6)

其遞推關系為：

(7)

在Hermite正交基神經網絡中，采用Hermiten次多項式的遞推公式作為神經網絡隱層的激勵函數。

2.2 混沌時間序列預測模型

相空間重構后，m維相空間中的重構時間延遲相量為：

Xm,i-(m-1)τ=[x(i),x(i-τ),…,x(i-(m-1)τ)]Ti=(m-1)τ+1,(m-1)τ+2,…,N

(8)

Takens定理[10]證明了存在一個光滑函數f(X)，使得：

x(i+1)=f(Xm,i-(m-1)τ)

(9)

構建一個三層多輸入的Hermite神經網絡作為預測模型。網絡中，隱層、輸出層各神經元激勵函數全為恒等映射，且所有神經元的閾值均為零，其拓撲如圖1所示。

圖1 Hermite神經網絡拓撲結構

圖1中，W、R分別為隱層神經元輸入權值矩陣和輸出權值向量；H為隱層神經元激勵函數向量。

當圖1為Hermite神經網絡一時，H、R和W分別為：

H= [H1(net1),H2(net2),…,Hp(netp),

H1(netp+1),H2(netp+2),…,Hp(net2p),…,

H1(net(m-1)p+1),H2(net(m-1)p+2),…,Hp(netmp)]

(10)

R=[r1,r2,…,rmp]T

(11)

(12)

當圖1為Hermite神經網絡二時，H、R和W分別為：

H=[H1(net1),H2(net2),…,Hq(netq)]

(13)

R=[r1,r2,…,rq]T

(14)

W(k,j)=W(k,l) k=1,2,…,m j≠l j,l=1,2,…,m

(15)

輸入層神經元激勵函數為恒等映射，故隱層神經元輸入為：

(16)

由于輸出層神經元激勵函數采用的也是恒等映射，因此Hermite神經網絡一輸出為：

(17)

Hermite神經網絡二輸出為：

(18)

訓練網絡時，采用PSO算法對權值W、R進行修正，使輸出期望值和神經網絡實際輸出值誤差平方和最小。

3 基于PSO算法的Hermite神經網絡預測

PSO[11]算法的基本思想是，每個優化問題的潛在解都是搜索空間的粒子，所有的粒子都有一個被優化的函數決定的適應度，每個粒子還有一個速度向量決定它們飛翔的方向和距離，然后粒子們就隨當前的最優粒子在解空間中搜索。PSO初始化為一群隨機粒子(隨機解)，然后通過迭代找到最優解。在每次迭代中，粒子通過跟蹤兩個“極值”來更新自己，一個是粒子本身所找到的最優解——個體極值Pid，另一個是整個種群目前所找到的最優解——全局極值Pgd。當找到這兩個最優解時，每個粒子根據式(19)、式(20)來更新自己的速度和位置。

vid(t+1)= wvid(t)+η1rand()(Pid-

xid(t))+η2rand()(Pgd-xid(t))

(19)

xid(t+1)=xid(t)+vid(t+1)

(20)

其中，vid(t+1)表示第i個粒子在第t+1代中第d維上的速度，xid(t+1)表示第i個粒子在第t+1代中第d維上的位置，w為慣性權重，η1、η2為加速常數。此外，為使粒子速度和位置不致過大，設置速度上限vmax、下限-vmax和位置上限xmax、下限-xmax。

在基于PSO算法的Hermite神經網絡預測中，PSO算法的適應度函數取為混沌時間序列預測的誤差平方和，其基本流程如下：

Step1 初始化粒子群，即設定種群數量Q及各粒子的初始位置X=[X1,X2,…,XQ]T和初始速度V=[V1,V2,…,VQ]T。其中，Xi=[xi1,xi2,…,xir]；r為粒子維數；Vi=[vi1,vi2,…,vir](i=1,2,…,Q)。

Step2 計算每個粒子的適應度值。

在利用Hermite神經網絡一作預測時，其適應度值計算為：

(21)

其中，xp(n)為對x(n)的估計值；m為嵌入維數。

在利用Hermite神經網絡二作預測時，其適應度值計算為：

(22)

Step3 根據初始位置和初始速度及式(19)、式(20)更新各粒子的位置。

Step4 計算每個粒子的新適應度值。

在利用Hermite神經網絡一作預測時，其新適應度值計算為：

(23)

在利用Hermite神經網絡二作預測時，其新適應度值計算為：

(24)

Step5 計算自身極值。對每個粒子，比較它的適應度值和它所經歷過的最好位置Pid的適應度值，如果比Pid更好，更新自身最優解Pid。

Step6 計算全局極值。對每個粒子，比較它的適應度值和群體所經歷過的最好位置Pgd的適應度值，如果比Pgd更好，更新全局最優解Pgd。

Step7 如果達到約束條件(最大進化代數Gen)，則結束，否則轉至Step2繼續。

4 仿真實驗

4.1 四階蔡氏電路模型

混沌現象及其應用是非線性科學領域的一個熱點。由于電學量易于觀測和顯示，非線性電路逐漸成為混沌應用研究的重要途徑之一，最典型的混沌電路就是蔡氏電路。1983年，蔡少棠教授設計了一個能夠產生復雜混沌現象的三階自治電路——蔡氏電路，從中可以觀察到極豐富的非線性動力學特性。為了產生更復雜的混沌現象，使其具有更強的不可預測性，在蔡氏電路的基礎上，提出了四階變形蔡氏電路，從中可以觀察到單渦旋和雙渦旋混沌吸引子的非線性物理現象。四階蔡氏電路模型表示為：

(25)

仿真過程中，初值x0、y0、z0、w0分別取為-1、0、1、0，步長h取為0.01。利用四階Runge-Kutta法計算包含600個數據點的混沌時間序列，通過前500個數據點建立預測模型，后100個數據點作預測分析。

4.2 系統最佳重構參數及混沌特性分析

本文取ε=0.01，利用τ→m方法與m→τ方法相結合的交集尋優法對相空間重構，參數尋優如圖2所示。

圖2 相空間重構參數尋優圖

從圖2可以看出，兩條曲線距離最近的兩個點為(10,15)和(12,15)。根據1.3節理論知，相空間最佳重構參數為 [m1,τ1]=[10,15]和[m2,τ2]=[12,15]。

利用系統最佳重構參數及非最佳重構參數，比較系統厡吸引子與重構吸引子的動力學特性，如圖3所示。

圖3 系統原吸引子及不同dt值重構吸引子軌跡圖

其中，dt=0.01τ。圖3(a)是雙渦旋吸引子在x-y平面軌跡圖，圖3(b)-(e)是τ取不同值時變量y的單渦旋重構吸引子軌跡圖，證明了四階蔡氏電路系統單渦旋和雙渦旋混沌吸引子的存在。可見，τ=15時，重構吸引子軌跡圖既不壓縮也不折疊；τ<15時，重構吸引子軌跡圖出現了明顯的壓縮現象；而τ>15時，重構吸引子軌跡圖邊緣出現了明顯的折疊現象。因此，τ=15很好地保留了原系統吸引子的動力學特性，同時也驗證了交集尋優法重構相空間的有效性。

4.3 混沌時間序列預測及誤差分析

PSO算法參數初始化及參數優化如表1和表2所示。本文p、q分別取為2、3，即可滿足精度要求，圖表中將Hermite神經網絡簡稱為H網絡。

表1 PSO算法參數初始化表

表2 PSO算法優化參數表

(26)

其中，wmax=0.9及wmin=0.4分別是最大和最小加權系數；t為進化代數。

圖4 不同嵌入維數時序列y的預測圖

圖5 不同嵌入維數時序列y的預測誤差圖

從圖4和圖5可以看出，Hermite神經網絡一、Hermite神經網絡二對混沌時間序列的擬合及預測均要優于BP神經網絡、RBF神經網絡及AR模型。為了定量比較預測值與觀測值的差異，引用三個誤差評價指標。

定義1[12]設n個觀測值ypi(1≤i≤n)，對應的n個實際值yi(1≤i≤n)，令：

(27)

稱由式(27)確定的EMAE為平均絕對誤差, 反映了預測值與觀測值的平均偏離程度，其值越小，預測精度越高。

定義2 令：

(28)

定義3[13]令：

(29)

稱由式(29)確定的EMSE為均方根誤差, 反映了預測值與觀測值偏離程度的波動大小，其值越小，預測越穩定。

誤差定量評價如表3所示。

從圖5及表3可以看出，Hermite神經網絡一、Hermite神經網絡二較BP神經網絡、RBF神經網絡及AR模型預測精度更高；當m值相同時，Hermite神經網絡一比Hermite神經網絡二預測精度更高，但其參數相對較多；對于Hermite神經網絡一，m=10相對于m=12時預測效果更好；對于Hermite神經網絡二，m=12相對于m=10時預測更準確。由此可見，Hermite神經網絡一、Hermite神經網絡二要優于傳統的BP神經網絡、RBF神經網絡及AR模型，預測誤差更小、精度更高，可在一些領域推廣和應用。但在實際應用時，要根據具體要求的精確度和實現的復雜度對Hermite神經網絡一和Hermite神經網絡二進行擇優選擇。

5 結 語

由于混沌時間序列具有混沌性，據此提出了一種新的方法——交集尋優法，對相空間進行重構。仿真結果表明，所提方法能很好地恢復原系統的動力學特性；針對傳統預測方法預測精度較低的缺點，提出了PSO算法與Hermite神經網絡組合預測的新算法。利用PSO算法和Hermite神經網絡各自的優勢，在預測模型的權值訓練過程中，將兩者結合對混沌時間序列進行預測。通過四階蔡氏電路模型進行仿真實驗，發現預測效果優于傳統的BP神經網絡、RBF神經網絡及AR模型，證明了所提算法的有效性，因此可將Hermite神經網絡廣泛應用于序列預測、系統辨識和故障診斷等領域。

[1] 邵小強,馬憲民.混沌時間序列預測的建模與仿真研究[J].計算機仿真,2011,28(5):228-231.

[2] 李劍.混沌時間序列預測模型的應用與研究[J].計算機仿真,2011,28(4):100-102.

[3] 陳帝伊,柳燁,馬孝義.基于徑向基函數神經網絡的混沌時間序列相空間重構雙參數聯合估計[J].物理學報,2012,61(10):22-31.

[4] 鄔開俊,王鐵君.基于RBF神經網絡優化的混沌時間序列預測[J].計算機工程,2013,39(10):208-211.

[5] 馮興杰,潘文欣,盧楠.基于小波包的RBF神經網絡流量混沌預測[J].計算機工程與設計,2012,33(5):1681-1686.

[6] 田啟川,田茂新.基于Chebyshev神經網絡的圖像復原算法[J].計算機工程,2012,38(14):17-20.

[7] 張淑清,賈鍵,高敏,等.混沌時間序列重構相空間參數選取研究[J].物理學報,2010,59(3):1576-1582.

[8] 龔祝平.制造質量信息系統重構相空間延遲時間計算方法的對比[J].系統工程,2011,29(3):81-85.

[9] 楊胡萍,王承飛,朱開成,等.基于相空間重構和Chebyshev正交基神經網絡的短期負荷預測[J].電力系統保護與控制,2012,40(24):95-99.

[10] 崔慶,馬孝義,李賢波,等.基于ADE算法的LSSVM在混沌時間序列中的應用[J].計算機應用與軟件,2014,31(1):275-277,289.

[11] 高玉明,張仁津.一種GA-PSO算法優化BP網絡的流量預測[J].計算機應用與軟件,2014,31(4):106-110.

[12] 應國良,潘仙張,李慧桂,等.基于小波神經網絡的流量自回歸預測研究[J].計算機應用與軟件,2014,31(6):151-153,157.

[13] 劉付斌,馮麗娜.基于EEMD與RBF神經網絡的網絡流量預測[J].計算機應用與軟件,2014,31(6):72-74,83.

CHAOTIC TIME SERIES PREDICTION BASED ON Hermite NEURAL NETWORK

Li Ruiguo1Zhang Hongli1Wang Ya2

1(CollegeofElectricalEngineering,XinjiangUniversity,Urumqi830047,Xinjiang,China)2(CollegeofMechanicalEngineering,XinjiangUniversity,Urumqi830047,Xinjiang,China)

For chaotic property of chaotic time series, we proposed an improved phase space reconstruction method — the intersection optimisation method. In view of the shortcomings of traditional BP neural network, RBF neural network and AR model in low prediction efficiency and accuracy on chaotic time series, we put forward two different Hermite neural network prediction models. Taking the fourth-order chua's circuit as the model we built the prediction model in combination with PSO algorithm. Simulation results indicated that to reconstruct phase space using intersection optimisation method could well keep the dynamics characteristic of original system, thus the effectiveness of the method was confirmed. Hermite neural network has higher prediction accuracy than traditional neural network, it is easy to promote and apply the PSO-based Hermite neural network prediction method.

Phase space reconstruction Hermite neural network Particle swarm optimisation (PSO) Chaotic time series prediction

2014-10-06。李瑞國，碩士生，主研領域：智能優化與應用。張宏立，副教授。王雅，碩士生。

TP391.9

A

10.3969/j.issn.1000-386x.2016.04.063