混沌時間序列的LSSVM預測方法

莫小琴，李鐘慎

（華僑大學 機電及自動化學院，福建 廈門361021）

隨著混沌理論研究的不斷深入，混沌時間序列預測已成為非常重要的一個研究方向，并廣泛應用于信號處理、自動控制等領域［1］.但混沌系統對初值的極端敏感性使其很難進行精確的預測.相空間重構是混沌時間序列預測的基礎，重構效果的好壞直接影響著預測的精度.選用互信息法［2］和Cao提出改進的模糊神經網絡（fuzzy neural network，FNN）算法［3］分別對相空間重構參數進行確定，能夠實現比較好的重構效果.最小二乘支持向量機（least squares support vector machines，LSSVM）是一種新型的預測方法，擁有強大的學習能力，能很好地解決神經網絡結構訓練時容易陷入局部極小和過擬合等問題［4-5］.但是LSSVM在不同參數作用下，預測性能會有很大的差別.粒子群優化（particle swarm optimization，PSO）是近年來發展比較快的一種簡單可行的智能尋優算法，能快速有效地解決如何尋找合適參數的問題［6］.因此，本文在結合相空間重構理論的基礎上，提出PSO算法優化的LSSVM的混沌時間序列預測模型，分別對一階Logistic、二階Henon、三階Lorenz等3種典型混沌時間序列進行預測，并與RBF神經網絡的預測結果［7］進行比較.

1 時間序列相空間重構

1.1 相空間重構

相空間重構提出從高維的相空間中恢復混沌吸引子［8］.它的思想是系統中任一個分量的演化進程都是由其他與其相互作用的分量決定的，所以通過分析某一分量的一批時間序列數據，能提取和恢復出原系統的規律.根據Takens定理，當吸引子的分形維數為d時，選擇合適的延遲時間τ和嵌入維數m，且滿足m≥2d+1，對混沌時間序列｛x（t）｝，t＝1，2，…，n進行相空間重構，即

對n步后的預測為

式（2）中：F（·）為構建的預測模型.由F（x（k-m），x（k-m+1），…，x（k-1））和Y（k）＝x（k）組成的樣本對，訓練并建立LSSVM預測模型，從而完成對混沌時間序列的預測.

1.2 重構相空間參數的選取

相空間重構吸引子的成敗在于延遲時間和嵌入維數的選取，并且這2個參數的選取是互不相關的［9］.互信息法是一種有效估計延遲時間的方法.Shaw 提出互信息第一次到達最小時滯時即為延遲時間［10］.定義計算延時時間τ的公式為

式（3）中：P（xn，xn+τ）為時間序列｛xn｝和｛xn+τ｝的聯合概率；I（τ）為某一時間序列包含另一時間序列信息的概率，當I（τ）為第一個極小值時，τ的取值就是最佳的延遲時間.

CAO方法是對FNN算法改進后提出的一種選擇最佳嵌入維數的方法［3］.其運算步驟為如下.

在d維空間中，每一個相點矢量X（i）都有一個某距離內的最鄰近點NNN（i），兩者距離為Rd（i），當維數增加到d+1時，兩相點的距離發生變化，則在d+1維相空間中的距離為

若Rd+1（i）遠大于Rd（i），可認為這兩點是偽鄰近點.

CAO方法定義計算嵌入維數的公式為

計算所有a2（i，d）的平均值，得到

計算m維到m+1維的變化，可得

式（7）中：隨著m的變化，E1（m）達到飽和，此時，m+1取值就是所求的最佳嵌入維數.

采用這2種方法分別確定的3種典型混沌時間序列的延遲時間（τ）以及嵌入維數（m），如表1所示.通過對比重構吸引子的幾何形狀與原吸引子之間的相似性，以及不同延遲時間所產生的差異性，可以驗證這2種方法選取的參數能夠達到比較好的重構效果［8］.

表1 實驗參數Tab.1 Experimental parameters

2 基于LSSVM的回歸預測

2.1 LSSVM 模型

選取延遲時間τ和最優嵌入維數m后，構造樣本數據對

式（8）中：Xi（i＝1，2，…，M）為預測輸入數據；yi（i＝1，2，…，M）為對應的輸出數據.

對于一個給定的訓練樣本數據集（Xi，yi）（i＝1，2，…，l），在高維空間中用線性函數擬合樣本，可得

式（9）中：wT為二次規劃問題解的矩陣；φ（·）為非線性映射關系函數；b為常值偏差.

時間序列的數據集被非線性映射函數φ（·）由輸入空間映射到特征空間，這樣就把相應的預測問題轉化優化的問題.

LSSVM的目標優化函數為

約束條件為

建立Lagrange函數

式（10）～（12）中：ε為指數；a為拉格朗日乘子；γ為正則化參數.根據最優化條件對L（w，b，ε，a）進行求偏導并消去εi和w后，把優化問題轉化為求解下列線性方程組，即

式（13）中：Y＝［y1，y2，…，yl］T；α＝［a1，a2，…，al］T；Γ＝［1，1，…，1］T；I為單位陣；Ω可表示為

式（14）中：K（·）為滿足Mercer條件的核函數.以最小二乘法求解系數ai和偏差b，可得混沌時間序列的LSSVM預測模型為

式（15）中：σ為徑向基寬度是一個待定參數.

2.2 PSO參數尋優

PSO算法［11］起源于對鳥群捕食行為的研究，是一種模擬群體智能行為的優化算法.其基本原理是：每一次迭代，粒子通過跟蹤個體極值Pbest和全局極值gbest這2個極值來更新自己的速度和位置；之后根據目標值的大小選擇最優參數再次進行訓練，直到得到目標訓練模型.在找到2個最優解時，粒子根據下式來更新自己的速度和位置，即

式（16），（17）中：ω是慣性權重因子；v為粒子速度；χ為當前粒子位置；r1，r2為介于（0，1）之間的隨機數；C1，C2為學習因子，通常取1.5.

LSSVM模型正則化參數γ和徑向基寬度σ的選取對預測精度有很大的影響［12］.文中采用PSO算法來優化LSSVM參數.基本步驟如下：1）隨機產生一組｛γ，σ｝作為粒子的初始位置，讀取樣本數據；2）進行LSSVM訓練，計算訓練樣本的均方誤差作為驗證誤差；3）以驗證誤差作為適應值，同時記憶個體與群體對應的最佳適應值的位置，再根據PSO優化方程搜索更好的｛γ，σ｝；4）重復訓練與計算誤差直到滿足結束條件.

3 仿真研究

把一維Logistic系統、二維Henon系統和三維Lorenz系統3種典型的混沌系統作為研究對象.通過迭代計算得到混沌時間序列，均去掉前3 000個暫態數據，選取后3 000點作為實驗數據，對所選數據進行歸一化處理，選取合適的延遲時間和嵌入維數，對3種典型的混沌時間序列進行相空間重構.選用其中1 500個作為訓練數據，應用相應的測試模型進行學習和預測，后1 500個作為測試數據.在PSO優化模型［13］中，采用的粒子種群數為20，最大迭代次數90，慣性權重為0.9.運行PSO優化模型，不斷更新粒子當前的最優位置，分別得到3種混沌時間序列的LSSVM最優參數｛γ，σ｝，結果如表1所示.

為了衡量預測模型的有效性和精確度，采用均方誤差（RMSE）作為評價整體預測性能的指標，即

式（18）中：x（n）是第n個時間序列的實際值；＾x（n）是預測值.

應用LSSVM預測模型分別對3種典型混沌系統進行預測，表達式與預測結果如下所示.

1）考慮Logistic映射迭代表達式為

式（19）中：初始值取0.4，當λ＝4時，系統處于混沌狀態.運用LSSVM預測模型的輸出值和真實值的比較（x（n））和預測誤差（e），如圖1（a）所示.為了便于觀察，圖1（a），（b）只截取800到950之間的數據預測結果進行展示；圖1（c）則截取800到900之間的數據.

2）考慮Henon映射迭代表達式

式（20）中：取a＝1.4，b＝0.3，此時系統處于混沌狀態.預測結果如圖1（b）所示.

3）考慮Lorenz映射迭代表達式

式（21）中：當s＝16，b＝4，r＝45.92時，系統處于混沌狀態.運用LSSVM預測模型的輸出值和真實值的比較和預測誤差，如圖1（c）所示.由輸出誤差可知：PSO優化的LSSVM模型能夠實現對混沌時間序列較精確的預測.

圖1 不同混沌系統的預測結果Fig.1 Prediction results of different chaotic system

仿真實驗中所用的參數，如表1所示.通過計算均方誤差（＾e）作為衡量性能的標準，并與RBF神經網絡建立的預測模型的預測結果進行比較.其中：RBF神經網絡采用的是二層結構網絡，神經元數目等于輸入向量的個數，比較結果如表2所示.由表2可知：采用PSO算法優化的LSSVM的預測效果明顯優于RBF預測算法.

表2 均方誤差的對比結果Tab.2 Compared results of the mean square error

4 結束語

結合相空間重構理論建立LSSVM預測模型，利用PSO算法的全局優化和快速收斂的能力，克服了LSSVM預測模型參數選取的隨機性，提高了LSSVM預測模型的泛化能力和預測精度.通過對3種典型的混沌時間序列進行預測，并與RBF神經網絡建立的預測模型的預測結果進行比較，表明PSO優化的LSSVM預測模型的預測精度更高.

［1］ 黨建亮.基于支持向量機的混沌序列預測方法研究［D］.成都：西南交通大學，2006：12-24.

［2］ 雷紹蘭，孫才新，周浪，等.基于改進加權一階局域預測模型的短期負荷預測方法研究［J］.電測與儀表，2006，43（455）：5-6.

［3］ CAO Liang-yue.Practical method for determining the minimum embedding dimension of a scalar time series［J］.Physica D：Nonlinear Phenomena，1997，110（1）：43-50.

［4］ 朱光兆，何偉.基于支持向量機的混沌時間序列預測分析［J］.自動化儀器儀表，2012（1）：145-149.

［5］ 往永生，劉衛華，楊利斌，等.基于最小二乘支持向量回歸的混沌時間序列預測研究［J］.海軍航空工程學院學報，2009，24（3）：283-288.

［6］ 翟永杰，王子杰，黃寶還，等.基于PSO優化的SMO算法研究及應用［J］.華北電力大學學報，2008，35（1）：57-61.

［7］ 孫濤，李健，鄭豫，等.基于神經網絡的混沌時間序列預測［J］.成都信息工程學院學報，2008，23（2）：126-130.

［8］ 張弦，王宏力.嵌入維數自適應最小二乘支持向量機狀態時間序列預測方法［J］.航空學報，2007，31（12）：672-675.

［9］ 張淑清，賈鍵，高敏，等.混沌時間序列重構相空間參數選取研究［J］.物理學報，2010，59（3）：1576-1582.

［10］ 王朝.基于SVM的混沌時間序列預測方法研究［D］.保定：河北大學，2012：15-20.

［11］ 陳旭，劉延泉，葛建宏.基于PSO優化的LS-SVM 的混沌時間序列預測［J］.儀器儀表用戶，2009，16（1）：135-136.

［12］ 孫斌，姚海濤.基于PSO優化LSSVM 的短期風速預測［J］.電力系統保護與控制，2012，40（5）：85-89.

［13］ 朱小明，張慧斌.PSO算法的穩定性分析及算法改進［J］.計算機科學，2013，40（3）：275-278.