Grid-Search和PSO優化的SVM在Shibor回歸預測中的應用研究

張劍 王波

摘 要 作為一種動態和非穩定時間序列，Shibor發展變化是隨機波動的，難以準確預測Shibor的波動性.支持向量機（SVM）在回歸預測非線性時間序列方面有很好地預測效果，SVM的預測精度和泛化能力的核心是參數的優化選擇，分別用網格搜索法（Grid-Search）和粒子群（PSO）算法來優化SVM的參數c和g.從而將參數優化后的SVM非線性回歸預測法與基于傳統ARIMA時間序列預測結果進行對比分析.實驗表明，優化后的SVM回歸預測方法比ARIMA時間序列方法更精確，在實際中具有很大的應用價值.

關鍵詞 機器學習;非線性回歸預測;支持向量機;網格搜索法;粒子群算法;Shibor

中圖分類號 F830文獻標識碼 A

Abstract As a dynamic and unsteady time series，the development of Shibor is a random fluctuation，and it is difficult to accurately predict the volatility of Shibor.Support vector machine （SVM） has a good predictive effect in the regression prediction of nonlinear time series.SVMs prediction accuracy and generalization ability are due to the optimization of parameters.Grid-search and Particle Group （PSO） algorithm were used to optimize SVM parameters cand g.The SVM nonlinear regression prediction method with parametric optimization was compared with the traditional ARIMA time series prediction results.The experiments show that SVM regression prediction method is more accurate than ARIMA time series method，and it has great application value in practice.

Key words machine learning;nonlinear regression prediction;support vector machines;grid-search algorithm;particle swarm optimization;Shibor

1 引 言

隨著近年來我國利率市場化進程的不斷加快，作為我國宏觀調控政策工具的利率，其使用的頻率也越來越高.上海銀行間同業拆放利率（Shibor）能夠及時、準確地反映出貨幣市場資金的供求關系，在貨幣市場中有著舉足輕重的地位.其變動會迅速影響和傳導我國金融市場，從而影響銀行和投資者的投資決策，準確預測預測Shibor的變化趨勢以防范利率風險顯得尤為重要.因此，Shibor的預測研究對金融風險控制和金融資產定價都具有非常重要的理論和實踐意義[1].

國內的許多學者也對Shibor的走勢進行了研究.任兆璋和彭化非（2005）構造了我國Shibor利率期限結構，建立了條件異方差自回歸GARCH以及自回歸移動平均ARIMA模型，實證分析得出ARIMA模型在隔夜Shibor利率走勢預測中效果較好[2].田敏等（2009）基于ARMA模型對Shibor進行實證分析，預測結果表明短期的Shibor預測誤差較小，預測效果較好，但隨著時間跨度的增大，模型預測的精度越來越小，預測的誤差也越來越大[3].林宇等（2016）引入了隱馬爾科夫模型，基于HMM-CARCH來預測隔夜的Shibor數據，實證結果發現HMM（2）-EGARCH模型的預測能力較好[4].以上這些學者都是基于傳統的ARIMA模型和ARCH/GARCH類模型以及這些模型的擴展模型等金融時間序列的分析方法.這些模型雖然短期預測效果較好，但還存在著一定的不足和局限性.隨著近些年來支持向量機（SVM）和人工神經網絡（ANN）等機器學習方法的快速發展與應用，其也被逐漸運用于金融時間序列數據的分析處理與預測中.謝小璐等（2012）是將小波神經網絡應用于Shibor變化趨勢的預測中，預測結果表明基于小波神經網絡構建的Shibor預測模型比傳統時間序列模型的預測效果要好[5].林慶添（2016）從人工智能的角度來預測Shibor的走勢，分別使用了BP神經網絡、小波神經網絡和布谷鳥搜索優化的小波神經網絡對隔夜Shibor進行預測分析，結果表明優化后的小波神經網絡擬合的效果更好[6].在前人研究成果的基礎上，提出一種基于SVM的回歸預測方法，并利用Grid-Search和PSO算法來優化SVM的參數c和g找到全局最優解，以提高預測精度.

2 支持向量機統計學習理論

統計學習理論所研究的是有限樣本或者小樣本條件下的統計估計和預測學習理論.SVM是基于統計學習的結構風險最小和VC維理論之上的機器學習方法，因其具有完善的理論基礎，良好的分類和預測性能而得到了學者們的廣泛研究與應用.[7-8]

2.1 線性支持向量機

最優的回歸超平面則是全部根據落在兩條邊界線上的樣本點來確定，此時的樣本點就是支持向量.所要尋找的最優回歸超平面就是使得幾何間隔最大的分離超平面，線性可分SVM最優的學習策略可表示為：

其中‖w‖是向量w的第二范數.此時目標函數是二次函數且約束函數是仿射函數，上式凸最優化學習策略問題就變為了求解凸二次規劃問題.為了求解得到線性可分支持向量機的最優解，應用拉格朗日對偶性，通過求解對偶問題得到原始問題的最優解.對偶算法如式（2）所示，這樣做的目的是可以更加簡單快捷求解原問題，與此同時還可以加入核函數的概念，從而可以運用到非線性支持向量機.

2.2 線性不可分支持向量機

2.3 非線性支持向量機與核函數

3 改進的SVM參數選擇方法

參數選擇在很大程度上會影響支持向量機回歸的準確性，關于SVM參數的優化選擇問題，到目前為止，學術界還沒有公認統一的最好方法.現在，比較常用的參數尋優的方法包括：粒子群算法、實驗法、遺傳算法、網格搜索法等.

3.1 網格搜索法和粒子群算法

網格搜索法的基本原理就是讓參數c和g在一定的取值范圍內劃分網格并遍歷網格內所有點.對于取定的c和g利用K-CV方法得到在此組c和g下訓練集的準確率，最終取使得訓練集準確率最高的那組c和g作為最佳的參數.

粒子群算法也叫鳥群覓食算法，源于復雜適應系統，它是一種啟發式算法.其基本的思想就是通過群體中個體之間的相互協作和信息共享，最終達到群體最優目的的行為.在搜索最優參數時，把尋優的c與δ看作粒子群算法中的粒子，從隨機解出發，不斷地進行迭代來求解最優解.它簡單且易實現，被廣泛應用于神經網絡的優化、參數尋優、控制系統及其他領域.

3.2 Grid-Search和PSO優化SVM的方法

網格搜索方法在參數尋優的過程中，只要是在所取的區間足夠大并且步距足夠小的情況下，就可以搜索到全局最優解.但這種方法由于懲罰系數c值過大，容易導致過擬合，模型的泛化能力不好，而且遍歷網格將會浪費大量的時間.通過對SVM非線性回歸預測原理的分析，我們可以看出參數c與g的選擇好壞將很大程度上決定Shibor預測的準確度.

基于以上分析，如果可以先確定一個比較好的參數尋優區間，接著進行精確地搜索，就能夠大大精簡計算，提高運算效率和精度.一種改進的SVM參數尋優的方法是利用Grid-Search和PSO算法來優化SVM參數.先利用網格搜索法大范圍大步距地粗略搜索，初步確定一個最優參數范圍，接著利用PSO進行小步距小范圍地精確搜索，進行二次參數尋優，避免了粒子群算法容易陷入局部最優的問題.

4 Shibor回歸預測模型的建立

4.1 樣本數據的獲取及預處理

Shibor數據利用python獲取，語法為shibor=ts.shibor_data（2016）.選取的是2016年8月10號到2017年2月17號，取前100個數據作為訓練集，后30個數據作為預測集.為了提高算法的預測準確率和收斂速度，對原始的Shibor數據進行歸一化處理，采用歸一化映射將數據歸一化到[0，1]之間，歸一化公式如下所示.

4.2模型的建立

4.3訓練結果與分析

4.4 與ARIMA時間序列預測的對比分析

5 結 論

首先闡述了準確預測作為我國貨幣市場核心利率的Shibor的重要性，分析了用于回歸預測的支持向量回歸機的理論基礎，運用LIBSVM建立了基于Grid-Search和PSO算法優化的SVM模型，提高了預測的效率和準確率.接著選取了2016年8月10日到2017年2月16日的Shibor數據作為訓練數據和測試數據.最終將參數優化后的模型得到的預測結果與傳統的金融時間序列預測結果進行對比分析.實驗結果表明，優化后的SVM非線性回歸預測比傳統時間序列預測效果要好，在金融研究中具有很好的應用價值.

參考文獻

[1] Naimzada A，Pireddu M.Real and financial interacting markets： A behavioral macro-model[J].Chaos Solitons & Fractals，2015，77（1）：111-131.

[2] 彭化非，任兆璋.中國銀行間同業拆借利率預測模型研究[J].南方金融，2005（1）：23-25.

[3] 田敏，李純青，馬雷.基于時間序列的上海銀行間同業拆放利率（Shibor）[J].寧夏大學學報（人文社會科學版），2009，31（2）：129-132.

[4] 林宇，陳粘，陳宴祥.基于HMM-EGARCH的銀行間同業拆放利率市場波動預測研究[J].系統工程理論與實踐，2016，36（3）：593-603.

[5] 謝小璐.基于小波神經網絡的Shibor預測研究[J].金融理論與實踐，2012（8）：57-60.

[6] 林慶添.基于人工智能算法的上海銀行間同業拆放利率預測[D].蘭州大學，應用統計，2016.

[7] 張學工.關于統計學習理論與支持向量機[J].自動化學報，2000（01）：36-46.

[8] 李航.統計學習方法[M].清華大學出版社，2012.

[9] 曾鳴，林磊，程文明.基于LIBSVM和時間序列的區域貨運量預測研究[J].計算機工程與應用，2013（21）：6-10.

[10] 顏曉娟，龔仁喜，張千鋒.優化遺傳算法尋優的SVM在短期風速預測中的應用[J].電力系統保護與控制，2016（09）：38-42.