基于加權核函數SVR的時間序列預測

張翔

（同濟大學電子與信息工程學院，上海 201804）

0 引言

時間序列預測問題在包括經濟、工業等多個領域都有著廣泛的應用，多通過歷史數據建模，從而對未來的數據進行預測。本文將提出一個基于加權核函數SVR的算法來對時間序列進行預測。為了驗證算法的有效性，本文使用公開數據集UCR時間序列分類數據進行時間序列預測。結果表明，加權核函數SVR對時間序列具有良好的預測性能。

1 時間序列預測

針對時間序列的預測目前主要有兩種方法，第一個是統計學方法，目前最常用的模型是在AR模型和MA模型結合的ARMA模型的基礎上，提出通過使用差分序列的方法解決非平穩問題的ARIMA模型[1]。在ARIMA模型的基礎上，文獻[2]提出了結合ARMA模型和分數維差分噪聲模型（FDA）的分整自回歸移動平均模型（ARFIMA）。這一模型對于長短期時間數據都有一定的表達能力。

第二個就是機器學習的方法，隨著人工神經網絡（ANN）被提出，研究者們發現，其對復雜環境數據的表達能力非常強，所以提出通過ANN對時間序列進行預測[3]。例如，文獻[4]利用回歸神經網絡進行外匯和交易誤差的修正，而回聲狀態網絡[5]被用來實現股票數據挖掘。文獻[6-7]通過SVM對金融時間序列進行預測對金融時間序列以及股票進行了預測，并證明了其有效性。

SVM[8]自從被Vapnik提出來就表現出了優秀的計算效果。SVM被用于回歸問題的模型被稱作支持向量回歸（SVR），在解決非線性問題時可以將其轉換為高維空間中的線性問題，通過核函數的計算代替高維空間的復雜計算，是一個非常有效的方法。

2 加權核函數SVR算法

SVM模型即為在高維空間中計算得到一個超平面來對樣本點進行區分。對于線性可分的問題，SVM的分類超平面公式可以表示為：

分類超平面為了在盡量多的數據上保持分類效果，就必須使訓練集的分類間隔最大化，這也是SVM的核心思想。目標函數計算公式為：

其中w=(w1,w2,…,wd)為法向量，可以決定了超平面的形狀；b為差異量，可以決定超平面的位置。

SVR的概念是SVM用于解決回歸問題時提出的模型。在SVM中，只有f（x）和y完全相同時，認為成立。而SVR使用了?不敏感損失函數，只要f（x）和y的誤差在?之內就認為是無損失的，當誤差絕對值大于?時，計算其損失減去?。目前SVR被認為是解決機器學習回歸問題的有效方法。

SVR的問題可以形式化為公式（4）。

其中，C為正則化常數，l?為?不敏感損失函數，l?計算公式如公式（5）。

引入松弛變量 ξi和 ξi，公式（5）可重寫為公式（6）。

本文提出一種基于加權SVR的時間序列預測方法，一般的機器學習加權方法都是對于樣本的重要程度進行加權，但是對于一條時間序列而言，經過滑動窗口劃分獲取數據集，每一個樣本之間不存在重要程度的差別，而對每一個樣本，時間點的遠近對回歸結果有較大的影響，所以更適合使用對特征進行不同權重的計算。

加權核函數的定義為：

P為給定輸入特征空間的n階矩陣。我們針對不同特征賦予不同權值，這種情況下，P即為對角矩陣。所以加權核函數定義如下式：

（1）加權線性核函數：

（2）加權多項式核函數：

（3）加權高斯徑向基核函數：

核函數通過非線性特征的映射的方法，將特征空間中的非線性特征轉換為線性特征，同時降低運算難度。P為線性特征映射，用來對線性特征的維度進行縮放，不改變特征的線性特性。

本文運用CART算法來計算每個特征的加權權重。CART算法的主體是對基尼指數的計算。基尼指數是一個樣本被分類分錯的概率。針對一個特征的屬于一個狀態中的所有樣本在分類時歸屬類別少時（甚至只屬于一個類別），基尼指數最小，此時特征區分能力越強。通過計算決策樹節點分支前后基尼指數變化差值來計算該特征重要性。特征個數為c，基尼指數計算公式如公式（11）：

m為決策樹中的某一個節點，K為最終分類個數，Pmk為節點m中類別K樣本所占比例。特征j在節點m的重要性計算方式為該節點分枝前的基尼指數前去分枝后左右子節點基尼指數，計算公式如式（12）。

GIl和GIr分別為分支后左右子節點基尼指數。然后針對整個隨機森林，統計特征j在第i棵決策樹的特征重要性，計算公式如式（13）。

最后計算n個決策樹對于特征j的重要性之和，即為特征重要性。但是在應用時需要對每個特征重要性進行歸一化，使其表示為每個特征對決策的影響，計算公式如式（14）。

所有特征的特征重要性組成一個對角矩陣，成為SVR核函數加權的矩陣。

3 實驗分析

實驗數據采用UCR時間序列分類數據集[9]，該數據集含有八十余個時間序列數據，目前有超過一千篇時間序列預測相關論文使用該數據集進行實驗，該數據集是目前時間序列預測實驗的基本數據集。我們從中抽取了10份時間序列數據用于時間序列預測相關實驗。數據集如表1所示。于時間序列預測是針對兩條相關序列的誤差進行判斷，所以我們使用對均方根誤差（Root Mean Squared Error，RMSE）和平均絕對百分比誤差（Mean Absolute Percent Error，MAPE）來進行評估。

表1 UCR時間序列分類數據集

均方根誤差是真實值和預測值偏差的平方和觀測次數比值的平方根。均方根誤差表示的是真實值和預測值之間的偏差，代表了時間序列的絕對誤差。平均絕對百分比誤差是真實值和預測值偏差除以真實值的百分比，是誤差和真實值之間的比值，代表了時間序列的百分比誤差。預測的誤差越小，代表預測越準確。

本文使用兩組實驗，分別為對三種不同加權核函數效果進行對比，加權核函數SVR和不加權核函數SVR的效果對比，驗證了模型的有效性。

首先使用線性核函數、多項式核函數和高斯徑向基核函數對加權SVR的效果進行評估，分別計算其RMSE和MAPE。實驗結果如表2和表3所示。

表2 不同加權核函數RMSE

表3 不同加權核函數MAPE

表中加粗數級即為該行最小值。由表2和表3可以看出，線性核函數和高斯徑向基核函數的RMSE和MAPE均小于多項式核函數。對于所有數據計算得到，線性核函數的RMSE和MAPE平均值分別為0.3542和 0.8277，高斯徑向基核函數的 RMSE和MAPE平均值分別為0.2118和0.3597。

線性核函數對于所有數據集預測結果的RMSE最優誤差有5個，MAPE最有誤差有7個，但線性核函數的兩個平均誤差均大于高斯徑向基核函數，這表示線性核函數雖然對較多數據集有最優效果，但是在個別數據集效果極差，所以高斯徑向基核函數的平均性能最優，對于多種數據的平均擬合情況最好。

可以看出線性核函數和高斯徑向基核函數的加權SVR表現出較好的預測效果，我們再比較兩個核函數對于不加權SVR的效果。表4和表5分別為不加權核函數SVR的RMSE和MAPE。

表4 不加權核函數的RMSE

表5 不加權核函數MAPE

對加權和不加權的兩種方法的線性核函數對比作圖。為方便查看不同數據集數據，將數據歸一化，不加權兩個誤差歸一到1，加權誤差等比例縮放。如圖1。

圖1 線性核函數SVR和不加權線性核函數SVR誤差對比圖

對加權和不加權的兩種方法的高斯徑向基核函數對比作圖。作圖方法同上。如圖2。

圖2 高斯徑向基核函數SVR和不加權高斯徑向基核函數SVR誤差對比圖

由圖1和圖2可明顯看出兩個核函數加權方法對時間序列預測效果不同程度的提高。

4 結語

本文介紹了一種基于加權核函數SVR的時間序列預測的方法，通過隨機森林CART的特征重要性計算方法對特征賦予權值，這樣在時間序列預測時可以對不同時間段有不同的側重，這樣改變特征維度的廣度變化，從而影響預測結果。可以由以上實驗看出，該方法在SVR的基礎上有一定的提升。