支持向量回歸機預測誤差校正方法

陳 君，彭小奇，唐秀明，宋彥坡，劉 征

（1.中南大學信息科學與工程學院，湖南長沙410083；2.湖南第一師范學院信息科學與工程系，湖南長沙410205；3.湖南科技大學信息與電氣工程學院，湖南湘潭411201）

支持向量回歸機預測誤差校正方法

陳 君1，3，彭小奇1，2，唐秀明3，宋彥坡1，劉 征1

（1.中南大學信息科學與工程學院，湖南長沙410083；2.湖南第一師范學院信息科學與工程系，湖南長沙410205；3.湖南科技大學信息與電氣工程學院，湖南湘潭411201）

針對傳統的ε-不敏感支持向量回歸機（ε-insensitive support vector regression，ε-SVR）未充分考慮局部支持向量對回歸預測結果的影響，不利于提高回歸預測精度的問題，提出了一種ε-SVR預測誤差校正方法。該方法以期望預測值與ε-SVR回歸預測值及局部支持向量間的歐氏距離和最小為目標函數，以ε不敏感損失帶（ε-tube）寬度為約束條件，通過利用高維特征空間中ε-tube邊界上和邊界外的局部支持向量對ε-SVR的回歸預測值進行誤差校正。利用人工產生的不同分布數據集和UCI數據集進行的仿真結果表明，與傳統的ε-SVR相比，該文方法具有更高的預測精度和更強的泛化能力。

支持向量回歸機；誤差校正；預測精度；泛化能力

0 引 言

Cortes和Vapnik基于VC維理論和結構風險最小化原則于20世紀90年代提出的支持向量機［1］，因具有稀疏性、全局優化、泛化能力強等優點而得到廣泛研究與應用［2－4］，其中的ε-不敏感支持向量回歸機（ε-insensitive support vector regression，ε-SVR）主要用于時間序列觀測和過程控制、優化等［5－7］。傳統的ε-SVR在高維特征空間所尋找的ε-tube寬度固定、結構對稱［1］，而實際的數據樣本分布不可避免地存在不等性方差或呈現出某種局部變化趨勢，導致ε-SVR的輸出出現程度不等的誤差。同時，求取ε－SVR前所確定的ε值在訓練過程中是固定不變的，其取值主要根據經驗來確定：當ε增大時，相應的解呈現出稀疏性，回歸曲線更加平滑；當ε減小時，更多的樣本成為支持向量（support vector，SV），可能產生過擬合現象；若采用交叉驗證法來確定ε值，則其計算復雜性和計算成本將顯著增加。為此，文獻［8］提出了一種通過引入參數ν來控制支持向量數目和訓練誤差的支持向量機ν-SVR，當處理帶有不等性方差的數據樣本時，ν-SVR通過假設ε-SVR中存在一個變形ε-tube并使用隨機參數模型估計ε帶的寬度，但該文獻未指出如何得到。文獻［9］提出把ε-tube分成上邊界和下邊界兩個部分，通過對樣本數據的分布進行估計來確定上、下邊界，但這種估計需要額外的估計算法。文獻［10］針對樣本分布的局部變化趨勢，提出了一種邊界自適應的局部化SVR，因其要對每個訓練樣本進行處理而增加了計算的時間復雜性。文獻［11］提出在ε-SVR的基礎上分別給出參數化的上、下邊界函數，但邊界函數的求解難度較大，文獻［12］在ε-SVR框架下考慮樣本之間的相關性和樣本密度，提出解決小樣本初始訓練數據的多標準主動學習方法的SVR。文獻［13－15］提出的孿生支持向量回歸機（twin support vector regression，TSVR）把ε-SVR問題轉化為求上、下邊界超平面函數的兩個優化問題，但其解不具有稀疏性。文獻［16］提出同時求解函數和其微分的TSVR方法，以改善TSVR的估計精度和運算時間的復雜性。

以上文獻主要從ε-不敏感損失函數（ε-insensitive loss function，ε-ILF）和ε-tube邊界兩個角度對樣本數據分布進行估計，希望通過調整ε-tube邊界來體現樣本數據的分布特性，卻使ε-SVR的優化問題變得更復雜更難理解。特別是將非線性引入核函數后，因核參數的不同所引起的高維特征空間數據分布難以估計，使上述方法的應用存在較大難度。為此，本文提出一種利用局部SV對傳統的ε-SVR的預測結果進行誤差校正的方法，該方法以校正向量到全局預測向量和局部支持向量的歐氏距離和最小為目標函數，ε-tube寬度為約束，對全局支持向量機的輸出進行誤差校正。仿真結果表明，本文方法在保持傳統的ε-SVR原有優越特性的同時，可有效減少預測誤差，提高其泛化性能。

1 ε-SVR特性分析

1.1 ε-SVR簡述

設按某個未知概率分布P（x，y）構成的訓練集T＝｛（x1，y1），…，（xl，yl）｝∈（X×Y），輸入矢量xi∈X＝Rn，輸出yi∈Y＝R（i＝1，2，…，l），l為樣本數。在函數類集合F中，尋求一個最優化決策函數f（x）＝（wx）＋b，其中，w∈Rn為權向量，b∈R為閾值。根據結構風險最小化原則，應使期望風險R［f（x）］＝∫c（x，y，f（x））dP（x，y）為極小，其中，c（x，y，f（x））是圖1所示的ε-不敏感損失函數：

ε是預先選定的一個正數。當xi點的觀測值yi與回歸函數f（x）的預測值f（xi）之差不超過ε時，則認為在xi點的預測值f（xi）是無損失的。從圖1可見，ε-不敏感損失函數具有寬度ε固定和結構對稱性，因此，傳統的ε-SVR不能很好地描述存在不等性方差或局部變化趨勢的數據樣本集。

圖1 ε-不敏感損失函數

對于非線性回歸問題，引入一個映射函數φ（x）將低維空間Rn中的非線性輸入樣本xi映射到線性可分的高維特征空間φ（xi）中，在此特征空間中建立相應的線性回歸模型來進行輸出預測。

非線性ε-SVR原始優化問題可表示為

式中，C＞0為懲罰參數，通過控制對錯分樣本的懲罰程度實現錯分樣本數與模型復雜性之間的折衷；ξ和ξ＊為松弛變量，用于提高f（x）的預測精度。對應的Lagrange函數為

式中，αi，α＊i，ηi，η＊i為非負拉格朗日乘子。據KKT條件，其對偶最優化問題為

式中，K（xi，xj）＝〈φ（xi），φ（xj）〉為滿足Mercer定理的核函數。求解上式得非線性回歸函數：

不同時為零的αi，α＊i所對應的樣本即為SV。

1.2 ε-SVR的邊界特性分析

ε-SVR的ε-tube空間特性如圖2、圖3所示。若樣本點（xi，yi）在ε-tube的內部，則ξ＊i＝ξi＝0，由式（2）給出的條件知：

圖2 單變量線性ε-tube空間特性

圖3 高維線性特征空間中ε-tube的空間特性

據KKT互補條件，由式（3）可得

聯解式（7）～式（10）可得α＊i＝αi＝0，即位于ε-tube內的樣本點（xi，yi）對決策回歸函數式（5）沒有貢獻。

若樣本點（xi，yi）在ε-tube的邊界上，則由圖2、圖3可知ξ＊i＝ξi＝0，當（（wφ（xi））＋b）－yi＝ε＋ξ＊i時，有ε＋ξ＊i＋yi－（wφ（xi））－b＝2ε，故由式（9）～式（11）知，此時α＊i＝0，αi∈（0，C／l）。同理，當αi＝0時，α＊i∈（0，C／l）。

若樣本點（xi，yi）在ε的邊界外時，ξ＊i≠0，據式（9）、式（12）有α＊i＝C／l，αi＝0。同理，當ξi≠0時，αi＝C／l，α＊i＝0。

由上述分析可知：

（1）若樣本點（xi，yi）在ε-tube的內部，則α＊i＝αi＝0；

（2）若樣本點（xi，yi）在ε-tube的邊界上或外部，則αi，α＊i兩者不同時為0。

由此可見，ε-SVR的訓練誤差主要由邊界外的訓練樣本產生。單變量線性ε-SVR的ε-tube空間特性如圖2所示：當樣本點（xi，yi）位于兩虛線之間的ε-tube內時，可認為該點沒有誤差；當樣本點（x－，y－）位于ε-tube之外時，才有誤差出現，其大小為ε－｜y－－f（x－）｜。顯然，為得到預測誤差小、泛化性能好的ε-SVR，需要尋找更平滑和緊致的ε-tube去擬合數據樣本的分布輪廓。

2 ε-SVR的預測誤差校正方法

2.1 ε-SVR的預測誤差校正原理

傳統的ε-SVR的ε-tube具有寬度固定和結構對稱性，如圖3所示。在高維線性特征空間，輸入矢量xf通過決策函數式（5）可得到輸出yf。根據統計模型的局部回歸擬合特性［17］，在高維特征空間中的理想回歸向量（φ（xf），ycf）應在ε-tube約束下，由ε-SVR所得預測向量（φ（xf），yf）向超平面γ和超平面δ所確定的區域內的局部支持向量（φ（xsv1），ysv1），（φ（xsv2），ysv2）偏移，即理想的回歸向量（φ（xf），ycf）應由全局SV和（φ（xf），yf）所在區域的局部SV共同決定。

從對ε-SVR的邊界特性的分析可知，在ε-tube邊界外的SV是產生ε-SVR訓練誤差的主要原因，由此所產生的訓練誤差最終將影響由決策函數式（5）獲得的期望預測值。距離期望預測向量越遠的SV對預測值的貢獻越小，距離期望預測向量越近的SV對預測值的貢獻越大。為此，特征空間中一點的范式為用歐幾里得距離度量SV與預測向量之間的距離：

式中，（φ（xsv），ysv）是高維特征空間中的SV，（φ（xf），yf）是高維特征空間中的預測向量。

在高維特征空間中，據文獻［11］ε-tube邊界外局部多SV表征了局部數據分布的趨勢，采用期望預測向量到各SV點之間的歐氏距離和最小為目標函數，能使期望預測向量有效地往多SV區域移動，達到減少誤差的目的。本文以（φ（xf），yf）為球心做超球，超球包含距（φ（xf），yf）最近的K個支持向量（φ（xsvi），ysvi），i＝1，2，…，k，所得特征空間中的向量關系如圖4所示，由此構成局部支持向量包裹集合Ω＝｛（φ（xf），yf），（φ（xsvi），ysvi），i＝1，…，k｝。理想的預測向量（φ（xf），ycf）應位于以（φ（xf），yf）為球心、半徑為ε的超球內，且到（φ（xf），yf）和局部支持向量（φ（xsvi），ysvi）的歐氏距離之和最小，即

求解式（14）的約束優化問題可得經過校正后的預測值ycf。

因為映射函數φ（x）之間的距離，通過核函數K（xi，xj）＝〈φ（xi），φ（xj）〉來實現，故

圖4 高維空間局部支持向量對ε-SVR預測值的影響

2.2 ε-SVR的預測誤差校正步驟

ε-SVR的預測誤差校正步驟如下：

步驟1 針對訓練數據集T，據經驗選擇合適的ε-SVR的ε參數，通過交叉驗證求取核參數和正則化系數C；

步驟2 利用訓練樣本求解式（4）所描述的優化問題，得到ε-SVR決策函數式（5）；

步驟3 找出全部SV，建立全局SV集合Ωsv；

步驟4 對輸入矢量xf，由決策函數式（5）計算其預測值yf，得到高維特征空間中的非顯現向量點（φ（xf），yf）；

步驟5 在高維特征空間的全局SV集合Ωsv中，對非顯現向量點（φ（xf），yf）使用K近鄰方法找到其K個近鄰SV，構成局部SV包裹集合Ω，近鄰SV到向量點（φ（xf），yf）的歐氏距離應小于等于2ε，否則應減少K值，即減少校正用局部支持向量；

步驟6 求解（14）式所描述的優化問題，得到經過誤差校正后的預測值ycf。

3 實驗測試與結果分析

3.1 數據描述

為比較本文方法與傳統的ε-SVR的性能，構造了具有不同分布特性的兩組人工數據集Data1和Data2，并從常用的UCI機器學習數據庫（http：∥archive.ics.uci.edu／ml／datasets.html）中選用了5種有代表性的用于測試回歸性能的數據集，數據取值全部歸一化到［－1，1］之間，其具體描述如表1所示，其中訓練樣本從數據集隨機選取，為有效的檢驗本文方法的泛化能力，測試樣本從剩余樣本中隨機選取。

利用Matlab 7.11.1對本文方法進行仿真測試，所有實驗均在一臺Intel Core（TM）Duo 2.26GHz，2GB內存的PC機上進行，核函數選用被廣泛使用，及經驗證明有效的式（16）所示的高斯徑向基核函數，并利用Libsvm［18］求解支持向量機。

采用均方根誤差（root mean square error，RMSE）來衡量擬合效果［19］：

采用平方相關系數（squared correlation coefficient，SCC）來衡量泛化性能［20－21］。

式中，n為測試樣本個數；yti表示第i個樣本的目標值（觀測值）；ypi表示第i個樣本的預測值；和分別表示yt和 yp的平均值。

表1 標準數據集的構成特點

通過在回歸問題中有代表性的測試函數sinc（x）中疊加不同的隨機數來生成人工數據集（xi，yi），i＝1，…，l。sinc（x）函數定義為

式中，N（a，b）表示正態分布，a為均值，b為標準偏差；U（c，d）表示均勻分布，c為其最小值，d為其最大值。

3.2 結果分析

對表1所列數據集和人工數據集Data1和Data2，對傳統的ε-SVR方法，通過交叉驗證法進行參數優化后，得到在最優化核參數和正則化系數C下本文方法與傳統的ε-SVR，TSVR［13］對測試樣本的擬合精度和泛化性能如表2所示。在ε取值不變，即支持向量點不變的情況下，對同樣的測試數據，本文方法的均方根誤差均有不同程度的降低，且平方相關系數均有不同程度的提高，表明本文方法的擬合精度較高、泛化能力較強，能有效降低回歸預測誤差，提高ε-SVR的泛化能力。

表2 本文方法與ε-SVR、TSVR的性能比較

4 結 論

本文提出了一種ε-SVR回歸機預測誤差校正方法。該方法以理想預測值與ε-SVR回歸預測值及局部支持向量間的歐氏距離最小為目標函數，以ε-tube寬度為約束條件，通過利用高維特征空間中ε-tube邊界上和邊界外的局部支持向量對ε-SVR的回歸預測值進行誤差校正，以減小ε-SVR的預測誤差，提高其預測精度及泛化能力。

仿真實驗表明，與傳統的ε-SVR，TSVR相比，本文方法具有更高的預測精度和更強的泛化能力。

［1］Vapnik V.The nature of statistical learning theory［M］.New York：Springer，2000.

［2］Demir B，Bruzzone L.A multiple criteria active learning method for support vector regression［J］.Pattern Recognition，2014，47（7）：2558－2567.

［3］Chen J D，Pan F.Online support vector regression-based nonlinear model predictive control［J］.Control and Decision，2014，29（3）：460－464.（陳進東，潘豐.基于在線支持向量回歸的非線性模型預測控制方法［J］.控制與決策，2014，29（3）：460－464.）

［4］Song Y P，Peng X Q，Hu Z K.Meta parameters optimization method for support vector regression［J］.Systems Engineering and Electronics，2010，32（10）：2238－2242.（宋彥坡，彭小奇，胡志坤.支持向量回歸機元參數優化方法［J］.系統工程與電子技術，2010，32（10）：2238－2242.）

［5］Smola A J，Sch?lkopf B.A tutorial on support vector regression［J］.Statistics and Computing，2004，14（3）：199－222.

［6］Wang J K，Qiao F，Li G C，et al.ε-SVR-based predictive models of energy consumption and performance for sintering［J］.Applied Mechanics and Materials，2014，548：1905－1910.

［7］LüY，Gan Z.Robustε-support vector regression［J］.Mathematical Problems in Engineering，2014，2014：1－5.

［8］Sch?lkopf B，Smola A J，Williamson R C，et al.New support vector algorithms［J］.Neural Computation，2000，12（5）：1207－1245.

［9］Hao P Y.New support vector algorithms with parametric insensitive margin model［J］.Neural Networks，2010，23（1）：60－73.

［10］Yang H，Huang K，King I，et al.Localized support vector regression for time series prediction［J］.Neurocomputing，2009，72（10）：2659－2669.

［11］Chen X，Yang J，Liang J.A flexible support vector machine for regression［J］.Neural Computing and Applications，2012，21（8）：2005－2013.

［12］Demir B，Bruzzone L.A multiple criteria active learning meth-od for support vector regression［J］.Pattern Recognition，2014，47（7）：2558－2567.

［13］Peng X.TSVR：an efficient twin support vector machine for regression［J］.Neural Networks，2010，23（3）：365－372.

［14］Tian Y J，Qi Z Q.Review on：twin support vector machines［J］.Annals of Data Science，2014，1（2）：253－277.

［15］Chen X，Yang J，Chen L.An improved robust and sparse twin support vector regression via linear programming［J］.Soft Computing，2014，18（12）：2335－2348.

［16］Khemchandani R，Karpatne A，Chandra S.Twin support vector regression for the simultaneous learning of a function and its derivatives［J］.International Journal of Machine Learning and Cybernetics，2013，4（1）：51－63.

［17］Amberg M，Lüthi M，Vetter T.Local regression based statistical model fitting［M］.Berlin：Springer，2010：452－461.

［18］Chang C C，Lin C J.LIBSVM：a library for support vector machines［J］.ACM Trans.on Intelligent Systems and Technology，2011，2（3）：1－27.

［19］Goyal M K，Bharti B，Quilty J，et al.Modeling of daily pan evaporation in sub tropical climates using ANN，LS-SVR，Fuzzy Logic，and ANFIS［J］.Expert Systems with Applications，2014，41（11）：5267－5276.

［20］Ni Y Q，Hua X G，Fan K Q，et al.Correlating modal properties with temperature using long-term monitoring data and support vector machine technique［J］.Engineering Structures，2005，27（12）：1762－1773.

［21］Mo Y.Applications of SVR to the aveiro discretization method［EB／OL］.［2014－08－01］.http：∥link.springer.com／article／10.1007／s00500－014－1379－51fulltext.html.

Error correction method for support vector regression

CHEN Jun1，3，PENG Xiao-qi1，2，TANG Xiu-ming3，SONG Yan-po1，LIU Zheng1
（1.School of Information Science and Engineering，Central South University，Changsha 410083，China；2.Department of Information Science and Engineering，Hunan First Normal University，Changsha 410205，China；3.Institute of Information and Electrical Engineering，Hunan University of Science and Technology，Xiangtan 411201，China）

The influence of the local support vector on the prediction results is not fully considered in the traditionalε-insensitive support vector regression（ε-SVR），which is not conducive to improve the predictive accuracy of regression problems.An error correction method is proposed forε-SVR，in which the minimum sum of Euclidean distances between ideal values andε-SVR regression values and local support vectors are taken as the objective function，and the width ofε-insensitive loss tube（ε-tube）is taken as constraint to correct the error in terms of local support vector on and out of theε-tube boundary in high dimensional feature space.Simulation using artificial datasets with different distributed and UCI benchmark data sets shows that the proposed method has higher prediction and generalization performance.

support vector regression（SVR）；error correction；prediction accuracy；generalization

TP 181

A

10.3969／j.issn.1001-506X.2015.08.18

陳 君（1977－），男，講師，博士研究生，主要研究方向為智能決策、工業過程優化決策。

E-mail：97chenjun＠163.com

彭小奇（1962－），男，教授，博士，博士研究生導師，主要研究方向為系統建模、智能決策、工業過程優化決策。

E-mail：pengxq＠csu.edu.cn

唐秀明（1977－），女，講師，博士研究生，主要研究方向為智能決策、電力系統負荷建模。

E-mail：tangxm2873＠sina.com

宋彥坡（1979－），男，副教授，博士，主要研究方向為智能決策、工業過程優化決策支持。

E-mail：songyanpo＠csu.edu.cn

劉 征（1979－），女，博士研究生，主要研究方向為工業過程優化決策與控制。

E-mail：liuzhenglady＠163.com

1001－506X201508－1832－05

網址：www.sys－ele.com

2014－08－08；

2014－12－29；網絡優先出版日期：2015－03－17。

網絡優先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150317.1123.006.html

國家自然科學創新研究群體科學基金項目（61321003）；國家自然科學基金重點項目（61134006）；國家自然科學基金面上項目（61273169）；國家自然科學基金青年項目（61105080）；湖南省教育廳高等學校科研項目（13A016）；湘潭市科技計劃項目（NY20141006）資助課題