高斯噪聲特性區間ν -支持向量回歸機

張仕光,周婷,劉超,李源

(1.河南師范大學 計算機與信息工程學院,河南 新鄉 453007;2.河南師范大學 國有資產管理處,河南 新鄉 453007)

0 引言

支持向量回歸模型已成功應用于風電場調度中的風速/風功率預報、金融領域中的股票預測等諸多領域,并吸引了人們的廣泛關注[1-5]。設給定訓練集Dl={(x1,y1),(x2,y2),…,(xl,yl)},其中xi=(xi1,xi2,…,xiL)∈RL,yi∈R(i=1,2,…,l),l為樣本數量。假定Dl是某概率分布P(x,y)上選取的獨立同分布的樣本,給定損失函數為c(x,y,f(x))。

Vapnik、Cortes[1-2]提出ε-不敏感損失函數:

c(x,y,f(x))=|y-f(x)|ε,

(1)

Pν-SVR:s.t.ωT·φ(xi)+b-yi≤ε+ξi

(2)

在實際應用中,很多經典的確定性模型和算法都假定數據中存在高斯誤差特性來進行建模。2010年Wu等[8-9]提出基于Gaussian噪聲影響的ν-支持向量回歸模型(ν-support vector regression machine for Gaussian noise,簡記為GN-SVR),并利用遺傳算法和粒子群優化算法進行了求解。其原問題為:

(3)

(4)

f(x)=ωT·φ(x)+b=

(5)

在實際應用領域中,若數據中存在高斯噪聲特性,則利用模型GN-SVR可得到精確的預報值。但在某些領域,如風電場調度中的風速/風功率預報[10-15]、金融領域中的股票預測需要預報某個目標值的區間值[16],模型GN-SVR不能有效解決上述問題。

為了解決上述問題,本文在Gaussian噪聲ν-支持向量回歸模型的基礎上,利用區間數方法研究了基于不等式約束的Gaussian噪聲特性區間ν-支持向量回歸模型。

1 Gaussian噪聲特性區間ν-支持向量回歸機

1.1 基本概念

首先引進區間數、區間數的二元關系運算等相關概念。

定義1[17-18]區間數(ai,Δai):設R為實數域,ai∈R為中心,Δai≥0為半徑,區間數A=(ai,Δai)為:

A=(ai,Δai)=[ai-Δai,ai+Δai],

其中ai-Δai稱為區間數A的左邊界,ai+Δai稱為其右邊界。若區間數A的左邊界等于其右邊界,即Δai=0,定義區間數A為點區間。R上所有區間數的集合,記為I(R)。

定義2[18-19]設區間數A,B∈I(R),定義I(R)上的二元關系運算為:

A+B=(ai+bi,Δai+Δbi),

λA=(λai,|λ|Δai),?λ∈R,

A-B=(ai-Δai-bi-

Δbi,ai+Δai-bi+Δbi)。

1.2 基于不等式約束的Gaussian噪聲特性區間ν-支持向量回歸機

設給定包含區間值的訓練集

Tl={(X1,Y1),(X2,Y2),…,(Xl,Yl)}

(6)

基于不等式約束的Gaussian噪聲特性區間ν-支持向量回歸機(Intervalν-support vector regression model of Gaussian noise characteristics with the inequality constraints,簡記為GNI-SVR)的原問題可描述為:

(7)

PGNI-SVR:s.t.

命題1基于不等式約束Gaussian噪聲特性區間ν-支持向量回歸機原問題(7)關于ω的解存在且唯一。

定理1 基于不等式約束Gaussian噪聲特性區間ν-支持向量回歸機原問題(7)的對偶問題為:

(8)

DGNI-SVR:s.t.

其中0<ν≤1,懲罰因子C>0是常數。

證明引進Lagrange泛函L(ω,B,α,α*,ξ,ξ*,η,η*,ε)得:

(yi+Δyi)-ε-ξ1i)+

(yi-Δyi)-ε-ξ2i)+

其中Lagrange乘子α,α*,η,η*,β≥0,為求L(ω,b,α,α*,ξ,ξ*,η,η*,ε)的極小值,分別對ω,b,ξ,ξ*,ε求偏導數。由

得:

把上述極值條件代入L(ω,b,α,α*,ξ,ξ*,η,η*,ε),并對α,α*求極大值,可以得式(7)的對偶問題(8)。

令

當j∈S+,k∈S-,則

基于不等式約束的Gaussian噪聲特性區間ν-支持向量回歸機的決策函數為:

(9)

2 結論

當Δxi=0,Δyi=0時,模型GNI-SVR即為模型GN-SVR。

在風電場調度、金融領域預測中,根據數據集Tl的信息可計算得Δxi,Δyi,ρ(Δxi),利用模型GNI-SVR可得風電場調度中的風速/風功率預報、金融領域中的股票預測所需預報某個目標值的區間值。