一種改進(jìn)型PSO算法在SVM參數(shù)尋優(yōu)中的應(yīng)用

房樂(lè)楠，何騰鵬，劉宇紅

(貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽(yáng) 550025)

20世紀(jì)90年代，Vapnik等人首提支持向量機(jī)(Support Machine Vector，SVM)算法，該算法在小樣本、非線性和高維模式分類(lèi)中表現(xiàn)出特有的優(yōu)勢(shì)，因此得到了廣泛的應(yīng)用[1]。SVM作為一種機(jī)器學(xué)習(xí)算法的主要優(yōu)勢(shì)是泛化能力強(qiáng)，預(yù)測(cè)精度高，由于其獨(dú)特的核函數(shù)機(jī)制，對(duì)非線性問(wèn)題有著良好的逼近能力，但核函數(shù)對(duì)參數(shù)選取十分敏感，如何選取最優(yōu)參數(shù)決定了SVM分類(lèi)器的性能，針對(duì)SVM算法參數(shù)尋優(yōu)問(wèn)題，目前引入了諸多仿生算法如遺傳算法、粒子群(Particle Swarm Optimization，PSO)算法、蟻群算法等[2]。

本文基于對(duì)PSO算法的研究，針對(duì)PSO算法在粒子搜索過(guò)程中易陷入局部最優(yōu)的缺點(diǎn)，提出一種應(yīng)用非線性慣性權(quán)重策略并引入雙變異算子(邊緣變異算子和全局變異算子)的改進(jìn)型PSO算法，并將其應(yīng)用于SVM參數(shù)尋優(yōu)中。

1 SVM算法理論

SVM算法的主要思想是以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，可以概括為兩點(diǎn)：(1)努力結(jié)構(gòu)風(fēng)險(xiǎn)最小化，尋找最大化分類(lèi)間隔以控制VC維，并使之最小，因而具有很強(qiáng)的泛化能力；(2)引入核函數(shù)和松弛變量技術(shù)，處理樣本線性不可分問(wèn)題[3]。

SVM算法解決樣本線性不可分問(wèn)題的主要思想是：通過(guò)非線性映射將低維線性不可分樣本映射到高維特征空間，進(jìn)而在高維特征空間進(jìn)行線性分類(lèi)。假設(shè)訓(xùn)練樣本是Di=(xi,yi)其中：xi∈Rn,yi∈{-1,1},i=1,2,3…m,定義一個(gè)樣本點(diǎn)到超平面的距離：

L=y1[(wx1+b)]

(1)

SVM分類(lèi)可表示為：

f(x)=sgn[∑wφ(x)+b]

(2)

其中，sgn(·)是符號(hào)函數(shù),w∈Rn,b∈R。

在高維空間進(jìn)行線性分類(lèi)是一個(gè)尋找最大化幾何間隔的過(guò)程，其數(shù)學(xué)實(shí)質(zhì)是求解凸優(yōu)化問(wèn)題[4]，即