基于ＰＳＯ優化的ＳＶＭ預測應用研究
2009-01-01 00:00:00任洪娥霍滿冬
計算機應用研究 2009年3期
（東北林業大學 信息與計算機工程學院， 哈爾濱 150040）
摘 要：支持向量機參數對支持向量機的性能有著重要影響，參數選擇問題是支持向量機的重要研究內容。針對此問題，提出一種基于粒子群優化算法的支持向量機參數選擇方法。實驗結果表明，經粒子群優化算法優化的支持向量機回歸模型具有較高的預測精度，粒子群優化算法是選取支持向量機參數的有效方法。
關鍵詞：支持向量機； 粒子群優化算法； 握釘力； 預測
中圖分類號：TP181 文獻標志碼：A
文章編號：10013695(2009)03086703
Support vector machine optimized by particle swarm optimization algorithm
for holding nail force forecasting
REN Honge， HUO Mandong
（College of Information Computer Engineering， Northeast Forestry University， Harbin 150040， China）
Abstract:In the parameters of support vector machine(SVM) have important effect to SVM performance. The parameters selection is the important research content of the SVM. To this problem， this paper proposed one kind of method to choose the parameters of the SVM by particle swarm optimization algorithm(PSO). The experiment result indicates the SVM regression model optimized by PSO have high forecast accuracy， and PSO is one kind of effective method for SVM parameters choosing.
Key words：SVM(support vector machine)； PSO(particle swarm optimization algorithm)； holding nail force； forecast
0 引言
微米木纖維模壓加工過程是一個高度復雜的過程，其運行機制往往具有非線性、時滯、高維等特性，其模壓產品具有較高的密度，可以用于產品深加工和裝飾裝潢，具有較高的應用價值[1]。握釘力是衡量材料物理性能的一個重要指標。當材料使用螺釘相連接時，握釘力大小就更為重要。傳統的測試方法不但需要人工檢測，而且會破壞試件。因此，尋找一種快速且不破壞試件的預測方法是微米木纖維模壓加工研究的重要課題。
以傳統的統計學為基礎所提出的各種預測方法，都是在樣本數趨于無窮大時其性能才有理論上的保證。而在多數實際情況中，樣本數目是有限的，甚至是很少的。因此，這些方法都難以取得理想的效果。與傳統的統計學相比，Vapnik等人創立的統計學習理論(statistical learning theory， SLT) 是一種專門研究在小樣本情況下機器學習規律的理論，為有限樣本的機器學習問題提供了一個統一的框架[2]。SVM是Vapnik于1995年提出的一種基于統計學習理論的機器學習方法。它以結構風險最小化原則為理論基礎，引入核函數方法，將原始問題映射到高維空間，把待求解問題轉換為二次優化問題，使SVM收斂于問題的全局最優解[3]。SVM方法最早是針對模式識別問題而提出來的[4]。隨著Vapnik引入ε不敏感損失函數，將SVM推廣到函數回歸估計方面，并展現了極好的學習性能[5]。
SVM的參數選擇問題一直沒有得到解決，嚴重地限制了SVM的進一步應用。為此，本文提出了用PSO與SVM相結合，用PSO搜索SVM的參數，從而達到優化預測模型的目的。用該方法建立了最小二乘支持向量機(least square support vector machine， LSSVM)預測模型。將該模型應用于換擋桿手柄握釘力的預測。
1 LSSVM及PSO
1.1 LSSVM原理
LSSVM是Suykens等人[6]基于正則化理論提出的一種SVM算法，其在標準SVM優化問題中引入平方項，在優化目標中選取ξ的二范數作為損失函數，將不等式約束條件變為等式約束條件。LSSVM用最小二乘線性系統作為損失函數，將經典的二次規劃尋優問題轉換為線性方程組的求解，極大地降低了SVM的計算復雜度，提高了SVM的求解效率，降低了SVM的學習難度，具有較快的運算速度。
對于非線性回歸問題，設學習集為
（xi，yi);xi∈Rn;yi∈R;i=1，…，l
其中：xi為輸入；yi為輸出。函數估計問題可以描述為求解下面問題：
min J(w，e)=1/2‖w‖2+γ∑li=1e2i(1)
約束條件：
yi=w×φ(xi)+b+ei；i=1，2，…，l
其中：φ(x)是核空間映射函數；w是權向量；b是偏差量；誤差變量ei∈R；γ為超參數。式(1)的Lagrange函數為
L(w，b，e，α)=J(w，e)-∑li=1αi{wTφ(xi)+b+ei-yi}(2)
其中：αi為Lagrange乘子。
分別對式(2)中的w、b、e、α求導可得
L/w=w-∑li=1αiφ(xi)=0
L/b=-∑li=1αi=0
L/ei=cei-αi=0
L/αi=w×φ(xi)+b-ei-yi=0(3)
用式(3)的結果消去w和e得到線性方程組：
01…11K(x1，x1)+1/γ…K(x1，xi)
1K(xi，x1)…K(xi，xi)+1/γ bα1αi=0y1yi(4)
其中：K(xi，xj)=φ(xi)×φ(xj)；i，j=1，2，…，l為核函數。
綜上得LSSVM回歸函數為
f(x)=∑li=1αiK(xi，x)+b(5)
其中：α和b可由式(4)求出。
1.2 PSO原理
PSO是由Kenney等人[7]于1995年提出的一種全局優化進化算法，其基本思想源于對鳥類捕食行為的模擬。PSO求解優化問題時，將每個問題的解看做搜索空間中的一只鳥，稱之為粒子。所有的粒子都有一個由待優化函數決定的適應度值，每個粒子還有一個速度決定其飛翔的方向和距離，然后粒子們就追隨當前的最優粒子在解空間中搜索。PSO初始化一群隨機粒子(隨機解)，然后通過迭代尋找最優解。在每一次迭代中，粒子通過跟蹤兩個極值來更新自己：第一個極值是粒子本身所找到的最優解，這個解稱為個體極值pbest；另一個極值是整個種群目前找到的最優解，這個極值是全局極值gbest。另外也可以不用整個種群而只是用其中一部分作為粒子的鄰居，那么在所有鄰居中的極值就是局部極值。
PSO的數學描述為：設在一個D維搜索空間中，有m個粒子組成一個群體。其中第i個粒子的位置表示為向量xi=(xi1，xi2，…，xiD），i=1，2，…，m。將xi帶入目標函數可算出其適應度值，根據適應度值的大小就可以評價出該粒子的優劣。第i個粒子的飛行速度表示為向量vi=(vi1，vi2，…，viD)，其搜索到的最優位置為pi=(pi1，pi2，…，piD)，整個粒子群搜索到的最優位置為pg=(pg1，pg2，…，pgD)。找到這兩個最優值時，每個粒子根據如下進化公式來更新自己的速度和新位置：
vi+1=wvi+c1r1(pi-xi)+c2r2(pgi-xi)(6)
xi+1=xi+vi+1(7)
其中：i=1，2，…，m；w是慣性權重函數，用來控制前面速度對當前速度的影響；c1和c2稱為加速因子，都是非負常數；r1和r2是[0，1]的隨機數。
2 PSO優化LSSVM
2.1 SVM參數作用及其選擇問題
SVM雖然能較好地解決小樣本、非線性、高維數和局部極小點等實際問題，但是也存在一些有待完善的地方，其參數(不敏感系數ε、核函數參數、懲罰因子C)的選取就是亟待完善的一個重要問題。SVM的參數對其性能有很大的影響。
ε的作用是控制函數擬合誤差的大小，從而控制支持向量的個數和泛化能力，它反映模型對輸入變量所含噪聲的敏感程度。ε選擇得大，則支持向量數量少，但回歸估計精度會降低，SVM的稀疏性大；ε選擇得小，則回歸估計精度高，但支持向量數量會增多。
核函數參數的作用是影響樣本數據在高維特征空間中分布的復雜程度。核函數參數的改變實際上是隱含地改變映射函數，從而改變樣本空間的維數。樣本空間的維數決定了能在此空間構造的線性分類面的最大VC維，也就決定了線性分類面能達到的最小經驗誤差。以RBF核為例（核函數參數是δ2），δ2越大，樣本的輸出響應區間越寬，得到的最優分類面結構風險越小，但是經驗風險會增大；δ2越小，樣本的輸出響應區間越窄，得到的最優分類面經驗風險會越小，但是結構風險會增大，而且容易造成過擬合現象，降低SVM的性能。所以，選擇合適的δ2需要在這兩者之間進行權衡。
C的作用是在確定的數據子空間中調節學習機器置信范圍和經驗風險的比例，以使學習機器具有最好的推廣能力。最優的C是根據不同的數據子空間而不同的。在確定的數據子空間中，C的取值小表示對經驗誤差的懲罰小，學習機器的復雜度小而經驗風險值較大；反之亦然。當C超過一定值時，SVM的復雜度達到了樣本空間允許的最大值。此時經驗風險和推廣能力幾乎不再變化。每個數據子空間至少存在一個最優的C，使SVM的推廣能力達到最好。
目前還沒有一個統一的方法來決定SVM參數的最佳取值，一般的選擇方法是試湊法，即通過不斷實驗來得到滿意的結果。
2.2 優化算法
為了實現SVM參數的優化選擇，首先將樣本數據分為訓練樣本集和測試樣本集兩部分。訓練樣本集用于訓練支持向量回歸機，即求解式(5)，這樣就得到支持向量回歸機模型。再將測試樣本集代入所得到的模型，就可以預測結果。
適應度函數的好壞是衡量進化算法優劣的關鍵之一。在PSOSVM算法中，每一個粒子代表SVM的一組參數，粒子所對應的適應度是該組參數下算法的性能。本文選取平均絕對誤差(mean absolute percentage error，MAPE)作為適應度函數，其形式如下：
fMAPE=1/n∑ni=1｜(yi-i)/yi｜(8)
其中：n是訓練樣本個數；yi是實際值；i是預測值；fMAPE是適應度值。
在搜索過程中，當預測誤差達到某給定值，或已到達最大迭代次數，則算法結束。PSOSVM算法如下：
a)讀入樣本集并對樣本集進行預處理。
b)PSO初始化。初始化算法參數，隨機初始化粒子并形成粒子群體，隨機生成各粒子的初始速度，將每個粒子的pbest設置為當前位置，將gbest設置為群體中最好粒子的當前位置。
c)用訓練集訓練SVM，用式(8)的適應度函數計算每一個粒子的適應度值fMAPE，根據粒子的適應度值更新Pi和Pg。若某粒子當前適應度優于pbest，則pbest被當前位置替換；若所有粒子的當前最優適應值優于gbest，則gbest被當前最優位置替換。
d)按式(6)和(7)對粒子的速度和位置進行進化。
e)如未達到算法結束條件，則返回b)；否則輸出最優解，算法結束。
算法的終止條件是達到最大迭代次數Gmax或最優解在一定迭代次數內停滯不再變化。
3 基于PSOSVM的手柄握釘力預測
3.1 預測步驟
用PSOSVM預測的步驟如下：
a)分析實驗數據，選取對待預測的指標有重要影響關系的參數，形成樣本集并對樣本集進行預處理；
b)選擇SVM類型和核函數，確定模型所需的運行參數，確定PSO算法的各運行參數，建立SVM回歸模型；
c)調用PSOSVM算法搜索SVM回歸模型的最優參數；
d)用c）中獲得的最優參數重新訓練SVM回歸機，建立回歸模型，求解回歸方程；
e）用測試樣本集進行推廣能力測試。
3.2 建立預測模型
LSSVM與傳統的SVM相比較，具有計算復雜度低、學習難度低、求解效率高、運算速度快等優點，因此，選擇LSSVM來建立回歸模型，核函數選用RBF核。這樣，SVM的參數就由核函數寬度δ2和超參數γ（相當于懲罰因子C）組成。本文在材種和膠種一定的情況下，根據工藝參數對產品性能的影響關系[8]，以加壓壓力、模具溫度、工藝時間和施膠率為輸入，手柄的握釘力為輸出，用LSSVM回歸方法來建立預測模型。因此，所建模型是一個有4輸入和1輸出的LSSVM回歸模型。模型結構如圖1所示。
模型通過對樣本集的學習，求解式(5)的回歸方程，得到回歸方程后，即可利用該方程來進行預測。建模所用的樣本集由實驗室模壓加工數據組成。對全部樣本進行歸一化預處理，將所有的數據都歸一化到[-1，1]，以消除不同量綱之間較大的差異對SVM學習速度、預測精度和推廣能力的影響。歸一化公式是
xn=[2(x-xmin)]/(xmax-xmin)-1(9)
其中：x為原始數據；xn為歸一化后的數據；xmax與xmin分別為樣本中的最大值與最小值。
3.3 實驗
從樣本集中選取65個樣本作為SVM回歸機的訓練集，另取10個樣本作為測試集。粒子群規模設為40，解空間為二維空間，分別對應γ和δ2，γ的取值為[0.01，500]，δ2的取值為[0.01，10]，最大迭代次數Gmax=500，加速因子c1=c2=2，慣性權重w設為隨進化代數從0.9線性遞減至0.4，計算公式為
w(t)=0.9-t/2Gmax(10)
實驗程序用MATLAB編制，所用的LSSVM工具箱是比利時魯汶大學電子系的LSSVM lab1.5版，PSO算法用particle swarm optimization toolbox for MATLAB實現。
經過PSO優化選擇得到的最優解是γ=168.262，δ2=4.567 21。用這兩個最優參數重新訓練LSSVM，模型的均方誤差達到了1.4107e-004。用測試集進行測試，測試結果如表1所示，測試曲線如圖2所示。
從表1和圖2可以看出，經過PSO方法優化的LSSVM預測模型，其預測的平均絕對誤差為37.35N，預測的平均相對誤差為1.692%，最大相對誤差為3.504%，相對誤差均不超過4%，實驗取得了比較理想的效果。
為了進一步比較，用相同樣本建立了BP網絡預測模型來對握釘力進行預測。圖3是用BP網絡預測結果和PSOSVM模型預測結果的比較圖。由圖3可以看出，經PSO優化的LSSVM預測模型的擬合效果好于BP網絡預測模型，這表明用PSO優化的SVM模型比BP網絡模型具有更好的預測能力。
4 結束語
在對SVM的參數性能進行分析的基礎上，本文提出了PSO算法優化的LSSVM握釘力預測模型，充分利用粒子群算法的全局搜索特性來優化LSSVM的參數，克服了SVM參數選擇的盲目性。與目前普遍應用的通過試湊等方法相比，本文的參數選擇具有更明確的理論指導。實驗結果表明，用本文提出的方法優化的LSSVM預測模型，具有良好的預測精度；同時實驗數據還表明，用該方法訓練的SVM比BP網絡預測模型具有更高的預測進度。需要指出的是，雖然從檢驗指標的數據來看，模型的預測精度比較高，但從擬合圖看來，模型的預測值與真實值之間還是存在一些差異。如何利用其他優化方法，對模型進行進一步優化，從而進一步提高其預測精度，是未來研究工作的重要內容。
參考文獻：
［1］馬巖.納微米科學與技術及在木材工業的應用前景展望[J].林業科學，2001，37(6):109113.
[2]張學工.關于統計學習理論與支持向量機[J].自動化學報，2000，26(1):2142.
[3]杜樹新，吳鐵軍.用于回歸估計的支持向量機方法[J].系統仿真學報，2003，15(11):15801585，1633.
[4]CORTES C，VAPNIK V. Support vector networks[J]. Machine Learning， 1995，20（3):273297.
[5]DRUCKER H，BURGES C J C， KAUFMAN L，et al. Support vector regression machines[C]//Proc of Advances in Neural Information Processing Systems.[S.l.]:MIT Press， 1997:155161.
[6]SUYKENS J A K，VANDEWALLE J. Least squares support vector machine classifiers[J].Neural Processing Letters，1999，9(3):293300.
[7]KENNEDY J， EBERHART R. Particle swarm optimization[C]//Proc of IEEE International Conference on Neural Networks.Piscataway:IEEE Press， 1995:19421948.
[8]潘承怡，逄海峰，馬巖.車用微米木纖維模壓制品設備的研究與實驗[J].機械工程師，2007(9):2931.
