基于PSO_LS-SVM的裝備研制費用預測研究

張麗葉，謝文秀

（裝備指揮技術學院 裝備采辦系，北京 101416）

0 引言

支持向量機（Support Vector Machines，SVM）是貝爾實驗室Vapnik 等人提出的一種新的統計學習方法，能夠解決小樣本、非線性、高維數和局部極小點等實際問題。標準SVM算法的復雜度雖然不依賴于輸入空間的維數，但依賴于樣本數據的個數，當樣本數據量較大時，求解過程所需計算資源很大，計算速度也慢。目前，解決該問題的方法較多，比較成功的是J.A.K.Suykens 等提出的最小二乘SVM算法（Least Squares Support Vector Machine，LS-SVM）。LS-SVM和標準SVM的主要區別在于將誤差平方和損失函數作為訓練集的經驗損失，用等式約束代替不等式約束，把求解耗時的受約束的二次型規劃問題變成求解一組等式方程問題，降低了計算的復雜性，提高了求解速度。

但是，在對 LS-SVM的研究中我們發現，LS-SVM在具體應用中存在一個突出問題，即如何設置LS-SVM的調整參數γ和核參數σ2（這兩個參數對LS-SVM的性能的影響非常關鍵）。目前在這一領域還沒有什么較好的方法，通常在具體使用時都是應用網絡搜索的方法，而這種方法相當耗時，程序運算一次往往需要10～20 min。有學者提出使用梯度下降法選擇LS-SVM的參數[1]，但該方法受核函數必須可導的限制，且在搜索過程中容易陷入局部極小。也有學者嘗試用免疫算法來優化LS-SVM的參數[2]，以減少參數選擇的盲目性，提高LS-SVM的預測精度，但該方法實現較復雜。還有學者提出采用遺傳算法確定LS-SVM 參數[3]，但是遺傳算法需要進行交叉（crossover）以及變異（mutation）操作，需要調整許多參數，計算復雜且效率較低。粒子群算法是一種新型的基于群體智能的隨機優化算法，同遺傳算法類似，也是一種基于群體的隨機搜索優化工具，但是并沒有遺傳算法的交叉以及變異操作，而是粒子在解空間追隨最優的粒子進行搜索，具有并行處理特征，魯棒性好、簡單容易實現、計算效率較高、能以較大的概率找到優化問題的全局最優解等優點。目前已廣泛應用于函數優化、神經網絡訓練、模糊系統控制以及其他遺傳算法等應用領域。

本文嘗試應用粒子群算法來優化LS-SVM的參數選擇問題，建立基于粒子群優化參數的LS-SVM回歸預測模型（PSO_LS-SVM），并將其用于裝備研制費用預測。

1 粒子群優化算法簡介

粒子群優化（Particle Swarm Optimization，PSO）是由Kennedy和Eberhari在1995年提出的一種基于群智能（Swarm Intelligence）的新的全局優化進化算法[4]，它源于鳥類捕食行為的模擬。其原理如下：

PSO 初始化為一群隨機粒子（隨機解），然后通過迭代找到最優解。這些粒子在搜索空間中以一定的速度飛行，并根據粒子本身的飛行經驗以及同伴的飛行經驗對自己的飛行速度進行動態調整，即每個粒子通過統計迭代過程中自身的最優值（pBest）和群體的最優值（gBest）來不斷地修正自己的前進方向和速度大小，從而形成群體尋優的正反饋機制。PSO算法就是這樣依據每個粒子對環境的適應度將個體逐步移到較優的區域，并最終搜索、尋找到問題的最優解。

假設在一個D 維的目標搜索空間中，有m個粒子組成一個群落，其中在第t次迭代時粒子i的位置表示為一個D 維向量i=1,2,…,m。換言之，每個粒子的位置就是一個潛在的解。將 xi帶入一個目標函數就可以計算出其適應值，根據適應值的大小衡量 xi的優劣。第i個粒子的“飛翔”速度也是一個 D 維的向量，記為

開始執行PSO算法時，首先，隨機初始化m個粒子的位置和速度；然后，通過迭代尋找最優解，在每一次迭代中，粒子通過跟蹤兩個極值（pBest和gBest）來更新自己的速度和位置，記第i個粒子迄今為止搜索到的最優位置為

整個粒子群迄今為止搜索到的最優位置為

在第t+1次迭代計算時，粒子根據下列規則來更新自己的速度和位置[5]：

為了討論方便，設f(x)為最小化的目標函數，則微粒i的當前最好位置由下式確定

群體中所有微粒所經歷過的最好位置為pg(t)，稱為全局最好位置。則：

式中：i=1,2,…,m；d=1,2,…,D；m為粒子數，一般取20～40，其實對于大部分問題10個粒子已經可以取得好的結果，不過對于比較難的問題或者特定類別的問題，粒子數可以取到100 或200個粒子的長度，這是由優化問題，即問題解的長度決定的；c1和c2是兩個非負常數，分別稱為自信度系數和互信度系數，一般c1等于 c2并且范圍在0和4之間；r1和r2是介于[0,1]之間的隨機數；w為慣性因子；為最大速度，如果當前對粒子的加速將導致它在某維的速度v 超過該維的最大速度 vmax，則該維的速度被限制為該維的最大速度vmax，它決定了粒子在解空間的搜索精度，如果 vmax太高，粒子可能會飛過最優解，如果 vmax太小，粒子陷入局部搜索空間而無法進行全局搜索。粒子的位置向量被限制在范圍內，xmin、xmax由實際問題決定，vmax通常選為kxmax，其中[6]

迭代終止條件根據具體問題一般選為達到最大迭代次數或最小誤差要求為止。

2 基于PSO_LS-SVM的裝備研制費用預測模型

應用第1節粒子群優化的算法，建立基于PSO_LS-SVM的裝備研制費用預測模型，見圖1。

圖1 基于PSO_LS-SVM的裝備研制費用預測模型

應用PSO算法，對LS-SVM 兩個關鍵參數的選擇進行優化的程序邏輯框圖如圖2所示。優化步驟為：

第一步，PSO 參數初始化。設定粒子數m，最大迭代次數Tmax；由于LS-SVM 只有兩個關鍵參數γ和2δ，因此，d=1,2；設定c1和c2、c1較大時，會使粒子過多地在局部范圍徘徊，而 c2較大時會促使粒子過早收斂到局部最小值，為了平衡隨機因素的作用，本文c1和c2通常取2[7]；r1和r2是介于[0,1]的隨機數；設w為慣性因子，w較大時算法具有較強的全局搜索能力，w較小則算法傾向于局部搜索。本文將w 初始值設為0.9，并使其隨迭代次數的增加線性遞減至0.4，設[8]設定最大速度 vmax；隨機初始化粒子群中各個粒子位置和速度，即t=0，記

圖2 PSO_LS-SVM預測的程序邏輯框圖

第二步，計算每個粒子的適應值。粒子的適應度函數值越大，則粒子位置越好。這里，適應度函數定義為：分別為LSSVM 訓練輸出值和期望輸出值。

第三步，按式(1)、(2)更新粒子的速度和位置，再與群體中所有微粒所經歷過的最好位置pg(t)進行比較，產生新種群x(t+1)。

第四步，檢查結束條件。若滿足，則結束尋優；否則t=t+1，轉至第二步。結束條件為尋優達到最大迭代次數Tmax，或評價值小于給定精度。

第五步，把尋到的粒子最優位置，即LS-SVM的最優調整參數γ和最優核參數σ2賦給LS-SVM模型。

第六步，用樣本數據對LS-SVM 進行訓練，利用改進的序列極小化方法求解。

3 實例驗證

本節以從公開出版物收集到的國外某類武器研制費用為例，在樣本數據（樣本數據見表1）準備好的基礎上，建立基于PSO_LS-SVM的某類武器研制費用預測模型，并對費用預測結果進行比較分析，檢驗所建預測模型的合理性，為其他裝備研制的研制費用預測建模提供思路和方法。

表1 國外某類武器性能參數與研制費用樣本數據表

采用Matlab7.0編制仿真程序，粒子群規模設為5，解空間為2 維，分別對應參數gam和RBF核參數sig2。取w 隨進化代數從0.9 線性遞減至0.4：為最大迭代次數，這里取為300，加速因子 c1=c2=2；gam初始值為1，sig2初始值為1。

POS_LS-SVM算法的matlab核心程序任務包括：求每個樣本的輸出值；判斷得出的結果是否滿足要求，如滿足就結束，不滿足則計算參數增加值；求單個樣本最佳參數值；和原來的群最佳值比較。

1）確定參數。

采用PSO優化的方法確定參數，調用LS-SVM lab的train lssvm函數文件進行搜索調整，重復實驗5 000次，選擇效果最好的一次，得到確定的一組正規化參數gam=4.06和RBF核參數sig2=7.52。結果如圖3所示。

2）建立模型。

在確定正規化參數gam和RBF核參數sig2之后，即可建立國外某類武器研制費用PSO_LS-SVM回歸模型，即程序：

% PSO_LS-SVM 回歸模型，只需輸入X，即可計算出預測值Yt

3）對預測結果進行分析，檢驗模型的性能。

本例訓練結果和測試結果見表2、3的LS-SVM模型和PSO_LS-SVM模型訓練和測試結果對比表。

圖3 POS_LS-SVM算法中gam和sig2選值圖

表2 PSO_LS-SVM模型訓練和測試結果

表3 LS-SVM模型和PSO_LS-SVM模型訓練和測試結果對比表

表3對國外某類武器費用的實際值、LS-SVM預測值和PSO_LS-SVM 預測值進行了比較，目的是輸入測試樣本驗證訓練模型的應用能力。

LS-SVM計算結果常用的評價指標有：平均絕對誤差（MAE）、平方差（SSE）、均方差、平均相對誤差（MAPE）、根方差或標準差（RMSE）、相對誤差平方和（ESE）。本文采用MAPE和ESE 進行結果評估。

從預測結果可以看出，在同樣樣本條件下，將計算結果帶入平均相對誤差（MAPE）和相對誤差平方和（ESE）的計算公式中，得出如下結果：采用LS-SVM模型訓練測試的預測結果評價指標MAPE=0.018 0，綜合評估指標ESE=0.002 5；采用PSO_LS-SVM模型訓練測試的預測結果評價指標MAPE=0.014 7，綜合評估指標ESE=0.001 4。此外，采用LS-SVM模型確定訓練參數，程序運行時間高達約15 min之久，而采用PSO_LS-SVM模型確定訓練參數，程序運行時間只需3～4 min。

從以上分析可以得出如下結論：采用粒子群優化算法與目前普遍應用的通過全面搜索的方法確定LS-SVM參數的方法相比，粒子群優化算法的參數選擇具有更明確的理論指導，PSO_LS-SVM預測方法的預測精度更高，而且訓練參數尋優速度也快，建立的PSO_LS-SVM費用預測模型是有效的，可以將此模型推廣到其他裝備研制費用的預測中。

4 結論

在對目前LS-SVM兩個關鍵參數的確定方法進行對比分析之后，得出采用粒子群優化算法對確定最小二乘支持向量機的參數更具有優勢。因此，提出應用PSO算法優化LS-SVM參數(γ,σ2)，建立了基于PSO_LS-SVM裝備研制費用預測模型，研究了模型計算的程序流程和預測步驟，并以國外某類武器為例，進行了實例驗證，最后將POS_LS-SVM和LS-SVM費用預測值進行了對比，通過對比得出：在同樣樣本情況下，應用LS-SVM方法進行國外某類武器研制費用預測具有良好的預測精度；而建立的PSO_LS-SVM費用預測模型精度更高，計算速度更快。

因此，基于以上理論和算法建立的PSO_LSSVM裝備研制費用預測模型具有很高的應用價值。

[1]CHAPELLE O,VAPNIK V.Choosing multiple parameters for support vector machines[R].NewYork∶AT&T Research Labs,2001.

[2]吳宏曉,侯志儉.基于免疫支持向量機方法的電力系統短期負荷預測[J].電網技術,2004,28(23)∶47-51.

[3]劉志偉.艦船裝備建造費預測研究[D].北京∶裝備指揮技術學院,2008∶55-60.

[4]EBERHART R,KENNEDY J.A new optimizer using particle swarm theory[C]//Proc.of the Sixth International Symposium on Micro Machine and Human Science.Nagoya,Japan,1995∶39-43.

[5]SHI Y,EBERHART R.A modified particle swarm optimizer[C]//IEEE World Congress on Computation Intelligence.1998∶69-73.

[6]BERGH F,ENGELBRECHT A.A new locally convergent particle swarm optimizer[C]//Proc.of IEEE Int.Conf.on Systems,Man and Cybernetics.Tunisia∶IEEE.2002∶96-107.

[7]馬文曉,白曉民,沐連順.基于人工神經網絡和模糊推理的短期負荷預測方法[J].電網技術,2003,27(5)∶29-32.

[8]張紅梅.基于支持向量機的電力系統短期負荷預測研究[D].南京∶河海大學,2006∶53.