基于粒子群優(yōu)化支持向量機的測控設備校準間隔預測

岳瑞華 楊學猛 徐中英

第二炮兵工程大學302教研室，西安 710025

美國標準局(NBS，現(xiàn)在為國家標準技術研究院NIST)提出的基于測量過程控制方法的量值傳遞方式——計量質量保證方案(MAP)[1]，把測量看成一個全過程,通過對測量數(shù)據(jù)的定期監(jiān)控和分析,使測量過程始終處于連續(xù)的統(tǒng)計控制狀態(tài)。對大型武器系統(tǒng)的測試設備而言，在MAP的實施過程中如果能利用已有數(shù)據(jù)進行預測，進而對預測超差的設備提前檢定校準，則能夠更加及時有效地提供技術支持。

基于統(tǒng)計學習理論的機器學習方法——支持向量機(SVM，support vector machines)較好地解決了以往困擾很多學習方法的小樣本、非線性、過學習、高維數(shù)、局部極小點等實際問題，具有很強的泛化能力[2-3]，因而可以用來進行校準間隔預測[4-7]。而SVM核函數(shù)參數(shù)的選擇，對于SVM回歸估計的精度影響較大[8-9]。本文提出將粒子群優(yōu)化算法(PSO)應用于SVM核函數(shù)參數(shù)的選擇[10]，利用改進的PSO-SVM對測量儀器的測量值進行預測，依據(jù)Shewhart控制圖或給定不確定度提前檢出超差值，及時對測試設備檢定校準。

1 SVM回歸

設樣本集為：(y1,x1),…,(yl,xl),x∈Rn,y∈R，回歸函數(shù)用下列線性方程來表示，

f(x)=ωTx+b

(1)

最佳回歸函數(shù)通過求以下函數(shù)的最小極值得出，

(2)

其中，C是設定的懲罰因子值，ξ,ξ*為松弛變量的上限與下限。

Vapnik提出運用下列不敏感損耗函數(shù)：

(3)

通過優(yōu)化方程：

(4)

求解：

(5)

(6)

對于非線性模型，可通過一個非線性映射將數(shù)據(jù)映射到高維的特征空間中，在其中進行線性回歸。非線性SVR的解即可通過下面方程求出：

(7)

回歸函數(shù)f(x)則為：

(8)

其中，應用最廣泛的是RBF核，無論是低維、高維、小樣本及大樣本等情況，RBF核函數(shù)均適用，具有較寬的收斂域。

2 粒子群優(yōu)化

粒子樣優(yōu)化算法(PSO)是一種進化優(yōu)化算法，源于對鳥群捕食行為研究，已經被證明是一種很好的優(yōu)化方法[10]。其數(shù)學描述如下：在連續(xù)空間坐標系中，設粒子群個數(shù)為m，每個粒子的坐標為xi=(xi1,xi2,…,xiD)，每個粒子的飛行速度為vi=(vi1,vi2,…,viD)，每個粒子都有一個優(yōu)化目標函數(shù)決定的適應值，對于第i個粒子，其所經過的歷史最好位置記為pi=(pi1,pi2,…,piD)，也稱為個體極值pbest；整個群體中所有粒子發(fā)現(xiàn)的最好位置記為pg=(g1,g2,…,gD)，也稱為全局極值gbest。粒子就是根據(jù)這2個極值來不斷更新自己的速度和位置：

vij(k+1)=vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))

(9)

xij(k+1)=xij(k)+vij(k+1)

(10)

其中：i=1,2,…,m，m表示粒子的總個數(shù)；j=1,2,…,D，D表示一個粒子的維數(shù)，即算法所優(yōu)化的第j個參數(shù)，根據(jù)具體的優(yōu)化問題而定；r1,r2為[0,1]之間相對獨立的隨機數(shù)；c1,c2為加速因子，通常在[0,2]間取值。為保證收斂性和收斂速度，加入收縮因子γ，(9)式即為：

vij(k+1)=γ{vij(k)+c1r1(pij-xij(k))+

c2r2(gij-xij(k))}

(11)

在每一次迭代過程中，每個粒子都需要根據(jù)目標函數(shù)來計算其適應值大小，目標函數(shù)可以是均方誤差、方差、標準差等。然后根據(jù)適應值來確定當前粒子最優(yōu)位置pij(k)及群體最優(yōu)位置pgj(k)，然后根據(jù)式(10)和式(11)調整各個粒子的速度及位置。其結束條件為：

1)迭代次數(shù)達到設定值，通常設定最大迭代次數(shù)為100代[11]；

2)群體迄今為止搜索到的最優(yōu)位置滿足預設最小適應值，通常預設適應值為0。

3 PSO-SVM

SVM的自選參數(shù)C，ξ和γ的選擇，對于SVM回歸估計的精度影響很大。其中參數(shù)C可以根據(jù)樣本數(shù)據(jù)的特性，決定模型的復雜度和對大于ξ的擬合偏差的懲罰程度。ξ值過大或過小，都會使系統(tǒng)的泛化能力變差。參數(shù)表明了系統(tǒng)對估計函數(shù)在樣本數(shù)據(jù)上誤差的期望，其值影響了構造回歸函數(shù)的支持矢量數(shù)目。ξ值過大，回歸估計精度低，支持矢量數(shù)量少，會導致過于平滑的估計；ξ值過小，不敏感損失函數(shù)作用變小，預測結果的魯棒性減弱。核函數(shù)的參數(shù)γ反映了訓練數(shù)據(jù)的特性，對于系統(tǒng)的泛化能力影響較大。因此，只有合理選擇參數(shù)，才可以使SVM回歸估計得到很好的擬合效果。

如何合理選擇SVM的參數(shù)，目前尚無有效的方法，一般通過交叉驗證試算或梯度下降法求解，為此，本文采用粒子群優(yōu)化算法實現(xiàn)對SVM參數(shù)的自動優(yōu)化選擇。為了實現(xiàn)SVM參數(shù)的優(yōu)化選擇，首先將樣本數(shù)據(jù)分為2部分：訓練樣本集和測試樣本集。訓練樣本集用于回歸SVM的訓練，即求解形如式(4)的二次優(yōu)化問題，得到SVM的回歸估計模型，將訓練結果代入式(8)進行預測，采用均方根誤差(MSE)作為適應度評價指標：

(12)

本文中，PSO用來選擇解決模型選擇問題，決定用來預測測試設備校準間隔的SVM回歸模型參數(shù)值[10]。SVM中參數(shù)C,ξ和高斯核函數(shù)的參數(shù)γ作為PSO算法的決策變量。因此，三維向量中，第i個粒子屬性xi=(xi1,xi2,xi3)，pi=(pi1,pi2,…,pi3)，vi=(vi1,vi2,…,vi3)分別對應于參數(shù)C，ξ和γ。

采用帶收縮因子的局部最優(yōu)PSO模型，算法流程見圖1，具體步驟如下：

步驟1 參數(shù)初始化：視向量C，ξ和γ為粒子，確定粒子群規(guī)模m，確定加速度因子c1,c2，初始化r1,r2，設置最大迭代次數(shù)；

步驟2 將每個粒子的個體極值位置設置為當前位置，計算每個粒子的初始適應度，取適應度最好的粒子所對應的個體極值作為最初的全局極值；

步驟3 按照式(9)、式(10)和式(11)進行迭代計算，更新粒子的位置和速度；

步驟4 由式(12)評價每個粒子的適應值；

步驟5 將更新后的每個粒子的個體極值pbest與全局極值gbest比較，若pbest優(yōu)于gbest，則gbest=pbest，否則保留原值；

步驟6 更新迭代次數(shù)，i=i+1；

步驟7 判斷是否滿足結束條件，滿足則輸出全局最優(yōu)解作為支持向量機的最優(yōu)參數(shù)向量，否則返回步驟3；

步驟8 根據(jù)優(yōu)化的參數(shù)向量建立SVM校準間隔預測模型。

圖1 粒子群優(yōu)化支持向量機算法流程圖

4 測試設備校準數(shù)據(jù)預測實例

數(shù)據(jù)來自于計量站對一大型測控設備某計量標準器的1kΩ電阻10年間的校準記錄[12]。該標準在滿足統(tǒng)計受控條件下每年由上級計量單位進行一次檢定，兩次檢定期間，利用更高精度的計量標準對其每月進行一次精度核查，共得到120個校準誤差數(shù)據(jù)。

圖2(a)，(b)，(c)列出了PSO-SVM與SVM預測效果對比，圖2(d)是預測性能的直觀展示。

圖2 SVM和PSO-SVM的預測結果

用于校準間隔預測的傳統(tǒng)SVM方法和所提SPO-SVM方法的均方根誤差對比見表1。

表1 預測效果評價

相比參數(shù)優(yōu)化前，MSE降低了0.1503mΩ。由此可見，本文提出基于PSO算法優(yōu)化的SVM對大型測控設備計量校準間隔進行預測不僅是可行的，而且可以獲得較好的預測，是一種有效的預測方法。

5 結語

充分利用了粒子群優(yōu)化算法對支持向量機的參數(shù)進行全局并行尋優(yōu)能力和SVM強大的非線性映射功能，將PSO與SVM兩種方法進行有機組合，提出了基于PSO-SVM的預測方法并應用于大型測控設備的校準間隔的預測。實例驗證該方法相比SVM具有更好的預測效果，并可與Shewhart控制圖結合，將MAP中發(fā)現(xiàn)超差后的校準轉變?yōu)榛诹Ｗ尤簝?yōu)化支持向量機的預測校準，該方法對于提高計量質量保障水平具有參考意義。

[1] 王立吉.計量質量保證方案[M].中國計量出版社, 1992.

[2] 張學工.關于統(tǒng)計學習理論與支持向量機[J].自動化學報, 2000(1):36-46.(ZHANG Xuegong.Introduction to Statistical Learning Theory and Support Vector Machines[J].Acta Automatic Sinica, 2000(1):36-46.)

[3] Sch?lkopf B, Smola A J.Learning with Kernels—Support Vector Machines, Regularization, Optimization, and Beyond [M].MIT Press: London, England,2002.

[4] 孫群, 趙穎, 孟曉風.基于支持向量回歸的自動測試系統(tǒng)校準間隔動態(tài)優(yōu)化[J].兵工學報, 2009,(1):76-80.(SUN Qun, ZHAO Ying, MENG Xiaofeng.Optimization of Calibration Interval for Automatic Test System Based on Support Vector Regression[J].Acta Armamentarii, 2009,(1):76-80.)

[5] 尉詢楷, 李應紅, 張樸, 等.基于支持向量機的時間序列預測模型分析與應用[J].系統(tǒng)工程與電子技術, 2005,(3): 529-532.(WEI Xunkai, LI Yinghong, ZHANG Pu, et al.Analysis and Applications of Time Series Forecasting Model via Support Vector Machines [J].Systems Engineering and Electronics, 2005,(3): 529-532.)

[6] 余學鋒, 錢成, 文海.測量儀器校準間隔的確定及其模型[J].計量學報, 2002(1): 74-77.(YU Xuefeng, QIAN Cheng, WEN Hai.Determination of the Calibration Interval for a Measuring Instrument by Stochastic Model [J].Acta Metrologica Sinica, 2002,(1): 74-77.)

[7] 余學鋒, 王亞梅, 田建柱.測量設備校準間隔確定方法工程化應用與發(fā)展[J].中國測試, 2009,(4):15-18.(YU Xuefeng, WANG Yamei, TIAN Jianzhu.Development and Application of Engineering for Measurement Equipment Calibration Interval Analysis Method [J].China Measurement & Test, 2009,(4):15-18.)

[8] 閻威武, 邵惠鶴.支持向量機和最小二乘支持向量機的比較及應用研究[J].控制與決策, 2003,18(3):358-360.(YAN Weiwu, SHAO Huihe.Application of Support Vector Machines and Least Squares Support Vector Machines to Heart Disease Diagnoses [J] .Control and Decision, 2003,18(3):358-360.)

[9] Yang J, Zhang Y.Application Research of Support Vector Machines in Condition Trend Prediction of Mechanical Equipment[J].Lecture Notes in Computer Science 2005,3498:857-864.

[10] Aydin I, Karakose M, Akin E.A Multi-objective Artificial Immune Algorithm for Parameter Optimization in Support Vector Machine [J].Applied Soft Computing, 2011,11:120-129.

[11] Pai P-F, Hong W-C.Software Reliability Forecasting by Support Vector Machines with Simulated Annealing Algorithms [J].Journal of Systems and Software,2006,79:747-755.

[12] 劉如峰.軍事計量標準精度非線性組合預測方法研究[D].西安: 第二炮兵工程學院, 2010.

[13] Bergh F D, Engelbrecht A P.A Study of Particle Swarm Optimization Particle Trajectories [J].Information Science, 2006, 176(8):937-971.

[14] V.K.Support Vector Machines—An Introduction.In Support Vector Machines: Theory and Applications [M].Berlin: Springer, 2005.

[15] 吳曉軍, 楊戰(zhàn)中, 趙明.均勻搜索粒子群算法[J].電子學報, 2011(6): 1261-1266.(WU Xiaojun, YANG Zhanzhong, ZHAO Ming.The Convergence Analysis of the Uniform Search Particle Swarm Optimization [J].Acta Electronica Sinica, 2011,(6): 1261-1266.)