基于粒子群優化算法的LS-SVM的GPS高程擬合

高　紅, 文鴻雁, 聶光裕, 楊　志, 韓亞坤

(桂林理工大學 a.廣西空間信息與測繪重點實驗室;b.測繪地理信息學院;c.廣西礦冶與環境科學實驗中心, 廣西 桂林 541004)

?

基于粒子群優化算法的LS-SVM的GPS高程擬合

高紅, 文鴻雁, 聶光裕, 楊志, 韓亞坤

(桂林理工大學 a.廣西空間信息與測繪重點實驗室;b.測繪地理信息學院;c.廣西礦冶與環境科學實驗中心, 廣西 桂林 541004)

摘要：在GPS高程擬合中，傳統擬合方法存在多數據、過學習、泛化能力弱等缺點，導致擬合結果精度欠缺，為此提出了LS-SVM擬合模型。利用粒子群算法對LS-SVM模型的初始參數進行了優化，通過實測數據對該模型進行了分析。實驗結果表明，基于粒子群算法優化的LS-SVM模型較傳統單一的二次曲面擬合法、BP神經網絡、LS-SVM等模型擬合精度高。

關鍵詞：粒子群優化算法;LS-SVM;BP神經網絡;二次曲面擬合法;高程擬合

當今, GPS的發展非常迅速, 引出了一個重要的學科問題“GPS高程擬合”, 而在一般的施工過程中, 除了少數的一些工程(如變形監測等)采用大地高系統，大多數情況下需要的是測站點的正常高h而不是大地高H。然而, 要得到正常高h, 需要將大地高H通過一定的模型轉換成正常高h[1]。目前最常用的模型有Kriging插值法、支持向量機、BP神經網絡法、基于總體最小二乘曲面擬合等方法[2]。而對于大范圍且較為復雜的測區, 其擬合出的精度難以達到要求, Kriging插值法、BP神經網絡擬合有著較高的精度, 但是兩者有一個共同的前提, 就是都需要較多的樣本數據, 且BP神經網絡容易出現局部最優、過學習等弊端[3-4]。 本文提出的基于粒子群優化算法的LS-SVM模型, 是在LS-SVM模型泛化能力較好、結構簡單、全局最優的基礎上, 通過粒子群優化算法將LS-SVM模型中的初始粒子參數進行了優化, 從而提高了該模型的預測精度。

1擬合模型

1.1LS-SVM回歸預測原理

Suykens和Vandewalb在1999年提出了最小二乘支持向量機[5-6], 其主要思想就是在最基本的支持向量機的基礎上, 將最小二乘原理引入其中, 并用等式約束來代替標準支持向量機中不等式約束, 選用數據中的殘差值作為訓練樣本的經驗損失, 這樣的方法突出了優化問題, 是一個典型的二次規劃問題的解決方案。LS-SVM是改進的標準SVM, 解決了線性kkt系統的問題，從而提高了模型的預測速度和精度, 若訓練樣本集為(xi, yi), i=1, 2, …, n, x∈Rd,y∈R。最小二乘支持向量機回歸預測的基本思想是[7-8]:首先通過非線性映射函數φ(x)=(φ(x1),φ(x2), …,φ(xn))將數據映射到高維特征空間, 然后在高維空間構造最優線性決策函數y=wT·φ(x)+b, 通過結構最小化原則, 函數擬合問題可轉為下列函數的約束:

優化問題

(1)

約束條件為

yi=wTφ(xi)+b+ξi。

(2)

引入Lagrange方法求解這個優化問題:

(3)

(4)

由以上各式得到LS-SVM函數為

f(x)=ai[φ(xk)φ(xi)]+b。

(5)

為了解決高維計算問題, 引入核函數K(xk, xj)來等效高維空間的內積形式 [φ(xk)φ(xi)],即

(6)

不同的核函數將生成不同的最小二乘支持向量機, 到目前為止主要的核函數有多項式核函數、Sigmoid核函數和徑向基核函數等形式。 考慮到GPS高程擬合預測模型的嚴重非線性問題, 而且文獻[8]中對基于不同核函數的支持向量機進行了一系列的分析以及仿真實驗, 發現在支持向量機的回歸估計中選擇徑向基核函數, 其精度優于其他核函數下的支持向量機。 因此, 本文選擇RBF向量機函數為核函數進行分析計算。

1.2粒子群優化算法

粒子群算法(particleswarmoptimization,PSO)是由Eberhart和Kennedy在1995年最早提出的一種優化算法。PSO算法是通過不斷地迭代更新的種群在一定空間內搜尋最優解,其優化算法的數學模型如下:

假定在一個未知的D維搜索空間中, 由n個粒子組成的種群X=(X1, X2, …, Xn), 而這個種群中肯定存在一個想象中的最優點的解, 將其稱之為“粒子”, 該粒子由其速度決定其所在的位置和方向, 導致了其他粒子追隨最優粒子在解空間中搜尋, 則有i個粒子群表示為Xi, 該粒子的狀態可表示為[8]：

t時刻的位置

(7)

t時刻的速度

(8)

t時刻的個體最優位置

(9)

t時刻的全局最優位置

(10)

則i粒子在t+1時刻的狀態為

(11)

(12)

式中:r1、r2為[0, 1]上的均勻分布隨機數,c1、c2為學習因子。

故粒子群算法的流程如圖1所示。

圖1　粒子群算法的流程圖Fig.1　Flow chart of particle swarm algorithm

2基于粒子群優化LS-SVM

在實際工程項目的應用中都希望能夠得到最優的模型解去解決工程問題, 本文建立的是LS-SVM對GPS高程擬合的模型。 為了獲得更高精度的模型, 采用粒子群算法的全局搜索能力這一特征對最小二乘支持向量機建模過程中的參數c和g進行優化處理，得到較高精度的LS-SVM模型。粒子群算法優化最小二乘支持向量機的實現過程步驟為:① 采用LS-SVM對訓練樣本數據進行訓練;② 用樣本數據訓練好的支持向量組建粒子群;③ 產生初速度和粒子數;④ 進行速度更新、種群更新、自適應粒子變異等迭代尋優;⑤ 群體最優更新, 得到新粒子適應度值;⑥ 結果輸出。

當迭代次數達到所要求的最大迭代次數或者獲得了滿足要求的粒子適應函數值時, 終止迭代, 輸出結果； 否則，返回繼續計算, 直至達到最大迭代次數或獲得滿足要求的粒子適應值為止。其主要流程見圖2。

圖2　粒子群優化最小二乘支持向量機流程圖Fig.2　Particle swarm optimization flow chart of least squares support vector machine

3工程實例

以某高速公路施工測量數據為例，分析粒子群算法優化的最小二乘支持向量機在GPS高程擬合中的應用， 將測量所得的數據整理如表1所示, 選取前7個點作為訓練樣本, 后6個點作為預測樣本。

(1)選取RBF核函數為最小二乘支持向量機的中心核函數。

(2)初始粒子群參數的選取(c1=1.5， c2=1.7， r1、r2選取(0, 1)上均勻分布的隨機數, 迭代次數n=300)。

(3)實驗分析結果見表2和圖3、圖4。

表1　原始測量數據Table 1　Original measurement data 　m

表2　不同模型的符合精度對比Table 2　Precision comparison of different algorithms　　m

圖3　不同模型的殘差對比Fig.3　Residual comparison of different algorithms

圖4　不同模型的擬合對比Fig.4　Fitting comparison of different algorithms

綜上可知:通過優化后的最小二乘支持向量機整體精度都有所提高, 最小二乘支持向量機的內符合精度明顯優于BP神經網絡的精度。由殘差對比圖3以及擬合對比圖4可以明顯看到, 各方法效果依次為基于粒子群算法優化的最小二乘支持向量機>最小二乘支持向量機>BP神經網絡算法。

4結論

從以上理論和實驗中得到以下結論:

(1)最小二乘支持向量機在選擇合理的核函數基礎上, 對于小樣本、非線性的數據有著很好的擬合效果。解決了BP神經網絡的局部最優且最小化問題, 同時還克服了BP神經網絡的過學習、 樣本數量要求過大的難題。

(2)在選擇合理的優化方式對最小二乘支持向量機進行優化時,由于粒子群算法基于本身的全局搜索能力, 以及滿足局部和全局最優為止的尋優特點, 使得優化后的支持向量機得到的預測結果具有較好的全局最優性，從而解決了BP神經網絡易陷入局部最優的缺點, 優化模型有效避免了此問題，提高了擬合模型的整體精度。

參考文獻:

[1]侯東陽, 張書畢.基于平面擬合和BP神經網絡組合法的GPS高程轉換[J].大地測量與地球動力學, 2010, 30(6):91-94.

[2]王小輝, 王琪潔, 丁元蘭，等.基于二次曲面和BP神經網絡組合模型的GPS高程異常擬合[J].大地測量與地球動力學, 2012, 32(6):103-105.

[3]張昊, 王琪潔，朱建軍，等.樣本數據預處理對基于BP神經網絡的GPS高程擬合的影響[J].大地測量與地球動力學, 2011, 31(2):125-128.

[4]郭春喜, 聶建亮，王斌，等.區域似大地水準面擬合方法及適用性分析[J].大地測量與地球動力學, 2013, 33(1):103-107.

[5]王繼剛, 胡永輝.基于最小二乘支持向量機回歸綜合預測建筑物沉降[J].測繪科學, 2010, 35(3):96-97.

[6]張騰旭, 劉立龍, 周淼，等.基于LS-SVM 和BP神經網絡組合模型的GPS高程擬合[J].桂林理工大學學報, 2014, 34(3):505-508.

[7]趙吉文, 劉永斌, 孔凡讓, 等.核參數遺傳選優的SVM在直線電機建模中的應用[J].系統仿真學報, 2006, 18(12):3547-3549，3553.

[8]徐松金, 龍文.基于粒子群優化最小二乘向量機的地震預測模型[J].西北地震學報, 2012, 34(3):220-223.

[9]萬輝, 魏延.一種改進的最小二乘支持向量機算法[J].重慶師范大學學報：自然科學版, 2010, 27(4):69-72.

[10]任超, 吳偉, 黃征凱, 等.基于AIC準則的RBF神經網絡在GPS高程擬合中的應用[J].測繪科學, 2013, 38(2):77-79.

文章編號:1674-9057(2016)02-0300-04

doi:10.3969/j.issn.1674-9057.2016.02.017

收稿日期：2015-01-09

基金項目：國家自然科學基金項目(41461089);廣西自然科學基金項目(2014GXNSFAA118288);廣西“八桂學者”崗位專項經費項目;廣西空間信息與測繪重點實驗室項目(桂科能151400702;140452402;15-140-07-32);廣西礦冶與環境科學實驗中心項目(KH2012ZD004)

作者簡介：高紅(1990—), 男, 碩士研究生, 研究方向:變形監測與數據處理, 827086139@qq.com。

通訊作者：文鴻雁, 博士, 教授, glitewhy@163.com。

中圖分類號：P228.4;P224

文獻標志碼：A

GPS height fitting based on PSO optimizing LS-SVM

GAO Hong, WEN Hong-yan, NIE Guang-yu, YANG Zhi, HAN Ya-kun

(a.Guangxi Key Laboratory of Spatial Information and Geomatics;b.College of Geomatics and Geoinformation;c.Guangxi Scientific Experiment Center of Mining, Metallurgy and Environment, Guilin University of Technology, Guilin 541004, China)

Abstract:In traditional fitting methods there are many shortcomings, such as “multi data, over learning, weak generalization ability”, with less accuracy of fitting results.A method is presented to establish a least squares support vector machine model based on particle swarm optimization algorithm. Through the experimental data accuracy of the analysis to the model,compared with the traditional single model of quadric surface fitting method, the BP neural network, the LS-SVM,the experimental results show that the LS-SVM model has a higher precision based on particle swarm optimization algorithm.

Key words:particle swarm optimization(PSO); LS-SVM;BP neural network;quadric surface fitting; height fitting

引文格式：高紅, 文鴻雁, 聶光裕, 等.基于粒子群優化算法的LS-SVM的GPS高程擬合[J].桂林理工大學學報，2016, 36(2):300-303.