基于SVR組合模型的邊坡位移預(yù)測(cè)研究

劉小生 于 良 馮騰飛

(江西理工大學(xué)建筑與測(cè)繪工程學(xué)院，江西 贛州 341000)

邊坡變形是現(xiàn)今邊坡普遍存在的現(xiàn)象，伴隨著礦產(chǎn)越來(lái)越多的開采，邊坡變形超限造成滑坡泥石流等災(zāi)難也越來(lái)越多。因此做好邊坡預(yù)測(cè)、掌握礦山邊坡變形的趨勢(shì)，提前做好滑坡的準(zhǔn)備，降低災(zāi)害所帶來(lái)的損失具有重要的研究意義。

現(xiàn)今，傳統(tǒng)的預(yù)測(cè)模型有許多不足[1]。而支持向量機(jī)(Support Vector Machine,簡(jiǎn)稱SVM)能較好地解決以往困擾很多學(xué)習(xí)方法的小樣本、非線性、過(guò)學(xué)習(xí)、高維數(shù)、局部極小點(diǎn)等實(shí)際問(wèn)題，具有很強(qiáng)的泛化能力[2]。 為了使支持向量機(jī)更好地運(yùn)用到邊坡位移預(yù)測(cè)中，近年來(lái)不少學(xué)者對(duì)支持向量機(jī)中參數(shù)尋優(yōu)方法進(jìn)行了改進(jìn)研究。一是用網(wǎng)格搜索法對(duì)支持向量機(jī)中參數(shù)進(jìn)行尋優(yōu)，但此種方法計(jì)算工作量大，必須是可行域單項(xiàng)逼近，所以計(jì)算時(shí)間隨變量個(gè)數(shù)的增加而急劇增加，且可行域單項(xiàng)逼近并非就是最佳路線[3]，因此又稱“窮舉法”；二是用遺傳算法對(duì)支持向量機(jī)中參數(shù)尋優(yōu)，但是此法編程復(fù)雜，首先對(duì)問(wèn)題要進(jìn)行編碼，當(dāng)?shù)玫阶顑?yōu)解后要進(jìn)行解碼，在算法實(shí)現(xiàn)過(guò)程中要用到許多參數(shù)，而設(shè)置這些參數(shù)大部分是依靠經(jīng)驗(yàn)，嚴(yán)重影響解的質(zhì)量，另外算法搜索速度較慢[4]；三是用標(biāo)準(zhǔn)粒子群算法對(duì)支持向量機(jī)中參數(shù)尋優(yōu)，但是由于粒子總是向當(dāng)前最優(yōu)位置移動(dòng)，導(dǎo)致粒子的多樣性不足，易產(chǎn)生趨同性，使粒子群算法在解決高維多極值問(wèn)題時(shí)，容易陷入局部最優(yōu)[5]。

針對(duì)以往常用的3種基于參數(shù)尋優(yōu)方法的支持向量機(jī)預(yù)測(cè)方法的不足，不少學(xué)者對(duì)其3種方法做了大量的改進(jìn)，其中對(duì)標(biāo)準(zhǔn)粒子群算法的改進(jìn)主要從初始種群的生成、慣性權(quán)重、學(xué)習(xí)因子、拓?fù)浣Y(jié)構(gòu)或與其他算法混合等[6]。為此本研究將標(biāo)準(zhǔn)粒子群的慣性權(quán)重改為自適應(yīng)慣性權(quán)重，目的是為了增加粒子多樣性，避免粒子出現(xiàn)趨同性，陷入局部最優(yōu)等不足，從而提高模型應(yīng)用于邊坡位移預(yù)測(cè)的效果。

1 基于SVR的組合模型構(gòu)建

1.1 自慣性權(quán)重PSO算法

標(biāo)準(zhǔn)粒子群優(yōu)化算法(Particle Swan Optimi zation,簡(jiǎn)稱PSO)是由美國(guó)科學(xué)家J.Kennedy和R.Eberhart提出[7]。本研究運(yùn)用自適應(yīng)慣性權(quán)重對(duì)PSO算法中的慣性權(quán)重進(jìn)行改進(jìn)[8-9]，即：設(shè)第k次迭代中粒子i的適應(yīng)值為fi，最優(yōu)粒子的適應(yīng)值為fm，粒子群的平均適應(yīng)度值為

(1)

(2)

(3)fi次于fave。這些粒子為群體中較差的的粒子，應(yīng)賦予遞減的趨勢(shì)的慣性權(quán)重w，按下式進(jìn)行。

(3)

根據(jù)求出的慣性權(quán)重w帶入標(biāo)準(zhǔn)粒子群算法中，求算出最佳的支持向量機(jī)參數(shù)。

1.2 支持向量回歸機(jī)

支持向量機(jī)是由Vapnik基于統(tǒng)計(jì)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法。目前分為支持向量分類機(jī)和支持向量回歸機(jī)[10]。支持向量回歸機(jī)(support vector regression machine,簡(jiǎn)稱SVR)是回歸預(yù)測(cè)的一種方法[11]。基本原理為給定監(jiān)測(cè)數(shù)據(jù){xi,yi|i=1,2,…，n},xi∈Rd為輸入值，yi∈Rd為輸出值，如果訓(xùn)練集是線性可分的，設(shè)表達(dá)式為

y(x)=ω·φ(xi)+b,

(4)

式中，ω為權(quán)值向量；b為偏差。由優(yōu)化目標(biāo)的對(duì)偶形式,獲得最大化函數(shù)：

(5)

(6)

如果是線性不可分可以通過(guò)核函數(shù)非線性映射投影到高維空間，使得數(shù)據(jù)在高維空間變得線性可分。核函數(shù)是支持向量機(jī)中最重要的問(wèn)題之一，如何選擇合適的核函數(shù)也是支持向量機(jī)現(xiàn)如今的一個(gè)難題之一，目前常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)、Sigmoid核函數(shù)。即函數(shù)y(x)的表達(dá)式變?yōu)?/p>

(7)

1.3 自適應(yīng)慣性權(quán)重PSO的SVR組合預(yù)測(cè)模型

基于SVR預(yù)測(cè)模型中參數(shù)由人工設(shè)定，導(dǎo)致參數(shù)選擇不準(zhǔn)確，帶來(lái)預(yù)測(cè)值存在很大的誤差。因此，對(duì)基于SVR預(yù)測(cè)模型中的參數(shù)運(yùn)用PSO算法進(jìn)行尋優(yōu)，促使預(yù)測(cè)值較之前精度有很大提高；但由于PSO算法在解決高維多極值問(wèn)題時(shí)，容易陷入局部最優(yōu)，為此，本研究提出自適應(yīng)慣性權(quán)重PSO算法的SVR預(yù)測(cè)組合模型，其具體思想如下。

(1)對(duì)原始數(shù)據(jù)做數(shù)據(jù)預(yù)處理。原始數(shù)據(jù)難免存在奇異值，運(yùn)用“3δ準(zhǔn)測(cè)”剔除奇異值，將剔除的奇異值“斷鏈”現(xiàn)象運(yùn)用內(nèi)在物理聯(lián)系、線性內(nèi)插法、多項(xiàng)式曲線擬合等進(jìn)行插補(bǔ)，由于所研究的數(shù)據(jù)可能不在同一個(gè)量綱單位或?yàn)榧涌祛A(yù)測(cè)組合模型運(yùn)行速度，因此需要對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將樣本數(shù)據(jù)歸一化到區(qū)間[-1，1]中。

(2)建立支持向量回歸機(jī)。支持向量回歸機(jī)尋求的是一個(gè)線性回歸方程(函數(shù)y=g(x))去擬合所有的樣本點(diǎn)，也就是使用y=g(x)來(lái)推斷任意輸入x所對(duì)應(yīng)的輸出值。求解回歸方程可以將其簡(jiǎn)化為一個(gè)求二次凸規(guī)劃問(wèn)題，運(yùn)用最小貫序列方法(Sequential Minimal Optimization,簡(jiǎn)稱SMO)等求解，依據(jù)“相似程度”的概念來(lái)選取適當(dāng)?shù)暮撕瘮?shù)，本研究采用RBF核函數(shù)。

(3)運(yùn)用自適應(yīng)慣性權(quán)重PSO算法參數(shù)尋優(yōu)。給定隨機(jī)初始化粒子的位置和速度，并對(duì)慣性權(quán)重w進(jìn)行賦值，再計(jì)算各粒子的個(gè)體適應(yīng)度，并找出所有粒子適應(yīng)度的最優(yōu)值，再根據(jù)適應(yīng)度利用自適應(yīng)慣性權(quán)重更新公式對(duì)w進(jìn)行更新，利用速度更新公式對(duì)粒子的速度更新，進(jìn)而得到新的粒子位置。每次迭代之后都要重新計(jì)算適應(yīng)值，根據(jù)適應(yīng)度利用自適應(yīng)慣性權(quán)重更新公式對(duì)w進(jìn)行更新，并重新找出所有粒子的最優(yōu)位置和每個(gè)粒子的自身歷史最優(yōu)位置，依次循環(huán)，直到得到最后的尋優(yōu)結(jié)果。算法執(zhí)行過(guò)程中，粒子不斷向著更加接近最優(yōu)解(自身歷史最優(yōu)和全局最優(yōu))的方向前進(jìn)。

以上就是自適應(yīng)慣性權(quán)重PSO算法的SVR預(yù)測(cè)組合模型的具體流程，具體流程圖如圖1所示。

圖1 組合模型構(gòu)建流程Fig.1 Flow chart of combination model building

2 工程實(shí)例

2.1 礦山邊破滑坡位移數(shù)據(jù)

為了驗(yàn)證基于自適應(yīng)慣性權(quán)重PSO算法的支持向量機(jī)邊坡位移預(yù)測(cè)模型可行性，選用某礦邊坡滑坡位移數(shù)據(jù)作為本研究原時(shí)序列數(shù)據(jù)，其滑坡體是2005年施工中出現(xiàn)的較大滑坡體，且變形較大，對(duì)其主滑方向3#監(jiān)測(cè)點(diǎn)進(jìn)行監(jiān)測(cè)，監(jiān)測(cè)數(shù)據(jù)如表1所示。

表1 滑坡位移監(jiān)測(cè)資料Table 1 Data of landslide displacement monitoring

2.2 邊坡位移預(yù)測(cè)過(guò)程

選用表1中第1～20時(shí)序的20個(gè)滑坡位移數(shù)據(jù)作為學(xué)習(xí)樣本，第21～25時(shí)序的5個(gè)位移監(jiān)測(cè)值作為測(cè)試樣本，其中基于自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型步驟如下：①對(duì)原始序列1～20學(xué)習(xí)樣本數(shù)據(jù)和21～25測(cè)試樣本數(shù)據(jù)預(yù)處理;②將處理后的數(shù)據(jù)導(dǎo)入基于自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型，先訓(xùn)練前20期數(shù)據(jù)，預(yù)測(cè)第21期數(shù)據(jù);③將第21期樣本數(shù)據(jù)加入到訓(xùn)練樣本中，同時(shí)保持總訓(xùn)練樣本數(shù)不變，依次預(yù)測(cè)至25期，記錄并與實(shí)測(cè)值比較。

實(shí)驗(yàn)平臺(tái)采用faruto等人基于MATLAB數(shù)學(xué)軟件開發(fā)設(shè)計(jì)的加強(qiáng)版LIBSVM3.1-[FarutoULtimate 3.1Mcode]工具箱進(jìn)行測(cè)試。用均方誤差MSE作為評(píng)價(jià)指標(biāo)：

(8)

其中，xi(i=1,...,n)是真實(shí)值；yi(i=1,...,n)是預(yù)測(cè)值。

MSE越接近零，預(yù)測(cè)效果越好。參數(shù)尋優(yōu)結(jié)果如圖2。

圖2 粒子適應(yīng)度MSE曲線Fig.2 Particle fitness MSE diagram◆—最佳適應(yīng)度；○—平均適應(yīng)度

為方便分析自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型所得結(jié)果優(yōu)越性，又采用基于灰色預(yù)測(cè)型、基于傳統(tǒng)SVR預(yù)測(cè)模型進(jìn)行了預(yù)測(cè)。與真實(shí)值對(duì)比結(jié)果如圖3、圖4、圖5所示。

圖3 組合模型Fig.3 Combination model◆—實(shí)測(cè)值；●—預(yù)測(cè)值

圖4 傳統(tǒng)SVR模型Fig.4 Traditional SVR model◆—實(shí)測(cè)值；●—預(yù)測(cè)值

圖5 灰色模型Fig.5 Grey model◆—實(shí)測(cè)值；●—預(yù)測(cè)值

2.3 結(jié)果分析

灰色模型、SVR模型、自慣性權(quán)重PSO的SVR組合模型預(yù)測(cè)誤差用相對(duì)誤差Erep表示：

(9)

3種方法相對(duì)誤差對(duì)比結(jié)果如表2所示。從表2中可以看出灰色模型最大、最小相對(duì)誤差為20.2%、13.6%；SVR模型最大、最小相對(duì)誤差為8.57%、2.34%；自慣性權(quán)重PSO的SVR組合預(yù)測(cè)模型最大、最小相對(duì)誤差為2.85%、0.13%。從灰色預(yù)測(cè)模型與基于傳統(tǒng)SVR預(yù)測(cè)模型結(jié)果對(duì)比，說(shuō)明支持向量機(jī)在預(yù)測(cè)方面比傳統(tǒng)的方法預(yù)測(cè)更為準(zhǔn)確。對(duì)于基于SVR預(yù)測(cè)模型和自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型預(yù)測(cè)結(jié)果對(duì)比，可以看出支持向量機(jī)能夠改進(jìn)并能在循序漸進(jìn)的改進(jìn)中帶來(lái)相應(yīng)的精度提高。由此可以驗(yàn)證自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型在邊坡預(yù)測(cè)中有更高的精度，尤其相對(duì)于傳統(tǒng)灰色預(yù)測(cè)模型來(lái)講精度提高16個(gè)百分點(diǎn)左右。

表2 滑坡位移預(yù)測(cè)值Table 2 Forecasted values of landslide displacements

3 結(jié) 語(yǔ)

支持向量機(jī)是機(jī)器學(xué)習(xí)算法中較為前沿的算法，在解決有限樣本預(yù)測(cè)問(wèn)題中有較好的效果，在邊坡預(yù)測(cè)中得到了廣泛的認(rèn)可。實(shí)驗(yàn)證明自適應(yīng)慣性權(quán)重PSO算法的SVR組合預(yù)測(cè)模型可運(yùn)用到邊坡預(yù)測(cè)中，且與傳統(tǒng)預(yù)測(cè)模型對(duì)比，精度上有較大的提高。

[1] 任 超,梁月吉,龐光鋒,等.經(jīng)驗(yàn)?zāi)B(tài)分解和遺傳小波神經(jīng)網(wǎng)絡(luò)法用于邊坡變形預(yù)測(cè)[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào),2014,31(6):551-555.

Ren Chao,Liang Yueji,Pang Guangfeng,et al.The empirical mode decomposition and genetic algorithm wavelet neural network for slope deformation prediction research[J].Journal of Geomatics Science and Technology,2014,31(6):551-555.

[2] 劉春雨.改進(jìn)的支持向量機(jī)的理論研究及應(yīng)用[D].咸陽(yáng)：西北農(nóng)林科技大學(xué),2016.

Liu Chunyu.Theoretical Research and Application on Improved SVM[D].Xianyang:Northwest A & F University,2016.

[3] 郭美麗,覃錫忠,賈振紅,等.基于改進(jìn)的網(wǎng)格搜索SVR的話務(wù)預(yù)測(cè)模型[J].計(jì)算機(jī)工程與科學(xué),2014,36(4):707-712.

Guo Meili,Qin Xizhong,Jia Zhenhong,et al.The prediction model of traffic based on improved grid search SVR[J].Computer Engineering & Science,2014,36(4):707-712.

[4] 潘國(guó)榮,谷 川.改進(jìn)的遺傳算法用于工業(yè)測(cè)量數(shù)據(jù)處理[J].大地測(cè)量與地球動(dòng)力學(xué),2008,28(1):55-58.

Pan Guorong,Gu Chuan.Application of improved genetic algorithm in industral surveying data processing[J].Journal of Geodesy and Geodynamics,2008,28(1):55-58.

[5] Eberhart R C,Kennedy J.A new optimizer using particle swarm theory[C]∥Proc of the Sixth International Symposium on Micro Machine and Human Science.Nagoya,Japan:[s.n.],1995:39-43.

[6] 王志剛.基于粒子群和人工蜂群算法的混合優(yōu)化算法[J].科學(xué)技術(shù)與工程,2012,12(20):4921-4925.

Wang Zhigang.Hybrid optimization algorithm based on particle swarm optimization and artificial bee colony Al Grithm[J].Science Technology and Engineering,2012,12(20):4921-4925.

[7] Kennedy J,Eberhart R C.Particle swarm optimization[C]∥Proceedings of IEEE International Conference on Neural Networks.Piscataway,NJ:IEEE Press,1995:1942-1948.

[8] 韓江洪,李正榮,魏振春.一種自適應(yīng)粒子群優(yōu)化算法及其仿真研究[J].系統(tǒng)仿真學(xué)報(bào),2006,18(10):2969-2971.

Han Jianghong,Li Zhengrong,Wei Zhenchun.Adaptive particle swarm optimization algorithm and simulation[J].Journal of System Simulation,2006,18(10):2969-2971.

[9] 唐雪琴,王 侃,徐宗昌,等.基于MAPSO算法的小波神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法研究[J].系統(tǒng)仿真學(xué)報(bào),2012,24(3):608-612.

Tang Xueqin,Wang Kan,Xu Zongchang,et al.Research on WNN training algorithm based on MAPSO algorithm[J].Journal of System Simulation,2012,24(3):608-612.

[10] 趙朝賀.一種改進(jìn)的支持向量機(jī)參數(shù)優(yōu)化方法[J].地理空間信息,2017,15(1):53-55.

Zhao Chaohe.Improved optimization method for support vector machine parameter[J].Geospatial Information,2017,15(1):53-55.

[11] 段鎖林,任玨朋,毛 丹,等.基于改進(jìn)的PSO優(yōu)化SVM火災(zāi)火焰識(shí)別算法研究[J].計(jì)算機(jī)測(cè)量與控制,2016,24(4):202-205.

Duan Suolin,Ren Juepeng,Mao Dan,et al.Fire flame recognition algorithm based on particle swarm optimization-based SVM[J].Computer Measurement & Control,2016,24(4):202-205.