PSO多元自適應回歸樣條算法

王盛慧， 趙二衛(wèi)

(長春工業(yè)大學 電氣與電子工程學院， 吉林 長春 130012)

PSO多元自適應回歸樣條算法

王盛慧， 趙二衛(wèi)

(長春工業(yè)大學 電氣與電子工程學院， 吉林 長春 130012)

多元自適應回歸樣條建模中，樣本數據最小步長和端點的設置會影響建模精度。提出了應用粒子群算法優(yōu)化這兩個參數的方法，以預測樣本均方差為適應度函數，通過優(yōu)化最小步長和端點位置調整采樣點選取。實例應用表明,PSO-MARS方法能提高預測精度。

粒子群優(yōu)化； 最小步長； 端點； 交叉驗證

0 引 言

多元自適應回歸樣條法(Multivariate Adaptive Regression Spline, MARS)是一種專門針對高維數據擬合的回歸方法[1-2]。因其建模速度快，可解釋性強得到廣泛的應用[3]。該方法以樣條函數的張量積作為基函數，自動選擇插入基函數的節(jié)點，構成基函數集合來逼近樣本數據。MARS算法自提出后，很多學者做了研究和改進。由Friedman提出的Fast MARS算法能在略微降低模型精度的同時加快建模速度。Sergey Bakin[4-5]等提出的BMARS使用了并行算法，加快建模速度，同時使模型變得光滑。

但是當樣本數據存在一定干擾時，MARS可能在干擾點處插入基函數，建立的模型會貼近干擾點，后向剪枝過程不能刪除這樣的基函數，導致模型在干擾點附近的預測能力下降。

3種劃分方法擬合曲線如圖1所示。

(a) Minspan=3, Endspan=7 (b) Minspan=2, Endspan=2 (c) Minspan=1, Endspan=1

圖中，虛線為正弦曲線，黑色點為正弦函數加上隨機擾動，實線為擬合曲線，點畫線標識基函數插入點。對同一組數據，采用3種不同的節(jié)點劃分方法，節(jié)點設置參數與模型精度見表1。

表1 3種劃分方法擬合參數

建模過程中，MARS不會處理每個樣本點，為了降低局部方差，設置最小步長，用Minspan表示，同時，為了降低數據兩側的局部方差，靠近樣本數據兩端的點也不會被采用，設置兩側最小放置節(jié)點距離，文中用Endspan表示。圖1與表1很明顯可以看出，Minspan，Endspan過大，采樣的數據較少，MARS的擬合能力較差；而圖1(c)雖然使用了最多的節(jié)點和基函數，Minspan=1, Endspan=1，每一個樣本數據都被采樣，但是由于插入基函數的節(jié)點擾動較大，所以并不能很好地挖掘出正弦關系，從而模型此樣本點處的預測能力下降；圖1(b)的擬合程度說明，按照Minspan=2,Endspan=2的樣本劃分方法，MARS能較好地反映出系統的特征。可以看出，樣本的劃分方法能在很大程度影響模型的精度和預測能力。針對MARS的這種問題，文中提出應用粒子群算法(PSO)來優(yōu)化MARS樣本空間劃分方法。

1 MARS算法簡介

多元自適應回歸樣條(MARS)是由Friedman引入的一種回歸分析形式,它是一種非參數回歸技術，可以看作模擬變量之間的非線性和相互作用的線性模型的擴展。MARS模型的一般形式：

它的建模過程分為前向逐步和后向剪枝。前向過程是一個迭代過程，模型首先生成初始基函數(迭代次數I=0)，即

每次迭代(I>1)，MARS遍歷所有節(jié)點，成對地添加新的來減小訓練誤差最多的鏡像基函數，直到基函數個數達到最大個數或者模型精度滿足要求:

式中：Bl(x)----在之前的迭代中生成的基函數，稱作父基函數。

這種迭代過程會產生大量的基函數，造成模型的過擬合，后向剪枝過程每次循環(huán)刪除一個對訓練誤差減小量為最小的基函數，得到對應子模型，直到模型只剩下截距項，引入廣義交叉驗證GCV準則：

最終選取GCV值最小的子模型作為最優(yōu)模型，可以看出過多的基函數與扭結點會受到懲罰，從而減小模型的體積，避免過擬合。模型不會處理所有樣本點，引入最小步長L(a)，即Minspan:

節(jié)點的選取會直接影響模型的精度和復雜度，尤其對有干擾的樣本，在干擾點處添加基函數，可能會導致過擬合和預測能力下降，怎樣劃分樣本空間直接影響模型的精度和復雜度。

2 PSO-MARS算法

2.1 PSO算法

粒子群算法(PSO)是通過模擬鳥群覓食在解空間中通過迭代搜索出最優(yōu)解的方法[6-8]，算法首先隨機生成粒子群的位置和速度:

根據粒子的適應度至獲取粒子最優(yōu)位置和全局最優(yōu)位置

在下一次迭代中粒子更新自己的位置和速度

從上式可以看出，粒子具有自我總結和向優(yōu)秀個體學習的能力，較之于遺傳算法，粒子群有記憶能力、操作簡單、收斂迅速的特點。

2.2 PSO-MARS算法

為了能夠增加模型的魯棒性，準確反映系統特征，對樣本數據采用10折交叉驗證的建模方法。確保所有數據都有機會參與模型的訓練和預測，算法流程如圖2所示。

圖2 算法流程

算法步驟如下：

1)初始化MARS參數，初始化PSO參數。

2)隨機生成粒子群XiMinspan，ViMinspan，XiEndspan，ViEndspan。

3)將隨機步驟2)生成的Minspan和Endspan傳遞給MARS，劃分樣本空間，建立MARS模型群。

4)以10折交叉驗證的預測樣本MSE平均值為適應度函數，計算粒子群的適應度值，平均MSE值最低的粒子Xi作為全局最優(yōu)位置，傳給Gbest,單個粒子在迭代過程中得到最低MSE值的Xi作為個體最優(yōu)位置傳給Pbest。

渦流發(fā)生器安裝位置影響其作用區(qū)域: 安裝位置離模型旋轉中心太近, 尾渦直徑小, 導致模型來流受渦流發(fā)生器干擾, 影響數據準確性; 離旋心太遠, 尾渦作用區(qū)域將減小, 無法覆蓋模型區(qū). 為確定合適的安裝位置, 計算了Ma=0.6, 常規(guī)實驗Reynolds數狀態(tài)下, 安裝位置距離模型旋心10δ, 20δ, 30δ, 40δ, 50δ的流場, 圖8和表4分別給出各狀態(tài)下附面層速度分布和對應的附面層厚度. 圖中u/ul為當地速度與附面層外緣速度的比值， 代表附面層內速度恢復情況.

5)根據式(13)和(14)，更新粒子群Xi,Vi,Pbest,Gbest，將Xi傳遞給MARS重新劃分樣本空間，開始新一輪的計算。

如果迭代次數達到設置的最大迭代次數或者模型精度滿足要求，即輸出最優(yōu)模型和Gbest。

3 實例應用

測試數據來自UCI機器學習數據庫，該數據集來自聯合循環(huán)電廠，以溫度、環(huán)境壓力、相對濕度、排氣真空度來預測每小時凈電能輸出。選取數據集中的800個樣本作為訓練樣本，80個樣本作為測試樣本。初始化MARS參數，最大基函數個數設置50，最大交互程度設置2；初始化PSO參數，隨機生成粒子群

XiMinspan=(Xi1Minspan,Xi2Minspan,…,XinMinspan)

ViMinspan=(Xi1Minspan,Xi2Minspan,…,XinMinspan)

XiEndspan=(Xi1Endspan,Xi2Endspan,…,XinEndspan)

ViEndspan=(Xi1Endspan,Xi2Endspan,…,XinEndspan)

其中，n為種群數，n取10，迭代次數設置為40次，Minspan和Endspan為兩個不同的粒子群，迭代時并行計算，為了加快搜索速度，初始最小步長在式(8)范圍內隨機生成。

PSO優(yōu)化Minspan和Endspan過程如圖3所示。

圖3 優(yōu)化過程

從圖3可以看出，隨著迭代次數的增加，交叉驗證MSE和平均MSE都在下降，驗證間的初始MSE不同，但都有一定的下降空間。

同時,做了另外兩組仿真來對比，參數設置及仿真結果見表2。

表2 PSO-MARS結果對比

3組仿真的訓練精度差別不大，Minspan=1,Endspan=1時，模型遍歷每個節(jié)點，但訓練和預測精度并不是最高。使用PSO搜索的劃分方法Minspan為9，Endspan為2，訓練精度與其它兩組基本一致，但預測精度和最大偏差有顯著提高，相對其他兩組,平均MSE分別降低了21.8%和20.6%。

選取其中一折預測擬合圖形，如圖4所示。

從圖4可以看出，3組預測效果都很好，PSO優(yōu)化的一組相對整體更加貼近樣本數據。

4 結 語

以帶擾動的正弦函數為例，設置3組不同的最小步長和端點，模型精度和預測能力差別很大,說明這兩個參數對多元自適應回歸樣條算法有很大影響。

針對手動設置最小步長和端點往往不能取得最優(yōu)值的問題，文中提出用PSO來優(yōu)化這兩個參數的方法，優(yōu)化的適應度函數為預測精度，同時采用交叉驗證的建模方法來增加模型的魯棒性，給出了詳細的結合算法步驟。

將PSO-MARS應用與聯合循環(huán)電廠電能輸出建模中，從MSE收斂曲線可以看出，經過PSO的優(yōu)化，預測MSE有一定幅度的減小，PSO-MARS可以在訓練精度基本不變的情況下，提高預測精度，可以用于對建模速度要求不高的離線模型建立中，有一定的實際意義。

圖4 3種預測擬合圖形

[1] Friedman J H. Multivariate adaptive regression splines (with discussion) [J]. The Annals of Statistics,1991,19(1):123-141.

[2] Hastie T, Tibshirani R, Friedman J. The elements of statistical learning: data mining, inference and prediction[M]. 2nd edition. [S.l.]: Springer,2009.

[3] 宋陽,凌震華,戴禮榮.基于合成質量預測的單元挑選語音合成優(yōu)化方法[J].清華大學學報:自然科學版,2013(6):762-766.

[4] Bakin S, Hegland M, Osborne M. Can MARS be improved with B-splines? [M]. New Jersey, USA: Computational Techniques and Applications Conference,1998:75-82.

[5] 初眾,吳義忠,陳立平,等.基于黃金分割法的加速MARS研究[J].系統仿真學報,2012(8):1561-1566.

[6] 馮非凡,武雪玲,牛瑞卿,等.粒子群優(yōu)化BP神經網絡的滑坡敏感性評價[J].測繪科學,2017(10):1-9.

[7] 邱東,劉明碩,郭紅濤.基于粒子群算法的低碳鉻鐵磷含量預測研究[J].計算機技術與發(fā)展,2017(6):1-4.

[8] 金星,徐婷,冷淼.基于IPSO-SVR的水泥分解爐溫度預測模型研究[J].現代電子技術,2017(9):148-151.

DivisionmethodofMARSsampleoptimizedbyPSO

WANG Shenghui, ZHAO Erwei

(School of Electrical & Electronic Engineering, Changchun University of Technology, Changchun 130012， China)

In the multi-adaptive regression spline modeling process, the setting of both sampling minimum step size and endpointmay influence the precision of modeling. To optimize the two parameters, Particle Swarm Optimization (PSO) method is applied to estimate the Mean Square Error (MSE). The MSE is taken as the fitness function to optimize the minimum step size and endpoint by adjusting the sampling position. Application results indicate that themethod can improve the modeling accuracy.

Particle Swarm Optimization (PSO); minimum step size; endpoind; cross-validation.

2017-06-15

吉林省科技發(fā)展計劃基金資助項目(20150203003SF)

王盛慧(1976-)，女，漢族，吉林長春人，長春工業(yè)大學副教授，碩士，主要從事數字傳動與電力節(jié)能技術方向研究,E-mail:wangshenghui@ccut.edu.cn.

10.15923/j.cnki.cn22-1382/t.2017.5.09

TP 391.9

A

1674-1374(2017)05-0459-05