基于ＰＳＯ滾動優(yōu)化的ＬＳ－ＳＶＭ預(yù)測控制

（江南大學(xué) 通信與控制工程學(xué)院， 江蘇無錫 214122）

摘 要：

針對非線性時延系統(tǒng)、傳統(tǒng)預(yù)測控制算法難以建立精確模型、控制精度不高的現(xiàn)狀，提出一種基于最小二乘支持向量機(jī)（LS-SVM）的非線性系統(tǒng)預(yù)測控制算法。該算法通過LS-SVM對非線性系統(tǒng)輸入輸出數(shù)據(jù)序列的訓(xùn)練學(xué)習(xí)，建立其預(yù)測模型；然后運(yùn)用粒子群(PSO)算法完成非線性預(yù)測控制的滾動優(yōu)化。仿真結(jié)果表明，基于該方法的非線性系統(tǒng)預(yù)測控制具有較好的控制效果。

關(guān)鍵詞：非線性模型預(yù)測控制； 非線性建模； 最小二乘支持向量機(jī)； 粒子群算法

中圖分類號：TP273文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695(2009)04-1381-03

Predictive controlling of LS-SVM based on rolling optimization by PSO

CHEN Jin-dong，WANG Xian-fang，PAN Feng

(School of Communication Control Engineering， Jiangnan University， Wuxi Jiangsu214122，China)

Abstract:It is difficult to build an accurate model using the traditional predictive control algorithm for the nonlinear time delay system， and the control accuracy is low. This paper proposed a nonlinear predictive control algorithm based on least squares support vector machines (LS-SVM) model. It obtained the nonlinear off-line model of the nonlinear system by LS-SVM to train a sequence data of input and output， and finished the whole rolling optimization procedure by PSO. The simulation results illustrate that the nonlinear predictive control using LS-SVM is effective.

Key words：nonlinear model predictive control; nonlinear modeling; least square SVM; particle swarm optimization(PSO)



預(yù)測控制是基于預(yù)測模型、滾動優(yōu)化、反饋校正的優(yōu)化控制算法，其本質(zhì)是根據(jù)對系統(tǒng)未來狀態(tài)的預(yù)測來優(yōu)化系統(tǒng)行為[1]。經(jīng)典的預(yù)測控制算法，一般是通過獲得對象的單位階躍響應(yīng)數(shù)據(jù)或脈沖響應(yīng)數(shù)據(jù)來估計(jì)所需要的模型參數(shù)，得到的模型是近似的線性模型。針對強(qiáng)非線性系統(tǒng)，上述方法就會存在模型失配的問題。

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的支持向量機(jī)較好地解決了小樣本、非線性、高維數(shù)和局部極小點(diǎn)等實(shí)際問題，具有很強(qiáng)的泛化能力[2]。最小二乘支持向量機(jī)(LS-SVM)是標(biāo)準(zhǔn)支持向量機(jī)的一種擴(kuò)展，簡化了計(jì)算復(fù)雜性，求解速度相對加快，在函數(shù)估計(jì)和逼近中得到了廣泛應(yīng)用。

1 最小二乘支持向量機(jī)

支持向量機(jī)主要思想是選擇一個非線性映射(#8226;)把n維樣本向量(x1，y1)，…，(xl，yl)∈Rn，從原空間Rn映射到特征空間[3]，在此高維特征空間中構(gòu)造最優(yōu)線性決策函數(shù)y(x)=sgn[w#8226;(x)+b]，在構(gòu)造最優(yōu)決策函數(shù)時，利用了結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，同時引入了間隔概念；然后巧妙利用原空間的核函數(shù)取代高維特征空間的點(diǎn)積運(yùn)算，避免了復(fù)雜計(jì)算。

最小二乘支持向量與標(biāo)準(zhǔn)支持向量機(jī)的區(qū)別就在于利用結(jié)構(gòu)風(fēng)險(xiǎn)原則時，在優(yōu)化目標(biāo)中選取了不同的損失函數(shù)和約束條件。標(biāo)準(zhǔn)SVM選取誤差ξi和不等式約束，LS-SVM則選取誤差ξi的二范數(shù)和等式約束。

Suykens等人在文獻(xiàn)[4]中提出了用于分類的LS-SVM方法，它用如下形式的函數(shù)對未知函數(shù)進(jìn)行估計(jì)：

y(x)=wT(x)+b(1)

其中：x∈Rn，y∈R，非線性函數(shù)(#8226;):Rn→R將輸入空間映射為高維特征空間。給定訓(xùn)練及{xk，yk}Nk=1，LS-SVM定義如下優(yōu)化問題：

minJw，b，ξ(w，ξ)=1/2wTw+γ/2∑Ni=1ξ2i(2)

滿足約束：

yi=wT#8226;(xi)+b+ξi(i=1，…，l)

(3)

相應(yīng)的Lagrangian函數(shù)為

L=J-∑li=1αi[wT(xi)+b+ξi-yi](i=1，…，l)

(4)

此優(yōu)化問題有如下的解析解：

ba=0ITIΩ+γ-1I-10y

(5)

其中：y=[y1，y2，…，yn]T，I=[1，…，1]T；α=[α1，…，αN]T；Ω是一個方陣，其第k列l(wèi)行的元素是Ωkl=(xl)T(xl)=K(xk，xl)，K(#8226;，#8226;)是核函數(shù)。

由式（1）~（5）可以求解出w，從而可以得到訓(xùn)練數(shù)據(jù)集的軟測量模型：

y(x)=∑Ni=1αiK(x，xi)+b

(6)

從以上推導(dǎo)可以看出，等式約束在將求解優(yōu)化問題轉(zhuǎn)換為求解線性方程的過程中起到了重要作用，優(yōu)化問題用線性方程求解顯然可以大大減少算法的復(fù)雜度。另外，其需要預(yù)先確定的參數(shù)比標(biāo)準(zhǔn)的SVM算法要少。以核函數(shù)RBF函數(shù)為例，標(biāo)準(zhǔn)SVM的參數(shù)為三個ε、C、δ；而LS-SVM的參數(shù)為正則化參數(shù)C和核函數(shù)參數(shù)δ。

2 粒子群算法

粒子群優(yōu)化算法（PSO）是一種進(jìn)化計(jì)算技術(shù)，最初由Kennedy等人[5]提出，源于對鳥群捕食行為研究，已經(jīng)被證明是一種很好的優(yōu)化方法[6]。PSO中的每個優(yōu)化問題的解都是搜索空間中的一只鳥，稱為粒子，在搜索空間中以一定的速度飛行，這個速度根據(jù)它本身的飛行經(jīng)驗(yàn)和同伴的飛行經(jīng)驗(yàn)來動態(tài)調(diào)整。每個粒子的坐標(biāo)為Xi=(xi1，xi2，…，xiD)，每個粒子的飛行速度為Vi=(vi1，vi2，…，viD)，每個粒子都有一個優(yōu)化目標(biāo)函數(shù)決定的適應(yīng)值（fitness value），對于第i個粒子，其所經(jīng)過的歷史最好位置記為Pi=(pi1，pi2，…，pilD)，也稱為個體極值pbest；整個群體中所有粒子發(fā)現(xiàn)的最好位置記為Pg=(g1，g2，…，gD)，也稱為全局極值gbest。粒子就是根據(jù)這兩個極值來不斷更新自己的速度和位置：

vij(k+1)=vij(k)+r1c1(pij-xij(k))+r2c2(gj-xij(k))xij(k+1)=xij+vij(k+1)

(7)

其中：i=1，2，…，m，m表示粒子的總個數(shù)；j=1，2，…，D，D表示一個粒子的總維數(shù)，根據(jù)具體的優(yōu)化問題而定；r1，r2為[0，1]之間的隨機(jī)數(shù)；c1、c2為權(quán)重因子，一般取2。

3 粒子群算法滾動優(yōu)化的最小二乘預(yù)測控制

3.1 最小二乘支持向量機(jī)建立預(yù)測模型

運(yùn)用模型進(jìn)行預(yù)測控制是預(yù)測控制的基本特征，模型是否能夠反映系統(tǒng)的特征，直接關(guān)系到控制的精度和穩(wěn)定性，因此研究高精度、有效、簡單的信息預(yù)測模型是目前非線性預(yù)測控制要解決的重要問題[7]。采用最小二乘支持向量機(jī)建立非線性系統(tǒng)預(yù)測模型的方法如下：

考慮一個單輸入單輸出非線性模型：

y(k+1)=f(y(k)，y(k-1)，… ，y(j-n)，x(k)，x(k-1)，…，

x(k-m)) y∈Rn，x∈Rm，m≤n(8)

其中：x和y分別代表對象的輸入和輸出；n和m分別是輸出y和輸入x的階次； f(#8226;)是一個未知的連續(xù)非線性函數(shù)。

最小二乘支持向量機(jī)將非線性的樣本數(shù)據(jù)映射為高維空間的線性輸出

f(x)=∑ni=1aiK(x，xi)+b

(9)

這里核函數(shù)采用徑向基函數(shù)

K(x，xi)=exp(-‖x=xi‖2/2σ)

(10)

其中：‖x-xi‖=∑ni=1(xk-xki)2；σ為核寬度。

3.2 粒子群算法滾動優(yōu)化

預(yù)測控制是一種優(yōu)化算法，它是通過某一性能指標(biāo)的最優(yōu)來確定未來的控制作用。這一性能指標(biāo)涉及到系統(tǒng)未來的行為，如使對象的輸出在未來采樣點(diǎn)上跟蹤某一期望軌跡的方差為最小。

對于如式（8）所示的非線性系統(tǒng)，非線性預(yù)測控制（NMPC）的目標(biāo)函數(shù)可選為如下二次型指標(biāo)：

minJ=1/2{∑Pi=1λi(yi(yr(k+i)-yp(k+i))2+

∑Mj=1μjΔu(t+j-1))}

（11）

其中：P為預(yù)測時域；M為控制時域。在目標(biāo)函數(shù)中加入控制量約束項(xiàng)，除可限制過大的控制量沖擊、使過程輸出變化平穩(wěn)外，還可使采用具有不穩(wěn)定零點(diǎn)的脈沖響應(yīng)這類非參數(shù)模型的系統(tǒng)獲得穩(wěn)定的運(yùn)行性能。

NMPC的目的在于從控制量的允許區(qū)間尋找一組最優(yōu)控制序列{u*(t+j-1)，j=1，2，…，M}，使得目標(biāo)函數(shù)J最小。這個尋優(yōu)構(gòu)成是在線滾動進(jìn)行的。

采用粒子群算法進(jìn)行非線性滾動優(yōu)化，尋找到一組最優(yōu)控制序列{u*(t+j-1)，j=1，2，…，M}，使得目標(biāo)函數(shù)J最小。

3.3 反饋校正

由于實(shí)際系統(tǒng)存在非線性、時變性等因素的影響，會引起預(yù)測模型的預(yù)測輸出與對象實(shí)際輸出之間存在著一定的偏差，稱之為預(yù)測誤差，為克服這個誤差必須引入反饋校正。本文采用的反饋校正方法為

yp(k+1)=ym(k+1)+he(k)

(12)

其中：h為補(bǔ)償系數(shù)，根據(jù)實(shí)際應(yīng)用的效果進(jìn)行調(diào)整；e(k)為k時刻系統(tǒng)實(shí)際輸出與模型預(yù)測之間的誤差。

e(k)=y(k)-ym(k)

(13)

3.4 粒子群滾動優(yōu)化的最小二乘預(yù)測控制算法步驟

a）設(shè)定預(yù)測時域P，控制時域M，控制加權(quán)λ。

b）由控制要求獲取未來的期望輸出序列yr(j)，通常參考軌跡采用從現(xiàn)在時刻實(shí)際輸出值出發(fā)的一階指數(shù)形式，如下式所示

W(j)=(1-0.3j)×r

(14)

yr(j)=bjyp+W(j)

(15)

其中：j=1，2，…，P;yr為參考軌跡；r為設(shè)定值；yp為系統(tǒng)輸出；b為柔化系數(shù)。

c）利用預(yù)先測量的被控對象開環(huán)輸入輸出數(shù)據(jù)，把它們作為訓(xùn)練最小二乘支持向量機(jī)的樣本，對最小二乘支持向量機(jī)進(jìn)行離線訓(xùn)練，得到令人滿意的最小二乘支持向量機(jī)模型。

d）求出實(shí)際系統(tǒng)的輸出y(k)。

e）利用最小二乘支持向量機(jī)模型求出當(dāng)前時刻的模型輸出ym(k)以及未來時刻的預(yù)測輸出ym(k+i)，經(jīng)過在線的反饋校正得到系統(tǒng)的實(shí)際預(yù)測輸出值yp(k+i)。

f）采用粒子群算法滾動優(yōu)化，獲得控制的最優(yōu)序列u(k+j-1)。

g）將第一控制量u(k)作用于系統(tǒng)，返回步驟d）。

4 實(shí)例分析

4.1 針對如下非線性模型

y(k)=0.7y(k-1)y(k-2)/(1+y(k-1)2+y(k-2)2)+

0.5cos(0.4y(k-1))+1.5x(k-1)

(16)

為了驗(yàn)證本方法的有效性，針對式(16)所示的非線性系統(tǒng)，采用LS-SVM建立該系統(tǒng)的預(yù)測模型，并采用粒子群算法滾動優(yōu)化進(jìn)行預(yù)測控制。

在建模時采用輸入均值為0、方差為1的白噪聲信號，共產(chǎn)生400批數(shù)據(jù)，分為八組，前五組數(shù)據(jù)用來訓(xùn)練，后三組用來測試。模型的輸入向量為X=[x(k-1)，y(k-1)，y(k-2)]，輸出向量為Y=[y(k)]，采用LS-SVM進(jìn)行離線建模。采用LS-SVM進(jìn)行離線建模時，核函數(shù)采用RBF函數(shù)，LS-SVM的參數(shù)通過交叉驗(yàn)證法確定，得到：c=500，σ=0.3。模型的預(yù)測誤差如圖1所示。

從圖1可以看出，通過用最小二乘支持向量機(jī)對上述非線性過程建立的預(yù)測模型，模型的預(yù)測誤差在較小范圍內(nèi)（-0.05～+0.04）。在進(jìn)行預(yù)測控制時，給定的信號為一個進(jìn)行兩次單位階躍的信號，即開始時產(chǎn)生一個單位階躍信號，25 s時產(chǎn)生一個單位階躍信號。優(yōu)化時域P=10，控制時域M=5，柔化系數(shù)b=0.2，λ=0.9，μ=1，h=0.1。粒子群算法的參數(shù)選取，m取10，控制律u(k)的取值為（-1，1）。從圖2可以看出，通過粒子群滾動優(yōu)化控制律后，系統(tǒng)的輸出結(jié)果與動態(tài)矩陣控制（dynamic matrix control， DMC）相比，明顯減小了超調(diào)量，縮短了調(diào)節(jié)時間，提高了響應(yīng)速度，增強(qiáng)了實(shí)時性。

4.2 針對連續(xù)槽式攪拌反應(yīng)器（CSTR）模型

在CSTR中發(fā)生的簡單一級不可逆放熱反應(yīng)：A→B，采用文獻(xiàn)[5]的研究模型，其物質(zhì)和能量平衡的模型方程如下：

x#8226;1(t)=1/λx1(t)+Da[1-x1(t)]#8226;exp[x2(t)/1+

x2(t)/γ0]+(1/λ-1)x1(t-τ)

(17)

x#8226;2(t)=(1/λ+β)x2(t)+HDa[1-x1(t)]exp[x2(t)/1+

x2(t)/γ0]+(1/λ-1)x2(t-τ)+βu(t)

(18)

其中：u(t)∈(0，3)，γ0=20，H=9，β=0.3，Da=0.072，λ=0.8，τ=2。

狀態(tài)x1(t)是反應(yīng)的轉(zhuǎn)換速度且0＜x1(t)＜1，x2(t)是溫度。假設(shè)只有溫度能夠在線測量，即

y(t)=[0 1]x1(t)x2(t)

(19)

針對以上模型，采用本文所介紹的方法進(jìn)行建模與控制。

在建模時輸入采用[0，3]之間的隨機(jī)數(shù)，共產(chǎn)生四批數(shù)據(jù)，即三批訓(xùn)練和一批測試數(shù)據(jù)；采用LS-SVM離線建模。采用LS-SVM進(jìn)行離線建模時，核函數(shù)采用RBF函數(shù)，LS-SVM的參數(shù)通過交叉驗(yàn)證法確定，得到c=300，σ=0.1。模型的預(yù)測誤差如圖3所示。

從圖3可以看出，通過用最小二乘支持向量機(jī)對上述該連續(xù)槽式攪拌反應(yīng)器的反應(yīng)過程建立的預(yù)測模型，模型的預(yù)測誤差精度也比較高，不超過0.03。

在進(jìn)行預(yù)測控制時，給定的信號為階躍信號。其中優(yōu)化時域P=5，控制時域M=3，柔化系數(shù)b=0.2，λ=0.9，μ=1，h=0.1。粒子群算法的參數(shù)選取，m取10。

從圖4可以看出，在這個反應(yīng)過程中，通過粒子群滾動優(yōu)化的LS-SVM控制器，能夠很快地將輸出穩(wěn)定在要求的控制點(diǎn)上，減小了超調(diào)量，并提高了響應(yīng)速度，進(jìn)一步驗(yàn)證了該方法的有效性。

5 結(jié)束語

針對強(qiáng)時變的非線性系統(tǒng)，提出了一種基于最小二乘支持向量機(jī)的模型預(yù)測方法。首先利用最小二乘支持向量機(jī)對建立非線性系統(tǒng)建立預(yù)測模型；然后用粒子群算法進(jìn)行非線性預(yù)測控制的滾動優(yōu)化。通過兩個非線性模型的實(shí)例應(yīng)用，證明了該方法的有效性和可行性，具有一定的實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1]席裕庚.預(yù)測控制［M］.北京:國防工業(yè)出版社，1993.

［2］張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論語支持向量機(jī)［J］.自動化學(xué)報(bào)，2000，26(1):32-42.

［3］VAPNIK V. The nature of statistical learning theory[M].New York:Springer-Verlag， 1999.

［4］SUYKENS J A K，VANDEWALLE J. Least squares support vector machine classifiers［J］.Neural Processing Letters， 1999， 9 (3): 293-300.

［5］KENNEDY J， EBERHART R. Particle swarm optimization［C］//Proc of IEEE International Conference on Neural Networks. Perth， Australia:[s.n.]， 1995:1942-1948.

［6］張燕，汪鐳，康琦，等.微粒群優(yōu)化算法及其改進(jìn)形式綜述[J].計(jì)算機(jī)工程與應(yīng)用，2005，41(2):1-3.

［7］張浩然，韓正之，李昌剛.基于支持向量機(jī)的非線性模型預(yù)測控制[J].系統(tǒng)工程與電子技術(shù)，2003，25(3): 330-334.

［8］BAO Zhe-jing， PI Dao-ying， SUN You-xian. Nonlinear model predictive control based on support vector machine with multi-kernel[J]. Chinese Journal of Chemical Engineering， 2007，15(5): 691-697.