最小二乘支持向量機在線建模在預測控制中的應用*

洪 洲

(廣州城市職業學院信息技術系，廣州510405)

最小二乘支持向量機在線建模在預測控制中的應用*

洪 洲*

(廣州城市職業學院信息技術系，廣州510405)

針對智能預測控制中的預測模型，提出了最小二乘支持向量機(LS-SVM)在線模型的遞推算法，減少了矩陣求逆計算。當模型達到較高的精度后，每次迭代過程中當一個新的數據點加入到數據集，則把具有最小|αi|的數據點刪除。不但解決了數據集規模的問題，而且提高了預測模型的精確性。通過仿真驗證了基于在線LS-SVM模型的預測控制可以使系統快速、準確地跟蹤期望輸出，達到預期的控制效果。

LS-SVM;在線建模;預測控制;預測模型

預測模型在工業過程的預測控制中起到舉足輕重的作用，模型的精確度越精確，優化控制質量就越高。:實際過程中，由于系統工作域的遷移，使得離線數據樣本所建立的模型并不能準確描述系統的實際狀況.為了使模型能夠準確反應系統的當前狀態，應不斷利用所獲得的最新數據建立能夠反映系統當前狀況的新模型.即采用在線建模的方法。

1 LS-SVM在線建模遞推算法

在LS-SVM中，用

來表示對象的模型，α和b是待定參數，求解方法是根據結構風險最小化原則，并使樣本擬合誤差最小化，把約束優化問題變成無約束優化問題，建立Lagrange函數，根據KKT條件，可得到線性方程組:

其中γ為調整參數因子。

K(xi，xj)是滿足Mercer條件的核函數，常用的是徑向基函數。

通過訓練數據集{(xi，yi)}Ni=1，求解方程(3)來確定參數α和b。

就在線建模而言，需要不間斷的增添新的數據到訓練集中去，模型才可以實時的得以校正來適應新的對象特性改變，所以訓練數據會被增加。LSSVM需要計算矩陣Φ-1，該矩陣的維數與訓練數據量相等，在線建模過程中，Φ維數必然隨著訓練數據的增加而增長，矩陣求逆計算量非常大，所以不適用于在線建模［1］。

為了LS-SVM應用于在線建模，可采用一種遞推最小二乘支持向量機回歸算法:當訓練數據增加時，可采用上次計算得到的參數遞推得加入新數據后的參數，可以減少矩陣求逆計算［2］。具體算法如下:

假設數據集大小為N時得到的模型參考矩陣為ΘN=［b α］T，令PN=Φ-1N，當一個新的數據點{xN+1，yN+1}加入到數據集時

遞推LS-SVM算法避免了大矩陣求逆，節省了計算時間［3］。但模型參數維數是隨著訓練數據線性增長，同時要保存所有的訓練數據和Φ-1N。對于連續運行的對象，在線建模要進行下去，關鍵的問題是解決數據集規模的問題［4］。

經過一定量的遞推計算后，訓練后的模型達到較高的精度后，建模過程應保持訓練數據集大小不變。即如果一個新的數據點加入到數據集，則同時刪除原數據集中的一個數據，數據集總量保持不變。數據集中對于建模的重要程度可通過Lagrange乘子絕度值的大小|αi|反映出來，|αi|越小，對建模越無關緊要。因此在每次迭代過程中，把具有最小|αi|的數據點刪除［5］。具體算法如下:

假定當前的數據集為{(xi，yi)}Ni=1，令

當數據集中最后一組數據{xN+1，yN+1}被刪除時，

其算法實際是增加數據點推算法的逆過程［6］。

2 在線LS-SVMM建模的方法

(1)選取恰當的核函數與相應的參數，確定輸入階數nu和輸出階數ny與采樣周期T0以及訓練數據集的最大維數Nmax，還有性能指標中的參數γ和核函數的參數。

(2)對系統施加輸入u，采樣Nmax組輸入輸出數據{yk，xk}Nmaxk=1，構造初始的回歸向量xk(k=1，2，…，Nmax)，形成初始訓練集{yk，xk}Nmaxk=1，根據式(2)和式(3)分別計算得出模型的參數值PNmax與ΘNmax。

(3)新采樣時刻k+1采樣輸入輸出數據{yk+1，uk+1}構造新的回歸向量xk+1得到新的訓練數據。

(4)把PNmax和核函數代入式(6)～式(8)計算ψN+1，ζN+1和 ηN+1，根據式(4)、式(5)計算新的ΘN+1和PN+1。

(5)從上次運算獲得的Lagrange乘子里找出最小|αi|相對應的序數I，在α中刪除αi在數據集里刪除(yi，xi)，設P11是矩陣PN+1除掉p11以后的方陣，P12是矩陣PN+1第I列除掉p11后列向量，P21是矩陣PN+1第I行除掉p11后的行向量，P22=p11，根據式(10)、式(11)計算Φ-1N，確定當前模型。轉步驟(3)。

為檢驗在線建模與離線建模模型的精確性，以簡單的非線性函數y=x sin(3πx)，x∈［1，10］作為建模對象，隨機取該函數的400組數據。對于離線建模取其中200組數據作為訓練數據，最后100組數據作為測試數據。在線建模采用300組數據作為訓練數據，按照上述方法保持向量機的維數200不變，用相同的100組數作為測試數據。兩種模型預測誤差如下圖1所示。表明在線模型能更好的預測輸出，其精度大于離線模型，這種算法是有效的。

圖1 預測誤差

3 基于在線LS-SVM模型的廣義預測控制仿真

預測控制源于工業實踐，并在實踐中發展和完善起來的一類計算機控制算法，具有鮮明的特征，是一種基于預測模型、滾動優化并結合反饋校正的優化控制算法［7］，其基本結構如圖2所示。

圖2 預測控制的基本結構

預測控制中作為基礎的預測模型，是對象動態特性的粗略描述，實際中不可能獲得精確的數學模型，因為實際系統存在的非線性、時變、模型適配和干擾等不確定因素，基于不變模型的預測不可能準確地與實際情況完全符合，這就需要對基礎模型進行在線修正。本文利用LS-SVM在線建模作為預測模型，提高預測模型的精度。

假設被控對象的CARMA模型為:

式中y(k)、u(k)和ξ(k)分別表示輸出、控制量和白噪聲，d為純延時，n=2，m=5，i=1，其他各個參數未知。采用廣義預測控制自適應算法，利用 LSSVM在線建模作為預測模型。訓練數據集最大維數為200，核函數采用徑向基函數，參數σ=1.77，γ =5，控制參數N=8，控制加權矩陣為單位陣I5×5，輸出柔化系數α=0.7;期望輸出ω(k)為幅值為10的方波信號，仿真結果如圖3所示。

從圖3我們能夠看出，基于在線LS-SVM模型的預測控制，系統能夠準確、快速地跟蹤期望輸出。

4 結論

LS-SVM模型參數的遞推計算方法，可以使當前時刻的模型非常快地按照上一時刻的結果計算獲得，可以應用到工業對象的在線建模。然而因為新的信息連續不斷加入到訓練數據集，這樣就使在線模型的精確性比離線算法高。將其運用至廣義預測控制里可以解決其中的非線性建模問題和提高控制質量。

圖3 在線建模預測控制效果

［1］劉毅，王海清，李平.局部最小二乘支持向量機回歸在線建模方法及其在間歇過程的應用［J］.化工學報，2007，11:2846 -2851.

［2］張浩然，汪曉東.回歸最小二乘支持向量機的增量和在線學習算法［J］.計算機學報，2006，29:400-406.

［3］Goethals I，Pelckmans K，Suykens JA.Identification ofmimohammersteinmodels using least squares support vectormachine［J］.Automatica，2005，41:1263-1272.

［4］Ke Y，Yiyu C.Discriminating the Genuinenessof Chinese Medicines Using Least Surares Support Vector Machines［J］.Chinese Uournal of Analytical Chemistry，2006，34(4):561-564.

［5］Comak E，Polat K，Gunes S.A New Medical Decision Making System:Least Square Support Vector Machine(LSSVM)with Fuzzy Weighting Preprocessing［J］.Expert Systems with Applications，2007，32:409-414.

［6］張英，蘇宏業.基于模糊最小二乘支持向量機的軟測量建模［J］.控制與決策，2005，20(6):621-624.

［7］龐中華，金元郁.基于誤差校正的預測控制算法［J］.化工自動化及儀表，2005，32(2):1-4.

Application of LS-SVM On-Line M odeling in Predictive Control*

Hong Zhou*
(Department of Information Technology，Guangzhou City Polytechnic，Guangzhou 510405，China)

Aiming at the predictionmodel in intelligent predictive control，the recursive algorithm of LS-SVM on-line modeling was put forward.which reducing the calculation of inversematrix.After the onlinemodel achieved to high accuracy，it removed with the smallest|αi|data pointwhen a new data pointare added to the data set in each iteration process，Itwas not only solved the problem of the size of the data set but also improved the accuracy of prediction model.The simulate result shows that the predictive control based on LS-SVM on-linemodeling could tracking the expected output rapidly and stably，and achieving anticipated control effect.

LS-SVM;on-linemodeling;predictive control;prediction model

10.3969/j.issn.1005-9490.2014.01.037

TP18 文獻標識碼:A 文章編號:1005-9490(2014)01-0154-03

項目來源:廣東省哲學社會科學“十二五”規劃項目(GD11YJY01);廣州市教育局資助廣州市教育科學“十二五”規劃項目(11B016)

2013-04-21修改日期:2013-05-22

EEACC:7210

洪 洲(1979-)，男，漢族，江西東鄉人，碩士，副教授，主要研究方向為A-gent軟件技術、計算虛擬化、人工智能。