不同基函數(shù)對RBF-ARX模型的影響

甘敏，彭輝

(1. 中南大學 信息科學與工程學院，湖南 長沙，410083；2. 合肥工業(yè)大學 電氣與自動化工程學院，安徽 合肥，230009)

不同基函數(shù)對RBF-ARX模型的影響

甘敏1,2，彭輝1

(1. 中南大學 信息科學與工程學院，湖南 長沙，410083；2. 合肥工業(yè)大學 電氣與自動化工程學院，安徽 合肥，230009)

研究了高斯函數(shù)、多二次函數(shù)、逆多二次函數(shù)、薄板樣條函數(shù)、三次函數(shù)和線性函數(shù)對RBF-ARX模型的影響。選取Mackey-Glass混沌方程、Lorenz吸引子和Box-Jenkins煤氣爐3種標準時間序列作為測試模型的數(shù)據(jù)，采用一種快速收斂的結(jié)構(gòu)化非線性參數(shù)優(yōu)化方法辨識RBF-ARX模型。研究結(jié)果表明：最優(yōu)基函數(shù)的選擇并不一定是最常用的高斯函數(shù)，而是與問題相關(guān)，因而，在實際建模中，評價各種基函數(shù)有助于選擇最優(yōu)結(jié)構(gòu)的RBF-ARX模型。

徑向基函數(shù)；RBF-ARX模型；建模

非線性系統(tǒng)建模問題是當前學術(shù)界研究的熱點。常用的傳統(tǒng)非線性模型為雙線性模型、指數(shù)自回歸模型、門限自回歸模型和馬爾可夫轉(zhuǎn)移模型等。近年來，神經(jīng)網(wǎng)絡(luò)已成為一種流行的復雜系統(tǒng)建模工具[1?2]。現(xiàn)有的一些方法大多是單獨使用傳統(tǒng)的統(tǒng)計模型或神經(jīng)網(wǎng)絡(luò)模型，由Peng等[3]提出的混合結(jié)構(gòu)徑向基函數(shù)網(wǎng)絡(luò)型系數(shù)的自回歸模型(RBF-ARX)為非線性系統(tǒng)建模與控制問題提供了一種有效的解決方案，并已成功應用于非線性工業(yè)過程的建模與優(yōu)化控制中，如火力發(fā)電裝置的脫銷過程、鍋爐溫度控制過程以及水箱水位控制過程[4?8]。這種模型由 RBF神經(jīng)網(wǎng)絡(luò)和狀態(tài)相依ARX模型相融合而成，即用一組RBF網(wǎng)絡(luò)來逼近狀態(tài)相依ARX模型中的函數(shù)系數(shù)就得到了RBF-ARX模型。在以往的研究和應用中，用來逼近狀態(tài)相依ARX模型中的函數(shù)系數(shù)所用的RBF網(wǎng)絡(luò)全是高斯核的。高斯RBF網(wǎng)絡(luò)是一種最常用的RBF網(wǎng)絡(luò)，然而，在某些應用中，其他形式的RBF網(wǎng)絡(luò)可能更適合使模型性能達到最優(yōu)。在此，本文作者選取高斯函數(shù)、多二次函數(shù)、逆多二次函數(shù)、薄板樣條函數(shù)、三次函數(shù)和線性函數(shù)共6種被認為具有優(yōu)異特性的基函數(shù)[9]的RBF網(wǎng)絡(luò)來逼近狀態(tài)相依 ARX模型中的函數(shù)系數(shù)，以此來研究基函數(shù)對RBF-ARX模型性能的影響。辨識出來的模型被用來預測Mackey-Glass，Lorenz吸引子和Box-Jenkins煤氣爐3種標準時間序列。

1 RBF-ARX模型

為不失一般性，采用1個非線性的單輸入單輸出系統(tǒng)，用RBF-ARX模型可表示為：

RBF-ARX模型可歸為RBF型的模型[3]，辨識這類模型是一個較復雜的優(yōu)化問題。辨識對象包括模型的階次，RBF網(wǎng)絡(luò)的線性權(quán)重、中心以及比例縮放因子(或?qū)挾?。總的來說，有 3類方法來估計此類模型中的參數(shù)：第 1種方法是用非線性參數(shù)優(yōu)化算法(如Levenberg-Marquardt method, LMM)[11]來優(yōu)化所有的參數(shù)，這種方法需搜索整個參數(shù)空間，因而計算強度大；第2種方法[12?14]是先從輸入空間選取中心，然后，用最小二乘法(LSM)來估計線性權(quán)重，顯然這樣得到的解不是最優(yōu)解；第3類方法是把參數(shù)空間分解為線性參數(shù)和非線性參數(shù)，然后，用非線性優(yōu)化算法來估計非線性參數(shù)，線性優(yōu)化算法來估計線性參數(shù)。此類方法可同時優(yōu)化所有參數(shù)，并加快收斂速度。由Peng等[3]提出的結(jié)構(gòu)化的非線性參數(shù)優(yōu)化方法(SNPOM)屬于第3類方法。此方法用類似于LMM 方法來優(yōu)化中心，用 LSM 方法優(yōu)化線性權(quán)重，并在搜索過程中分解參數(shù)空間結(jié)構(gòu)，效果相當于壓縮了參數(shù)空間，使收斂性得到了極大提高并得到了更高的精度。本文作者采用SNPOM辨識方法進行辨識。

2 基函數(shù)

模型(1)中未指明用何種類型的徑向基函數(shù) (?)，Peng等[3?8,10]所用的都是高斯函數(shù)。事實上，有大量的徑向基函數(shù)可以選擇，因此，對于實際問題，徑向基函數(shù)可能有優(yōu)劣之分。

式(2)中的高斯函數(shù)和式(4)中的逆多二次函數(shù)為局部化的函數(shù)，因為當而其他函數(shù)均為非局部性的，因為當r→∞時，?(r)是無界的。Powell[15]的研究表明非局部性的函數(shù)能以更高的精度逼近一個光滑的輸入?輸出映射。

3 比較實驗

選取 Mackey-Glass混沌方程、Lorenz吸引子和Box-Jenkins煤氣爐3種時間序列作為測試對象。每組數(shù)據(jù)均分為訓練數(shù)據(jù)和檢驗數(shù)據(jù)2部分。將訓練數(shù)據(jù)用來辨識模型，檢驗數(shù)據(jù)用來檢驗模型的性能。在所有數(shù)值實驗中，評價模型的性能指標為均方誤差。

3.1 Mackey-Glass時間序列

基于Mackey-Glass微分方程的混沌時間序列預測常常被認為是檢驗和比較各種模型性能的一個標準測試問題。用微分方程表示為：

選取a＝0.2，b=0.1，c=10， =17。用四階Runge-Kutta方法來生成數(shù)據(jù)，初始值為y(0)=1.2，步長為0.1。選取1 000個如下形式的輸入、輸出(分號前為輸入，分號后為輸出)數(shù)據(jù)對：

其中：t為118～1 117。以前500個數(shù)據(jù)對用來訓練模型，后 500個數(shù)據(jù)對用來檢驗模型。圖 1所示為Mackey-Glass時間序列。用以下RBF-AR模型來對此混沌時間序列進行建模：

圖1 Mackey-Glass時間序列Fig.1 Mackey-Glass time series

用6種徑向基函數(shù)替換式(9)中的 (?)，所得到的各種RBF-AR模型對Mackey-Glass時間序列的預測結(jié)果(均為最優(yōu)模型情況)如表1所示。從表1可以看出：薄板樣條函數(shù)的RBF-AR模型的訓練數(shù)據(jù)和檢驗數(shù)據(jù)的均方誤差最小，其檢驗數(shù)據(jù)均方誤差為產(chǎn)生最大均方誤差的三次函數(shù)的 54.4%，為最常用的高斯函數(shù)的68.0%，而且高斯函數(shù)的模型所用節(jié)點數(shù)最多，這說明高斯RBF-AR對于此時間序列并不是最優(yōu)的模型。圖2所示為各種徑向基函數(shù)的RBF-AR模型在不同節(jié)點數(shù)下的預測誤差(檢驗數(shù)據(jù))。

表1 不同徑向基函數(shù)的RBF-AR模型對Mackey-Glass時間序列的預測結(jié)果比較Table 1 Performance comparison of RBF-AR models with different basis functions for Mackey-Glass series

圖2 Mackey-Glass時間序列預測誤差的比較Fig.2 Comparison results for Mackey-Glass time series

3.2 Lorenz吸引子時間序列

Lorenz吸引子系統(tǒng)可由以下微分方程表示：

其中： =10； =28； =3/8。用 Runge-Kutta方法解此微分方程來生成數(shù)據(jù)，步長為 0.05。選取y的1 500個數(shù)據(jù)，如圖3所示，前1 000個數(shù)據(jù)用來訓練模型，后500個數(shù)據(jù)用來檢驗模型。用以下RBF-AR模型來對此時間序列進行建模：

圖3 Lorenz吸引子時間序列Fig.3 Lorenz attractor time series

6種徑向基函數(shù)的 RBF-AR模型(11)對此時間序列的預測結(jié)果(均為最優(yōu)模型情況)如表2所示。從表2可以看出：采用高斯函數(shù)、逆多二次函數(shù)、三次函數(shù)和線性函數(shù)作為基函數(shù)所得的結(jié)果相似；線性函數(shù)的預測結(jié)果最好，薄板樣條函數(shù)的預測結(jié)果最差。圖 4所示為各種徑向基函數(shù)的RBF-AR模型在不同節(jié)點數(shù)下的預測誤差(檢驗數(shù)據(jù))。

表2 不同徑向基函數(shù)的RBF-AR模型對Lorenz吸引子時間序列的預測結(jié)果Table 2 Performance comparison of RBF-AR models with different basis functions for Lorenz attractor time series

圖4 Lorenz吸引子時間序列預測誤差的比較Fig.4 Comparison results for Lorenz attractor time series

3.3 Box-Jenkins時間序列

圖 5所示為 Box-Jenkins煤氣爐時間序列的296對輸入?輸出數(shù)據(jù){y(t),u(t)}。輸出y(t)是反應爐中產(chǎn)生二氧化碳的濃度，輸入u(t)是輸入煤氣的速度。以基于[y(t?1),y(t?2),y(t?3),y(t?4),u(t?1),u(t?2),u(t?3),u(t?4),u(t?5),u(t?6)]來預測y(t)。因此，有效的數(shù)據(jù)變?yōu)?90對，其中，前140對用作訓練數(shù)據(jù)，后150對用作檢驗數(shù)據(jù)。用以下RBF-ARX模型來對此時間序列進行建模：

各種徑向基函數(shù)的 RBF-ARX模型(12)對此時間序列的預測結(jié)果如表3所示。從表3可以看出：每種徑向基函數(shù)的RBF-ARX模型只用了1個節(jié)點數(shù)，它們在訓練數(shù)據(jù)上的結(jié)果非常相似，然而，在檢驗數(shù)據(jù)上差異較大。對于此時間序列，采用高斯函數(shù)的模型取得的模型預測性能最佳。

圖5 Box-Jenkins時間序列Fig.5 Box-Jenkins time series

表3 不同徑向基函數(shù)的RBF-ARX模型對Box-Jenkins時間序列的預測結(jié)果Table 3 Performance comparison of RBF-AR models with different basis functions for Box-Jenkins time series

4 結(jié)論

(1) 最優(yōu)基函數(shù)的選擇依賴于實際問題。最優(yōu)的基函數(shù)有高斯函數(shù)、薄板樣條函數(shù)和線性函數(shù)。

(2) 在實際的應用中，測試和比較不同的基函數(shù)可能會得到更優(yōu)的結(jié)果，從而可以選擇最優(yōu)結(jié)構(gòu)的RBF-ARX模型。

[1] 喻壽益, 王吉林, 彭曉波. 基于神經(jīng)網(wǎng)絡(luò)的銅閃速熔煉過程工藝參數(shù)預測模型[J]. 中南大學學報: 自然科學版, 2007,38(3): 523?527.

YU Shou-yi, WANG Ji-lin, PENG Xiao-bo. Prediction model of craft parameters based on neural network during the process of copper flash smelting[J]. Journal of Central South University:Science and Technology, 2007, 38(3): 523?527.

[2] 李彥斌, 李存斌, 宋曉華. 改進的人工智能神經(jīng)網(wǎng)絡(luò)預測模型及其應用[J]. 中南大學學報: 自然科學版, 2008, 39(5):1054?1058.

LI Yan-bin, LI Cun-bin, SONG Xiao-hua. Prediction model of improved artificial neural network and its application[J]. Journal of Central South University: Science and Technology, 2008,39(5): 1054?1058.

[3] PENG Hui, Ozaki T, Haggan-Ozaki V, et al. A parameter optimization method for the radial basis function type models[J].IEEE Transactions on Neural Networks, 2003, 14(2): 432?438.

[4] PENG Hui, Ozaki T, Toyoda Y, et al. RBF-ARX model based nonlinear system modeling and predictive control with application to a NOxdecomposition process[J]. Control Engineering Practice, 2004, 12(2): 191?203.

[5] PENG Hui, YANG Zi-jiang, GUI Wei-hua, et al. Nonlinear system modeling and robust predictive control based on RBF-ARX model[J]. Engineering Applications of Artificial Intelligence, 2007, 20: 1?9.

[6] Peng H, Nakano K, Shioya H. Nonlinear predictive control using neural nets-based local linearization ARX model—stability and industrial application[J]. IEEE Transactions on Control Systems Technology, 2007, 15(1): 130?143.

[7] Peng H, Wu J, Inoussa G, PENG Hui, et al. Nonlinear system modeling and predictive using RBF nets-based quasi-linear ARX model[J]. Control Engineering Practice, 2009, 17(1): 59?66.

[8] Haggan-Ozaki V, Ozaki T, Toyoda Y. An akaike state-space controller for RBF-ARX models[J]. IEEE Transactions on Control Systems Technology, 2009, 17(1): 191?198.

[9] Bishop C M. Neural networks for pattern recognition[M].Oxford: Clarendon Press, 1995: 164?190.

[10] Shi Z, Tamura Y, Ozaki T. Nonlinear time series modeling with the radial basis function-based state-dependent autoregressive model[J]. International Journal of System Science, 1999, 30(7):717?727.

[11] Marquardt D. An algorithm for least-squares estimation of nonlinear parameters[J]. SIAM J Appl Math, 1963, 11(2):431?441.

[12] Moody S, Darken C. Fast learning in networks of locally-tuned processing units[J]. Neural Comput, 1989, 1(2): 281?294.

[13] Chen S, Cowan C F N, Grant P M. Orthogonal least squares learning algorithm for radial basis function networks[J]. IEEE Transactions on Neural Networks, 1991, 2(2): 302?309.

[14] Ozaki T, Sosa P V, Haggan-Ozaki V. Reconstructing the nonlinear dynamics of epilepsy data using nonlinear time series analysis[J]. Journal of Signal Processing, 1999, 3(3): 153?162.

[15] Powell M J D. Radial basis functions for multivariable interpolation: A review[C]//Mason J C, Cox M G, ed. Algorithms for Approximation. Oxford: Clarendon Press, 1987: 143?167.

(編輯 劉華森)

Effect of different basis functions on RBF-ARX model

GAN Min1,2, PENG Hui1

(1. School of Information Science and Engineering, Central South University, Changsha 410083, China;2. School of Electrical Engineering and Automation, Hefei University of Technology, Hefei 230009, China)

The effects of different basis functions including Gaussian, multiquadratic, inverse multiqudratic, thin plate spline, cubic and linear on the radial basis function network-style coefficients auto regressive model with exogenous variable (RBF-ARX) model were examined. Several benchmark time series including Mackey-Glass, Lorenz attractor and Box-Jenkins gas furnace were used as the test data. A fast-converging estimation method was applied to optimizing the RBF-ARX model parameters. The simulation results show that the optimal choice of basis function is not a normal Gaussian function but a problem dependent and evaluating all the recognised basis functions suitable for the RBF-ARX model is advantageous.

radial basis functions; RBF-ARX model; modeling

TP183

A

1672?7207(2010)06?2231?05

2009?10?06；

2009?12?06

湖南省科技計劃國際合作重點資助項目(2009WK2009)；國家創(chuàng)新研究群體科學基金資助項目(70921001)

甘敏(1982?)，男，湖北武漢人，博士，從事復雜系統(tǒng)建模、進化計算及非線性時間序列分析的研究；電話：15215698383；E-mail:aganmin@yahoo.com.cn