基于非線性動態系統辨識的 D-FNN算法研究*

楊文茵，張德豐，王傳勝

(1.佛山科學技術學院計算機系，廣東 佛山 528000；2.暨南大學計算機科學系，廣東 廣州 510000)

本文將模糊邏輯和神經網絡相結合，利用神經網絡實現模糊化、模糊規則表達、模糊邏輯推理和反模糊化過程，提出了自適應學習方法，克服了基于先驗知識確定模糊規則及網絡結構的困難[1]。模糊邏輯、神經網絡和模糊神經網絡是智能計算這門交叉科學的基本內容，近年來他們都得到了飛速的發展并獲得了廣泛的應用。多學科算法的相互交叉、相互滲透可以進一步促進現代科學技術的發展[2]。

1 RBF神經網絡的學習算法

1.1 模糊神經網絡的結構

D-FNN(動態模糊神經網絡)的結構是基于擴展的RBF(徑向基)神經網絡。RBF神經網絡具有單隱層的三層前饋網絡，RBF結構如圖1所示。由于它模擬人腦中局部調整、相互覆蓋接收域的神經網絡，RBF網絡是一種局部逼近網絡，已經證明它能以任意精度逼近任一連續函數[3]。

設網絡輸入n維向量u，輸出m維向量y，輸入/輸出樣本對長度為L。

RBF網絡隱層第i個節點的輸出為

qi=R(‖u-ci‖)

(1)

式中：

u為n維輸入向量；ci為第i個隱節點的中心，i=1,2,…,s；‖·‖通常為歐氏范數；R(·)為RBF函數，具有局部感受的特性。它有多種形式，體現了RBF網絡非線性映射能力[4]。

網絡輸出層第k個節點的輸出為隱節點輸出的線性組合，即

(2)

式中，wk i為qi→yk的連接權；θk為第k個輸出節點的閾值[5]。

圖1 RBF網絡結構

設有p組輸入/輸出樣本up/dd，p=1,2,…,L定義目標函數(L2范數)為

(3)

學習的目的是使

J≤ε

(4)

式中，yp是在up輸入下網絡的輸出向量[6]。

高斯徑向基函數網絡隱節點的輸出為

(5)

式中，[·]表示向量u與ci間的馬氏距離。

當∑i為對角陣時，式(5)為

(6)

當∑i為單位陣時，式(5)為

(7)

作用函數是高斯徑向基函數(RBF)，是非線性的，即

R(h)=exp(-h)

(8)

(9)

式中，u為n維輸入向量，j=1～n；ci為第i個隱節點的中心；σi為第i個隱節點的標準化參數；σij為第i個隱節點第j分量的標準化參數。RBF神經網絡被廣泛用于函數逼近以及模式識別中，在這些應用中，樣本的維數通常很小[7]。正如Moody和Darken在文獻[8]中所指出的，“RBF神經網絡是最合適用于學習逼近連續的或分段連續的實值映射，其中該映射的輸入維數充分的小”。

本文提出了一種動態模糊神經網絡D-FNN結構及其學習算法，該模糊神經網絡的結構基于擴展的徑向基神經網絡。其學習算法的最大特點是參數的調整和結構的辨識同時進行，且學習速度快，可用于實時建模與控制。動態模糊神經網絡的結構如圖2所示，共5層。在圖2中，x1,x2,…,xr是輸入的語言變量，y是系統的輸出，MFij是第i個輸入變量的第j個隸屬函數，Rj表示第j條模糊規則，Nj是第j個歸一化節點，wj是第j個規則的結果參數或者連接權，u指系統總的規則數。

圖2 D-FNN結構

1.2 神經網絡用于系統辨識

如果實際系統的輸出只是依賴于其當前時刻的輸入，而與歷史輸入無關，就稱這個系統是靜態系統。如果系統的輸出不僅依賴于以前的輸出而且依賴于當前的輸入，則稱這類系統為動態系統。n階動態系統通常可以用如下方程描述[9]：

y(t)=f[y(n)(t),…,y′(t),x(t)]

(10)

其中，y(t)和x(t)分別為對象的輸出和輸入信號，y(n)(t)為y(t)的n階微分，它是y(t)的以前信息。如果函數f(·)非線性的，則系統(10)稱為非線性動態系統。本文將研究這一類型的系統。

文獻[10]指出，在較弱的假設下，任何一個非線性離散時間系統都可用如下的NARMAX(Nonlinear AutoRegressive Moving Average with eXogenous inputs)模型來描述：

y(t)=f[y(t-1),…,y(t-ny),x(t-1),…,

x(t-nx),e(t-1),…,e(t-ne)]+e(t)

(11)

其中y(t)、x(t)、e(t)分別是系統的輸出、系統的輸入和噪聲，f是待辨識的未知函數，ny、nx、ne分別是輸出、輸入和噪聲的最大延遲，e(t)是獨立的零均值序列。作為NARMAX的一個特例，實際中經常用到如下的NARX(Nonlinear AutoRegressive with eXogenous inputs)模型：

y(t)=f[y(t-1),…,y(t-ny),

x(t-1),…,x(t-nx)]+e(t)

(12)

基于NARX模型，文獻[9]對此作了進一步簡化，并提出如下幾個沒有干擾情況下的模型。

模型Ⅰ

(13)

模型Ⅱ

(14)

模型Ⅲ

y(t)=f[y(t-1),…,y(t-ny)]+

g[x(t-1),…,x(t-nx)]

(15)

基于上述模型，文獻[9]提出了如何利用神經網絡來進行系統辨識。

用神經網絡來進行系統辨識，一個顯而易見的方法就是使神經網絡或模糊神經網絡的輸入-輸出結構選擇和被辨識的系統一模一樣。在實際操作上，可以有如下兩種模型。

1)并行模型

(16)

2)串-并行模型

y(t-ny),x(t-1),…,x(t-nx)]

(17)

2 實驗結果與分析

被辨識的對象描述如下：

(18)

這個模型廣為研究人員使用，比如，文獻[11]和文獻[12]，該對象給出的無外力系統的平衡狀態分別為(0,0)和(2，2)。如果串-并行辨識模型用來辨識該對象，則這個模型可以用如下方程來表示：

其中，f是三輸入單輸出的D-FNN。使用同文獻[13]和文獻[14]相同的輸入u(t)=sin(2πt/25)，其結果如圖3所示。其中圖3(a)表示產生的模糊規則，圖3(b)表示訓練時的實際輸出誤差，圖3(c)表示均方根誤差。與文獻[11]、文獻[12]及文獻[13]結果比較如表1所示。

由表1可以看到，要達到相同的訓練誤差，只有結構自適應的OLS方法需要65條規則，遠大于D-FNN所需要的規則數。文獻[11]和文獻[12]也采用了修剪計算[15]，其所用的規則數雖然比OLS方法少，但還是比D-FNN的方法多多了，而且訓練誤差比D-FNN大得多。由圖3(d)可以看到，盡管D-FNN的結構很小，但其泛化能力很強。結果表明：與其它算法相比，D-FNN無論在結構上還是性能上都具有明顯的優勢。

圖3 非動態線性系統的辨識

表1 不同算法的性能和結構比較

Table 1 Comparison of performance and structure with different algorithms

D?FNNOLS[13]RBF?AFS[11]FNS[12]規則數7653522參數數4732628084均方根誤差0 02820 02880 1384未列出

為了檢驗D-FNN的泛化能力，設p=6，n=500。其中p為前6步預測結果，n為500個樣本對。選擇不同參數，將得到兩種不同的神經網絡結構，其訓練和測試結構列于表2中。

表2 n=500,p=6時訓練數據的仿真結構

當p等于6，模糊規則數為10時，圖4說明了D-FNN泛化性的測試，其中，前500個點用于訓練，后500個點用于預測。由圖4及表2可以看出，無論是采樣5條規則還是10條規范，所構建的模糊神經網絡都具有很強的泛化能力，因為測試誤差幾乎等同訓練誤差[16]。表3列出了D-FNN與ANFIS(基于自適應神經網絡的模糊推理系統)、OLS(正交最小二乘網絡)和RBF-AFS(徑向基自適應模糊系統)的比較結果。

圖4 D-FNN預測的測試結果

表3不同的結構和性能比較(訓練條件：n=500,p=6)

Table 3 Structure and performance comparision(Training condition:n=500,p=6)

方法規則數參數的數量訓練的均方根誤差測試的均方根誤差D?FNN101000 00820 0083ANFIS161040 00160 0015OLS352110 00870 0089RBF?AFS212100 01070 0128

比較結果顯示，即使D-FNN有更多的可調參數，它的性能也并沒有ANFIS好。原因是ANFIS通過迭代學習的方式訓練，從而可以達到整體的最優解。而D-FNN只能獲得次優的結果。然而，與RAN、RANEKF及M-RAN(它們也只能得到次優解)相比，D-FNN結構小而泛化能力更強。

3 結 論

D-FNN算法中，非線性參數是由訓練樣本和啟發方法直接決定的，而沒有用優化算法來確定，雖然高斯寬度在學習時可以自適應地調整，但學習規則卻很簡單。D-FNN算法中，由于分級學習策略的使用可以緩解學習過程中的震蕩問題；修剪技術的應用，使得網絡的結構不會持續增長。為檢驗D-FNN的有效性，把D-FNN與其它的學習算法進行了比較，并深入探討這些算法與其它算法的相互關系，研究表明D-FNN具有簡潔的結構和優良的性能。

參考文獻：

[1]JANG J-S R.ANFIS:Adaptive-network-based fuzzy inference system[J].IEEE Transactions on Systems,Man,and Cybernetics ,2013,23(3):665-684.

[2]KADIRKAMANATHAN V,NIRANJAN M.A function estimation approach to sequential learning with neural networks[J].neural computation,2012，16(4):954-975.

[3]HONG Z Q.Algebraic feature extraction of image for recognition[J].Pattern Recognition,2011,24(3):211-219.

[4]徐麗娜.神經網絡控制[M].北京:電子工業出版社,2009.

[5]WU S Q,ER M J.Dynamic fuzzy neural networks:a novel approach to function approximation[J].IEEE Transactions on Systems,Man,and Cybernetics:Part B,2000,30(2):358-364.

[6]ER M J.WU S Q.A fast learning algorithm for parsimonious fuzzy neural systems[J].Fuzzy Sets and Systems,2002,126:337-351.

[7]任愛紅.模糊隨機過程函數列均方差一致Henstock積分的可積性[J].中山大學學報:自然科學版,2010,51(4):41-44.

[8]MOODY J,DARKEN C J.fast leaning in network of locally-tuned processing units[J].Neural Computation,2009,1:281-294.

[9]NARENDRA K S,PARTHASARATHY K.Identification and control of dynamical system using neural networks[J].IEEE Transactions on Neural Networks,1990,1(1) :4-27.

[10]LEONTARITIS I J,BILLINGS S A.Input-output parametric models for nonlinear systems,part 1:deterministic nonlinear systems[J].International Journal of Control,2006,41(2):303-344.

[11]CHO K B,CHEN B H.Radial basic fuction based adaptive fuzzy systems and their applications to system identification and prediction[J].Fuzzy Sets and Systems,2006,83(3):325-339.

[12]CHAO C T,CHEN Y J,TENG C C.Simplification of fuzzy neural systems using similarity analysis[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2008,26(2):344-354.

[13]CHEN S,COWAN C N,GRANT P M.Orthogonal least squares learning algorithm for radial basis function network[J].IEEE Transactions on Neural Networks,2009,2(2):302-309.

[14]何正風,張德豐,孫亞民.高斯激活函數特征值分解修剪技術的D-FNN算法研究[J].中山大學學報:自然科學版,2013,52(1):34-39.

[15]伍世虔,徐軍.動態模糊神經網絡：設計與應用[M].北京：清華大學出版社,2008.