一種新型的廣義ＲＢＦ神經(jīng)網(wǎng)絡及其訓練方法

摘要:提出一種新型的廣義RBF神經(jīng)網(wǎng)絡模型，將徑向基輸出權(quán)值改為權(quán)函數(shù)，采用高次函數(shù)取代線性加權(quán)#65377;給出網(wǎng)絡學習方法，并通過仿真分析研究隱單元寬度#65380;權(quán)函數(shù)冪次等參數(shù)的選取對網(wǎng)絡逼近精度以及訓練時間的影響#65377;結(jié)果表明，和傳統(tǒng)的RBF神經(jīng)網(wǎng)絡相比，該網(wǎng)絡具有良好的逼近能力和較快的計算速度，在系統(tǒng)辨識和控制中具有廣闊的應用前景#65377;

關鍵詞:RBF神經(jīng)網(wǎng)絡;訓練方法;函數(shù)逼近

中圖分類號:TP183文獻標識碼:A

1引言

RBF神經(jīng)網(wǎng)絡是近幾年提出的一種新型的前向網(wǎng)絡#65377;與應用廣泛的BP網(wǎng)絡相比，RBF神經(jīng)網(wǎng)絡不僅具有在任意精度下逼近任意非線性映射的能力，而且可以達到最佳逼近精度[1][2]#65377;RBF神經(jīng)網(wǎng)絡結(jié)構(gòu)上具有輸出-權(quán)值線性關系，訓練速度快，這些優(yōu)點給RBF神經(jīng)網(wǎng)絡的應用奠定了良好的基礎#65377;但是，由于RBF神經(jīng)網(wǎng)絡本質(zhì)上是一種局部網(wǎng)絡，要得到良好的逼近性能，一般要增加隱節(jié)點數(shù)目，這無疑是以犧牲網(wǎng)絡的計算速度作為代價#65377;本文提出了一種新型的廣義RBF神經(jīng)網(wǎng)絡模型，將徑向基輸出權(quán)值改為權(quán)函數(shù)，采用高次函數(shù)取代了線性加權(quán)，從而大大改善了網(wǎng)絡性能#65377;

2廣義RBF神經(jīng)網(wǎng)絡模型

不失一般性，考慮多輸入單輸出歸一化形式的廣義模糊RBF神經(jīng)網(wǎng)絡，廣義RBF神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖1所示#65377;網(wǎng)絡共分四層#65377;定義以下參數(shù):式中，Ψk為徑向基函數(shù)，一般取高斯函數(shù)#65377;

第二層:對基函數(shù)輸出值進行加權(quán)#65377;

第三層:歸一化處理#65377;

第四層:計算總輸出#65377;

當fk(x)時，其作用類似于常規(guī)RBF神經(jīng)網(wǎng)絡的輸出層權(quán)值#65377;隨著fk(x)的不同，輸出將不單純是各基函數(shù)節(jié)點輸出的超平面，也可能是超曲面#65377;與一般的RBF神經(jīng)網(wǎng)絡比較，這種結(jié)構(gòu)主要是將徑向基輸出權(quán)值改為權(quán)函數(shù)，可采用高次函數(shù)取代線性加權(quán)，從而改善網(wǎng)絡性能#65377;詳細的分析見后文的實例仿真#65377;

如果基函數(shù)具有相同的指數(shù)和寬度，也就是說當lk1=lk2=…=lkn=2且σk1=σk2=…=σkn=σk時，廣義RBF神經(jīng)網(wǎng)絡退化為常規(guī)的RBF神經(jīng)網(wǎng)絡，可見常規(guī)的RBF神經(jīng)網(wǎng)絡是廣義RBF神經(jīng)網(wǎng)絡的特例#65377;計算技術與自動化2007年3月第26卷第1期黨開放等:一種新型的廣義RBF神經(jīng)網(wǎng)絡及其訓練方法

3廣義RBF神經(jīng)網(wǎng)絡的學習算法

廣義RBF神經(jīng)網(wǎng)絡比單純的RBF神經(jīng)網(wǎng)絡具有更多的參數(shù)，其學習相對來說就會更為復雜#65377;總的說來，學習方法有兩種:第1種方法是全調(diào)節(jié)的，類似于BP網(wǎng)絡的反向遞推，也就是說按照使得代價函數(shù)(通常取誤差平方和)最小的原則，調(diào)整所有的參數(shù)，本質(zhì)上是一個非線性優(yōu)化問題#65377;第2種方法，采用模糊聚類和專家知識預先優(yōu)化網(wǎng)絡前幾層的參數(shù)，包括隱節(jié)點數(shù)目N#65380;中心向量Ck#65380;寬度σk，指數(shù)lk等，而以最小二乘方法在線優(yōu)化fk(x)，k=1，2，…，N#65377;第一種方法收斂速度慢，可能存在局部極值，只能夠離線進行，可以應用于模式識別等領域;第二種方法計算量小，可以在線調(diào)節(jié)，適合于控制系統(tǒng)等對于實時性要求高的場合，但是一般需要系統(tǒng)的專家知識#65377;本文介紹第2種方法#65377;

廣義RBF神經(jīng)網(wǎng)絡按照如下步驟進行學習:

1) 確定合適的網(wǎng)絡隱節(jié)點數(shù)#65377;增加網(wǎng)絡的隱節(jié)點數(shù)目，可以提高網(wǎng)絡逼近精度，但同時增加了網(wǎng)絡的學習時間#65377;一般初始時選取比較少的網(wǎng)絡隱節(jié)點數(shù)目#65377;

2) 根據(jù)網(wǎng)絡隱節(jié)點數(shù)選取合理的φk(x)參數(shù)，包括中心參數(shù)ck和寬度參數(shù)σk#65377;

3) 取vk=1，確定fk(x)的參數(shù)#65377;在下文中，給出了2維輸入網(wǎng)絡fk(x)參數(shù)的計算方法，多維參數(shù)的推導類似#65377;

4) 考核誤差，如果小于設定誤差，則訓練結(jié)束;否則回到1) 增加網(wǎng)絡隱節(jié)點數(shù)目，重復上 述步驟#65377;

在以上步驟中，最關鍵的是網(wǎng)絡輸出層權(quán)函數(shù)參數(shù)的調(diào)整，下文著重討論#65377;

4廣義RBF神經(jīng)網(wǎng)絡輸出層權(quán)函數(shù)參數(shù)的調(diào)整

以x為二維向量(x1，x2)的情況進行分析#65377;

權(quán)值調(diào)整的目的是使得網(wǎng)絡的輸出能夠滿足誤差平方和

最小，即E=min，下面分為三種情況進行討論#65377;

a.fk(x)為常數(shù)項的情況

此時，fk(x)=wk，相應的誤差平方和為

對權(quán)值求偏導數(shù)，可以得到以下N元一次方程組

b.fk(x)為網(wǎng)絡輸入1次冪函數(shù)的情況

此時，fk(x)=wk0+wk1x1+w k2，x2，相應的誤差平方和為

若使上式最小，可以得到以下3N組方程

c.fk(x為網(wǎng)絡輸入2次冪函數(shù)的情況

此時，，相應的誤差平方和為

推導過程與前類似，此處從略#65377;

由以上可以看出，fk(x)取為網(wǎng)絡輸入的高 次多項式，使得網(wǎng)絡具有更加優(yōu)良的 逼近性能的同時，保留了輸出層權(quán)值的線性性質(zhì)，從而可以采用最小二乘等方法優(yōu)化權(quán)值#65377;

5參數(shù)選取對網(wǎng)絡性能的影響

取期望函數(shù)為yd=sin(πx1)cos(πx2)x1∈[-1，1]，x2∈[-1，1](15)考查廣義RBF神經(jīng)網(wǎng)絡的函數(shù)逼近能力#65377;1) φk(x)函數(shù)參數(shù)σ對仿真結(jié)果的影響設φk(x)中心在參數(shù)空間內(nèi)均勻分布#65377;由于參數(shù)空間的范圍相同(都為2)，且訓練點取n2個(n=2，3，4)，因此φk(x)中心的間隔在區(qū)間[x1，x2]也都相同，為Δx=2/(n-1)#65377;記相對寬度為ne，則有ne=σ/Δx#65377;圖2給出了ne對系統(tǒng)輸出誤差的影響曲線，誤差都采用441組非訓練點進行計算#65377;從圖中可以看出ne取值范圍為0.6~1.8(即σ取0.6Δx~1.8Δx)時，網(wǎng)絡輸出誤差比較小#65377;

2)fk(x)冪次對仿真結(jié)果的影響

圖3為采用隱節(jié)點數(shù)目為9的網(wǎng)絡，121組訓練數(shù)據(jù)，φk(x)函數(shù)中心均勻分布，σ=1.2時得到的網(wǎng)絡輸出 曲面和誤差曲面，其中誤差曲面采用441組非訓練點計算#65377;從圖中可以看出，在網(wǎng)絡隱節(jié)點數(shù)目相同的情況下，隨著fk(x)冪次的升高，網(wǎng)絡的逼近性能越好#65377;

圖2參數(shù)σ對誤差的影響

表1為采用不同冪次和不同隱節(jié)點數(shù)目時的網(wǎng)絡訓練時間和網(wǎng)絡輸出誤差對比#65377;網(wǎng)絡隱節(jié)點數(shù)為N，網(wǎng)絡訓練時間復雜度為O(N3)#65377;從表中可以看出，在隱節(jié)點數(shù)目相同時，隨fk(x)冪次的增高，訓練時間略有增加#65377;在fk(x)為2次冪函數(shù)時，網(wǎng)絡取9個隱節(jié)點時的網(wǎng)絡輸出誤差和fk(x)為1次冪函數(shù)時，網(wǎng)絡取16個隱節(jié)點時的網(wǎng)絡輸出誤差以及fk(x)為0次冪函數(shù)時，網(wǎng)絡取64個隱節(jié)點時的網(wǎng)絡輸出誤差相當，但是計算時間大大減少#65377;可見，提高fk(x)冪次，可減少網(wǎng)絡隱節(jié)點數(shù)，縮短網(wǎng)絡訓練時間#65377;表1不同冪次和隱節(jié)點數(shù)時的網(wǎng)絡輸出誤差冪次隱節(jié)點數(shù)目計算時間(ms)

6結(jié)論

在傳統(tǒng)RBF神經(jīng)網(wǎng)絡基礎上，提出了一種新型的廣義RBF神經(jīng)網(wǎng)絡#65377;通過采用權(quán)函數(shù)代替權(quán)值，可以采用較少的隱節(jié)點數(shù)目達到同樣甚至更高的逼近精度，因此具有更快的計算速度#65377;同傳統(tǒng)的RBF神經(jīng)網(wǎng)絡相比，該網(wǎng)絡表現(xiàn)出了良好的逼近性能，在系統(tǒng)辨識和控制中具有廣闊的應用前景#65377;

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。