非線性系統的RBF神經網絡建模方法研究

王艷芹，王鳳嬪

(大慶師范學院 物理與電氣信息工程學院，黑龍江 大慶163712)

隨著控制過程復雜性的提高，控制理論的應用日益廣泛。但是，控制理論的實際應用不能脫離被控對象的數學模型。然而，在多數情況下，被控對象的數學模型是未知的，并且在正常運行期間，模型的參數可能發生變化，因此，利用控制理論去解決實際問題時，首先必須建立被控對象的數學模型。這是控制理論能否成功地應用于實際的關鍵之一。

對于復雜的非線性系統的辨識問題，一直未能很好解決。神經網絡所具有的非線性特性和學習能力，為非線性系統辨識提供了新的方法。在動態系統辨識等領域中，多層前向網絡的應用極為廣泛。但是，大多數基于反向傳播學習算法的多層前向網絡與參數之間是高度非線性的，網絡的學習要基于某種非線性優化技術，于是，都存在一個共同的缺點，即在學習階段參數估計可能會陷入目標函數的某個局部極小點。雖然對學習算法的改進能在一定程度上避免局部極小，但一般需要大量計算，這將限制多層前向網絡的實際應用。徑向基函數(Radial Basis Function——RBF)神經網絡理論為多層前向網絡的學習提供了一種新穎有效的手段[2]。

1 RBF神經網絡

RBF神經網絡的典型結構如圖1所示，不失一般性，假設輸出層只有一個結點，這種結構很容易擴展到多輸出結點的情形。輸入層到隱層為權值1的固定連接。隱含層由一組徑向基函數構成，其中對應的中心向量和寬度是RBF的參數。一般隱含層各結點都采用相同的徑向基函數，徑向基函數有多種形式，通常取高斯函數。隱層的輸出在輸出層線性加權組合，形成神經網絡的輸出。

圖1 RBF神經網絡的結構

網絡輸入與輸出之間的映射關系為:f(x):Rn→R

(1)

式中m——隱含層結點數;‖·‖——歐幾里得泛數;x,Ci∈Rn；W∈Rm，W∈Rm,W=(w1,…,wm)R；wi—第i個基函數與輸出結點的連接權值(i=1,…m)。構造和訓練一個RBF神經網絡就是要使它通過學習，確定出每個隱層神經元基函數的中心Ci,寬度σi以及隱層到輸出層的權值向W量這些參數的過程，從而可以建立所研究系統的輸入到輸出的映射。

2 RBF神經網絡的基本學習算法

RBF神經網絡要學習的參數有三個：隱含層基函數的中心、方差以及隱含層到輸出層的權值。在RBF網絡中，輸出層和隱含層所完成的任務是不相同的，因而它們的學習策略也不相同。輸出層是對線性權進行調整，采用的是線性優化策略，因而學習速度較快。而隱含層是對作用函數的參數進行調整，采用的是非線性優化策略，因而學習速度較慢。下面闡述RBF網絡基本學習方法[4]。

2.1直接計算法

隱單元RBF的中心在輸入樣本中隨機選取，且中心固定。RBF的中心確定以后，隱單元的輸出是已知的，這樣，網絡的連接權就可通過求解線性方程組來確定。

當RBF選用高斯函數時，它可表示為

(2)

W=G+d,λ=0

(3)

式中，G+是矩陣的偽逆，即

G+=(GTG)-1GT

(4)

其中，G由下式確定

(5)

對于給定問題，如果樣本數據的分布具有代表性，此方法就是一種很簡單可行的方法。

2.2自組織學習選取RBF中心

在這種方法中，RBF的中心是可以移動的，并通過自組織學習確定其位置。而輸出層的線性權則可以通過有導師的學習規則計算。由此可見，這是一種混合式學習方法。自組織學習部分是在某種意義上對網絡的資源進行分配，學習目的是使RBF的中心位于輸入空間的最重要的部位區域。

RBF的中心的選擇可以采用K均值聚類算法。這是一種無監督的學習方法。具體步驟如下：

①初始化聚類中心ti(i=1,2,…M)。一般是從輸入樣本Xj(j=1,2,…N)中選擇M個樣本作為初始中心。

②將輸入樣本按最鄰近規則分組，即將Xj(j=l,2，…N)分配給與它距離最近的中心ti所在聚類集合θi(i=1,2,…M)。

③計算聚類集合θi(i=1,2,…M)中的樣本均值。得出新的中心ti(i=1,2,…M)。按上述步驟計算，直到中心不再變化為止，否則，轉②。

⑤計算矩陣G的各元素。

⑥用高斯消去法求解(3)可求出權陣W。

⑦計算網絡輸出Y=GW。

由于輸出層與隱層之間是線性映射，對輸出層權值的計算可以用最小二乘法或高斯消去法求解。

3 RBF神經網絡的混合學習算法

RBF神經網絡的非線性映射能力體現在隱含層的基函數上，基函數的中心值對RBF網絡的非線性逼近能力有很大影響。K均值聚類等方法對聚類的初始類數和位置非常敏感。為此，采用一種優選聚類算法[5]，基于該算法對輸入樣本的聚類過程進行優化，然后取聚類的組數作為RBF神經網絡隱層的單元個數，同時也計算出RBF參數的初始權值。這為進一步精確辨識RBF的參數和網絡的權值提供了可靠的基礎。為了保證網絡具有很好的分類能力和泛化能力，通過調整函數F的閥值，在二者之間進行有效折衷。RBF神經網絡中的徑向基函數采用高斯函數，故輸入層至隱層是非線性映射，采用具有二階收斂速度的遞推學習算法，進一步改善RBF神經網絡參數以及權值辨識速度和精度。

3.1 優選聚類算法

為了尋求輸入向量樣本集的合理聚類結果，給出如下一個控制聚類合理性函數：

(6)

當用適當方法確定規則數m及其中心ci(i=1,2,…m)后，可用上式定量估價聚類的合理性。函數F的意義為：若由聚類劃分所形成的同一類中的輸入樣本靠得越緊，不同聚類中心的距離越遠，則聚類結果的合理性越好。聚類的合理性劃分就是使函數F越小越好。最鄰近聚類法是預先給定一個聚類半徑r，置初始聚類個數m=1，取第1個輸入樣本X1為聚類中心c1，即c1=X1；計算c1與Xp(p=2,3,…,N)的歐氏范數d1p；若d1p為最小者，即d1p=dmin，則作如下判斷：若dmin

在上述最鄰近聚類法中引入優化策略，用一維尋優方法優選半徑r，使式(6)中的函數F達到最小。該算法由半徑的優選算法(OA)和聚類算法(CA)兩部分組成。CA通過聚類確定類數m和每類的中心ci,i=1,2,…m，然后用式(6)計算函數F的值。OA為主算法，每次迭代均調用CA。OA的基本思路是，先用步長加速法尋求R的最優值rop所在區間，然后用二次多項插值法求取rop。

3.2 RBF神經網絡的新型二階學習算法

采用一種不需任何簡化的遞推Newton算法，它與Newton法等價，具有二階收斂速度。

Wm=Wm-1+△Wm

(7)

(8)

(9)

(10)

3.3 仿真實例

以如下非線性系統為例

u(t)=2sin(2πt/250)

進行仿真。采集500組訓練數據，首先用優選聚類法得到聚類個數為16個，即RBF神經網絡隱層神經元個數為16，則網絡結構為2-16-1，其中輸入層的輸入矢量為XT(t+1)=[y(t),u(t)]。

圖2仿真結果 圖3相對誤差曲線

應用以上混合算法對系統進行仿真。得到仿真結果如圖2，相對誤差曲線如圖3所示。平均相對誤差為9.6690E-004。對該非線性系統經過98步訓練相對誤差達到0.01，而對該系統用帶動量項的BP算法達到同樣精度需要3845步。由此可見，該混合算法大大提高了收斂速度，節省了運算時間。

4 結語

RBF神經網絡為非線性系統建模提供了一條有效的途徑。目前用于RBF神經網絡的學習算法很多，但算法的收斂性、收斂速度等方面的問題以及用于RBF神經網絡學習的新的算法還有待于進一步探討研究。本文采用RBF神經網絡的混合算法對非線性系統進行仿真，結果表明其有效性。

[參考文獻]

[1] Jean-Jacques E.Slotine,Weiping Li.應用非線性控制[M].北京：機械工業出版社,2006：1-3.

[2] 高雋.網絡原理及仿真實例[M].北京：機械工業出版社,2006：56-57.

[3] Binchini M ,Frasconi P,Gori. Learning Without Local Minama in Radial Basis Function Networks[J]. IEEE Trans. on Neural Networks, 1995,6(3):749-755.

[4] 王永驥，涂健.神經元網絡控制[M].北京:機械工業出版社,1998.

[5] 劉鐵男. 帶優選聚類算法的RBF網絡辨識器及應用[J]. 控制與決策, 2003,18(2):233-236.