基于人工免疫系統的RBF網絡設計

朱亞男

（西安鐵路職業技術學院 牽引動力系，陜西 西安 710014）

徑向基函數（Radial-Basis Function，RBF）神經網絡（RBF網絡）是一種典型的局部逼近網絡模型[1-2]。與其他類型的神經網絡相比，RBF網絡不僅具有較強的生理學基礎，而且其結構簡單，在學習速度、逼近性能等方面更具優勢。

RBF網絡常用的學習方法[3-6]有：隨機選取中心法、正交最小二乘法（OLS法）、自組織選取中心法以及有監督地選擇中心法。但這些方法都不能完全通過學習的方式得到全部的RBF網絡參數，其中部分參數是靠經驗預先設計的：如隨機選取中心法、自組織選取中心法以及有監督地選擇中心法，需要預設網絡中心點的數目；而OLS法則需要預設網絡的擴展常數。此外，除有監督地選擇中心法外，其他學習方法都主要訓練網絡中心這個參數，對網絡擴展常數的訓練則比較忽略，而擴展常數恰恰是決定RBF網絡性能至關重要的因素，其值過大或過小都會嚴重影響RBF網絡的性能。除上述常用學習方法之外，其他一些基于進化算法的RBF網絡學習策略，也大多存在類似問題，且往往會導致算法過于復雜、訓練時間過長且容易陷入局部極小等問題。

鑒于上述問題和不足，本文提出一種基于免疫機制的RBF網絡設計與學習策略，RBF網絡的所有參數都能通過訓練得到全局最優值，同時為了簡化網絡訓練過程，該方法特地引入人工免疫系統特有的疫苗抽取與接種機理，從而進一步優化了網絡性能。

1 RBF網絡學習策略結構設計

RBF網絡結構如圖1所示，表示具有n維輸入、h個隱節點、m 維輸出的 RBF 網絡結構模型。 其中，x=[x1，x2，…，xn]T∈Rn×N為網絡的輸入向量，N 為樣本數目；φi（i=1，…，h）為隱層節點的徑向基函數，w∈Rn×m為輸出權矩陣，b1， …，bm∈Rm為輸出單元偏置值，y=[y1，y2，…，ym]T∈Rn×m為網絡輸出，∑表示y是隱節點輸出的線性加權。

其中 φ（·）一般為高斯函數，形如式（1）：

式（1）中，ci為基函數的中心，決定了基函數的位置；σi為擴展常數，決定了基函數的寬度；通常取為歐幾里得距離。

圖1 徑向基函數（RBF）網絡結構Fig.1 Radial basis function （RBF）network structure

由式（1）可看出，當 RBF 網絡的 h、ci、σi（i=1，2，…，h）唯一確定后，則網絡隱層的徑向基函數就確定了，即確定了輸入空間到隱層空間的映射關系；當wi和b唯一確定后，隱層空間到輸出空間的線性映射關系也可確定。RBF網絡的設計和訓練主要目的就是確定上述參數。而上述參數全部在同一個優化空間同時得到是不必要且極為影響效率的：優先確定參數h就決定了整個RBF網絡的拓撲結構，可大大簡化網絡訓練過程；然后只要確定了參數，就可構建合理的網絡隱層，進而就能夠通過線性優化的方法確定輸出層參數{wi，b}。

基于上述分析，本文提出RBF網絡三級學習結構策略：將構成RBF網絡的參數空間Θ分解成為三個子空間：Θ1={h}，Θ2={ci，σi}和 Θ3={wi，b}，然后對這三個子空間分別進行優化設計。圖2為網絡的學習結構框架，由圖2可看出該框架分為三級結構：第一級計算Θ1（抽取疫苗）；第二級經疫苗注射后用免疫算法設計確定Θ2；第三級采用最小二乘估計Θ3。經三級學習后就確定了 RBF網絡參數空間 Θ3={Θ1，Θ2，Θ3}，即構造出了完整的RBF網絡。

圖2 RBF網絡三級學習結構Fig.2 Athree－level RBF network learning structure

2 基于人工免疫的RBF網絡實現

上述RBF網絡三級學習結構，其每一級具體實現過程如下：

第一級：獲取疫苗，得到網絡結構。

第一級計算Θ1={h}，直接決定了RBF網絡隱層神經元的個數，是該學習方法中的疫苗，同時也是形成網絡拓撲結構的重要步驟。令k以1為步長在節點數目的允許范圍內搜索，即k=1:1:Maxh，Maxh為網絡允許的隱層最大節點數，1為最小節點數，同時搜索過程中k個數據中心{c1，c2，…，ck}是在輸入樣本 x∈Rn×N中隨機選取的，滿足式（2）：

式（2）中，Round（·）為取整函數，rand 為區間[0，1]內的均勻隨機數，n為輸入數據維數。確定數據中心后，按式（3）選擇擴展常數σ。

此后，采用偽逆陣法確定網絡輸出層線性參數：

Gw+b=p?[w，b]=[G，I′N]+×p（w∈Rk×m，b∈Rm?[w，b]∈R（k+1）×m

G∈RN×k，I′N∈RN×1?[G，I′N]∈RN×（k+1），p∈RN×m）（4）

式（4）中，p∈RN×m為N個訓練數據集的m維期望響應矢量；[G，I′N]表示矩陣[G，I′N]的偽逆陣[G，I′N]，其中I′N∈RN×1為元素為1的N維列向量，G∈RN×k定義為：

式（5）中，xj是輸入訓練數據集的第j個輸入矢量，N是訓練樣本數目。

根據式（2）～式（5）可構建出第一級的RBF網絡，在 k=1:Maxh的搜索過程中，k取值不同時網絡所表現出的輸出誤差ε也不同，當誤差ε≤με時（με為指定的誤差上限），k值即為該級提取的疫苗，即該RBF網絡的隱層節點數h。

第一級輸出為h，h=k。

第二級：經注射第一級結構提取的疫苗后再構建RBF網絡隱層。

第二級注射疫苗h即確定了網絡的拓撲結構，在此基礎上通過學習確定參數子空間Θ2={ci，σi}。該級采用基于實數編碼的免疫克隆選擇算法ICSA[7]。具體如下：

1）抗原：需利用當前構建的RBF網絡去求解的目標函數。

2）抗體：抗體形式為 ai=[c，σ]，與 RBF網絡隱層參數相對應，其中 c=（c1，c2，…，ch）為數據中心，σ=（σ1，σ2，…，σh）為擴展常數。 抗體群 A={a1，a2，…，aM}，M 為群規模。 抗體采用實數編碼。

初始化抗體群矢量c和σ矢量均隨機產生，分別見式（6）和式（7）：

3）抗體－抗原親合力：選擇當前RBF網絡的輸出誤差函數評價，即式（8）：

式（8）中，Yi（t）和 Pi（t）分別是第 t個輸入模式中第 i個節點的實際輸出和期望輸出，N和h分別為輸入樣本數目和隱層節點數。

4）克隆選擇：新一代抗體群用克隆選擇算子操作產生，依據變異概率pm對克隆后的子抗體群進行變異操作，針對抗體中代表中心的矢量c和代表擴展常數的矢量σ分別按式（9）和式（10）進行變異；評價克隆變異后的子抗體群的親合力進行選擇，保留下來的抗體是親合力最小的，也就是網絡隱層輸出誤差最小的最優值。

第二級輸出為 ci和 σi。

第三級：在第一級和第二級結構得到的參數子空間Θ1和 Θ2的基礎上，構建參數子空間 Θ3={wi，b}，即確定 RBF網絡輸出層。采用最小二乘法，見矩陣方程式（11）：

Gw+b=p （11）

圖3為以上所述RBF網絡三級學習算法流程圖，其中的停止條件為達到最大世代數或達到要求的誤差標準。

圖3 基于免疫機制的RBF網絡三級學習算法流程Fig.3 The three-level RBF network learning algorithm flow chart based on immune system

3 仿真實驗

為檢驗算法性能，進行Hermit多項式逼近實驗，為在實驗中有對比性，用上節提出的學習方法（以下簡稱免疫三級算法）和傳統訓練方法中較為常用的梯度算法分別訓練RBF網絡進行實驗。Hermit多項式為式（12）：

實驗中兩種網絡學習算法的訓練、測試樣本均相同。訓練樣本的輸入為區間[-4，4]內的隨機分布序列，樣本的輸出為 h（xi）+ei（ei∈N（0，1）為服從標準正態分布的噪聲），訓練樣本數N=100。圖4為目標函數和訓練樣本分布圖。

圖4 目標函數和訓練樣本Fig.4 The objective function and the training sample

測試樣本的輸入為區間[-4，4]內的均勻分布序列，輸出則為輸入代入Hermit多項式的對應生成值。測試樣本數為NT=101，將梯度算法的隱層節點數設為10，代入訓練樣本用兩種算法分別訓練RBF網絡。圖5為兩種方法訓練的RBF網絡分別代入測試樣本的輸出對比。

圖5 兩種學習算法訓練RBF網絡的測試輸出Fig.5 Test output of two learning algorithms trained by RBF network

圖6 為兩種RBF網絡的輸出與實際輸出的誤差對比。免疫三級算法訓練最終得到的網絡測試誤差為SSE=0.072 7；梯度算法的網絡測試誤差則為SSE=0.167 2。

由上可知，經免疫三級算法訓練的網絡較普遍采用的梯度算法訓練的網絡精度更高。同時梯度算法還需要憑經驗預設網絡的隱層節點數h，經驗不足設定偏差會影響整個網絡性能，而免疫三級算法在自身學習過程中就能夠得到網絡隱層節點數的最優解作為疫苗，參數確定過程沒有預設因素，因此更加科學。圖7所示為免疫三級算法的學習過程。

由圖7（a）可看出免疫三級算法在第一級得到的輸出結果為，說明實驗結果是由9個位于不同位置且寬度不同的隱層基函數曲線經加權輸出得到的。算法訓練的具體基函數曲線以及加權結果參見圖8。

圖6 兩種學習算法訓練RBF網絡的測試誤差Fig.6 Test error of two learning algorithms trained by RBF network

圖7 免疫三級算法學習過程Fig.7 The learning process of the three-level immune algorithm

圖8 免疫三級算法訓練RBF網絡隱層基函數加權輸出Fig.8 RBF hidden layer basis functionsweighted output trained by the three-level immune algorithm

4 結束語

本文提出的免疫三級算法可經過訓練得到全局最優的RBF網絡所有參數空間，將RBF網絡參數空間Θ分解為Θ1={h}、Θ2={ci，σi} 和 Θ3={wi，b}3 個子空間， 采用三級結構分級學習，從而簡化了參數空間的尋優過程。在第一級獲取疫苗，不僅確立了RBF網絡的拓撲結構，同時也降低了第二級結構中搜索空間的復雜度；第二級采用先進的人工免疫算法進行多點搜索，從而找到全局最優解；第三級則采用最小二乘法，簡便易行，同時也降低了第二級結構的維數，提高了算法效率。

由典型的逼近實驗測試性能可知，免疫三級算法較常見的梯度算法訓練的網絡測試精度更高，算法性能更優越，因此有非常大的應用價值。

[1]Powell M J．Radial basis function for multivariate interpolation[R]．England：Cambridge University，1985．

[2]Hush D R，Horne B G．Progress in supervised neural networks[J]．IEEE Signal Progressing Magazine，1993（1）:8-39．

[3]Broomhead DS，Lowe D．Multi-variable functional interpolation andadaptivenetworks[J]．ComplexSystem，1988，2（2）:321-355．

[4]Chen S，Cowan C F N，Grant PM．Orthogonal least squares learning algorithm for radial basis function networks[J]．IEEE Transactions on Neural Networks，1991，2（2）:302-309.

[5]Moody JE，Darken C J．Fast learning in networks of locallytuned processing units[J]．Neural Computation，1989，1（2）:281-294．

[6]Karayiannis N B．Reformulated radial basis neural networks trained by gradient descent[J]．IEEE Transactions On Neural Networks，1999，10（3）:657-671．

[7]焦李成，杜海峰，劉芳，等．免疫優化計算、學習與識別[M]．北京：科學出版社，2006．