基于RBF神經網絡的集成增量學習算法

彭玉青　趙翠翠　高晴晴

(河北工業大學計算機科學與軟件學院　天津 300401)

?

基于RBF神經網絡的集成增量學習算法

彭玉青趙翠翠高晴晴

(河北工業大學計算機科學與軟件學院天津 300401)

摘要針對增量學習的遺忘性問題和集成增量學習的網絡增長過快問題，提出基于徑向基神經網絡(RBF)的集成增量學習方法。為了避免網絡的遺忘性，每次學習新類別知識時都訓練一個RBF神經網絡，把新訓練的RBF神經網絡加入到集成系統中，從而組建成一個大的神經網絡系統。分別采用最近中心法、最大概率法、最近中心與最大概率相結合的方法進行確定獲勝子網絡，最終結果由獲勝子網絡進行輸出。在最大概率法中引入自組織映(SOM)的原型向量來解決類中心相近問題。為了驗證網絡的增量學習，用UCI 機器學習庫中Statlog(Landsat Satellite)數據集做實驗，結果顯示該網絡在學習新類別知識后，既獲得了新類別的知識也沒有遺忘已學知識。

關鍵詞RBFSOM增量學習

0引言

傳統神經網絡只能進行一次學習，不能在第一次學習的基礎上實現二次學習。現實生活中不可能一次性獲得所有的神經網絡訓練數據，所以很多學者提出了增量學習的神經網絡。但是設計增量學習網絡必須要面對網絡的穩定性和可塑性這個難題[1]。所謂穩定性就是為了記住已學過的知識，網絡結構和參數不能發生改變；可塑性就是為了學習新的知識，要對已有網絡的結構和參數進行調整，不能完全保持網絡結構和參數不變。但是網絡結構和參數一旦發生改變，網絡就會產生遺忘性，這樣的增量學習網絡是沒有意義的，所以要實現增量學習就必須建立在穩定性的基礎之上。

神經網絡集成就是保持穩定性和可塑性之間很好的折中方法。Learn++算法[2]和負相關算法[3]都是神經網絡集成的增量學習算法。通過對新知識的學習產生多個弱分類器，加入到增量學習系統中。這種網絡能夠很好地保留已學知識，但是網絡增長的速度非常快，使得網絡過于龐大，不具有實用性。雖然有些學者又提出了選擇性負相關的增量學習[4]，但是在進行網絡選擇的過程中，會使得網絡產生一定的遺忘性。

RBF神經網絡和模糊規則相結合的增量學習[5,6]，通過規則增長條件判斷是否增加RBF的核函數來進行增量學習。選用高斯函數作為RBF的核函數，該函數能夠對輸入矢量產生局部響應，輸出節點對隱層節點的輸出進行線性加權，從而實現輸入空間到輸出空間的映射，使整個網絡達到分類和函數逼近的目的[7]。但是這種增量學習網絡在學習的過程中會修改已學規則的參數，從而產生遺忘性。

自組織映射與概率神經網絡相結合的增量學習網絡(IMSOMPNN)[13],通過SOM對每一個類別的訓練數據進行學習并得到原型向量，用原型向量構建PNN。這種增量學習在沒有遺忘已學知識的前提下實現了增量學習。但是IMSOMPNN每次只能學習一個類別的知識，不能實現知識的多類別學習，會使得網絡的學習過于繁瑣。

針對以上問題本文提出了基于RBF集成增量的學習方法。當新知識到來時通過RBF神經網絡進行學習，在RBF神經網絡學習的過程中，采用k-均值聚類算法找中心和相應的寬度，用偽逆法[8]求子網絡權值和偏置權值，將得到的子網絡加入到神經網絡集成系統中，通過最近中心確定獲勝子網絡，最終結果由獲勝子網絡輸出。

由于RBF神經網絡學習不能去除噪聲數據，也不能包含所有的特征信息，所以本文又提出了RBF與SOM相結合的集成增量學習方法。與上述方法不同之處在于：該方法采用SOM對子網絡的訓練數據進行學習，子網絡的訓練數據有可能是一個類別的訓練數據，也可能是多個類別的訓練數據。用SOM訓練后的原型向量構建概率神經網絡，用于求出每個子網絡的最大概率，通過最大概率準則確定獲勝子網絡，而不是通過最近中心確定獲勝子網絡。

結合以上兩種方法，本文又提出了最近中心與最大概率相結合的方法來確定獲勝子網絡。最后分別采用這三種方法進行實驗。實驗結果表明了這三種集成的增量學習方法沒有改變已學知識的子網絡結構和參數，不會對已學知識產生遺忘性，所以本文提出的增量學習網絡可以在對已學知識不產生遺忘的基礎上，進行增量學習，而且增量學習后的網絡識別率很高；與其他集成增量學習相比，本文的方法每次增量學習只增加一個子網絡，避免了網絡系統過于龐大的問題；每次增量學習可以實現多類別知識的學習，避免了逐個類別知識學習的繁瑣性。

1網絡結構

如圖1所示本網絡分為四層。第一層為網絡輸入層，輸入為xi(i=1,2,…,n)。第二層為核函數層，本網絡采用高斯函數作為核函數，核函數為：

(1)

(2)

圖1　RBF增量學習網絡結構圖

第三層為子網絡輸出層，期望輸出公式為：

(3)

第四層為集成系統的輸出，輸出公式為：

(4)

其中，bj為第j個子網絡與系統輸出之間的輸出權值，j的取值為：j=1,…,u，y為集成系統的總輸出。

2增量學習過程

本文的RBF神經網絡采用K-均值聚類算法得到中心，用偽逆法求得權值和偏置。分別用最近中心法、最大概率法、最近中心與最大概率相結合的方法確定獲勝子網絡。獲勝子網絡的輸出權值為1，非獲勝子網絡的輸出權值為0，網絡的最終結果由獲勝子網絡進行輸出。最大概率法中用SOM已學過的原型向量通過PNN(概率神經網絡)得到子網絡的最大概率。

本文每次增量學習只增加一個子網絡，避免了網絡系統過于龐大的問題；每次增量學習可以實現多類別知識的學習，避免了逐個類別知識學習的繁瑣性。

2.1K-均值算法選取網絡中心

K-均值聚類算法[9,10]是一種模式聚類算法，聚類分析是根據數據空間的內在性質將其分成一些聚合類，它是在不對數據作任何假設的條件下進行的，是完全非監督的學習過程。其原理是首先初始化中心，中心的個數主觀確定。然后將輸入樣本按最鄰近規則分組。

假設初始中心的個數為m，即將xi(i=1,2,…,n)按最鄰近規則分配給中心m個初始中心，得到m個輸入樣本聚類集合θk(k=1,…,m)。要求滿足：

(5)

中心確定以后，相應的計算寬度σk，本文的寬度為：

σk=λ×dk

(6)

經過多次實驗，本文取λ為2。

2.2偽逆求子網絡的權值和偏置

在中心和寬度已知的情況下，用偽逆法可直接求解核函數層與子網絡輸出層的輸出權值和偏置權值。

用k-均值聚類法計算出中心并求出相應的寬度，根據中心和寬度求出核函數層輸出矩陣R。由于加了一個偏置神經元，并且偏置神經元的取值為1，所以要擴展核函數輸出矩陣為：

(7)

其中，G比R增加了一維偏置神經元的輸出，期望輸出矩陣D，權值矩陣W的輸出公式為：

W=DG+

(8)

其中G+為G的偽逆：

G+=(GTG)GT

(9)

2.3確定獲勝子網絡

本文采用三種方法確定獲勝子網絡，分別是用最近中心確定獲勝子網絡、最大概率確定獲勝子網絡、最近中心與最大概率相結合的方法確定獲勝子網絡。

2.3.1最近中心確定獲勝子網絡

RBF是一種局部分布的、中心對稱衰減的非負非線性函數[11]。局部分布是指僅當輸入落在輸入空間一個很小的指定區域時,隱單元的徑向基函數才做出有意義的非零響應。中心徑向對稱衰減是指與基函數中心徑向距離相同的輸入,隱節點中的徑向基函數都產生相同的輸出[12]。并且輸入與RBF的中心越近,核函數的響應越大，所以本論文中子網絡與集成系統輸出之間的權值由測試數據與RBF的最近中心決定，所謂最近中心就是指輸入數據與RBF所有中心的徑向距離中最小的一個中心。圖2為最近中心確定獲勝子網絡增量學習方法。

圖2　最近中心法確定獲勝子網絡方法

具體算法如下：

(1) 計算測試數據與網絡集成中心的徑向距離，找出徑向距離最小的中心，即為最近中心。

(2) 判斷最近中心所屬子網絡，即為獲勝子網絡；獲勝子網絡的輸出權值為1，非獲勝子網絡的輸出權值為0。

RBF訓練過程中不能去除噪聲數據，而且網絡的中心個數是有限的，如果中心太多RBF的訓練會出現過擬合現象。由于RBF中心個數的限制，每個中心都包含了一部分特征信息，導致網絡中心不能完全包含所有的特征信息。如果兩個子網絡的訓練數據特別相似，就會出現部分中心相似性，當用最近中心確定獲勝子網時，很有可能選錯子網絡。而通過SOM學習得到的原型向量包含了訓練數據更多的特征信息，同時也會去除噪聲數據，所以本文考慮采用SOM的原型向量進一步確定獲勝子網絡。

2.3.2最大概率確定獲勝子網絡

SOM是無導師學習的方法，具有良好的自組織能力。通過SOM學習可以去除含有噪聲的特征數據，得到更為緊湊的原型向量，并且原型向量的維數和輸入數據的維數相同，用得到的原型向量來構建PNN。SOM[12,13]訓練時，采用批量處理的訓練方式，鄰域函數為高斯函數。

具體算法如下：

(2) 根據劃分到Voronoi區域Vj中的樣本個數nj，計算這些樣本的均值，公式如下：

(10)

其中，xp∈Vj,1≤p≤nj。

(3) 更新原型向量：

(11)

其中，hjk(t)為鄰域函數，hjk(t)依賴于獲勝神經元k和興奮神經元j在輸出空間的側向距離，本文中鄰域函數為高斯函數。

由于k-均值聚類法沒有對訓練數據進行去除噪聲，不同網絡的相似性高的訓練數據會得到相似的中心，從而在選擇獲勝子網絡時發生錯誤,所以增加了子網絡的最大概率這個判定條件，圖3為最大概率確定獲勝網絡的整體增量學習過程圖。

圖3　增量學習過程

最大概率確定獲勝子網絡具體算法如下：

(12)

p(x|ωj)=max(pl(x|ωj))

(13)

式中，第j個子網絡的概率p(x|ωj)為pl(x|ωj)中最大的一個。其中δ為平滑因子，公式如下：

(14)

其中‖χu,l-χu,j‖為兩個原型向量的徑向距離。

2.3.3最近中心與最大概率確定獲勝子網絡

經過多次的實驗發現，最近中心和次近中心如果屬于同一個子網絡，那么僅根據最近中心確定的獲勝子網絡輸出的結果正確率很高,所謂最近中心就是指輸入數據與RBF所有中心的徑向距離中最小的一個中心，輸入數據與RBF所有中心的徑向距離中第二小的中心為次近中心；如果最近中心和次近中心所屬的子網絡不同，那么僅根據最近中心確定的獲勝子網絡對結果的輸出，有少部分會出現錯誤。這就說明當最近中心和次近中心所屬子網絡不同時，它們所屬的子網絡都有可能為真正的獲勝子網絡，僅憑借最近中心確定的獲勝的正確率顯然要低。

最大概率法確定獲勝子網絡也存在上述問題，所以想結合以上兩種方法來解決該問題。本文又提出了最近中心與最大概率相結合的方法來確定獲勝子網絡。

該方法的主要思想是：如果最近中心和次近中心所屬的子網絡是同一個網絡，那么它們所在的網絡為獲勝子網絡；如果最近中心和次近中心的所屬的網絡不同，并且最近中心所在子網絡的最大概率大于次近中心所在網絡的最大概率，那么最近中心所在子網絡為獲勝子網絡；如果最近中心和次近中心所屬子網絡不同，而且最近中心所在子網絡的最大概率小于次近中心所在網絡的最大概率，就要考慮最近中心和次近中心距離了，假設最近中心、次近中心的徑向距離分別為d1和d2，并且d1≤d2，離中心越近，核函數的響應越大，所以d1/(d1+d2)的取值越小，代表最近中心的重要性越大。最近中心和次近中心所在子網的最大概率為pj和pg，j=1,2,…,u;g=1,2,…,u，圖4為最近中心與最大概率確定獲勝子網絡方法。

圖4　最近中心與最大概率確定獲勝子網絡方法

具體算法如下：

(1) 計算出測試數據與最近中心、次近中心的徑向距離d1和d2，并用PNN求出最近中心和次近中心所在子網絡的最大概率pj和pg。

(2) 如果最近中心和次近中心屬于相同的網絡，則最近中心和次近中心所在的網絡為獲勝子網絡，輸出權值為1；其他網絡為非獲勝子網絡，輸出權值為0。

(3) 如果最近中心和次近中心屬于不同的網絡yj和yg，pj大于等于pg，則yj為獲勝子網，輸出權值為1；其他網絡為非獲勝子網絡，輸出權值為0。

(4) 如果最近中心和次近中心屬于不同的子網絡yj和yg，pj小于pg，d1/(d1+d2)大于閾值T，則yg為獲勝子網絡，輸出權值為1；其他網絡為非獲勝子網絡，輸出權值為0。

(5) 如果最近中心和次近中心屬于不同的子網絡yj和yg，pj小于pg，d1/(d1+d2)小于閾值T，則yj為獲勝子網絡，輸出權值為1；其他網絡為非獲勝子網絡，輸出權值為0。

3實驗結果分析

本文采用自組織映射與概率神經網絡的增量式學習算法(IMSOMPNN)的實驗數據[13]。該實驗數據為UCI機器學習庫中Statlog(LandsatSatellite)數據集。該數據集共有36個屬性，6個類別 ，6435個樣本，其中4435個是訓練樣本，2000個為測試樣本。T1∪T2∪…∪T6，分別代表6個類別的訓練數據，6個類別的測試數據為E1∪E2∪…∪E6。

3.1最近中心確定獲勝子網絡的單類別增量學習

首先使用T1∪T2來訓練一個初始的RBF網絡集成系統，然后使用E1∪E2來對模型進行測試；在第t步(2≤t≤5)時，用Tt+1訓練一個RBF網絡，并把新訓練的RBF加入到RBF集成系統中，然后使用E1∪E2∪…∪Et+1測試模型。表1為最近中心確定獲勝子網絡的單類別增量學習結果。

表1　最近中心確定獲勝子網絡的增量學習

3.2最大概率確定獲勝子網絡的單類別增量學習

首先使用T1∪T2來訓練一個初始的RBF網絡集成系統，訓練一個SOM神經網絡，從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試；在第t步(2≤t≤5)時，用Tt+1訓練一個RBF網絡和一個SOM，并把新訓練的RBF加入到RBF集成系統中，把新的SOM原型向量加入到神經網絡集成系統中，然后使用E1∪E2∪…∪Et+1測試模型。如表2所示。

表2　最大概率確定獲勝子網絡的單類別增量學習

3.3最近中心與最大概率確定獲勝子網絡的單類別增量學習

首先使用T1∪T2來訓練一個初始的RBF網絡集成系統，訓練一個SOM神經網絡，從而得到SOM的原型向量。然后使用E1∪E2來對模型進行測試；在第t步(2≤t≤5)時，用Tt+1訓練一個RBF網絡和一個SOM，并把新訓練的RBF加入到RBF集成系統中，把新的SOM原型向量加入到神經網絡集成系統中，然后使用E1∪E2∪…∪Et+1測試模型。表3為最近中心與最大概率確定獲勝子網絡的單類別增量學習結果。

表3　最近中心與最大概率確定獲勝子網絡的單類別增量學習

3.4IMSOMPNN

首先，使用T1∪T2來訓練一個初始的IMSOMPNN，然后使用E1∪E2來對模型行進行測試；在第t步2≤t≤5時，將Tt+1提交至IMSOMPNN進行增量學習，然后使用E1∪E2∪…∪Et+1測試模型。表4給出了增量學習的每一步中，模型分類性能的變化。表4為自組織映射與概率神經網絡相結合的單類別增量學習結果。

表4　自組織映射與概率神經網絡相結合的增量學習

3.5最大概率確定獲勝子網絡的多類別增量學習

為了體現每次增量學習可以實現多個類別的學習，本次實驗第一步使用T1∪T2訓練一個初始的RBF網絡集成系統和SOM，然后使用E1∪E2來對模型進行測試；第二步使用T3訓練一個RBF和SOM，并把新訓練的RBF加入RBF網絡集成系統中，用E3對模型進行測試；第三步使用T4∪T5訓練一個RBF和SOM，并把新訓練的RBF加入到RBF集成系統中，用E4∪E5對模型進行測試；第四步使用T6訓練一個RBF和SOM，并把新訓練的RBF加入到RBF集成系統中，用E6對模型進行測試。表5為最大概率確定獲勝子網絡的多類別增量學習結果。

表5　最大概率確定獲勝子網絡的多類別增量學習

3.6實驗分析

圖6為四種方法的性能對比圖。從結果和性能對比圖上可以看出最近中心確定獲勝子網絡的性能比較低，其他三種方法的性能相差不多，都沒有遺忘已學知識，同時也可以學習新類別的知識，每次增量學習只增加一個子網絡，避免了網絡系統過于龐大的問題。

圖6　單類別學習性能對比圖

IMSOMPNN對六類知識學習需要學習六次，也就是每次只能學習一個類別的知識，不能進行多個類別知識的學習，會使得學習過程很繁瑣，不具有實用性。多類別增量學習實驗證實了該網絡可以進行多個類別的增量學習，表5給出了實驗結果。通過實驗表明了本文的方法既可以單個類別的增量學習，也可以進行多類別的增量學習，即在第3步增量學習中，同時學習了類別4和類別5的知識，這是IMSOMPNN所不能實現的，在現實生活中多類別的增量學習更具有使用價值。

從以上實驗可知，本文方法每次增量學習只增加了一個子網絡，避免了網絡系統過于龐大的問題，同時在保證性能基本不變的基礎上實現了多個類別的學習，具有實用意義。

4結語

本文提出了一種基于RBF的集成增量學習的神經網絡。這種增量學習模型主要是通過最近中心法、最大概率法以及以上兩種方法相結合的方法來決定獲勝子網絡，通過獲勝網絡進而得到最終輸出。這種增量學習系統是建立在系統穩定的基礎上進行增量學習的，所以對已學知識沒有遺忘，同時避免了逐個類別訓練的繁瑣性和網絡系統過于龐大的問題。該算法通過確定獲勝子網絡的方法進行確定獲勝子網絡，最終結果由獲勝子網絡進行輸出。獲勝子網絡中可能包含單類別信息，也可能包含多個類別的信息，從而既可以實現單類別增量學習，也可以實現多個類別的增量學習，通過實驗論證了該方法的有效性。

參考文獻

[1]GrossbergS.Nonlinearneuralnetworks:Principles,mechanismsandarchitectures[J].NeuralNetworks,1988,1(1):17-61.

[2]PolikarR,UpdaL,UpdaSS,etal.Learn++:Anincrementallearningalgorithmforsupervisedneuralnetworks[J].Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,2001,31(4):497-508.

[3]MinkuFL,InoueH,YaoX.Negativecorrelationinincrementallearning[J].NaturalComputing,2009,8(2):289-320.

[4] 林民龍.基于神經網絡集成的增量式學習[D].中國科學技術大學,2012.

[5]WangN,ErMJ,MengX.Afastandaccurateonlineself-organizingschemeforparsimoniousfuzzyneuralnetworks[J].Neurocomputing,2009,72(16):3818-3829.

[6] 胡蓉,徐蔚鴻,甘嵐.一種連續增量學習模糊神經網絡[J].模式識別與人工智能,2013,26(8):794-799.

[7] 夏長亮,王明超.基于RBF神經網絡的開關磁阻電機單神經元PID控制[J].中國電機工程學報,2005,25(15):161-165.

[8] 鄧繼雄,李志舜,梁紅.確定RBF神經網絡參數的新方法[J].微處理機,2006,27(4):48-49.

[9] 劉小華,劉沛,張步涵,等.逐級均值聚類算法的RBFN模型在負荷預測中的應用[J].中國電機工程學報,2004,24(2):17-21.

[10] 李鑫濱,楊景明,丁喜峰.基于遞推k-均值聚類算法的RBF神經網絡及其在系統辨識中的應用[J].燕山大學學報,1999,23(4):363-366.

[11] 王永驥,涂健.神經元網絡控制[M].北京:機械工業出版社,1998:68.

[12]YuDJ,ShenHB,YangJY.SOMPNN:anefficientnon-parametricmodelforpredictingtransmembranehelices[J].Aminoacids,2012,42(6):2195-2205.

[13] 戚湧,胡俊,於東軍.基于自組織映射與概率神經網絡的增量式學習算法[J].南京理工大學學報:自然科學版,2013(1):1-6.

RESEARCH ON RBF NEURAL NETWORK-BASED ENSEMBLE INCREMENTALLEARNINGALGORITHM

Peng YuqingZhao CuicuiGao Qingqing

(School of Computer Science and Engineering,Hebei University of Technology,Tianjin 300401,China)

AbstractAiming at the forgetfulness problem of incremental learning and the excessive network growth problem of the integrated incremental learning, this paper proposes an integrated incremental learning method which is based on the radial basis function (RBF) neural network. In order to avoid the forgetfulness of the network, for each knowledge learning of new category we all trained an RBF neural network, and added the newly trained RBF neural network to the integrated system so as to form a large system of neural networks. To determine the winning sub-network, we adopted the nearest centre method, the maximum probability method and the combination of these two methods, and the final result was outputted by the winning sub-network. Moreover, we introduced the prototype vectors of self-organising map to maximum probability method for solving the problem of class centre similarity. For verifying the proposed network incremental learning, we made the experiments using the Statlog (Landsat Satellite) dataset in UCI machine learning library. Experimental results showed that after learning the knowledge of new category, this network could accept the new without forgetting the learned knowledge.

KeywordsRBFSOMIncremental learning

收稿日期：2015-01-13。國家自然科學基金項目(51175145)；天津市自然科學基金項目(13JCYBJC15400)；河北省高等學校科學技術研究項目(ZD2014030)。彭玉青，教授，主研領域：計算機視覺，數據庫，智能信息處理。趙翠翠，碩士生。高晴晴，碩士生。

中圖分類號TP183

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.059