近鄰傳播聚類算法的RBF隱含層節點優化

2016-04-12 00:00:00李志超孔國利

現代電子技術 2016年19期

摘要：傳統的RBF神經網絡預測精度會由于隨機選取隱含層中心節點不合適而導致算法效率低下和數值病態，為了提高RBF神經網絡的效率，提出了一種用近鄰傳播AP聚類算法改進RBF神經網絡的方法，并介紹了該方法的原理及建模步驟。由于采用的AP聚類算法屬于自適應聚類學習算法，無需事先給定隱含層中心節點的個數，能夠適用于不具有先驗信息的預測。首先，利用AP算法根據訓練樣本的信息進行聚類迭代，從而確定RBF神經網絡中隱含層的中心節點和節點數值，解決了RBF網絡的中心取值問題。然后，把所有輸入數據代入基于AP聚類算法優化的RBF神經網絡中進行預測。由于AP算法無需預先指定聚類數目，所提方案能提高網絡的學習精度和訓練速度，利用所提優化方案對正弦函數進行逼近的仿真實驗，結果表明該方案的逼近誤差僅為0.005 5，在0.3噪聲下能保持較好的預測精度。

關鍵詞：徑向基函數神經網絡；近鄰傳播聚類算法；隱含層；逼近誤差

中圖分類號： TN711?34； TP398.1 文獻標識碼： A 文章編號： 1004?373X（2016）19?0016?04

Abstract： The prediction accuracy of the traditional radial basis function （RBF） neural network may result in lower algorithm efficiency and pathological numerical value due to the inappropriate random selection of the hidden layer center node， to improve the efficiency of RBF neural network， a method of using affinity propagation （AP） clustering algorithm to improve RBF neural network is proposed. The principle and modeling steps of the method are introduced. Since the adopted AP clustering algorithm belongs to the self?adapting clustering learning algorithm， it needn′t predefine the numbers of the hidden layer center nodes， and is applied to prediction without transcendental information. The AP algorithm is used for clustering iteration according the information of training sample， so as to determine the center node and node numerical value of hidden layer in RBF neural network， and solve the center dereferencing problem of RBF network. After that， all input data is taken in RBF neural network based on AP clustering algorithm for prediction. Since the use of AP algorithm needn′t predefine the clustering numbers， the proposed scheme can improve the learning accuracy and training speed of the RBF neural network. The approximate simulation experiment was performed for sine function with the proposed optimization scheme. The results show that the approximate error of the proposed scheme is only 0.005 5， and can keep good prediction accuracy under the noise of 0.3.

Keywords： radial basis function neural network； affinity propagation clustering algorithm； hidden layer； approximate error

0 引言

RBF（Radial Basis Function）網絡是一種單隱含層前饋神經網絡，其基本思想是在隱含層內基函數的作用下，將輸入信息的不可分矢量變換到高維可分空間[1?3]。RBF網絡結構簡單而且具備非線性逼近能力，收斂速度快。RBF網絡已經廣泛應用于函數逼近、模式識別、信號處理和控制等領域[4?5]。由于RBF網絡的輸出是線性的，隱含層的輸出是非線性的，所以對RBF網絡的訓練主要針對隱含層。目前，提高RBF網絡性能的主要方法包括調節隱含層層數，調節隱含層的中心節點參數和寬度參數。王榮秀等利用局部保持投影的方法[6]，對用于來波到達角估計的神經網絡進行降維，同時獲得了良好的估計精度和效率。郭偉等用K近鄰統計法估計隱含節點輸出矩陣和輸出節點輸出矩陣之間的互信息，減少相關性最小的隱含節點以優化網絡結構[7]。薛福強等通過改進的層次遺傳算法確定RBF神經網絡均衡器結構[8]，使用較少的隱含層單元獲得了信道均衡器的低誤碼率。

近鄰傳播AP算法是Frey等提出的一種新的聚類算法[9]。它因無需指定聚類數目，具有更高效的處理速度，同時也能夠得到較好的聚類結果。朱紅等提出了一種改進屬性約簡的細粒度AP算法[10]，實現聚類的并行處理。然而，利用AP聚類算法的優秀特性對RBF神經網絡進行優化的文獻卻比較少見。本文使用AP算法對輸入數據進行聚類，選出聚類中心作為隱含層的中心節點，以聚類中心數作為隱含層節點數，解決了隱含層中心取值和層數確定的問題，使RBF網絡只需要進行一步迭代算法，就能得到輸出結果。

1 RBF網絡模型

RBF神經網絡是由輸入層、隱含層和輸出層組成的單隱層前饋網絡[11?12]。其中，輸入層不會改變輸入信息的相關性，只起到傳遞作用；而隱含層單元為感受野單元，由一組徑向基函數構成，一般為非線性函數[13]。

3 AP聚類算法優化的RBF神經網絡

目前針對RBF神經網絡隱含層優化的方法主要分為兩類：調節隱含層層數，調節隱含層的中心節點參數和寬度參數。調節隱含層層數的方法需要根據訓練數據的先驗信息設置具體的隱含層層數，或者利用預處理的方法對輸入進行處理以消除部分相關性。當隱含層內的神經元無法覆蓋所有輸入信息的數據集合時，網絡本身的預測精度就難以保證。調節隱含層節點參數和寬度參數的方法需要根據具體的應用需要開發新的預處理方法，實施起來不具有普適性。在本文提出的AP算法優化的RBF神經網絡中，由于AP聚類學習算法屬于自適應聚類學習算法，它無需事先給定隱含層中心節點的個數，只需要根據輸入樣本的信息進行聚類迭代，從而確定徑向基函數的中心點，能夠適用于不具有先驗信息的預測。

本文提出的基于AP算法優化RBF神經網絡模型由兩部分組成：首先用AP算法對樣本進行初始聚類，以確定RBF神經網絡的中心節點及其數目；然后將所有數據交給RBF神經網絡進行預測?；贏P算法優化的RBF神經網絡模型如圖2所示。

4 仿真結果

本文以逼近正弦函數[y=sin（2πx）]為例，首先取0.01～1之間以0.01為間隔的100個數作為輸入值，然后使用AP算法選出中心節點，接著使用RBF網絡進行訓練，最后取0.505～1之間以0.01為間隔的50個數作為輸入值進行預測，以輸出誤差值的最大值作為評價標準。阻尼因子設置為[λ=0.5，]中心節點數目標識為[A。][W1]為無噪聲時的誤差，[W2]為加入占空比為30%的白噪聲后的逼近誤差。表1為無噪聲環境下[P]取不同值時選擇出的中心節點和逼近誤差。

由圖4可以看出，取0.505～1區間內以0.01為間隔的50個數作為輸入數據進行預測后得到的預測結果非常好。

圖5和圖6分別是在噪聲占空比為0.15和0.3環境下的預測結果。從這兩幅圖中可以看出在低噪聲情況下，本文提出的方案能夠很好地抑制噪聲，取得較好的預測結果。在高噪聲情況下，本文提出的方案仍然能夠獲得有效的預測結果。

從上述仿真結果可以看出，在無噪聲情況下選出的節點數越多，逼近誤差值越小，但是中心節點數增多，會導致隱含層層數增多，網絡結構更加復雜，大大增加了訓練時間，降低了學習速率。因此選擇適當的中心節點數和中心節點對RBF網絡非常重要。

5 結語

RBF神經網絡隱含層中心節點個數和選取方案關乎其預測精度，而現有中心節點的選取方案依賴于對訓練樣本的相關性分析，使得RBF神經網絡實施復雜，不具有普適性。本文利用AP聚類算法無需指定聚類個數、自適應實現全局最優聚類和聚類速度快的優點，用AP算法確定RBF神經網絡中心節點個數和數值。本文改進的RBF網絡不僅能夠確定隱含層的層數還能選出中心節點，訓練速度快，解決了RBF網絡最重要的問題，而且不依賴于具體訓練數據的相關程度，具有普適性。從仿真實驗可以看出，AP算法和RBF網絡結合后的預測結果準確度高，逼近效果好，表明AP算法能夠有效地解決RBF網絡隱含層優化問題。

參考文獻

[1] 文翰，肖南峰.基于強類別特征近鄰傳播的半監督文本聚類[J].模式識別與人工智能，2014，27（7）：646?654.

[2] 回立川，于淼，梁芷睿.應用近鄰傳播算法改進RBF的短期負荷預測[J].電力系統及其自動化學報，2015，27（1）：69?73.

[3] 趙鳳嬌，賀月姣.基于改進的K?means聚類算法水下圖像邊緣檢測[J].現代電子技術，2015，38（18）：89?91.

[4] 黃建清，王衛星，胡月明，等.近鄰傳播聚類無線傳感器網絡分簇路由算法[J].計算機工程與設計，2014，35（2）：406?410.

[5] 常瑞花.基于密集度量元的近鄰傳播聚類算法[J].微電子學與計算機，2015（5）：1?5.

[6] 王榮秀，田雨波，張貞凱.基于局部保持投影和RBF神經網絡的DOA估計[J].科學技術與工程，2013，13（24）：7054?7058.

[7] 郭偉.基于互信息的RBF神經網絡結構優化設計[J].計算機科學，2013，40（6）：252?255.

[8] 薛富強，葛臨東，王彬.基于改進層次遺傳算法優化的神經網絡信道均衡器[J].計算機應用與軟件，2010，27（5）：75?77.

[9] FREY B J， DUECK D. Clustering by passing messages between data points [J]. Science， 2007， 315（5814）： 972?976.

[10] 朱紅，丁世飛，許新征.基于改進屬性約簡的細粒度并行AP聚類算法[J].計算機研究與發展，2012，49（12）：2638?2644.

[11] 李英樂，于洪濤，劉力雄，等.基于RBF神經網絡的微博消息傳播時間預測方法[J].計算機工程與設計，2013，34（11）：3815?3819.