近鄰傳播聚類算法的RBF隱含層節(jié)點(diǎn)優(yōu)化

摘 要： 傳統(tǒng)的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精度會(huì)由于隨機(jī)選取隱含層中心節(jié)點(diǎn)不合適而導(dǎo)致算法效率低下和數(shù)值病態(tài)，為了提高RBF神經(jīng)網(wǎng)絡(luò)的效率，提出了一種用近鄰傳播AP聚類算法改進(jìn)RBF神經(jīng)網(wǎng)絡(luò)的方法，并介紹了該方法的原理及建模步驟。由于采用的AP聚類算法屬于自適應(yīng)聚類學(xué)習(xí)算法，無(wú)需事先給定隱含層中心節(jié)點(diǎn)的個(gè)數(shù)，能夠適用于不具有先驗(yàn)信息的預(yù)測(cè)。首先，利用AP算法根據(jù)訓(xùn)練樣本的信息進(jìn)行聚類迭代，從而確定RBF神經(jīng)網(wǎng)絡(luò)中隱含層的中心節(jié)點(diǎn)和節(jié)點(diǎn)數(shù)值，解決了RBF網(wǎng)絡(luò)的中心取值問(wèn)題。然后，把所有輸入數(shù)據(jù)代入基于AP聚類算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)。由于AP算法無(wú)需預(yù)先指定聚類數(shù)目，所提方案能提高網(wǎng)絡(luò)的學(xué)習(xí)精度和訓(xùn)練速度，利用所提優(yōu)化方案對(duì)正弦函數(shù)進(jìn)行逼近的仿真實(shí)驗(yàn)，結(jié)果表明該方案的逼近誤差僅為0.005 5，在0.3噪聲下能保持較好的預(yù)測(cè)精度。

關(guān)鍵詞： 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)； 近鄰傳播聚類算法； 隱含層； 逼近誤差

中圖分類號(hào)： TN711?34； TP398.1 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）19?0016?04

Abstract： The prediction accuracy of the traditional radial basis function （RBF） neural network may result in lower algorithm efficiency and pathological numerical value due to the inappropriate random selection of the hidden layer center node， to improve the efficiency of RBF neural network， a method of using affinity propagation （AP） clustering algorithm to improve RBF neural network is proposed. The principle and modeling steps of the method are introduced. Since the adopted AP clustering algorithm belongs to the self?adapting clustering learning algorithm， it needn′t predefine the numbers of the hidden layer center nodes， and is applied to prediction without transcendental information. The AP algorithm is used for clustering iteration according the information of training sample， so as to determine the center node and node numerical value of hidden layer in RBF neural network， and solve the center dereferencing problem of RBF network. After that， all input data is taken in RBF neural network based on AP clustering algorithm for prediction. Since the use of AP algorithm needn′t predefine the clustering numbers， the proposed scheme can improve the learning accuracy and training speed of the RBF neural network. The approximate simulation experiment was performed for sine function with the proposed optimization scheme. The results show that the approximate error of the proposed scheme is only 0.005 5， and can keep good prediction accuracy under the noise of 0.3.

Keywords： radial basis function neural network； affinity propagation clustering algorithm； hidden layer； approximate error

0 引 言

RBF（Radial Basis Function）網(wǎng)絡(luò)是一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)，其基本思想是在隱含層內(nèi)基函數(shù)的作用下，將輸入信息的不可分矢量變換到高維可分空間[1?3]。RBF網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單而且具備非線性逼近能力，收斂速度快。RBF網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別、信號(hào)處理和控制等領(lǐng)域[4?5]。由于RBF網(wǎng)絡(luò)的輸出是線性的，隱含層的輸出是非線性的，所以對(duì)RBF網(wǎng)絡(luò)的訓(xùn)練主要針對(duì)隱含層。目前，提高RBF網(wǎng)絡(luò)性能的主要方法包括調(diào)節(jié)隱含層層數(shù)，調(diào)節(jié)隱含層的中心節(jié)點(diǎn)參數(shù)和寬度參數(shù)。王榮秀等利用局部保持投影的方法[6]，對(duì)用于來(lái)波到達(dá)角估計(jì)的神經(jīng)網(wǎng)絡(luò)進(jìn)行降維，同時(shí)獲得了良好的估計(jì)精度和效率。郭偉等用K近鄰統(tǒng)計(jì)法估計(jì)隱含節(jié)點(diǎn)輸出矩陣和輸出節(jié)點(diǎn)輸出矩陣之間的互信息，減少相關(guān)性最小的隱含節(jié)點(diǎn)以優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)[7]。薛福強(qiáng)等通過(guò)改進(jìn)的層次遺傳算法確定RBF神經(jīng)網(wǎng)絡(luò)均衡器結(jié)構(gòu)[8]，使用較少的隱含層單元獲得了信道均衡器的低誤碼率。

近鄰傳播AP算法是Frey等提出的一種新的聚類算法[9]。它因無(wú)需指定聚類數(shù)目，具有更高效的處理速度，同時(shí)也能夠得到較好的聚類結(jié)果。朱紅等提出了一種改進(jìn)屬性約簡(jiǎn)的細(xì)粒度AP算法[10]，實(shí)現(xiàn)聚類的并行處理。然而，利用AP聚類算法的優(yōu)秀特性對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的文獻(xiàn)卻比較少見(jiàn)。本文使用AP算法對(duì)輸入數(shù)據(jù)進(jìn)行聚類，選出聚類中心作為隱含層的中心節(jié)點(diǎn)，以聚類中心數(shù)作為隱含層節(jié)點(diǎn)數(shù)，解決了隱含層中心取值和層數(shù)確定的問(wèn)題，使RBF網(wǎng)絡(luò)只需要進(jìn)行一步迭代算法，就能得到輸出結(jié)果。

1 RBF網(wǎng)絡(luò)模型

RBF神經(jīng)網(wǎng)絡(luò)是由輸入層、隱含層和輸出層組成的單隱層前饋網(wǎng)絡(luò)[11?12]。其中，輸入層不會(huì)改變輸入信息的相關(guān)性，只起到傳遞作用；而隱含層單元為感受野單元，由一組徑向基函數(shù)構(gòu)成，一般為非線性函數(shù)[13]。

3 AP聚類算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)

目前針對(duì)RBF神經(jīng)網(wǎng)絡(luò)隱含層優(yōu)化的方法主要分為兩類：調(diào)節(jié)隱含層層數(shù)，調(diào)節(jié)隱含層的中心節(jié)點(diǎn)參數(shù)和寬度參數(shù)。調(diào)節(jié)隱含層層數(shù)的方法需要根據(jù)訓(xùn)練數(shù)據(jù)的先驗(yàn)信息設(shè)置具體的隱含層層數(shù)，或者利用預(yù)處理的方法對(duì)輸入進(jìn)行處理以消除部分相關(guān)性。當(dāng)隱含層內(nèi)的神經(jīng)元無(wú)法覆蓋所有輸入信息的數(shù)據(jù)集合時(shí)，網(wǎng)絡(luò)本身的預(yù)測(cè)精度就難以保證。調(diào)節(jié)隱含層節(jié)點(diǎn)參數(shù)和寬度參數(shù)的方法需要根據(jù)具體的應(yīng)用需要開(kāi)發(fā)新的預(yù)處理方法，實(shí)施起來(lái)不具有普適性。在本文提出的AP算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)中，由于AP聚類學(xué)習(xí)算法屬于自適應(yīng)聚類學(xué)習(xí)算法，它無(wú)需事先給定隱含層中心節(jié)點(diǎn)的個(gè)數(shù)，只需要根據(jù)輸入樣本的信息進(jìn)行聚類迭代，從而確定徑向基函數(shù)的中心點(diǎn)，能夠適用于不具有先驗(yàn)信息的預(yù)測(cè)。

本文提出的基于AP算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)模型由兩部分組成：首先用AP算法對(duì)樣本進(jìn)行初始聚類，以確定RBF神經(jīng)網(wǎng)絡(luò)的中心節(jié)點(diǎn)及其數(shù)目；然后將所有數(shù)據(jù)交給RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。基于AP算法優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)模型如圖2所示。

4 仿真結(jié)果

本文以逼近正弦函數(shù)[y=sin（2πx）]為例，首先取0.01～1之間以0.01為間隔的100個(gè)數(shù)作為輸入值，然后使用AP算法選出中心節(jié)點(diǎn)，接著使用RBF網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后取0.505～1之間以0.01為間隔的50個(gè)數(shù)作為輸入值進(jìn)行預(yù)測(cè)，以輸出誤差值的最大值作為評(píng)價(jià)標(biāo)準(zhǔn)。阻尼因子設(shè)置為[λ=0.5，]中心節(jié)點(diǎn)數(shù)目標(biāo)識(shí)為[A。][W1]為無(wú)噪聲時(shí)的誤差，[W2]為加入占空比為30%的白噪聲后的逼近誤差。表1為無(wú)噪聲環(huán)境下[P]取不同值時(shí)選擇出的中心節(jié)點(diǎn)和逼近誤差。

由圖4可以看出，取0.505～1區(qū)間內(nèi)以0.01為間隔的50個(gè)數(shù)作為輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)后得到的預(yù)測(cè)結(jié)果非常好。

圖5和圖6分別是在噪聲占空比為0.15和0.3環(huán)境下的預(yù)測(cè)結(jié)果。從這兩幅圖中可以看出在低噪聲情況下，本文提出的方案能夠很好地抑制噪聲，取得較好的預(yù)測(cè)結(jié)果。在高噪聲情況下，本文提出的方案仍然能夠獲得有效的預(yù)測(cè)結(jié)果。

從上述仿真結(jié)果可以看出，在無(wú)噪聲情況下選出的節(jié)點(diǎn)數(shù)越多，逼近誤差值越小，但是中心節(jié)點(diǎn)數(shù)增多，會(huì)導(dǎo)致隱含層層數(shù)增多，網(wǎng)絡(luò)結(jié)構(gòu)更加復(fù)雜，大大增加了訓(xùn)練時(shí)間，降低了學(xué)習(xí)速率。因此選擇適當(dāng)?shù)闹行墓?jié)點(diǎn)數(shù)和中心節(jié)點(diǎn)對(duì)RBF網(wǎng)絡(luò)非常重要。

5 結(jié) 語(yǔ)

RBF神經(jīng)網(wǎng)絡(luò)隱含層中心節(jié)點(diǎn)個(gè)數(shù)和選取方案關(guān)乎其預(yù)測(cè)精度，而現(xiàn)有中心節(jié)點(diǎn)的選取方案依賴于對(duì)訓(xùn)練樣本的相關(guān)性分析，使得RBF神經(jīng)網(wǎng)絡(luò)實(shí)施復(fù)雜，不具有普適性。本文利用AP聚類算法無(wú)需指定聚類個(gè)數(shù)、自適應(yīng)實(shí)現(xiàn)全局最優(yōu)聚類和聚類速度快的優(yōu)點(diǎn)，用AP算法確定RBF神經(jīng)網(wǎng)絡(luò)中心節(jié)點(diǎn)個(gè)數(shù)和數(shù)值。本文改進(jìn)的RBF網(wǎng)絡(luò)不僅能夠確定隱含層的層數(shù)還能選出中心節(jié)點(diǎn)，訓(xùn)練速度快，解決了RBF網(wǎng)絡(luò)最重要的問(wèn)題，而且不依賴于具體訓(xùn)練數(shù)據(jù)的相關(guān)程度，具有普適性。從仿真實(shí)驗(yàn)可以看出，AP算法和RBF網(wǎng)絡(luò)結(jié)合后的預(yù)測(cè)結(jié)果準(zhǔn)確度高，逼近效果好，表明AP算法能夠有效地解決RBF網(wǎng)絡(luò)隱含層優(yōu)化問(wèn)題。

參考文獻(xiàn)

[1] 文翰，肖南峰.基于強(qiáng)類別特征近鄰傳播的半監(jiān)督文本聚類[J].模式識(shí)別與人工智能，2014，27（7）：646?654.

[2] 回立川，于淼，梁芷睿.應(yīng)用近鄰傳播算法改進(jìn)RBF的短期負(fù)荷預(yù)測(cè)[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2015，27（1）：69?73.

[3] 趙鳳嬌，賀月姣.基于改進(jìn)的K?means聚類算法水下圖像邊緣檢測(cè)[J].現(xiàn)代電子技術(shù)，2015，38（18）：89?91.

[4] 黃建清，王衛(wèi)星，胡月明，等.近鄰傳播聚類無(wú)線傳感器網(wǎng)絡(luò)分簇路由算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（2）：406?410.

[5] 常瑞花.基于密集度量元的近鄰傳播聚類算法[J].微電子學(xué)與計(jì)算機(jī)，2015（5）：1?5.

[6] 王榮秀，田雨波，張貞凱.基于局部保持投影和RBF神經(jīng)網(wǎng)絡(luò)的DOA估計(jì)[J].科學(xué)技術(shù)與工程，2013，13（24）：7054?7058.

[7] 郭偉.基于互信息的RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化設(shè)計(jì)[J].計(jì)算機(jī)科學(xué)，2013，40（6）：252?255.

[8] 薛富強(qiáng)，葛臨東，王彬.基于改進(jìn)層次遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)信道均衡器[J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（5）：75?77.

[9] FREY B J， DUECK D. Clustering by passing messages between data points [J]. Science， 2007， 315（5814）： 972?976.

[10] 朱紅，丁世飛，許新征.基于改進(jìn)屬性約簡(jiǎn)的細(xì)粒度并行AP聚類算法[J].計(jì)算機(jī)研究與發(fā)展，2012，49（12）：2638?2644.

[11] 李英樂(lè)，于洪濤，劉力雄，等.基于RBF神經(jīng)網(wǎng)絡(luò)的微博消息傳播時(shí)間預(yù)測(cè)方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（11）：3815?3819.

[12] 孟軍，尉雙云.基于近鄰傳播聚類的集成特征選擇方法[J].計(jì)算機(jī)科學(xué)，2015，42（3）：241?244.

[13] 錢(qián)雪忠，趙建芳，賈志偉.基于約束投影的近鄰傳播聚類算法[J].計(jì)算機(jī)工程與科學(xué)，2014，36（3）：524?529.

[14] 邢長(zhǎng)征，劉劍.基于近鄰傳播與密度相融合的進(jìn)化數(shù)據(jù)流聚類算法[J].計(jì)算機(jī)應(yīng)用，2015，35（7）：1927?1932.

[15] 儲(chǔ)岳中，徐波，高有濤.一種融合人工免疫系統(tǒng)與AP算法的分類器設(shè)計(jì)[J].南京航空航天大學(xué)學(xué)報(bào)，2013，45（2）：232?238.

[16] 周治平，張道文，王杰鋒，等.基于流形結(jié)構(gòu)鄰域選擇的局部投影近鄰傳播算法[J].南京大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，51（4）：741?748.