具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法

趙慧青

摘要：針對(duì)現(xiàn)有的神經(jīng)網(wǎng)絡(luò)存在網(wǎng)絡(luò)誤差較大這一問(wèn)題，本文提出了一種具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法；該算法根據(jù)粒子群的信息共享與全局搜索特性，來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的尋優(yōu)效果；其中為了保持較好的精度，算法在粒子的速度進(jìn)行完善的同時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行了適當(dāng)?shù)募s束。實(shí)驗(yàn)結(jié)果表明，其實(shí)驗(yàn)結(jié)果與預(yù)期效果基本相符，能夠在不同的信道下，保持較好的精度。

關(guān)鍵字：神經(jīng)網(wǎng)絡(luò)；粒子群；信息共享；全局搜索；尋優(yōu)

中圖法分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-2163（2015）03-

Self-discipline Neural Network Equalization Algorithm Based on the Particle Swarm

ZHAO Huiqing

（Department of Information Science，Xinhua College of Sun Yat-sen University，Guangzhou 510520，China）

Abstract： Existing neural network has a large network error. In response to this problem， the paper puts forward self-discipline neural network equalization algorithm based on the particle swarm. The effect on neural network optimization is realized according to the information sharing and global search feature of particle swarm. And in order to maintain good accuracy， appropriate network constraints are also imposed. The results show that the experiment results are basically consistent with the expected results. It can maintain good accuracy at different channel.

Keywords： Neural Network； Particle Swarm； Information Sharing； Global Search； Optimization

0 引言

從20 世紀(jì) 80 年代中期以來(lái)，神經(jīng)網(wǎng)絡(luò)以其好的自組織與自學(xué)習(xí)的獨(dú)特優(yōu)勢(shì)，現(xiàn)已廣泛地應(yīng)用于通信領(lǐng)域[1-3]。但通過(guò)研究現(xiàn)有的神經(jīng)網(wǎng)絡(luò)則不難發(fā)現(xiàn)，該系統(tǒng)在實(shí)際運(yùn)用中過(guò)度依賴于訓(xùn)練算法與初始權(quán)值，從而導(dǎo)致算法陷入了局部的最優(yōu)化；為此，人們提出了許多解決方案[4-7]。其中，基于粒子群優(yōu)化算法的神經(jīng)網(wǎng)絡(luò)算法尤為突出；算法通過(guò)結(jié)合群體中粒子間的合作與競(jìng)爭(zhēng)關(guān)系，來(lái)促使網(wǎng)絡(luò)群體的智能尋優(yōu)；這在很大程度上解決了算法的局部最優(yōu)化問(wèn)題[8-9]。但在實(shí)際的運(yùn)用過(guò)程中，又進(jìn)一步發(fā)現(xiàn)，算法依然存在需要改進(jìn)的地方，即網(wǎng)絡(luò)的適用性較小且精度不高等問(wèn)題。

為此，本文提出了一種具有自我約束能力的粒子群神經(jīng)網(wǎng)絡(luò)均衡算法。算法依據(jù)神經(jīng)網(wǎng)絡(luò)與粒子群算法的特點(diǎn)[10]，將神經(jīng)網(wǎng)絡(luò)算法與粒子群算法有機(jī)地結(jié)合在一起，并通過(guò)兩者間的互補(bǔ)，來(lái)提高網(wǎng)絡(luò)的整體效率。研究中為了避免算法出現(xiàn)局部最優(yōu)化問(wèn)題，本文對(duì)網(wǎng)絡(luò)中的搜索粒子進(jìn)行了速度的約束；而后，為保證算法的穩(wěn)定性與精確性，又對(duì)網(wǎng)絡(luò)的搜索進(jìn)行了約束，由此而保障每一網(wǎng)絡(luò)路徑的有效暢通。經(jīng)由仿真實(shí)驗(yàn)，該算法能夠獲得相比其他算法更高的精度，且其實(shí)際應(yīng)用性也更強(qiáng)。

1. 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)通過(guò)模仿動(dòng)物的行為特征，進(jìn)而實(shí)現(xiàn)分布式并行信息處理；這一方法有效地解決了網(wǎng)絡(luò)的信息傳輸問(wèn)題，通過(guò)依靠網(wǎng)絡(luò)系統(tǒng)的復(fù)雜程度與各節(jié)點(diǎn)的連通性，實(shí)現(xiàn)了大量數(shù)據(jù)的傳輸問(wèn)題[11]。其中，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)大致可以分為三層，即輸入層，隱含層以及輸出層。

假設(shè) 為輸入層到隱層的連接權(quán)重， 為隱層到輸出層的連接權(quán)重，其中 ， 。其數(shù)據(jù)傳輸原理與結(jié)構(gòu)圖如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

Fig.1 Neural network structure diagram

在圖1的神經(jīng)網(wǎng)絡(luò)中，隱層函數(shù)如式（1）所示：

（1）

輸出層函數(shù)如式（2）所示：

（2）

其中， 為隱層的輸入，而 為隱層的輸出； 為輸出層的輸入，而 為輸出層的輸出。 表示輸出層的輸入與輸出間的傳遞函數(shù)，而 表示隱層的輸入信號(hào)進(jìn)行的小波變換。

2粒子群優(yōu)化的網(wǎng)絡(luò)均衡處理

2.1 初始化

初始化粒子在當(dāng)前網(wǎng)絡(luò)中的所在位置，令其在最初就以隨機(jī)分布的方向進(jìn)行定義，即 ，其中每個(gè)隨機(jī)產(chǎn)生的粒子 都代表一個(gè)均衡器的一個(gè)權(quán)向量。同時(shí)再令初始位置為 ，初始速度為 ；為了便于后文的計(jì)算，在此，定義 為當(dāng)前網(wǎng)絡(luò)中的局部極值；而 則是代表當(dāng)前網(wǎng)絡(luò)中的全局極值。

2.2 速度和位置更新

速度與位置的更新在粒子群優(yōu)化（PSO）算法中是至重要的參數(shù)指標(biāo)項(xiàng)。為此，本文提出一個(gè)局部與全局的最佳粒子的搜索信息傳遞速度與位置更新函數(shù)，如式（3）所示。

（3）

其中， 為粒子速度的n個(gè)維度， 為0到1之間的隨機(jī)數(shù)， 為比例因子，而 、 為局部最佳粒子 與全局最佳粒子 的擴(kuò)展因數(shù)。基于此，為了保證其搜索的準(zhǔn)度，對(duì)粒子的速度進(jìn)行了限制，即當(dāng)搜索的粒子速度超過(guò)設(shè)計(jì)的限定速度時(shí)，將對(duì)速度進(jìn)行抑制，其方法的表達(dá)函數(shù)為：

（4）

2.3 網(wǎng)絡(luò)的約束

本文采用網(wǎng)絡(luò)的覆蓋概率和寬度間隔對(duì)當(dāng)前網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)，具體求取方式論述如下。

2.3.1區(qū)間的覆蓋概率

網(wǎng)絡(luò)的覆蓋概率（ ）是衡量網(wǎng)絡(luò)適應(yīng)與否的指標(biāo)， 可做如下定義：

（5）

其中，m×n是樣品數(shù)量；當(dāng) ，目標(biāo) ；其他的情況下， ，而 、 則為目標(biāo)的最小值與最大值。

2.3.2 區(qū)間的寬度間隔

在時(shí)間間隔寬度足夠長(zhǎng)的情況下，網(wǎng)絡(luò)的覆蓋概率會(huì)較少。但如果其間隔過(guò)寬，卻又會(huì)導(dǎo)致資源的浪費(fèi)，為此，本文對(duì)預(yù)測(cè)區(qū)間內(nèi)的寬度間隔進(jìn)行定義，計(jì)算公式如下：

（6）

其中，R為潛在目標(biāo)的范圍。

而對(duì)于方根誤差，本文則是用于評(píng)價(jià)器成功演繹訓(xùn)練來(lái)的指標(biāo)，通過(guò)對(duì)預(yù)測(cè)區(qū)間內(nèi)歸一化的方根寬度進(jìn)行定義，來(lái)提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練的效果，其定義函數(shù)如下。

（7）

2.3.3 約束條件

在實(shí)際的運(yùn)用中，上述提及的覆蓋概率與寬度間隔存在一定的矛盾關(guān)聯(lián)，為此需要進(jìn)行制衡匹配，來(lái)提高網(wǎng)絡(luò)的整體處理效果。本文中，使用的寬度標(biāo)準(zhǔn)如下所示。

（8）

其中，訓(xùn)練滿足 ；但作為測(cè)試樣品時(shí)， 為階躍函數(shù)，并需滿足如下條件。

其中， 、 皆為常數(shù)，用于懲罰網(wǎng)絡(luò)覆蓋現(xiàn)象的發(fā)生。

3仿真算法

為驗(yàn)證算法的可行性，本文在Matlab 2014a 軟件環(huán)境下進(jìn)行測(cè)試，并進(jìn)行了多組實(shí)驗(yàn)。實(shí)驗(yàn)中選用的對(duì)比算法有傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法與文獻(xiàn)[12]中的算法；同時(shí)又選用兩種不同的信道進(jìn)行測(cè)試，具體傳輸函數(shù)如下所示。

電話信道：

普通信道：

為檢驗(yàn)算法的精度，本文選用誤碼率進(jìn)行算法的評(píng)價(jià)，通過(guò)采用上述指定的算法進(jìn)行測(cè)試，測(cè)試中以正方形曲線代表傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)算法，圓形曲線代表文獻(xiàn)算法，而三角形圖像代表本文算法。實(shí)驗(yàn)仿真結(jié)果如圖2、圖3所示。

圖2電話信道下的誤碼率

Fig.2 Bit error rate in telephone channel

圖3 普通信道下的誤碼率

Fig.3 Bit error rate under common channel

由圖2、圖3可看到，在兩種不同的信道下，本文算法的誤碼率曲線始終保持在另外兩種算法的下方；其中在電話信道下，本文算法隨著信噪比的不斷增強(qiáng)的影響，其誤碼率減少為了、最大；而在普通信道下，本文算法與文獻(xiàn)算法所測(cè)誤碼率相接近，但本文算法始終保持在其下方。由仿真測(cè)試可知，測(cè)試過(guò)程有效證明了算法精度，且與其他算法相比更加適用于信道較復(fù)雜的網(wǎng)絡(luò)。

4 結(jié)束語(yǔ)

提出了一種提升網(wǎng)絡(luò)精度的神經(jīng)網(wǎng)絡(luò)均衡算法，該算法通過(guò)結(jié)合粒子群的特性，利用粒子的速度來(lái)避免粒子速度過(guò)大的造成的數(shù)據(jù)丟失現(xiàn)象；最后，根據(jù)網(wǎng)絡(luò)的區(qū)間覆蓋率與間隔寬度等條件對(duì)網(wǎng)絡(luò)進(jìn)行尋優(yōu)約束；經(jīng)實(shí)驗(yàn)驗(yàn)證，該算法具有較好的搜索精度，但在算法的搜索效率方面仍有較大的提升空間，這將作為下一步的研究方向，用于開展深入研究。

參考文獻(xiàn)

[1]RICHARDSON F， REYNOLDS D， DEHAK N. Deep Neural Network approaches to speaker and language recognition[J]. IEEE SIGNAL PROCESSING LETTERS，2015，22（10）： 1671-1675.

[2]WANG L B， MENG Z， SUN Y Z， et al. Design and analysis of a novel chaotic diagonal recurrent neural network[J]. COMMUNICATIONS IN NONLINEAR SCIENCE AND NUMERICAL SIMULATION， 2015，26（1-3）： 11-23.

[3]ZHOU X H， ZHOU W N， YANG J， et al. A novel scheme for synchronization control of stochastic neural networks with multiple time-varying delays[J]. NEUROCOMPUTING，2015，159： 50-57.

[4]SONG Q K， ZHAO Z J， LIU Y R. Stability analysis of complex-valued neural networks with probabilistic time-varying delays[J]. NEUROCOMPUTING， 2015，159： 96-104.

[5]LIU H， BAN X J. Clustering by growing incremental self-organizing neural network[J]. EXPERT SYSTEMS WITH APPLICATIONS， 2015，42（11）： 4965-4981.

[6]JIANG M H， MEI J， HU J H. New results on exponential synchronization of memristor-based chaotic neural networks[J]. NEUROCOMPUTING， 2015，156： 60-67.

[7]XIONG T， BAO Y K， HU Z Y， et al. Forecasting interval time series using a fully complex-valued RBF neural network with DPSO and PSO algorithms[J]. INFORMATION SCIENCES， 2015，305： 77-92.

[8]AGRAWAL R K， BAWANE N G. Multiobjective PSO based adaption of neural network topology for pixel classification in satellite imagery[J]. APPLIED SOFT COMPUTING，2015，28： 217-225.

[9]KRZYSZTOF P， ARKADIUSZ L. Encoding symbolic features in simple decision systems over ontological graphs for PSO and neural network based classifiers[J]. NEUROCOMPUTING， 2014，144： 338-345

[10]TU J J， ZHAN Y Z， HAN F. Radial basis function Neural Network optimized by Particle Swarm Optimization Algorithm coupling with prior information[J]. JOURNAL OF COMPUTATIONAL AND THEORETICAL NANOSCIENCE，2013，10（12）： 2866-2871.

[11]SAURABH G， KARALI P， PAL S K. Particle swarm optimization of a neural network model in a machining process[J]. SADHANA-ACADEMY PROCEEDINGS IN ENGINEERING SCIENCES， 2014，39（3）： 533-548.

[12]SHEIKHAN M， MOHAMMADI N. Time series prediction using PSO-optimized neural network and hybrid feature selection algorithm for IEEE load data[J]. NEURAL COMPUTING & APPLICATIONS， 2013，23（3-4）： 1185-1194.