基于面向?qū)ο笞赃m應(yīng)粒子群算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練

（1.華南理工大學(xué) 數(shù)學(xué)科學(xué)學(xué)院， 廣州 510640; 2.江西師范大學(xué) 計算機(jī)信息工程學(xué)院， 南昌 330022）



摘 要：針對傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法收斂速度慢和泛化性能低的缺陷，提出一種新的基于面向?qū)ο蟮淖赃m應(yīng)粒子群優(yōu)化算法(OAPSO)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。該算法通過改進(jìn)PSO的編碼方式和自適應(yīng)搜索策略以提高網(wǎng)絡(luò)的訓(xùn)練速度與泛化性能，并結(jié)合Iris和Ionosphere分類數(shù)據(jù)集進(jìn)行測試。實驗結(jié)果表明：基于OAPSO算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在分類準(zhǔn)確率上明顯優(yōu)于BP算法及標(biāo)準(zhǔn)PSO算法，極大地提高了網(wǎng)絡(luò)泛化能力和優(yōu)化效果，具有快速全局收斂的性能。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò); 粒子群優(yōu)化算法; 面向?qū)ο蠓椒? 拓?fù)浣Y(jié)構(gòu)優(yōu)化

中圖分類號：TP183 文獻(xiàn)標(biāo)志碼：A

文章編號：10013695(2009)01011103



Neural network training based on objectoriented adaptiveparticle swarm optimization

XU Lehua1， LIN Weixin1， XIONG Liqiong2



（1.School of Mathematics Science， South China University of Technology， Guangzhou 510640， China; 2.School of Computer Information Engineering， Jiangxi Normal University， Nanchang 330022， China）



Abstract:In view of the traditional neural network training algorithm defects of slow convergence speed and the low generalization， this paper proposed a novel objectoriented adaptive particle swarm optimization(OAPSO) algorithm in the neural network training. This algorithm enhanced the training speed and the generalization ofnetwork through improving the encoding method and the selfadapted search strategy of PSO. Then， used two standard data sets， Iris and Ionosphere， in the test. The experiments show that the neural network based on OAPSO algorithm is obviously superior to BP algorithm and standard PSO algorithm in the classification accuracy rate， and enhances the generalization and the optimized effect of the network. This algorithm has the performance of rapid global convergence.

Key words：neural network; particle swarm optimization algorithm; objectoriented methods; topology optimization



0 引言

神經(jīng)網(wǎng)絡(luò)訓(xùn)練的根本要求是構(gòu)造具有足夠泛化能力的網(wǎng)絡(luò)，使構(gòu)造的神經(jīng)網(wǎng)絡(luò)對訓(xùn)練樣本集輸出與輸入的映射關(guān)系擁有足夠的描述能力。目前，在神經(jīng)網(wǎng)絡(luò)的應(yīng)用和研究中，如何有效地提高網(wǎng)絡(luò)的泛化能力和訓(xùn)練速度是存在的最主要問題。為使網(wǎng)絡(luò)具有足夠的泛化能力，要求網(wǎng)絡(luò)輸出誤差在相鄰樣本點(diǎn)間的變化足夠小。因此，網(wǎng)絡(luò)訓(xùn)練的基本要求是網(wǎng)絡(luò)輸出誤差足夠小和相鄰樣本點(diǎn)間網(wǎng)絡(luò)輸出誤差的波動量足夠小[1]。

為了達(dá)到神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本要求，國內(nèi)外的研究者采用粒子群優(yōu)化（PSO）算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)的權(quán)值和拓?fù)浣Y(jié)構(gòu)[2~7]。PSO算法通過種群間信息共享進(jìn)行尋優(yōu)，以獲得結(jié)構(gòu)優(yōu)化的神經(jīng)網(wǎng)絡(luò)；但是，它存在收斂速度慢、易陷入局部最優(yōu)和種群多樣性易丟失問題[8~11]，且缺乏有效的尋優(yōu)搜索機(jī)制，算法在接近最優(yōu)解時收斂緩慢甚至出現(xiàn)停滯現(xiàn)象，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練難以達(dá)到理想效果。針對PSO算法的不足，本文提出一種新的基于面向?qū)ο蟮淖赃m應(yīng)粒子群算法(objectoriented adaptive particle swarm optimization，OAPSO) 應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

1 基于面向?qū)ο蟮淖赃m應(yīng)粒子群算法

1.1 標(biāo)準(zhǔn)粒子群優(yōu)化算法

粒子群優(yōu)化算法[12]是一種基于群智能的進(jìn)化計算技術(shù)，起源于對一個簡化社會模型的仿真。它是受鳥群群體運(yùn)動行為方式啟發(fā)而提出的一種具有代表性的集群智能方法，采用速度-位移搜索模型，算法操作簡單、計算復(fù)雜度低，既能以較大的概率保證最優(yōu)解，又可以提高局部區(qū)域的收斂速度。PSO 算法的速度模型進(jìn)化方程為

vt+1ij=w×vtij+c1r1×(ptij-xtij)+c2r2×(gtj-xtij) (1)

xt+1ij=xtij+vt+1ij(2)

其中:r1和r2為[0，1]隨機(jī)數(shù)；w為慣性權(quán)重；c1和c2為加速度權(quán)重；xtij為微粒當(dāng)前位置；vt+1ij為微粒新的速度；ptij為個體微粒所達(dá)到的最好位置；gtj為所有微粒經(jīng)歷過的最好位置。在得到微粒新的速度后，便可獲得新的位置。

由于PSO算法受種群初始分布的影響，尤其在高維復(fù)雜多峰函數(shù)求解問題中，可能導(dǎo)致種群運(yùn)動陷入局部最優(yōu)；同時種群引導(dǎo)信息較為單一，粒子將難以對整個解空間進(jìn)行均勻有效的搜索，致使種群的多樣性易丟失，尤其是算法運(yùn)算初期。為克服PSO算法收斂速度慢、易陷入局部最優(yōu)和種群多樣性易丟失問題，本文提出一種新的基于面向?qū)ο蟮淖赃m應(yīng)粒子群算法。

1.2 基于面向?qū)ο笞赃m應(yīng)的粒子群算法

在面向?qū)ο笤O(shè)計方法學(xué)中[13]，現(xiàn)實世界中的每個個體都可看成是一個對象。對象具有屬性和方法。屬性部分也稱為數(shù)據(jù)部分或靜態(tài)部分，用于描述對象的狀態(tài)；方法部分也稱為函數(shù)部分或動態(tài)部分，用于改變對象的狀態(tài)。

在空間中飛行的粒子，作為現(xiàn)實世界一個實體，就是一個對象。因此，粒子也具有自己的屬性和方法。從面向?qū)ο笤O(shè)計方法學(xué)的角度出發(fā)，為進(jìn)一步提高粒子的自適應(yīng)搜索能力，本文提出OAPSO算法。OAPSO作為一種全新概念的隨機(jī)優(yōu)化算法，為其提出了相應(yīng)的粒子編碼模型：

粒子Si=〈方法；屬性〉=（飛行搜索；位置，速度，適應(yīng)度）；i為粒子的編號

作為完整的粒子對象，飛行搜索為粒子的動態(tài)方法，位置、速度、適應(yīng)度等為粒子的屬性，粒子通過自身的動態(tài)方法與其他對象相互傳遞信息，改變自身的屬性值。

為克服標(biāo)準(zhǔn)PSO算法易陷入局部最優(yōu)和種群多樣性易丟失問題，增強(qiáng)OAPSO種群的多樣性對OAPSO進(jìn)行多元規(guī)劃。在算法初期適當(dāng)考慮種群的多元最優(yōu)值分布特征，引入群體中前M最優(yōu)的對象對當(dāng)前微粒的運(yùn)動進(jìn)行局部與全局并行搜索的多元規(guī)劃。微粒的運(yùn)動速度由下式?jīng)Q定：

a)基于個體自主的局部搜索：

φt+1id=χ1[vtid+c1r1(ptid-xtid)+c2r2(xt-1id-xtid)](3)

b)基于多元最優(yōu)信息規(guī)劃的全局搜索：

t+1id=χ2[vtid+c0r0(pt-1gd-xtid)+∑Mk=1ckrk(ptk，id-xtid)](4)

其中：ptk，id表示在t時刻整個群體中排列第k的最優(yōu)值；ck、rk分別表示與其相匹配的加權(quán)系數(shù)和隨機(jī)量。

OAPSO作為一種自適應(yīng)隨機(jī)搜索算法，粒子對象將根據(jù)個體誤差與種群誤差之間的關(guān)系，采取局部與全局搜索相結(jié)合的自適應(yīng)策略：

vt+1id=uφt+1id+(1-u)t+1id

(5)

其中：u∈[0，1]為自適應(yīng)搜索因子，用于平衡粒子對象局部搜索與全局搜索的關(guān)鍵因素，也是粒子自適應(yīng)搜索的體現(xiàn)，旨在充分發(fā)揮OAPSO算法的尋優(yōu)性能，增強(qiáng)OAPSO算法的自適應(yīng)性。本文自適應(yīng)因子u采取如下搜索策略(u：局部→全局→局部)：粒子對象根據(jù)個體誤差與種群最優(yōu)誤差之間的關(guān)系，隨迭代次數(shù)u=1/[1+exp(-λ(t-Tmax/2)2)]-0.2進(jìn)行自適應(yīng)搜索。當(dāng)1≤t≤t1時，為增強(qiáng)種群對象初始化階段的均勻分布性，保證種群一定的多樣性，采取局部搜索;當(dāng)t1≤t≤t2時，主要采取基于信息共享的全局搜索策略，對整個空間進(jìn)行全局搜索;當(dāng)t2≤t≤Tmax時，種群各粒子都趨于進(jìn)入收斂域或已進(jìn)入收斂域，此時為防止各粒子在進(jìn)一步搜索時跳出收斂域或在收斂域內(nèi)搜索步距過大，將主要采取局部搜索。 

2 基于OAPSO算法的神經(jīng)網(wǎng)絡(luò)訓(xùn)練

為提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法收斂速度和泛化性能，將OAPSO算法用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，使其在訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)值的同時優(yōu)化網(wǎng)絡(luò)的連接結(jié)構(gòu)、刪除冗余連接、有效地提高網(wǎng)絡(luò)的分類準(zhǔn)確率。OAPSO算法的學(xué)習(xí)步驟如下：

a）樣本預(yù)處理，將樣本數(shù)據(jù)值歸一化為(0，1)范圍內(nèi)。

b）初始化網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)定網(wǎng)絡(luò)的輸入層、隱層、輸出層的神經(jīng)元個數(shù);初始化種群規(guī)模、位置和速度。

c）根據(jù)適應(yīng)度值公式：fitness=1/2n∑Np=1∑dimj(ypj-tpj)2，計算對象的適應(yīng)度值，確定個體最優(yōu)值和種群最優(yōu)值。其中：N為訓(xùn)練樣本數(shù)，dim為輸出神經(jīng)元個數(shù)，ypj、tpj分別為第p個樣本的第j個分量的輸出值和期望輸出值。

d)根據(jù)式(3)~(5)更新種群粒子的位置和速度，并考慮更新后的速度和位置是否在有限的范圍內(nèi):

(a)考慮速度。若vij(t+1)≥vmax，則vij(t+1)=vmax;若vij(t+1)≤-vmax，則vij(t+1)=-vmax;否則不變。

（b)考慮位置。若wij(t+1)≥wmax，則wij(t+1)=wmax;若wij(t+1)≤-wmin，則wij(t+1)=-wmin;否則不變。

其中：wmin、wmax和vmax都為常數(shù)。

當(dāng)｜wij≤β時，說明該連接權(quán)對網(wǎng)絡(luò)誤差貢獻(xiàn)小，對網(wǎng)絡(luò)輸出影響低。設(shè)定該連接權(quán)為冗余的，應(yīng)當(dāng)刪除其連接權(quán)，即令wij=0。

e)判斷算法是否達(dá)到終止條件，如果滿足終止條件，算法終止;否則返回到c)。

3 算法實驗與仿真

3.1 Iris分類問題

Iris數(shù)據(jù)是測試分類器性能的一個基準(zhǔn)數(shù)據(jù)集。在數(shù)據(jù)記錄中， Iris植物有四種屬性，即萼片長度、萼片寬度、花瓣長度和花瓣寬度。三種植物各有50組數(shù)據(jù)，總共有150組數(shù)據(jù)。實驗將Iris數(shù)據(jù)集作為算法的測試實例，將150組數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)， 根據(jù)經(jīng)驗選取100個訓(xùn)練數(shù)據(jù)和50個測試數(shù)據(jù)。

在實驗中首先根據(jù)經(jīng)驗確定一個較大的網(wǎng)絡(luò)，選用三層的神經(jīng)網(wǎng)絡(luò)做實驗；其次根據(jù)Iris植物屬性選定輸入層為四個節(jié)點(diǎn)，每個節(jié)點(diǎn)代表植物的一種屬性，輸出層選定為三個節(jié)點(diǎn)，每個輸出節(jié)點(diǎn)代表一類植物，根據(jù)經(jīng)驗公式設(shè)定隱層節(jié)點(diǎn)數(shù)為10個；最后使用剪枝進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。

本算法采用兩種終止條件分別進(jìn)行算法測試取得不錯效果；并與BP、PSO算法進(jìn)行比較，實驗結(jié)果表明OAPSO算法的有效性。

1)以最大迭代次數(shù)為終止條件的實驗

實驗是以最大迭代次數(shù)為終止條件，三種算法的訓(xùn)練誤差曲線如圖1所示。其中訓(xùn)練平均誤差、分類正確率、網(wǎng)絡(luò)連接數(shù)的結(jié)果如表1所示。

表1 OAPSO與BP、PSO訓(xùn)練結(jié)果比較

算法迭代次數(shù)平均誤差平均正確率/%平均權(quán)數(shù)

OAPSO5000.024 996.82 46

BP500 0.111 690.41 70

PSO5000.044 394.36 70

由表1和圖1可知，在最大迭代次數(shù)條件下，OAPSO算法不僅具有較快的收斂速度，而且還具有較強(qiáng)的泛化性能。

2)以目標(biāo)誤差為終止條件的實驗

實驗是以目標(biāo)誤差為終止條件，三種算法的訓(xùn)練誤差曲線如圖2所示。其中訓(xùn)練平均誤差、分類正確率、網(wǎng)絡(luò)連接數(shù)的結(jié)果如表2所示。

由表2和圖2可知，在以相同目標(biāo)誤差為終止條件時，OAPSO算法達(dá)到目標(biāo)誤差的訓(xùn)練次數(shù)少于BP和PSO算法，具有快速收斂速度，表現(xiàn)出較強(qiáng)的泛化性能。

表2 OAPSO與BP、PSO訓(xùn)練結(jié)果比較

算法目標(biāo)誤差 平均次數(shù)平均正確率/%平均權(quán)數(shù)

OAPSO 0.04 38596.8244

BP 0.04 92892.43 70

PSO 0.04 56994.43 70

3.2 Ionosphere分類問題

Ionosphere為雷達(dá)信號分類數(shù)據(jù)，一類是good數(shù)據(jù)，該數(shù)據(jù)反映出電離層結(jié)構(gòu)特征；另一類屬于bad數(shù)據(jù)，不能反映電離層特征。該數(shù)據(jù)集共有351個數(shù)據(jù)，每組數(shù)據(jù)有34維的特征屬性。根據(jù)經(jīng)驗選用200個作為訓(xùn)練數(shù)據(jù)，151個作為測試數(shù)據(jù)。

實驗中，首先根據(jù)經(jīng)驗確定一個較大的網(wǎng)絡(luò)，選用三層的神經(jīng)網(wǎng)絡(luò)做實驗；其次根據(jù)Ionosphere數(shù)據(jù)特性選定輸入層為34個節(jié)點(diǎn)，每個節(jié)點(diǎn)表征數(shù)據(jù)一種屬性，輸出層選定為一個節(jié)點(diǎn)，輸出節(jié)點(diǎn)代表是有用信號或無用信號，根據(jù)經(jīng)驗公式確定隱層節(jié)點(diǎn)數(shù)為15個；最后使用剪枝進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。

本算法采用兩種終止條件來進(jìn)行算法測試，取得不錯結(jié)果；并與BP、PSO算法進(jìn)行比較，實驗結(jié)果表明OAPSO算法的有效性。

1)以最大迭代次數(shù)為終止條件實驗

實驗以最大迭代次數(shù)為終止條件，三種算法的訓(xùn)練誤差曲線如圖3所示。其中訓(xùn)練平均誤差、分類正確率、網(wǎng)絡(luò)連接數(shù)的結(jié)果如表3所示。

表3 OAPSO與BP、PSO訓(xùn)練結(jié)果比較

算法迭代次數(shù)平均誤差平均正確率/%平均權(quán)數(shù)

OAPSO500 0.023 1 95.76 432

BP500 0.080 890.48 525

PSO500 0.034 694.89 525

由表3和圖3可知，在最大迭代次數(shù)條件下，OAPSO算法不僅具有較快的收斂速度，而且還具有較強(qiáng)的泛化性能。

2)以目標(biāo)誤差為終止條件實驗

實驗是以最大迭代次數(shù)為終止條件，三種算法的訓(xùn)練誤差曲線如圖4所示。其中訓(xùn)練平均誤差、分類正確率、網(wǎng)絡(luò)連接數(shù)的結(jié)果如表4所示。

表4 OAPSO與BP、PSO訓(xùn)練結(jié)果比較

算法 目標(biāo)誤差 平均次數(shù)平均正確率/%平均權(quán)數(shù)

OAPSO 0.04 30695.76 463

BP 0.04 1 392 94.89 525

PSO 0.04 39194.69 525

由表4和圖4可知，在以相同目標(biāo)誤差為終止條件時，OAPSO算法達(dá)到目標(biāo)誤差的訓(xùn)練次數(shù)明顯少于BP和PSO算法，具有快速收斂速度，表現(xiàn)出較強(qiáng)的泛化性能。

3.3 OAPSO算法性能分析

通過Iris和Ionosphere兩組數(shù)據(jù)實驗可以看出，OAPSO算法具有很強(qiáng)的自適應(yīng)搜索能力，它根據(jù)種群對象的適應(yīng)度值，采取局部與全局相結(jié)合的搜索策略。a)與BP算法相比， OAPSO算法收斂速度快，不易陷入局部最優(yōu)，且無須使用函數(shù)的梯度值。b)與PSO算法相比， 雖PSO算法初期收斂速度較快，但PSO算法種群多樣性易丟失，以至算法后期收斂速度較慢；OAPSO算法運(yùn)算初期速度雖然較慢，但初期實行局部為主搜索有利于粒子均勻分布整個搜索空間，有利于保持種群的多樣性，同時OAPSO算法后期采取局部為主搜索，有利于粒子在收斂域內(nèi)搜索，防止粒子跳出收斂域或在收斂域搜索步距過大，這樣更有利快速找到最優(yōu)值。

4 結(jié)束語

本文提出一種基于面向?qū)ο蟮淖赃m應(yīng)粒子群優(yōu)化算法，并將該算法用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，取得了較好的結(jié)果。實驗證明：該算法與BP算法、PSO算法相比，取得了明顯的網(wǎng)絡(luò)優(yōu)化效果，提高了網(wǎng)絡(luò)的泛化性能，具有快速全局收斂速度。進(jìn)一步的研究工作將著手引入合理的種群多樣性評判規(guī)則以及神經(jīng)網(wǎng)絡(luò)分類規(guī)則。

參考文獻(xiàn)：

［1］張德賢. 基于輸出誤差與偏導(dǎo)數(shù)誤差信息融合的神經(jīng)網(wǎng)絡(luò)訓(xùn)練[J].計算機(jī)工程與應(yīng)用，2002， 38(24):5557.

[2]高海兵，高亮，周馳，等. 基于粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法研究[J].電子學(xué)報，2004，32(9):15721574.

[3]劉洪波，王秀坤，孟軍，等. 神經(jīng)網(wǎng)絡(luò)基于粒子群優(yōu)化的學(xué)習(xí)算法研究[J]. 小型微型計算機(jī)系統(tǒng)，2005，26(4):638640.

[4]GRIMALDI E A， GRIMACCIA F， MUSSETTA M， et al. PSO as an effective learning algorithm for neural network applications[C]//Proc ofthe 3rd International Conference on Computational Electromagnetics and Its Applications. 2004:557560.

[5]GUDISE V G， VENAYAGAMOORTHY G K. Comparison of particle swarm optimization and backpropagation as training algorithms for neural networks[C]//Proc ofIEEE Swarm Intelligence Symposium. 2003: 110117.

[6]ZHANG Jingru， ZHANG Jun， LOK T M，et al. A hybrid particle swarm optimizationbackpropagation algorithm for feedforward neural network training[J]. Applied Mathematics and Computation， 2006，185(2):10261037.

[7]DENG Changhui， WEI Xinjiang， GUO Lianxi. Application of neural network based on PSO algorithm in prediction model for dissolved oxygen in fishpond[C]//Proc of the 6th World Congress on Intelligent Control and Automation. 2006:94019405.

[8]毛恒， 王永初. 一種基于差異演化變異的粒子群優(yōu)化算法[J].計算機(jī)工程與應(yīng)用，2007，43(30):5659.

[9]陸克中， 王汝傳， 帥小應(yīng). 保持粒子活性的改進(jìn)粒子群優(yōu)化算法[J].計算機(jī)工程與應(yīng)用， 2007，43(11):3538.

[10]何慶元， 韓傳久. 帶有擾動項的改進(jìn)粒子群算法[J].計算機(jī)工程與應(yīng)用，2007，43(7):8486.

[11]李紹軍， 王惠， 錢鋒. 基于模式優(yōu)化思想改進(jìn)的粒子群優(yōu)化算法[J].控制與決策，2006，21(10):11931196.

[12]楊維， 李歧強(qiáng). 粒子群優(yōu)化算法綜述[J]. 中國工程科學(xué)， 2004，6(5):8794.

[13]文登敏， 張麗梅. 面向?qū)ο罄碚撆c實踐[M]. 成都: 西南交通大學(xué)出版社， 2005.