改進(jìn)約束雞群算法在神經(jīng)網(wǎng)絡(luò)的應(yīng)用*

張瑩杰，張樹群

(暨南大學(xué)信息科學(xué)技術(shù)學(xué)院，廣東廣州510632)

1 引言

近年來，Hinton教授等人［1］提出深度置信網(wǎng)絡(luò)DBN(Deep Belief Network)，掀起了深度學(xué)習(xí)DL(Deep Learning)的熱潮。而最早的人工神經(jīng)網(wǎng)絡(luò)(又稱神經(jīng)網(wǎng)絡(luò))又重新引起了許多學(xué)者的關(guān)注，其中BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)是應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型。BP神經(jīng)網(wǎng)絡(luò)有著并行處理、魯棒性、自適應(yīng)組織等特點(diǎn)，非常適合解決復(fù)雜的非線性問題，在模式識(shí)別、故障測(cè)試、圖像處理等領(lǐng)域有著廣泛的應(yīng)用。

近年來，隨著智能優(yōu)化算法的發(fā)展，更多的智能優(yōu)化算法被用于解決規(guī)模大、維數(shù)高的復(fù)雜工程問題，如粒子群優(yōu)化算法［2-5］、螢火蟲算法［6-8］、蟻群算法［9］。基于誤差反向傳播算法的BP神經(jīng)網(wǎng)絡(luò)存在收斂速度慢、易陷于局部極小值的問題，和智能算法相結(jié)合優(yōu)化BP神經(jīng)網(wǎng)絡(luò)已成為一個(gè)研究熱點(diǎn)。

雞群算法CSO(Chicken Swarm Optimization)［10］是一種基于雞群搜索行為的群智能算法，它模擬雞群等級(jí)制度和雞群行為，將雞群分為若干子群，每個(gè)子群由一只公雞、若干母雞和小雞組成，不同種類的雞遵循不同的移動(dòng)規(guī)律，每個(gè)子群中的個(gè)體都圍繞這個(gè)子群中的公雞尋找食物，而公雞隨機(jī)移動(dòng)。CSO具有良好的全局收斂性和魯棒性，在工程中得到了廣泛的應(yīng)用。Ahmed等人［11］基于雞群優(yōu)化算法提出一種自適應(yīng)方法，更好地解決了復(fù)雜社會(huì)網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)問題。Hafez等人［12］提出了一種基于雞群優(yōu)化算法的特征選擇系統(tǒng)，取得了更好的分類精度。然而，雞群算法兼具這些優(yōu)點(diǎn)的同時(shí)不免也會(huì)有自己的缺陷，例如在求解多極值優(yōu)化問題時(shí)易陷入局部最優(yōu)、收斂速度較慢等問題。針對(duì)在高維問題求解中，CSO算法容易陷入局部最優(yōu)的問題，提出了一種改進(jìn)的CSO算法，在高維情況下，通過大量的測(cè)試函數(shù)進(jìn)行相關(guān)參數(shù)分析和優(yōu)化能力驗(yàn)證。

本文針對(duì)雞群算法存在的收斂速度較慢及易陷入局部最優(yōu)［13-15］等問題，提出了一種改進(jìn)約束雞群算法ICCSO(Improved Constrained Chicken Swarm Optimization)，從約束函數(shù)和進(jìn)化機(jī)制兩方面對(duì)基本雞群算法進(jìn)行了改進(jìn)，提高了算法的收斂速度和全局搜索能力，并以幾個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)和BP神經(jīng)網(wǎng)絡(luò)為例進(jìn)行了仿真實(shí)驗(yàn)，結(jié)果表明，該算法在收斂速度、全局搜索能力上優(yōu)于基本雞群算法、改進(jìn)雞群算法。

2 改進(jìn)雞群優(yōu)化算法

2．1 基本雞群優(yōu)化算法

在基本雞群優(yōu)化算法中，雞群被分為若干子群，每個(gè)子群由帶頭公雞、若干母雞和小雞組成。雞群中，適應(yīng)度最好的若干個(gè)體作為帶頭公雞，適應(yīng)度最差的一些個(gè)體作為小雞，剩余的個(gè)體作為母雞。母雞隨機(jī)選擇公雞，母雞與小雞的母子關(guān)系也是隨機(jī)建立的，且這種等級(jí)制度、支配關(guān)系和母子關(guān)系一旦建立就保持不變，直至數(shù)代以后才開始更新。每個(gè)子群中的個(gè)體都圍繞這個(gè)子群中的公雞尋找食物，而公雞隨機(jī)移動(dòng)，迭代進(jìn)行群體更新以獲取目標(biāo)。

在解決優(yōu)化問題時(shí)，雞群中的每個(gè)個(gè)體都對(duì)應(yīng)優(yōu)化問題的一個(gè)解。假設(shè)雞群中所有個(gè)體數(shù)為N，公雞、母雞、小雞和媽媽母雞的個(gè)數(shù)分別為 NR、NH、NC和 NM。xti，j(i∈［1，N］，j∈［1，D］)表示個(gè)體i第t次迭代時(shí)在j維搜索空間的位置。

雞群中雞的類型有3種，不同類型的雞的位置更新公式不同。公雞是雞群中適應(yīng)度最好的一群個(gè)體，它們?cè)诟鼜V泛的空間尋找食物，公雞所對(duì)應(yīng)的位置更新公式如下:其中，randn(0，σ2)是均值為0、標(biāo)準(zhǔn)差為σ2的一個(gè)高斯分布;ε是一個(gè)很小的常數(shù)。k(k∈［1，N］，k≠i)為公雞中不為i的任一個(gè)體，是從所有非雞群子群的公雞中隨機(jī)選擇的。f為個(gè)體x對(duì)應(yīng)的適應(yīng)度值。

母雞所對(duì)應(yīng)的位置更新公式如下:

其中，rand為［0，1］的隨機(jī)數(shù);r1為第i只母雞自身所在子群中的公雞;r2為隨機(jī)選取的任意公雞或者母雞個(gè)體，且 r1≠r2。

小雞所對(duì)應(yīng)的位置更新公式如下:

其中，m為第i只小雞對(duì)應(yīng)的母雞;FL(FL∈［0，2］)為跟隨系數(shù)，表示小雞跟隨其對(duì)應(yīng)母雞尋找食物。

2．2 改進(jìn)雞群優(yōu)化算法

基本雞群算法存在收斂速度較慢及易陷入局部最優(yōu)等問題，本文從約束函數(shù)和進(jìn)化機(jī)制兩方面對(duì)基本雞群算法進(jìn)行了改進(jìn)。

2．2．1 約束函數(shù)的改進(jìn)

在基本雞群算法中，如果個(gè)體超出搜索范圍，個(gè)體將從最接近的邊界重新開始搜索。數(shù)學(xué)描述如下:

其中，Lbj、Ubj分別表示第j維的下邊界、上邊界。

雞群算法用相應(yīng)的上下界替代約束值，收斂速度較慢。本文提出用當(dāng)前種群中最優(yōu)秀群體相應(yīng)值的隨機(jī)移動(dòng)替換約束值，以提高算法的收斂速度。描述如下:

其中，w1為步長(zhǎng)，randn(0，1)為標(biāo)準(zhǔn)正態(tài)分布，是從當(dāng)前最優(yōu)的Nwell(Nwell=NR)個(gè)個(gè)體中隨機(jī)選擇的，為從當(dāng)前較優(yōu)的 Ngood(Ngood=N －NC)個(gè)個(gè)體中隨機(jī)選擇的。

2．2．2 進(jìn)化機(jī)制的改進(jìn)

由基本雞群算法3種類型的雞的位置更新公式可知，每個(gè)子群中的個(gè)體都圍繞這個(gè)子群中的公雞尋找食物，而公雞隨機(jī)移動(dòng)。如果公雞陷入局部最優(yōu)，則整個(gè)子群也可能陷入局部最優(yōu);而且公雞間相互沒有信息交流，收斂速度較慢。針對(duì)這些缺點(diǎn)，我們?cè)黾恿苏麄€(gè)雞群最優(yōu)個(gè)體對(duì)公雞和母雞的牽引作用，以提高算法的收斂速度和全局搜索能力。

改進(jìn)后的公雞所對(duì)應(yīng)的位置更新公式如下:

其中

其中，w2為自適應(yīng)調(diào)整因子，wmin、wmax分別為調(diào)整因子的最小值和最大值;M為迭代的最大次數(shù)。

改進(jìn)后的母雞所對(duì)應(yīng)的位置更新公式如下:

改進(jìn)后的算法步驟如下所示:

步驟1初始化。確定初始參數(shù) N、NR、NH、NC、NM、M等，在解空間內(nèi)隨機(jī)生成雞群各個(gè)個(gè)體的初始位置x，計(jì)算其適應(yīng)度，初始化個(gè)體當(dāng)前最好位置Pbest和雞群全局最好位置Ibest。

步驟2如果滿足更新雞群關(guān)系條件，對(duì)雞群的適應(yīng)度值進(jìn)行排序，建立雞群的等級(jí)制度、支配關(guān)系和母子關(guān)系。

步驟3分別由公式(9)、公式(11)、公式(6)更新公雞、母雞和小雞的位置并計(jì)算其適應(yīng)度值。

步驟4更新雞群的個(gè)體當(dāng)前最好位置和雞群全局最好位置。

步驟5步驟2～步驟4為一次迭代過程，完成后判斷是否達(dá)到最大迭代次數(shù)，如果是，則終止循環(huán)，否則繼續(xù)循環(huán)。

2．3 基于改進(jìn)約束雞群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化

BP神經(jīng)網(wǎng)絡(luò)是按誤差反向傳播算法進(jìn)行學(xué)習(xí)的多層前饋神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般為3層:輸入層、隱含層和輸出層(層內(nèi)無連接、層間全連接)。BP神經(jīng)網(wǎng)絡(luò)通過誤差函數(shù)梯度反方向下降調(diào)整權(quán)值和閾值，反復(fù)訓(xùn)練學(xué)習(xí)權(quán)值和閾值使誤差函數(shù)達(dá)到最小。

結(jié)合雞群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)［16-18］的基本原理是:神經(jīng)網(wǎng)絡(luò)中的權(quán)值和閾值作為雞群個(gè)體，誤差函數(shù)作為雞群算法的適應(yīng)函數(shù)，通過迭代更新找到整個(gè)雞群最優(yōu)個(gè)體，再將最優(yōu)個(gè)體返還回神經(jīng)網(wǎng)絡(luò)進(jìn)行誤差結(jié)果測(cè)試。具體步驟如下:

步驟1根據(jù)實(shí)際要求初始化BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu):每層神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)、權(quán)值、閾值等;

步驟2將權(quán)值和閾值視為雞群個(gè)體，初始化雞群算法參數(shù);

步驟3計(jì)算個(gè)體當(dāng)前最好位置Pbest和雞群全局最好位置Ibest，建立雞群的等級(jí)制度、支配關(guān)系和母子關(guān)系;

步驟4更新公雞、母雞和小雞的位置，計(jì)算其適應(yīng)度值，并更新雞群的個(gè)體當(dāng)前最好位置和雞群全局最好位置;

步驟5進(jìn)行雞群算法迭代更新:搜索雞群最優(yōu)個(gè)體;

步驟6將最優(yōu)個(gè)體傳回BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練并用測(cè)試數(shù)據(jù)進(jìn)行驗(yàn)證。

3 實(shí)驗(yàn)仿真和分析

3．1 雞群算法仿真

本文采用表1所列出的5個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)來分析和驗(yàn)證ICCSO算法的實(shí)際性能效果，并將結(jié)果與ICSO［19］和CSO算法進(jìn)行了對(duì)比。

Table 1 Standard test functions for testing algorithm performance表1 用于測(cè)試算法性能的標(biāo)準(zhǔn)測(cè)試函數(shù)

本實(shí)驗(yàn)中，ICCSO算法的種群大小N為100，維數(shù)D為10，最大迭代次數(shù)M 為1 000。NR、NH、NC、NM分別為0．2N、0．6N、0．1N、0．1NH，F(xiàn)L 為［0．4，1］的隨機(jī)數(shù)，G=10，wmin=0．8，wmax=1．0。每個(gè)測(cè)試函數(shù)分別獨(dú)立運(yùn)行50次，以消除隨機(jī)性，將計(jì)算出的最優(yōu)值、最差值、平均值、標(biāo)準(zhǔn)差值與CSO和ICSO的計(jì)算結(jié)果相比較，如表2所示和圖1所示。

(1)F1函數(shù):由表2可以看出，ICCSO算法的平均值和最優(yōu)值精度比ICSO算法和CSO算法的提高了40多個(gè)數(shù)量級(jí)，而ICSO算法的平均值和最優(yōu)值精度只是比CSO算法的多一個(gè)數(shù)量級(jí)。圖1a中ICCSO在迭代次數(shù)為24左右時(shí)就收斂，而ICSO和CSO算法曲線還未收斂，向最優(yōu)值收斂靠攏，ICCSO算法的收斂曲線比 ICSO、CSO算法的收斂曲線更平滑陡峭，說明ICCSO算法能夠更快速收斂，而CSO和ICSO算法出現(xiàn)了最優(yōu)解停滯現(xiàn)象。在迭代次數(shù)相同時(shí)，ICCSO算法比ICSO、CSO算法的適應(yīng)度值更優(yōu)。

(2)F2函數(shù):F2函數(shù)在高維情況下存在眾多極值點(diǎn)，CSO算法和ICSO算法在運(yùn)算過程中都沒有避免這個(gè)問題，陷入了局部最優(yōu)值;而ICCSO算法避免了陷入局部最優(yōu)，并且取得了較高的收斂精度。從表2中看出，ICCSO算法的最優(yōu)值和平均值精度都要比ICSO、CSO算法的更優(yōu)。圖1b顯示ICCSO算法迭代15次左右時(shí)就收斂了，下降速度比ICSO算法、CSO算法更快，說明ICCSO算法能夠快速收斂，并且相比較其他兩個(gè)算法，每一次迭代ICCSO算法的適應(yīng)度值更好。

Table 2 Comparison of test results among the algorithms表2 算法的測(cè)試結(jié)果對(duì)比

(3)F3函數(shù):從表2可以看出，ICCSO算法的最優(yōu)值和平均值精度要比ICSO算法、CSO算法的精度高40～50個(gè)數(shù)量級(jí)。圖1c中ICCSO算法能在迭代15次以后達(dá)到收斂，比其他兩個(gè)算法更快速找到最優(yōu)值，并保持了較好的速度和精度。

(4)F4函數(shù):從表2中可以看出，ICCSO算法的最優(yōu)值精度和平均值精度都要比ICSO算法、CSO算法高出45個(gè)左右數(shù)量級(jí)。圖1d中ICCSO算法的收斂曲線要更平滑陡峭，收斂速度比其他算法更快一些。

(5)F5函數(shù):表2中ICCSO算法的最優(yōu)值、平均值精度要達(dá)到e－170左右，而ICSO、CSO算法的精度卻只有e－120左右。圖1e中ICCSO算法收斂速度要更快一些，能快速找到最優(yōu)值并進(jìn)入收斂狀態(tài)。

綜上所述，對(duì)于這5個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)，尤其是對(duì)于存在眾多極值點(diǎn)的問題，ICCSO算法都取得了比CSO算法和ICSO算法更令人滿意的結(jié)果。仿真結(jié)果表明，ICCSO算法在全局搜索能力和收斂速度、收斂精度方面都優(yōu)于CSO算法和ICSO算法。

3．2 BP神經(jīng)網(wǎng)絡(luò)測(cè)試結(jié)果和分析

本仿真實(shí)驗(yàn)是對(duì)某型齒輪箱故障［20，21］樣本進(jìn)行識(shí)別，分別從正常運(yùn)行、點(diǎn)蝕、磨損、斷齒、點(diǎn)蝕磨損混合、斷齒磨損混合6種齒輪狀態(tài)隨機(jī)抽取80個(gè)樣本作為訓(xùn)練集，再從6種狀態(tài)中選取20個(gè)樣本作為測(cè)試集。用測(cè)試樣本的測(cè)試誤差作為衡量網(wǎng)絡(luò)的優(yōu)劣，再通過誤差計(jì)算個(gè)體的適應(yīng)度值，個(gè)體的誤差越小，適應(yīng)度越好，則該個(gè)體越優(yōu)［22］。將基本雞群算法的BP神經(jīng)網(wǎng)絡(luò)、改進(jìn)雞群算法的BP神經(jīng)網(wǎng)絡(luò)以及改進(jìn)約束雞群算法的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比，其中BP神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)均為輸入層9個(gè)節(jié)點(diǎn)、隱含層19個(gè)節(jié)點(diǎn)、輸出層6個(gè)節(jié)點(diǎn)。3種算法的神經(jīng)網(wǎng)絡(luò)測(cè)試結(jié)果如表3所示。

從表3可以看出，ICCSO算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的測(cè)試誤差為4．133 3e-08，相比ICSO算法、CSO算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)的測(cè)試誤差精度提高了2個(gè)數(shù)量級(jí)，也就是說，ICCSO算法能夠比ICSO算法、CSO算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)更準(zhǔn)確地識(shí)別齒輪箱的6種狀態(tài)，表示ICCSO算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)具有更好的故障識(shí)別精度以及較強(qiáng)的適應(yīng)能力，也從側(cè)面反映出本文提出的ICCSO算法的收斂速度、全局搜索能力確實(shí)得到了改進(jìn)，驗(yàn)證了其應(yīng)用于齒輪箱故障診斷的可行性與正確性。

4 結(jié)束語

基本雞群算法有收斂精度高和魯棒性好等優(yōu)點(diǎn)，但存在收斂速度較慢及易陷入局部最優(yōu)等問題，通過改進(jìn)基本雞群算法，并結(jié)合BP神經(jīng)網(wǎng)絡(luò)，對(duì)齒輪箱故障進(jìn)行識(shí)別，結(jié)果表明改進(jìn)約束雞群算法結(jié)合BP神經(jīng)網(wǎng)絡(luò)比改進(jìn)雞群算法、基本雞群算法有著更好的識(shí)別效果。