基于MECA算法的BP網絡研究

摘要：本文利用思維進化克隆算法（Mind Evolution Colon Algorithm 以下簡稱MECA）來設計BP網絡。該算法將思維進化算法和生物克隆機制結合，采用實數編碼和自適應技術，既保留了思維進化算法的全局搜索特性，又能在很大程度上避免未成熟收斂。該算法應用于訓練XOR問題，實驗結果顯示該算法在設計神經網絡時優于BP算法和GA，網絡訓練的質量和效率都有很大提高。

關鍵詞：MECA 親和性 BP

中圖分類號：TP183 文獻標識碼：A 文章編號：1007-9416（2016）10-0139-02

Abstract：This paper designs BP neural network with mind evoluntion clone algorithm （MECA） . The algorithm combines mind evolution algorithm and biology clone mechanism ， introduces real number coding and adaptation technology . It not only reserves the entire search character of mind evolution algorithm ， but also avoids premature in much degree . We applied it in training XOR problem . The experiment result showed that it was superior to BP and GA in designing neural network . The quality and efficiency of the network training were enhanced greatly .

Key Words：MECA； appetence； BP

1 引言

人工神經網絡是對生物神經系統的模擬，由大量非線性處理單元通過密集連接而構成的一個并行信息處理系統。其信息處理功能是由網絡單元的激活特性、網絡拓撲結構、連接權值和神經元的閾值所決定。神經網絡按其結構可分為前向神經網絡和反饋神經網絡，神經網絡在拓撲結構固定時，其學習歸結為連接權的變化。事先給定一個收斂判據，當訓練誤差小于此值時學習結束。在前向神經網絡的學習中，主要有兩種： 一是采用誤差逆傳播（Error Back-propagation）算法（簡稱BP算法）。BP算法把網絡輸出出現的誤差歸結為各連接權的“過錯”，通過把輸出層的誤差逐層向輸入層逆向傳播以“分攤”給各層單元，從而獲得各層單元的參考誤差以便調整相應的連接權。這種方法采用逐步增減式的探測方法獲得網絡的權值，本質上屬于梯度下降算法，因而不可避免其本身的固有不足：訓練時間過長、局部極小點易逃離、誤差函數必須可導、不一定收斂、訓練結果依賴于探測過程等。

為了避免BP算法存在的缺陷，可用遺傳算法GA來優化神經網絡。GA采用全局隨機搜索方法，能在復雜的、不可導的向量空間中快速收斂，在這點上它優于BP算法。但GA仍然存在許多不足：（1）初始群體是隨機生成的，算法在解群分布不均勻時易于出現未成熟收斂，陷入局部極優；（2）采用二進制編碼，當神經網絡的規模稍大時，染色體的長度就可能很長，從而影響GA訓練的精度和效率；（3）當GA快速收斂到最優解時，無法精確確定最優解的位置，微調能力較差，會引起網絡的局部振蕩。

本文采用MECA來設計BP網絡，避免了BP算法和GA訓練網絡時的不足。第二節描述了MECA，第三節根據BP網絡的特點，與MECA相結合構造了抗體—抗體、抗體—抗原的親和性函數。最后用XOR問題測試該算法并與BP算法和GA相比較，實驗結果顯示該算法在設計神經網絡時優于BP算法和GA，網絡訓練的質量和效率都有很大提高。

2 MECA

MECA由圖1所示的6個階段主要組成。抗原、抗體、抗原和抗體之間的親和性對應于優化問題的目標函數、優化解、解與目標函數的匹配程度。圖1中Gen代表克隆選擇算法（迭代）的代次。根據優化問題，設定目標函數和各種約束作為算法的抗原，采用隨機的方法產生抗體， 從包含最優解的數據庫中隨機選擇產生M個初始抗體；計算抗原和抗體之間的親和力函數值。按抗體-抗原親和力函數值對M個個體從大到小排序，對每個親和力最高的個體，以其為中心半徑點，在一定的半徑個體中隨機選擇k-1個個體，形成一個子群體（子群體大小為k）。同時對N個親和力函數最高的個體進行相同的操作，產生N個子群體。之后進行克隆變異、克隆重組和克隆選擇操作。如此重復迭代，直至滿足終止條件。

3 神經網絡親和性函數的構造

在設計BP網絡時，假設其輸入Xi （包括輸入節點數及輸入值）和輸出Oj （包括輸出節點數及輸出值）是已知的，三層BP網絡如圖2所示。

Xi（i=0，1，2……n）為網絡輸入，Oj（j=0，1，2……m）為網絡輸出。輸入層與隱層之間的輸出權值為Wij，隱層與輸出層之間的權值為Vij。神經元的隱層節點i的輸出表達式為

其中 一般為，a，b，d為常數，其飽和值為a和a+b。首先從樣本集中取一個樣本（Xk，Ok），將Xk輸入網絡，計算相應得實際輸出Ok理想輸出Yk的差，則網絡中關于第k個樣本的誤差測度：

神經網絡的學習過程實質上是在權值空間中搜索最優權值集合的過程，采用實數編碼將神經網絡的各個權值按一定的順序級聯為一個長串，則表達式為圖3所示。

串中每一個基因代表了某一特定的連接權值和閾值，形式vij的基因表示隱層Hi節點到輸出節點Oi的連接權值，oi和hi表示神經元的偏置閾值；形式wij的基因表示輸入層Xi節點到隱層Hj節點連接權值。這樣網絡與抗體就構成了一個一一映射，而包含多個抗體的群體就對應著多個網絡。

為了評價抗體群中各抗體的質量，必須建立抗體-抗體，抗體-抗原的親和性函數。對神經網絡來使用網絡實際輸出與期望值之間的均方誤差來構造抗體-抗原親和性函數：

其中yj為輸入第j個訓練樣本的期望值，oj為相應得輸出值，n為訓練集合的大小。抗體-抗體的親和性函數用Manhattan距離計算：

MECA算法就是要在該初始抗體群中通過各種操作算子，訓練出網絡誤差測度最小的個體。隨著訓練的進行，網絡輸出誤差逐漸減少，當誤差小于某一預定閾值時，訓練結束。這時解群中親和性最好的抗體即為網絡訓練的最終結果。

MECA選擇算法的訓練步驟如下：

步驟1：抗原識別。確定神經網絡的結構，輸入層、隱層以及輸出層節點數；步驟2：產生初始抗體。采用區間[-1，1]中的均勻分布產生初始權值，并按上節所述方法進行編碼；步驟3：計算親和力。分別計算抗原-抗體及抗體-抗體之間的親和力；步驟4：構建子群體。選出N個親和力最高的個體，并排序。對每個親和力最高的個體，在剩余的個體中隨機選擇k-1個個體，形成一個子群體（子群體大小為k）。依次對N個親和力最高的個體進行相同的操作，產生N個子群體；步驟5：重新計算各子群體中各個體親和力；步驟6：根據克隆算子，用克隆、克隆變異、克隆重組以及克隆選擇下產生新群體；步驟7：終止條件。重復執行步驟5至步驟6，直到終止條件（收斂判據） 滿足為止。終止條件滿足后，優化過程結束，選擇最佳個體作為算法得結果。在本文中，采用了限定迭代次數以及在連續幾次（如n次） 迭代中的最好解都無法改善則停止計算的混合形式的終止條件。

4 實驗與結論

筆者用XOR問題對BP算法、GA和MECA的性能進行測試。 XOR問題被廣泛應用于評價一個前饋網絡的優劣，其本質就是映射問題：（0，0） →0，（1，0） →1，（0，1） →1，（1，1）→0，用一個2—2—1 的神經網絡來模擬它。對XOR問題網絡進行權值訓練時，輸入層2個節點，隱層2個節點，輸出層1個節點。規定網絡誤差e≤0.001時算法收斂。重復運行了100次，每次迭代300代后，試驗結果顯示三種算法都達到收斂。實驗結果如表1所示。

由表1可知，用MECA算法訓練神經網絡，收斂速度和質量明顯優于BP和GA算法，收斂速度和精度又進一步提高，由于MECA算法采用抗體—抗體濃度調整機制，在一定程度提高了算法的自適應的局部尋優能力。

參考文獻

[1]李孝安，張曉繢.神經網絡與神經計算機導論[M].西北工業大學出版社，1995.

[2]靳蕃.神經計算智能基礎[M].成都：西南交通大學出版社，2001.

[3]張立明.人工神經網絡的模型及其應用[M].上海：復旦大學出版社，1993.

[4]蔡自興，徐佑元.人工智能及其應用[M].清華大學出版社，1996.

[5]石純一，黃昌寧.人工智能原理[M].清華大學出版社，1993.

[6]莫宏偉.人工免疫系統原理與應用[M].哈爾濱：哈爾濱工業大學出版社，2002.

[7]莫宏偉，王科俊，金鴻章.計算智能的融合應用研究[J].自動化技術及應，2002（1）：12-16.

[8]宮新保，周希朗.基于免疫聚類和遺傳算法的RBF網絡設計方法[J].應用科學學報，2004（01）：81-84.

收稿日期：2016-09-09

作者簡介：李曉敏（1983—），女，山西大同人，碩士研究生，畢業于華北電力大學（北京），講師，研究方向：科研與教學工作。