一種基于改進遺傳算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式

姚江梅　黃裕鋒

摘要：本文以BP神經(jīng)網(wǎng)絡(luò)為例，介紹了優(yōu)化遺傳計算方式概念，闡述了基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式研究背景，分析了基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式設(shè)計方法，并對基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)運行進行了仿真驗證。

[關(guān)鍵詞]優(yōu)化遺傳計算方式神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)是BackPropagation神經(jīng)網(wǎng)絡(luò)，其是一種多層前饋型網(wǎng)絡(luò)，在網(wǎng)絡(luò)訓練中存在計算方式收斂速度過慢、收斂無法達到理想效果，整體工作性能不佳。考慮到以往神經(jīng)網(wǎng)絡(luò)設(shè)計規(guī)模過于龐大等問題，利用優(yōu)化遺傳計算方式，有望獲得較為良好的網(wǎng)絡(luò)拓撲結(jié)構(gòu)、訓練網(wǎng)絡(luò)方法。因此，對基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式進行適當分析非常必要。

1優(yōu)化遺傳計算方式概述

遺傳計算方式又可稱之為GeneticAlgorithm，其依據(jù)生物進化原理開發(fā)的一種自適應(yīng)優(yōu)化計算方式，具有突出的魯棒性。遺傳計算方式在實際應(yīng)用中，主要以問題樣本適應(yīng)度函數(shù)為基礎(chǔ)，對初始群體進行交叉、篩除、變異等一系列作業(yè)，以獲得正確的學習、探究方式。而優(yōu)化遺傳計算方式則是面對全局解空間，在傳統(tǒng)遺傳計算方式的基礎(chǔ)上引入具有一定競爭性的選擇集成、多點自適應(yīng)變異、實數(shù)編碼及多點交叉等作業(yè)，提高遺傳計算方式收斂速度，縮短二進制編碼長度，從多個區(qū)域內(nèi)尋找最佳解析方案。

2基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式研究優(yōu)勢

基于優(yōu)化遺傳計算方式搜索不需求解函數(shù)可微、不依賴梯度信息的特點。其可在約束條件下，通過求解適應(yīng)度函數(shù)，在全局區(qū)域進行自適應(yīng)動態(tài)搜索。采用優(yōu)化遺傳計算方式優(yōu)化神經(jīng)網(wǎng)絡(luò)，主要針對神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其連接權(quán)，通過對其網(wǎng)絡(luò)結(jié)構(gòu)及連接權(quán)進行優(yōu)化，可以從根本上解決神經(jīng)網(wǎng)絡(luò)初始權(quán)值隨機性確定，及網(wǎng)絡(luò)結(jié)構(gòu)判定階段出現(xiàn)的網(wǎng)絡(luò)振蕩問題，同時避免整體神經(jīng)網(wǎng)絡(luò)陷入部分模塊解困境。基于此，利用優(yōu)化遺傳計算方式全局性搜索特點，探究最佳神經(jīng)網(wǎng)絡(luò)連接權(quán)、網(wǎng)絡(luò)結(jié)構(gòu)的模式，可以為BP神經(jīng)網(wǎng)絡(luò)計算方式梯度信息依賴度弱化提供良好的幫助。

3基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式研究框架

在基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式研究中，主要利用開關(guān)系數(shù)M代表神經(jīng)網(wǎng)絡(luò)各節(jié)點間連接關(guān)系，一般開關(guān)系數(shù)M取值為1/0。其中若開關(guān)系數(shù)M為1，表示神經(jīng)網(wǎng)絡(luò)兩節(jié)點間存在連接關(guān)系;若開關(guān)系數(shù)M為0，則表示兩節(jié)點間不存在連接關(guān)系。從數(shù)學層面進行分析，優(yōu)化遺傳一神經(jīng)網(wǎng)絡(luò)優(yōu)化問題可描述如下：

上述式子中，F(xiàn)1為神經(jīng)網(wǎng)絡(luò)總誤差，ym（a0）為信號，ym（a）為網(wǎng)絡(luò)實際輸出。

為檢測樣本均方誤差，則表明對BP網(wǎng)絡(luò)輸出數(shù)據(jù)穩(wěn)定性評估F2較小，且網(wǎng)絡(luò)輸出穩(wěn)定性較大。或者對BP網(wǎng)絡(luò)輸出數(shù)據(jù)穩(wěn)定性評估F2大，網(wǎng)絡(luò)輸出穩(wěn)定性較小。

在BP神經(jīng)網(wǎng)絡(luò)應(yīng)用階段，由于無法準確獲知被逼近樣本的數(shù)值，這種情況下，即使在網(wǎng)絡(luò)誤差F1為0的條件下，也無法保證F2與其要求相符。這種BP神經(jīng)網(wǎng)絡(luò)過擬合現(xiàn)象的出現(xiàn)，嚴重影響整體神經(jīng)網(wǎng)絡(luò)泛化能力，甚至可能會導致BP神經(jīng)網(wǎng)絡(luò)在實際應(yīng)用方面無法發(fā)揮基礎(chǔ)價值。因此，在神經(jīng)網(wǎng)絡(luò)計算方式設(shè)計階段，需要確定一個給定誤差φ，促使F2小于這一"數(shù)值，以保證BP神經(jīng)網(wǎng)絡(luò)輸出穩(wěn)定。

在基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式優(yōu)化設(shè)計過程實現(xiàn)過程中，首先需要構(gòu)建BP神經(jīng)網(wǎng)絡(luò)并確定BP神經(jīng)網(wǎng)絡(luò)初始化權(quán)限值視域值。同時逐一對BP神經(jīng)網(wǎng)絡(luò)初始權(quán)限值視域值編碼，并依據(jù)神經(jīng)網(wǎng)絡(luò)輸出誤差、適應(yīng)度函數(shù)，輸入數(shù)據(jù)訓練BP神經(jīng)網(wǎng)絡(luò)及內(nèi)部各染色體適應(yīng)度值。在上述優(yōu)化選擇方式應(yīng)用之后，可獲得適應(yīng)度較高的個體，經(jīng)過進一步交叉變異操作，可得出每代種群中適應(yīng)度較大的數(shù)值。在最大適應(yīng)度值沒有發(fā)生明顯變化，或者最大適應(yīng)度值已達到種群最大進化代數(shù)之后可停止優(yōu)化，將獲得的最佳染色體解碼，并將最佳染色體得到的最優(yōu)權(quán)限值視域值賦予BP神經(jīng)網(wǎng)絡(luò)。反之則重新輸入數(shù)據(jù)訓練BP神經(jīng)網(wǎng)絡(luò)，根據(jù)BP神經(jīng)網(wǎng)絡(luò)輸出誤差、適應(yīng)度函數(shù)，進行各染色體適應(yīng)度數(shù)值的計算。在獲得各染色體適應(yīng)度數(shù)值之后，可輸入賦予最優(yōu)權(quán)限值視域值的BP神經(jīng)網(wǎng)絡(luò)。經(jīng)BP神經(jīng)網(wǎng)絡(luò)訓練后，對輸出誤差進行計算。根據(jù)輸出誤差，結(jié)合梯度下降計算方式，可對BP神經(jīng)網(wǎng)絡(luò)進行權(quán)限值視域值優(yōu)化更新。在BP神經(jīng)網(wǎng)絡(luò)輸出誤差達到預(yù)定訓練次數(shù)，或者預(yù)先設(shè)定精度時，結(jié)束訓練，獲得仿真結(jié)果。反之則返回輸入數(shù)據(jù)賦予最優(yōu)權(quán)限值視域值BP神經(jīng)網(wǎng)絡(luò)訓練模塊，進行重新訓練。

4基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式設(shè)計及實現(xiàn)

4.1基因編碼及適應(yīng)度函數(shù)篩選

基于實數(shù)編碼過程簡單、無部分模塊極值風險的特點，本次主要以實數(shù)編碼的方式作為主要編碼方式。隨后依據(jù)種群進化階段適應(yīng)度設(shè)置特點，采用數(shù)據(jù)訓練的方式，進行BP神經(jīng)網(wǎng)絡(luò)初始化權(quán)限值視域值的訓練。最后采用訓練后的BP神經(jīng)網(wǎng)絡(luò)，進行預(yù)先判定，通過對預(yù)先判定數(shù)值、實際測量數(shù)值差的絕對值求和、求倒數(shù)，可得到適應(yīng)度函數(shù)。基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化適應(yīng)度函數(shù)如下：

上述式子中，y;為BP神經(jīng)網(wǎng)絡(luò)實際輸出數(shù)值，而b為BP神經(jīng)網(wǎng)絡(luò)輸出節(jié)點個數(shù)，b;為經(jīng)BP神經(jīng)網(wǎng)絡(luò)預(yù)先判定獲得的數(shù)值。

4.2基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式設(shè)計

4.2.1選擇算子優(yōu)化

比例選擇算子、最優(yōu)保存策略是遺傳計算方式選擇算子中應(yīng)用范圍較大的方式。其中比例選擇算子主要是通過放回形式，進行隨機樣品選擇的方式，整體運行模式較簡單、便捷。由于所選擇樣品的隨機性，最終得出結(jié)果不可避免的存在一些誤差;而最優(yōu)保存策略主要以尋找生物群體中最優(yōu)個體為目標，不考慮其余個體破壞種群的豐富性，進行優(yōu)化。其在實際運行中部分模塊收斂問題發(fā)生的幾率較高。

針對上述情況，在選擇算子過程中，可在最優(yōu)保存策略的基礎(chǔ)上，結(jié)合選擇算子需求，設(shè)置一種新的選擇操作計算方式。即面對生物種群，考慮其余個體破壞生物種群豐富性特征，選擇最優(yōu)個體。具體計算流程如下：

（1）在最優(yōu)保存策略的基礎(chǔ)上，可面對生物群落確定初始種群。并對種群內(nèi)每一個體適應(yīng)度數(shù)值進行核算。并將生物種群內(nèi)個體，依據(jù)適應(yīng)度數(shù)值，從小到大進行序列排布。

（2）對于排序排布已完成的個體，可依據(jù)順序，將其進行平均分配，最終形成前段、中段、后段三個模塊。其中前段生物種群質(zhì)量最優(yōu)，后段生物種群質(zhì)量最差。同時依據(jù)（6/10;8/10;10/10）的比例。結(jié)合質(zhì)量最優(yōu)者多選、質(zhì)量最差者少選的仿真，考慮其余各區(qū)段個體在生物種群豐富性中的影響，保留最優(yōu)區(qū)域個體。相較于（3/10;7/10;10/10）等其他比例而言，（6/10;8/10;10/10）比例獲得網(wǎng)絡(luò)事先判定的誤差較小，且歷經(jīng)時間進程較少。

（3）在依據(jù)上述比例選擇出一定數(shù)量的個體之后，將其進行重新組合排布，獲得一個新的生物種群。考慮到新的生物種群內(nèi)部個體為（6/10;8/10;10/10）比例選取的模式，整體數(shù)量較少。因此，可從尾端入手，面對質(zhì)量較優(yōu)良生物個體，依據(jù)隨機選擇的方式，選擇個體數(shù)與以往生物種群損失個數(shù)相等的種群。并將其拆入新生物種群組合模塊，以保證整體生物種群的豐富性。

以種群數(shù)為9且內(nèi)部標注有適應(yīng)度值、個體標號的生物種群為例，其可用圖形表示如下：

首先，確定個體數(shù)為9的初始種群并依據(jù)適應(yīng)度從小到大的順序排列（表1）。

其次，將排列完畢的種群個數(shù)依據(jù)順序均分并依據(jù)（6/10;8/10;10/10）比例進行隨機選擇（表2、表3、表4）。

通過對上述數(shù)據(jù)進行分析，可得出隨機選擇段落中質(zhì)量最優(yōu)段個體數(shù)目為3*0.6=1.8;質(zhì)量中等段個體數(shù)目為3*0.8=1.6;質(zhì)量最差段個體數(shù)目為3*1.0=3.最后選擇個體為（表5）。

最后，從生物群落尾端中選擇個體，拆除表5個體中，最終得出生物群落為（表6）。

通過對上述表格進行分析，可得出相較于初始種群而言，最終得出生物種群平均適應(yīng)度較為良好。且優(yōu)化后選擇計算方式，僅需進行適應(yīng)度計算及適應(yīng)度序列排布、分組插入等簡單操作，就可以獲得最優(yōu)種群個體。整體計算量較小，且隨機操作誤差較小、收斂速度較快。

4.2.2交叉及變異操作

一方面，交叉操作主要是面對整體生物種群，從內(nèi)部選擇兩個個體，依據(jù)一定發(fā)生幾率，促使兩個體進行交叉，以得到新的個體。基于實數(shù)編碼特點，在種群交叉階段主要采用實數(shù)交叉的方式。即選擇第k個染色體bk及第j個染色體b;，在第i位的交叉操作方式如下：

另一方面，在生物種群變異操作中，需要隨機選擇一個體，依據(jù)一定發(fā)生幾率，進行變異操作，以獲得新生物個體。如對第k個個體的第j個基因進行變異，主要變異方式如下：

上述式子中，基因bk;的上界限為b，max下部界限為bmin'，f（h）=12（1-h/Hmax）。。其中h及Hmx分別為當前迭代次數(shù)及最大進化次數(shù)，而1為位于[0，1]間隨機數(shù)值。

5基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式實現(xiàn)及驗證

5.1基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式實現(xiàn)

本次基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式實現(xiàn)主要以電火花加工為例，考慮到電火花加工機理復雜程度較高。且電火花碳保護層生成影響因素較多，其具有突出的非線性特征，無法采用一般數(shù)學模型進行概述。因此，可采用基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式進行電火花加工非線性實驗?zāi)Ｐ蜆?gòu)建。其主要以電火花加工碳保護層實驗數(shù)據(jù)為樣本，利用基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式，通過解碼后，得出網(wǎng)絡(luò)結(jié)構(gòu)隱含層傳遞函數(shù)為tansig，神經(jīng)網(wǎng)絡(luò)輸出層傳遞函數(shù)為purelin。

在基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式實際訓練過程中，主要依據(jù)直接經(jīng)驗，設(shè)定初始權(quán)值為默認，訓練函數(shù)為traingdx，隱層節(jié)點數(shù)量為8。在28000步時，可得到全局最優(yōu)解，整體收斂速度較快。

5.2基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式驗證

（1）基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式優(yōu)化參數(shù)設(shè)定，以函數(shù)y=x}2+x2°為例，采用BP神經(jīng)網(wǎng)絡(luò)、基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式分別對該函數(shù)進行擬合計算。隨機生成1800個數(shù)值，用1800個數(shù)值訓練90個數(shù)進行預(yù)先判定，從兩者預(yù)先判定結(jié)果誤差、時間兩個方面，進行分析。依據(jù)上述操作要求，在優(yōu)化遺傳計算方式參數(shù)設(shè)定值，可以種群規(guī)模9、進化次數(shù)10、交叉發(fā)生幾率0.2、變異發(fā)生幾率0.1為標準。而在BP神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)值設(shè)置過程中，可設(shè)定網(wǎng)絡(luò)輸入為2，網(wǎng)絡(luò)輸出為1，隱層節(jié)點數(shù)值效果最佳時測試數(shù)為3，最大訓練次數(shù)及訓練精度、學習度分別為90、0.00001、0.1。

（2）基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化計算方式驗證主要針對基于遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式進行擬合計算后數(shù)值。將其與優(yōu)化后BP神經(jīng)網(wǎng)絡(luò)模型進行相互比較，以判定基于優(yōu)化遺傳計算方式的神經(jīng)網(wǎng)絡(luò)優(yōu)化效果。最終得出優(yōu)化結(jié)果為圖1。

由上述數(shù)據(jù)可知，基于遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式在終止代數(shù)18時仍未達到穩(wěn)定狀態(tài)，而基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)在經(jīng)過13代時適應(yīng)度曲線已區(qū)域平穩(wěn)。表明基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)可在較短時間內(nèi)獲得合理的權(quán)限值視域值。且經(jīng)過遺傳計算方式優(yōu)化后，BP神經(jīng)網(wǎng)絡(luò)預(yù)測誤差均逐步降低，且整體誤差變化幅度區(qū)域穩(wěn)定。通過對基于遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式、基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)誤差曲線進行對比分析，可得出基于遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式均需經(jīng)35步達到目標規(guī)定精確度，網(wǎng)絡(luò)均方誤差及總歷經(jīng)時間進程分別為0.0093、330.32513s。而基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式達到目標精確度步數(shù)為11步，總歷經(jīng)時間進程及均方誤差分別為0.0055、290.254612s。基于優(yōu)化遺傳計算方式的BP神經(jīng)網(wǎng)絡(luò)計算方式總歷經(jīng)時間進程較少，且均方誤差較小。這主要是由于優(yōu)化后選擇算子計算量較小，且優(yōu)化后遺傳計算方式可在較短時間內(nèi)計算出初始權(quán)值，為BP神經(jīng)網(wǎng)絡(luò)尋找最優(yōu)解提供良好的支撐，進而改善整體遺傳計算方式質(zhì)量，如圖2、圖3所示。

6總結(jié)

綜上所述，BP神經(jīng)網(wǎng)絡(luò)在實際運行過程中主要依據(jù)誤差逆向傳播計算方式進行訓練，在實際運行過程中極易陷入部分模塊極小值或部分模塊收斂無法逃逸情況，據(jù)此，可利用優(yōu)化遺傳計算方式，從編碼及適應(yīng)度函數(shù)選擇、網(wǎng)絡(luò)初始權(quán)限值視域值計算、適應(yīng)度排序、最優(yōu)種群組合等過程，經(jīng)過進一步交叉及變異操作，可獲得最佳網(wǎng)絡(luò)計算方式。在提高整體神經(jīng)網(wǎng)絡(luò)運行準確度的同時，也可以避免部分模塊收斂問題對神經(jīng)網(wǎng)絡(luò)運行效率的影響。

參考文獻

[1]高航，薛凌云.基于優(yōu)化遺傳計算方式的反向傳播神經(jīng)網(wǎng)絡(luò)擬合LED光譜模型[J].激光與光電子學進展，2017（07）：288-296.

[2]張春生，劉樹東，譚覃.基于優(yōu)化遺傳計算方式優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的短時交通流量事先判定方法研究[J].天津城建大學學報，2017，23（02）：143-148.

[3]畢志敏，王焱.基于優(yōu)化遺傳計算方式優(yōu)化E1man網(wǎng)絡(luò)的板形識別方法[J].鋼鐵研究學報，2017，29（04）：305-311.

[4]梅年豐，嚴良文，錢峰峰等.基于優(yōu)化遺傳計算方式優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的螺桿式制冷機組能效事先判定[J].計量與測試技術(shù)，2018，45（05）：18-21.

[5]杜云皓，仇錦先，馮紹元，優(yōu)化GA-BP模型在地下水位埋深事先判定中的應(yīng)用[J].節(jié)水灌溉，2017（09）：81-84.

[6]閆晶，畢強，李潔，etal.圖書館數(shù)字資源聚合質(zhì)量事先判定模型構(gòu)建——基于優(yōu)化遺傳計算方式和BP神經(jīng)網(wǎng)絡(luò)[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2017，1（12）：49-62.

[7]王怡杰，基于優(yōu)化遺傳計算方式的A2-C0型模糊邏輯系統(tǒng)設(shè)計及仿真[J].遼寧工業(yè)大學學報（自然科學版），2018，38（05）：9-14.

[8]金京，楊明，杜豫冬，等，基于優(yōu)化遺傳計算方式和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫訪問控制方法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（10）：39-42.

[9]龔晗義，基于優(yōu)化遺傳計算方式和BP神經(jīng)網(wǎng)絡(luò)的人臉識別方法[J].武漢理工大學學報：信息與管理工程版，2018，40（05）：22-26.