GA-BP神經網絡與BP神經網絡性能比較*

劉春艷 凌建春，2 寇林元，2 仇麗霞△ 武俊青

人工神經網絡(artificial neural network)是近年來應用廣泛的一種模擬人腦神經系統的結構和功能的人工智能方法，它采用非線性并行處理方式，具有強大的學習和適應能力，可用于影響因素分析。BP(back propagation)神經網絡是非線性不確定性數學模型，是一種具有連續傳遞函數的多層前饋人工神經網絡，訓練方式是誤差反向傳播算法(BP算法)，并以均方誤差最小化為目標不斷修改網絡的權值和閾值，最終能高精度地擬合數據〔1〕。BP神經網絡對資料的分布沒有要求，有多種連接函數，對多重共線性和離群點的影響不敏感，可定性地揭示輸入變量對輸出變量的影響程度，從而達到分析影響因素的目的〔2〕。

在使用過程中發現BP算法也存在著缺陷〔3〕:(1)BP神經網絡建模過程中，為保證逼近樣本性質，必須適當地選擇隱含層神經元數，降低網絡誤差，提高精度，但隱含層神經元數的最佳數量沒有定論;(2)網絡的初始權值和閾值是隨機產生的，選擇缺乏依據，而BP神經網絡連接權值和閾值的整體分布決定著數據擬合的效果。傳統的權值和閾值獲取方法都是隨機給定一組初始權值，然后是采用BP算法，在訓練中逐步調整，最終得到一個較好權值分布;(3)BP算法是基于梯度下降方法，存在局部最優問題。因此，不同的初始權值可能會導致網絡不收斂或陷入局部極值點。

近年來新發展的遺傳算法是模擬生物進化過程的另一種人工智能方法。它遵循“優勝劣汰”的原則，選擇進化好的個體作為最優解。該法具有全局最優的特點，能很好地克服BP算法局部最優缺陷，且能優化BP神經網絡初始權重和閾值，提高BP神經網絡的穩定性，縮短占機時間。

針對BP神經網絡存在的“初始權值和閾值的隨機性”，本文通過擬合此次調查數據，研究采用遺傳算法(genetic algorithms，GA)優化BP神經網絡的初始權值和閾值，并通過“試錯法”確定隱含層神經元數，比較傳統BP神經網絡與GA-BP神經網絡擬合數據的效果，并計算各輸入變量的敏感度。

原理和方法

1.BP神經網絡工作原理及過程

BP神經網絡的產生歸功于BP算法的獲得，BP算法屬于梯度下降算法，是一種監督式的學習算法。設輸入層神經元為 P=［p1，p2，…，pi］，隱含層神經元為S=［s1，s2，…，sk］，輸出層神經元為 A=［a1，a2，…，aj］表示輸入層第i個神經元與隱含層第k個神經元之間的連接權值表示隱含層第 k個神經元與輸出層第j個神經元之間的連接權值;隱含層的激發函數為f1，輸出層的激發函數為表示隱含層各神經元的閾值表示輸出層各神經元的閾值。其中，

(1)信息的正向傳遞

輸入層各神經元與隱含層各神經之間以相應的權重連接，隱含層的第一個神經元，從輸入層的每一個神經元處得到輸出值，加權求和，加上閾值，通過激發函數 f1，得到該神經元的輸出值:

輸出層第一個神經元a1接收隱含層每一個神經元輸出值，并加權求和得，加上閾值，通過激發函數f2，得到輸出層該神經元的輸出值:

(2)誤差的逆向傳播

輸入具有M維指標向量的N個樣本進入輸入層，正向經隱含層各神經元處理后，傳向輸出層，得到實際輸出A，在輸出層把實際輸出A和期望輸出T進行比較，并算出期望輸出與實際輸出的均方誤差MSE=∑(A－T)2/N。

如果MSE沒有達到預定要求ε，則進入反向傳播過程，把輸出誤差信號MSE以梯度形式，按原來正向傳播的通路逐層反向傳回，并將誤差信號MSE分攤給各層的所有神經元，從而獲得各層神經元的誤差信號MSEj(j=1，2，3)，將此誤差信號 MSEj作為修正各連接權值和閾值的依據，并對其修改，并反復運行信息的正向傳播和誤差逆向傳播兩過程，直至誤差信號MSE收斂于ε。BP神經網絡算法基本步驟歸納如圖1。

圖1 BP神經網絡算法流程圖

2.遺傳算法優化BP神經網絡訓練的權值和閾值的過程〔4〕

(1)編碼，生成初始種群。用遺傳算法訓練神經網絡可以采用二進制編碼或實數編碼。當神經網絡規模較大，可用實數編碼，即將一個實數直接作為一個染色體的一個基因位，使染色體的長度大大縮短，免去了編碼解碼的繁瑣，使得遺傳操作簡化。編碼串由四部分組成:隱含層與輸入層連接權值、輸出層與隱含層連接權值、隱含層閾值、輸出層閾值。具體方法為:將網絡的權值和閾值按一定的順序級聯起來，形成一個實數數組，作為遺傳算法的一個染色體。遺傳操作在這樣的染色體群中進行。本文采用的是三層BP神經網絡，設輸入層神經元數為i，輸出層神經元數為j，隱含層神經元數為k，網絡隱含層和輸出層對應的權值及閾值分別為 W1，W2，B1，B2，編碼的長度為 i× k+k × j+k+j。在這個初始染色體中，前i×k個基因對應輸入層i個神經元與隱含層k個神經元的連接權值W1，之后的k×j個基因對應隱含層k個神經元與輸出層j個神經元的連接權值W2，其后的k個、j個基因分別對應隱含層和輸出層的B1和B2。這樣連接在一起形成一個長串(串上每個位置對應著網絡的一個權值和閾值)，即構成一個完整的染色體。在連接權值和閾值范圍內，產生種群M個這種染色體體，就構成初始群體。

(2)評價函數。遺傳算法在進化搜索以適應度函數為依據，利用種群中每個染色體的適應度值搜索。適應度較高的個體遺傳到下一代的概率就較大，而適應度較低的個體遺傳到下一代的概率就相對小一些。BP神經網絡的評估標準就是MSE越小越好。本文采用將均方誤差MSE的倒數作為適應度函數，該適應度函數最大值時BP網絡的權重和閾值得到了優化，其計算公式如下:

式中f(i)即為第i條染色體的適應度值;MSEi代表第i條染色體所確定的網絡權值和閾值時，實際A與期望輸出值T之間的均方誤差。

(3)執行遺傳操作。選擇操作采用排序選擇方法。根據每個個體適應度值的大小，由小到大排列，最小適應度值的個體對應的序號為1，最大適應度值的個體對應的序號為M。然后根據每個個體的相對適應度值的大小，按照適應度比例選擇(輪盤賭)法計算個體的選擇概率。交叉操作采用單點交叉，變異操作采用均勻變異。然后計算當前群體中每個染色體的適應度值，找出當前最優適應度值的個體，反復迭代，直到滿足條件為止。若達不到條件，則以指定的最大遺傳代數為終止計算準則。

(4)獲得BP神經網絡的初始權值和閾值。經過遺傳運算，就得到了BP神經網絡誤差最小的一組完整初始權值和閾值。

(5)執行BP神經網絡過程

圖2 GA-BP神經網絡圖

材料與對象

本研究采用橫斷面現場流行病學研究方法。采用選題訪談形式對60名計生、衛生管理和技術人員小組訪談，了解社區基層人員對HIV/AIDS/VCT認知及態度，分析總結計生、衛生部門聯合開展VCT服務的有利因素、可能遇到的障礙及對策;對計生、衛生服務人員采用自行設計的結構式問卷進行面對面詢問，收集資料，分析技術人員對艾滋病、VCT服務的知曉情況及聯合開展VCT服務可行性的影響因素。采用整群抽樣，對3個社區的437名計生、衛生服務人員采用結構式問卷面對面詢問，收集資料。對符合條件的計生、衛生技術人員進行問卷調查收集資料。

結果與分析

437名技術人員有256名贊同計生、衛生聯合開展VCT服務，占58.6%。僅有15.8%的技術人員持不贊同意見。經χ2檢驗可知:性別、文化程度、收入、VCT知識得分組間態度有統計學差異，女性、文化程度高、收入高、VCT知識得分高的社區人員更易贊同計、衛聯合開展VCT。多項分類logistic回歸模型的偽決定系數 Cox and Snell=0.059，Nagelkerke=0.069，McFadden=0.032，R2均不到 0.1，說明模型能解釋的部分不到10%，擬合效果不理想，故本文采用基于遺傳算法的BP神經網絡擬合數據。

1989年Robert Hecht Niels證明了對于閉區間內的任一個連續函數都可以用一個隱含層的BP神經網絡來逼近，因而一個三層的BP神經網絡可以完成任意的從n維到m維的映射〔5〕。設計BP神經網絡的基本原則，即一個三層的BP神經網絡在解決問題時基本可以滿足要求。誤差精度可以通過增加隱含層的神經元數目來得到，其訓練效果也比增加層數更容易調整，本文GA-BP神經網絡結構為三層。

1.數據歸一化處理

根據本次調查所得數據特點及BP神經網絡非線性激發函數特性，需要對數據進行歸一化處理。輸入變量是分類變量年齡、性別、文化程度、工作單位、工作時間、單位級別、職稱、專業、平均月收入、艾滋病知識得分、VCT知識得分;輸出變量為調查對象對計衛聯合開展VCT服務的態度。采用公式(xi－min(x))/(max(x)－min(x))將所有變量數據歸一化后，變量的取值最大值為1，最小值為0。

2.隱含層神經元數選擇

由于輸入層神經元為11個，輸出層神經元為1個，根據隱含層神經元經驗公式h=0.5(m+n)+a(a=1，2，…，10)，隱含層神經元數取值范圍為 h=5，6，…，20〔6〕。綜合以上情況，本文采用試錯法選取隱含層神經元數分別為5、10、15、20研究BP神經網絡和GA-BP神經網絡擬合情況。由于BP神經網絡的初始權值和閾值是根據MATLAB隨機產生的，每次訓練初始值不同，網絡的性能也會有差異，因此針對隱含層分別為5，10，15，20時，BP神經網絡和 GA-BP 神經網絡均隨機運行50次，并選取是否達到誤差性能指標MSE、迭代步數Epoch、決定系數R2、調整R2作為網絡性能評價指標。

表1 歸一化后各輸入變量的值

3.GA-BP神經網絡和BP神經網絡性能比較

當隱含層神經元數為5、10時，BP神經網絡擬合數據，達到預設目標0.01均為0次，而GA-BP神經網絡擬合數據達到預設目標0.01分別為37次、41次;當隱含層神經元數為15時，BP神經網絡擬合數據達到預設目標4次，而GA-BP神經網絡均達到預設目標;當隱含層神經元數為20時，BP神經網絡與GA-BP神經網絡達到預設目標率分別為80%、94%，見表2。當隱含層神經元數為5、10時，BP神經網絡迭代步數在1000次以內，并收斂于預設目標0.01的次數均為0次，而GA-BP神經網絡迭代步數在1000次以內，達到預設目標次數分別為35次、42次;當隱含層神經元數為15時，BP神經網絡迭代步數在1000次以內，并收斂于預設目標0.01次數為4次，而GA-BP神經網絡迭代步數在1000次以內，達到預設目標次數為48次;當隱含層神經元數為20時，BP神經網絡與GA-BP神經網絡迭代步數在1000次以內達到預設目標率分別為76%、94%，見表3。

表2 BP與GA-BP神經網絡均方誤差MSE比較

趨勢卡方檢驗結果顯示:隨著隱含層神經元數增加，BP神經網絡擬合數據達到預定目標的次數增加(χ2=93.160，P ＜0.001);GA-BP 神經網絡擬合數據在1000步內達到預定目標的次數也增加(χ2=13.837，P＜0.001)。以上結果提示:GA-BP神經網絡相對于BP神經網絡擬合數據迭代步數更少、能更快地達到預設目標;隨著隱含層神經元數增加，BP神經網絡和GA-BP神經網絡擬合數據達到預設目標的次數也增加，迭代在1000次內達到預設目標的次數也增加。

表3 BP與GA-BP神經網絡迭代1000步內達到預設目標比較

隱含層神經元數為5、10、15、20時，BP神經網絡和GA-BP神經網絡對應的調整R2中位數分別為0.3465、0.7289、0.8389、0.8295 和 0.9169、0.9005、0.8767、0.8288;對應的 R2中位數分別為 0.4454、0.6436、0.9498、0.9316 和 0.9294、0.7239、0.9724、0.9313。隱含層神經元為 5、10、15、20，Wilcoxon 秩和檢驗顯示:GA-BP神經網絡的調整R2、R2均大于BP神經網絡，說明GA-BP神經網絡擬合性能更好。特別是隱含層神經元為5時，GA-BP神經網絡的調整R2和R2均達到了90%以上，而BP神經網絡的調整R2和R2均不到45%，在隱含層神經元數較小時，GA-BP神經網絡擬合數據更穩定。Kruskal-Wallis檢驗結果顯示:在隱含層神經元數為15時，BP神經網絡和GABP神經網絡決定系數R2均達到了最大值，但與隱含層神經元數為20時并無統計學差異，見表4。

表4 BP與GA-BP神經網絡R2和調整R2比較

綜合以上結果，在R2和調整R2無統計學意義的前提下，當隱含層神經元為15時，BP神經網絡和GABP神經網絡均比較穩定，GA-BP擬合效果更好，因此本文數據采用GA-BP神經網絡擬合。

討 論

1.GA-BP神經網絡與BP神經網絡比較

(1)GA-BP神經網絡建模穩定性高:在相同網絡結構及訓練參數前提下，BP神經網絡擬合數據R2變異較大，這是由于每次訓練時MATLAB均會隨機給出網絡的初始權值和閾值，而不同的初始權值和閾值會產生不同的訓練結果，有的訓練結果較好，而有的則較差。遺傳算法優化神經網絡初始權值和閾值，R2更加穩定。

(2)GA-BP神經網絡能達到預設目標的次數更多，能達到全局最優:本次數據擬合結果顯示:GA-BP神經網絡相對于BP神經網絡擬合數據迭代步數更少、能更快地達到預設目標;隨著隱含層神經元數增加，BP神經網絡和GA-BP神經網絡擬合數據達到預設目標的次數也增加，迭代1000次達到預設目標的次數也增加。

2.遺傳算法優化BP神經網絡具有可行性

選用R2、調整R2、達到預設目標次數、迭代1000次達到預設目標次數為神經網絡擬合數據效果的評價指標，并通過不同隱含層神經元數的多次嘗試建模，對神經網絡的擬合能力進行分析。結果表明遺傳算法優化BP神經網絡的初始權值和閾值可以更好的擬合數據，克服BP神經網絡收斂速度慢、陷入局部最優的問題。

1.程向軍，神經網絡原理及其應用，北京，國防工業出版社，1995:1-300.

2.張文彤，竺立明，王見義，等.基于BP神經網絡的中醫醫院住院費用影響因素分析，中華醫院管理雜志，2005，3(21):161-165.

3.陳祥光，裴旭東.人工神經網絡技術及應用.北京:中國電力出版社，2003.

4.雷英杰，等.MATLAB遺傳算法工具箱及應用.西安:西安電子科技大學出版社，2005.

5.閻平凡，張長水.人工神經網絡與模擬退化計算.北京:清華大學出版社，2005:9.6.Neural Network Toolbox.Math Work，2004.