基于模擬退火的BP網絡隱藏層節點估算算法

張世睿,李心科

(合肥工業大學 計算機與信息學院,安徽 合肥 230009)

基于模擬退火的BP網絡隱藏層節點估算算法

張世睿,李心科

(合肥工業大學 計算機與信息學院,安徽 合肥 230009)

單隱藏層BP神經網絡在模式識別及數據挖掘等領域應用廣泛,而隱藏層節點的數目受到眾多因素的影響,因此節點數量的選取一直是一個復雜的問題。文章提出一種基于模擬退火算法(simulated annealing,SA)的單隱藏層BP神經網絡隱藏層節點估算算法,基于經驗確定隱藏節點數的下界,通過模擬退火不斷增加隱藏節點個數直至算法結束,得到最優解。該方法與經驗法和試湊法相比具有較強的理論依據,與遺傳算法等方法相比不容易陷入局部最小值。實驗證明,采用該方法估算隱藏層節點的準確率較高,速度也較快。

BP網絡;模擬退火算法(SA);單隱藏層;隱藏層節點數

BP神經網絡由于具有很強的自我學習能力,能夠逼近任意復雜非線性函數[1],同時還能夠解決傳統參數方法難以找到合適規則的問題,具有較強的容錯性和魯棒性,已經被廣泛應用于模式識別、信息分類和數據挖掘等領域[2-3]。

研究證明,神經網絡的學習能力取決于網絡隱藏層的結構,其中包括隱藏層的數目和每個隱藏層中隱藏節點的數量。增加隱藏層的數量可以有效降低網絡的訓練誤差,提高網絡識別的準確率,但也會使網絡的拓撲結構更加復雜,訓練時間也會更長；而增加隱藏節點數也可以提高識別的準確率,更容易觀察和調整訓練效果[4]。采用單隱藏層的3層結構神經網絡能夠逼近任意連續函數,因此本文僅研究單隱藏層BP網絡隱藏層節點的選擇問題。

然而隱藏層節點的選擇十分復雜,節點的數目受到眾多因素的影響,例如,分類的需求、數據集的大小等。與學習算法的激勵函數選擇相比,確定隱藏層節點數目的研究較少[5]。對于模式識別和數據集分類等問題,如果隱藏層節點數目過少,那么網絡的識別準確率會較低;如果隱藏層節點過多,那么訓練時間會變長,造成過訓練[6]。

隱藏層節點數目選取的方法主要有試湊法[7]、經驗公式法[8]、增長法[9]、遺傳算法[10]以及三點式搜索等綜合優化選取方法[11]。上述方法都有其局限性：試湊法是通過不斷地選取網絡節點的數量進行測試,直至選擇結果滿意為止,該方法沒有目的性,只能不斷盲目地進行試驗,計算開銷非常大,對于某些節點數較多的網絡,計算效率較低;經驗公式法缺少相關的理論依據,由于其公式是來自項目和試驗中的經驗,只能針對特定的數據集有效,不能作為通用的確定隱藏層節點的方法使用;增長法是從一個最小的神經網絡結構開始試驗,不斷增加隱藏層中節點的數目,直至獲取滿意的數目為止,雖然相關研究較多,但是對于如何終止增長的問題目前沒有統一的解決方法;遺傳算法由于其固有的爬山能力差、收斂速度慢的問題,會導致在平坦區域搜索結果陷入局部最小值的情況;三點式搜索可能會錯過全局最優解。此外，這些算法需要不斷地模擬完整的網絡訓練過程,運行時間較長且開銷大。

本文提出了一種基于模擬退火算法(simulated annealing,SA)的單隱藏層BP神經網絡隱藏層節點估算算法,利用模擬退火算法局部搜索能力較強、運行時間較短的優勢,快速確定網絡隱藏層節點數,優化網絡結構,提高網絡的識別率。

1 基于SA的BP網絡隱藏節點估算算法

模擬退火算法是基于統計物理的一種算法,通過引入物理系統中晶體退火過程這樣一種自然的機制,采用Metropolis準則接受產生的最優的問題解。該算法最關鍵的一點就是對于問題的局部最小解采用一定的概率來判斷是否接受,以便跳出局部極值點,繼續對全局問題進行分解探究,從而得到問題的全局最優解[12]。

本文提出的隱藏節點估算算法利用模擬退火算法的優點,與增長法相結合,首先選取一個初始的隱藏層節點數,通常根據經驗選擇輸入節點和輸出節點中較大的一個為初始值,然后對網絡進行一定次數的訓練,通過模擬退火算法決定是繼續增加節點數,還是接受當前節點數為算法的結果。重復上述過程,直至退火完成。

算法需要確定模擬退火的一些參數:

(1) 模擬退火的初始溫度。該值應當足夠高,從而使得產生的所有解都能夠被接受,避免算法陷入局部最優解,因此,設置初始溫度為100。

(2) 退火的控制函數。通常采用的公式為:Tk+1=αTk,其中,α為小于1的系數。

(3) 評價函數C(H)。該函數為在隱藏層節點數為H時,經過一定數量的訓練后,網絡的識別誤差率。

算法的執行步驟如下:

(1) 根據具體問題確定網絡的輸入和輸出層的個數M和N,以及網絡的激勵函數和學習算法,構建基本的網絡模型。

(2) 選取初始隱藏層個數,根據經驗可知隱藏層的個數通常大于等于輸入層和輸出層節點的個數,因此選擇輸入層節點數和輸出層節點數中的最大值作為初始隱藏層個數,H=max(M,N)。

(3) 對網絡進行訓練,訓練次數為目標次數的10%,評價函數C(H)即為步驟(3)訓練后的識別誤差率函數,H為當前隱藏層節點個數,輸出為當前訓練次數后的網絡識別誤差率。

(4) 增加網絡中隱藏層節點的個數,計算增量Δt′=C(H+1)-C(H),若Δt′<0,則接受H+1作為新的隱藏層節點個數；否則,以概率exp(-Δt′/T)接受H+1作為網絡隱藏層節點個數的新解,其中,T為當前溫度。

(5) 若連續若干個新解都沒有被接受,則終止算法;否則減小T,跳轉到步驟(3),直至T減到很小,結束該算法。

2 實驗設計與分析

本文以Fisher’sIris數據集作為神經網絡的實驗數據集,該數據集是一個鳶尾花卉的數據集,分為3種花,每種花各50條數據,共有150條花卉信息。3種花分別為I.setosa、I.versicolor及I.virginica。實驗中分別選取每種花的前25條數據作為訓練數據集,后25條數據作為測試數據集，因此,共計75條訓練數據和75條測試數據。

2.1 BP神經網絡結構確定

根據數據集的內容,確定神經網絡的輸入節點數目為4,分別表示在Fisher’sIris數據集中每種花的特有屬性:花萼長度(sepal length)、花萼寬度(sepal width)、花瓣長度(petal length)及花瓣寬度(petal width)。

神經網絡的輸出節點數目設置為3,分別表示識別為3種花的可能性的大小,最終選擇其中較大的一個值所對應的種類作為網絡識別的結果去驗證網絡的識別準確率;對于輸入數據,在讀入神經網絡后會進行處理;根據花的不同類型設置對應的輸出節點的值為1,其他值為0,作為訓練數據的輸出數據。

由于本文的輸入數據均為正數,為了保證收斂速度,通過線性歸一化方法將數據歸一化到[0,1]范圍,公式為:

y=(x—xmin)/(xmax-xmin)

(1)

其中,xmin為輸入數據的最小值;xmax為輸入數據的最大值。

由于輸入數據均歸一化到了[0,1]區間,因此第1層激活函數選擇S型函數,第2層激活函數選擇線性激活函數,其中S型函數公式為:

f(x)=1/(1+e-x)

(2)

其中,0

訓練函數選擇有動量和自適應的梯度下降法,這是目前較為常用的一種學習算法,能夠快速收斂并得出結果。設置學習迭代次數為500次,目標誤差率為1%。

2.2 實驗結果與分析

2.2.1 實驗結果

確定初始隱藏節點的個數H=4,根據本文提出的算法不斷訓練網絡。

在不同隱藏層節點個數下,訓練50次后網絡的誤差情況如圖1所示,當隱藏層節點數為14時,模擬退火算法判斷運行結束,最終確定該鳶尾花識別模型的網絡隱藏層節點個數為11。

圖1 網絡訓練誤差率

從圖1可以看出,基于模擬退火算法的BP網絡隱藏層節點估算算法沒有陷入到局部最小值的困境中,而是繼續搜索,最終找到11這樣一個比較穩定的值。

為了驗證實驗結果的準確性,使用11作為該實驗中隱藏層節點的個數,建立BP神經網絡,對實驗中的數據集進行了訓練,訓練結果如圖2所示。

圖2 網絡訓練結果信息

輸入測試數據集對該網絡的識別率進行了驗證,識別率高達98.667%,證明了選取的隱藏層節點數合適,網絡識別率較高。

2.2.2 3種方法結果對比

采用本文算法、試湊法及增長法在上述數據集上進行了多次實驗對比。

3種方法的判定時間如圖3所示。從圖3可以看出,本文算法與試湊法和增長法相比能夠更快地獲得準確合適的隱藏層節點個數,說明本文算法的準確性較高,且速度較快。

圖3 3種方法判定時間對比

3 結 論

本文提出了一種基于模擬退火算法的單隱藏層BP神經網絡隱藏層節點估算算法,實驗證明該算法能夠有效且快速地尋找到合適的隱藏層節點個數,網絡工作正常,識別率較高。與傳統的試湊法和經驗公式法相比,本文算法具備了較強的理論依據,結果更可信;與遺傳算法等算法相比,又解決了容易陷入局部最小值的問題。本文算法可以作為一種有效的確定單隱藏層BP神經網絡隱藏層節點的方法在實踐中使用。

下一步的工作將繼續完善該算法,確定更優化的初始節點數選取方法以及每次迭代的步長,并將該方法應用在更多的實際數據集中,以期發現方法中存在的問題。

[1] LIPPMANN R P.An introduction to computing with neural nets[J].IEEE ASSP Magazine,1987,4(2):4-22.

[2] 王華強,袁浩,楊滁光.自適應模糊神經網絡在EPS中的應用[J].合肥工業大學學報(自然科學版),2011,34(2):188-191.

[3] 韓江,李雪冬,夏鏈,等.基于粗糙集的模糊神經網絡在故障診斷中的應用[J].合肥工業大學學報(自然科學版),2012,35(5):577-580.

[4] CURTEANU S,CARTWRIGHT H.Neural networks applied in chemistry:I.determination of the optimal topology of multilayer perceptron neural networks[J].Journal of Chemometrics,2011,25(10):527-549.

[5] ZANCHETTIN C,LUDERMIR T B,ALMIDA L M.Hybrid training method for MLP:optimization of architecture and training[J].IEEE Transactions on Systems,Man and Cybernetics,Part B: Cybernetics,2011,41(4):1097-1109.

[6] SUN J.Learning algorithm and hidden node selection scheme for local coupled feedforward neural network classifier[J].Neurocomputing,2012,79(3):158-163.

[7] BENARDOS P G,VOSNIAKOS G C.Optimizing feedforward artificial neural network architecture[J].Engineering Applications of Artificial Intelligence,2007,20(3):365-382.

[8] MIRCHANDANI G,CAO W.On hidden nodes for neural nets[J].IEEE Transactions on Circuits and Systems,1989,36(5):661-664.

[9] ISLAM M A,YAO X,MURASE K.A constructive algorithm for training cooperative neural network ensembles[J].IEEE Transactions on Neural Networks,2003,14(4):820-834.

[10] 鄧萬宇,鄭慶華,陳琳,等.神經網絡極速學習方法研究[J].計算機學報,2010,33(2):279-287.

[11] 高鵬毅.BP神經網絡分類器優化技術研究[D].武漢:華中科技大學,2012.

[12] 傅文淵,凌朝東.布朗運動模擬退火算法[J].計算機學報,2014,37(6):1301-1308.

AnestimationalgorithmofBPneuralnetworkhiddenlayernodesbasedonsimulatedannealing

ZHANG Shirui,LI Xinke

(School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

Single hidden layer BP neural network has achieved widespread success in pattern recognition, data mining and other fields. The number of hidden layer nodes is affected by many factors, so the selection of the number of nodes has been a complex issue. In this paper, an estimation algorithm of hidden layer nodes of single hidden layer BP neural network based on simulated annealing(SA) is presented. The lower bound of the number of hidden nodes is determined based on the experience. Through increasing the number of hidden nodes until the end by SA, the optimal solution is gotten. Compared with experience method and trial and error method, this method has strong theoretical basis. Besides, it is not easy to fall into local minimum compared with genetic algorithm. Experimental results show that this method has higher accuracy and faster speed in the estimation of the hidden layer nodes.

BP neural network; simulated annealing(SA); single hidden layer; number of hidden layer nodes

2016-03-30

張世睿(1991-),男,安徽蕪湖人,合肥工業大學碩士生;

李心科(1963-),男,江蘇徐州人,博士,合肥工業大學副教授,碩士生導師,通訊作者,E-mail:Thinker-lee9268@163.com.

10.3969/j.issn.1003-5060.2017.11.010

TP183

A

1003-5060(2017)11-1489-04

(責任編輯 張淑艷)