基于懲罰函數泛化的神經網絡剪枝算法研究

熊 俊,王士同,潘永惠,包 芳

(1.江南大學數字媒體學院,江蘇無錫214122;2.江陰職業技術學院計算機科學系,江蘇江陰214405)

基于懲罰函數泛化的神經網絡剪枝算法研究

熊 俊1,王士同1,潘永惠2,包 芳2

(1.江南大學數字媒體學院,江蘇無錫214122;2.江陰職業技術學院計算機科學系,江蘇江陰214405)

神經網絡的隱層數和隱層節點數決定了網絡規模,并對網絡性能造成較大影響。在滿足網絡所需最少隱層節點數的前提下,利用剪枝算法刪除某些冗余節點,減少隱層節點數,得到更加精簡的網絡結構?；趹土P函數的剪枝算法是在目標函數后加入一個懲罰函數項,該懲罰函數項是一個變量為網絡權值的函數。由于懲罰函數中的網絡權值變量可以附加一個可調參數,將單一懲罰函數項泛化為一類隨參數規律變化的新的懲罰函數,初始懲罰函數可看作泛化后懲罰函數的參數取定值的特殊情況。實驗利用基于標準BP神經網絡的XOR數據進行測試,得到隱層節點剪枝效果和網絡權值隨懲罰函數的泛化而發生變化,并從數據分析中得出具有更好剪枝效果及更優網絡結構的懲罰函數泛化參數。

隱層節點;神經網絡;剪枝算法;懲罰函數;泛化;XOR數據

1 概述

人工神經網絡［1］(Artificial Neural Network, ANN)是由大量的、簡單的處理單元(稱為神經元)廣泛地互相連接而形成的復雜網絡系統。實踐表明,神經網絡的性能與神經網絡的結構有很大的關系,而隱層節點的選擇和調整是神經網絡結構優化研究中的一項重要內容［2］,若隱層節點數太少,則網絡可能根本不能訓練或網絡性能很差;若隱層節點數太多,雖然可使網絡系統誤差減小,但一方面使網絡訓練時間延長,另一方面訓練容易陷入局部極小點而得不到最優點。在隱節點調節過程中,經常利用剪枝算法［3］來調節網絡權值,進而刪除冗余節點,達到精簡網絡結構、改進泛化的目的。

目前常用的神經網絡模型包括徑向基函數(Radial Basis Function,RBF)神經網絡［4］、誤差反向傳播(Error Back-propagation Algorithm,EBP)網絡［5］、Hopfield網絡［6］等。其中,BP神經網絡是最常用的神經網絡模型。常用的剪枝算法有懲罰函數法［7］、靈敏度計算法［8］、相關性剪枝算法［9］等。 其中,懲罰函數法是使用最普遍的剪枝算法之一,只需在最小化目標函數后添加一個變量為網絡權值的懲罰函數。常見的懲罰函數有權消除懲罰項［7］、權衰減懲罰項［7］、拉普拉斯懲罰項［10］等。

上述懲罰函數均可針對其中的網絡權值變量添加參數進行泛化,本文通過調整參數值得到基于傳統懲罰函數的新的懲罰函數,從而對比分析泛化的懲罰函數構造的剪枝算法對網絡隱節點的剪枝效果和網絡結構的影響。

2 神經網絡

2.1 基礎神經網絡結構

在人工神經網絡模型中,具有誤差反向傳播學習功能的多層前饋神經網絡即BP神經網絡［1］,是目前應用最廣泛且研究最深入的神經網絡。BP神經網絡一般由輸入層、輸出層和隱層三部分構成。這里重點考慮隱層的神經元個數,實驗中利用具有單隱層的網絡,并使用分類問題的XOR數據作為實驗數據。

對于屬于2個不同類的N維向量x,假設有一個訓練數據集{xk,yd(k)},并且每個xk都對應一個已知的yd(k)∈{0,1}。對于二分類問題［10］,只需1個輸出神經元,輸入神經元個數與輸入向量維數相同為2。根據要求構造的網絡結構如圖1所示。

圖1 神經網絡結構

該網絡的輸入輸出函數可表示為:

其中,x是神經網絡的輸入向量;y是神經網絡對應的輸出值;W1是連接輸入神經元與隱層神經元的權值向量;b1為初始偏移向量;W2是連接隱層和輸出層神經元的權值向量;b2為輸出神經元的權值初始偏移;C為一個用于調節隱層輸出值的系數,選取C=10。神經網絡隱層和輸出層的轉移函數f(·)和g(·)均采用標準Sigmoid激活函數。

2.2 神經網絡學習算法

神經網絡學習方式［10］有2種:有導學習和無導學習。有導學習又稱為監督學習［10］。一般情況下,有導學習的訓練樣本是輸入輸出對:{xk,yd(k)},k=1,2,…,L,其中,xk為樣本輸入;yd(k)為期望的樣本輸出(教師信號)。神經網絡訓練的目的是:根據一定的學習規則,通過調節各神經元的自由參數,使網絡輸出產生期望的值,即當輸入樣本為xk時,網絡輸出盡可能接近yd(k)。本文采用有導學習方式。無導學習稱為無監督學習或自組織學習。無導學習不提供教師信號,而只規定學習規則,具體的學習內容隨系統所處環境而定。

有導學習和無導學習都要通過調整神經元的自由參數(權值和偏移)實現,假設單個神經元當前的權值為w(t),神經元學習算法的內容是確定神經元的權值調整量Δw(t),并得到權值調節公式,即:

梯度下降法［10］是最常用的神經網絡學習算法。假定神經元權值修正的目標是極小化目標函數F(w(t)),根據梯度法基本原理,若g(t)=▽F(w(t))|w=w(t)表示F(w(t))在w=w(t)時的梯度,則Δw(t)=-ηg(t),η取較小的正數(稱為學習率),即權值修正量沿負梯度方向取較小值。

2.3 BP神經網絡

BP算法也稱誤差反向傳播算法［1］,通過誤差反向傳播校正來不斷調整網絡的權值和閾值,使網絡的誤差平方和最小。當一個樣本輸入網絡,并產生輸出時,通過最小化所有網絡輸出的均方誤差來訓練網絡［11］,均方誤差為各輸出單元誤差平方和,即:

其中,L是訓練數據集中向量x的個數。

由梯度下降法得到:

輸入層到隱層的權值為w1(t),權值調整公式為:

隱層到輸出層的權值為w2(t),權值調整公式為:

3 基于懲罰函數的剪枝算法

剪枝算法通過在訓練時刪除或合并某些節點或權值［4］以達到精簡網絡結構、改進網絡性能的目的。在各種神經網絡剪枝算法中,懲罰函數是其中最普遍使用的一種算法,使用懲罰函數剪枝算法對網絡進行一定次數的訓練,網絡中的某些權值將減小到零附近,如果一個隱節點的輸出權值接近0或小于某個閾值,就可以刪除該隱節點。

通過在網絡目標函數中引入表示結構復雜性的正則化項來達到降低網絡復雜性的目的［10］。對于神經網絡中的分類問題,目標函數為:

其中,E(w)代表該網絡的誤差平方和;C(w)是懲罰函數,代表網絡的復雜性;λ是正則化參數,代表模型復雜性的相對重要性。

3.1 常用的懲罰函數

常用的幾種懲罰函數具體如下:

(1)權衰減

其中,wi表示網絡中的每個權值。

(2)拉普拉斯正則項

其中,wi表示網絡中的每個權值。

(3)權消除

其中,wi表示網絡中的每個權值;w0為固定值,實驗中w0=0.1。

3.2 正則化參數的動態修改方法

剪枝算法中的正則化參數λ對神經網絡的泛化能力有很大影響,且比較難以確定,一般采用動態修改策略［10］尋找正則化參數,較大地改進了網絡的泛化能力。

具體方法如下:學習過程中隨時檢測以下誤差量之間的關系:

(1)E(t-1):前一次權值調節時的誤差。

(2)A(t):當前時刻的加權平均誤差,定義為:

其中,μ為接近1的濾波系數。

(3)D:期望誤差值。如果沒有先驗知識,可設定D=0,此時算法也能較好地進行,但計算時間由計算次數限制,因此計算時間可能較長。

在每次權值調節后,計算當前時刻的學習誤差E(t)和加權平均誤差A(t),并根據它們之間的關系對λ進行調節,具體規則如下:

(1)如果E(t)＜E(t-1)或E(t)＜D,則:

此時存在以下2種情況:1)神經網絡的訓練誤差正在下降;2)該誤差已經小于目標函數值。這2種情況都是人們期待的,此時應略微增加正則化的作用。

(2)如果E(t)≥E(t-1),E(t)＜A(t),且E(t)≥D,則:

此時當前誤差有所上升(E(t)≥E(t-1)),但從長遠來說,訓練誤差仍在下降(E(t)＜A(t))。此時應該略微減少正則化的作用。

(3)如果E(t)≥E(t-1),E(t)≥A(t),且E(t)≥D,則:

其中,ρ為接近1的系數。

此時不僅當前誤差在上升,而且從長遠來說,訓練誤差也在上升,所以,應該較大幅度地減少正則化的作用。λ初始可以取0,隨后按上述規則動態調節。

4 基于懲罰函數泛化的剪枝算法

權衰減懲罰函數式(8)和拉普拉斯正則化項式(9)可泛化為:

圖2 r取0.1,0.5,1.0和2.0時隨wi的變化曲線

綜合以上2種懲罰函數的泛化情況和權消除懲罰函數的變化曲線,可以看出當r取不同參數時,C(w)中的某一項隨著權值wi的變化有各種變化趨勢,函數值范圍也有很大差異,而C(w)是懲罰函數剪枝算法的重點,所以,可以推測r取不同參數時,泛化的懲罰函數剪枝算法的性能也有所不同。

圖3 隨的變化曲線

5 實驗結果與分析

實驗采用XOR數據,XOR數據的輸入樣本x為4組二維向量:［0;1］,［0;0］,［1;1］,［1;0］;對應的4組輸出y分別為1,0,0,1;已知對于XOR數據,隱層至少需要2個神經元才能很好地完成分類工作［12］,設定初始隱層具有4個神經元,所以,可以通過觀察隨著參數r的變化,泛化的懲罰函數剪枝算法將原始隱層4個神經元剪除的情況,并通過分析剪枝后的網絡權值來評價泛化的懲罰函數剪枝算法對網絡結構的影響。實驗運行環境為:CPU Inter雙核,2.1 GHz,2 GB內存,Matlab2009a。

在進行網絡剪枝時,輸出權值很小的神經元可以被刪除［7］。在利用不同的剪枝方法進行剪枝時,關注的是迭代算法達到誤差要求或達到迭代次數時輸出權值的相對大小［7］,實驗設定輸出權值小于最大輸出權值的10%的神經元可以被刪除。雖然10%是主觀設定的,但是為這些泛化的懲罰函數剪枝設定了一個統一的閾值,剪枝剩下的神經元個數就是用于構造神經網絡隱層的神經元個數。

網絡中所有的初始權值和偏移量均?。?0.5, 0.5］內的隨機值,目標誤差取0.01,學習率取0.16,迭代次數取5 000,正則化參數調整時的濾波系數μ=0.92、ρ=0.95,正則化參數增量Δλ=5e-8。對于泛化函數各個參數取值,實驗利用完全相同的隨機初始權值,共進行20組實驗,每組采用不同的隨機權值,這些權值都是由相同的隨機函數生成。

表1 泛化參數r的剪枝效果

在表1中,每行表示20組實驗中,某個參數構造的泛化函數算法將隱層4個節點剪枝到剩下1個、2個、3個和沒有實現剪枝即剩4個的組數。例如:當r=1.0時,有0組實驗網絡隱層4個節點在剪枝后剩1個,有1組實驗隱層節點在剪枝后剩2個,有4組剩3個,還有15組剩4個沒有實現剪枝。同時,列出權消除懲罰函數在相同條件下的實驗結果,如表2所示。

表2 權消除懲罰函數的剪枝效果

通過分析表1和表2中的各組數據可以發現,當r＞1.0時,網絡能達到剪枝效果并滿足構造網絡最低要求即節點個數小于4并大于1的組數均為3組或4組;而當0.5＜r＜1.0時,節點個數小于4并大于1的組數為5組或6組;當r＜0.5時,滿足要求的組數有明顯增多,最多的當r=0.4時達到11組,而且有3組能夠剪枝達到最優的2個節點。由此可見,當r取小于0.5的數值時呈現更好的剪枝效果。

在分析剪枝效果的同時,本文還研究了泛化的懲罰函數算法對網絡結構的影響。如表3、表4所示為2組各個r取值構造的泛化懲罰函數算法結束時,網絡的隱層到輸出層的權值數據。

表3 第1組參數r訓練得到的神經網絡隱層結構及性能

表4 第2組參數r訓練得到的神經網絡隱層結構及性能

圖4 隨參數r的變化曲線

6 結束語

本文對懲罰函數剪枝算法中常用的懲罰函數進行泛化,以標準BP神經網絡為模型,利用XOR數據為實驗數據,探討了隨著懲罰函數參數的泛化,網絡剪枝效果和網絡結構變化。實驗結果顯示,泛化后的懲罰函數隨著參數的變化,表現出了各種剪枝效果,訓練得出的網絡權值也有很大差異。實驗結果為選擇合適的懲罰函數參數構造相應的懲罰函數剪枝算法,以及建立更加精簡高效的神經網絡提供了有利的依據。下一步工作將研究具有良好剪枝效果及參數構造的懲罰函數算法對神經網絡性能的影響。

［1］ 王士同,陳慧萍,趙躍華,等.人工智能教程［M］.2版.北京:電子工業出版社,2006.

［2］ 馮宏偉,薛 蕾.基于HMM和新型前饋型神經網絡的語音研究［J］.計算機工程與設計,2010,31(24): 5324-5327.

［3］ Reed R.Pruning Algorithms:A Survey［J］.IEEE Transactions on Neural Network,1993,4(5):740-747.

［4］ Ke Meng,Zhao Yangdong,Wang Dianhui,et al.A Selfadaptive RBF Neural Network Classifier for Transformer FaultAnalusis［J］.IEEE Transactionson Power Systems,2010,25(3):1350-1360.

［5］ Jiang Huiyu,Dong Min,Yang Feng.Application of BP NerualNetwork into Predication of Nitrobenzene Compound in Toxicity［C］//Proceedings of the 2nd International Conference on Genetic and Evolutionary Computing.［S.l.］:IEEE Press,2008:170-173.

［6］ Pajares G.A Holfield Neural Network for Image Change Detection［J］.IEEE Transactions on Neural Networks, 2006,17(5):1250-1264.

［7］ Zeng Huiwen,Trussell H J.Constrained Dimensionality Reduction Using a Mixed-Norm Penalty Function with Neural Networks［J］.IEEE Transactions on Knowledge and Data Engineering,2010,22(3):365-380.

［8］ 費蕓潔,鄧 偉.一種基于靈敏度分析的神經網絡剪枝算法［J］.計算機工程與應用,2007,43(7):34-35.

［9］ 宋清昆,郝 敏.基于改進相關性剪枝算法的BP神經網絡的結構優化［J］.自動化技術與應用,2006,25(12):3-4.

［10］ 魏海坤.神經網絡結構設計的理論與方法［M］.北京:國防工業出版社,2005.

［11］ Liu Zilong,Liu Guozhong,Liu Jie.Adaptive Tracking Controller Using BP Neural Networks for a Class of Nonlinear Systems［J］.Journal of Systems Engineering and Electronics,2004,15(4):598-604.

［12］ 李 季,嚴東超,趙虎城.基于動量因子技術的BP神經網絡的改進算法及應用［J］.電氣應用,2005,24(6):42-44.

編輯 陸燕菲

Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function

XIONG Jun1,WANG Shitong1,PAN Yonghui2,BAO Fang2
(1.College of Digital Media,Jiangnan University,Wuxi 214122,China;
2.Department of Computer Science,Jiangyin Polytechnic College,Jiangyin 214405,China)

The number of hidden layer and hidden layer node in neural network determines the size of the network and has a great influence on the performance of the network.Therefore,when the network contains the least hidden layer node number,pruning algorithm can be used to delete some redundant node,then the network is more simple.The pruning algorithm adds a penalty function to the target function,and the penalty function regards the weights of network as variable.It adds a variable parameter to the weights of network,so the simple penalty function can be generalized to a kind of new penalty function that changes as the parameter.The initial function can be treated as a special condition after the generalization of penalty function.Experiment tests the XOR data based on the BP neural network and sums up the effect of the generalization of penalty function on the pruning of the hidden layer node with neural network and the structure of the neural network.Then the parameters which can lead to better pruning effect and more optimal network structure are obtained from data in experiment.

hidden layer node;neural network;pruning algorithm;penalty function;generalization;XOR data

1000-3428(2014)11-0149-06

A

TP183

10.3969/j.issn.1000-3428.2014.11.030

熊 俊(1991-),男,碩士研究生,主研方向:人工智能,模式識別;王士同,教授、博士生導師;潘永惠,副教授、博士;包 芳,教授,博士。

2013-11-26

2014-01-18E-mail:jnxiongiun@163.com

中文引用格式:熊 俊,王士同,潘永惠,等.基于懲罰函數泛化的神經網絡剪枝算法研究［J］.計算機工程,2014, 40(11):149-154.

英文引用格式:Xiong Jun,Wang Shitong,Pan Yonghui,et al.Study of Neural Network Pruning Algorithm Based on Generalization of Penalty Function［J］.Computer Engineering,2014,40(11):149-154.