基于仿生模式識別的構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類方法

摘 要:從BP神經(jīng)元模型和RBF神經(jīng)元模型幾何意義出發(fā)，將仿生模式識別理論引入到神經(jīng)網(wǎng)絡(luò)分類中，提出了一種基于仿生模式識別的構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類方法，通過構(gòu)造不同結(jié)構(gòu)神經(jīng)元結(jié)合的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對不同類樣本在高維空間中形成的不同形狀幾何體的覆蓋。實(shí)驗(yàn)證明該算法是非常有效的。

關(guān)鍵詞:仿生模式識別; 神經(jīng)元; 構(gòu)造型神經(jīng)網(wǎng)絡(luò); 高維空間; 分類

中圖分類號:TP391文獻(xiàn)標(biāo)志碼:A

文章編號:1001-3695(2009)09-3314-04

doi:10.3969/j.issn.1001-3695.2009.09.032

Constructive neuron networks classification algorithmbased on bionic pattern recognition

CHEN Qi-mai， ZHOU Hai-qing

(College of Computer Science， South China Normal University， Guangzhou 510631， China)

Abstract:This paper introduced the theory of bionic pattern recognition into neural networks classification，F(xiàn)irstly from geometric significance of the BP neuron model and the RBF neuron model ， proposed a new constructive neuron networks classification algorithm based on bionic pattern recognition. Then covered high dimensional geometrical distribution of the sample set in the feature space by constructing a new type of ANN. Finally， the test proves that the algorithm is very effective.

Key words:bionic pattern recognition; neuron; constructive neural networks; high dimensional; classification

0 引言

模式識別經(jīng)歷了統(tǒng)計(jì)模式識別、結(jié)構(gòu)模式識別、模糊模式識別三個(gè)主要發(fā)展階段。針對傳統(tǒng)模式識別，王守覺[1]于2002年提出了一種新的模式識別，它基于認(rèn)識事物而不是區(qū)分事物，與傳統(tǒng)以最佳劃分為目標(biāo)的統(tǒng)計(jì)模式識別相比，更接近于人類認(rèn)識事物的特性，故稱為仿生模式識別。傳統(tǒng)模式識別與分類算法都是基于假定同類樣本點(diǎn)相互之間沒有任何關(guān)系，但是客觀世界一切事物均有聯(lián)系，仿生模式識別就在于引入了同類樣本存在某些普遍規(guī)律性，在特征空間中必然會形成某種多維幾何圖形，從而建立一種多維空間中非超球復(fù)雜幾何形體覆蓋的識別原理。 人工神經(jīng)網(wǎng)絡(luò)是模擬生物神經(jīng)網(wǎng)絡(luò)進(jìn)行信息處理的一種數(shù)學(xué)模型，由大量神經(jīng)元通過不同的拓?fù)浣Y(jié)構(gòu)組成，具有極強(qiáng)的自學(xué)習(xí)能力和分類能力，在模式識別領(lǐng)域中得到了廣泛應(yīng)用。但由于每個(gè)神經(jīng)元的數(shù)學(xué)描述都是一個(gè)多變量的非線性函數(shù)方程，組成網(wǎng)絡(luò)后，整個(gè)網(wǎng)絡(luò)的數(shù)學(xué)描述就是一個(gè)復(fù)雜的多變量非線性方程組，這對于認(rèn)識與研究來說是非常困難的。為了改善對神經(jīng)網(wǎng)絡(luò)行為的認(rèn)識和研究中的黑匣子式的難以處理的狀態(tài)，許多學(xué)者從幾何角度對不同神經(jīng)元以及神經(jīng)網(wǎng)絡(luò)的行為進(jìn)行了新的分析和研究[2~4]，通過構(gòu)造一個(gè)球領(lǐng)域模型將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問題轉(zhuǎn)換為點(diǎn)集覆蓋問題。因此，人工神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)仿生模式識別的有效手段[1，5，6]。

本文首先從仿生模式識別理論出發(fā)，通過研究不同神經(jīng)元模型幾何意義，提出了一種新的基于仿生模式識別理論的構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類算法。該算法考慮同類樣本在特征空間中形成的拓?fù)浣Y(jié)構(gòu)，構(gòu)造出一種能夠?qū)γ款悩颖具M(jìn)行最佳覆蓋的神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類算法相比，該算法幾何意義明確，理解簡單，實(shí)現(xiàn)容易。

1 仿生模式識別

1.1 仿生模式識別理論基礎(chǔ)

仿生模式識別理論認(rèn)為:同類而不完全相等的事物之間，必至少存在一個(gè)漸變過程，在這個(gè)漸變過程中間的各事物都屬于同一類，即特征空間中同類樣本全體的連續(xù)性規(guī)律。其數(shù)學(xué)描述如下:

在特征空間Rn中，設(shè)所有屬于A類事物的對象所構(gòu)成的集合為A，若集合A中存在任意兩個(gè)元素x與y，則對ε為任意大于零的值時(shí)，必定存在集合B，使

B={x1，x2，x3，…，xn|x1=x，xn=y，nN，ρ(xm，xm+1)<ε，ε>0，n-1≥m≥1，mN}，BA

在特征空間Rn中同類樣本點(diǎn)之間所存在的這個(gè)連續(xù)性規(guī)律超出了傳統(tǒng)模式識別與學(xué)習(xí)理論的基本假定，即同類樣本之間沒有任何聯(lián)系。但是，該連續(xù)性規(guī)律卻是客觀世界中客觀存在的，同時(shí)也是仿生模式識別中用來作為樣本點(diǎn)分布的先驗(yàn)知識，從而提高了對事物的認(rèn)識能力。

1.2 仿生模式識別數(shù)學(xué)分析

仿生模式識別引入特征空間中同類樣本的連續(xù)性規(guī)律后，對一類事物的認(rèn)識，實(shí)質(zhì)上就是對這類事物的全體在特征空間中形成的無窮點(diǎn)集合形狀的分析和認(rèn)識。仿生模式識別的數(shù)學(xué)分析問題正是點(diǎn)集拓?fù)鋵W(xué)中對高維流行的研究問題，因此仿生模式識別也被稱為拓?fù)淠Ｊ阶R別。以下是仿生模式識別數(shù)學(xué)分析中的一些基本概念和假設(shè):

閉集A:在仿生模式識別中，特征空間Rn中任何一類事物(如A類)全體在Rn中連續(xù)映射的“象”所做成的點(diǎn)集被視為一個(gè)閉集。

流行:在點(diǎn)集拓?fù)鋵W(xué)中，閉集根據(jù)不同類對象在特征空間中形成不同維數(shù)的流行。

Pa: 在實(shí)際工程中，樣本數(shù)據(jù)通常帶有一定的隨機(jī)噪聲，因此對A類事物認(rèn)識的判別覆蓋集合應(yīng)該用集合Pa取代集合A，即

Pa={x|ρ(x，y)≤k，y∈A，x∈Rn}

其中:k為選定的距離常數(shù)。

集合A與n維超球體的拓?fù)涑朔e:為了判別某個(gè)樣本是否屬于A類集合Pa，必須在特征空間Rn中構(gòu)筑一個(gè)能覆蓋集合Pa的n維空間幾何形體。這個(gè)近似覆蓋幾何Pa的n維空間幾何體是以不同維數(shù)的流形(集合A)中無窮的點(diǎn)做球心，以常數(shù)k作為半徑的無窮多個(gè)n維超出球體的并，即集合A與n維超球體的拓?fù)涑朔e。

2 神經(jīng)元幾何意義

2.1 超平面

根據(jù)文獻(xiàn)[2，3]對M-P神經(jīng)元的數(shù)學(xué)描述不難看出，神經(jīng)元的輸出由兩個(gè)因素決定，即激勵函數(shù)σ和函數(shù)的基

∑ni=1wixi-θ=0(1)

這個(gè)基函數(shù)就是輸入空間中輸入點(diǎn)離一個(gè)超平面的距離(一側(cè)為正，一側(cè)為負(fù))。當(dāng)∑ni=1wixi-θ>0時(shí)，表示點(diǎn)x落在超平面的正半空間內(nèi)，輸出為1;當(dāng)∑ni=1wixi-θ<0時(shí)，表示點(diǎn)落在超平面的負(fù)半空間內(nèi)，輸出為-1。于是，一個(gè)M-P神經(jīng)元的功能，可看成是一個(gè)由超平面劃分的空間二分類識別器。對神經(jīng)元的這種超平面理解，給神經(jīng)網(wǎng)絡(luò)研究人員帶來了很大便利。但是，當(dāng)神經(jīng)元數(shù)目較多、模式類別多且線性不可分等問題出現(xiàn)時(shí)，超平面在空間中交叉復(fù)雜，不能對特征空間中所有類進(jìn)行很好的劃分。于是，研究人員開始提出用多維空間中的超閉曲面取代超平面的設(shè)想[7]。

2.2 超閉曲面

在文獻(xiàn)[7]中，作者從幾何角度對徑向基函數(shù)(RBF)網(wǎng)絡(luò)神經(jīng)元的數(shù)學(xué)模型作了新的解釋，即RBF神經(jīng)元基函數(shù)不是與一個(gè)超平面的距離，而是與一個(gè)核心點(diǎn)的距離。RBF神經(jīng)元函數(shù)的基為

∑ni=1(wi-xi)2-θ2=0(2)

該神經(jīng)元相當(dāng)于在輸入空間中以核心wi、以θ為半徑的超球面。∑ni=1(wi-xi)2-θ2>0時(shí)，表示輸入點(diǎn)在此超球面外，輸出為-1;當(dāng)∑ni=1(wi-xi)2-θ2<0時(shí)，表示輸入點(diǎn)在此超球面內(nèi)，輸出為1。于是，一個(gè)RBF神經(jīng)元網(wǎng)絡(luò)可以將一個(gè)無限空間分成一個(gè)有限空間和一個(gè)無限空間，且分界面是非線性的。但是RBF是一種最簡單的封閉超曲面高階神經(jīng)元網(wǎng)絡(luò)，不會根據(jù)不同模式具體的分布信息來改變自身的形狀，其使用也具有很大的局限性。

為了實(shí)現(xiàn)傳統(tǒng)BP神經(jīng)元和RBF神經(jīng)元網(wǎng)絡(luò)的功能，本文采用了這兩種神經(jīng)元組合的形式，通過構(gòu)造一種能覆蓋不同模式在特征空間中形成的復(fù)雜幾何體的神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)仿生模式識別的多維空間中非超球復(fù)雜幾何形體覆蓋[1]的識別原理。

3 基于仿生模式識別的神經(jīng)網(wǎng)絡(luò)構(gòu)造算法

根據(jù)仿生模式識別原理，同一類樣本由于連續(xù)性規(guī)律，在特征空間中會形成一種復(fù)雜的幾何體。要實(shí)現(xiàn)對這個(gè)復(fù)雜幾何體的覆蓋，首先要實(shí)現(xiàn)對單個(gè)簡單幾何體的覆蓋;然后通過對簡單幾何體合并或相交的方法來實(shí)現(xiàn)對整個(gè)復(fù)雜幾何體的覆蓋[8]。

3.1 覆蓋算法

為了實(shí)現(xiàn)采用神經(jīng)網(wǎng)絡(luò)中若干神經(jīng)元近似覆蓋，本文用若干首尾相接的線段來擬合這個(gè)流行曲線，這是很多研究相關(guān)領(lǐng)域的學(xué)者們經(jīng)常做的一種假設(shè)[8，9]。這樣，折線與n維超球的拓?fù)涑朔e即是所求。

根據(jù)覆蓋原理，算法首先要實(shí)現(xiàn)對單個(gè)直線段的覆蓋，即求取到空間一直線段距離小于某一值k的區(qū)域。下面詳細(xì)講解對直線段的覆蓋:

在特征空間Rn中，樣本集合S={S1，S2，NA1AD，Sm}，m為樣本數(shù)，Si=(Si1，Si2，NA1AD，Sin)，n為樣本維數(shù)。輸入矢量X=(X1，X2，NA1AD，Xn)。考慮兩個(gè)樣本點(diǎn)形成的直線段，計(jì)算輸入矢量到特征空間中直線段的距離d，如圖1所示。

由空間向量積可得

cos(θ)=Si+1-Si#8226;X-Si/((Si+1-Si)#8226;(X-Si))=∑nj=1(Si+1，j-Si，j)(Xj-Si，j)/((Si+1-Si)#8226;(X-Si))(3)

距離d為

d=(X-Si)2-(X-Si)2cos2θ(4)

將式(3)代入(4)，令wi，j=∑nj=1((Si+1，j-Si，j)/(Si+1-Si))，βi=∑nj=1((Si+1，j-Si，j)Si，j/(Si+1-Si))，得

d=∑nj=1(Xj-Si，j)2-(∑nj=1wi，jXj-βi)2(5)

接下來的工作是構(gòu)建一種神經(jīng)網(wǎng)絡(luò)，使得其能夠覆蓋到空間直線段距離d小于某值k(d

3.2 網(wǎng)絡(luò)構(gòu)建

由以上覆蓋算法可知，網(wǎng)絡(luò)必須由一個(gè)輸入層、兩個(gè)隱層(M-P神經(jīng)元層和RBF神經(jīng)元層)和輸出層組成。以下是對各層的詳細(xì)描述:

a)輸入層。接收樣本輸入，因?yàn)闃颖緸閚維，所以輸入層需要n個(gè)神經(jīng)元。

b)第一隱層。由傳統(tǒng)的M-P神經(jīng)元組成，其模型為

Y1，i=f1，i(∑nj=1wi，jXj-βi)(6)

其中:f1，i為線性函數(shù)， f1，i(x)=0 x<0或x>Si+1-Six x>0;wi，j=∑nj((Si+1，j-Si，j)/(Si+1-Si))，βi=∑nj((Si+1，j-Si，j)Si，j/(Si+1-Si))，分別為該層第i個(gè)神經(jīng)元的權(quán)值向量和閾值。由于m個(gè)樣本構(gòu)成m-1條直線段，該層至多需要m-1個(gè)神經(jīng)元。

c)第二隱層。由RBF神經(jīng)元組成，其模型為

Y2，i=f2，i(∑nj=1(wi，j-Xj)2-θ2)(7)

其中:f2，i為階躍函數(shù)， f2，i(x)=0x>01 x≤0;wi，j=Si，j，θ2=Y21，i+k2，分別為該層第i個(gè)神經(jīng)元的權(quán)值向量和閾值。可以寫成

Y2，i=f2，i(∑nj=1(Xj-Si，j)2-(∑nj=1wi，jXj-βi)2-k2)=f2，i(d2-k2)(8)

因此，m個(gè)樣本需要m個(gè)RBF神經(jīng)元，當(dāng)與Y2，i相連的Y1， i不存在時(shí)，以Y1， i=0計(jì)算。

d)輸出層。覆蓋將m-1個(gè)直線段的超球進(jìn)行合并，其模型為

Y3=f3(∑mi=1Y2，i)(9)

其中:f3也為階躍函數(shù)，f3(x)=1 x>00 x≤0，該層只需要一個(gè)神經(jīng)元進(jìn)行求和即可。

該網(wǎng)絡(luò)考慮了所有樣本，實(shí)現(xiàn)了樣本在特征空間中形成的n維流行(用折線來近似計(jì)算)與半徑為k的n維超球的拓?fù)涑朔e的覆蓋。當(dāng)樣本在覆蓋范圍內(nèi)時(shí)，輸出為1;在范圍之外時(shí)，輸出為0。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型圖如圖2所示。

3.3 算法實(shí)現(xiàn)

給定一個(gè)訓(xùn)練樣本集samples={(Si，Cr)，1≤i≤m，1≤r≤CN}。其中:m為樣本數(shù);第i個(gè)樣本Si=(Si1，Si2，NA1ADSin);n為樣本維數(shù);CN為類別數(shù);Cr為第r類別。(Si，Cr)表示第i個(gè)樣本屬于第Cr類。算法具體描述如下:

輸入:訓(xùn)練樣本samples

輸出:一個(gè)對樣本分類的神經(jīng)網(wǎng)絡(luò)

a)初始化距離常數(shù)k，對每一個(gè)訓(xùn)練樣本設(shè)置一個(gè)標(biāo)志flag=0，表示該樣本還沒有被任何超球子類所覆蓋。

b)對于第r類樣本(1≤r≤CN):

(a)在未被覆蓋的樣本中，計(jì)算樣本間的兩兩距離(歐式距離)，選擇距離最小的兩個(gè)樣本Si，Si+1，通過式(6)計(jì)算Y1，i。

(b)以Si為核心，以θ2=Y21，i+k2為半徑做一個(gè)超球面，計(jì)算未被覆蓋的樣本是否落入該超球面，即計(jì)算式(9)。若dk，輸出0，表示該樣本沒有落入該超球面，不改變其標(biāo)志。

(c)返回(a)，直到該類所有樣本的標(biāo)志flag=1。

c)r++，重復(fù)b)，直到r=CN，所有樣本標(biāo)志flag=1，即表示所有樣本都被覆蓋。

4 性能分析

本文提出的基于仿生模式識別神經(jīng)網(wǎng)絡(luò)構(gòu)造算法相對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類算法而言，有以下優(yōu)點(diǎn):

a)傳統(tǒng)分類問題是將樣本進(jìn)行一類類的劃分。本文引入了仿生模式識別理論，使用更合乎人類認(rèn)識事物的視角，對樣本進(jìn)行一類類的認(rèn)識，即便有新樣本輸入，也不會對原有識別產(chǎn)生影響，是對傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類的一種改進(jìn)。

b)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)分類采用單一結(jié)構(gòu)的神經(jīng)元模型構(gòu)造神經(jīng)網(wǎng)絡(luò)[7]。本文采用了兩種不同結(jié)構(gòu)的神經(jīng)元來構(gòu)造網(wǎng)絡(luò)，突破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的局限性。

c)本算法是一種構(gòu)造的方法，網(wǎng)絡(luò)的權(quán)值和閾值均通過樣本計(jì)算得到，其訓(xùn)練時(shí)間即是計(jì)算時(shí)間，克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間長和學(xué)習(xí)復(fù)雜問題，而且不存在收斂性問題。

d)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元數(shù)選擇是不確定的。本文網(wǎng)絡(luò)模型中神經(jīng)元個(gè)數(shù)是由樣本數(shù)和樣本維數(shù)決定(共需要n+2m)，避免了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)選擇隱層節(jié)點(diǎn)數(shù)難題。

e)本算法是在充分考慮了噪聲(常數(shù)k)情況下實(shí)現(xiàn)的，所以具有很好的抗噪聲能力。本文沒有具體提出如何選擇距離常數(shù)K，其選擇準(zhǔn)則由實(shí)際問題而定。

5 實(shí)驗(yàn)結(jié)果

本節(jié)給出了一個(gè)雙螺旋曲線識別的實(shí)驗(yàn)來說明本文算法的有效性。本實(shí)驗(yàn)采用與文獻(xiàn)[9]相同的實(shí)驗(yàn)數(shù)據(jù)集，以便將本文提出的算法與文獻(xiàn)[9]中方法作進(jìn)一步比較。

雙螺旋曲線識別問題是一個(gè)典型的非線性分類問題，也是研究神經(jīng)網(wǎng)絡(luò)分類的學(xué)者們經(jīng)常討論的問題，因此在此數(shù)據(jù)集上作實(shí)驗(yàn)具有較高可比性。在文獻(xiàn)[10]中，作者試圖利用BP算法求解雙螺旋問題，但是沒有成功;文獻(xiàn)[11]提出生成-收縮法求解雙螺旋問題，但正確率只有89.6%;文獻(xiàn)[12]提出級聯(lián)神經(jīng)網(wǎng)絡(luò)，使用超過10層神經(jīng)網(wǎng)絡(luò)來處理同一問題，但結(jié)果也不甚理想[9];文獻(xiàn)[9]通過構(gòu)造RBF神經(jīng)元網(wǎng)絡(luò)，提出了一種最大密度覆蓋學(xué)習(xí)算法，取得了不錯效果。但上述算法都是基于已知樣本對無限空間進(jìn)行劃分的，當(dāng)加入新樣本時(shí)，必須對整個(gè)網(wǎng)絡(luò)重新進(jìn)行訓(xùn)練，對未訓(xùn)練的模式類進(jìn)行識別時(shí)，其結(jié)果也是不確定的。 雙螺旋曲線如圖3所示。

雙螺旋曲線是由極坐標(biāo)方程r=θ和r=-θ(π/2≤θ≤6π)兩條曲線互相纏繞而成。本實(shí)驗(yàn)采用交叉驗(yàn)證法檢驗(yàn)本文算法的分類性能。為了與文獻(xiàn)[9]實(shí)驗(yàn)進(jìn)行比較，選取相同數(shù)據(jù)量:首先分別從每類樣本中選取78個(gè)作為訓(xùn)練樣本，其θ=i×π/2(i=1，2，NA1AD，12)以及π/2~π取二等分點(diǎn)、π~3π/2取三等分點(diǎn)、…、iπ/2~(i+1)π/2區(qū)間取i+1等分點(diǎn)。設(shè)置距離常數(shù)k=0.5，神經(jīng)元個(gè)數(shù)為157(2×78+1=157)個(gè)，建立并訓(xùn)練網(wǎng)絡(luò);然后在雙螺旋曲線上隨機(jī)選取10 000個(gè)點(diǎn)，共20 000個(gè)點(diǎn)作為測試樣本集。實(shí)驗(yàn)結(jié)果與文獻(xiàn)[9]比較如表1所示。

注:本文MATLAB程序在普通PC機(jī)MATLAB 7.0上運(yùn)行。

由表1可知，本文算法的訓(xùn)練時(shí)間比文獻(xiàn)[9]最大密度覆蓋算法要多，這是因?yàn)楸疚乃惴ㄉ窠?jīng)元個(gè)數(shù)比較多(157個(gè))，大量的神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)在計(jì)算神經(jīng)元輸出時(shí)會占用一定的時(shí)間，但樣本正確識別率達(dá)到了100%。所以，在能夠容忍的訓(xùn)練時(shí)間范圍內(nèi)，以時(shí)間換取效率是可以接受的。

6 結(jié)束語

本文從仿生模式識別理論出發(fā)，分析了不同神經(jīng)元模型在高維空間的不同幾何意義，提出了一種新的基于仿生模式識別的構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類算法，構(gòu)建了一種由傳統(tǒng)M-P神經(jīng)元和RBF神經(jīng)元組合而成的神經(jīng)網(wǎng)絡(luò)模型。該神經(jīng)網(wǎng)絡(luò)模型能夠?qū)δＪ筋愒谔卣骺臻g中形成的復(fù)雜幾何體實(shí)現(xiàn)覆蓋，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題轉(zhuǎn)換為覆蓋問題，從而不但有效克服了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足，而且也為仿生模式識別理論運(yùn)用于神經(jīng)網(wǎng)絡(luò)分類應(yīng)用奠定了良好的研究與發(fā)展基礎(chǔ)。

參考文獻(xiàn):

[1]王守覺.仿生模式識別(拓?fù)淠Ｊ阶R別)——一種模式識別新模型的理論與應(yīng)用[J].電子學(xué)報(bào)，2002，30(10):1417-1420.

[2]RUJAN P， MARCHAND M. A geometric approach to learning in neural networks[C]//Proc of the International Joint Conference on Neural Networks’89 Vol Ⅱ. Washington DC:IEEE TAB Neural Network Committee， 1989:105-110.

[3]RAMACHER U，WESSELING M. A geometrical approach to neural network design[C]//Proc of International Joint Conference on Neural Networks’89， Vol Ⅱ. Washington DC: IEEE TAB Neural Network Committee， 1989:147-154.

[4]張鈴，張鈸.M-P神經(jīng)元模型的幾何意義及其應(yīng)用[J]. 軟件學(xué)報(bào)，1998，9(5):334-338.

[5]王守覺，徐健，王憲保，等.基于仿生模式識別的多鏡頭人臉身份確認(rèn)系統(tǒng)研究[J]. 電子學(xué)報(bào)，2003，31(1):1-3.

[6]王守覺，曲延鋒，李衛(wèi)軍，等.基于仿生模式識別與傳統(tǒng)模式識別的人臉識別效果比較研究[J]. 電子學(xué)報(bào)，2004，32(7):1057-1061.

[7]POWELL M J D. Radial basis functions for multivariable interpolation[R]. New York:Clarendon Press， 1987.

[8]WANG Xian-bao， CAO Wen-ming， FENG Hao， et al. A neural network constructing method based on many kinds of neurons model[J]. Journal of Communication and Computer， 2005， 2(1): 31-33.

[9]黃國宏，熊志化，邵惠鶴. 一種新的基于構(gòu)造型神經(jīng)網(wǎng)絡(luò)分類算法[J]. 計(jì)算機(jī)學(xué)報(bào)，2005，28(9):1519-1523.

[10]CHEN Q C， THOMAS D W， NIXON M S， et al. Generating-shrin-king algorithm for learning arbitrary classification [J].Neural Networks， 1994，7(9): 1477-1489.

[11]FAHLMAN S E， LEBIERE C. The Cascade-correlation learning architecture[J]. Advances in Neural Information Processing Systems，1990， 2:524-532.

[12]BAUM E B， LANG K J. Constructing hidden units using examples and queries[M]//Neural information processing. San Francisco:Morgan Kaufmann Publishers， 1991: 904-910.