基于生物機制脈沖神經(jīng)網(wǎng)絡(luò)的特征提取

張振敏 ?k林秀芳 范群貞

摘要：脈沖神經(jīng)元可以被用于處理生物刺激并且可以解釋大腦復(fù)雜的智能行為。脈沖神經(jīng)網(wǎng)絡(luò)以非常逼近生物的神經(jīng)元模型作為處理單元，可以直接用來仿真腦科學中發(fā)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計算模型，輸出的脈沖信號還可與生物神經(jīng)系統(tǒng)對接。而小波變換是一個非常有利的時頻分析工具，它可以有效的壓縮圖像并且提取圖像的特征。本文中將提出一種與人類視覺系統(tǒng)的開/關(guān)神經(jīng)元陣列相結(jié)合的脈沖神經(jīng)網(wǎng)絡(luò)，來實現(xiàn)針對視覺圖像的快速小波變換。仿真結(jié)果顯示，這個脈沖神經(jīng)網(wǎng)絡(luò)可以很好地保留視覺圖像的關(guān)鍵特征。

關(guān)鍵詞：快速小波變換；脈沖神經(jīng)元網(wǎng)絡(luò)；圖像壓縮；特征提取

中圖分類號：TP183文獻標識碼：A

1引言

眾所周知，擁有超級智能的大腦通過一個非常龐大且復(fù)雜的神經(jīng)網(wǎng)絡(luò)來處理信息。隨著腦神經(jīng)科學研究進展，發(fā)現(xiàn)了許多大腦處理感知信息的神經(jīng)網(wǎng)絡(luò)計算模型。Hodgkin-Huxley脈沖神經(jīng)元模型于1952年由Hodgkin和Huxley提出。以此神經(jīng)元模型為基礎(chǔ)，之后的科研工作者提出了一套更加靠近生物神經(jīng)網(wǎng)絡(luò)的脈沖神經(jīng)網(wǎng)絡(luò)理論，這被稱為第三代人工神經(jīng)網(wǎng)絡(luò)。脈沖神經(jīng)網(wǎng)絡(luò)以非常逼近生物的神經(jīng)元模型作為處理單元，可以直接用來仿真腦科學中發(fā)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計算模型，輸出的脈沖信號還可與生物神經(jīng)系統(tǒng)對接。因此，可將腦神經(jīng)科學與人工智能科學有機地結(jié)合起來，這對于人工智能系統(tǒng)和計算機視覺的研究有重要意義。近年來基于這種模型的神經(jīng)網(wǎng)絡(luò)的研究層出不窮[1-3]。但是這種模型一旦被應(yīng)用于大型網(wǎng)絡(luò)仍將會面臨非常復(fù)雜的計算量[4]。因此，針對脈沖神經(jīng)元網(wǎng)絡(luò)（spikingneuronnetwork，SNN）中的各個單個神經(jīng)元，我們將使用簡化后的基于電導率的累積放電模型進行計算[5]。在人類視覺系統(tǒng)中，從初級視覺皮層中的細胞到視網(wǎng)膜和外側(cè)膝狀體核中的簡單細胞都有著不同的感受野[6-8]。視覺圖像在這些神經(jīng)元中以脈沖訓練的形式通過ON或OFF通道進行傳輸[9-10]。假設(shè)每一個神經(jīng)元都接收來自開神經(jīng)元的激勵型突觸和關(guān)神經(jīng)元的抑制型突觸的脈沖訓練。不同的開/關(guān)通路以一種生物方式被用于構(gòu)建特定的網(wǎng)絡(luò)[11]。在神經(jīng)網(wǎng)絡(luò)的研究方面，國內(nèi)學者也有著出色的進展。如藺想紅等人在脈沖神經(jīng)網(wǎng)絡(luò)的理論研究方面進行了細致的研究[12-13]，而在其應(yīng)用方面也有著可喜的進展，具體可參考文獻[14-15]。另一方面，基于小波變換能夠有效的提取圖像的關(guān)鍵特征[16-18]，在本文中，一個特定的基于小波變換算法的脈沖神經(jīng)元網(wǎng)絡(luò)將被提出并用于模擬人類視覺系統(tǒng)中的脈沖神經(jīng)元的行為，同時此網(wǎng)絡(luò)可以提取出視覺圖像的主要特征信息。

2快速小波變換算法

Mallat于1987年提出了快速小波變換（fastwavelettransform，F(xiàn)WT）[19-20]。快速小波變換是一種實現(xiàn)離散小波變換的高效計算方法。二維快速小波變換的計算流程圖如圖1所示。

如圖1所示，f（m，n）為數(shù)字輸入信號，h0（m，n）是低通濾波器的沖激響應(yīng)，h1（m，n）是高通濾波器的沖激響應(yīng)，h0（m，n）和h1（m，n）共同組成了分析濾波器組。2表示間隔性下采樣。當輸入信號連續(xù)通過各個濾波器并分別作下采樣操作后，最終得到的四個信號即為小波變換的近似系數(shù)wA，水平分量wH，垂直分量wV和對角分量wD。

3構(gòu)建基于快速小波變換算法的脈沖神經(jīng)

元網(wǎng)絡(luò)

基于Mallat算法和視覺系統(tǒng)開/關(guān)通道機制[11，21，22]，本文建立了一個累積放電的脈沖神經(jīng)元模型，記為SNNFWT模型，如圖2所示。

計算技術(shù)與自動化2016年3月

第35卷第1期張振敏等：基于生物機制脈沖神經(jīng)網(wǎng)絡(luò)的特征提取

其中，輸入神經(jīng)元陣列的維度是M×N。圖像的每一個像素相當于一個信號接收器。假設(shè)Gm，n（t）表示一幅圖像像素的灰度級，每一個光接收器都將像素亮度轉(zhuǎn)化為突觸電流Im，n（t）[23-25]。那么電流Im，n（t）和神經(jīng)元的膜電壓vm，n）（t）將滿足以下公式：

dlm，n（t）dt=-1τIm，n（t）+αGx，y（t） （1）

cdvm，n（t）dt=gl（El-vm，n（t））+Im，n（t）+I0（2）

其中m=1，…，M；n=1，…，N；a，τ是常數(shù)，gl是膜電導，El是反轉(zhuǎn)電勢，c表示膜電容，I0是背景噪聲。如果膜電壓超過了門限值vth，那么神經(jīng)元就發(fā)出一個脈沖。令Sm，n（t）表示這個神經(jīng)元所產(chǎn)生的脈沖訓練：

Sm，n（t）=1ifneuron（m，n）firesattimet.

0ifneuron（m，n）doesnotfireattimet.（3）

中間神經(jīng)元陣列第一層由三個維度是M×（N+1）的神經(jīng)元陣列構(gòu)成，如圖2所示。前兩個是開神經(jīng)元陣列，記為1ON1（p，q）和1ON2（p，q），第三個是關(guān)神經(jīng)元陣列，記為1OFF（p，q），其中p=1，…，M；q=1，…，N+1。快速小波變換的卷積運算就相當于不同神經(jīng)元陣列的累加。假設(shè)脈沖訓練通過激勵型突觸W1ON1（p，q），W1ON2（p，q）和抑制型突觸W1OFF（p，q）被傳送至開/關(guān)神經(jīng)元陣列。突觸強度分布設(shè)置為：

W1ON1（p，k）=αONf（p，q），W1OFFi（p，q）=αOFFf（p，q）（4）

其中i={1，2}，1≤p≤M，1≤q≤N。如果i=1，k=q，那么k=q+1。aON=1/√2，aOFF=-1/2。突觸電流I1ON1（p，q）（t）和I1OFF（p，q）（t）由電流約束方程計算得到：

dI1σ（p，q）（t）dt=-1τI1σ（p，q）（t）+

∑Mp=1∑N+1q=1W1σ（p，q）β1Sσ（p，q）（t）（5）

其中σ∈{ON，OFF}，Sσ（p，q）（t）表示脈沖訓練。開/關(guān)陣列的神經(jīng)元電壓則由電壓約束方程得到。

中間神經(jīng)元陣列第二層由兩個維度是M×（N+1）的神經(jīng)元陣列2ON（p，q）和2OFF（p，q）構(gòu)成。每一個神經(jīng)元都接收來自激勵型突觸W2ON（p，q）和抑制型突觸W2OFF（p，q）的脈沖訓練，設(shè)置方式如下：

W2ON（p，q）=

W1ON2（p，2）-W1OFF（p，q），ifW1ON2（p，q）-W1OFF（p，q）>0

0ifW1ON2（p，q）-W1OFF（p，q）≤0（6）

W2ON（p，q）=

-（W1ON2（p，2）-W1OFF（p，q）ifW1ON2（p，q）-W1OFF（p，q）<0

0ifW1ON2（p，q）-W1OFF（p，q）≥0（7）

其中1≤p≤M，1≤q≤N+1。開/關(guān)陣列中的突觸電流和神經(jīng)元電壓仍舊由電流和電壓約束方程計算得到。

中間神經(jīng)元陣列第三層同樣由兩個維度為M×（N+1）的神經(jīng)元組成。在這些陣列中神經(jīng)元被記為3CN1*（p，q）和3CN2*（p，q）。其中的突觸強度分布可以通過下述方程計算得到：

W3CN1*（p，q）=W1ON1（p，q）+W1ON2（p，q）（8）

W3CN2*（p，q）=W2ON（p，q）+W2OFF（p，q）（9）

突觸電流的計算方程為：

dl3CN1*（p，q）（t）dt=-1τI3CN1*（p，q）（t）+

∑Mp=1∑N+1q=1W1ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W1ON2（p，q）β2Sp，q（t）-（10）

dI3CN2*（p，q）（t）dt=-1τI3CN2*（p，q）（t）+

∑Mp=1∑N+1q=1W2ON1（p，q）β2Sp，q（t）-

∑Mp=1∑N+1q=1W2OFF（p，q）β2Sp，q（t）-（11）

其中，β1，β2是常量。

在信號累加完成之后，對3CN1*和3CN2*層的神經(jīng)元進行設(shè)置，即令只有偶數(shù)列的神經(jīng)元會被激發(fā)從而發(fā)出脈沖信號，而奇數(shù)列的神經(jīng)元則不會被激發(fā)。之后將兩個新得到的神經(jīng)元陣列記為3CN1和3CN2。突觸強度將由下式計算得到：

W3CNi（p，q）=W3CNi*（p，2k）（12）

其中i={1，2}，i=1，2，…，N/2；1≤p≤M，1≤q≤N/2。此后網(wǎng)絡(luò)中的剩余的突觸強度分布的計算都由類似的迭代方式和下采樣方法計算得到。最終我們可以獲得四個輸出神經(jīng)元陣列OUT1，OUT2，OUT3和OUT4，這些神經(jīng)元層的激發(fā)率的計算公式如下：

rOUT{j}（m，n）（t）=1T∑t+TtSOUT{j}（m，n）（t）（13）

其中j={1，2，3，4}，SOUT{j}（m，n）（t）表示輸出陣列的脈沖訓練。

4基于SNNFWT網(wǎng)絡(luò)提取圖像特征

本文中將利用Matlab軟件對所構(gòu)建的脈沖神經(jīng)元網(wǎng)絡(luò)SNNFWT進行仿真測試。在實驗中根據(jù)Euler方法，步長設(shè)置為0.1ms。根據(jù)生物神經(jīng)元特性將參數(shù)設(shè)置如下：vth=-60mv，El=-70mv，gl=1.0ms/mm2，c=8nF/mm2，τ=16ms，T=400ms，α=0.02，β1=4.3，β2=5.1，I0=7μA。這些參數(shù)可以被調(diào)整以獲得高質(zhì)量的輸出圖像。

實驗中所使用的測試圖像如圖3所示。圖3（a）為高斯灰度分布圖像，像素為16×16。圖3（b）為Lena圖像，該圖像是在圖像處理領(lǐng)域廣泛使用的基準圖像，大小為512×512。

（a）高斯分布圖（b）Lena圖像

圖中橫縱坐標均表示像素位置，黑白色條表示圖像灰度范圍在0～255

高斯圖像的測試結(jié)果如圖4所示。其中，圖4（a）-（d）是高斯圖像經(jīng)過Mallat小波變換得到的四個變換系數(shù)。圖4（e）-（h）則是通過SNNFWT脈沖神經(jīng)元網(wǎng)絡(luò)所得到的四個近似結(jié)果。圖4中所有圖像維度為8×8，分辨率為原始圖像的四分之一。

Lena圖像的實驗結(jié)果如圖5所示。實驗中，由于該圖像維度超過了Matlab默認的矩陣維度，因此該圖像被切割為32×32個子塊，每個子塊的像素數(shù)是16×16。圖5（a）-（d）是通過數(shù)學方法所得到的結(jié)果，圖5（e）-（h）的結(jié)果則來自于脈沖神經(jīng)元網(wǎng)絡(luò)。以上實驗結(jié)果說明所構(gòu)建的脈沖神經(jīng)元網(wǎng)絡(luò)可以實現(xiàn)與小波變換類似的特征提取工作，同時又忽略了微弱的噪聲信息。眾所周知，圖像的主要能量，即圖像的主要信息被保存在其低頻分量中，而高頻分量則只含有較少的能量信息。與數(shù)學方法實現(xiàn)小波變換相比，盡管視覺圖像信號通過了復(fù)雜龐大的神經(jīng)元網(wǎng)絡(luò)并且丟失了一些細節(jié)，但是最終保留了所有的低頻分量，只有一些最高頻分量損失。

圖6顯示了原始圖像和經(jīng)過SNNFWT網(wǎng)絡(luò)的一階和二階的近似系數(shù)圖像。從二階圖像效果上看，盡管信號經(jīng)過了兩組復(fù)雜神經(jīng)元網(wǎng)絡(luò)，整體能量有所降低，但是圖像的關(guān)鍵信息，比如人物和背景輪廓，草帽以及面部細節(jié)信息都仍然被很好的保留下來。

5討論

在文章中，我們提出了一個結(jié)合了生物神經(jīng)元開/關(guān)通道和突觸電流機制的累積放電脈沖神經(jīng)元網(wǎng)絡(luò)來提取視覺圖像的特征信息。在模型構(gòu)建的過程中，不同神經(jīng)元陣列的累加被用于實現(xiàn)FWT的卷積運算，而神經(jīng)元的選擇性激發(fā)替代了下采樣算法。仿真結(jié)果顯示了這種SNN算法可以實現(xiàn)FWT。并且在通過了復(fù)雜的脈沖神經(jīng)元網(wǎng)絡(luò)之后，圖像的關(guān)鍵信息得以很好保存。

參考文獻

[1]MEROLLAPA，ARTHURJV，ALVAREZR.ARTIFICIALBRAINSAmillionspikingneuronintegratedcircuitwithascalablecommunicationnetworkandinterface[J].Science，2014，345（6197）：668-673.

[2]RICHMONDP，COPEA，GURMEYK.FromModelSpecificationtoSimulationofBiologicallyConstrainedNetworksofSpikingNeurons[J].Neuroinformatics，2014，12（2）：307-323.

[3]HUT，GENKINA，CHKIOVSKIIDB.ANetworkofSpikingNeuronsforComputingSparseRepresentationsinanEnergyEfficientWay[J].Neuralcomputation，2012，24（11）：2852-2872.

[4]HODGKINAL，HUXLEYAF.Aquantitativedescriptionofmembranecurrentanditsapplicationtoconductionandexcitationinnerve[J].TheJournalofphysiology，1952，117（4）：500-544.

[5]MULLERE.SimulationofHighConductanceStatesinCorticalNeuralNetworks[M].Mastersthesis.UniversityofHeidelberg，2003.

[6]MASLANDRH.Thefundamentalplanoftheretina[J].Natureneuroscience，2001，4（9）：877-886.

[7]TAYLORWR，VANEYDI.Newdirectionsinretinalresearch[J].Trendsinneurosciences，2003，26（7）：379-385.

[8]KANDELER，SHWARTZJH.PrinciplesofNeuralScience[M].EdwardAmold（Publishers）Ltd，1981.

[9]DEMBJB.Cellularmechanismsfordirectionselectivityintheretina[J].Neuron，2007，55（2）：179-186.

[10]NELSONR，KOLBH.OnandOffPathwaysintheVertebrateRetinaandVisualSystem[M].MITPress，Cambridge，Lonton，2003.

[11]WUQX，MCGINNITYTM，MAGUIREL，eta1.SpikingNeuralNetworkPerformsDiscreteCosineTransformforVisualImages[C].EmergingIntelligentComputingTechnologyandApplications：WithAspectsofArtificialIntelligence，2009，5755：21-29.

[12]藺想紅，王向文，張寧，等.脈沖神經(jīng)網(wǎng)絡(luò)的監(jiān)督學習算法研究綜述[J].電子學報，2015，43（3）：577-586.

[13]張玉平，藺想紅.基于卷積計算的多層脈沖神經(jīng)網(wǎng)絡(luò)的監(jiān)督學習[J].計算機工程與科學，2015，37（2）：348-353.

[14]劉海華，莊如云.脈沖神經(jīng)網(wǎng)絡(luò)自適應(yīng)側(cè)連接的運動檢測[J].中南民族大學學報，2014，33（2）：65-71.

[15]李奕，吳小俊.粒子群進化學習自適應(yīng)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像融合方法研究[J].電子學報，2014，42（2）：217-222.

[16]DAUBECHIESI.TenLecturesOnWavelets[M].SocietyforIndustrialandAppliedMathematics，61，1992.

[17]CHUICK.AnIntroductiontoWavelets[M].AcademicPress，NewYork，1992.

[18]CLIN，L.ATutorialoftheWaveletTransform[D].GraduateInstituteofCommunicationEngineeringofNTU，2010.

[19]MALLATSG.Atheoryformultiresolutionsignaldecomposition：thewaveletrepresentation[J].IEEETransactionsonpatternanalysisandmachineintelligence，1989，11（7）：674-693.

[20]MALLATS.AWaveletTourofSignalProcessing[M].AcademicPress，2008.

[21]WUQX，MCGINNITYTM，MAGUIREL，etal.2Dcoordinatetransformationbasedonaspiketimingdependentplasticitylearningmechanism[J].NeuralNetworks，2008，21（9）：1318-1327.

[22]WUQX，MCGINNITYM，MAGUIREL，etal.LearningMechanismsinNetworksofSpikingNeurons，StudiesinComputationalIntelligence[J].StudiesinComputationalIntelligence，2006，35：171-197.

[23]WUQX，MCGINNITYM，MAGUIREL，etal.EdgeDetectionBasedonSpikingNeuralNetworkModel[M].SpringerBerlinHeidelberg，2007.

[24]WUQX，MCGINNITYTM，MAGUIRELP，etal.Learningunderweightconstraintsinnetworksoftemporalencodingspikingneurons[J].Neurocomputing，2006，69（16-18）：1912-1922.

[25]WUQX，CAIR，MCGINNITYTM，etal.RememberingKeyFeaturesofVisualImagesbasedonSpikeTimingDependentPlasticityofSpikingNeurons[C].Proc.oftheInternationalCongressonImageandSignalProcessing，IEEE，2009，2168-2173.