一種改進的基于STDP規則的SOM脈沖神經網絡

王 蕾，王連明

(1.東北師范大學物理學院，吉林 長春 130024； 2.東北師范大學應用電子技術研究所，吉林 長春 130024)

一種改進的基于STDP規則的SOM脈沖神經網絡

王 蕾1，王連明2

(1.東北師范大學物理學院，吉林 長春 130024； 2.東北師范大學應用電子技術研究所，吉林 長春 130024)

將脈沖神經網絡的高效處理能力與自組織映射神經網絡相結合，構造了一種基于突觸可塑性(STDP)規則的SOM脈沖神經網絡模型.該網絡將輸入和權值用脈沖發放時間編碼，符合生物信息處理機制.用STDP規則調整權值，不需要通過學習率控制收斂速度，縮短網絡訓練時間.使用歐氏距離的平方計算權值和樣本之間的相似度，與歐氏距離法相比簡化了計算，便于硬件實現.基于MATLAB仿真平臺，用該網絡對UCI機器學習數據庫中Iris數據集進行聚類后精度達到93.33%，比傳統的SOM、K-means等聚類方法更具有優越性.

自組織映射神經網絡；脈沖神經網絡；STDP學習規則；聚類

0 引言

自組織映射(Self-organizing Map，SOM)神經網絡具有無導師自聚類的特點，通過SOM神經網絡可以降低數據的維數[1].SOM神經網絡廣泛應用在語音識別、數據降維、數據挖掘、圖像處理等領域，它是人工神經網絡領域的研究熱點之一.[2-3]

生物神經領域的大量研究表明，在生物神經系統中是利用生物神經元發放脈沖的精確時間來處理信息.[4-5]Spiking神經網絡是模擬這種脈沖時間編碼方式的重要工具，由于Spiking神經網絡具有計算能力強、信號簡單等優點，將其硬件實現構造能夠真正實現并行計算、分布存儲的高性能、智能硬件處理器成為各國仿生腦研究的熱點.2014年8月，IBM公司和康奈爾大學的聯合研究團隊在硅片上實現了命名為TrueNorth的神經網絡芯片，該芯片集成了100萬個脈沖神經元.[6]2015年，由浙江大學計算機學院牽頭，浙江大學與杭州電子科技大學的學者合作，成功研制國內首款基于硅材料(CMOS)的支持脈沖神經網絡(SNN)的類腦芯片——“達爾文”芯片.[7]

將Spiking神經網絡與SOM神經網絡相結合，不僅能夠保持傳統的SOM神經網絡良好的聚類特性，還能彌補其收斂速度慢、計算量大等缺點.因此，很多學者基于Spiking對SOM神經網絡做了改進，D.T.Pham[8]提出了一種用于對控制圖表模式進行聚類的SOM延遲調整脈沖神經網絡模型，用偶然檢測神經元作為輸出層神經元，對輸入的脈沖進行同時檢測；L.Y.Ming[9]提出了一種基于自適應坐標(SOM-AC)和Spiking神經網絡的復合SOM模型，并用于多元時空數據的可視化和分類；B.Yusob[10]提出了一種基于脈沖時間編碼機制的SOM神經網絡模型，用脈沖神經元作為輸入層神經元，輸出層神經元對輸入層送入的電壓累加并發放脈沖；T.Rumbell[11]提出了一種針對連續輸入的脈沖時間相位編碼的脈沖自組織映射模型.

本文為進一步簡化SOM脈沖神經網絡的計算，并針對其硬件實現，提出了一種將輸入和權值進行脈沖編碼.采用突觸可塑性(STDP)學習規則進行訓練的SOM脈沖神經網絡的改進方法，該方法采用歐氏距離的平方代替歐式距離計算樣本與權值的相似度，簡化了硬件的實現難度.

1 SOM神經網絡

人腦是由大量的細胞組成.人腦中處于空間不同部位的區域分工不同，并且處于不同區域的細胞對來自某一方面或特定的刺激信號的敏感程度也不同.根據這些特點，1981年芬蘭的神經網絡專家T.Kohonen教授[12]提出了自組織映射理論SOM是無導師神經網絡使用最多的架構之一，其核心思想是神經網絡接受外界輸入模式時，將會分為不同的對應區域，各區域對輸入模式響應不同，整個過程自動完成[13].SOM神經網絡結構見圖1.它是一個雙層前饋全連接網絡，由輸入層和輸出層構成.輸入層用于將外部信息送入網絡；輸出層又稱為競爭層，一般組織成網格形式，是一個低維空間，競爭層神經元同它周圍的其他神經元側向連接，模擬了人腦中神經元之間的側抑制功能.網絡可以把任意高維的輸入映射到低維空間，并且使得輸入數據內部的某些相似性質表現為幾何上鄰近的特征映射，在輸出層映射出二維離散圖形，并且保持其拓撲結構不變.

2 神經網絡與STDP學習規則

Spiking神經網絡是 1997年W.Mass教授[14]在Neural Networks期刊上提出的一種網絡.在該網絡中信息通過脈沖神經元發放脈沖進行傳遞，這種處理信息的方式更接近生物神經系統信息處理機制，對信息處理表現出極大的靈活性和自適應性.Spiking神經網絡采用精確的脈沖時間編碼，與傳統的基于脈沖頻率編碼相比，擁有更強的計算能力.

圖1 SOM網絡結構

圖2 STDP學習規則原理

3 基于STDP的SOM脈沖神經網絡

網絡的訓練過程可分為4個階段，見圖4.

圖3 自組織脈沖神經網絡結構

圖4 SOM脈沖神經網絡算法流程

第1階段為數據預處理，即編碼過程.在該過程中，待分類樣本被編碼成脈沖送入網絡進行學習.本文將樣本數據用脈沖發放的精確時間來表示.時間編碼分為線性編碼和非線性編碼，本文使用線性編碼[17]

(1)

其中：y(f)為編碼后網絡輸入值；f為實際輸入值；[a，b]代表脈沖發放時間域；[Min，Max]代表輸入樣本的數值域；range=Max-Min.

第2階段為尋找獲勝神經元.在SOM神經網絡學習中，最重要的問題之一就是獲勝神經元的選擇.在傳統的SOM神經網絡中，通過比較與獲勝神經元相連接的權值和輸入樣本的相似程度來決定獲勝神經元，一般選用歐氏距離法，計算輸出神經元權向量與訓練樣本的距離，權向量和輸入向量最相近的神經元被認為對于輸入向量反映最強烈，即為獲勝神經元.向量X和Y之間的歐氏距離計算公式為

(2)

為了簡化計算，解決根式運算計算量大的難點，本文使用歐氏距離的平方計算樣本脈沖串和權值脈沖串之間的相似度，即

dij=‖txi-twij‖2.

(3)

其中：txi表示第i個輸入樣本脈沖串時間值；j表示輸出層神經元序號；twij表示第i個輸入樣本與第j個神經元連接的權向量脈沖串時間值；dij表示它們之間的相似度.

第3階段為權值調整階段，即網絡的訓練階段.當通過上一階段找到獲勝神經元時，與該神經元連接的權值朝著有利于它競爭的方向調整，同時對其周圍較大范圍內的幾何連接點上的神經元表現出激勵，對范圍外的神經元表現出抑制.經過對輸入模式的反復學習，網絡中的權重向量空間與輸入模式的概率分布趨于一致，達到分類的目的.在訓練過程中，可以將權值調整的過程簡單地理解為權值不斷向輸入向量靠近的過程，這與STDP學習過程類似，所以本文采用此種學習規則對網絡進行改進.根據圖2的STDP學習規則原理圖，對權值進行調整為

(4)

其中：s代表權向量脈沖串發放時間和輸入向量脈沖串發放時間之間的差別；A+和A-決定了權值調整的范圍，經過多次比較，使網絡性能能夠達到最好，在本文中分別取值為0.007和-0.005；τ+和τ-是間常量，取值為10和20.

第4階段為分類階段，經過前3個階段的循環訓練，根據最后訓練的權值，相似樣本會被分到相同類別中.

4 實驗結果

基于MATLAB仿真環境，利用上述基于STDP學習規則的SOM脈沖神經網絡，對UCI機器學習數據庫中Iris數據集進行仿真實驗.

Iris數據集是聚類中常用的知名數據集，共150個樣本，分為3個類，每一類代表一種類型的鳶尾花，每類各有50個樣本，每個樣本的維數為4，即包括花瓣長度、花瓣寬度、萼片長度和萼片寬度4個元素.150個樣本在3個類中分布均勻.其中一類與另外兩類線性可分，另外兩類有部分重疊.根據Iris數據集的特征，得到網絡的參數見表1.

表1 訓練Iris數據集的網絡參數

經過上述網絡訓練后，Iris的分類精度為93.33%.表2給出本文方法及其他幾種傳統聚類算法和脈沖聚類算法對該數據集分類精度的比較.

表2 非脈沖和脈沖算法對Iris數據集分類的精度

從表2中可以看出，脈沖神經網絡算法要比K-means和SOM等算法的分類精度高，本文提出的基于STDP的SOM脈沖神經網絡算法分類精度高于上述脈沖神經網絡算法.

5 總結

將Spiking神經網絡與STDP學習規則應用于自組織映射，構造一種新型的基于STDP學習規則的SOM脈沖神經網絡模型，并將該模型應用到聚類問題中.該模型結合了SOM神經網絡良好的聚類特性和Spiking神經網絡的高效處理能力，將輸入樣本和權值用精確的脈沖發放時間進行編碼，符合大腦處理信息的生物特性.基于STDP學習規則調整權值，不需要通過學習率的衰減控制收斂速度，縮短了網絡訓練時間.使用歐氏距離的平方計算權值與輸入樣本的相似度，簡化了計算過程，便于硬件實現.通過仿真結果可以看出，聚類效果較好.

與其他神經網絡相比，SOM神經網絡的結構更接近于大腦處理信息時的實際結構，而脈沖神經網絡則是現階段生物神經學證明的最符合生物神經系統處理信息機制的神經網絡，本文將二者結合起來，為生物神經系統的仿生實現提供了思路.

[1] KOHONEN T.Self-organizing maps [J].Springer，1995，30(4)：266-270.

[2] KASKI S.Data exploration using self-organizing maps [J].Acta Polytechnica Scandinavica Mathematics & Computing，1997，82(12)：580-588.

[3] VESANTO J，VESANTO J.Data exploration process based on the self-organizing map [J].Acta Polytechnica Scandinavica Mathematics & Computing，2002(115)：1-82.

[4] MEHTA M R，LEE A K，WILSON M A.Role of experience and oscillations in transforming a rate code into a temporal code [J].Nature，2002，417：741-746.

[5] BOHTE S M.The evidence for neural information processing with precise spike-times：a survey [J].Natural Computing，2004，3(2)：195-206.

[6] SERVICE R F.Minds of their own [J].Science，2014，346：182-183.

[7] SHEN J，DE M A，ZONGHUA G U，et al.Darwin：a neuromorphic hardware co-processor based on spiking neural networks [J].Science China Information Sciences，2016，59(2)：1-5.

[8] PHAM D T，PACKIANATHER M S，CHARLES E Y A.A self-organizing spiking neural network trained using delay adaptation [C]// IEEE International Symposium on Industrial Electronics，Vigo：IEEE，2007：3441-3446.

[9] MING L Y，THE C S，CHEN C J.A hybrid spiking neural network model for multivariate data classification and visualization [C]// Information Technology in Asia (CITA 11)，2011 7th International Conference on Kuching，Sarawak：IEEE，2011：1-6.

[10] YUSOB B，SHAMSUDDIN S M H，HAMED H N A.Spiking self-organizing maps for classification problem [J].Procedia Technology，2013，11(1)：57-64.

[11] RUMBELL T，DENHAM S L，WENNEKERS T.A spiking self-organizing map combining STDP，oscillations，and continuous learning [J].Neural Networks & Learning Systems IEEE Transactions on，2014，25(5)：894-907.

[12] BENGIO Y，DE MORI R，FLAMMIA G，et al.Neural network-gaussian mixture hybrid for speech recognition or density estimation [J].Advances in Neural Information Processing Systems Nips，1992：175-182.

[13] 張琳，王珊，秦曉瑜，等.基于聽覺仿生模型的樂器識別 [J].東北師大學報(自然科學版)，2014，46(1)：75-79.

[14] MAAS W.Networks of spiking neurons：the third generation of neural network models [J].Transactions of the Society for Computer Simulation International，1997，10(9)：1659-1671.

[15] DAN Y，POO M M.Spike timing-dependent plasticity of neural circuits [J].Neuron，2004，44(1)：23-30.

[16] SONG S，MILLER K D，ABBOTT L F.Competitive hebbian learning through spike-timing-dependent synapticplasticity [J].Nature Neuroscience，2000，3(9)：919-926.

[17] BELATRECHE A，MAGUIRE L P，MCGINNITY M.Advances in design and application of spiking neural networks [J].Soft Computing，2007，11(3)：239-248.

[18] BOHTE S M，POUTRE H L，KOK J N.Unsupervised clustering with spiking neurons by sparse temporal coding and multilayer RBF networks [J].IEEE Transactions on Neural Networks，2000，13(2)：426-435.

[19] YOON S Y，LEE S Y.Training algorithm with incomplete data for feed-forward neural networks [J].Neural Processing Letters，1999，10(3)：171-179.

(責任編輯：石紹慶)

Animprovedself-organizingmapspikingneuralnetworksbasedonSTDPrule

WANG Lei1，WANG Lian-ming2

(1.School of Physics，Northeast Normal University，Changchun 130024，China； 2.Institute of Applied Electronics，Northeast Normal University，Changchun 130024，China)

The features that process signal self-organizing of cerebral cortex can be simulated by SOM neural network.Spiking neural network is a technical with best bionic performance at present，what has become one of the popular research in neural network field is that combine SOM with spiking neural network.Combined with efficient processing capabilities of spiking neural networks with SOM neural network，an improved SOM spiking neural network model based on STDP learning rule was constructed.First of all the accurate times of fired spikes were used to represent sample and weights in the network，which was in line with biological information processing mechanisms；secondly STDP learning rule was based on to adjust the weights without control convergence rate by decreasing the learning rate，which could shorten time of training network；finally the square of Euclidean distance was used to calculate the similarity of spike sequences between sample and weights，which can simplify the calculation compared with Euclidean distance method.Based on MATLAB simulation platform，the network model was used for cluster analysis of Iris dataset in UCI machine learning library，the clustering accuracy of 93.33% was gotten after training network.What was proved is that the current method has better performance compared with traditional SOM，K-means.

self-organizing map；spiking neural networks；STDP learning rule；clustering

1000-1832(2017)03-0052-05

10.16163/j.cnki.22-1123/n.2017.03.012

2016-03-23

國家自然科學基金資助項目(21227008)；吉林省科技發展計劃項目(20130102028JC).

王蕾(1991—)，女，碩士研究生，主要從事神經網絡應用研究；通信作者：王連明(1972—)，男，博士，教授，主要從事智能信息處理及嵌入式系統領域研究.

TP 391.1 [學科代碼] 520·60

A