構(gòu)建更接近大腦的多種可塑性共存的SNN

白悅岐

1.引言

人工神經(jīng)網(wǎng)絡(luò)的出現(xiàn)并不是偶然。自古以來，人類不斷地探索著周圍的世界，大自然的秘密不斷的吸引著人們?nèi)ミM(jìn)行探索，隨著自然科學(xué)的不斷發(fā)展，人類對于線性世界的認(rèn)知不斷提升，漸漸地接觸到了非線性的世界。在20世紀(jì)出的迎接新年的晚會(huì)上，英國著名物理學(xué)家開爾文男爵發(fā)表了新年賀詞，其中他提到了以牛頓力學(xué)為代表的經(jīng)典物理學(xué)的“兩大烏云”，這其中一朵烏云便是“黑體輻射的紫外災(zāi)難”，這是測量光譜和理論光譜的巨大差別，而這一切的原因便是量子的不連續(xù)性，這便是人類最早了解的非線性科學(xué)之一。總體上說，非線性科學(xué)隨處可見復(fù)雜性和非線性總是聯(lián)系在一起的。因此，人們需要一種新型的可以研究非線性科學(xué)的工具，由此，人工神經(jīng)網(wǎng)絡(luò)便應(yīng)運(yùn)而生了。

人工神經(jīng)網(wǎng)絡(luò)是一種新型技術(shù)，其優(yōu)越之處主要體現(xiàn)在當(dāng)傳統(tǒng)的計(jì)算模式無法解決或者解決困難的時(shí)候，尤其是人工神經(jīng)網(wǎng)絡(luò)在處理大量原始數(shù)據(jù)確不能使用傳統(tǒng)的規(guī)則或公式時(shí)表現(xiàn)出極大地靈活性和適應(yīng)性。人工神經(jīng)網(wǎng)絡(luò)給人們提供了一種新型的思路，上世紀(jì)八十年代中期人們開始深入的探索知識(shí)發(fā)現(xiàn)的內(nèi)在深入邏輯，人們發(fā)現(xiàn)，基于傳統(tǒng)的演繹邏輯算法的體系可以發(fā)現(xiàn)新的定理但是無法發(fā)現(xiàn)新的定律。但是Rumelhart，Hinton和Williams發(fā)現(xiàn)，在十多年前由前人發(fā)明的誤差反傳算法可以方便的處理多層網(wǎng)絡(luò)的隱節(jié)點(diǎn)學(xué)習(xí)問題。由此可見對于人工神經(jīng)網(wǎng)絡(luò)的研究工作在一定方面上正面回答了人工只能如何從環(huán)境中自主學(xué)習(xí)。自此，人工神經(jīng)網(wǎng)絡(luò)迎來了大發(fā)展時(shí)代，越來越多的新型算法被人們發(fā)現(xiàn)，人類對于自然環(huán)境非線性科學(xué)的認(rèn)識(shí)又提高了一個(gè)階梯。

本文從監(jiān)督學(xué)習(xí)學(xué)到非監(jiān)督學(xué)習(xí)了，人工神經(jīng)網(wǎng)絡(luò)被證明了有非常強(qiáng)大的處理信息的能力，但是還是存在很多理論問題，如計(jì)算能力，復(fù)雜性，容量以及正則化理論。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)受到傳統(tǒng)局限性的影響，特別在處理大量的數(shù)據(jù)或者受到快速變化的環(huán)境下有所限制。如計(jì)算迭代或人工神經(jīng)網(wǎng)絡(luò)算法的一些特性，相比于自然神經(jīng)網(wǎng)絡(luò)的生物處理有很大的限制。

2.人工神經(jīng)網(wǎng)絡(luò)的定義

生物具有的功能遠(yuǎn)遠(yuǎn)優(yōu)于大多人類制造的機(jī)械，所以人類一直在孜孜不倦的從動(dòng)物身上學(xué)習(xí)，而人本身也是一種十分優(yōu)秀的可模仿對象，在日常生活中，人們發(fā)現(xiàn)大腦的能從嘈雜的環(huán)境中有選擇的接受信息，這說明大腦具有一定的自組織，自適應(yīng)抗性的特征，這種特征如果用于電腦上將大大提高電腦的工作效率。科學(xué)證明大腦即是人的思維。成年人的大腦中神經(jīng)元的數(shù)量約為1011～1012個(gè)。神經(jīng)系統(tǒng)是人體起主導(dǎo)作用的功能調(diào)節(jié)。盡管單個(gè)神經(jīng)元的作用十分簡單，但是當(dāng)大量的神經(jīng)元連接在一起時(shí)會(huì)具有十分復(fù)雜的功能。人們目前并不清楚生物神經(jīng)網(wǎng)絡(luò)如何工作，但人們可以構(gòu)建某些神經(jīng)元并把它們以大腦的方式排列起來，這樣，這種人造的神經(jīng)網(wǎng)絡(luò)便可以具有大腦的部分功能。

用來描述神經(jīng)元的諸多模型中，最能反映神經(jīng)元生物特性的就是由英國生理科學(xué)家霍奇金和赫胥黎與1952年提出的HH模型，這個(gè)模型它是用來描述神經(jīng)元膜電流與膜電位關(guān)系的一組微分方程組，可以用來重復(fù)動(dòng)作電位的產(chǎn)生HH模型是目前最為精確的仿生模型，它可以模擬神經(jīng)元的生理特征，分析其閥值特征。IF模型是一種較為簡單，能夠較精準(zhǔn)的表達(dá)生物神經(jīng)網(wǎng)絡(luò)功能的一種模型，運(yùn)用脈沖序列進(jìn)行反向辨識(shí)，可獲得體外網(wǎng)絡(luò)的培養(yǎng)數(shù)據(jù)，這對于病理研究會(huì)有更深刻的了解。SRM模型的出現(xiàn)參考了IF模型，可以說是IF模型的衍生。在不考慮額外電壓時(shí)表達(dá)式如下

細(xì)胞膜電位和細(xì)胞膜電阻密切相關(guān)，能夠調(diào)控細(xì)胞興奮電位發(fā)出的時(shí)間。細(xì)胞膜突觸延遲會(huì)調(diào)整離子通道的開放時(shí)間，開放概率以及平均關(guān)閉時(shí)間，會(huì)影響離子通道電流的大小，從而對神經(jīng)元興奮膜電位產(chǎn)生一定的影響。

3.建模

此模型反映出突觸后電流，突觸延時(shí)以及神經(jīng)元膜電阻，在SRM模型上增加了神經(jīng)元基本特性，使得神經(jīng)元更接近大腦可塑性網(wǎng)絡(luò)構(gòu)架。EPSP，指該神經(jīng)元接收到前一級(jí)神經(jīng)元發(fā)出興奮型的脈沖后，膜電位的變化情況。

其中τm表示神經(jīng)元細(xì)胞膜常數(shù)，Is表示突觸后電流，第i與第j個(gè)神經(jīng)元的突出延遲，第i與第j個(gè)神經(jīng)元的權(quán)重，Rm膜電壓的大小，前一層輸入的脈沖時(shí)刻。u1為突觸后神經(jīng)元的膜電位。

PSS，指該神經(jīng)元電位超過閾值并發(fā)出脈沖后，膜電位重新恢復(fù)閾值如下的電學(xué)狀態(tài)。

4.實(shí)驗(yàn)結(jié)果

EPSP神經(jīng)元接收到上一時(shí)刻的脈沖會(huì)有一個(gè)上升的行為過程，而且膜電位大小會(huì)逐漸的下降回原來的水平。PSS神經(jīng)元接著上次的脈沖會(huì)不斷地急速下降，而且膜電位最終會(huì)趨近于原水平大小。IPSP神經(jīng)元膜電位會(huì)先有一個(gè)小幅度的上升然后不斷下降，最終回到原水平位置。

圖1 仿真結(jié)果

每個(gè)神經(jīng)元相隔50ms發(fā)放脈沖，橫坐標(biāo)表示時(shí)間軸坐標(biāo)表示歸一化幅度，我們將閾值限定在0.5，發(fā)現(xiàn)在外界周期性的刺激下產(chǎn)生了周期性的膜電位變化方式。

5.STDP模型

STDP的不對稱窗口可以用來完成突觸之間的合作與競爭問題，還可以用來控制突觸后的脈沖發(fā)射時(shí)間，甚至可以用作抑制興奮性循環(huán)。STDP的存在保證了大范圍脈沖神經(jīng)網(wǎng)絡(luò)的點(diǎn)火抑制平衡。

結(jié)合STDP的時(shí)空模式數(shù)據(jù)處理的修改規(guī)則加上SRM的動(dòng)態(tài)閥值理論可以是學(xué)習(xí)方法更加接近生物神經(jīng)網(wǎng)絡(luò)。

0階神經(jīng)元模型突觸延時(shí)的不同會(huì)影響記憶儲(chǔ)存能力，其參數(shù)如圖2所示：

圖2 階神經(jīng)元模型突觸延時(shí)

灰色為興奮神經(jīng)元，綠色為抑制神經(jīng)元。當(dāng)中間層神經(jīng)元發(fā)射脈沖時(shí)，會(huì)減少輸出層神經(jīng)元延時(shí)，當(dāng)輸出層神經(jīng)元發(fā)射脈沖時(shí)，會(huì)減少中間層神經(jīng)元延時(shí)，這一現(xiàn)象也符合生物的STDP現(xiàn)象。其數(shù)學(xué)模型如下：

值得注意的是某些RSM神經(jīng)元基于學(xué)習(xí)規(guī)則可能會(huì)出現(xiàn)局部最優(yōu)的情況，體現(xiàn)不同區(qū)域的差異性。

6.結(jié)論

本文介紹了脈沖神經(jīng)網(wǎng)絡(luò)(SNN)稱為第三代神經(jīng)網(wǎng)絡(luò)，此網(wǎng)絡(luò)沖破了神經(jīng)網(wǎng)絡(luò)的閾值或sigmoid單元，基于動(dòng)力學(xué)脈沖驅(qū)動(dòng)，主要基于脈沖響應(yīng)神經(jīng)元模型（SRM）發(fā)展了更接近人腦動(dòng)力學(xué)特型的新型SRM并結(jié)合了脈沖編碼形式，加入了更多的影響因素，譬如更接近人的行為方式。

應(yīng)用最貼近大腦的學(xué)習(xí)機(jī)制STDP，以非監(jiān)督學(xué)習(xí)為主要算法對，結(jié)合對網(wǎng)絡(luò)拓?fù)涞脑O(shè)計(jì)。未來此網(wǎng)絡(luò)可以通過訓(xùn)練以及輸出神經(jīng)元的脈沖，發(fā)現(xiàn)網(wǎng)絡(luò)具有圖像認(rèn)知，分類，描述等特性。