構建更接近大腦的多種可塑性共存的SNN

白悅岐

1.引言

人工神經網絡的出現并不是偶然。自古以來，人類不斷地探索著周圍的世界，大自然的秘密不斷的吸引著人們去進行探索，隨著自然科學的不斷發展，人類對于線性世界的認知不斷提升，漸漸地接觸到了非線性的世界。在20世紀出的迎接新年的晚會上，英國著名物理學家開爾文男爵發表了新年賀詞，其中他提到了以牛頓力學為代表的經典物理學的“兩大烏云”，這其中一朵烏云便是“黑體輻射的紫外災難”，這是測量光譜和理論光譜的巨大差別，而這一切的原因便是量子的不連續性，這便是人類最早了解的非線性科學之一。總體上說，非線性科學隨處可見復雜性和非線性總是聯系在一起的。因此，人們需要一種新型的可以研究非線性科學的工具，由此，人工神經網絡便應運而生了。

人工神經網絡是一種新型技術，其優越之處主要體現在當傳統的計算模式無法解決或者解決困難的時候，尤其是人工神經網絡在處理大量原始數據確不能使用傳統的規則或公式時表現出極大地靈活性和適應性。人工神經網絡給人們提供了一種新型的思路，上世紀八十年代中期人們開始深入的探索知識發現的內在深入邏輯，人們發現，基于傳統的演繹邏輯算法的體系可以發現新的定理但是無法發現新的定律。但是Rumelhart，Hinton和Williams發現，在十多年前由前人發明的誤差反傳算法可以方便的處理多層網絡的隱節點學習問題。由此可見對于人工神經網絡的研究工作在一定方面上正面回答了人工只能如何從環境中自主學習。自此，人工神經網絡迎來了大發展時代，越來越多的新型算法被人們發現，人類對于自然環境非線性科學的認識又提高了一個階梯。

本文從監督學習學到非監督學習了，人工神經網絡被證明了有非常強大的處理信息的能力，但是還是存在很多理論問題，如計算能力，復雜性，容量以及正則化理論。傳統神經網絡受到傳統局限性的影響，特別在處理大量的數據或者受到快速變化的環境下有所限制。如計算迭代或人工神經網絡算法的一些特性，相比于自然神經網絡的生物處理有很大的限制。

2.人工神經網絡的定義

生物具有的功能遠遠優于大多人類制造的機械，所以人類一直在孜孜不倦的從動物身上學習，而人本身也是一種十分優秀的可模仿對象，在日常生活中，人們發現大腦的能從嘈雜的環境中有選擇的接受信息，這說明大腦具有一定的自組織，自適應抗性的特征，這種特征如果用于電腦上將大大提高電腦的工作效率。科學證明大腦即是人的思維。成年人的大腦中神經元的數量約為1011～1012個。神經系統是人體起主導作用的功能調節。盡管單個神經元的作用十分簡單，但是當大量的神經元連接在一起時會具有十分復雜的功能。人們目前并不清楚生物神經網絡如何工作，但人們可以構建某些神經元并把它們以大腦的方式排列起來，這樣，這種人造的神經網絡便可以具有大腦的部分功能。

用來描述神經元的諸多模型中，最能反映神經元生物特性的就是由英國生理科學家霍奇金和赫胥黎與1952年提出的HH模型，這個模型它是用來描述神經元膜電流與膜電位關系的一組微分方程組，可以用來重復動作電位的產生HH模型是目前最為精確的仿生模型，它可以模擬神經元的生理特征，分析其閥值特征。IF模型是一種較為簡單，能夠較精準的表達生物神經網絡功能的一種模型，運用脈沖序列進行反向辨識，可獲得體外網絡的培養數據，這對于病理研究會有更深刻的了解。SRM模型的出現參考了IF模型，可以說是IF模型的衍生。在不考慮額外電壓時表達式如下

細胞膜電位和細胞膜電阻密切相關，能夠調控細胞興奮電位發出的時間。細胞膜突觸延遲會調整離子通道的開放時間，開放概率以及平均關閉時間，會影響離子通道電流的大小，從而對神經元興奮膜電位產生一定的影響。

3.建模

此模型反映出突觸后電流，突觸延時以及神經元膜電阻，在SRM模型上增加了神經元基本特性，使得神經元更接近大腦可塑性網絡構架。EPSP，指該神經元接收到前一級神經元發出興奮型的脈沖后，膜電位的變化情況。

其中τm表示神經元細胞膜常數，Is表示突觸后電流，第i與第j個神經元的突出延遲，第i與第j個神經元的權重，Rm膜電壓的大小，前一層輸入的脈沖時刻。u1為突觸后神經元的膜電位。

PSS，指該神經元電位超過閾值并發出脈沖后，膜電位重新恢復閾值如下的電學狀態。

4.實驗結果

EPSP神經元接收到上一時刻的脈沖會有一個上升的行為過程，而且膜電位大小會逐漸的下降回原來的水平。PSS神經元接著上次的脈沖會不斷地急速下降，而且膜電位最終會趨近于原水平大小。IPSP神經元膜電位會先有一個小幅度的上升然后不斷下降，最終回到原水平位置。

圖1 仿真結果

每個神經元相隔50ms發放脈沖，橫坐標表示時間軸坐標表示歸一化幅度，我們將閾值限定在0.5，發現在外界周期性的刺激下產生了周期性的膜電位變化方式。

5.STDP模型

STDP的不對稱窗口可以用來完成突觸之間的合作與競爭問題，還可以用來控制突觸后的脈沖發射時間，甚至可以用作抑制興奮性循環。STDP的存在保證了大范圍脈沖神經網絡的點火抑制平衡。

結合STDP的時空模式數據處理的修改規則加上SRM的動態閥值理論可以是學習方法更加接近生物神經網絡。

0階神經元模型突觸延時的不同會影響記憶儲存能力，其參數如圖2所示：

圖2 階神經元模型突觸延時

灰色為興奮神經元，綠色為抑制神經元。當中間層神經元發射脈沖時，會減少輸出層神經元延時，當輸出層神經元發射脈沖時，會減少中間層神經元延時，這一現象也符合生物的STDP現象。其數學模型如下：

值得注意的是某些RSM神經元基于學習規則可能會出現局部最優的情況，體現不同區域的差異性。

6.結論

本文介紹了脈沖神經網絡(SNN)稱為第三代神經網絡，此網絡沖破了神經網絡的閾值或sigmoid單元，基于動力學脈沖驅動，主要基于脈沖響應神經元模型（SRM）發展了更接近人腦動力學特型的新型SRM并結合了脈沖編碼形式，加入了更多的影響因素，譬如更接近人的行為方式。

應用最貼近大腦的學習機制STDP，以非監督學習為主要算法對，結合對網絡拓撲的設計。未來此網絡可以通過訓練以及輸出神經元的脈沖，發現網絡具有圖像認知，分類，描述等特性。