基于自適應編碼的脈沖神經網絡

摘 要： ""脈沖神經網絡（SNN）采用脈沖序列表征和傳遞信息，與傳統人工神經網絡相比更具有生物可解釋性，但典型SNN的特征提取能力受到其結構限制，對于圖像數據等多分類任務的識別準確率不高，不能與卷積神經網絡相媲美。為此提出一種新型的自適應編碼脈沖神經網絡（SCSNN），將CNN的特征提取能力與SNN的生物可解釋性結合起來，采用生物神經元動態脈沖觸發特性構建網絡結構，并設計了一種新的替代梯度反向傳播方法直接訓練網絡參數。所提出的SCSNN分別在MNIST和Fashion-MNIST數據集進行驗證，取得較好的識別結果，在MNIST數據集上準確率達到了99.62%，在 Fashion-MNIST數據集上準確率達到了93.52%，驗證了其有效性。

關鍵詞： "脈沖神經網絡； 自適應編碼； 替代梯度反向傳播； 漏電積分發放神經元模型

中圖分類號： "TP391 """文獻標志碼： A

文章編號： "1001-3695（2022）02-047-0593-05

doi：10.19734/j.issn.1001-3695.2021.06.0239

Self-adaptive coding for spiking neural network

Zhang Chi1，2，3， Tang Fengzhen1，2

（1.State Key Laboratory of Robotics， Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110169， China； 2.Institutes for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China； 3.University of Chinese Academy of Sciences， Beijing 100049， China）

Abstract： "Using spikes to represent and convey information，

SNN is more biologically plausible than traditional artificial neural networks.However，a classical SNN has limited feature extraction ability due to the shallow network structure，leading to inferior classification performance to CNN especially on multi-class classification tasks such as object categorization.Inspired by the powerful convolutional structure of CNN，this paper proposed a SCSNN.By exploiting convolutional structures and dynamic impulse triggered property of biological neurons，the proposed SCSNN organized integrate-and-fire models in a convolutional fashion，and trained by a new surrogate gradient back-propagation algorithm directly.It validated the proposed SCSNN on the MNIST and Fashion-MNIST dataset respectively，obtaining superior performance to state-or-the-art SNN on both datasets.The classification accuracy reaches 99.62% on the MNIST dataset，

and 93.52% on the Fashion-MNIST dataset，which verifies the effectiveness of the proposed model.

Key words： "spiking neural networks； adaptive coding； surrogate gradient backpropagation； leaky integrate and fire（LIF） neuron model

0 引言

目前，人工神經網絡（artificial neural network，ANN）已被廣泛應用于如語音識別、圖像分類和自然語言處理等各種任務［1］。但在相關的生物研究中發現，與傳統的ANN不同的是，生物神經網絡是通過離散的脈沖進行通信，而不是具體的數值。在此基礎上，研究者提出了與大腦工作方式類似的脈沖神經網絡（spiking neural network，SNN）［2］，主要利用離散的動作電位（脈沖）來表征和傳遞信息，對SNN的進一步探索在一定程度上可以幫助本文理解大腦的工作機制［3］。此外，由于時間動力學特征，SNN通過脈沖學習和記憶機制有助于處理時空信息［4］，并且在大多數情況下SNN的神經元收到輸入脈沖信號才會興奮，高效節能，具有廣泛的應用前景［5］。

就學習算法而言，訓練大規模SNN存在三大挑戰［6］：a）SNN有時間域和空間域，這里面復雜的神經動力學使得反向傳播（back-propagation，BP）訓練變得模糊，具體來說，神經活動不僅在空間域中逐層傳播，而且還影響著沿時間方向傳遞的狀態，這比典型的神經網絡更復雜；b）由事件驅動的脈沖活動是離散的、不可微的，阻礙了BP訓練方法的實現，需要找尋新的方向；c）由于脈沖是由0和1的二進制來表示，SNN對參數配置變得更加敏感，特別是在訓練階段，網絡需要確保對突觸前刺激的及時反映，并且避免產生過多的脈沖，這可能會降低神經元的選擇性。因此，如何構建有效的SNN模型具有極大的挑戰性。

目前，研究人員在模型設計方面做了很多努力。在神經元模型研究中，文獻［7］利用生物學上合理的學習規則，即神經突觸可塑性STDP（spike timing dependent plasticity）［6］，采用無監督的學習方式訓練了一個具有橫向抑制的兩層SNN。一些研究者對STDP進行了改進，提出了變種學習規則［8］，將漏電積分發放模型轉換為一個迭代單元，并提出一種偽導數方法來克服不可微的問題，然后使用反向傳播算法成功地訓練了更深的SNN［9，10］。隨著BP反向傳播算法和其變種學習規則在多種深層SNN模型訓練中的成功應用，SNN在語音識別和圖像分類等任務上取得了較好的結果［11］。

在網絡結構設計方面，鑒于對CNN的認識，文獻［12］提出了結合CNN和SNN的增強型脈沖框架，命名為CSNN，該框架在卷積層采用了CNN的特征提取能力，在全連接層采用了SNN的生物合理性，該模型在神經元和訓練樣本明顯減少的情況下取得了與其他認知模型相當的性能，但從嚴格意義上講，它不是真正卷積結構的SNN。文獻［13］利用具有卷積感受野的脈沖神經元來構建網絡，提出了一種神經元歸一化技術，調整神經元的選擇性設計了一種可以直接訓練深度脈沖神經網絡的學習算法，并通過縮小速率編碼窗口將漏電積分發放模型轉換為顯式迭代形式，在圖像數據集上取得了較好的識別結果。在此基礎上，文獻［14］在脈沖卷積神經網絡架構的第一層中使用高斯差分（difference of Gaussians，DoG）濾波器提取邊緣信息，然后通過DoG濾波器將輸入圖像的像素值編碼為延遲脈沖。文獻［15］提出了一種多層SNN的反向傳播方法，通過轉換方法構造了一個微分函數，將輸入的脈沖時刻與輸出神經元的第一個脈沖時刻聯系在一起。文獻［16］提出了一種SNN的卷積自編碼學習方法，是一種無監督學習算法，將輸入映射到一個低維特征空間，從低維空間中重建輸入數據。文獻［17］的方法是對空間相鄰神經元之間的橫向交互進行建模，并將其整合到脈沖神經元LIF模型的膜電位公式中，采用泊松編碼的脈沖編碼方法，然后在流行的深度學習框架即PyTorch上構建多層SNN。

在目前的SNN研究中，通常需要將實數的輸入值轉換為脈沖，再輸入到SNN中進行處理。常用的脈沖編碼方式有速率編碼和時間編碼兩種。時間編碼采用單個脈沖的相對定時來編碼信息［18，19］；速率編碼在SNN模型中更常用，它利用一個時間窗內脈沖序列的速率來編碼信息［20］。最常用的速率編碼為泊松編碼［13］，其基本理論是認為脈沖網絡的輸出是一段時間內的發放頻率（或稱發放率）。發放率的大小表示該神經元對輸入響應的大小，因此網絡需要運行一段時間，使用 T 時刻內的平均發放率作為分類依據。泊松編碼采用概率模型，具有一定的隨機性，仿真時長 T 不能設置太小，這種預編碼方式會信息丟失，造成SNN無法接收輸入全部的信息，可能會影響其后續處理效果。

為了解決該問題，本文提出一種新的自適應編碼的脈沖神經網絡（self-adaptive coding for spiking neural network，SCSNN），結合CNN強大的特征提取能力和SNN的脈沖傳遞信息能力， 由卷積層、池化層和全連接層組成基本框架。卷積層將采用積分發放（integrate-and-fire，IF）神經元模型，實現整個網絡在時間上層間的交互；全連接層采用漏電積分發放（leaky integrate and fire，LIF）神經元模型，使得整個網絡在時間上具有層間累加能力，完成具體分類任務。本文設計了一種新的網絡訓練方法，引入梯度替代，采用梯度反向傳播方法訓練所提出的SCSNN。

本文所提出的SCSNN具有自適應的編碼能力，能夠直接接收外部輸入信息，避免了傳統SNN采用脈沖編碼預處理過程的信息丟失，提升了網絡的信息處理能力。與此同時，由于可以直接接收源輸入信號，無須較大的仿真時長，就能取得較好的識別結果，提高了網絡的計算速度；另外，梯度替代反向傳播方法為后續的脈沖神經網絡訓練方法提供一種新的思路。

1 研究方法

1.1 網絡結構

本文所提的SCSNN架構如圖1所示。該網絡采用IF神經元模型構成卷積層、LIF神經元模型構成全連接層以及下采樣池化層，深度融合CNN和SNN的優點，實現了圖像的自適應脈沖編碼，避免了傳統SNN中泊松編碼預處理帶來的信息損失。第一層卷積層作為網絡的感受野和基本輸入處理單元，對原始視覺圖像進行脈沖編碼和特征提取。卷積層內采用的IF神經元模型使得整個網絡在時間上有層間的交互，模仿了生物神經元的短時記憶能力；然后采取下采樣最大池化對卷積層的輸出進行降維和優化。在第一個卷積和池化模塊的基礎上增加兩個卷積和池化模塊，進一步提取和優化特征。最后是全連接層，該層采用LIF神經元模型使得整個網絡在時間上具有層間累加能力，完成具體分類任務。

1.2 神經元模型

在脈沖神經元模型中，神經元膜電位達到點火閾值，神經元就會發放脈沖［21］。本文采用積分發放IF神經元模型和漏電積分發放LIF神經元模型，IF神經元模型可以看做理想積分器［22］，表示為

d V（t） "d t = 1 C I（t） ""（1）

其中： V（t） 表示神經元的膜電位； I（t） 表示輸入電流； C 代表電容，是一個常數。使用離散的差分方程來近似連續的微分方程，得到 t 時刻的神經元膜電位表示為

V t=f（V t-1，I t）=V t-1+X t ""（2）

其中： t 時刻的神經元膜電位 V t 取決于 t-1 時刻的膜電位和 當前時刻輸入 X t 的值。脈沖神經元內部的前向傳播分為膜電位充電和放電兩個階段。膜電位充電時累積電壓值，即式（2）。膜電位累積值達到所設閾值 V th 產生放電，得到

S t=g（V t-V th）=Θ（V t-V th） ""（3）

Θ（x）= "1 x≥0

0 xlt;0 """""（4）

其中： S t 是輸出脈沖，0表示無脈沖，1表示發放脈沖； Θ（x） 表示Heaviside階躍函數。神經元膜電位 V t 重置為

V t=1-S t ""（5）

LIF神經元模型是在IF神經元模型的基礎上提出的，前者比后者更加接近真實的生物神經元。其中，leaky表示泄露。在生物神經元中，由于細胞膜不間斷進行膜內外離子的交換，如果僅有一次輸入刺激時，電壓會自發地發生泄漏，逐漸下降低于靜息電位 V reset ，然后再上升到 V reset 處。前文提到的IF神經元模型一般被認為直接回落到靜息狀態處，沒有泄露過程。LIF模型的具體表達形式如下：

τ m "d V（t） "d t =-（V（t）-V reset）+R mI（t） ""（6）

I（t）=∑ n i=0 ω i∑ "k Θ（t-t k） ""（7）

其中： τ m 是時間常數； I（t） 是收集自突觸的輸入電流，并整合到 V（t） 中，即神經元膜電位中； Θ（x） 是來自時間 t k 的突觸前神經元的脈沖事件，如式（4）所示。如果 V（t） 大于某個閾值 V th ，神經元就會發出一個輸出脈沖。釋放脈沖會消耗神經元之前積累的電荷，因此膜電位會有一個瞬間的降低，最終回到靜息膜電位 V reset 。

1.3 基于自適應編碼的卷積層

研究表明，相比于傳統CNN，SNN采用脈沖序列進行傳遞信息的方式更符合類腦處理機制。實際中處理的圖像數據是一個具體的像素值，如何將輸入實際值轉換為脈沖序列是本文首要面對的一個難題。目前的研究中常采用基于頻率的泊松編碼以及基于時間的延遲編碼，這些編碼方式類似于對圖片進行預處理，將圖片編碼成脈沖后輸入到訓練網絡。但實際生物大腦中是否有特定的編碼方式還有待研究，目前的基本認知是大腦看到圖像信息后直接傳入到視網膜，通過感受野和傳入神經進一步傳輸到視覺皮層進行處理。 為了接近大腦的圖像信息處理機制，本文提出了在SNN內部進行數據編碼的一種自適應編碼方法，如圖2所示。在每個時間步長中直接將原始圖像輸入到SCSNN中與卷積核進行卷積，然后在突觸后神經元膜電位中累積電壓。當膜電位超過閾值 V th 時，突觸后神經元就會發放脈沖，再回落到靜息電位（ V reset=0 ）；否則，直接泄露到下一個時間步長中。為了實現該過程，本文采用IF神經元模型。

首先，采用離散的時間步長對該過程的前向傳播中脈沖神經元內部進行時間上層間交互，通過對神經元模型和卷積層的分析，將式（2）改寫為

V t=V t-1（1-S t-1）+X t ""（8）

S t= "1 V t≥V th

0 "otherwise """（9）

其中：膜電位 V t 取決于前一時間的膜電位 V t-1 、脈沖發放狀態 S t-1 以及外部輸入 X t 。

1.4 全連接層實現分類

通過卷積層的操作得到若干特征點陣圖，隨著時間一步一步輸入到全連接層進行最后分類操作。在本層設計中應用LIF神經元模型。由于LIF模型內部結構復雜，與現在的深度學習框架不兼容，通過使用離散的差分方程來近似連續的微分方程，使得LIF可用于深度學習框架：

V t=f（V t-1，I t）=V t-1+ 1 τ m （-（V t-1-V reset）+X t） ""（10）

在全連接層，由式（10）可知，對于下一層，突觸后脈沖的和等于突觸前脈沖序列的和，同時在最后一層中，加權的脈沖會累積在膜電位中并隨時間衰減。在最后一個時間步，累積的膜電位除以總時間步數 T 以量化輸出分布：

output= VL（t） T """（11）

其中： T 表示仿真時長； VL（t） 表示最后一層的膜電位。將式（11）中的量化輸出值最大的神經元對應的類別作為輸入圖像的標簽。

1.5 梯度替代反向傳播

將損失函數定義為目標標簽與所提網絡預測的輸出之間的差異（平方誤差和），如式（12）所示。

E= 1 2 ∑ n j=1 e2 j，e j=output j-label j ""（12）

其中： e j 是每個輸出神經元的預測誤差，通過將輸出分布 output j 與所呈現的輸入圖像的期望目標標記 label j 進行比較來評估。采用替代反向傳播計算損失函數的梯度，輸入數據前向傳播到最后一層，然后在最后一層計算損失函數的梯度，該梯度通過隱含層一直反向傳播到輸入層，使用遞歸鏈規則，如式（13）所示。

E "ω = "E "output j """output j "a LIF """a LIF "net """net "ω """（13）

最后一層梯度為

E "output j = """output j （ 1 2 ∑ n j=1 （output j-label j）2）=output j-label j=e j "（14）

最后一層的梯度通過遞歸鏈規則反向傳播計算代價函數對整個網絡參數的梯度。在梯度反向傳播中發現梯度 ""a LIF "net "無法計算，因為神經元模型式（4）和（9）不可微，即不能直接通過反向傳播、梯度下降的方式來訓練SCSNN模型，所以采用梯度替代的方式來解決該問題。本文選用了兩種特定函數的導數來替代脈沖階躍函數式（4）（9）的導數，所選用的兩種函數分別為

f 1（x）= 1 "π arctan（ π 2 "αx）+ 1 2 """（15）

f 2（x）= 1 "1+e -αx nbsp;""（16）

其中： f 1（x）和f 2（x） 分別為反切（Atan）和sigmoid函數，對應的反向傳播梯度函數為

f 1′（x）= α 2（1+（ "π 2 "αx）2） ，f 2′（x）= α e -αx （1+ e -αx）2 """（17）

其中： α 可以控制函數的平滑程度， α 越大越逼近 S t ，但越容易在靠近 x =0時梯度爆炸；遠離 x =0時則容易梯度消失，導致網絡也會越難以訓練。圖3（a）展示了脈沖活動的階躍函數曲線和它的兩種逼近函數的曲線，可以看出，Atan函數在0點更逼近階躍函數；圖3（b）描述了這兩種替代函數的梯度曲線，Atan函數的梯度更陡。本文將在實驗部分進一步比較不同的替代梯度對網絡分類性能的影響。

2 實驗分析

2.1 實驗設置

本文提出的SCSNN在Python上實現。環境搭建在PyTorch框架下，網絡的權重由PyTorch的默認方法隨機初始化。此外，網絡采用dropout策略，將全連接層的隱含層30%的節點輸出隨機置0，防止過擬合；同時在網絡訓練時采用批量標準化（batch normalization，BN）的方法對每層的輸出規范化其均值和方差，防止梯度消失、梯度爆炸和網絡退化。

本文采用MNIST［23～25］和Fashion-MNIST［26］兩個靜態圖像數據集驗證該自適應編碼脈沖神經網絡訓練方法的有效性。其中，MNIST數據集是由大小為28×28的手寫數字組成，Fashion-MNIST數據集是由大小為28×28的更加具象化的人類必需品（服裝）灰度圖像組成。為了直接與現有方法作對比，本文只采用給定的訓練樣本集對網絡進行訓練，采用給定的測試樣本集進行分類得到其分類精度。

2.2 訓練結果

2.2.1 卷積編碼過程

對本文中卷積編碼層在MNIST和Fashion數據集上驗證SCSNN模型，結果如圖4所示。將原始圖像4（a）（d）輸入到自編碼器中，第一次編碼結果如圖4（b）（e）所示，基本能編碼部分信息，經過八次卷積累積后的結果如圖4（c）（f）所示。 編碼器的累計輸出脈沖 ∑ tS t 非常接近原圖像的輪廓，表明這種帶有卷積層的自適應編碼方式具有很強的編碼能力，能直接將原始圖像輸入到整個網絡模型中，以便后面進行全連接層的分類。

本文對原始圖像輸入和經過泊松編碼輸入的卷積層輸出作一比較，結果如圖5所示。從圖5中可以看到，（a）中原始圖像經過卷積后輸出的點陣圖能比較明顯地顯示數字“8”的輪廓，（b）中經過泊松編碼后的卷積輸出有部分點陣圖存在消失的問題，證明了本文提出的原始圖像直接輸入的自適應編碼方法具有一定的效果。

2.2.2 不同替代梯度對訓練結果的影響分析

在本節中對引入的兩種不同的近似梯度函數對SCSNN模型訓練的影響進行分析比較，以設計更加魯棒、 高效的系統。以MNIST和Fashion-MNIST數據集的訓練過程為例，圖6中展示了基于不同近似導數訓練過程的準確率變化曲線。其中，sigmoid和Atan函數中時間步長 T =8，參數 α =4.0。從圖6可以看到，雖然兩種近似導數都能在 epoch =30次后達到很好的收斂效果，但與sigmoid函數相比，Atan的導函數在兩個數據集上都取得了更好的識別性能，穩定性也相對更好。這可能是由于Atan的函數曲線更加接近于階躍函數，更有利于模擬其非線性特性；與此同時，Atan導數計算速度更快，更有利網絡的訓練。本文后續實驗采用Atan導數替代。

2.2.3 時間步長對模型性能的影響分析

脈沖神經網絡采用脈沖事件（由0或1 組成）來表征和傳遞信息，神經元會在時間上累積上游神經元傳遞來的信息，以觸發脈沖事件，向下游神經元傳遞信息，因此，累積信息的時間步長對于模型的性能具有一定的影響。如果時間步長太小， IF神經元和LIF神經元的累積和不足以產生輸出脈沖，SNN將不能接收到足夠的信息用于訓練或推斷；相反，較大的時間步長雖然會減少簡單網絡的隨機性，消除噪聲和不精確性，但需要以高延遲和高功耗為代價。因此，需要在訓練中確定最佳時間步長以優化模型訓練的效果和功耗，使得訓練效果在盡可能好的情況下能耗更低。下面將詳細分析時間步長 T 對本文所提模型的影響。

由于采用的是自適應編碼方法，所需時間步長不需要像泊松編碼一樣那樣大，只需要從個位數開始實驗。首先，對MNIST數據集進行訓練，過程和結果如圖7（a） 所示。可以發現，當 T =2時，測試集分類正確率振蕩較大，在迭代次數達到70時也沒有收斂到一個穩定的點；當 T =4時，隨著迭代次數的增加，網絡學習越來越好，基本上收斂到一個穩定值；在 T =6～12個時間步長時， 網絡的收斂性更好；在 T =8時，網絡訓練的迭代次數從30次開始已經接近完全飽和，收斂較為快速；當 T 進一步增加到12時，網絡訓練效果并沒有明顯的改善。本文在Fashion-MNIST數據集中觀察到了類似的趨勢，如圖7（b）所示。因此，8～10個時間步長是最佳時間步長。

2.2.4 與當前算法的識別結果比較

將本文所提模型在MNIST和Fashion-MNIST數據集上與當前較新的SNN進行比較。本文所提方法的超參數，包括時間步長、批量大小、學習速率等，如表1所示。其中，時間步長 T 是根據2.2.2節得到的，在保證魯棒性和測試準確性盡可能好的情況下能耗更低；本文中其余超參數大小是在實際實驗過程中估計出來的。可以看出，兩種數據集超參數基本一致，具有一定的適應性，不會隨著樣本的改變而重新調超參數，對比方法的正確率摘自其對應原文獻。

表2給出了MNIST數據集上不同SNN的分類正確率。結果表明，SCSNN在MNIST上的分類正確率為99.62%，與其他七個主流算法相比達到了目前的最好性能。將SCSNN在Fashion-MNIST數據集上與其他幾個算法進行性能比較，結果如表3所示。可以看出，SCSNN在Fashion-MNIST上比當前其他算法性能都更好，取得了目前最高的識別精度，高達93.52%，比第二名 LISNN算法提高了1.45%。兩種數據集測試結果SCSNN都達到了對比模型中的最好性能，應該歸功于SCSNN的網絡設計、自適應編碼方式以及所采用的反向傳播替代函數。

3 結束語

本文主要是從視覺神經系統的神經元活動機制出發，借鑒了傳統的CNN，將初始層作為一種自適應編碼器，避免了現有脈沖神經網絡預編碼過程中的信息損失。本文提出的SCSNN采用積分發放神經元模型與漏電積分發放神經元模型來構建脈沖神經網絡的卷積層和全連接層，采用反向梯度替代的方法來訓練整個模型。SCSNN模型在MNIST和Fashion-MNIST數據集上取得了與當前較優性能算法相媲美的識別結果；與其他使用泊松編碼的SNN模型相比，本文所提的模型仿真時長 T 更小，迭代次數更少、收斂更快。雖然提出的SCSNN具有較好的仿真結果，但是所提出的模型如何能更符合人腦機制、更有利于探索大腦活動以及如何在減少迭代次數的同時提高準確率和魯棒性，這都將是下一步的研究方向。

參考文獻：

［1］ "曾毅，劉成林，譚鐵牛.類腦智能研究的回顧與展望［J］.計算機學報，2016， 39 （1）：212-222. （Zeng Yi，Liu Chenglin，Tan Tieniu.Retrospect and outlook of brain-inspired intelligence research［J］. Chinese Journal of Computers ，2016， 39 （1）：212-222.）

［2］ 陳國軍，藺想紅，王國恩，等.一種脈沖神經元監督學習的直接計算方法［J］.電子學報，2021， 49 （2）：331-337. （Chen Guojun，Lin Xianghong，Wang Guo’en， et al .A direct computation method of supervised learning for spiking neurons［J］. Acta Electronica Sinica ，2021， 49 （2）：331-337.）

［3］ Ghosh-Dastidar S，Adeli H.Spiking neural networks［J］. Interna-tional Journal of Neural Systems ，2009， 19 （4）：295-308.

［4］ Hu Jun，Tang Huajin，Tan K C， et al .How the brain formulates memory：a spatio-temporal model research frontier［J］. IEEE Computa-tional Intelligence Magazine， 2016， 11 （2）：56-68.

［5］ Pfeiffer M，Pfeil T.Deep learning with spiking neurons：opportunities and challenges［J/OL］. Frontiers in Neuroscience .（2018-10-25）.https：//doi.org/10.3389/fnins.2018.00774.

［6］ "Bi G Q，Poo M M.Synaptic modifications in cultured hippocampal neurons：dependence on spike timing，synaptic strength，and postsynaptic cell type［J］. Journal of Neuroscience ，1998， 18 （24）：10464-10472.

［7］ Diehl P U，Cook M.Unsupervised learning of digit recognition using spike-timing-dependent plasticity［J/OL］. Frontiers in Computational Neuroscience .（2015-08-03）.https：//doi.org/10.3389/fncom.2015.00099.

［8］ Hu Zhanhao，Wang Tao，Hu Xiaolin.An STDP-based supervised learning algorithm for spiking neural networks［C］//Proc of the 24th International Conference on Neural Information Processing.Cham：Springer，2017：92-100.

［9］ Woniak S，Pantazi A，Bohnstingl T， et al .Deep learning incorporating biologically-inspired neural dynamics［J］. Nature Machine Intelligence， 2020， 2 ：325-336.

［10］ Wu Yujie，Deng Lei，Li Guoqi， et al .Spatio-temporal backpropagation for training high-performance spiking neural networks［J］. Frontiers in Neuroscience ，2018， 12 （5）：article No.331.

［11］ 王清華，王麗娜，徐頌.融合LSTM結構的脈沖神經網絡模型研究與應用［J］.計算機應用研究，2021， 38 （5）：1381-1386. （Wang Qinghua，Wang Lina，Xu Song.Research and application of spiking neural network model based on LSTM structure［J］. Application Research of Computers ，2021， 38 （5）：1381-1386.）

［12］ Xu Qi，Qi Yu，Yu Hang， et al .CSNN：an augmented spiking based framework with perceptron-inception［C］//Proc of the 27th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2018：1646-1652.

［13］ Wu Yujie，Deng Lei，Li Guoqi， et al .Direct training for spiking neural networks：faster，larger，better［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press.2019：1311-1318.

［14］ Kheradpisheh S R，Ganjtabesh M，Thorpe S J， et al .STDP-based spiking deep convolutional neural networks for object recognition［J］. Neural Networks， 2018， 99 （3）：56-67.

［15］ Mostafa H.Supervised learning based on temporal coding in spiking neural networks［J］. IEEE Trans on Neural Networks and Lear-ning Systems， 2018， 29 （7）：3227-3235.

［16］ Panda P，Roy K.Unsupervised regenerative learning of hierarchical features in spiking deep networks for object recognition［C］//Proc of International Joint Conference on Neural Networks.Piscataway，NJ：IEEE Press，2016：299-306.

［17］ Cheng Xiang，Hao Yunzhe，Xu Jiaming， et al .LISNN：improving spiking neural networks with lateral interactions for robust object recognition［C］//Proc of the 29th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：1519-1525.

［18］ Comsa I M，Potempa K，Versari L， et al .Temporal coding in spiking neural networks with alpha synaptic function［C］//Proc of IEEE International Conference on Acoustics，Speech and Signal Processing.Piscataway，NJ：IEEE Press，2020.

［19］ Zhang Lei，Zhou Shengyuan，Zhi Tian， et al .TDSNN：from deep neural networks to deep spike neural networks with temporal-coding［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：1319-1326.

［20］ Jin Yingyezhe，Zhang Wenrui，Li Peng.Hybrid macro/micro level backpropagation for training deep spiking neural networks［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：7005-7015.

［21］ Jolivet R，Lewis T J，Gerstner W.Generalized integrate-and-fire mo-dels of neuronal activity approximate spike trains of a detailed model to a high degree of accuracy［J］. Journal of Neurophysiology ，2004， 92 （2）：959-976.

［22］ Brunel N，Hakim V.Neuronal dynamics［M］//Encyclopedia of Complexity and Systems Science.New York：Springer，2009：6099-6116.

［23］ LeCun Y，Bottou L，Bengio Y， et al .Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86 （11）：2278-2324.

［24］ 曾文獻，孟慶林，郭兆坤.基于深度卷積自編碼神經網絡的手寫數字識別研究［J］.計算機應用研究，2020， 37 （4）：1239-1243. （Zeng Wenxian，Meng Qinglin，Guo Zhaokun.Research on handwritten digit recognition based on deep convolution self-coded neural network［J］. Application Research of Computers ，2020， 37 （4）：1239-1243.）

［25］ 任曉奎，丁鑫，陶志勇，等.基于多分類器的無分割手寫數字字符串識別算法［J］.計算機應用研究，2020， 37 （7）：2222-2226. （Ren Xiaokui，Ding Xin，Tao Zhiyong， et al .Undivided handwritten number string recognition algorithm based on multiple classifiers［J］. Application Research of Computers ，2020， 37 （7）：2222-2226.）

［26］ 陳麗麗，韓潤萍.基于卷積神經網絡的服飾圖像分類［J］.北京服裝學院學報：自然科學版，2018， 38 （4）：31-36，58. （Chen Lili，Han Runping.Clothing image classification based on convolutional neural network［J］. Journal of Beijing Institute of Clothing Technology， 2018， 38 （4）：31-36，58.）

［27］ Lee J H，Delbruck T，Pfeiffer M.Training deep spiking neural networks using backpropagation［J］. Frontiers in Neuroscience ，2016， 10 （11）：DOI：10.3389/fnins.2016.00508.

［28］ Shrestha S B，Orchard G.SLAYER：spike layer error reassignment in time［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：1419-1428.

［29］ Zhang Wenrui，Li Peng.Spike-train level backpropagation for training deep recurrent spiking neural networks［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2019：7800-7811.

［30］ "Orchard G，Jayawant A，Cohen G K， et al .Converting static image datasets to spiking neuromorphic datasets using saccades［J］. Frontiers in Neuroscience， 2015， 9 （11）：DOI：10.3389/fnins.2015.00437.

［31］ Agarap A F.Deep learning using rectified linear units（ReLU）［EB/OL］. （2019-02-07）.https：//arxiv.org/pdf/1803.08375.pdf.