多突觸連接脈沖神經元的突觸延遲在線監督學習算法

關鍵詞：脈沖神經網絡；在線監督學習；突觸延遲學習；多突觸連接中圖分類號：TP183 文獻標志碼：A 文章編號：1001-3695（2025）08-023-2421-07doi：10.19734/j.issn.1001-3695.2024.11.0496

Online supervised learning algorithm for synaptic delays of spiking neurons with multiple synaptic connections

Wang Xiangwen ^1，2? ，Zou Li3，Fan Jingxing1 （1.CollegeofforationineringsMalUersityHu7O;2CgefputerecE ginering，stlUsito；ralelicalical Equipment Center，Lanzhou 730020，China）

Abstract：Neuroscience studies haveshown thatsynapticdelay playsa positiverole in neural information procesing，and multiple synapticconnectionsare widelydistributed inthenervous system.However，mostof thecurrnt spiking neuralnetworksare modeled withasinglesynapticconnectionmode，andtheinfluenceof synapticdelayisnotfullconsidered in the designofsupervised learningalgorithms，whichlimitstheirpotentialperformance.Thispaperconstructedanetworkof spiking neurons with multiplesynapticconnections，and proposed abiologicallplausibleonlinesupervisedlearning algorithmtosimultaneouslyoptimize thesynapticweightsand synaptic delaysof spiking neurons.Thealgorithmconstructedareal-time error functionusingthekernelfunctionrepresentationofspiketrains，andderivedreal-time updaterulesforsynaptic weightsand synapticdelaysusingthegradientdescent method.Theresultsof spiketrainlearning and nonlinear paternclasificationtasks showthatthedynamicsynapticdelaylearning algorithmhashigherlearningaccuracyandrequires fewerlearming epochs than the static synapticdelaylearning algorithm，andthe learning acuracyof multiple synapticconnectionsis higher thanthatof singlesynapticconnections.Itcanbeseenthatthe synapticdelayplasticityand multiple synapticconnection modecaeffectively improve the learning performance of spiking neural networks.

Key words：spiking neural network（SNN）；online supervised learning;synaptic delay learning;multiple synaptic connections

0 引言

脈沖神經網絡（SNN）是一種生物神經系統啟發的新一代人工神經網絡模型，具有較強的生物可解釋性。相較于采用頻率編碼的傳統人工神經網絡，脈沖神經網絡采用精確定時的脈沖序列編碼和傳遞神經信息，具有更高的能量效率[1]。脈沖神經網絡已經成為類腦人工智能領域的研究熱點之一，并且在模式識別應用及硬件實現等方面取得了許多突破性的進展。

監督學習是脈沖神經網絡研究中的核心內容之一，通常通過信息前向傳播及誤差反向傳播來實現。目前，研究者已經提出了大量的脈沖神經網絡監督學習算法，但是這些算法在學習性能及其在真實世界模式識別應用等方面還需要進一步深入研究。

傳統的脈沖神經網絡監督學習主要集中在突觸連接強度（即突觸權值）可塑性方面，突觸延遲可塑性常被忽略，或者在學習過程中將突觸延遲看作是靜態不變的。研究者應用不同的學習機制提出了較多的突觸權值監督學習算法，文獻[2，3]對這些算法進行了詳細的綜述。近年來，脈沖神經網絡突觸可塑性的研究逐漸由權值可塑性轉向了權值和延遲協同可塑性方面的研究。突觸延遲可塑性是指突觸傳遞信息時的時間延遲（即突觸延遲）可以通過一定的機制進行調整的特性。突觸延遲可塑性是突觸可塑性的一種表現形式，與突觸權值可塑性類似，但關注的是時間維度的變化。突觸延遲的變化可能受到多種因素的影響，如突觸前神經元的神經遞質釋放、突觸后神經元的數量、類型及受體表達，以及突觸間隙中的離子濃度等電生理特性等[4]。突觸延遲可塑性的研究對于理解神經系統的信息處理機制及學習記憶過程等方面具有重要意義。

近年來，研究者借鑒脈沖神經網絡的突觸權值監督學習算法，提出了一些脈沖神經元的突觸延遲監督學習算法。Taherkhani等人[5]在ReSuMe算法[的基礎上引人動態突觸延遲，提出了基于ReSuMe的突觸延遲學習算法DL-ReSuMe，提高了原始算法的學習準確性和學習速度。Guo等人[]在ReSuMe算法[]的基礎上引入了突觸延遲和軸突延遲，提出了一種可以動態調整突觸延遲和軸突延遲的脈沖神經元監督學習算法CCDS，并應用于癲癇EEG數據分類問題。文獻[8]應用脈沖序列的內積計算提出了一種單突觸脈沖神經元的突觸延遲離線監督學習算法DLSTKLR，在模式識別實驗中取得了理想的學習效果。楊靜等人[9提出了一種基于梯度下降的突觸延遲學習算法，能夠提高神經元學習復雜脈沖序列的能力，并且收斂速度較快。Zhang等人[1o]應用突觸前和突觸后脈沖的時序關系提出了一種突觸延遲可塑性機制，并將其應用于ReSuMe[6]和PBSNLR算法[1]，改進了原始算法的學習性能。Yu等人將突觸延遲引入他們的閾值驅動可塑性算法TDP[12]中，并提出了延遲學習算法 TDP-DL[13]，提高了原始算法的性能。Luo等人在他們提出的FE-Learn算法[14]的基礎上，應用梯度下降方法推導了突觸延遲學習算法Delay-FE[15]，在UCI數據集上得到了比FE-Learn更高的分類準確率。近年來研究者也提出了一些面向多層前饋脈沖神經網絡的突觸延遲學習算法，并將其應用于復雜模式識別問題[16～20]。目前，關于突觸延遲學習的研究還相對較少，許多機制和功能尚未得到充分的理解。因此，有必要設計高效的脈沖神經網絡突觸延遲學習算法，為進一步深入探索突觸延遲可塑性的神經機制和應用價值提供便利。

脈沖神經網絡通常有離線學習（offlinelearning）和在線學習（onlinelearning），它們在更新網絡的可學習參數（突觸權值、突觸延遲等）的方式上有所不同[21]。在離線學習中，網絡的可學習參數通常在一個完整的學習周期之后進行更新。也就是說，在學習過程中，將每個訓練樣本編碼成脈沖序列并輸入至網絡，在一個完整的學習周期之后，根據實際輸出脈沖序列與對應的期望輸出脈沖序列計算誤差函數，并根據可學習參數的更新規則一次性地更新所有的可學習參數。在線學習是一種實時更新的學習策略，允許網絡在一次學習周期中進行多次參數更新。具體來說，在一個學習周期中，一旦輸出層神經元發放一個脈沖，或者遇到一個期望輸出脈沖，網絡便會立即計算損失函數，并根據可學習參數的更新規則立即更新網絡的可學習參數。這意味著在線學習模型能夠持續地從輸入脈沖序列中學習并適應數據分布的變化。在脈沖神經網絡中，支持在線學習的算法能夠使網絡在保持較低計算成本的同時快速適應新的輸人數據，并更新其內部參數。在線學習算法通常具有較低的復雜度和較快的計算速度，在處理大規模實時數據流（如傳感器數據、時間序列數據等）或實時應用時特別有用[22]。因此，設計具有在線學習能力的脈沖神經網絡監督學習算法具有重要意義。

在生物神經系統中，神經信息通常是從突觸前神經元經過多個突觸連接傳遞到突觸后神經元，而不是直接通過單一的突觸進行傳遞。這種多突觸連接模式在大腦皮層等復雜神經系統中普遍存在。在多突觸連接中，突觸前神經元的軸突可以通過多個突觸與突觸后神經元的樹突或胞體相連。由于存在多個突觸，一個神經元的信號可以通過多個不同的路徑和強度傳遞給另一個神經元。這種多突觸連接模式增加了神經信號傳遞的復雜性和多樣性。它允許神經元對輸入信息進行更精細的加工和處理，因為每個突觸都可能對神經信息產生不同的影響，如增強、減弱或改變信息的性質[23]。此外，多突觸連接還增強了神經系統的可塑性，因為突觸連接的數量和強度可以根據經驗和學習進行改變。所以，構建突觸前和突觸后神經元之間具有多突觸連接的脈沖神經網絡模型，并設計相應的監督學習算法，是研究高性能脈沖神經網絡學習系統的一種有效途徑。

針對脈沖神經網絡大多采用單突觸連接建模以及在線突觸延遲監督學習算法研究不足的問題，本文應用脈沖序列的核函數表示，提出了多突觸連接脈沖神經元的突觸延遲在線監督學習算法。該算法具有以下特點：a）同時考慮了生物神經系統的突觸權值可塑性和突觸延遲可塑性機制，能夠在學習過程中動態地調整突觸權值和突觸延遲；b）突觸權值和突觸延遲的學習規則僅與精確定時編碼的脈沖序列相關，而與具體的神經元模型無關，因此適用于各種脈沖神經元模型；c）具有在線學習能力，在學習過程中根據網絡的輸出實時計算網絡誤差并更新網絡可學習參數，加快了算法的收斂速度;d）突觸前和突觸后神經元之間具有多個突觸連接，能夠對輸人信息進行更精細的加工和處理，實現了脈沖序列復雜時空模式的學習。

1脈沖序列與脈沖神經元

1.1脈沖序列及其核函數表示

脈沖序列是指脈沖神經元在模擬時間區間 T 內發放脈沖的事件集合，通常用1表示神經元在該時刻發放了一個脈沖，用0表示神經元沒有發放脈沖。對于輸入脈沖序列，考慮了脈沖事件傳播的突觸延遲。因此，輸入神經元 i 經過它的第 k 個突觸傳遞的脈沖序列可以形式化地定義為[2]

其中： σ_：s=t-t_i^f-d_i^k（σ_t） t_i^f 表示第 f 個輸入脈沖； N_i 表示輸入脈沖序列中的脈沖總數； 表示第 k 個突觸的延遲； δ（s） 為Dirac函數，當 s=0 時 δ（s）=1 ，否則 δ（s）=0 。

核方法是求解非線性模式分類問題的一種常用方法，其核心思想是通過核函數的非線性映射將原始數據嵌人到適當的高維特征空間中，發現和學習一組數據中的相互關系。由于脈沖序列是離散時間的集合，為了便于分析和計算，選擇一個特定的核函數 κ（t） ，通過卷積計算將脈沖序列 s（t） 唯一地轉換為連續函數。經過核函數變換，對應于輸入脈沖序列 s_i（t- d_i^k（t） ）實際輸出脈沖序列 s_o（t） 和期望輸出脈沖序列 s_d（t） 的連續函數 和 f_sd（t） 可以表示為[8]

其中： ? 表示卷積計算； t_o^h 和 t_d^g 分別是脈沖序列 s_o（t） 和 s_d（t） 的脈沖時間； N_o 和 N_d 分別是 s_o（t） 和 s_d（t） 中的脈沖總數。

為了分析突觸前和突觸后脈沖序列之間的關系，采用線性非線性泊松（linear-nonlinear Poisson，LNP）模型[24]，將突觸后神經元的脈沖活動定義為突觸前神經元神經活動的線性加權和。因此，突觸前和突觸后脈沖序列之間的關系可以形式化地表示如下[3]：

其中： }.N_I 和 N_s 分別表示突觸前神經元數量和突觸連接數量；權值 w_i^k 表示突觸前神經元 i 與突觸后神經元之間的第 k 個突觸的連接強度。這種脈沖序列的核函數表示以及突觸前和突觸后脈沖序列之間的線性關系已被廣泛應用于脈沖神經網絡監督學習算法的設計[25～29]

1.2長時程記憶脈沖響應模型

長時程記憶脈沖響應模型（long-termmemoryspikere-sponsemodel）的膜電位具有解析表達式，被廣泛應用于脈沖神經網絡模擬及其監督學習算法設計[30]。在該模型中，當突觸后神經元在給定的時間區間內發放多個脈沖，這些脈沖對不應期的影響可以疊加，具有長時程記憶功能。當前模擬時間之前的多個突觸后脈沖的組合效應可以使神經元表現出脈沖頻率自適應和內稟簇放電等生物學特性，因此長時程記憶脈沖響應模型具有生物可解釋性[31]

假設突觸后神經元 σ_o 連接到 N_I 個突觸前神經元，并且該神經元和每個突觸前神經元 i 之間存在 N_s 個突觸連接，則神經元 σ_o 在時間 Φ_t 的膜電位 u_o（t） 可以計算如下：

其中： w_i^k 表示神經元 i 和 σ_o 之間的第 k 個突觸的權值； t_o^h 表示神經元 σ_o 發放的第 h 個脈沖； N_o 表示在當前時間 χ_t 之前神經元σ_o 發放的脈沖總數。當神經元 σ_o 接收到突觸前神經元的脈沖時，其膜電位 u_o 將逐漸增大。當 u_o 達到脈沖發放閾值 θ 時，該神經元將發放一個脈沖 t_o^h ，其脈沖發放機制可以表示如下：

當神經元 σ_o 發放一個脈沖 t_o^h 后，其膜電位 u_o 將迅速降低至恢復電位。此時，該神經元在較短時間內將很難再發放脈沖，這個時間段稱為不應期（refractoryperiod）。

在長時程記憶脈沖響應模型的神經元膜電位表達式中，脈沖響應函數 ε（s） 描述了突觸前脈沖對突觸后神經元膜電位的影響，其表達式如下：

其中： ?H（s） 為Heaviside函數，當 sgt;0 時 H（s）=1 ，否則 H（s）= 0 不應期函數 ρ（t-t_o^h） 描述了突觸后脈沖對當前神經元膜電位的影響，其表達式如下：

其中： τ 和 τ_R 均為時間常量。

2脈沖神經元的在線監督學習算法

2.1 實時誤差函數

設計脈沖神經網絡監督學習算法的關鍵是應用梯度下降等優化方法構造突觸權值改變量 Δw（t） 和突觸延遲改變量Δd（t） 的計算方法，其重要前提是根據網絡的實際輸出脈沖序列和期望輸出脈沖序列定義網絡誤差函數。在脈沖神經網絡的在線學習場景中，當輸出層神經元發放一個脈沖，或者遇到一個期望輸出脈沖，網絡就需要更新它的可學習參數，因此需要定義實時誤差函數。需要注意的是，這里的實時指的是脈沖事件發生的時刻，而不是每個模擬時刻。應用實際輸出脈沖序列和期望輸出脈沖序列的核函數表示，將誤差函數定義如下：

在脈沖神經網絡的監督學習過程中，期望輸出脈沖序列是在網絡學習之前定義好的，而實際輸出脈沖序列是在網絡運行過程中根據輸入脈沖序列和神經元的內部狀態計算得到的。圖1所示為脈沖神經元的在線監督學習過程。當輸出層神經元發放一個脈沖 t_o¹ 或遇到一個期望輸出脈沖 t_d¹ ，立即計算網絡誤差 E（t） ，進一步應用梯度下降規則分別計算權值改變量Δw（t） 和延遲改變量 Δd（t） ，并更新網絡的權值和延遲。更新后的權值 w（t）_new=w（t）_old+Δw（t） 和延遲 Δd（t） 將用于下一時刻的模擬，直到遇到新的實際輸出脈沖或期望輸出脈沖。

2.2突觸權值的在線學習規則

應用梯度下降方法推導突觸權值的在線學習規則，用于實時更新脈沖神經網絡的突觸權值。突觸前神經元 i 的第 k 個突觸權值在 χ_t 時刻的改變量 Δw_i^k（t） 可以計算為由突觸權值學習率 η_w 縮放的誤差函數對當前突觸權值的梯度：

根據式（10）定義的誤差函數，式（11）右邊的第一個偏導項可以計算如下：

根據式（5）定義的突觸前和突觸后脈沖序列之間的線性關系，式（11）右邊的第二個偏導項可以計算如下：

將式（12）（13）代入式（11），可得突觸權值的在線學習規則，表示如下：

2.3突觸延遲的在線學習規則

與突觸權值學習規則的推導類似，應用梯度下降方法推導突觸延遲的在線學習規則，用于實時更新脈沖神經網絡的突觸延遲。突觸前神經元 χ_i 的第 k 個突觸的延遲在 χ_t 時刻的改變量Δd_i^k（t） 可以計算為由突觸延遲學習率 η_d 縮放的誤差函數對當前突觸延遲的梯度：

式（15）右邊的第一個偏導項可根據式（12）計算。根據式（5）（2），式（15）右邊的第二個偏導項可以計算如下：

采用不同的核函數，式（16）中核函數 κ（s） 對突觸延遲d_i^k（α_t） 的偏導的解析表達式都不相同。理論上，具有對稱性和正定性的核函數均可使用[32]。為了簡單起見，采用拉普拉斯核函數，其表達式定義如下：

該核函數具有求導不變性，廣泛應用于脈沖序列的核函數變換 [18～20] 。因此，式（16）右邊的偏導項可以計算為

將式（13）（16）（18）代入式（15），可得突觸延遲的在線學習規則，表示如下：

由于式（19）中的 η_d，τ_k，η_w 都是網絡訓練之前設定的常數，為了簡單起見，作如下假設：

這樣，突觸延遲的在線學習規則可以表示如下：

Δd_i^k（t）=η_dw_i^k（t）Δw_i^k（t）

2.4突觸權值-突觸延遲在線學習算法

算法1表示采用提出的突觸權值-突觸延遲在線監督學習算法訓練具有多突觸連接的脈沖神經元網絡的過程。首先，初始化脈沖神經網絡的所有參數，包括脈沖神經元模型及其參數、輸入和期望輸出脈沖序列、突觸權值和突觸延遲等。其次，根據輸入脈沖序列和脈沖神經元模型計算網絡的實際輸出脈沖序列，并根據實際輸出和期望輸出脈沖序列計算網絡的實時誤差。最后，根據提出的突觸權值和突觸延遲更新規則實時調整所有突觸的權值和延遲。重復這個學習過程，直到網絡誤差為0或達到最大學習周期，則訓練過程結束。

算法1脈沖神經元的突觸權值-延遲在線監督學習算

輸入：訓練前的脈沖神經網絡。

輸出：訓練后的脈沖神經網絡。

構建具有多突觸連接的脈沖神經元網絡

初始化突觸權值 w_i^k 和突觸延遲 d_i^k

初始化輸入脈沖序列 s_i（t-d_i^k（t） ）和期望輸出脈沖序列 s_d（t）

根據式（2）計算 f_si（t-d_i^k（t） ）

根據式（4）計算 f_sd（t） （20號

repeatfor t1 to T for所有輸入神經元do將 s_i（t-d_i^k（t） ）輸入脈沖神經元網絡end forfor所有輸出神經元do計算輸出脈沖序列 s_o（t） 根據式（3）計算 f_so（t） 根據式（10）計算網絡實時誤差 E（t） （20號end for

道 t==t_o^h∨t==t_d^g thenfor所有突觸連接do根據式（14）計算 Δw_i^k（t） 根據式（21）計算 Δd_i^k（t） end forend ifend foruntil網絡誤差為0或達到最大學習周期

3 實驗結果

3.1 脈沖序列學習

脈沖神經網絡監督學習的主要任務是通過調整網絡的突觸權值和突觸延遲等可學習參數，使網絡的實際輸出脈沖序列和期望輸出脈沖序列盡可能地相似。因此通過一系列脈沖序列學習實驗來驗證所提算法的學習性能，并分析了突觸權值和突觸延遲的學習率、突觸連接數量、輸入層神經元數量、脈沖發放頻率、脈沖序列長度等重要學習參數對學習算法性能的影響。為了展示突觸延遲對學習算法性能的影響，對比了動態突觸延遲學習算法（即突觸延遲在學習過程中根據所提延遲學習規則動態更新）和靜態突觸延遲學習算法（即突觸延遲在學習過程中保持不變）的性能。在脈沖序列學習實驗中，輸入脈沖序列和期望輸出脈沖序列均為模擬時間區間內通過特定脈沖發放頻率生成的隨機脈沖序列，因此不涉及特定的數據集。

3.1.1 實驗設置

構建了一個由長時程記憶脈沖響應神經元模型構成的單層脈沖神經網絡，其中每個突觸前神經元和每個突觸后神經元之間具有多個突觸連接。脈沖序列學習任務的基準參數如表1所示。采用時鐘驅動模擬策略來執行脈沖序列學習任務，模擬時間步長為 1ms 。輸入脈沖序列和期望輸出脈沖序列均由泊松編碼方法隨機生成，并且設置了相同的脈沖發放頻率。網絡的初始突觸權值和突觸延遲均在指定的區間內隨機生成，所有脈沖序列學習的結果都是重復20次實驗得到的平均值。

表1脈沖序列學習任務的基準參數

Tab.1Reference parameters for spike train learning tasks

所提算法的脈沖序列學習性能通過脈沖序列學習準確率和學習準確率最高時的學習周期來定量評價。脈沖序列學習準確率通過實際輸出脈沖序列和期望輸出脈沖序列之間的相似程度來評價，理論上所有的脈沖序列相似性度量方法均可使用。本文采用基于相關性的度量 C^[33] 來表示脈沖序列學習準確率，這是一種在脈沖神經網絡監督學習算法中廣泛使用的脈沖序列相似性度量方法[7～]。度量 c 的定義如下：

其中： f_so（t），f_sd（t） 表示實際輸出脈沖序列 s_o（t） 和期望輸出脈沖序列 s_d（t） 對應的連續函數 f_so（t） 和 f_sd（t） 的內積; |f_so（t）|= 和 分別表示f_so（t） 和 f_sd（t） 的歐幾里德范數。度量 c 的值越接近1，表示算法學習越準確。學習準確率最高時的學習周期表示算法在得到最大 c 值時所需要的迭代次數，反映了算法的收斂速度和程序運行時間。

3.1.2學習率不同時的學習結果

突觸權值和突觸延遲的學習率是影響脈沖神經網絡監督學習算法性能的重要因素之一，學習率的取值太小或太大均會影響學習算法的性能。第一組脈沖序列學習任務確定使動態突觸延遲學習算法和靜態突觸延遲學習算法性能最佳的突觸權值學習率 η_w 和突觸延遲學習率 η_d ，對應的學習結果分別如圖2、3所示。從圖2（a）的學習準確率 c 可以看出，隨著 η_w 逐漸增大，兩個算法的學習準確率 c 均呈現出先上升后下降的趨勢，這符合學習率對算法性能影響的普遍規律。當 η_?= 0.01時，動態延遲與靜態延遲學習算法均達到了各自最高的學習準確率，分別為0.9827和0.9550。盡管在學習率取值較小或較大的情況下，動態延遲學習算法的準確率略低于靜態延遲學習算法，但當這兩個算法的學習準確率均為最高時，動態延遲學習算法的準確率更高。因此，在后續的脈沖序列學習實驗中，將突觸權值的學習率設定為 η_?w=0.01 。從圖2（b）學習準確率最高時的學習周期可以看出，隨著 η_w 逐漸增大，兩個算法所需要的學習周期都先增大后減小，并且動態突觸延遲學習算法比靜態突觸延遲學習算法需要更少的學習周期。從圖3可以看出，當 η_d 逐漸增大時，動態突觸延遲學習算法的學習準確率 c 和學習周期均在緩慢波動。換句話說，動態突觸延遲學習算法對突觸延遲學習率不敏感，這也是所提算法的優勢之一。因此，在后續的脈沖序列學習實驗中，將突觸延遲的學習率設定為 η_d=5 。

在生物神經系統中，突觸前神經元和突觸后神經元之間的突觸連接的數量通常是不相同的，并且普遍存在多突觸連接的情況。在具體的模式識別任務中，輸入層神經元的數量通常與樣本特征的維度有關。第二組脈沖序列學習任務測試突觸連接數量 N_s 和輸入層神經元數量 N_I 對所提算法學習性能的影響，對應的學習結果分別如圖4、5所示。圖4（a）5（a）分別表示動態突觸延遲學習算法和靜態突觸延遲學習算法在 N_s 和N_t 不同時的學習準確率 C 可以看出，隨著 N_s 和 N_t 逐漸增大，兩個算法的學習準確率都在逐漸升高，并且動態突觸延遲學習算法的學習準確率明顯高于靜態突觸延遲學習算法。此外，兩個算法在多突觸連接（ N_sgt;1 ）場景中的學習準確率明顯高于單突觸連接（ N_s=1 ）。圖4（b）、5（b）所示為兩個算法達到最高學習準確率時所需要的學習周期。可以看出，動態突觸延遲學習算法的學習周期少于靜態突觸延遲學習算法。

3.1.4脈沖序列參數不同時的學習結果

脈沖發放頻率是神經元活動狀態的一個重要標識，而脈沖序列長度是測試脈沖神經網絡在復雜學習場景中學習性能的一個重要指標。第三組脈沖序列學習任務測試輸入和期望輸出脈沖的發放頻率 r 以及脈沖序列長度 T 對所提算法學習性能的影響，對應的學習結果分別如圖6、7所示。圖6（a）、7（a）分別表示動態突觸延遲學習算法和靜態突觸延遲學習算法在r 和 T 不同時的學習準確率 C 可以看出，隨著 r 和 T 逐漸增大，兩個算法的學習準確率都在不同程度地下降，并且動態突觸延遲學習算法的學習準確率高于靜態突觸延遲學習算法。圖6（b）、7（b）所示為兩個算法達到最高學習準確率時所需要的學習周期。可以看出，隨著 r 和 T 逐漸增大，兩個算法的學習周期都在逐漸下降，并且在多數情況下動態突觸延遲學習算法的學習周期少于靜態突觸延遲學習算法。

3.2非線性模式分類

本節實驗通過UCI數據集上的非線性模式分類問題來驗證所提算法的學習性能。選取了WBC和PIMA兩個模式識別領域廣泛使用的醫學數據集，這兩個數據集中樣本的特征數、類別數以及訓練集和測試集中的樣本個數如表2所示。

表2WBC和PIMA數據集介紹Tab.2IntroductiontotheWBCandPIMAdatasets

在基于脈沖神經網絡的模式識別應用中，需要將樣本的屬性值編碼成脈沖序列。本文采用線性編碼方法對樣本進行編碼，這是一種常用的數值型數據的脈沖序列編碼方法[24～27]。首先，根據樣本屬性值的最小值 v_min 和最大值 v_max ，對樣本的每個屬性值 v 進行歸一化處理，即 v=（v-v_min）/（v-v_max） 。然后，根據預設的最小頻率值 f_min 和最大頻率值 f_max ，將歸一化后的屬性值 v 轉換為線性編碼的頻率值 f， 即 f=f_min+（f_max-f_min）× v 最后，根據頻率值 f_i 將每個屬性值編碼成[0，50]ms的脈沖序列，其中相鄰脈沖時間的間隔為 100/f 在線性編碼過程中 I_min 和 f_max 對算法的分類性能有一定的影響，經過多次測驗，在本實驗中將兩個數據集的最小頻率值和最大頻率值均設置為 f_min=5Hz 和 f_max=20Hz 在分類時，網絡的實際輸出脈沖序列與哪一類樣本對應的期望輸出脈沖序列更相似，則認為輸人樣本為哪一類。在本實驗中，兩個數據集的兩類樣本對應的期望輸出脈沖序列均由頻率為 5Hz 和 10Hz 的線性編碼脈沖序列表示。

表3比較了所提方法與一些主流的脈沖神經網絡監督學習算法在WBC和PIMA兩個數據集的訓練集和測試集上的分類準確率，其中所提方法的分類準確率為20次重復實驗的平均值，每次實驗重新隨機初始化網絡參數并重新劃分訓練集與測試集，網絡訓練過程中的最大迭代次數為100。在WBC數據集上，所提算法在測試集上的準確率為 97.4% ，達到了主流算法的最高準確率，但在訓練集上的準確率還有待提高。在PIMA數據集上，所提算法在測試集上的準確率為 71.7% ，低于主流算法的最高準確率 72.3% ，訓練集和測試集上的準確率均有待提高。可以通過增大迭代次數來進一步提高所提算法的分類準確率。總體來看，所提算法能夠通過相對簡單的網絡結構，在較少的迭代次數內達到與其他算法相當的分類準確率，說明所提算法在非線性模式分類問題中是有效的，并且與其他算法相比具有一定的競爭力。此外，動態延遲算法的分類準確率高于靜態延遲算法，并且兩個算法在多突觸連接（ N_s= 5）時的準確率高于單突觸連接（ N_s=1 ），進一步說明引入動態可學習突觸延遲及多突觸連接能夠有效提升脈沖神經網絡的模式分類性能。

表3WBC和PIMA數據集上的分類準確率比較

Tab.3Comparison of classification accuracy on the WBC and PIMA datasets

4結束語

應用脈沖序列的核函數表示，提出了多突觸連接脈沖神經元的突觸權值-延遲在線監督學習算法。通過一系列脈沖序列實驗及兩個UCI數據集上的非線性模式分類任務驗證了所提算法的性能，得出以下結論：a）突觸延遲可塑性能夠使神經元更有效地整合來自不同來源的信息，動態突觸延遲脈沖神經網絡比靜態突觸延遲脈沖神經網絡具有更好的學習性能；b）多突觸連接脈沖神經網絡能夠對輸入信息進行更精細的加工和處理，比單突觸連接脈沖神經網絡具有更好的學習性能。

本文工作的主要不足是提出的突觸權值和突觸延遲監督學習算法僅適用于單層脈沖神經網絡，網絡結構相對簡單，且未將其應用于求解大規模模式識別問題。在未來的研究中，將所提算法推廣至深度前饋脈沖神經網絡和遞歸脈沖神經網絡，探索具有復雜結構的大規模脈沖神經網絡的突觸權值-延遲可塑性方法，并將其應用于真實世界中復雜模式識別問題的求解。

參考文獻：

[1]藺想紅，王向文．脈沖神經網絡原理及應用［M]．北京：科學出 版社，2018.（Lin Xianghong，Wang Xiangwen.Principle and application ofspiking neural network[M]. Beijing：Science Press，

2018.）

[2]Wang Xiangwen，Lin Xianghong，Dang Xiaochao.Supervised learningin spikingneural networks：a review ofalgorithms andevaluations[J].Neural Networks，2020，125：258-280.

[3]Yi Zexiang，Lian Jing，Liu Qidong，et al.Learning rulesin spiking neural networks：a survey[J].Neurocomputing，2023，531：163-179.

[4]Magee JC，Grienberger C.Synaptic plasticity forms and functions [J]. Annual Review of Neuroscience，2020，43： 95-117.

[5]TaherkhaniA，BelatrecheA，LiYuhua，etal.DL-ReSuMe：a delay learning-based remote supervised method for spiking neurons[J]. IEEE Trans on Neural Networks and Learning Systems，2015， 26（12）： 3137-3149.

[6]Ponulak F，Kasinski A. Supervised learning in spiking neural networks with ReSuMe：sequence learning，classification，and spike shifting[J].Neural Computation，2010，22（2）： 467-510.

[7]Guo Lilin，Wang Zhenzhong，Cabrerizo M，et al．A cross-correlated delay shift supervised learning method for spiking neurons with application to interictal spike detection inepilepsy[J].International Journal of Neural Systems，2017，27（3）：1750002.

[8]Wang Xiangwen， Lin Xianghong， Dang Xiaochao. A delay learning algorithm based on spike train kernelsfor spiking neurons[J].Frontiersin Neuroscience，2019，13：252.

[9］楊靜，徐彥，趙欣．帶延遲調整的脈沖神經元梯度下降學習算法 [J]．計算機工程，2019，45（9）：169-175.（Yang Jing，Xu Yan， Zhao Xin. Gradient descent learning algorithm for spiking neuron with delay adjustment[J].Computer Engineering，2019，45（9）： 169-175.）

[10]Zhang Malu，Wu Jibin，Belatreche A，et al. Supervised learning in spiking neural networks with synaptic delay-weight plasticity [J]. Neurocomputing，2020，409：103-118.

[11]Xu Yan，Zeng Xiaoqin，Zhong Shuiming. A new supervised learning algorithm for spiking neurons[J].Neural Computation，2O13，25 （6） ： 1472-1511.

[12]Yu Qiang，Li Haizhou，TanK C.Spike timing or rate？Neurons learn to make decisions for both through threshold-driven plasticity[J]. IEEE Trans on Cybernetics，2019，49（6）： 2178-2189.

[13]Yu Qiang， Gao Jialu，Wei Jianguo，et al. Improving multispike learning with plastic synaptic delays[J].IEEE Trans on Neural Networks and Learning Systems，2023，34（12）：10254-10265.

[14]Luo Xiaoling，Qu Hong，Zhang Yun，et al.First error-based supervised learning algorithm for spiking neural networks[J].Frontiers in Neuroscience，2019，13：559.

[15]Luo Xiaoling，Qu Hong，Wang Yuchen，et al.Supervised learning in multilayer spiking neural networks with spike temporal error backpropagation [J]. IEEE Trans on Neural Networks and Learning Systems，2023，34（12）：10141-10153.

[16]Taherkhani A，Belatreche A，LiYuhua，et al.Asupervised learning algorithm for learning precise timing of multiplespikes in multilayer spiking neural networks [J]. IEEE Trans on Neural Networks and Learning Systems，2018，29（11）： 5394-5407.

[17]Wang Jing. Training multi-layer spiking neural networks with plastic synaptic weightsand delays [J].Frontiers in Neuroscience， 2024，17：1253830.

[18]Deckers L，van Damme L，van Leekwijck W，et al. Co-learning synaptic delays，weights and adaptation in spiking neural networks[J]. Frontiers in Neuroscience，2024，18：1360300.

[19]Hammouamri I，Khalfaoui-Hassani I，Masquelier T. Learning delays in spiking neural networks using dilated convolutions with learnable spacings[EB/OL]. （2023-12-01）.https：//arxiv.org/abs/2306. 17670.

[20]Sun Pengfei，Wu Jibin，Zhang Malu，et al.Delay learning based on temporal coding in spiking neural networks [J]. Neural Networks， 2024，180：106678.

[21]Lin Xianghong，Hu Tiandou，Wang Xiangwen.One-pass online learning based on gradient descent for multilayer spiking neural networks[J]. IEEE Trans on Cognitive and Developmental Systems，2023，15（1）：16-31.

[22]Lobo JL，Del SerJ，Bifet A，et al. Spiking neural networks and online learning：an overview and perspectives [J].Neural Networks， 2020，121：88-100.

[23]Insanally MN，Albanna BF，Toth J，et al. Contributions of cortical neuron firing patterns，synaptic connectivity，and plasticity to task performance[J].NatureCommunications，2024，15（1）：6023.

[24]Lawlor PN，Perich MG，MillerL E，et al.Linear-nonlinear-timewarp-Poisson models of neural activity[J]. Journal of Computational Neuroscience，2018，45（3）：173-191.

[25]葡想紅，王向文，黨小超．基于脈沖序列核的脈沖神經元監督學 習算法［J]．電子學報，2016，44（12）：2877-2886.（Lin Xianghong，Wang Xiangwen，Dang Xiaochao. A new supervised learning algorithm for spiking neurons based on spike train kernels [J]. Acta Electronica Sinica，2016，44（12）：2877-2886.）

[26］藺想紅，李丹，王向文，等．基于脈沖序列合成核的脈沖神經元 在線監督學習算法［J]．計算機工程，2017，43（12）：197-202. （Lin Xianghong，Li Dan，Wang Xiangwen，et al. Online supervised learning algorithm for spiking neuron based on spiking sequence composite kermel[J].Computer Engineering，2017，43（12）：197- 202.）

[27]Lin Xianghong，Wang Xiangwen， Hao Zhanjun. Supervised learning in multilayer spiking neural networks with inner products of spike trains[J].Neurocomputing，2017，237：59-70.

[28]Lin Xianghong，Hu Jia， Zheng Donghao，et al.An online supervised learning algorithm based on feedback alignment for multilayer spiking neural networks[J].Proceedings of the Romanian AcademySeries A，2022，23（2）：187-196.

[29]Lin Xianghong，Pi Xiaomei，Wang Xiangwen.A supervised learning algorithm based on spike train innerproducts forrecurrent spiking neural networks [J]. International Journal of Computing Science and Mathematics，2023，17（4）：309-319.

[30]Lin Xianghong，Zhang Mengwei，Wang Xiangwen. Supervised learning algorithm for multilayer spiking neural networks with long-term memory spike response model[J]. Computational Intelligence and Neuroscience，2021，2021（1）：8592824.

[31]Jolivet R，Timothy J，GerstnerW.The spike response model：a framework to predict neuronal spike trains[C]//Proc of International Conference on Artificial Neural Networks. Berlin：Springer，2003： 846-853.

[32]Park IM，Seth S，Paiva ARC，et al.Kernel methods on spike train space for neuroscience：a tutorial[J]. IEEE Signal Processing Magazine，2013，30（4）：149-160.

[33]Schreiber S，FellousJM，Whitmer D，et al.A new correlation-based measure of spike timing reliability[J]．Neurocomputing，2003， 52：925-931.

[34]DoraS，Subramanian K，SureshS，etal.Development ofa selfregulating evolving spikingneural network for classification problem [J].Neurocomputing，2016，171：1216-1229.

[35]Wang Jinling，Belatreche A，Maguire L P，et al. SpikeTemp： an enhanced rank-order-based learning approach for spiking neural networks with adaptive structure [J]. IEEE Trans on Neural Networks and Learning Systems，2017，28（1）：30-43.

[36]Zhang Malu，Wu Jibin，Chua Y，et al. MPD-AL：an efficient membrane potential driven aggregate-label learning algorithm for spiking neurons[C]// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2019：1327-1334.

[37]Hu Lyuhui，Liao Xin.Voltage slope guided learning in spiking neural networks[J]. Frontiers in Neuroscience，2022，16：1012964.