液體狀態(tài)機研究進展

張永強, 倪珊珊, 宋美霖, 滿夢華

(1.陸軍工程大學石家莊校區(qū), 河北 石家莊 050003;2.河北科技大學信息科學與工程學院, 河北 石家莊 050018)

0 引言(Introduction)

受神經生物學基礎短脈沖的啟發(fā),研究者通過改變深度神經網絡的神經元,仿照大腦工作機制研究提出脈沖神經網絡(Spiking Neural Network, SNN)[1-2]。SNN的拓撲結構有前饋型脈沖神經網絡、遞歸型脈沖神經網絡和混合型脈沖神經網絡。2002年,MAASS等[3]和NATSCHLGER等[4]首次提出液體狀態(tài)機,該方法是混合型脈沖神經網絡的一種,它不需要將信息存儲在計算系統(tǒng)的某些穩(wěn)定狀態(tài)中,訓練速度較快。2004年,WOJCIK等[5]首次使用LSM模擬類生物視覺系統(tǒng),驗證了其分類有效性。后續(xù)研究逐漸拓展到生物[6]、圖像預測[7]、模式分類[8]等領域。

目前,液體狀態(tài)機的硬件實現方式有超大規(guī)模集成電路、現場可編程邏輯門陣列和憶阻器。液體狀態(tài)機軟件模型的優(yōu)化工作主要包括算法優(yōu)化、突觸可塑性改進以及儲備池層的增加。在對液體狀態(tài)機的基本結構進行詳細介紹的前提下,本文對硬件實現和軟件模型兩個優(yōu)化方向的研究進展進行了總結,列舉了一些LSM編程平臺,可供學者參考。

1 液體狀態(tài)機(Liquid State Machines)

1.1 基本結構

液體狀態(tài)機是一種脈沖神經網絡,也是一種遞歸神經網絡。液體狀態(tài)機主要分為三個部分,即輸入層、儲備池層和輸出層。從輸入層到儲備池層的連接是隨機確定的,一個輸入神經元可與儲備池層神經元進行任意連接。液體狀態(tài)機的基本模型結構如圖1所示。

圖1 液體狀態(tài)機的基本模型結構圖Fig.1 Structure diagram of LSM

LSM模型結構的第一部分是輸入神經元,主要是通過外部刺激,引入輸入序列u(t)。

第二部分是儲備池層,主要進行神經計算,即將引入的信號進行特定的數學運算。在數學表達中,液體狀態(tài)可稱為液體濾波器LM,M表示濾波器。儲備池層所有神經元的放電輸出向量xM(t),使用數學計算將輸入序列映射到高維中間狀態(tài),即

xM(t)=(LMu)(t)

(1)

因為儲備池層是遞歸連接的網絡,儲備池層接收一個連續(xù)的輸入序列u(s),在之后的時間s

第三部分是輸出層,儲備池層具有一定的記憶功能,輸出層則不需要處理t時間之前的信息,通過學習算法fM連接中間內部狀態(tài)與目標輸出y(t),即

y(t)=fM(xM(t))

(2)

為了獲得與輸入相對應的輸出,必須對液體狀態(tài)機進行訓練。在訓練階段,液體神經元之間的連接權重不發(fā)生變化,只調節(jié)從液體神經元到輸出單元的連接權重。訓練或調整一個輸出映射函數fM,使得液態(tài)xM(t)映射到所需的輸出y(t),同時保持液體濾波器LM不變。在這個過程中,網絡層權值通常隨機選取,之后保持不變,大大降低了訓練的復雜度。從液體神經元到輸出單元的訓練方法只需選擇簡單的分類器,如線性回歸等。因此,液體狀態(tài)機對不同的任務具有普適性。

1.2 LSM屬性

(3)

其中,‖·‖表示歐幾里得范數。

接近屬性是表征輸出神經元能夠區(qū)分中間狀態(tài)對自己的影響,將需要的狀態(tài)轉化為特定的輸出能力。分離屬性依賴儲備池層的復雜程度,接近屬性主要依賴輸出層對于目標任務的適應能力。

1.3 與其他神經網絡的對比

目前,神經網絡連接方式大部分為線性的全連接,輸出也為連續(xù)的值。根據歸納算法的基本結構和特征可以發(fā)現,LSM使用具有固定權重的互聯(lián)神經元庫,將時空輸入信號投射到高維空間,高度模擬生物神經元機制,通過學習網絡中的連接權重實現輸出,大大降低了訓練的復雜度,并且可以識別標簽,編碼成具有時序性的脈沖序列,對時序信號的計算能力具有實時性,對分類任務具有普適性。幾種具有代表性的神經網絡算法特性如表1所示。

表1 經典神經網絡算法

2 LSM模型的硬件實現(The hardware realization of LSM model)

硬件模型的設計出發(fā)點是滿足高性能和低能耗等需求,但是硬件模型很難控制網絡模型參數的最優(yōu)范圍,導致優(yōu)化工作很難開展;而液體狀態(tài)機不需要設置過多的參數,更符合生物神經網絡的特性,有助于實現硬件計算模塊。液體狀態(tài)機的硬件主要有三種實現方式:超大規(guī)模集成電路(Very Large Scale Integration Circuit,VLSI)、現場可編程邏輯門陣列(Field Programmable Gate Array,FPGA)和憶阻器。

2.1 VLSI

2014年,ROY等[9]針對液體狀態(tài)機的讀出階段提出了一種新的樹狀增強的結構(LSM-DER)作為讀出方式的液體狀態(tài)機和一種有效學習規(guī)則網絡(NRW)重新布線。研究發(fā)現,LSM-DER和NRW能夠以更少的突觸數量獲得比目前最先進的平行感知器讀出的液體狀態(tài)機(LSM-PPR)更好的性能。2015年,ZHANG等[10]提出了仿生數字液體狀態(tài)機技術。利用VLSI技術可以將一個電子分系統(tǒng)乃至整個電子系統(tǒng)集成在一塊芯片上,完成信息采集、處理、存儲等多種功能,但存在不能重復編程的缺點。

2.2 FPGA

2016年,LSM模型的硬件實現使用了FPGA技術,它可以進行重復編程,既解決了定制電路的設計復雜度,又克服了原有可編程器件門電路數有限的缺點。SCHRAUWEN等[11]提出了一種基于FPGA的液體狀態(tài)機串行體系硬件設計方案,該體系結構緊湊地實現了尖峰神經網絡,能實時處理數據信息,在不影響識別精度的前提下,降低語音識別基準的能耗。FPGA與液體狀態(tài)機在很好的組合狀態(tài)下,可以高效地進行儲層調整,大大提高學習性能和能量效率;但是,在處理大量數據時的表現差強人意。

2.3 憶阻器

憶阻器最早于2008年提出,它兩端是由納米電子器件構成的,既可以保持用過去歷史電導狀態(tài)表示突觸權重,又可以在輸入的電壓或電流信號作用下調制到新的狀態(tài)[12]。憶阻器陣列可以將計算與存儲高效地結合,省去數據調用,加快了矩陣計算的速度,滿足對大量數據信息的實時處理要求,基于憶阻器的SNN硬件電路研究得到迅速發(fā)展[13]。但是,憶阻器內部存在陣列的漏電與可控性問題,因此目前集成大規(guī)模的憶阻器陣列比較困難。市面上的憶阻器神經形態(tài)計算平臺以仿真為主,未來的發(fā)展方向應將仿真理論與實際相結合,構建合理的憶阻器模型。

3 LSM軟件模型優(yōu)化進展(LSM software model optimization progress)

液體狀態(tài)機結構簡單,訓練速度快,處理具有時序特性的問題時,能夠快速獲取信息并處理,具有實時性和普適性,但是計算精度低、無法捕獲多個時間尺度上的動態(tài)信息的缺點依然存在。分析原因主要如下:(1)評估算法的性能需要大量的時間,加重了液體狀態(tài)機的計算壓力。(2)液體狀態(tài)機雖然只需要訓練儲備池層到讀出層之間的連接矩陣,但是只有矩陣為全連接方式時,才能保證具有良好的性能。(3)單個液體狀態(tài)機處理復雜的現實任務存在一定的難度,無法兼顧不同時間尺度上的時間信息。針對以上問題,研究者在液體狀態(tài)機的軟件模型上找到了優(yōu)化方向。第一,通過其他算法評估LSM網絡模型性能,改進時間庫,優(yōu)化模型。第二,通過改變突觸的可塑性可以稀疏儲備池層和讀出層之間的連通性,防止權重飽和,提高LSM網絡模型的學習性能。第三,利用LSM固有的隨機投影以及局部塑性機制優(yōu)化順序層之間的數據傳輸,增強其在復雜時空任務中的性能。與傳統(tǒng)神經網絡一樣,可以增加儲備層的層數,增加訓練次數,優(yōu)化輸出結果。

3.1 算法優(yōu)化

在優(yōu)化算法上,使用遺傳算法進行調整最為常見。遺傳算法更符合生物特性,適合液體狀態(tài)機這類具有生物特性的網絡,提高液體狀態(tài)機訓練效率。

目前,已有研究者使用遺傳算法去掉自連接的神經元和對結果產生不好效果的神經元,再通過強化學習的方法改變儲備池層的連接方式,從而優(yōu)化了液體狀態(tài)機的內部結構。為了使遺傳算法更加精確,JU等[14]將液體過濾器從一個沒有連接的最小結構演化為一個具有最小突觸數和高分類精度的優(yōu)化核,簡化了最優(yōu)線性模型的設計,降低了計算復雜度。此外,通過改變液體狀態(tài)機本身的參數和輸入方式達到優(yōu)化目的,也是一種常用的優(yōu)化方法。ZHOU等[15]使用協(xié)方差矩陣自適應進化策略(Covariance Matrix Adaptation Evolution Strategy,CMA-ES)的同時,采用連接概率和尖峰神經元模型中的超參數對其結構進行編碼,采用高斯過程作為替代對CMA-ES實現輔助,縮小搜索空間,提高了計算效率。

優(yōu)化算法使得液體狀態(tài)機訓練能力有所提高,訓練時間比人工調優(yōu)的時間短,改進方案更具優(yōu)勢,簡化了繁重的手動調參和調試網絡結構的過程。但是,此方法的選擇過程是在類似黑匣子中進行,只能知道結果,不能對其過程進行改進,優(yōu)化結果的不確定性大。

3.2 突觸可塑性改進

突觸可塑性(Synaptic Plasticity)通過積極神經元與消極神經元相互配合達到更好的效果。突觸可塑性在生物體內是指神經細胞間的連接,會隨自身活動的激勵與抑制發(fā)生相應的變化。在人工神經網絡中,突觸可塑性是指利用生物中的數學模型構造神經元之間的關系。

頻率上,突觸可塑性可以分為短時程突觸可塑性與長時程突觸可塑性。思想上,突觸可塑性又可分為Hebbian可塑性與脈沖時間依賴可塑性(Spike Time Dependent Plasticity,STDP)。目前,研究者對液體狀態(tài)機突觸的改進,主要有改變突觸的構造或者構造不同類型的突觸。基于短時程可塑性的液體狀態(tài)機改進,通過使用神經形態(tài)硬件即可實現[16]。基于混合可塑性的液體狀態(tài)機改進,是一種通過將兩種類型的可塑性結合開發(fā)液體狀態(tài)機儲備池層的新方法,它是由不同行為和不同興奮程度的異質神經元組成的自組織網絡,通過皮層編碼的兩種生物學習規(guī)則——細化突觸連通性和神經元內在性構建子神經元[17]。神經元之間的連接則在考慮了兩種不同的STDP(興奮性突觸的e-STDP和抑制性突觸的i-STDP)的前提下,通過脈沖時間依賴的可塑性學習實現的,擅長完成時間模式分類任務。

STDP規(guī)則不僅提高了網絡學習效率,而且在液體層中誘導了自組織行為,從而自然地形成一個更稀疏的遞歸網絡。2013年,XUE等[18]提出了基于時間依賴可塑性的改進液體狀態(tài)機,可以有效地對液體池進行優(yōu)化。研究發(fā)現,具有STDP學習性能的液體狀態(tài)機可以高精度地執(zhí)行同類型生物相關的實時計算任務。2017年,LIU等[19]利用生物合理的尖峰時間依賴可塑性機制,訓練了液體狀態(tài)機的監(jiān)督性。利用STDP自然誘發(fā)的自組織行為,提高學習能力的同時,液體狀態(tài)機的高效性也得到了有效實現。2017年,LI等[20]還提出了一種具有多聚類和主動-神經元-主導結構的脈沖神經網絡液體計算模型,取代了傳統(tǒng)的隨機結構,改善了活動同步性和網絡敏感性,同時提高了信息處理能力,并且具有較高的拓撲復雜度和動態(tài)多樣性,大大提高了信號傳輸效率。2021年,TIAN等[21]提出了一個基于神經結構搜索的框架,探索面向數據集的自動LSM模型的結構和參數設計空間,優(yōu)化了指數級增長的參數設計空間,提高了計算精度,降低了計算復雜度。

3.3 深度液體狀態(tài)機

深度液體狀態(tài)機是一種通過加入其他層或者加入多層實現液體狀態(tài)機模型的一種方式。2017年,SOURES等[22]提出一種深度液體狀態(tài)機模型,將神經可塑性和注意力嵌入拓撲結構中,增強了其對復雜網絡的性能,訓練時間與傳統(tǒng)液體狀態(tài)機相比有所縮短。深度LSM的基本模型結構如圖2所示。

圖2 深度LSM的基本模型結構Fig.2 Basic model structure of deep LSM

深度液體狀態(tài)機結構的深度與廣度使其比較擅長處理分層時態(tài)問題。這是因為深度液體狀態(tài)機自身液體層的隨機性,并且能夠使用多個局部塑性規(guī)則構造編碼層,從而降低其訓練復雜度,提高訓練速度;但是,深度液體狀態(tài)機存在不可擴展和可伸縮性差的缺點。

4 LSM編程平臺(Programming platform of LSM)

使用液體狀態(tài)機編程工具可以快速地進行建模、訓練以及搭建軟件平臺。根據面向的研究目標以及使用的方式不同,現存Gensis、Neuron、Nengo、BindsNet、SpyKetorch、Nest、Brian、Synaptics等液體狀態(tài)機編程平臺;各平臺的具體特點如表2所示。

5 結論(Conclusion)

本文圍繞LSM的基本結構和軟硬件優(yōu)化方式,梳理相關領域的研究進展,總結LSM實現的編程平臺,為相關領域的學者優(yōu)化LSM提供了參考。液體狀態(tài)機作為一種典型的脈沖神經網絡,結構簡單,擁有極高的生物相似性,與傳統(tǒng)神經網絡相比,計算復雜度大大降低,訓練速度也大大提高。由于本身需要設置一定的參數,對儲備池層約束較少,因此還有很大的發(fā)展空間。未來的研究方向如下:第一,探索液體狀態(tài)機的每一層,尋找層與層之間的算法最優(yōu)解;第二,在單個突觸或者不同類型之間構造的研究有所進展,突觸的觸發(fā)機制有待深入研究;第三,在模型實現上的時間集成能力不夠精準和拓撲結構如何影響計算的問題尚未解決。