神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型混沌動力學(xué)的研究現(xiàn)狀

付燕 萬亮 鐘海萍 饒冬飛

摘 要：人工神經(jīng)元和神經(jīng)元網(wǎng)絡(luò)的動力學(xué)研究，對于發(fā)展大腦功能神經(jīng)形態(tài)系統(tǒng)具有重要意義。近年來，記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型在神經(jīng)動力學(xué)的研究中提供了很多理論幫助。后有學(xué)者在記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，研究混沌動力學(xué)，即包括混沌、瞬態(tài)混沌、超混沌、共存吸引子、多穩(wěn)定性和極端多穩(wěn)定性。本文首先介紹了混沌動力學(xué)的基本定義，并且對幾種傳統(tǒng)的人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型進行了闡述，同時又詳細地描述各類型的建模機制以及與之相關(guān)的重要工作。

關(guān)鍵詞：憶阻器;神經(jīng)元模型;神經(jīng)網(wǎng)絡(luò);混沌動力學(xué);電磁輻射

一、引言

生物神經(jīng)元和神經(jīng)系統(tǒng)中的電活動與大腦的獨特能力密切相關(guān)，包括記憶、思維和學(xué)習[1-2]。由此，大腦的奧秘激發(fā)許多研究人員來研究神經(jīng)電活動的工作機制。20世紀80年代左右，人們開發(fā)各種人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型，以模擬生物神經(jīng)元和神經(jīng)系統(tǒng)的不同電活動，如Hodgkin-Huxley（HH） [3]神經(jīng)元模型、菲茨休-Nagumo（FHN） [4， 5]神經(jīng)元模型、莫里斯-Lacar（ML） [6]神經(jīng)元模型、欣德馬斯-羅斯（HR） [7]神經(jīng)元模型、Chay [8]神經(jīng)元模型、霍普菲爾德神經(jīng)網(wǎng)絡(luò)（HNN） [9]、細胞神經(jīng)網(wǎng)絡(luò)（CNN） [10]等等。之后，這些原始神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型以及延遲時間模型被進行拓展研究，如延遲時間模型、噪聲模型和電刺激模型，還有學(xué)者對周期峰值、周期爆發(fā)和模式轉(zhuǎn)換進行研究。雖然簡單的電激活是來源于這些傳統(tǒng)神經(jīng)元模型，但更復(fù)雜的混沌行為并沒有被發(fā)現(xiàn)。

2008年斯特魯科夫 [11]等人發(fā)現(xiàn)一種物理憶阻器，使得人們對神經(jīng)動力學(xué)重新產(chǎn)生興趣。在過去的10年里，具有仿生特性的憶阻器取得非凡的發(fā)展，對人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型有很大的影響。由于其可編程性、非揮發(fā)性、納米性、納米級和低功耗等內(nèi)在特性，憶阻器為我們模仿生物功能提供前所未有的可能性。例如，Jo [12]等人提出第一個表現(xiàn)出峰值時間依賴性可塑性的納米級記憶突觸，Lv [13]等人首先使用電壓控制的憶阻器描述神經(jīng)元的磁流效應(yīng)。憶阻器加入到傳統(tǒng)的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型，提出一個被稱為記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型的新概念。憶阻器在傳統(tǒng)的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型中的參與可以觸發(fā)復(fù)雜的混沌動力學(xué)，它吸引來自世界各地的不同研究人員。基于不同的建模機制，學(xué)者們開發(fā)各種記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型。研究表明，記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型可以產(chǎn)生復(fù)雜的混沌行為。例如，首次在記憶性HR神經(jīng)元中觀察到混沌的峰值和爆發(fā)性放電，同時在記憶雙神經(jīng)元網(wǎng)絡(luò)中得到了混沌和同步的現(xiàn)象。還有在各種記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)中發(fā)現(xiàn)各種復(fù)雜的混沌現(xiàn)象，包括超混沌、隱藏吸引子、共存吸引子和多滾動吸引子。此外，更有學(xué)者還報道復(fù)雜的多穩(wěn)定性動力學(xué)和極端多穩(wěn)定性。毫無疑問，實現(xiàn)這些復(fù)雜的神經(jīng)動力學(xué)將有助于解決臨床方面的問題。當然，具有復(fù)雜動力學(xué)的記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型也可以更好地應(yīng)用于人工智能領(lǐng)域，特別是安全通信。例如，Wang [14]等人提出一種基于具有混沌行為的記憶霍普菲爾德神經(jīng)網(wǎng)絡(luò)的圖像加密和解密方案。郭等人解決多層記憶遞歸神經(jīng)網(wǎng)絡(luò)中的靜態(tài)和動態(tài)圖像關(guān)聯(lián)記憶。簡而言之，記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)由于豐富的動力學(xué)和廣泛的應(yīng)用而備受關(guān)注。

本文從混沌動力學(xué)的角度回顧神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型。在第2部分，我們給出混沌動力學(xué)的基本概念，并對一些傳統(tǒng)的人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型進行總結(jié)。在第3部分，我們對不同的記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)進行詳細的解釋和討論。最后，得出了一些總結(jié)。

二、混沌動力學(xué)的基本概念

神經(jīng)動力學(xué)是神經(jīng)科學(xué)和動力系統(tǒng)理論的一個跨學(xué)科學(xué)科。其目的是通過應(yīng)用動力學(xué)系統(tǒng)理論，特別是非線性動力學(xué)的思想和方法，研究生物神經(jīng)系統(tǒng)的動力學(xué)特征及其隨時間的演化，特別是放電行為、混沌特性、同步和分岔現(xiàn)象。從混沌動力學(xué)的角度來看，其動力學(xué)特征包括混沌、瞬態(tài)混沌和超混沌。混沌是一種特殊的動力學(xué)行為，它廣泛存在于各種自然非線性系統(tǒng)中，特別是生物神經(jīng)系統(tǒng)。根據(jù)李亞普諾夫理論，混沌至少有一個正的李亞普諾夫指數(shù)。瞬態(tài)混沌是混沌存在在有限時間上的一種動力學(xué)行為。此外，超混沌被定義為具有兩個或兩個以上的正李雅普諾夫指數(shù)的混沌，它比混沌要復(fù)雜得多。一般來說，混沌的動態(tài)軌跡被稱為吸引子。如果一個吸引子的吸引盆地不與系統(tǒng)平衡的任何開放鄰域相交，則它被稱為隱藏吸引子，否則，它被稱為自激發(fā)吸引子。一般來說，多卷翼吸引子比單卷翼吸引子更復(fù)雜。從穩(wěn)定性的角度來看，混沌動力學(xué)包含共存的吸引子、多穩(wěn)定性和極端的多穩(wěn)定性。吸引子共存現(xiàn)象是一種復(fù)雜的動力學(xué)現(xiàn)象，在兩種不同的初始狀態(tài)下包含兩種不同的混沌行為。在不同初始狀態(tài)下三種或更多的動力狀態(tài)共存。

三、傳統(tǒng)的神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型對神經(jīng)動力學(xué)的發(fā)展做出重大貢獻，本節(jié)總結(jié)各種經(jīng)典的人工神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)模型。

（一）Hodgkin-Huxley神經(jīng)元模型

1952年，霍奇金和赫胥黎（Hodgkin-Huxley，HH）[3]首次基于他們對魷魚巨軸突的電生理實驗，構(gòu)建一個非線性動力學(xué)系統(tǒng)作為單神經(jīng)元的數(shù)學(xué)模型。HH神經(jīng)元模型描述真實神經(jīng)元的峰值行為和難治性特性，并作為基于離子通道非線性電導(dǎo)的峰值神經(jīng)元的范例。

（二）FitzHugh-Nagumo神經(jīng)元模型

1962年，Nagumo 等人[4， 5]引入由四維HH模型簡化的二維FitzHugh-Nagumo（FHN）模型，以描述神經(jīng)元的興奮性和峰值放電。

（三）Morris-Lecar神經(jīng)元模型

1981年，Morris和Lecar（ML） [6]提出一個簡化的HH神經(jīng)元模型，稱為ML模型。ML神經(jīng)元模型是一種生物神經(jīng)元模型，用于再現(xiàn)巨大藤壺纖維中與鈣離子（Ca2+）和鉀離子（K+）電導(dǎo)相關(guān)的各種振蕩行為。該模型是一個二維的非線性微分方程組。

（四）Hindmarsh-Rose神經(jīng)元模型

1984年，Hindmarsh和Rose（HR） [7]開發(fā)一個強大的HR模型，它不僅可以促進計算，而且可以產(chǎn)生真實生物神經(jīng)元表現(xiàn)出的大部分放電行為，如靜止、峰值放電和爆發(fā)放電。HR模型包括一個二維模型和一個三維模型。許多學(xué)者認為二維HR神經(jīng)元模型是實際神經(jīng)元放電研究中的理想主義模型。

（五）Chay神經(jīng)元模型

1985年，為了重現(xiàn)β-cell的放電行為，Chay [8]開發(fā)一個三維神經(jīng)元模型，可以模擬爆炸和混沌放電。

（六）Hopfield神經(jīng)網(wǎng)絡(luò)

1984年，Hopfield [9]提出一個理想的神經(jīng)網(wǎng)絡(luò)，即Hopfield神經(jīng)網(wǎng)絡(luò)（HNN）。由于其具有較強的非線性和靈活的代數(shù)表達式，HNN特別適合于模擬大腦中各種復(fù)雜的動力學(xué)行為，特別是混沌行為。HNN可以用一組對應(yīng)于N個神經(jīng)元的非線性常微分方程來描述。

（七）細胞神經(jīng)網(wǎng)絡(luò)

1988年，Chua和Yang [10]提出一個基于蜂胞自動機和Hopfield神經(jīng)網(wǎng)絡(luò)的蜂窩神經(jīng)網(wǎng)絡(luò)（CNN），CNN的基本單元電路被稱為電池。

四、結(jié)論

本文詳細討論各種記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型在神經(jīng)動力學(xué)方面的最新進展，這無疑將有助于研究人員研究這一新前景。從混沌動力學(xué)的基本定義開始，慢慢地介紹傳統(tǒng)的人工神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)定義。值得注意的是，記憶電阻器在記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型中起著重要而重要的作用。根據(jù)以往學(xué)者的研究結(jié)果表明，記憶神經(jīng)模型具有復(fù)雜的混沌動力學(xué)。雖然已經(jīng)對一些記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型及其混沌動力學(xué)進行研究，但仍處于嬰兒階段，需要進一步探索。我們認為，研究記憶神經(jīng)元和神經(jīng)網(wǎng)絡(luò)模型的混沌動力學(xué)將有助于闡明大腦更詳細的功能以及工程應(yīng)用。

參考文獻：

1.Fell， J.， Axmacher， N.： The role of phase synchronization in memory processes. Nat. Rev. Neurosci. 12（2）， 105–118 （2011）

2.Ma， J.， Tang， J.： A review for dynamics in neuron and neuronal network. Nonlinear Dyn. 89（3）， 1569–1578 （2017）

3.Hodgkin， A.L.， Huxley， A.F.： A quantitative description of membrane current and its application to conduction and excitation in nerve. J. Physiol. 117（4）， 500–544 （1952）

4. Fitzhugh， R.： Impulses and physiological states in theoretical models of nerve membrane. Biophys. J. 1（6）， 445–466 （1961）

5. Nagumo， J.， Arimoto， S.， Yoshizawa， S.： An active pulse transmission line simulating nerve axon. Proc. IRE 50（10）， 2061–2070 （1962）

6. Morris， C.， Lecar， H.： Voltage oscillations in the barnacle giant muscle fifiber. Biophys. J. 35（1）， 193–213 （1981）

7. Hindmarsh， J.L.， Rose， R.M.： A model of the nerve impulse using two fifirst-order differential equations. Nature 296（5853）， 162–164 （1982）

8.Chay， T.R.： Chaos in a three-variable model of an excitable cell. Physica D 16（2）， 233–242 （1985）

9. Hopfifield， J.J.： Neurons with graded response have collective computational properties like those of 2-state neurons. Proc. Natl. Acad. Sci. USA 81（10）， 3088–3092 （1984）

10. Chua， L.O.， Yang， L.： Cellular neural networks： theory. IEEE Trans. Circuits Syst. 35（10）， 1257–1272 （1988）

11. Strukov， D.B.， Snider， G.S.， Stewart， D.R.， et al.： The missing memristor found. Nature 453（7191）， 80–83 （2008）

12. Jo， S.H.， Chang， T.， Ebong， I.， et al.： Nanoscale memristor device as synapse in neuromorphic systems. Nano Lett. 10（4）， 1297–1301 （2010）

13. Lv，M.，Wang， C.， Ren， G.， et al.：Model of electrical activity in a neuron under magnetic flflow effect. Nonlinear Dyn. 85（3）， 1479–1490 （2016）

14. Wang， W.， Yu， X.， Luo， X.， et al.： Finite-time synchronization of chaotic memristive multidirectional associative memory neural networks and applications in image encryption. IEEE Access 6， 35764–35779 （2018）