時滯憶阻神經網絡動力學分析與控制綜述

章聯(lián)生 金耀初 宋永端

1971年美國加州大學伯克利分校的華裔物理學家蔡少棠(L.O.Chua)根據(jù)電路變量組合完備性原理,大膽預言磁通量φ與電荷q之間也一定存在關系[1],并將描述φ與q之間關系的電路元件命名為憶阻器(Memristor,由英文單詞Memory和Resistor截斷合寫而成,意為有記憶功能的電阻器),同時稱它為第四種電路基本元件,通常用符號表示.此外,φ的微分 dφ與q的微分 dq有如下關系:

其中,M(q)表示憶阻.于是,電流強度(i),電壓(v),電荷(q)和磁通量(φ)這四個物理量之間的關系就可以用圖1直觀表示.

圖1 四個基本二端電路元件關系圖Fig.1 The four fundamental two-terminal circuit elements

雖然蔡少棠教授從理論上預言了憶阻器的存在,但當時尚未制造出這種器件的物理實物,只是停留在猜想和假設上,致使憶阻器及其應用研究并未引起科學界和工程界的重視,甚至一度出現(xiàn)了停滯不前.直到37年后的2008年,美國Hewlett-Packard實驗室的研究團隊在Nature雜志發(fā)表論文[2?3],宣布他們已經建立了作為第四種電路基本元件的憶阻器固體狀態(tài)的原型—基于半導體中充電摻雜物飄逸的憶阻器的物理模型.

隨后,2010年Hewlett-Packard實驗室的研究人員再次在Nature雜志上撰文表示,他們在憶阻器設計上取得重大突破,發(fā)現(xiàn)憶阻器可以進行布爾邏輯運算,用于數(shù)據(jù)處理和存儲[4].此后,越來越多的學者開始加入憶阻器的研究行列.憶阻器元件的存在,使電路設計的基本元件由原來的三個(電阻器、電容器和電感器)增加到四個(增加了憶阻器作為第四種基本元件),憶阻器為電路設計及其憶阻電路應用提供了全新的發(fā)展空間.可以說,憶阻器的發(fā)明足以媲美100年前三極管的發(fā)明,憶阻器領域任何一項產業(yè)化應用都可能帶來新一輪產業(yè)革命.

憶阻器是一種新型的無源二端電子元件,當電流(或電壓)從某一個端通過,電阻值增加;當電流(或電壓)從相反端流入,電阻值減少;當電流(或電壓)停止,最后的阻值被保存,這種類似于可變電阻的特性稱憶阻.憶阻器憶阻值的改變主要依靠流入的電流或電壓.雖然憶阻器與電阻器、電容器以及電感器一樣,已被作為無源電路基本元件,但與其他三類元件不同,憶阻器有其自身的特性.它就像一個二端電阻器,當電流(或電壓)通過時,憶阻器能改變其阻值,即它是一個不耗能、記憶不消失的可編程電阻器.

1976年,蔡少棠教授將憶阻的概念進一步拓展,并提出了新的概念—憶阻系統(tǒng)[5](Memristive systems).憶阻系統(tǒng)指的是,存在一類物理系統(tǒng)和設備,其特性類似憶阻,但并不能真實地由憶阻來建模,原因是憶阻只是眾多此類動態(tài)系統(tǒng)中的一個特例,因此將這類系統(tǒng)和設備稱為憶阻系統(tǒng).同時指出,憶阻系統(tǒng)最大的特點是過零屬性(Zero-crossing),即任何時候當系統(tǒng)輸入為零,則系統(tǒng)輸出也為零,即輸入輸出的李薩如圖形一定過坐標軸零點.

目前根據(jù)憶阻器制作材料、結構及工藝的不同,將憶阻器分為三類:薄膜憶阻器(美國Hewlett-Packard實驗室的二氧化鈦憶阻器和高分子聚合物憶阻器屬于這類)、自旋憶阻器和其他憶阻器.這些內容不屬本文綜述的范疇,因而不予展開,感興趣的讀者可以參考文獻[6].

此外,憶阻器作為一種納米級元件,其制造成本高昂,到目前為止,人們很難獲取一個能夠完全表征其物理特性的標準元件,而且通過實驗手段獲取其精確的電氣特性數(shù)據(jù)也較為困難.因此,對憶阻器的研究較大程度依賴于對憶阻元件的建模與仿真.現(xiàn)有的憶阻仿真軟件,主要有SPICE、Matlab和Micro-Cap三類.

本文將介紹憶阻器的數(shù)學模型及分類,綜述目前控制領域頂級期刊上相關最新成果,涉及時滯憶阻神經網絡(Delayed memristive neural networks,DMNN)的動力學行為與控制,如穩(wěn)定性、耗散性、無源性等分析以及鎮(zhèn)定、耗散化、無源化和同步控制等方面的內容,并對時滯憶阻神經網絡今后的研究作了展望,為憶阻神經網絡在下一代計算機研發(fā)和人工智能領域的應用提供一些新的思路.經過中外學者的共同努力,時滯憶阻神經網絡的動力學行為分析與控制取得豐碩的成果,限于筆者的知識面和視野,本文的綜述仍然是不全面的,肯定有遺珠之憾,請同行海涵.

1 憶阻器數(shù)學模型及分類

按照憶阻器研究的先驅蔡少棠教授的說法[7],在周期性電流源或電壓源作用下,任何表現(xiàn)出穿過電壓–電流平面(V-I平面)內原點的捏滯回路直流元件為零二端終端器件都可以稱為憶阻器.如果輸入的是電流源,稱它是電流控制的憶阻器;如果輸入的是電壓源,則稱它是電壓控制的憶阻器.這里的二端器件的內部結構并沒有明確,所以上述關于憶阻器的定義是一種公理化、黑匣子化的定義.現(xiàn)實也的確如此,憶阻器可以用不同材料制備,其特性在自然界中的變形蟲、魷魚和其他生物體中都曾經發(fā)現(xiàn)過.

一種器件一旦被實驗辨定為憶阻器,很自然要建立其數(shù)學模型,以近似模擬其捏滯回路.依據(jù)憶阻器數(shù)學模型復雜程度不同,可以方便地將其分類.所有的憶阻器分為如下三類[7?8]:理想型憶阻器(Ideal memristors),通用型憶阻器(Generic memristors)和拓展型憶阻器(Extended memristors).由于定義這些憶阻器的方程不同,從而使它們具有不同的特性.需要指出的是,通用型憶阻器的一個子集能夠展現(xiàn)出與理想型憶阻器相同的特性,因而這個子集被稱為理想通用型憶阻器,可以視其為第四種憶阻器.同時,由于理想通用型憶阻器能夠通過一對的數(shù)學變換轉變?yōu)槔硐胄蛻涀杵?也被稱為理想型憶阻器的衍生憶阻器.具體見表1(以復雜程度遞增的順序排列).

表1 四類憶阻器Table 1 Four classes of memristors

位于表1最上面的憶阻器最為簡單,命名其為理想型憶阻器,它符合憶阻器的最初定義[1].通過給定的任意初始條件φ(0)可以確定其構成關系,即

式(1)兩邊同時對時間t求導得

注意到

因此式(2)亦可以寫成

式(1)等價于式(2),它們被稱為電荷控制型憶阻器(A charge-controlled memristor,簡稱荷控憶阻器)的構成關系式.類似地,磁通量控制型憶阻器(A flux-controlled memristor,簡稱磁控憶阻器)也有如下的構成關系式

其等價于電壓控制型憶阻器,即

2 憶阻神經網絡及其優(yōu)點

眾所周知,現(xiàn)今的計算機系統(tǒng)都采用馮·諾伊曼(Von Neumann)結構,在這種結構的計算機中,由于信息存儲與信息處理的傳遞通道都由總線連接,即指令和數(shù)據(jù)共享同一總線的結構,使得信息存儲與信息處理必然是分開的.盡管目前計算機CPU運算處理速度增長非常快,但CPU與內存之間的數(shù)據(jù)傳輸速度增長緩慢,兩者增長速度的極不匹配,使信息流的傳輸速度成為制約計算機性能的瓶頸,也制約了高性能計算機的發(fā)展.因此,研制兼具信息存儲與信息處理功能的新型電子存儲器件,以支持信息存儲與信息處理融合的非馮·諾伊曼結構的計算機研制,就成為下一代高性能計算機發(fā)展的方向.

人腦神經系統(tǒng)是由大量的神經元相互連接而形成的一種高度復雜、非線性、并行運行的信息處理系統(tǒng),人腦的神經元具有獨特的突觸可塑性,能實現(xiàn)信息存儲與信息處理的高效融合.長期以來,人們一直在探索人腦的工作機理,期望通過模擬人腦的學習、記憶功能,設計、研制出接近人類智能的信息處理系統(tǒng),以解決復雜實際問題,最終實現(xiàn)真正的人工智能.雖有大量的學者一直在從事這項工作,但遺憾的是,人類的這個愿望遠沒實現(xiàn).原因在于:一方面,人腦非常復雜,人類至今沒有完全認識人腦的結構也未破解人腦工作的機理;另一方面,由于半導體電子器件和電子材料研制滯后,人類沒有找到充當人工神經元突觸的電子器件.

憶阻器是一種具有記憶功能的非線性電阻器,其阻值會隨著通過它的電流強度的改變而改變,并且能夠維持相應電阻的特性,這與生物神經元突觸在生物電信號刺激下突觸權重的變化特性十分相似.因此,憶阻器是現(xiàn)階段模擬生物神經元突觸最理想的元件,可以用作人工神經元突觸,而且憶阻器是納米尺寸,具有更高的集成度,在充當人工神經元突觸方面具有其他元件無可比擬的優(yōu)勢,從而使基于憶阻器的人工神經網絡(Memristor-based neural networks,MNNs)迅速成為研究熱點.總之,憶阻器作為一種新型的存儲器件,其特點類似于人腦神經元的突觸,能實現(xiàn)信息存儲與信息處理的一體化功能,為下一代計算機提供了一種全新的設計架構.可以說,憶阻神經網絡的發(fā)明及其電路的研制,為下一代非馮·諾伊曼結構的計算機的研制提供了物質條件.

相比于傳統(tǒng)的人工神經網絡,憶阻神經網絡的優(yōu)點表現(xiàn)為:

具有自學習功能.例如,實現(xiàn)圖像識別時,只要先把許多不同的圖像樣板和對應的應識別的結果輸入憶阻神經網絡,網絡就會通過自學習功能,慢慢學會識別類似的圖像.通過對歷史數(shù)據(jù)的學習,訓練出一個具有歸納全部數(shù)據(jù)能力的特定的神經網絡系統(tǒng),自學習功能對于預測有特別重要的意義.

具有聯(lián)想存儲功能.人工神經網絡的反饋網絡就可以實現(xiàn)這種聯(lián)想存儲功能.

具有高速尋找優(yōu)化解的能力.尋找一個復雜問題的優(yōu)化解,是一個計算量非常大的求解過程,而利用一個針對某問題而設計的反饋型人工神經網絡,發(fā)揮計算機的高速運算能力,往往能很快找到優(yōu)化解.

具有非線性處理功能.人腦的思維是非線性的,憶阻神經網絡能模擬人腦思維,處理非線性問題.

具有自適應性.傳統(tǒng)的神經網絡電路常常不能處理新模式、新數(shù)據(jù),不能自我調節(jié),而基于憶阻器的神經網絡對新模式、新數(shù)據(jù)具有很強的自適應性.

3 時滯憶阻神經網絡的數(shù)學模型

圖2 基于憶阻器的遞歸神經網絡電路圖[9]Fig.2 Circuit of memristor-based recurrent network[9]

憶阻神經網絡由圖2所示特大規(guī)模的集成電路(Very large scale integrated circuit,VLSI)來實現(xiàn)[10],其中的連接權由憶阻器來實現(xiàn).在圖2中,x i(t)表示第i個子系統(tǒng)中電容器C i在t時刻的電壓;C i,R i分別表示其電容,電阻;τ(t)表示系統(tǒng)的傳輸時滯;f j(x j(t))和g j(x j(t ?τ(t)))分別表示神經元不含和含有時滯的激活函數(shù),它們都是有界連續(xù)函數(shù);M f ij和M gij分別表示函數(shù)f j(·)與x i(·)之間的連接憶阻和函數(shù)g j(·)與x i(·)之間的連接憶阻;a i,b i為輸出變量;I i為外部輸入.

于是,由電路圖2可知,電流I f ij,I gij(i,j=1,2,···,n)有如下關系式

這里W f ij,W gij表示憶阻M f ij,M gij的憶導,即有

另外,

因此,根據(jù)物理學中的基爾霍夫(Kirchoff)電流定律,得到基于憶阻器的遞歸神經網絡第i個子系統(tǒng)的動力學方程

進而得到

將式(7)變形為

這里

由憶阻器的物理特性及其電流與電壓之間的特性曲線圖3,d i(x i(t)),a ij(x i(t))和b ij(x i(t))隨系統(tǒng)狀態(tài)進行切換如下:

此外,給定式(8)的初始條件為x i(θ)=?i(θ),θ ∈[?τ2,0],這里?i(θ)∈C([?τ2,0],R).

圖3 憶阻器的電流—電壓特性曲線Fig.3 Typical current-voltage characteristics of a memristor

為討論的需要,往往需對時變時滯τ(t)和激活函數(shù)f j(·),g j(·)作一些假設:

假設1.時變時滯τ(t) 滿足

這里0≤τ1<τ2以及μ1<μ2都是已知的常數(shù).

假設2.存在對角矩陣

使得神經元激活函數(shù)f j(·)滿足

應當說,絕大多數(shù)文獻中的時滯憶阻神經網絡的數(shù)學模型都是式(8),但也有一些文獻所討論的時滯憶阻神經網絡的數(shù)學模型略有不同.如文獻[12?15],其中的模型更為特殊簡單,其方程式為

又如文獻[16],其數(shù)學模型為

在文獻[17]中,提出了如下更一般化的模型

注2.像式(9)這類離散時變時滯為τij(t)形式的模型,此時的方程只能用分量表示,而不能用向量或矩陣來表示,如文獻[18?20].

注3.值得注意的是,目前研究憶阻神經網絡動力學行為的相關文獻無一例外地直接給出模型的跳變律,缺乏嚴謹?shù)睦碚撏茖?且不同文獻給出的跳變律各不相同,可謂五花八門.主要原因是目前人們對憶阻器以及憶阻神經網絡的研究仍處于探索階段,尚未形成共識,存在一些爭議.比如,關于憶阻神經網絡的模型,近來有學者Pershin等在文獻[21]中指出,目前大量文獻討論的憶阻神經網絡不具有憶阻元件的概念.由此可見,這是一個引起越來越多關注且有關問題尚無明確答案的研究領域,期待更多后續(xù)研究和探索.

此外,文獻中討論的時滯憶阻神經網絡模型的跳變律也有不同的表達方式.不過,總體上不影響其動力學行為的分析討論.

目前討論的時滯憶阻神經網絡系統(tǒng),以討論離散時滯為主,但也有分析一般混合時滯的MNNs,具體見如下式(10).這時方程中同時包含離散時滯、分布時滯和泄漏時滯,當然,這樣問題變得更加復雜,如文獻[22].

其中δ(t),τ(t)和r(t)分別表示泄漏、離散和分布時滯,它們滿足

這里δ,τ,r以及δd,τd都是已知的常數(shù);?i(θ)為初始函數(shù),它在區(qū)間[?ρ,0]上連續(xù)可導.

在式(10)中,當δ(t)≡0時,退化為文獻[15]所討論的模型;當r(t)≡0時,退化為文獻[23?24]所討論的模型.

4 處理時滯憶阻神經網絡動力學行為與控制的方法

如前所述,憶阻神經網絡是一類狀態(tài)依賴的切換系統(tǒng),其右端是不連續(xù)的,經典的針對右端連續(xù)的微分方程的穩(wěn)定性理論和方法對它已不再適用.分析時滯憶阻神經網絡系統(tǒng)的動力學行為與控制問題,必須另辟蹊徑.就筆者所知,目前處理這些問題的方法歸納起來,主要有兩種思路:其一直接借助一些已有分析的技巧和方法來討論研究,如文獻[17,25?26];其二利用微分包含和集值映射理論,在Filippov 右端不連續(xù)穩(wěn)定性理論[27?28]框架下分析時滯憶阻神經網絡系統(tǒng)的動力學行為.目前絕大多數(shù)文獻采用的是第二種方法.

下面以本文的式(8)為例,簡單敘述一下第二種方法,其他時滯憶阻神經網絡模型類似.

為了解決這一問題,Filippov等從20世紀60年代開始研究,建立了右端非連續(xù)微分方程的解,即現(xiàn)在被稱為Filippov 意義下的解的定義,并創(chuàng)立了一套非光滑分析理論,包括集值映射[27,29]、微分包含[28]等理論.

根據(jù)集值映射及微分包含理論,帶有初始條件x i(θ)=?i(θ),θ ∈[?τ2,0]的式(8)在Filippov意義下的解x(t)=[x1(t),x2(t),···,x n(t)]T在[ 0,T](T為一正常數(shù))的任意子集[t1,t2]上絕對連續(xù),并且有

其中,co{Π1,Π2}表示由實數(shù)或實矩陣 Π1和 Π2生成的凸閉包.

為了方便分析問題,常將式(11)和式(12)寫成向量及矩陣的形式

或等價地,存在

使得

這里x(t)=[x1(t),x2(t),···,x n(t)]T為狀態(tài)向量;D=diag(d1,d2,···,d n)是實對角矩陣,其中d i>0是x i(t)的自抑制;A和B分別是反饋連接權矩陣和時滯反饋連接權矩陣;f(x(t))=[f1(x1(t)),f2(x2(t)),···,f n(x n(t))]T代表神經元激活函數(shù);u(t)=(u1(t),u2(t),···,u n(t))T∈Rn為外部輸入向量;?(θ)=[?1(θ),?2(θ),···,?n(θ)]T為初值函數(shù).

這樣,時滯憶阻神經網絡式(8)就轉化為常規(guī)的時滯神經網絡式(14).相應地,時滯憶阻神經網絡的動力學分析與控制問題就變得容易處理了.

5 時滯憶阻神經網絡的動力學行為與控制

基于憶阻器的時滯神經網絡模型首次被Hu等[16]提出以來,關于時滯憶阻神經網絡的動力學行為,例如,平衡點的數(shù)目及分布、可控性、可觀性、穩(wěn)定性(含鎮(zhèn)定)、吸引性、收斂性、周期震蕩性、耗散性、無源性、一致性、魯棒性、自適應性、狀態(tài)估計、分岔和混沌、分形,同步控制和跟蹤控制,除此之外,還有同宿(異宿)軌道性態(tài)分析、濾波和狀態(tài)邊界分析等方面的研究,已激發(fā)了國內外學者的濃厚興趣,并取得了豐碩的研究成果.其中文獻[16]被認為是國內外最早討論時滯憶阻神經網絡動力學行為的文獻.

研究基于憶阻器的神經網絡系統(tǒng)的動力學行為及控制問題,獲得的相關結果可應用于基于憶阻器的新型電路的結構分析和調控,進而有助于揭示不同材料制備的憶阻電路的內在動力學機理,為新型電子存儲材料研制和器件結構的研究提供理論指導.

下面重點綜述時滯憶阻神經網絡系統(tǒng)的穩(wěn)定性(鎮(zhèn)定)、耗散性與無源性、同步控制等方面的內容.

5.1 穩(wěn)定性與鎮(zhèn)定

近年來,隨著憶阻神經網絡系統(tǒng)在聯(lián)想記憶、信號處理及人工智能等領域應用和推廣,國內外越來越多的科研工作者開始關注憶阻神經網絡的動力學行為,其中穩(wěn)定與鎮(zhèn)定問題最受重視.眾所周知,系統(tǒng)穩(wěn)定是實際的工程系統(tǒng)能夠正常工作(運轉)的前提條件,也是人們設計控制系統(tǒng)和選擇控制策略的最基本要求.因此,時滯憶阻神經網絡的穩(wěn)定性與鎮(zhèn)定是控制科學與工程研究的一個重要分支.

5.1.1 無限時間的穩(wěn)定性與鎮(zhèn)定

自20世紀80年代以來,Lyapunov穩(wěn)定性理論被成功地應用于神經網絡系統(tǒng)穩(wěn)定性與鎮(zhèn)定分析,并已取得了一系列的成果,如文獻[30?48].憶阻神經網絡模型沒有脫離神經網絡模型的范疇,所不同的是,其連接權值由憶阻器的數(shù)學模型構成,從而使憶阻神經網絡成為一類由右端不連續(xù)的微分方程組成的特殊切換神經網絡.對于時滯MNNs穩(wěn)定性與鎮(zhèn)定的研究,目前通用的方法是前述的第二種方法,將時滯MNNs轉化為通常的時滯神經網絡進行穩(wěn)定性分析與鎮(zhèn)定研究.

文獻[49]針對具有時滯的憶阻神經網絡,提出基于M-矩陣的全局穩(wěn)定充分性判據(jù);Wen等在文獻[20]分析了帶有時變時滯的憶阻遞歸神經網絡的指數(shù)穩(wěn)定性問題,借助于新構造的Lyapunov-Razumikhin 函數(shù),獲得了這類系統(tǒng)指數(shù)穩(wěn)定的充分條件;Wu等[26]分析了一類時滯憶阻神經網絡的全局指數(shù)穩(wěn)定性和全局漸進穩(wěn)定,采用的分析方法不同于一般文獻,憶阻器的多端口效應沒有被忽略,而且所導出的代數(shù)判據(jù)容易實現(xiàn);Zhang 等[50]利用右端非連續(xù)微分方程的理論,研究了一類帶有混合時滯的MNNs動力學行為問題,得到了保證其周期解存在以及周期解全局穩(wěn)定的充分條件;胡進等[51]研究了一類時滯憶阻遞歸神經網絡全局一致漸進穩(wěn)定問題,得到了時滯相關一致漸進穩(wěn)定的判據(jù);文獻[52]研究了一類時滯憶阻遞歸神經網絡可靠鎮(zhèn)定問題;Zhang等[53]研究了一類時變時滯慣性憶阻神經網絡全局指數(shù)穩(wěn)定性;Bao等[54]分析了一類憶阻遞歸神經網絡的穩(wěn)定性,并討論了其在聯(lián)想記憶上的應用;Jiang 等[19]討論了一類時變時滯且同步切換的憶阻神經網絡的全局指數(shù)穩(wěn)定性問題;Li等[55]討論了一類含時變時滯及泄漏項的反應—擴散憶阻神經網絡的穩(wěn)定性;文獻[56]研究了一類混合時滯的模糊憶阻神經網絡指數(shù)鎮(zhèn)定問題;Xiao等[57]討論了一類時滯T-S模糊憶阻神經網絡在拉格朗日意義下的穩(wěn)定性問題;文獻[58]基于飽和數(shù)據(jù)抽樣控制法,研究了一類憶阻神經網絡指數(shù)鎮(zhèn)定問題.

以上討論的時滯MNNs系統(tǒng)都是確定系統(tǒng),沒有考慮隨機因素的影響.在實際應用中,憶阻神經網絡通過一系列電阻、電容、憶阻器和放大器等電子器件實現(xiàn).一方面,這些電子器件本身存在參數(shù)不確定性;另一方面,信號的儲存以及神經元之間的突觸傳輸都會受到隨機因素(如噪聲)的擾動.因而,分析時滯憶阻神經網絡穩(wěn)定性問題時,需要考慮這些隨機因素的影響,應當說,考慮隨機因素的憶阻神經網絡系統(tǒng)更接近實際系統(tǒng).王長弘等[59]運用Lyapunov泛函方法和隨機分析方法,研究了一類基于憶阻器的S-分布隨機時滯神經網絡的均方指數(shù)穩(wěn)定性問題,得到了該隨機系統(tǒng)均方指數(shù)穩(wěn)定的判據(jù);Sakthivel 等[60]研究了一類具有馬爾科夫跳變和脈沖隨機時滯神經網絡指數(shù)穩(wěn)定性問題;2014 年Li等[61]探討了一類隨機時滯憶阻神經網絡的指數(shù)穩(wěn)定性,采用Lyapunov 泛函和不等式的方法獲得了其指數(shù)穩(wěn)定的三個充分條件;Meng 等[62]對一類隨機混合時變時滯的憶阻遞歸神經網絡穩(wěn)定性進行分析,得到了該系統(tǒng)基于線性矩陣不等式的均方漸進穩(wěn)定和指數(shù)穩(wěn)定的充分條件.

5.1.2 有限時間的穩(wěn)定性與鎮(zhèn)定

需要指出的是,在已有關于各種時滯憶阻神經網絡穩(wěn)定與鎮(zhèn)定的結果中,以漸近穩(wěn)定性或指數(shù)穩(wěn)定及鎮(zhèn)定控制問題,即研究系統(tǒng)狀態(tài)在無窮時間收斂到平衡點的問題居多.隨著有限時間控制概念的提出與發(fā)展,時滯憶阻神經網絡的有限時間穩(wěn)定與有限時間鎮(zhèn)定問題引起了學者重視,也取得了一系列的結果.

Cai等[63]研究了基于憶阻器的神經網絡的有限時間鎮(zhèn)定控制;Li等[64]討論了一類馬爾科夫跳變(躍遷概率部分已知)憶阻神經網絡有限時間穩(wěn)定性;Wang 等[65]研究了時滯憶阻神經網絡有限時間鎮(zhèn)定和自適應控制問題;Sheng 等[66]研究了一類含混合時滯的模糊憶阻神經網絡拉格朗日意義下的指數(shù)穩(wěn)定和有限時間的鎮(zhèn)定問題,借助于微分包含和比較策略,得到了其全局指數(shù)穩(wěn)定的充分條件.

有限時間的鎮(zhèn)定結果依賴于系統(tǒng)狀態(tài)的初始時刻,這極大地限制所得結果在實際中的應用.為了避免這一局限,在有限時間控制的基礎上,人們又提出了固定時間控制的概念[67],固定時間的鎮(zhèn)定不依賴系統(tǒng)狀態(tài)的任何初始條件,是完全獨立的.但筆者至今尚未見到有關時滯憶阻神經網絡固定時間的鎮(zhèn)定問題的結果,是今后研究的一個方向.

5.2 耗散性與無源性

無源性作為耗散性的特例,起源于電氣網絡理論,廣泛存在于物理學、電路系統(tǒng)、應用數(shù)學以及力學等學科領域.在Kalman、Popov、Yakubovich 和Willems等超穩(wěn)定性、正實性等方面的大量工作基礎上,控制領域形成了系統(tǒng)的無源性和耗散性等相關理論.在實踐中,通過采用Lyapunov方法,無源性理論被廣泛應用于非線性系統(tǒng)的分析和控制.無源性的物理意義是它要求系統(tǒng)從外界吸收的能量要大于自身所提供的能量,因此,它能在本質特征上使系統(tǒng)保持內部穩(wěn)定.無源性在動力系統(tǒng)穩(wěn)定性分析、混沌控制、同步、信號處理、模糊控制等方面具有廣泛的應用.

由于耗散性是比無源性更廣泛的動力學性質,因而時滯憶阻神經網絡耗散性問題的研究比其無源性的研究更具有重要意義.于是,不少學者著手研究各種憶阻神經網絡的無源性和耗散性問題.文獻[68]第一次將無源性分析理論應用到時變時滯的憶阻神經網絡系統(tǒng)的無源性分析,得到了該系統(tǒng)指數(shù)無源性判據(jù);文獻[69]討論了一類含不同憶導和時滯的憶阻BAM(Bidirectional associative memory)神經網絡的無源性問題;文獻[70]研究了一類含泄漏時滯及兩個額外時滯的憶阻神經網絡耗散性與無源性問題;Cao等[71]討論了一類時滯反應—擴散憶阻神經網絡的無源性問題,通過利用不等式技巧和建立適當?shù)腖yapunov 泛函,得到了系統(tǒng)無源性的幾個充分條件,這些條件都是線性矩陣不等式形式表述,易于驗證;文獻[72]提出了一種倒數(shù)凸組合與Wirtinger積分不等式相結合的方法,討論了時滯憶阻神經網絡的耗散性問題,得到了時滯憶阻神經網絡嚴格耗散的時滯依賴充分條件.

近來文獻[73?74]將廣義耗散性概念應用于討論一般的神經網絡.緊接著,Xiao等在文獻[22]采納一般的神經網絡的廣義耗散性概念,研究了一類混合時滯的憶阻神經網絡廣義耗散性的問題,并導出了系統(tǒng)廣義耗散和無源的充分條件.Ding 等[75]討論了一類隨機離散時間的時滯憶阻神經網絡耗散性問題.

然而,正如文獻[76]所指出,神經網絡的耗散性與無源性近期結果都是基于構造Lyapunov-Krasovskii(簡稱LK)泛函的方法.依據(jù)LK泛函的方法所得結果,其保守性可作為時滯相關判據(jù)優(yōu)劣的重要指標,但由于構造LK泛函缺乏一般性的方法,完全有賴于研究者的經驗,使得文獻上的判據(jù)不同程度存在保守性.

由于憶阻器的不同,使得時滯憶阻神經網絡數(shù)學模型也不同,分析這些時滯憶阻神經網絡的耗散性與無源性問題的方法也迥異.如何借助非光滑分析理論及Lyapunov 方法開展時滯憶阻神經網絡的耗散性與無源性研究,得到時滯相關保守性更低的判據(jù),仍是一個開放問題.

5.3 同步控制

同步是自然界和社會生活中普遍存在的一種現(xiàn)象,如螢火蟲的同步發(fā)光現(xiàn)象,蟋蟀、青蛙、知了的集體鳴叫等.同步給人們的生產、生活既帶來不利影響,也帶來有利影響.比如,英特網上不同的路由器以同步的方式發(fā)送消息會引發(fā)網絡堵塞,人的大腦內的神經元出現(xiàn)大規(guī)模同步放電會導致醫(yī)學上癡癇癥的發(fā)生;混沌同步已被廣泛應用于通信系統(tǒng)、激光以及神經元系統(tǒng)等多個領域.因此,同步問題成為目前復雜網絡動力學的研究熱點之一[77?78].

眾所周知,憶阻神經網絡是一種非常重要的非線性電路網絡,其在很多領域都有廣泛的應用,比如其混沌同步已在保密通信上獲得應用[79?81],在圖形加密上也有應用[82].由于各種憶阻神經網絡系統(tǒng)自身無法實現(xiàn)同步,需要借助外部的力量,為此人們提出了各種各樣的控制方法和技術,以實現(xiàn)上述網絡系統(tǒng)的同步.譬如,自適應控制、模糊控制、脈沖控制、切換控制和間歇控制等.

2014年Zhang 等[81]采用非光滑分析,研究了基于周期間歇控制的時滯憶阻神經網絡的指數(shù)同步控制;Chen 等[83]利用Lyapunov函數(shù)的方法分析了分數(shù)階憶阻神經網絡的穩(wěn)定性和同步性;田小敏等[84]研究了一類具有死區(qū)輸入的分數(shù)階混沌系統(tǒng)的有限時間同步問題;2015年Wu 等[85]采用了Lyapunov函數(shù)方法和不等式技術,基于數(shù)據(jù)采樣控制法研究一類時滯憶阻神經網絡同步問題;Shi等[86]研究了一類憶阻器競爭時標神經網絡的同步問題,通過構造Lyapunov函數(shù)并采用微分包含理論,設計了一個線性反饋同步控制器;Chandrasekar等[87]基于二階倒數(shù)凸組合法,研究了一類具有兩個時滯的憶阻神經網絡的同步問題;文獻[88]研究了一類帶有不同時滯的憶阻遞歸神經網絡的指數(shù)同步控制問題;文獻[89]運用魯棒分析法,討論了一類時滯憶阻神經網絡的同步控制問題;文獻[90]運用隨機非線性脈沖控制法,研究了時滯憶阻雙向聯(lián)想記憶神經網絡同步問題;謝濤[91]研究了帶有時變時滯的憶阻神經網絡同步問題,通過運用菲利波夫解框架、微分包含理論、自適應控制技術,用一種新穎的Lyapunov 函數(shù)設計了驅動—響應系統(tǒng)的自適應同步規(guī)則,獲得了帶有時滯的憶阻神經網絡的自適應同步充分條件;Song等[92]基于驅動—響應的概念和隨機微分包含理論,研究了混合時滯隨機憶阻遞歸神經網絡的同步性;文獻[93]基于非光滑分析和隨機微分包含理論,研究了時變時滯隨機憶阻神經網絡的同步控制問題.

同樣地,在時滯憶阻神經網絡的同步控制中,也存在有限(固定)時間的同步控制問題,即有限(固定)時間內實現(xiàn)同步,如文獻[94?98].應當說,有限(固定)時間的同步控制比無窮時間的同步控制更實用.

在動力系統(tǒng)分析中,關于同步的定義有很多種,除了前述的通常同步、滯后同步和有限時間同步外,還有完全同步(Complete synchronization),反同步(Anti-synchronization)、相位同步(Phase synchronization)、函數(shù)投影同步(Function projective synchronization)、聚類同步(Cluster synchronization)、向前同步(Anticipated synchronization)、廣義同步(Generalized synchronization)、間歇滯后同步(Intermittent lag synchronization)等等.自然地,時滯憶阻神經網絡的同步控制也涵蓋這些類型,限于篇幅,這里不再贅述.

為了得到時滯憶阻神經網絡保守性更低的動力學行為的結果,研究者首先需要搞清楚時滯相關判據(jù)的保守性的存在原因.總的來說,筆者認為,結果的保守性主要來自兩個方面:一是LK泛函的構造仍不合理,二是所構造的LK泛函對時間的導數(shù)被過度放大或LK泛函對時間導數(shù)的上確界沒找到.因此,為了得到保守性更低的動力學行為判據(jù),構造一個恰當?shù)腖K泛函就尤為重要.而為了構造一個適當?shù)腖K泛函,有兩種途徑:一是通過在狀態(tài)指標項里增加時滯項來擴充LK泛函,二是通過分割時滯區(qū)間來構造LK泛函,但不存在一般性的構造方法.此外,就是巧妙處理所構造的LK泛函對時間的導數(shù).處理這個問題有兩個主要辦法:利用各種積分不等式和增加自由權矩陣.通常情況下,可以通過引入零等式和S過程的方法來增加自由權矩陣.如何通過在LK泛函的狀態(tài)指標項里(如三次積分)增加一些時滯項來構建LK泛函,仍然是個值得探索的問題.并且,在新構造的LK泛函中,怎樣有效地增加自由權矩陣和利用最新的積分不等式尋找更低保守性的結果,依然是個有趣的挑戰(zhàn).

5.4 其他動力學行為分析與控制

上面主要綜述了時滯憶阻神經網絡的穩(wěn)定性與鎮(zhèn)定、耗散性與無源性和同步控制等動力學行為,應該說,這幾個方面研究得比較充分,取得了豐碩成果.但如前所述,時滯憶阻神經網絡的動力學行為包括很多方面的內容,其中不乏有至今無人研究的方面,如可控性、可觀性和解耦等,另外,有些方面研究也處于起步階段,成果非常有限,仍值得人們去探索.下面對時滯憶阻神經網絡其他方面的研究作簡單綜述.

Guo等[17]分析了時滯憶阻細胞神經的不變形和吸引性,得到該系統(tǒng)有界和全局吸引的充分條件,同時指出,n階基于憶阻器的細胞神經網絡位于分段線性激活函數(shù)飽和區(qū)域內的平衡點個數(shù)為這個數(shù)量是不含憶阻器的細胞神經網絡平衡點的倍,使得基于憶阻器的細胞神經網絡的存儲能力急劇增大,從理論上解釋了憶阻神經網絡具有強大的存儲能力.文獻[99]借助M-矩陣理論、微分包含理論和Mawhin-like收斂定理,證明了一類時變時滯的憶阻Cohen-Grossberg 神經網絡的網絡系統(tǒng)周期解的存在性.文獻[100]討論了一類離散時滯憶阻神經網絡H∞狀態(tài)估計問題.Liu 等[101]研究了一類隨機時滯離散憶阻神經網絡H∞狀態(tài)估計問題;Rakkiyappan 等[102]基于無源性理論,討論了一類時滯憶阻遞歸神經網絡狀態(tài)估計問題;Li等[103]研究了一類時滯分數(shù)階的憶阻神經網絡非脆弱的狀態(tài)估計;Liu 等[104]解決了一類混合時滯離散憶阻神經網絡H∞狀態(tài)估計問題;Xiao等[105]提出了一類時滯憶阻神經系統(tǒng)模型,討論了其穩(wěn)定性和分岔問題,特別是分岔問題的解決豐富了時滯憶阻神經系統(tǒng)動力分岔的研究.

5.5 時滯憶阻神經網絡動力學行為與控制研究新方向

除了整數(shù)階的憶阻神經網絡,近期人們轉向分數(shù)階的憶阻神經網絡的動力學行為研究.當然,分數(shù)階的憶阻神經網絡比整數(shù)階復雜,需要更深奧的分數(shù)階的微積分的數(shù)學知識.Chen 等[83]借助Lyapunov方法研究了基于憶阻器的分數(shù)階神經網絡的Mittag-Leffler穩(wěn)定性和同步問題;文獻[84]研究了一類分數(shù)階憶阻神經網絡有限時間同步問題;張瑋瑋等[106]研究了一類基于憶阻器分數(shù)階時滯神經網絡的修正投影同步問題;Rakkiyappan等[107]借助廣義Gronwall不等式和Laplace變換研究了分數(shù)階復數(shù)值的憶阻神經網絡的有限時間穩(wěn)定性問題;Wu等[108]研究了一類分數(shù)階的憶阻神經網絡全局Mittag-Leffler鎮(zhèn)定問題.

起初,人們研究的時滯憶阻神經網絡都是一階的,最近有學者開始研究高階(二階)時滯憶阻神經網絡,即帶有慣性項的時滯憶阻神經網絡,如Zhang 等在文獻[109?110]中,建立了一類二階時滯憶阻神經網絡數(shù)學模型.對于高階(二階)憶阻神經網絡的動力學行為的分析,一般都采用降階法,如文獻[109,111?117].近期學者開始尋找新的方法討論這類問題,這種新方法直接處理高階(二階)憶阻神經網絡而不需要降階,所以稱之為非降階法,如文獻[110,118?119].Tu 等[112]用降階方法討論了一類二階中立型慣性憶阻神經網絡的全局耗散性問題;Wang 等[113]采用降階法研究了一類二階混合時滯的慣性神經網絡全局拉格朗日穩(wěn)定;Huang 等[115]借助降階法,通過數(shù)據(jù)抽樣控制,研究了一類二階慣性憶阻神經網絡的有限時間的同步控制問題.文獻[110]采用非降階法討論了一類帶慣性項的二階時滯憶阻神經網絡全局鎮(zhèn)定問題,通過構造新的Lyapunov泛函和設計狀態(tài)反饋控制器,得到了使其全局鎮(zhèn)定的判據(jù);Zhang等[119]基于非光滑分析、Lyapunov穩(wěn)定性理論和自適應控制理論,運用非降階法討論了一類二階混合時滯憶阻神經網絡的鎮(zhèn)定問題,得到了保證這類系統(tǒng)全局鎮(zhèn)定的一些新結論.筆者認為,非降階法優(yōu)于降階法,降階法借助變量代換來實現(xiàn),變量代換處理這種右端不連續(xù)的憶阻神經網絡系統(tǒng),得到的結果嚴密性會弱一些.

此外,鑒于憶阻多層神經網絡(Memristive multilayer neural networks,MMNN)在邏輯運算、圖像處理、模式識別等領域應用前景十分廣闊[120?122],人們的研究也由憶阻單層神經網絡轉向憶阻多層神經網絡[123?125].不過,憶阻多層神經網絡設計目前仍然是一個難題.

筆者最近從事網絡系統(tǒng)的自適應容錯跟蹤控制[126?127]及有限時間的一致性控制[128?129]等方面的研究,希望下一步將這些控制推廣到時滯憶阻神經網絡系統(tǒng),得到相應的結果.

6 總結與展望

基于憶阻器的人工神經網絡具有一般人工神經網絡無法比擬的優(yōu)點,設計滿足人們實際需要的憶阻神經網絡是一項重要的工作.為了完成這項工作,必須搞清憶阻神經網絡系統(tǒng)的動力學行為.由于憶阻神經網絡不同于常規(guī)的神經網絡,它是狀態(tài)依賴的切換系統(tǒng),其右端是非連續(xù)的,加上時滯的存在,大大增加了動力學行為的分析難度,導致人類對憶阻神經網絡動力學的研究仍然處于初級階段,至今還沒有一個完善的普適性理論分析其動力學行為特性.

本文綜述了基于憶阻器的時滯神經網絡動力學與控制問題,重點綜述了其穩(wěn)定性、耗散性與無源性和同步控制問題.事實上,時滯憶阻神經網絡動力學行為包括很多方面,如可控性、可觀性、穩(wěn)定性(含鎮(zhèn)定)、吸引性、收斂性、周期震蕩性、耗散性、無源性、一致性、魯棒性、自適應性、狀態(tài)估計、分岔和混沌、分形,同步控制和跟蹤控制,還有同宿軌道性態(tài)分析、濾波等方面.

人工神經網絡理論發(fā)展至今,已經日趨成熟,其硬件上的實現(xiàn)有望構成非馮·諾伊曼結構的計算機系統(tǒng).由于晶體管工藝的局限性,傳統(tǒng)計算機系統(tǒng)中基于晶體管的集成電路體積已經縮小到了極限,很難再繼續(xù)滿足摩爾定律.用新型材料的電路設備取代晶體管已成為必然,也是研究熱點.憶阻器作為最有希望取代晶體管的新型設備之一,具有許多優(yōu)良的性質,比如非易失性、高集成度、低功耗、良好的可擴展性等,被用來研發(fā)新型的存儲器和神經計算系統(tǒng).憶阻單層神經網絡在芯片上的實現(xiàn)有望徹底改變計算機處理信息的方式,構建非馮·諾伊曼計算機系統(tǒng).而憶阻多層神經網絡應用十分廣泛,可用于邏輯運算、圖像處理、模式識別等領域.不過憶阻多層神經網絡設計仍然是一個難題.

目前,國內外關于憶阻器的研究主要集中在三個方面:1)憶阻器的制造技術,即尋找經濟、實惠的材料制造具有憶阻特性的器件;2)由憶阻器構建的系統(tǒng)的動力學分析及其控制;3)將各種憶阻器配置到傳統(tǒng)的電路中,構建滿足人們需要的憶阻電路.

隨著實現(xiàn)憶阻功能的模型與機理的不斷提出,憶阻器已在模型分析、基礎電路設計、電子器件和集成電路設計以及生物神經記憶行為仿真等領域嶄露頭角.我們充分相信,隨著更多憶阻模型與機理不斷建立和揭示,相關結果必將給憶阻器和憶阻網絡系統(tǒng)的應用帶來廣闊的前景.我們認為,對憶阻器和憶阻神經網絡系統(tǒng)更深入的研究,將為電路、信息材料、人工智能等領域帶來新的發(fā)展機遇.