大規模超環神經網絡分岔動力學

張躍中 肖 敏 王 璐 徐豐羽

眾所周知,神經網絡在信號處理、自動控制、聯想記憶、人工智能[1]、生物醫學治療等領域有著廣闊的應用前景,這些基本應用在很大程度上依賴于神經網絡的動力學特性.由于神經網絡動力學是生物生理學和非線性動力學的交叉學科,研究其穩定性、振蕩、分岔、混沌和同步等多種動力學行為具有生物學和動力學意義[2].一般來說,神經網絡具有大規模的非線性動力學性質和復雜的行為,為進一步把握神經網絡的動力學本質,大批研究者將研究重點放在簡單的神經網絡模型上[3-5],為尋求大型復雜神經網絡的研究方案做鋪墊.例如,在文獻[3]中,作者提出了3 個神經元的神經網絡模型;文獻[4]研究了7 個神經元的神經網絡模型;文獻[5]研究了具有雙向聯想記憶五維神經網絡.顯然,如果僅僅研究一個簡單的網絡,一些復雜問題可能會被忽略,并且在現實生物學中神經網絡以及網絡的構建模型都是錯綜復雜,多種多樣的.因此,本文提出一類大型神經網絡的研究是極具理論價值和實踐價值.

在如神經網絡、生物模型和進化生態學等大多數實際的動態網絡中,時間延遲的存在是難以避免的.然而,由于時滯的存在,系統可能變得不穩定,系統的動態行為變得更加復雜.在神經網絡中,由于突觸中信號傳播速度和處理時間的有限性,不同相鄰神經元之間的通信存在時滯差異.人們對研究具有時延的神經網絡的動力學越來越感興趣,理論成果也相繼發表.因此,以時滯(離散時滯[6]、分布式時滯[7]、多時滯[8]、泄露時滯[9-11]等)作為研究對象,分析神經網絡的特性和動力學以及控制時滯系統的動態行為是十分必要和重要的.

在動力系統中,可通過分岔方法獲得某些豐富的動力特性,這是無可爭辯的.分岔方法的優越性在于能捕捉復雜系統的內在性質,涉及振蕩行為出現的分岔可以幫助理解網絡中觀察到的參數敏感性,并提供有利于網絡的信息[12-14].例如,對于帶有抑制的環結構遺傳模型,其漸近行為得到廣泛的檢驗.大腸桿菌循環抑制網絡模型的建立[15]就是很好的體現.分岔的種類也有很多種,其中隨著參數的變化,系統在穩定與不穩定之間切換的平衡點被稱為Hopf 分岔點[16].近年來,對神經網絡有關Hopf分岔分析進行了大量的數學研究,人們可以通過Hopf 分岔的深入而清晰的認識某個網絡,可以提供有用的網絡信息,為網絡的應用提供更多的可能性.因此,研究神經網絡的Hopf 分岔具有重要意義.此外,Hopf 分岔可以由延遲誘導的生物系統是如何表現出周期性響應,更準確地說,由時間延遲引起的Hopf 分岔可以得到一些有趣的結果,如延遲與振蕩幅度的關系.還有研究表明,這些Hopf 分岔分析有助于生物視覺信息的快速處理,并可用于預測大腦的病理狀態.

顯然,具有時滯依賴的高維神經網絡的動力學特性是值得研究的,但影響其動力學的因素很多,其中網絡結構也是關注的因素之一.眾所周知,約有1 000 億個神經細胞組成了人的大腦,每個神經細胞可長出2 000 至數萬個樹突與其他神經細胞連接.然而人腦的開發僅有1%,倘若能進一步的開發或者未來通過人工神經網絡來學習生物神經網絡將是極具意義和價值的.在人腦和脊柱中,大量的神經元構成一個大型的復雜神經網絡,通過網絡的結構特性也可以簡單地剖析成放射狀網絡、鏈狀網絡和環狀網絡等.因此,以結構作為研究點是極具代表性和研究價值的.例如Xiao 等[17]提出了具有輻射狀的神經網絡模型;Bootan 等[7]和Huang 等[18]研究了具有單環狀的神經網絡模型.其次,科研者更多提出的是形式單一且結構簡單的網絡,依舊缺少具有多類網絡結構組合的大型網絡.為此,本文提出一類融合多種結構的超環神經網絡模型.如圖1示,由超多環形網絡組合的大型神經網絡圖,即體現了神經網絡的環狀、輻射狀,也可簡化到鏈狀形態.此外,研究這些簡化的連通性結構的目的是進一步理解具有更復雜連通性的遞歸網絡行為的機制,以及研究復雜網絡中相互連接的模式,即網絡基序[19],對于了解整個網絡的動態行為是非常重要的.

在上述研究基礎上,本文提出一類基于時滯誘導且融合了多種結構和高維性的超環神經網絡,對該類網絡的穩定分析及分岔現象問題進行研究.本文的主要貢獻如下:

1)提出一類高維超環神經網絡,該網絡不僅融合了多類結構,也體現了一般性.

2)針對大型神經網絡,選用離散時滯作為分岔參數,討論其網絡所帶來的新型穩定性及分岔理論.

3)引用矩陣與線性方程組的圖解法,解決一類規則性高維復雜網絡模型的特征方程問題.

1 建立結構型高維神經網絡模型

本文研究了多時滯誘導的具有n2個神經元組成的一類復雜的神經網絡.針對該網絡,首先繪制出簡化的神經網絡模型圖(見圖1),對應的數學表達式如下:

圖1 一類融合多種結構的超環神經網絡模型圖Fig.1 Model diagram of a class of super multi ring neural network fused with multiple structures

注 1.生物神經網絡具有多姿多態、復雜多變的特性,僅對輻射狀或環狀網絡模型的研究與實際神經網絡還有一定差距.因此,有必要構建一類有機復合多種結構的一般性網絡.網絡(1)的提出融合了環型和輻射狀的結構,并將低維擴展到高維,使其能更準確地描述真實神經網絡.

本文主要研究大型神經網絡(1)的穩定性和分岔問題.建立網絡(1)的分岔條件,并討論時滯、結構對網絡(1)分岔的影響.為推論出網絡(1)的有關穩定性和分岔現象的基本結果,需要并可以作以下假設.

假設 1.

顯然,由假設1 可得,網絡(1) 具有平衡點O(0,0,···,0)1×n2.

注 2.網絡(1)是高維多時滯系統,擁有不唯一的平衡點.即,除了平凡平衡點O(0,0,···,0)1×n2外,可能還有其他平衡點.本文重點研究原點O(0,0,···,0)1×n2鄰近的局部動力學行為,比如局部穩定性和Hopf 分岔.關于其他平衡點的動態演化行為,可以通過坐標變換將平衡點平移到原點,之后的處理方法類似.因此,僅討論原點的局部動力學特征是具有代表性的.

假設 2.

注 3.由于神經元間連接強度、突觸等因素的影響,信息傳輸的時間延遲不同.網絡(1)很好地體現了信息傳輸時滯的相異性.本文重點研究神經網絡的環狀結構.因此,假設2 展現了外環和中心環的時滯和是相等的.這樣既可以簡化模型分析,又可以很好地保留環狀特性.

2 局部穩定性和Hopf 分岔

本節研究時滯對網絡(1) 穩定性和分岔的影響,并從數值分析上準確地確定分岔點與時滯的關系式.針對網絡(1),基于假設1 可得到在平衡點處線性化模型為

注 4.已知系統的局部穩定性和Hopf 分岔閾值取決于系統的一次項部分.因此,對網絡(1)進行線性化處理,期望得到其穩定性條件和分岔判據.

針對該雅可比矩陣,利用矩陣與線性方程組的圖解法[20]并給出如下引理.

2.1 無時滯狀態

當τ=0 時為無時滯狀態,在此狀態下判斷系統的初始穩定情況.因此,特征方程(3)可退化為:

引理 2.當滿足條件ΔI ＞0,(I=1,2,···,n2)時,式(5)的所有根都分布在坐標軸的左半平面.

證明.由赫爾維茨判據[21]可知,若某特征方程各項系數所構成的主行列式及其順序主子式都為正,則該特征方程的解都是具有負實部的解.因此,利用赫爾維茨判據,由 ΔI ＞0,(I=1,2,···,n2)易得式(5)的所有根都分布在坐標軸的左半平面.

2.2 有時滯狀態

由第2.1 節可知,在無時滯狀態下可以判斷出網絡的初始狀態是否穩定,進而隨著時滯的引入,分析總結出網絡穩定性及分岔的條件.首先,在時滯狀態下令ξ(λ)=(λ+ρ)neλτ對式(4)進行簡化,可得:

由于ξ(λ)前的系數是已知常數,所以可定義ξj(λ),j=1,2,···,n為式(7)所對應的n個解.其次,為尋找臨界值(分岔點),需找取式(7) 的純虛根,進而假設λ=iω.令ξj(λ)=αj+iβj,?j=1,2,···,n代入式(7),整理可得:

顯然,式(8)是一個ω的復值等式,為了解決未知變量ω和τ的問題,可以將式(8)分解成實部部分和虛部部分,拆分的等式如下:

針對式(9),利用克拉默法則容易推得:

由 cos2(ωτ)+sin2(ωτ)=1 可推得:

取ε=ω2,對式(11)進行展開整理得:

其中,Ak,?k=1,2,···,n-1 為式(11)展開式有關ε的系數.在此,定義h(·)函數 :

3 數值算例與仿真

本節使用一個數值例子來仿真驗證所得到的理論推導.神經網絡中激活函數常用 t anh(·)表示.考慮以下系統:

然后,給出數值仿真所需的初始參數(見表1).

表1 網絡(15)的初始參數設定表Table 1 Initial parameter setting table for network (15)

本節討論時滯對網絡(15)穩定性和分岔的影響.首先,根據第2 節理論推導出分岔點τ0=3.22 s,其次,驗證無時滯時網絡(15) 的特征方程子行列式的值是滿足引理1 的假設.最后,根據定理1可知,當選取時滯為τ=3.15 s＜τ0時,網絡(15)是穩定的,顯然圖2 的仿真圖是對應的,可以看到網絡在平衡點附近是漸近穩定的.當τ=3.3 s＞τ0時,仿真結果見圖3,網絡的平衡點不穩定,并且明顯地可以觀測到相圖中出現了極限環.顯然,數值仿真的結果本文的結論是相統一.說明所得的分岔結果是非常精確和有效的.

圖2 當 τ=3.15 s ＜ τ0時,網絡(15)漸近穩定Fig.2 When τ=3.15 s ＜ τ0,network (15)is asymptotically stable

圖3 當 τ=3.3 s ＞ τ0 時,網絡(15)失穩Fig.3 Network (15)is unstable when τ=3.3 s ＞ τ0

本文研究大規模超環神經網絡的動力學演化行為.進一步,通過數值仿真給出環的個數和神經元數量對神經網絡分岔的影響規律.選取表1 中的自反饋系數ρ和耦合連接權重,并假設外環神經元個數為3.表2 展現了網絡結構對穩定性和分岔的影響.顯然,隨著環數和神經元數量的增加,分岔點逐漸減小,即穩定閾值變小,Hopf分岔將提前發生.這意味著網絡規模越大,環狀結構越多,系統的穩定性越差.

表2 結構變化影響分岔點位置情況表Table 2 Table of the influence of structural change on the location of bifurcation points

4 結論

本文選取時滯作分岔參數,研究了一類大規模超環神經網絡的穩定性與分岔動力學.研究重點主要包括以下3 個方面:1)將簡單的單環神經網絡模型推廣到一般的大規模多環網絡模型;2)通過分析特征方程根的分布情況,給出了網絡的穩定性及產生分岔現象的條件;3)揭示了網絡規模和環的個數對網絡動力學的影響規律.

超環神經網絡模型的提出及研究是具有前瞻性的,此外,未來研究工作的延伸和方向性的指導將更有助于實際神經網絡的應用.為此,后續將開展以下工作:1)考慮雙向連接及多類型時滯融合的大規模神經網絡的分岔動力學;2)將整數階神經網絡推廣到分數階神經網絡,研究階次對動力學的影響;3)設計可行控制策略,優化神經網絡的動態演化過程.