暫態混沌神經網絡及其在優化問題中的應用研究

彭景斌　葉進寶　王雪嬌

摘 要：為了分析研究暫態混沌神經網絡特性及其優化機制，在分析與研究暫態混沌神經元模型基礎上,通過在Matlab軟件中編程仿真分析，比較神經網絡的動力學特性及各參數對于網絡的尋優過程影響。暫態混沌神經網絡模型利用混沌所固有的隨機性和軌道遍歷性，在大范圍內按其自身規律進行搜索,搜索過程按混沌軌道遍歷,不受目標函數限制,從而具有克服陷入局部極小的能力可有效地解決一系列組合優化問題。這里根據網絡動力學特性合理選擇控制網絡參數，通過仿真很好地解決了非線性函數優化問題和10個城市的TSP問題。相對于傳統參數選擇依靠經驗使優化結果更具說服力， 優化結果令人滿意。從而有利于這種混沌神經網絡在優化問題中的推廣。

關鍵詞：暫態混沌神經網絡;優化問題;非線性函數優化;TSP

中圖分類號：TP183 文獻標識碼：A 文章編號：1004－373X(2009)04－076－04

Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research

PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3

(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;

3.University of South China,Hengyang,421001,China)

Abstract：For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non－linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.

Keywords：transient chaotic neural network;optimization;non－liear function optimization;TSP

0 引 言

生物神經網絡是一個非常復雜的非線性巨系統,存在各種復雜的動力學行為,在生物學實驗中人們已觀察到人腦和動物神經系統中的各種混沌行為。由于人工神經網絡是對生物神經網絡的模擬,因而深入研究人工神經網絡中的復雜動力學(特別是混沌)對于提高人工神經網絡的智能化程度具有重要意義。人工神經網絡的一個重要應用領域是用于優化。神經網絡的尋求穩定平衡點的大規模并行計算能力對于優化問題是強有力的工具,但由于其利用梯度下降的動力學,因此在求解許多實際優化問題時常陷入局部極小值。由于混沌具有遍歷性、隨機性、規律性的特點,混沌運動能在一定范圍內按其自身的規律不重復地遍歷所有狀態,因此,利用混沌變量進行優化搜索,無疑會比隨機搜索更為優越。混沌動力學為人們研究神經網絡提供了新的契機,用神經網絡研究或產生混沌以及構造混沌神經網絡,混沌神經網絡具有更加豐富和遠離平衡點的動力學特性。混沌動力學是以對初始條件的敏感性以及在相空間的不停運動為特征的,這一特點使得混沌成為很好地在狀態空間進行搜索的機制,當將其用于優化時,它具有逃離局部極值的能力。正是基于這個機制,這里研究了暫態混沌神經網絡模型和其優化問題中的應用,它具有暫態的混沌動力學行為,可以對狀態空間做暫時的搜索。

1 暫態混沌神經元

混沌神經元是標定混沌神經網絡的基本單位,對于單個神經元的混沌特性的了解可為混沌神經網絡提供必要前提和認識基礎。在混沌神經元的研究中,振蕩子是一種典型的研究對象,因為振蕩子或它們的組合可表現出豐富的混沌動力學行為，為了理解混沌神經網絡的運行機理,在此以單個神經元為例檢驗該網絡的混沌動力學行為。首先給出暫態混沌神經網絡模型:

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(k)〗-

gi(t)И

當Е聯=0時單個神經元的網絡模型：

Иu(t+1)=ku(t)－g(t)(1)

v(t)=11+exp{－μu(t)}(2)

gi(t)=(1－β)gi(t+1)(3)

η(t+1)=η(t)ln{e+λ}(4)И

在Matlab中仿真混沌神經元模型進行模擬仿真，對式（1）~式（4）隨機取參數Е=0.7,β=0.001,λ=0.006,μ=300Щ煦縞窬元內部狀態的演變如圖1所示。

圖1 混沌神經元狀態演化圖

對于這里的單個混沌神經元的動力學特性和控制參數的演化過程進行仿真與研究。

圖2、圖3是在式（1）~式（4）取參數k=0.9,β=0.001,λ=0.006，g(0)=0.08時單個神經元的動力學特征和控制參數的退化曲線，可以看出式（1）~式（4）組成的網絡具有暫態混沌動力學的行為，隨著控制參數在時間上的不斷衰減，通過一個倍周期倒分叉過程，網絡將逐漸趨于穩定的平衡點。

圖2 單個神經元的動力學特征

圖3 控制參數的退化曲線

圖4、圖5中k=0.9,β=0.003,λ=0.006，g(0)=0.08，由于圖4，圖5相對于圖2和圖3只是β增大，但可以知道β增大有利于加速收斂，但優化質量會有所下降，從網絡的動態方程可知，β增大使能量函數對動態方程的影響增大，如影響過大，將不能產生充分地混沌動態；反之太小的β使能量函數的變化不能充分的影響動態的演變，從而搜索過程難以收斂到對應最小能量值的最優解，同時過分的混沌搜索將導致優化過程變長。

圖4 單個神經元的動力學特征

圖5 控制參數的退化曲線

圖6、圖7中k=0.9,β=0.001,λ=0.008，g(0)=0.08，由圖6，圖7相對于圖2和圖3只是λ增大，然而可以知道λ增大有利于加速收斂，但優化質量會下降，λ的大小反應控制參數Z（t）的下降速率的快慢，過大的λ會使Щ煦綞態消失的過快，從而容易收斂到局部最小或非法狀態；反之混沌動態持續太久，將嚴重影響收斂速度。

圖6 單個神經元的動力學特征

圖7 控制參數的退化曲線

圖8、圖9中k=0.9,β=0.001,λ=0.008，g(0)=0.10，由圖8和圖9相對于圖2和圖3只是Z(0)增大，但可以知道Z(0)減小有利于加速收斂，但算法收斂到次優解的概率將增加，加快Z的下降速度，一旦混沌行為不充分則必然影響優化性能；反之Z(0)過大將使得下降過程過慢，從而混沌對系統演化過程的影響過大，收斂必然緩慢。

圖8 單個神經元的動力學特征

圖9 控制參數的退化曲線

2 暫態混沌神經網絡

上述部分對單個無反饋神經元的動力學特性和控制參數進行了仿真與研究，下面系統地對混沌神經網絡進行研究。顯然暫態混沌神經網絡有反饋項，而且還是許多單個的神經元構成，其構成是將混沌機制引入到Hopfield神經網絡中，構造出具有自組織特性和克服局部極小能力的暫態混沌神經網絡，其數學模型如下：

Иui(t+1)=kui(t)+αj≠1wijvj+θ-s1(K)〗-

gi(t)(5)

vi(t)=11+exp{－μui(t)}(6)

gi(t)=(1－β)gi(t+1)(7)

ηi(t)=ηi(t－1)ln{e+λ}(8)И

其中：式（5）為混沌神經網絡的動態方程；式（6）為神經網絡的激勵函數。ui和vj為神經網絡在K時刻的輸入和輸出；wij為從第j個神經元到第i個神經元的連接權值；k為比例常數；θ為神經元偏置；S1(K)，S2(K)為外加的混沌變量；β和λ為時變量gi(t)和ηi(t)У乃ゼ躋蜃印Hopfield神經網絡離散型模型為：

Иui(K+1)=(1－Δtτ)ui(K)+Δtβ′［∑njwijvj(K)+θ］

=kui(K)+β［∑njwijvj(K)+θ］(9)И

比較混沌神經網絡和Hopfield神經網絡模型只是在Hopfield神經網絡后面加上В璯i(t)項，變量gi(t)表示每個神經元的抑制自反饋鏈接的強度，當t→0,gi(t)→0,Щ煦縞窬網絡退化為神經網絡暫態混沌神經網絡模型綜合了隨機性和確定性算法的優點。優化過程分為基于混沌的“粗搜索”和基于Hopfield神經網絡“細（梯度）搜索”兩個階段。粗搜索中的混沌搜索同時具有隨機性和軌道遍歷性，具有克服陷入局部極小的能力。隨機性保證大范圍搜索能力，軌道遍歷性使算法能按系統自身的行為不重復地遍歷所有可能狀態，有利于克服一般隨機算法中以分布遍歷性的機制搜索帶來的局限性。粗搜索過程結束，轉入HHN梯度搜索及細搜索階段，隨著粗搜索結束，系統方程中控制參數決定項的作用很弱，及暫態混沌動力行為消失后，網絡優化過程基本按能量函數的梯度下降方向進行。此時的行為類似于Hopfield神經網絡尋優過程。系統最終收斂于一個穩定的平衡點，即收斂到全局意義下較滿意的解。

算法流程圖如圖10所示。

3 暫態混沌神經網絡模型在優化問題中的應用

3.1 在函數優化中的應用

求解下述非線性優化問題:

ИF(x)=(x1-0.8)2+

(x2-0.6)2И

目標函數的全局最小點為：（0.8，0.6）；局部極小點為有3個：（0.7，0.5），（0.7，0.6），（0.8，0.5）。以min F(x)為網絡的能量函數進行優化求解并給定相應的網絡參數和網絡初始值。

計算結果見表1。

表1 計算結果

全局最優解對應最優解迭代次數

理論解0.000.8，0.6-

混沌解1.478E－0070.799，0.59990

在此給出網絡的神經元的輸出X(t)隨時間的演化過程（隨時間變化）：如圖11所示。

圖10 優化流程圖

圖11 神經元1的輸出X1(t)和神經元2的輸出X2（t）

兩個神經元的輸出函數的初始狀態是不可預測的混沌運動，隨著非線性反饋強度的逐漸減弱，經過短暫的分叉過程后，最終收斂到網絡的穩定狀態（0.8，0.6）處。因此該網絡具有避免陷入局部極小值的能力，從而實現全局優化。

3.2 應用于TSP問題（10個城市TSP問題）

TSP問題是一類典型的組合優化難題,它要求旅行商用最短的路徑走遍地圖上的n個城市而且只能訪問一次,最后回到起始點。TSP問題分為對稱TSP(dij=dji)和非對稱TSP(dij≠dji)。其中：dij表示城市i與城市j之間的距離；對稱TSP的可能路徑有(n-1)!/2條,非對稱的有(n-1)!條。顯然,用窮舉法來尋找最短路徑將花費大量的時間,而且若城市數量大，則該方法幾乎是無法解決TSP問題的。1985年,Hopfield與Tank構造了TSP問題滿足所有限制條件的一個能量公式：

ИE=w12 i=1(∑njxij－1)2+∑nj=1(∑nixij－1)2〗

+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj－1)xijdikИ

同時,結合HNN算法成功地解決了TSP問題。但是對于10個城市的TSP問題,20次實驗中,只得到16次合法解,10次最優解通過分析得到解決TSP問題的差分方程：

yij(t+1)=kyij(t)+α{－w1 i≠jxij(t)+

∑nk≠ixkj(t)〗－w2 k≠idik(xkj+1(t)+xkj－1)〗+

w1}-zi(t), i=1,2,…，n

對于10個城市的TSP問題,原始數據取自文,參數選取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;變動β,λ,隨機選取初始值仿真120次得到表2的仿真結果。

表2 仿真結果

Е力婁霜ё鈑漚猹な目次優解な目平均迭代ご問

0.020.060.011173320

0.020.040.011200289

0.020.040.024254

0.030.020.012241

從表2中取出1組數據Е=0.03，β=0.02，λ=0.01，神經元輸出能量函數演化圖以及最優路徑如圖12所示。

圖12 10個城市TSP最短路徑仿真圖

對圖12分析可以得到：模型中存在很多參數需要選取。輸入正比例系數Е劣跋斕代步數的多少與模型混沌動態性能,過小的α值使迭代步數增加,過大的α值則減弱模型混沌動態性能,故應該仔細選取該參數;β控制增益函數的衰減速率,這個參數將顯著影響尋優過程的收斂速度,較小的β值將會加快收斂速度;較大的λ值會加快收斂速度但會使混沌動態消失過快,從而影響尋優結果,較小的λ值會使混沌動態作用時間加長而使收斂速度變慢。

4 結 語

暫態混沌神經網絡利用混沌所固有的隨機性和軌道遍歷性在大范圍內按其自身規律進行搜索,搜索過程按混沌軌道遍歷,不受目標函數限制,從而具有克服陷入局部極小的能力。當混沌搜索結束以后,網絡進入類似Hopfield網絡的梯度搜索過程,由于混沌搜索為梯度搜索提供了一個好的位于全局最優解附近的初始值,因而可以較快地獲得全局意義下的最優解。通過實例仿真分析，比較暫態混沌神經網絡在優化方面顯示出了其優化方面的優勢和較好的發展前景。

參 考 文 獻

［1］Aihara K,Takabe T,Toyada M.Chaotic Neural Networks［J］.Phys.Letters A,1990,144(6/7):333－340.

［2］Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map［J］.Physica D,1994,75(1－3):179－189.

［3］張學義,胡仕誠,謝榮生,等.一種混沌神經網絡及其在優化計算中的應用［J］.系統工程與電子技術,2000,22(7)：69－71.

［4］王凌,鄭大鐘.一種基于退火策略的混沌神經網絡優化算法［J］.控制理論與應用,2000,17(1):139－142.

［5］竇春霞,張淑清.基于混沌神經網絡預測模型的最優控制決策及應用［J］.動力工程,2004,24(1):68－72.

［6］Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks ［J］.IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974－993.

［7］竇春霞.基于混沌一神經網絡模型最優控制及應用［J］.系統工程學報,2004,19(3):229－233.

［8］李薪宇,呂炳朝.暫態混沌神經網絡中的模擬退火策略優化［J］.計算機應用,2005(10):198－200.

［9］周婷,賈振紅,劉秀玲.一種用于函數優化的小波混沌神經網絡［J］.計算機應用,2007,27(12):2 910－2 912.

［10］高海昌,馮博琴,朱利.智能優化算法求解TSP問題［J］控制與決策,2006(3):241－247.

［11］江亞東,蔣國強.基于混沌搜索的神經網絡及在優化問題中的應用［J］.指揮技術學院學報,2001(2):68－70.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文。