人工神經網絡的優化方法

　　摘要：人工神經網絡結構獨特，具有處理數據方法高效、自學習性強、并行處理能力強、易于推廣等優點，但同時也具有容易陷入局部極小特性和算法收斂速度較低的不足之處。為了彌補這些不足，科學家們嘗試著將神經網絡與其它的人工智能方法相結合來解決問題。本文拮取了這其中一些較有代表性的方法來加以介紹。
　　關鍵詞：人工智能 神經網絡 小波分析 蟻群算法 粒子群優化算法
　　中圖分類號：TV135.2 文獻標識碼：A 文章編號：1672-3791(2011)10(c)-0000-00
　　
　　1 引言
　　對于人工神經網絡的研究自20世紀40年代起始，一直是科學研究的一個熱門領域，近20年來各種關于它的研究更是方興未艾。神經網絡結構獨特，處理數據方法高效，在解決許多具體問題上得到了廣泛的應用。然而，神經網絡也有其固有的缺點：首先，由于受到搜索步長的限制，當解空間函數存在局部極小值時，容易陷入局部極小特性；其次，現行的學習算法收斂速度較低，容易影響研究的進度。為了應對這兩個問題，學者們采取了多種多樣的方法，其中最為常見的便是將神經網絡與其他人工智能方法相結合再加以一定的改進。本文選取了這一類方法中較有代表性的幾種，加以介紹。
　　
　　2 方法介紹
　　2.1小波神經網絡
　　小波分析從傅立葉變換發展起來，屬于時頻分析方法的一種，因此，它在時域和頻域同時具有良好的局部化性質，可將分析的重點聚焦到任意的細節，而這正是我們所需要的特性。用小波分析局部化性質良好的優點，去配合神經網絡自學習、自適應、并行處理和高容錯性的特點，結合成為小波神經網絡。
　　除了能夠有效避免局部極小值、網絡學習速度快、逼近能力強外，小波神經網絡還可以彌補神經網絡對于結構構造缺乏足夠理論性指導的缺點，能夠對于參數的選取做出理論性充足的指導，有效避免某些種類的神經網絡在結構設計上的盲目性。
　　2.2 蟻群算法與神經網絡的結合
　　蟻群算法是一種仿生優化算法，常被用來尋找最優路徑。該算法具有強大的并行分布式計算能力、適應能力和優秀的全局尋優能力，并非常易于與其它算法相結合。
　　蟻群算法使用隨機生成的螞蟻群體進行檢索，使得算法找到全局最優解的概率大大增加;。在考慮到神經網絡所存在的局部最優問題時，蟻群算法舍不確定性規則而取概率規則來指導檢索，從而逃離了局部最優的陷阱。
　　除此之外，因為蟻群算法是讓所有螞蟻獨立地在無監督的情況下同時搜索解空間中許多點，因此它同時還是一種高效的并行搜索算法，與神經網絡相結合能夠起到錦上添花的效果。
　　2.3 PSO粒子群優化算法與神經網絡的結合
　　粒子群優化算法最早是由美國的Kennedy 和Eberhart教授受鳥群覓食行為的啟發而提出的，它以求解連續變量優化問題為背景，以模擬鳥的群集智能為特征，通過利用個體間的協作和競爭來實現對問題最優解的搜索，具有全局優化的優點，是一種基于群體智能的進化計算技術。
　　為了更好地解決所遇到的問題，在將粒子群優化算法與神經網絡結合的同時，還要進行進一步的優化。動態變異粒子群優化算法可以動態改變慣性權重，它能夠使粒子擴大搜索范圍，從而降低落入局部最優解的概率，這樣就能使粒子及時遠離局部最優解而繼續進行全局搜索，同時又能使粒子在全局最優解處收斂得更好。而先將原始粒子運用混沌理論處理，繼而再采用粒子群優化算法訓練神經網絡所得到的混沌理論下混合型PSO-BP模型在PSO進化過程中加入了混沌的思想。混沌具有隨機性，遍歷性，規律性等特點，因此，與其它的隨機搜索算法相比，在處理基本粒子群在算法后期易陷入局部極值的問題上，混沌搜索更強的局部搜索能力能夠很好地避免陷入局部最優，并且在局部搜索得更細致。
　　2.4 基于遺傳模擬退火算法優化的BP神經網絡
　　遺傳模擬退火算法是結合了模擬退火算法和遺傳算法思想的一種混合智能算法，這兩者都具有優秀的數值優化方面的性能。遺傳算法的原理模仿生物界優勝劣汰的進化機理，是一種優化搜索方法。模擬退火算法源于固體的退