進化神經網絡的編碼方法與應用

趙吉昌　李穎

摘要：進化神經網絡將進化算法與人工神經網絡進行了有機結合，進化算法的參與使神經網絡系統在進化發育過程中可自適應的進行網絡結構與連接權值的調整，改善了神經網絡在模擬仿真過程中自主智能化不足的缺陷，提高了神經網絡系統的生物真實性。隨著研究的深入，大量不同類型的進化神經網絡相繼出現，根據基因編碼方式的不同，可將進化神經網絡分為直接編碼型和間接編碼型兩類。本文對神經網絡中基因的編碼方式進行了闡述分析，最后總結了間接編碼方法的應用領域。

關鍵詞：進化算法；神經網絡；網絡結構；間接編碼

中圖分類號：TP183 文獻標識碼：A DOI：10.3969/j_issn.1003 6970.2016.05.019

本文著錄格式：趙吉昌等.進化神經網絡的編碼方法與應用[J].軟件，2016，37（5）：77-80

引言

隨著社會的發展和科技的進步，人工智能、智能計算已成為各科研院所和公司的熱門研究對象。進化神經網絡（Evolutionary Neural Networks）結合了更具生物真實性與可解釋性的人工神經網絡（Artificial Neural Networks，ANNs）和進化算法（Evolutionary Algorithms，EAs），在生物大腦運作機制的研究和智能化模擬應用方面都有廣泛的應用。進化算法是源自于自然界生物進化中選擇、交叉及變異等機制的一種擁有高魯棒性和廣泛適用性的全局概率性優化算法。進化算法根據其計算側重點和最終實現目的的不同可以分為遺傳算法、進化規劃、進化策略及在遺傳算法基礎上發展而來遺傳規劃四種。

人工神經網絡從信息處理的角度對生物神經網絡進行了抽象和模擬，以神經元為基本組成單元，按神經元之間不同的連接方式組成不同結構的網絡。1943年由心理學家W.S.McCulloch和數理邏輯學家W.Pitts提出并建立了神經元的第一個數學模型，即MP模型，開創了人工神經網絡的研究時代。隨后人工神經網絡有了進一步發展，感知器（Perceptron）等更加完善的神經網絡模型相繼被提出。這一時代的神經網絡模型稱為第一代人工神經網絡。經歷了一個短暫的低潮之后，1986年Kumelhart等人提出了誤差反向傳播（Back Propagation）神經網絡，簡稱BP網絡，至今依然被廣泛使用。這一時代的神經網絡模型稱為第二代人工神經網絡。脈沖神經網絡作為第三代人工神經網絡，采用了脈沖編碼信息的方式，與采用頻率編碼的第一代感知器模型和第二代BP神經網絡相比，更加具有生物可解釋性。脈沖神經網絡將脈沖發放的時間點加入到神經網絡模型中，通過對神經元突觸連接權值的調整和脈沖發放時間的精確模擬，并將網絡的輸出編碼成輸出脈沖。這種基于脈沖發放時間的神經網絡模型，提高了信息維度和模型的計算能力，可以更好地模擬整個網絡結構中信息的動態傳遞過程。

進化神經網絡通過加入進化算法來設計神經網絡模型，在神經網絡結構中引入選擇、交叉和變異等算子，使得神經網絡的自適應性和自主性得到了很大程度的提高，解決了全局搜索易陷入局部最優的難題。進化神經網絡根據基因編碼方式的不同可分為直接編碼方式（Direct Encoding）和間接編碼方式（Indirect Encoding）兩類。

1.進化神經網絡的直接編碼方法

直接編碼是將網絡結構中所有互聯的信息處理單元即神經元或節點進行直接編碼，網絡中的每個連接由自身的二進制表示直接指定。在遺傳算法中，通常采用二進制字符串將連接權值進行直接編碼，按照一定的順序，遍歷整個網絡結構。在進化神經網絡中不再將權值進行二進制轉換，而是建立了連接矩陣，如一個N*N的矩陣W=（wii）可以表示一個含有N個神經元的神經網絡，其中wii表示神經元i與j之間的連接權值。若w=0則說明兩個神經元之間無連接；若w不為零則說明兩神經元之間有連接且連接權值w。在進化計算下，這種構造可以使網絡結構和連接權值在程序中同步進化。矩陣w與神經元之間存在著一對一的映射關聯，若權值w不為零，則將其賦值為l，可得新矩陣c，矩陣c就可通過二進制字符串編碼方式來表示結構約束。在前饋網絡和遞歸網絡中直接編碼網絡結構如圖1和圖2所示。

通過圖1可以看出，在前饋網絡中，由于所有的神經元之間的連接都是由前向后推進的，因此只需考慮提取轉換矩陣c的右上三角形區域的二進制字符串進行直接編碼。而在其他網絡結構中，由于神經元之間存在反饋或隨機的連接，如遞歸網絡中的回饋連接和自回饋連接，在進行編碼時必須提取整行（列）的二進制字符串來編碼，之后將進化算法應用到神經元染色體中來進化其種群。為了評估每個染色體的適應值，需要將神經元連接權值初始化之后再進行訓練，訓練誤差可以作為適應值的權衡。

采用直接編碼方式可以在神經網絡中很容易的實現一個連接的添加和刪除操作，促進種群進化的速度及適應值的優化。但是直接編碼存在著可擴展性不強的局限性。隨著網絡規模的擴大，連接權值矩陣的規模和用來編碼連接信息的基因數量也會成倍增加。除了前饋連接可以將連接編碼簡化外，其他連接方式采用直接編碼會將相互無連接的神經元也進行編碼，導致程序中有大量的冗余存在，這會使進化計算的時間復雜度和存儲空間增加，降低搜索效率，甚至無法實現進化功能。

2.進化神經網絡的間接編碼方法

為了減少網絡結構中信息編碼染色體的長度，研究者們提出了進行神經網絡基因編碼的間接編碼方式。在間接編碼方式下，基因型與網絡的表現型之間不再是一一映射的關系，而是模擬生物神經系統的形成發育，將網絡結構的一些特性編碼到染色體中，如神經元細胞的發育分裂、突觸的形成、軸突和樹突的生長等。這種以神經元特性來編碼的基因組在重復度極高的神經網絡結構中可以表達大量的神經元群，具有很高的重復利用率。網絡結構中雖然不同的神經元模塊表達的功能不同，但是構成功能模塊的子結構大體相似，也就是說可以通過修改基因組少量的信息來形成不同的網絡模塊，從而使編碼效率得以提升。下面介紹三種常用的間接編碼方式：文法規則編碼方法、細胞指令編碼方法和基因調控網絡方法。2.1

文法規則編碼方法

Kitan0161運用了“圖文生成語法（graph-generationgrammar）”來進行網絡框架的構建，實現了神經網絡的進化。首先應用LHS（1eft-hand side）和RHS（right-hand side）方法來定義文法規則G=（（S，A，B，C，D，a，b，e，h，1），（0，1），S，P）。基因組中可能出現的等位基因從象征符號A-Z和a-p中選擇。染色體的第一個基因組是固定的開始象征符s，將開始符s納入到一個2×2的矩陣中作為網絡構建的起點，其它象征符號由隨機選擇產生，通過在染色體中應用文法規則編碼進行一定數量的迭代來構建網絡。染色體的編碼方式如圖3所示，染色體中五個基因為一組，后四位基因為第一個基因的RHS編碼。

2.2細胞指令編碼方法

細胞指令編碼（Cellular Encoding）方法以類似編程語言中樹形結構的編碼原理來實現神經網絡發育時基因的復用，進化過程由每個發育節點相對應的發育指令進行控制，如神經元的分裂、變異和連接方式的改變等。這種編碼方式具有很高的準確性與可控性，但指令設定與基因遞歸調用方式使其在進化大規模網絡和求解復雜性問題方面有較多的限制。針對這種不足，Luke等人提出了用指令修改邊發育來控制網絡增長的邊編碼（Edge Encoding）方法，精簡了編碼指令；Suchorzewski給出了以指令集合的形式來控制網絡發育過程的發育符號編碼（Developmental Symbolic Encoding）方法，使神經網絡的結構模塊化，提高了網絡的擴展性。

2.3基因調控網絡方法

基因調控網絡（Genetic Regulatory Networks）方法是以生物細胞中DNA或RNA為原型建立的動態網絡模型。基因作為分子控制調節器的集合，通過其相互作用或者與細胞中其他物質的反應來進行信息的轉錄與傳遞，在生物中以生成蛋白質等有機物的形式表達，而在人工神經網絡中則是整個網絡的進化發育過程。在人工基因組模型中構建了類似生物DNA中嘌呤與嘧啶堿基的線性序列基，值從集合{0，l，2，3}中取得。圖4給出了基于人工基因組模型的編碼方式，每個基因包括調控區域、啟動子、基因編碼區域和接口區域四個部分，轉換后控制發育的基因調控網絡表示為由N個節點構成的基因調控網絡。網絡可分三層，分別為由N1個節點構成的輸入層，由N2個節點構成的調控層和由No個節點構成的輸出層，‰由基因組中的基因決定，Ⅳ，和No由相應的發育模型決定。

3.間接編碼方法的應用

作為進化神經網絡傳統的直接編碼方法的改進，間接編碼方法的主要特點是在基因重用機制下實現對大規模神經網絡的快速搜索。因此，該類方法除了在其經典的非線性分類與預測問題得到應用外，還推廣到了自主智能體、進化機器人、模式識別、圖像處理、微電路進化等應用領域。

（1）非線性分類與預測。文獻針對經典的XOR問題，以及奇偶和對稱問題，采用細胞編碼方法驗證了對這些非線性問題求解的有效性，說明間接編碼方法適合于應用少量的基因進化具有大量重復結構的神經網絡。

（2）自主智能體與機器人進化。進化基于神經驅動的自主智能體與機器人是神經計算領域中的一個重要分支，由于它具有高度的自主能力，這一方面的研究正受到越來越多的重視。文獻進化的自主智能體包括感覺神經系統、運動神經系統和脈沖神經控制器三部分，感覺神經系統和運動神經系統多達64個神經元，隱含層的脈沖神經控制器包含1000個以上的神經元，在虛擬的自然場景中凸顯出智能的食物采集行為。文獻利用間接編碼方法實現了自主智能體避障行為的進化。文獻應用基于基因調控網絡控制的發育模型進化了具有容錯特性的脈沖神經網絡，控制Khepera機器人實現了智能導航。Jin等人進一步提出了形態生成機器人（Morphogenetic Robotics）的概念，應用發育與進化機制生成了具有自組織、自重構與自修復特征的單機器人和多機器人系統。

（3）模式識別與圖像處理。Kashtan和Alon提出的視網膜問題是一個典型的模式識別問題，利用發育符號編碼方法成功地解決了視網膜問題，驗證了該方法對模塊化神經網絡的進化能力。文獻應用結構模式生成網絡（Compositional Pattern Producing Network，CPPN）方法進化神經網絡，解決了視覺分辨問題。實驗中分別針對11×11、33×33、55×55三種不同分辨率的視覺圖像，CPPN最終生成的網絡連接數分別達到14641（121×121）、1185921（1089×1089）、9150625（3025×3025），如此大規模神經網絡的進化，直接編碼方法由于基因空間過大很難進行有效的求解。文獻進一步將CPNN方法應用于目標識別與跟蹤問題中，取得了良好的效果。

（4）微電路硬件進化。目前，應用間接編碼方法進化微電路硬件的研究已經取得了諸多研究成果。文獻提出了模擬遺傳編碼（Analog GeneticEncoding）方法，并應用該方法進化了模擬電子電路，實現了溫度傳感器和高斯函數發生器，并進化了神經網絡的硬件電路，實現了XOR函數。Shayani等人進一步應用間接編碼方法在FPGA（FieldProgrammable Gate Array）上進化了脈沖神經網絡微電路，具有可擴展性、魯棒性和容錯特性。

上述應用研究僅僅是進化神經網絡間接編碼方法應用的一部分，憑借其良好的基因重用能力和大規模神經網絡的發育生成能力以及自適應計算等特點，間接編碼方法正在不斷地被應用到不同的技術工程研究領域。可以認為，不能應用傳統的直接編碼方法進行有效求解的應用領域都將會成為間接編碼方法潛在的拓展空間。

4.結論

通過自然進化形成的生物腦組織包含幾十億的神經元和上萬億的神經連接，并表現出復雜的信息處理能力和特有的智能行為。應用計算機技術進行生物腦功能結構的建模模擬研究越來越引起人工智能界的重視，在許多領域得到廣泛應用。進化神經網絡模型把進化計算的進化自適應機制與人工神經網絡的學習機制進行了有機結合，有效地克服了傳統人工神經網絡的諸多限制和缺點。神經元作為進化神經網絡中最基本的信息處理單元，其基因的編碼方式直接關系著整個網絡的構建與執行效率。進化神經網絡的基因編碼方式主要有直接編碼方式和間接編碼方式兩種，基于間接編碼方法的進化神經網絡已應用到了非線性分類與預測、自主智能體與機器人進化等諸多領域，并取得了一定的成果。如何改進現有的基因編碼機制存在的不足或找出新的編碼方式來提高進化神經網絡的進化效率和規模將是今后研究工作的重點。