面向深度卷積網絡的多目標神經演化算法

陳禹行，胡海根，劉一波，郝鵬翼，李小薪，周乾偉

(浙江工業大學 計算機科學與技術學院，杭州 310000)

1 引 言

最近幾年人工智能技術在眾多領域內都取得了令人矚目的成就，尤其是在圖像領域，卷積神經網絡通過其強大的特征提取能力和權值共享機制不斷刷新在圖像分類，圖像檢測任務中的識別率.這使得越來越多的學者和工程師們都開始對基于卷積神經網絡的工業應用產生了強烈的興趣.以無線傳感器網絡為例，傳統的無線傳感器通常利用聲音或震動傳感器來檢測并識別野外場景下的多個相鄰目標，聲音或震動傳感器雖然具有如低成本，低能耗以及算法復雜度相對較低等有優點，然而在面對混合目標時則表現出分辨率不夠這一嚴重不足，因此難以實現目標的精細分類.為了克服這一不足，可以在無線傳感器網絡中引入相機來加以輔助，這在當前已經證明對密集目標識別是一種有效的方式，因此如果能將卷積神經網絡部署于無線傳感器網絡中并利用其來對低分辨率的圖像信息加以處理，則可以有效的幫助解決密集目標的精細分類問題，從而推動無線傳感器網絡下野外多目標識別的進一步發展.然而為了確保卷積神經網絡符合無線傳感器網絡的實際使用條件，模型本身必須服從許多限制條件，如模型的乘法次數必須能夠滿足無線傳感器節點的運行要求，并且要保證模型在運行時有著良好的性能表現.但是現有的模型并不滿足上述要求，所以如何有效構造出適用于無線傳感器網絡等特殊應用場景下的卷積網絡模型已經成為領域內一個迫切需要解決的問題.

目前在面向無線傳感器網絡等特殊應用場景下開展的深度卷積神經網絡構建工作相對較少，本文通過收集，調研了大量相關的研究資料得到如下結論.當前針對該問題主要存在以下兩種解決方案：基于手工設計和基于隨機優化.基于手工設計的思想是借鑒，吸收當前領先小型網絡的結構設計方案，通過額外增加或改進現有的設計方案來獲得符合要求的神經網絡.大多數該方向的工作都會參考主流的殘差網絡(Residual Network[1])，稠密網絡(Dense Network[2])，移動網絡(Mobile Network[3])等包含跨層連接的殘差結構，然后根據具體的工業限制條件再進一步統籌規劃模型的各個組件成分.基于手工設計的方法能夠直接，快速地設計出神經網絡模型，然而其得到的模型往往需要消耗大量的時間，人力成本，此外這種方式還需要涉及大量模型的調參技巧且設計的模型結構過于單一.基于隨機優化的核心是通過充分利用目前越來越廉價的計算資源，將模型結構的設計過程類比成自然界中物種的演化過程.拓撲和權重演化人工神經網絡(Topology and Weight Evolving Artificial Neural Network[4])是其中最為廣泛應用的方法，這種方式可以實現模型從無到有，從簡到繁的演化.由于其首次構造的模型往往都是非常精簡的，后續的演化過程中都將基于精簡模型繼續迭代優化，所以其構造的最優結構往往具有較小的網絡規模.基于隨機優化的方法能夠自動地構造出模型，相比于基于手工設計的方法有著更大的潛力和發展空間.特別需要說明的是：目前相關文獻[5-8]的工作都僅僅只考慮演化出單一條件下的卷積網絡模型并沒有考慮多約束條件下的情況，如何找到一種方法能夠克服，規避現有遺傳演化算法的弊端同時構造出特定應用場景下的深度卷積神經網絡是未來所需要重點考慮的.

本文提出了一種面向深度卷積網絡的多目標神經演化算法，該方法能夠建立多約束條件下的神經演化與深度卷積模型結構自動探索過程的聯系，可以快速，有效的找到符合給定約束條件下的卷積網絡模型.本文的具體貢獻如下:

1)將傳統神經演化中基因編碼翻譯為卷積層的參數配置并引入線性規劃方法進行求解，使得演化算法可以通過基因自動調整各個網絡層的具體配置，從而保證演化生成卷積模型的可靠性和多樣性.

2)提出了一種面向深度卷積網絡的多目標神經演化算法，通過將深度卷積神經網絡表達成有向圖，使用基于增強拓撲的神經演化(Neuro-Evolution of Augmenting Topologies[9])，帶精英策略的非支配排序遺傳算法(Non-Dominated Sorting Genetic Algorithm-II[10])算法以及面向卷積神經網絡的適應度評估函數實現了深度、計算量和識別率的同時優化.

本文第2節論述了相關工作；第3節論述了面向深度卷積神經網絡的多目標神經演化算法；第4節進行了相關實驗；最后總結全文.

2 相關工作

目前領域內對模型構造問題的解決方案更多選擇的是基于隨機優化的方法，該方法的核心內容是基于自然選擇的神經演化算法.此外為了解決構造出適用于無線傳感器網絡的卷積神經網絡問題還會涉及到多目標優化算法.本節接下來的內容將圍繞上述兩方面的已有工作進行詳細闡述.

2.1 基于增強拓撲的神經演化算法

NEAT算法利用有向圖表示神經網絡，一個節點代表一個神經元，連接兩個節點的有向邊代表神經突觸.它利用基因編碼、基于歷史標記的基因跟蹤、新穎物種保持以及最小結構增長技術改善了TWEANN中存在的信息編碼、物種競爭，多樣性維持以及初始化種群等問題.該方法不僅可以提升傳統神經演化算法的效率，而且找到的解具有更強的魯棒性.文獻[11,12]的研究工作則對上述工作進行了擴展，提出了基于Hyper-NEAT的方法(Hypercube-based Neuro-Evolution of Augmenting Topologies)，這類方法通過引入額外的幾何形狀信息來改善傳統拓撲過程節點連接中的權重分配模式，可以把大型人工神經網絡的構造問題轉換為高維空間的幾何圖形構造問題，然而如果轉換后的節點在高維空間內過于分散則其效果會不盡如人意.

2.2 多目標優化算法

多目標優化算法在解決多優化問題中一直扮演著重要的角色.目前對多目標優化算法的研究方向可以分為以下3大類：基于支配的方法，基于指標的方法和基于分解的方法.基于支配的方法(Domination-Based method[13,14]的核心是通過數學上定義的支配原則(大部分采用的是 Pareto Domination)去評估不同解的適應度.此外為了保證解的多樣性通常還需要設計多樣性的保持方案.然而由于現實條件的限制，使用該方法解決具體問題時會面臨一個問題：在多約束的條件下，種群中所有的解存在相互競爭關系，如果存在一種占據絕對優勢的解，則其一定無法保證同時滿足多約束條件.因此此類方法雖然使用了基于支配的原則求解問題但在實際情況中其最后找到的最優解是非支配的，這在一定程度上會降低種群在進化過程中的選擇壓力同時也會影響種群整體的進化進程.基于指標的方法(Indicator -Based method[15,16])是通過使用一些指定的性能指標(如超體積Hyper-volume)來評估解決方案在多目標演化算法中收斂和多樣性上所做出的貢獻，從而獲得一個衡量解決方案表現的適應度值.然而這類方法的計算成本與選定的評估指標存在較大關聯，根據不同選定的指標，其計算成本會隨著目標數量的增加而呈指數增長.基于分解的方法(Decomposition-Based method[17-20])會將一般的多目標優化問題先分解為多個單目標優化子問題，然后使用演化算法在單個運行中同時求解所有子問題.這種方案能夠充分利用多個子方案的適應度來綜合評估整體解決方案的性能，具有更好的魯棒性和更快的演化速度，然而如果相鄰的解決方案在決策空間中相距遙遠，則無法取得理想的效果.

綜上，為了演化出適用于無線傳感器等特定應用場景下的卷積神經網絡，需要在傳統的神經演化過程中添加額外的約束條件，如乘法次數，模型精度，模型深度等，然后使用多目標優化算法同時優化多目標下的神經演化，進而保證改進算法能夠自動演化出符合相關約束條件下的網絡模型.第3節將具體介紹本文提出的改進算法.

3 面向卷積神經網絡的多目標演化算法

本節將從卷積神經網絡的有向圖表示，基于線性規劃的基因翻譯，多目標個體競爭方法以及算法流程來詳細介紹提出的算法.

3.1 卷積神經網絡的有向圖表示

基于NEAT算法，本文采用有向圖中的節點表示卷積神經網絡中某一層神經網絡輸出的特征圖，網絡的起始節點代表輸入圖像，終止節點代表網絡的輸出，其他節點攜帶有表達特征圖長寬及通道數量的尺寸信息.

對于入度大于1的節點，將有多個卷積層輸出相同尺寸的特征圖并匯總到該節點，該節點將根據它的第4個參數來確定采用按通道拼接或者按特征點加和這些特征圖.

所以，在卷積神經網絡的有向圖表示中，一個有向圖可以理解為種群中個體的染色體，其中的節點可以理解過為染色體中的基因片段，每個基因片段包含4個可調參數分別表示特征圖的通道、長、寬以及特征圖之間的融合方法.此外，有向邊包含一個可優化參數，將用于下文的線性規劃.本文中所涉及的圖像均為正方形，故特征圖也限定為正方形，以長、寬中較大者為邊長.

3.2 基于線性規劃的基因翻譯

由于節點中只規定了特征圖的尺寸，為求解出卷積層的必要參數，本文提出了一種基于線性規劃的卷積層配置方法.

1)標準卷積(Standard Convolution).當輸入特征圖的長寬大于或等于輸出特征圖長寬時，采用標準卷積.式(1)給出了標準卷積函數在給定卷積參數條件下，如何根據輸入邊長計算對應的輸出邊長.

(1)

其中輸入的特征圖邊長為Xin，輸出的特征圖邊長為Y，卷積核參數k，卷積步伐d，卷積填充參數p.

為了求解式(1)，與之對應的目標函數如式(2)所示.

F(k,d,p)=ra×k+(1-ra)×d+p

(2)

其中k，d，p的定義同式(1),ra是一個屬于[0,1]的值，隨有向線段進行遺傳優化，在不等式(3)下通過線性規劃算法最小化式(2)中即可求得對應的卷積層配置參數.

(3)

2)全卷積(Full Convolution).當輸入特征圖邊長小于輸出特征圖邊長時，采用全卷積.式(4)給出了全卷積函數在給定卷積參數條件下，如何根據輸入邊長計算對應的輸出邊長.

Y=(Xin-1)×d-2×p+k+a

(4)

其中輸入的特征邊長為Xin，輸出的特征邊長為Y，卷積核參數k，卷積步伐d，卷積填充p，卷積自適應填充a.

同上，為了求解式(4)，與之對應的目標函數如式(5)所示.

F(k,d,p,a)=ra×k+(1-ra)×d+p+a

(5)

其中k，d，p，a的定義同式(4),ra是一個屬于[0,1]的參數，隨有向線段進行遺傳優化，在不等式(6)下通過線性規劃算法最小化式(5)中即可求得對應的卷積層配置參數.

(6)

3.3 多目標個體競爭方法

目前基于NEAT的神經演化算法僅采用個體的某一項指標作為適應度，難以滿足工業應用中的應用需求.如要求設計一種計算量低，網絡層次較深，且識別率較高的網絡，直接應用已有的NEAT算法則難以實現.

本文提出了一種多目標個體競爭方法.演化過程中，適應度計算函數返回個體的多個指標，如對個體所表示的神經網絡在計算量、深度、識別率等指標的評估，并使用NSGA-II算法求解基于帕瑞托支配和擁擠距離下的多目標優化問題，將求解出來的Pareto Front可行解用于種群中新個體的生成.圖1展示了加入多目標優化規則的神經演化算法流程圖，此外具體的算法流程如算法1所示.

圖1 算法流程圖Fig.1 Algorithm diagram

算法 1.面向深度卷積網絡的多目標神經演化算法

輸入：初始種群規模N，種群演化代數T，面向卷積神經網絡的適應度函數Fitness(.)，有向圖演化算法A(.)，多目標篩選函數M(.).

輸出：最終的解集合{Solution}.

1.初始化規模為N的種群.

2.Fitness(.)評估初始種群.

3.While t

a.基于當前種群執行A(.)算法中物種多樣性保護算法保留優秀個體.

b.當前種群與上一代保留的2N/3個優秀個體合并成一個擁有5N/3個個體的臨時群體，使用M(.)篩選并保留2N/3個優秀個體.(該步驟不作用于初始種群)

c.在優秀個體中隨機取出若干父代并使用M(.)確定優勝者用于生成一個子代.

d.基于算法A(.)的遺傳原則產生一個新個體.

e.重復c和d直到產生N個新個體.

4.Fitness(.)評估新個體.

5.Return 最終的解集合{Solution}.

4 實 驗

本節將詳細描述本文提出算法的實施過程以及相應實驗結果.通過實驗框架，面向卷積神經網絡的適應度函數，卷積模型演化以及相關實驗結果模塊化地介紹本文所做實驗的各項準備工作，其中實驗框架介紹本文使用到的各種仿真環境及相關配置參數，面向卷積神經網絡的適應度函數介紹針對資源受限平臺下的卷積神經網絡演化而設計的適應度目標函數，卷積模型演化介紹本文算法的具體實施過程，相關實驗結果介紹提出算法的成果和相關的性能分析，最后通過總結小節整體地概括本文所做出的貢獻以及未來期望展開的工作.

4.1 實驗框架

本文實驗選取的運行環境是Ubuntu16.04，使用了2張NVIDA GTX 1080Ti顯卡來加快模型在演化階段的探索速度.有向圖算法A(.)采用的是基于JAVA語言實現的NEAT，在后續實驗中該框架的大部分超參數配置與原始代碼維持一致，不同的地方僅在于：本實驗所設置的種群大小為50，物種更替的年齡閥值為50，存活下來種群的種群比例0.2，節點雜交概率0.25，節點突變概率0.5，優勢基因個數10.此外本文中關于使用到的卷積模型中各個模塊與基因節點的對應關系可以見表1,其中Sensor表示網絡輸入節點規定了輸入圖像的維度，Output表示網絡輸出節點規定了輸出圖像的維度，Hidden表示網絡隱藏節點規定了特征圖的維度，Link規定了節點間的連接關系，根據這些數據以及本文提供的線性規劃方法可計算出卷積層的配置參數.

表1 卷積模型結構與基因節點的關系Table 1 Relationship between convolution model structure and gene nodes

本文在選擇父代時采用的多目標篩選函數M(.)是基于Java實現的NSGA-II，其中與之相關的面向卷積神經網絡演化的適應度函數將在4.2中進行詳細闡述.采用Torch7框架(基于Lua言語實現)對演化構造出的卷積模型進行訓練和測試評估.本文中有向邊的基本單位如圖2所示，圖中左側為有向邊在圖模型中的基本表示，右側為有向邊對應卷積結構下的基本單位其中涉及到的卷積參數k，d，p需要利用3.2中所提到的相關內容.其中n1和n2為輸入輸出特征圖的通道數，h和 w 為特征圖的長寬，本文中限定h=w.表2中的SGD-1給出了在演化過程中評估模型階段SGD所采用的具體超參數配置.

圖2 有向邊的基本單位Fig.2 Basic unit of a directed edge

表2 SGD超參數Table 2 Hyper parameter of SGD

4.2 面向卷積神經網絡的適應度函數

為了建立深度卷積神經網絡，NEAT算法和NSGA-II算法三者之間的關系，需要使用特定的適應度函數來評估生成卷積模型的適應度并反饋給神經演化算法.傳統演化算法選擇的適應度函數：V=Max(Accuracy)，通常僅僅只關注識別率指標，識別率高的種群個體其對應的適應度也相對較高.而為了演化出適用于無線傳感器網絡下的卷積模型上，僅僅使用識別率作為衡量指標是不足的，需要考慮諸如模型乘法次數，模型深度等額外評估指標.

本文使用的適應度函數建立在傳統神經演化適應度函數的基礎上，額外引入乘法次數，模型深度約束條件，讓模型在進行適應度評估時更加綜合考慮所有的約束條件.具體的適應度函數如式(7)下所示.

(7)

其中Multiplication,Depth,Accuracy為演化模型中乘法次數，深度，識別率對應的適應度值，可以通過相關功能函數進行獲取.具體來說，適應度函數將接收一個NEAT算法生成的有向圖對象，解讀有向圖中的每個節點和有向邊，使用節點和邊上記錄的4加1個參數構建深度卷積神經網絡并將其翻譯為Lua代碼，調用Torch7框架在CIFAR-100的訓練集訓練該神經網絡K次Epoch，最后把在CIFAR-100的測試集上的Top5精度則記錄為模型的精度指標.神經網絡的深度及一次預測所需的乘法次數則成為其余的兩個指標.

提出的適應度函數將對演化過程生成的每個卷積模型從精度，乘法次數，深度3方面進行綜合評估，并及時更新適應度值，進而保證種群在每一代演化過程中能夠及時，準確地評估當前所有種群個體并結合多目標篩選函數M(.)從中不斷發現表現最好的個體.

本節提出的適應度函數可以有效的衡量多約束條件下生成卷積模型的綜合能力，引導神經演化算法產生各種各樣不同的神經網絡，這些神經網絡可能在某一項評價指標下相對優異，同時又能保證網絡的多樣性.基于本節內容的具體實驗過程將在4.3節中進行詳細描述.

4.3 卷積模型演化

根據本文算法1所描述的流程，本節將分別從初始化種群和多目標卷積模型演化2方面進一步擴充相關實驗的具體實施過程.本文后續所有模型評估實驗選取的數據集是標準的CIFAR-100，演化代數T設置為50，初始種群規模為50，為了減少計算代價和加快模型演化的整體進程，此外為了對生成模型的性能進行快速初步評估本文在演化模型評估階段的K統一設置為8.算法A(.)采用NEAT，算法M(.)為NSGA-II，Fitness(.)請參考4.2節.

4.4 相關實驗結果

通過執行4.3所述的實驗流程，能夠得到符合Pareto約束的解，然而由3.2中的內容可知其對應的解并不是單個，而是帕瑞托前沿(Pareto Front)，它是由所有Pareto解所組成的超平面.本節將從Pareto約束展開，綜合分析其在多目標函數下對模型演化產生可行解方案的影響以及不同約束條件下對應可行解的性能，接下來將從Pareto約束下的可行解和擴展驗證實驗2方面來進一步地介紹.

1)Pareto約束下的可行解.讀取種群演化歷史中所有的Pareto解決方案，使用Pareto支配對所有解決方案進行重排序，選擇排序前100的解決方案作為參考指標并畫出相對應的競爭關系圖，同時保存對應排名下解決方案的基因和模型配置文件.本文選取了精度，乘法次數和深度3個目標函數來約束Pareto Front，理論上其對應的解是一個三維超平面，為了更好的理解兩兩不同約束之間的相互關系，選擇將單個三維超平面轉換成3張二維的Pareto關系圖.特別值得注意的是，因為式(7)對原始的適應度值施加了一個重映射的操作，使得適應度值的輸出范圍屬于[0,1]，與之相對應的原始評估指標可以通過相關逆運算進行求解.圖3表明了Pareto約束下精度和深度之間的關系，由于深度是離散的因此可以發現深度與精度之間呈現一種離散的關系，且隨著深度的增加其相應的精度能夠得到明顯的提升，但是無法得到一個明確的數學關系式.圖3中精度和有向圖深度綜合評估的最好適應度值分別為0.028，0.024，與之對應重映射前的原始指標分別為33.92%，40.圖4給出Pareto約束下精度和乘法次數之間的關系，從中能夠發現精度和乘法次數之間呈正相關，乘法次數越大其對應的精度也越高，由于本實驗中對于乘法次數實施倒數操作，所以在圖4的縱軸上其乘法次數越大則越接近于0.圖4中乘法次數和精度綜合評估的最好適應度值分別是0.410，0.075與之對應重映射前的乘法次數和模型精度分別為584M，11.84%.圖5反映了Pareto約束下乘法次數和深度的關系，因為深度是離散的所以深度和乘法次數的關系依舊趨近離散，深度的增加會明顯帶動乘法次數的上升且深度越深提升倍數越大，但同樣不能從中找到兩者明確的對應關系式.圖5乘法次數和有向圖深度綜合評估的最好適應度值為0.410，0.030，與之對應重映射前的指標是584M，32.綜上，通過上述多張Pareto關系圖可以發現在多約束條件下神經演化的新特性，從演化整體上來看由于綜合考慮了多約束條件使得演化模型的性能變得更加均衡化，從不同約束條件的相互競爭角度來看其模型的性能與給定組合約束條件下有著特定的聯系.如何進一步協調好多目標函數下整體約束和相互約束對模型演化的共同作用力，是未來基于多目標神經演化算法所重點需關注的內容.

圖3 Pareto約束下精度與深度的關系Fig.3 Relationship of accuracy and depth under Pareto constraints圖4 Pareto約束下精度和乘法次數的關系Fig.4 Relationship of accuracy andmultiplication times under Paretoconstraints圖5 Pareto約束下深度和乘法次數的關系Fig.5 Relationship of depth andmultiplication times under Paretoconstraints

2)擴展驗證實驗.雖然在演化模型階段對生成的模型存在相應的評估環節，但是由于訓練代數相對較低，其測試結果依然無法準確判斷生成模型的綜合性能，為此本小節將對選取的Pareto Front解決方案進行3種不同的擴展驗證實驗.在所有后續擴展實驗中，均選取標準的CIFIA-100數據集作為訓練集和測試集，除了使用標準的顏色正則化方法外不添加額外的數據預處理，在該實驗階段訓練的代數統一設置為120代,batch size設置為16，該階段的所有模型將使用一套SGD超參數，具體的配置見表2中的SGD-2.

擴展實驗1.從Pareto Front中選取前100個解決方案，對經過篩選的解決方案分別按照精度，模型深度，乘法次數3個指標進行排序，根據再排序獲得精度最好和最差，深度最深最淺，乘法次數最少和乘法次數最多6種解決方案(包含卷積模型和基因配置文件).從篩選的結果發現最淺深度為2層，乘法次數最少為1.8M的模型并不符合無線傳感器網絡下的使用需求故不參與后續擴展實驗.最終的實驗結果如下，圖6，圖7，圖8，圖9分別展現了乘法次數最大，精度最低，精度最高，深度最大模型的誤差曲線.由上述曲線可以得出不同約束條件下生成的模型是符合其限制條件，其中深度和乘法次數為指導的Pareto約束下生成的模型在精度指標上效果不佳，但可以發現深度對精度的影響要大于乘法次數帶來的效果，這也側面反映了深度在深度卷積模型中是獲取高識別率性能的重要保障.此外，從精度指標上來看演化出的最優精度模型在CIFAR-100數據集上有著相當不錯的性能表現其乘法次數和深度也比較符合適用條件.

圖6 最大乘法次數模型的誤差曲線Fig.6 Loss curve for the maximum multiplication model圖7 最低精度模型的誤差曲線Fig.7 Loss curve for the lowest accuracy model

圖8 最高精度模型的誤差曲線Fig.8 Loss curve for the highest accuracy model圖9 最大深度模型的誤差曲線Fig.9 Loss curve for the maximum depth model

擴展實驗2.使用Pareto約束從Pareto Front中選取200個解決方案，進一步從200個解決方案中選取滿足乘法次數少于100M和精度大于25%的模型，將找到的所有解決方案在CIFAR-100數據集上進行120次再訓練，記錄最終的穩定精度.表3展示了找到的9個不同解決方案的綜合性能,其中Depth代表卷積模型在有向圖中對應的深度，Mul代表模型的乘法次數，Oacc表示模型在演化階段的識別率，Facc表示模型在經過精校后的識別率，Model代表在Pareto約束下經過排名以及篩選后所選取的模型.從模型識別率來看選取的模型都有著相當不錯的表現，從深度或乘法次數上來看即使模型在某一項指標上相同卻有著完全不同的性能表現，隨著深度或乘法次數的增加模型的性能也有著明顯的提升趨勢，這側面反映了本文提出的有向圖演化算法的有效性和多樣性.

擴展實驗3.為了進一步衡量演化出模型結構與現有領先模型結構在性能上的差異，選取目前主流的Densenet，Resnet等業內領先模型與擴展實驗2中的相關模型進行對比.Densenet實現的代碼是論文作者在GitHub提供的官方版本(1)https://github.com/liuzhuang13/DenseNet，在控制成長率均為12的前提下分別選取了深度為40，60，100的3個模型版本.Resnet實現的代碼是Facebook提供的官方版本(2)https://github.com/facebookarchive/fb.resnet.torch，選取了深度為20的模型版本.表4為現有模型與演化模型的對比分析，可以發現生成的模型其各項性能已經超越或接近現有的領先模型.特別值得說明的是，演化出的模型在沒有利用基于殘差的結構下卻依舊能以極小的學習率實現有效，快速地收斂，證明了提出的算法在搜尋新穎，高效網絡結構上的可行性.

表3 選取模型的綜合性能Table 3 Comprehensive performance of selected models

表4 演化模型與現有模型在CIFAR-100上的性能對比Table 4 Performance comparison between evolutionary models and existing models on CIFAR-100

綜上，盡管目前生成的精度最優模型的最小誤差與殘差網絡，稠密網絡等領先小型網絡仍存在一定差距，但是本文方法最主要的目的是演化出可應用于無線傳感器網絡等特定應用場景下的卷積模型，從模型精度，深度和乘法次數3方面考慮本文演化出來的模型其綜合指標已經符合特定工業場景下的使用條件，并且該方法能夠自動化地構建出一系列各具特色的模型，極大減少了在設計特定模型時所面臨的人力，物力上的成本.

5 結束語

本文提出了一種基于面向卷積神經網絡的多目標神經演化算法，通過將深度神經網絡表達成有向圖，使用NEAT和NSGA-II算法實現了深度、計算量和識別率下的多目標同時優化，同時還創新性地引入了線性規劃用于將基因編碼翻譯為卷積層可讀的配置參數文件，使得演化算法可以自動調整各個網絡層的具體配置.雖然目前演化出的精度最好模型與領域內領先的模型仍存在一定差距，考慮算法演化代數較少故存在巨大的提升空間，此外本文提出的方法不需要太多人為上的干預就能夠自動構建出一系列各具特色的卷積模型結構且極大地降低了在設計特定模型時所面臨人力，物力上的成本.我們相信本文提出的方法對于推動面向無線傳感器網絡的深度卷積網絡的發展能夠提供一種有效的解決方案.未來本文計劃在此基礎上繼續深入研究多目標函數下和深度卷積網絡模型構造的組合優化關系，進一步改善和提升模型結構的演化效果.