基于剪枝算法的卷積神經網絡優(yōu)化

杜海濤

基于剪枝算法的卷積神經網絡優(yōu)化

杜海濤

無錫商業(yè)職業(yè)技術學院，江蘇 無錫 214063

傳統(tǒng)的圖像識別技術不能適應現(xiàn)在的需求，卷積神經網絡與圖像識別相結合，獲得極大突破。隨著人工智能技術快速發(fā)展，更深、更寬的卷積神經網絡競相出現(xiàn)，層數(shù)也不斷加深。圖像識別的精度也隨著大幅提高，但是過于復雜的網絡要消耗更多的資源和時間。提出用剪枝算法對卷積神經網絡進行優(yōu)化，修剪掉不重要的神經元，從而將網絡模型稀疏化。這樣既能保證圖像識別的精度，又能達到網絡加速優(yōu)化的目的。

圖像識別；卷積神經網絡；剪枝算法

引言

微電子技術和信息技術的快速發(fā)展，為圖像識別奠定了硬件和軟件基礎。圖像識別已被廣泛應用在工業(yè)、農業(yè)、醫(yī)學、交通、國防等各行各業(yè)，是以后發(fā)展的必然趨勢，對于提高圖像識別的速度、精度和廣度具有非常大的應用價值。傳統(tǒng)的圖像識別技術應用廣度不夠。一旦外界條件發(fā)生變化，識別的精度就會急劇下降，不能滿足日益復雜的需求。近年來，人工智能技術發(fā)展迅猛，將人工神經網絡算法融入圖像識別技術獲得了突破。不僅提高了圖像識別的精度和廣度，而且具有自我學習的能力，可以隨著環(huán)境的變化而變化，同時提高了圖像信息處理的容錯性，在出現(xiàn)噪聲干擾時，也能正常工作，輸出較為準確的信息。

在人工智能的發(fā)展過程中，神經網絡經歷了單層神經網絡、兩層神經網絡和多層神經網絡。在多層神經網絡的基礎上發(fā)展出卷積神經網絡，是一種針對圖像分類和識別的深度學習方法[1]。卷積神經網絡是受人體視覺中感受野的機制影響而提出的，是一種前饋神經網絡，比其他圖像的分類算法使用較少的預處理，在大型圖像處理方面尤為出色。

1 卷積神經網絡

卷積神經網絡可以細分為五層，分別是輸入層、卷積層、池化層、全連接層和輸出層。卷積神經網絡比普通的多層神經網絡多了卷積層與池化層，其他層也略有變化。卷積神經網絡常見的模型有Lenet模型、Alexnet模型、VGGNet模型、GooleNet模型和ReNet模型。Lenet模型有五層，Alexnet模型有八層，VGGNet模型有16層，GooleNet模型的層數(shù)也進一步加深。ReNet模型出現(xiàn)后，層數(shù)可以突破1?000層。這些模型隨著層數(shù)和寬度逐步加大，網絡識別的準確度也隨之提高，但是資源開銷也隨之增大，實際項目中的模型都是百兆這個數(shù)量級，運算的時間自然也更長。因此優(yōu)化網絡模塊，既能保證準確率，又能兼顧高效性，從而提高系統(tǒng)的實用性。

2 剪枝算法

決策樹是一種常用的分類方法，是通過算法訓練數(shù)據(jù)構建的分類器。剪枝算法剪去了決策樹中的某些枝條，從而簡化決策樹模型，避免過擬合。在優(yōu)化決策樹時，要保證最優(yōu)解的部分枝條不能被剪掉，同時剪枝的判斷又不能以耗費大量時間為代價，保證整個決策樹的高效性。

剪枝算法分為兩類：前剪枝、后剪枝。前剪枝是指在決策樹的構建過程，設置一個閾值，在當前分裂節(jié)點中，分裂前和分裂后的誤差超過這個閾值就分裂，否則就不做分裂操作[2]；后剪枝是指先用訓練集構建好一個完整的決策樹，允許過度擬合，再用測試數(shù)據(jù)集去修正，決策樹中的每一個非葉子節(jié)點的子樹，我們嘗試著把它替換成一個葉子節(jié)點，該葉子節(jié)點的類別我們用子樹所覆蓋訓練樣本中存在最多的那個類來代替。這樣就產生了一個簡化決策樹，然后比較這兩個決策樹在測試數(shù)據(jù)集中的表現(xiàn)。如果簡化決策樹在測試數(shù)據(jù)集中的錯誤比較少，那么該子樹就可以替換成葉子節(jié)點，否則就不替換。前剪枝很難設定，稍微變動就有可能引起整棵樹非常大的變動，通常用后剪枝。

3 卷積神經網絡優(yōu)化

多層卷積神經網絡模型，在圖像識別時，相比原始模型功能是優(yōu)秀的，但是網絡規(guī)模和內存消耗上，卻不能滿足輕量級網絡的要求。卷積神經網絡中參數(shù)中由于激活函數(shù)的負值處理，導致網絡中有很多“0”，有些網絡中的近零參數(shù)超過80%，這對整個決策樹是很大的冗余，而且這些“0”對于乘、加操作沒有任何意義，在整個網絡中占據(jù)了相當大的空間，造成很大的資源浪費。在卷積神經網絡中，如果輸入為0，無論權重為多少，輸出均為0；當輸入為0時，就可以認為這個決策樹的枝條無用，那么就可以被修剪掉。在圖像識別的卷積神經網絡模型中，剪枝算法的判斷依據(jù)有兩種。

（1）依據(jù)神經元與神經元之間的相關性的強度進行判斷。較強的相關性表示上層神經元的激活與當前神經元之間的激活有更大的決定性作用。（2）根據(jù)神經元的權重大小連接判斷重要性。默認權重大的對網絡的影響大，權重小的對網絡的影響小。因此保留權重大的參數(shù)，去除權重小的參數(shù)。

根據(jù)判斷依據(jù)提出兩種優(yōu)化方案：一種是基于相關性的剪枝算法；一種是基于權重參數(shù)的剪枝算法。

基于相關性的剪枝算法的核心就是查找隱層節(jié)點間的相關性，刪除相關小的節(jié)點，合并相關大的節(jié)點，并將去掉這些節(jié)點后引起的改變傳遞到下一層的權值連接以及輸出節(jié)點的偏置值中。實際應用時，由于隱層節(jié)點的方差計算完之后會有很多的方差值接近0，選取這些接近0的方差，然后刪除對應的隱層節(jié)點，就能夠優(yōu)化網絡結構。考慮到每次網絡結果可以允許存在一定的誤差，而且隱層的實際輸出在這個誤差允許范圍內，就可以認為是合理的值，那么以誤差傳遞作為基本思想，給出每個隱層節(jié)點的實際值與節(jié)點輸出的均值的差[3]。如果差值在一定的范圍內則認為是合理的、沒有誤差的，并在計算總結所有節(jié)點誤差后，刪除沒有誤差的隱層節(jié)點。

基于權重參數(shù)的剪枝算法完全是依據(jù)權重矩陣的大小。權重矩陣W可以唯一表示網絡的情況，依據(jù)權重矩陣進行判斷網絡的冗余情況，然后執(zhí)行剪枝操作。權重矩陣大，對于網絡的影響大，應保留；權重矩陣小，對于網絡的影響小，應去除連接。網絡中的每一層的權重分布是不一樣的。網絡的剪枝不能采用全局操作，而應單獨處理每一層；否則對于不同的層，由于其均值和方差在網絡計算中的偏移會使全局矩陣的不統(tǒng)一。對一個單獨的網絡層進行剪枝，就是直接判斷權重參數(shù)是否大于某一個值，這一個值稱為閾值。大于閾值的神經元單元保留，小于閾值的神經元單元丟棄[4]。由于直接判斷權重參數(shù)會導致一些負的大權重參數(shù)被修剪掉，而負的大權重對網絡也是重要的一部分。經過上述分析可知，近零參數(shù)對于網絡操作是冗余的，負的大權重參數(shù)在網絡中卻占據(jù)著一部分重要的信息。因此，剪枝算法根據(jù)絕對值判斷或者根據(jù)正負情況判斷是必要的。

4 總結

本文提出了采用剪枝算法對卷積神經網絡模型進行優(yōu)化的方案。此方案能夠快速而有效地對網絡進行加速優(yōu)化。剪枝之后模型的精度與原來相差不到1%，但是模型的速度可以提高到原來的十倍甚至更多，而且模型大小降為不到原來的十分之一，能夠兼顧圖像識別的精度和速度。

[1]吳岸城．神經網絡與深度學習[M]．北京：電子工業(yè)出版社，2016：9．

[2]宋清昆．基于改進相關性剪枝算法的BP神經網絡的結構優(yōu)化[J]．控制理論與應用，2006，25（12）：4-6．

[3]李小夏，李孝安．一種改進的神經網絡相關性剪枝算法[J]．電子設計工程，2013，21（8）：65-67．

[4]張虹，王丹．一種改進的BP神經網絡剪枝算法研究[J]．西南大學學報（自然科學版），2016，38（3）：165-170．

Optimization of Convolutional Neural Networks Based on Pruning Algorithm

Du Haitao

Wuxi Vocational Institute of Commerce, Jiangsu Wuxi 214063

Traditional image recognition technology can not adapt to the current needs, and the combination of convolutional neural network and image recognition has achieved great breakthrough. With the rapid development of artificial intelligence technology, deeper and wider convolutional neural networks are competing, and the number of layers is also deepening. The accuracy of image recognition has also increased dramatically, but it takes more resources and time due to an overly complex network. It is proposed to use the pruning algorithm to optimize the convolutional neural network and trim out the unimportant neurons, thus thinning the network model. This can not only ensure the accuracy of image recognition, but also achieve the purpose of network acceleration optimization.

image recognition; convolutional neural network; pruning algorithm

TP183；TP391.4

A

杜海濤（1980—），男，河南民權人，研究生學歷，工學碩士，無錫商業(yè)職業(yè)技術學院講師，研究方向或專業(yè)為軟件技術。