基于Lenet—5的卷積神經網絡改進算法

李丹　沈夏炯　張海香　朱永強

摘 要： 在當前語音識別和圖像識別領域，卷積神經網絡已經取得了很大的成功。現有的Lenet-5卷積神經網絡是多層網絡結構，但是大量實驗表明，從全鏈接層到輸入層的回調影響了最終的精度，特別是在有限數據量的情況下。因此提出了單層回調的Lenet-5算法，即在Lenet-5卷積神經網絡的卷積層后添加一個臨時輸出層，與真實標簽進行比較，根據誤差函數對層間參數進行回調，并用全球手寫數字MNIST數據集進行訓練和測試。實驗表明，即使在有限數據量的情況下算法的精度仍能得到提高。

關鍵詞： 卷積神經網絡； Lenet-5； 全鏈接； 卷積； 池化； 回調； 精度

中圖分類號：TP391.4 文獻標志碼：A 文章編號：1006-8228（2016）08-04-04

Abstract： In the area of speech recognition and image recognition， convolutional neural network has achieved a great success， the structure of Lenet-5 convolutional neural network is multilayer， but a lot of experiments show that the callback from full connection layer to the input layer influences the accuracy， especially in the case of limited data sets. So， the single layer callback Lenet-5 algorithm is proposed， which adds a temporary output layer in the end of each convolutional layer， compares the output with the real labels， adjusts the parameter of each layer according to the error function， and uses the global MNIST data base to train and test. The experiment proves that the accuracy of the algorithm can be improved even in case of limited data sets.

Key words： convolutional neural network； Lenet-5； full-connection； convolution； pooling； callback； accuracy

0 引言

提高卷積神經網絡的精度對于卷積神經網絡[1]在實踐中的應用有重要的意義，1962年Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野[2]（receptive field）的概念， 1984年日本學者Fukushima基于感受野[3]概念提出的神經認知機（neocognitron）可以看作是卷積神經網絡[4]的第一個實現網絡，也是感受野概念在人工神經網絡領域的首次應用。Lenet-5卷積神經網絡是一個多層的神經網絡，對于圖片的特征提取[5-7]有著出色的表現。

針對Lenet-5卷積神經網絡的結構及其在處理圖片的數據量方面的研究，筆者構造出了一種新的Lenet-5卷積神經網絡模型，使其同時具備單層神經網絡和多層神經網絡的優點，考慮在較少的訓練數據的情況下，該模型在圖片特征提取中仍然能通過層間傳遞得到優秀的訓練參數，特構建出一個特征模型。

1 Lenet-5算法簡介

Lenet-5[8]算法是Y.LeCun提出的一個卷積神經網絡，它是一種特殊的多層神經網絡，和其他神經網絡一樣，也是通過反向傳播方式來訓練，不同點是它的網絡結構，其最大的特點就是每層間的權值共享，這讓Lenet-5在構建網絡過程中減少了大量的參數，加快了學習過程，其網絡結構如圖1所示。

Lenet-5的每層由多個二維平面組成，每個平面由多個獨立神經元組成，網絡中包含一些簡單元和復雜元，分別標記為S-元和C-元，S-元聚合在一起組成S-面，S-面聚合在一起組成S-層，同理C-元、C-面、C-層也存在類似關系。C層是特征提取層，每個神經元的輸入與前一層的局部感受也相連，并提取該局部特征；S層是特征映射層，每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經元權值相等，特征映射結構采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射有位移不變性的特征。

2 Lenet-5訓練過程

Lenet-5[9]的訓練過程主要分為兩個部分，一是前向傳播，從訓練集中取出一個訓練數據（trnData， trnLabel），trnData輸入到神經網絡中，經過多次卷積和池化的傳播，得到實際輸出output_real；二是反向傳播，計算出實際標簽reaLabel和理想標簽trnLabel的誤差函數，反向傳播使用極小化誤差的方法，根據每層與上層間的誤差調節層間參數。

2.1 卷積

輸入數據經過卷積得到C1層，產生六個特征映射圖，由一個濾波器F（x）來卷積輸入圖像，加偏置B（x），得到卷積層C1層，多個濾波器來做卷積可以得到多個Feature Map。卷積的計算過程如圖2所示。

規定卷積核大小為5*5，以輸入層與C1層為例，輸入層大小為32*32，則C1層特征圖的大小為28*28，可由28=32-5+1計算得到，C1層共六個Feature Map，由權值共享概念可得：每個Feature Map共5*5+1=26個參數，C1層共26*6=156個參數，共156*（28*28）=122304個連接，卷積過程如圖3所示。