卷積網絡樣本數和迭代數與識別結果關系研究

高述勇 周粉粉 符朝興 孟含

摘要： 針對訓練樣本數量和迭代次數對卷積神經網絡識別率的影響，本文以經典LeNet卷積神經網絡為研究對象，以Mnist樣本集為樣本，利用Matlab軟件研究了樣本數量和迭代次數與網絡識別率的關系。通過調整訓練樣本數量和迭代次數，對比不同訓練結果對網絡錯誤率的影響，得出在迭代次數、學習率及批數據大小不變的情況下，訓練樣本數目對網絡識別錯誤率的影響存在閾值，當訓練樣本數目大于閾值時，樣本數目增加，錯誤率降低很??；在訓練樣本數目、學習率及批數據大小不變的情況下，隨著迭代次數的逐漸增加，網絡識別的總體錯誤率呈現先緩慢下降后快速下降，之后又緩慢下降的趨勢，在迭代次數少的情況下，迭代次數和誤差率變化規律具有隨機性。該研究對中小樣本數量的卷積神經網絡提供了理論參考。

關鍵詞： 卷積神經網絡； 識別率； 樣本數目； 迭代次數

中圖分類號： TP183； TP391.413文獻標識碼： A

收稿日期： 20170523； 修回日期： 20170830

作者簡介： 高述勇（1992），男，碩士研究生，主要研究方向為智能設計。

通訊作者： 符朝興，男，博士，副教授，主要研究方向為車輛振動及控制。Email： cx_f@163.com隨著人工智能的迅速發展，卷積神經網絡[16]作為圖像識別的重要算法成為研究熱點。卷積神經網絡的訓練結果依賴于樣本數量和迭代次數等因素，大樣本神經網絡的訓練已經比較成熟，但多數實際工程領域不滿足大樣本的條件要求[711]，導致識別率較低。在樣本數量不足的情況下，楊世元等人[12]討論了一種基于支持向量機（support vecort machine，SVM）技術的FLANN構造新方法，在實驗數據較少的小樣本條件下仍然具有更高的魯棒性和修正精度；陳濤等人[13]提出一種動態灰神經網絡智能趨勢預測方法，為小樣本高精度狀態趨勢預測提供一種新方法；馮國奇等人[14]針對正交實驗設計的小樣本問題，采用基于限制擾動的虛擬樣本構造方法擴大訓練樣本集，用于提高人工神經網絡建模精度；K.Kavukcuoglu等人[1516]選用稀疏編碼提取輸入數據的基函數作為卷積神經網絡的初始濾波器，并利用獨立成分分析預訓練，對卷積神經網絡進行初始化，克服了樣本數量不足的條件。卷積神經網絡的正確訓練是圖像識別準確的重要前提，而合理的確定樣本數量和迭代次數又是網絡正確訓練的保證。基于此，本文以經典LeNet[1720]卷積神經網絡為研究對象，以Mnist樣本集為樣本，通過調整訓練樣本數量和迭代次數，對比不同訓練結果對網絡錯誤率的影響，研究樣本數量和迭代次數與網絡識別率的關系。該研究為中、小樣本集的卷積神經網絡節約了訓練時間，提供了理論參考。

卷積神經網絡是為識別二維形狀而特殊設計的一個多層感知器，它類似生物視覺中的局部感知效應，權重共享可以降低神經網絡模型的復雜度，并減少網絡權重數量，對圖像平移、縮放旋轉等變形具有高度適應性。卷積神經網絡由局部感受野（local receptive fileds）、權重共享（shared weights）、池化（pooling）3個重要思想構成。卷積神經網絡結構如圖1所示。

卷積層進行卷積的操作，每幅圖像用多個具有自學習能力的卷積核進行卷積，從而提取每幅圖像的局部特征。一般選取激活函數為Sigmoid函數，卷積層計算公式和激活函數分別為

xlj=f（∑i∈MJxl-1i×klij+blj）（1）

Sx=11+e-x（2）

式中，l是網絡的層數；k是卷積核；Mi是輸入層的感受野；b是偏置；e是自然常數。

降采樣層在卷積層之后，主要功能是對特征圖降維，在一定程度上保持特征的尺度不變。降采樣層的一般形式為

xij=f（βijdown（xi-1j）+bij）（3）

式中，l是網絡的層數；β表示權值；down表示降維操作；b是偏置。

經過多個卷積層和降采樣層的交替傳遞，針對提取的特征分類，卷積網絡依靠全連接網絡。因輸出層分10類，所以采用Softmax分類器，每幅圖像屬于0～9的概率為

圖2LeNet經典神經網絡結構圖d（i）j=exp（WTjx（i）+aj）∑10j=1exp（WTjx（i）+aj）（4）

式中，W為分類器的參數，W=[W1，W2，W3，W4，W5，W6，W7，W8，W9，W10]∈Rd×10；d（i）j是對x（i）屬于第j類的可能性預測。

2網絡識別率與樣本關系

2.1網絡結構

LeNet經典神經網絡共6層，卷積核大小為5×5，其結構圖如圖2所示。各層結構如下：

第1層為輸入層I1，為28×28的灰度圖像。

第2層為卷積層C2，卷積核大小5×5，最終得到6個24×24的特征圖像。

第3層為降采樣層S3，用2×2的鄰域進行降維采樣，得到6個12×12的特征圖像。

第4層為卷積層C4，卷積核大小5×5，最終得到12個8×8的特征圖像。

第5層為降采樣層S5，用2×2的鄰域進行降維采樣，得到12個4×4的特征圖像。

LeNet經典神經網絡的激活函數選取Sigmoid函數。

2.2實驗流程

在網絡學習率為05的情況下，本文主要研究當迭代次數不變時，訓練樣本數量與網絡判斷誤差的關系，以及當訓練樣本的數量不變，迭代次數與網絡判斷誤差的關系。樣本數量與判斷誤差關系流程圖如圖3所示。

2.3實驗過程

代價函數定義為

η=p/q（5）

式中，p為測試樣本中判斷錯誤的樣本個數；q為用來測試的樣本總數。

1）迭代次數選擇20次，保持不變；訓練樣本數量最終選擇：70，100，170，200，…；測試樣本選擇Mnist樣本集的10 000個測試樣本進行實驗。

2）訓練樣本選擇170個，保持不變；迭代次數最終選擇：3，10，13，15，18，…；測試樣本選擇Mnist樣本集的10 000個測試樣本進行實驗。

3實驗結果及分析

實驗采用Mnist樣本集中的訓練樣本進行訓練，使用其中的測試樣本進行測試，最終得到訓練樣本數目與錯誤率的關系如圖4所示，迭代次數與錯誤率的關系如圖5所示。

由圖4可以看出，在迭代次數、學習率及批數據大小不變的情況下，網絡的判斷誤差隨著訓練樣本數目的增加開始迅速下降，之后趨于穩定，雖然錯誤率有微小下降，但是變化不大；由圖5可以看出，在訓練樣本數目、學習率及批數據大小不變的情況下，網絡的判斷誤差隨著訓練迭代次數的增加，開始變化較小，之后迅速下降，然后趨于穩定，雖然錯誤率有微小下降，但是變化不大。在迭代次數較少時，迭代次數與錯誤率的關系不明顯。

4結束語

本文研究了卷積神經網絡訓練樣本數目和迭代次數對網絡判斷錯誤率的影響。實驗結果表明，訓練樣本數目和迭代次數對網絡判斷錯誤率的影響具有較大的非線性。在迭代次數、學習率及批數據大小不變的情況下，訓練樣本數目對網絡識別錯誤率的影響存在閾值，當訓練樣本數目大于閾值時，樣本數目增加對錯誤率降低很小；在訓練樣本數目、學習率及批數據大小不變的情況下，隨著迭代次數逐漸增加，網絡識別的總體錯誤率呈先緩慢下降后快速下降之后又緩慢下降的趨勢，迭代次數少的情況下，迭代次數和錯誤率變化規律具有隨機性。由于樣本數據和計算機資源的有限性，在卷積網絡的訓練和應用中，要合理選擇網絡訓練參數，提高網絡識別能力。

參考文獻：

[1]張婷， 李玉鑑， 胡海鶴， 等. 基于跨連卷積神經網絡的性別分類模型[J]. 自動化學報， 2016， 42（6）： 858865.

[2]王偉凝， 王勵， 趙明權， 等. 基于并行深度卷積神經網絡的圖像美感分類[J]. 自動化學報， 2016， 42（6）： 904914.

[3]姚家雄， 楊明輝， 朱玉琨， 等. 利用卷積神經網絡進行毫米波圖像違禁物體定位[J]. 紅外與毫米波學報， 2017， 36（3）： 354360.

[4]李琳輝， 倫智梅， 連靜， 等. 基于卷積神經網絡的道路車輛檢測方法[J]. 吉林大學學報： 工學版， 2017， 47（2）， 384391.

[5]李彥冬， 郝宗波， 雷航. 卷積神經網絡研究綜述[J]. 計算機應用， 2016， 36（9）： 25082515.

[6]劉萬軍， 梁雪劍， 曲海成. 基于雙重優化的卷積神經網絡圖像識別算法[J]. 模式識別與人工智能， 2016， 29（9）： 856864.

[7]左艷麗， 馬志強， 左憲禹. 基于改進卷積神經網絡的人體檢測研究[J]. 現代電子技術， 2017， 40（4）： 1215.

[8]Fu L， Kara L B. Neural NetworkBased Symbol Recognition Using a Few Labeled Samples[J]. Computers & Graphics， 2011， 35（5）： 955966.

[9]樊養余， 李祖賀， 王鳳琴， 等. 基于跨領域卷積稀疏自動編碼器的抽象圖像情緒性分類[J]. 電子與信息學報， 2017， 39（1）： 167175.

[10]高建清. 基于卷積神經網絡的旋轉變形驗證碼識別[J]. 莆田學院學報， 2016， 23（2）： 6366.

[11]Lopes A T， Aguiar E D， Souza A F D， et al. Facial Expression Recognition with Convolutional Neural Networks： Coping with Few Data and the Training Sample Order[J]. Pattern Recognition， 2017， 61： 610628.

[12]楊世元， 董華， 吳德會. 基于SVM構造的FLANN數據融合方法在CPS修正中的應用[J]. 儀器儀表學報， 2007， 28（4）： 621625.

[13]陳濤， 徐小力. 基于動態灰神經網絡的關鍵設備狀態趨勢預測[J]. 自動化與儀表， 2016， 31（6）： 14.

[14]馮國奇， 崔東亮， 張亞軍， 等. 樣本視角下面向復雜產品多目標優化設計的混合人工神經網絡遺傳算法技術[J]. 計算機集成制造系統， 2016， 22（6）： 14031414.

[15]Kavukcuoglu K， Sermanet P， Boureau Y L， et al. Learning Convolutional Feature Hierarchies for Visual Recognition[C]// International Conference on Neural Information Processing Systems， Vancouver， British Columbia， Canada： DBLP， 2010： 10901098.

[16]Kavukcuoglu K， Ranzato M A， Fergus R， et al. Learning Invariant Features Through Topographic Filter Maps[C]// IEEE Conference on Computer Vision & Pattern Recognition， Miami， FL， USA： IEEE， 2009： 16051612.

[17]王曉鋒， 馬鐘. 基于卷積神經網絡LeNet5的貨運列車車號識別研究[J]. 現代電子技術， 2016， 39（13）： 6366.

[18]黨倩， 馬苗， 陳昱蒞. 基于二級改進LeNet5的交通標志識別算法[J]. 陜西師范大學學報： 自科版， 2017， 45（2）： 2428.

[19]馬苗， 陳芳， 郭敏， 等. 基于改進LeNet5的街景門牌號碼識別方法[J]. 云南大學學報： 自然科學版， 2016， 38（2）： 197203.

[20]鄒沖， 蔡敦波， 趙娜， 等. 基于SVMLeNet模型融合的行人檢測算法[J]. 計算機工程， 2017， 43（5）： 169173.