基于卷積神經網絡的圖像識別過擬合問題分析與研究

謝璐陽 夏兆君 朱少華 張代慶 趙奉奎

摘 ?要：近年來深度學習在很多領域發揮著重要作用，但是在訓練過程中存在模型過擬合的問題。針對該問題，本文對Kaggle競賽中典型的貓狗識別任務建立了卷積神經網絡，并分析研究了多種抑制過擬合的方法，包括添加L2正則項、dropout處理、數據增強及多種方法綜合使用的綜合法，分別分析不同方法在訓練集和驗證集上的訓練精度和損失，發現數據增強法優于其他兩種方法，且綜合法能夠消除過擬合。研究結果對卷積神經網絡的配置具有重要的參考價值。

關鍵詞：卷積神經網絡;過擬合;圖像識別;深度學習

中圖分類號：TP311 ? ? 文獻標識碼：A

Abstract：Deep learning is playing important roles in various fields.However，it suffers overfitting in the training process.Dog and cat recognition is a classical task in Kaggle competition.Based on this problem，a convolutional neural network is created to analyze the effects of different methods for correcting overfitting problems.Those methods include L2 regularization，dropout，data augmentation and comprehensive method.Accuracy and loss of the model from training and validation sets are used to analyze the performance of those measures.Results show that the method of data augmentation performs better than L2 regularization and dropout，and the best method is the comprehensive method which eliminates overfitting in this case.The result is of great significance for configuring Convolutional Neural Networks.

Keywords：Convolutional Neural Networks;overfitting;image recognition;deep learning

1 ? 引言（Introduction）

近年來深度學習在自然語言處理、醫學診斷和自動駕駛等各方面發揮著重要的作用。然而，深度學習還面臨著數據過擬合的問題[1]。解決過擬合問題的最優方法是增加訓練樣本數，然而很多情況下所得的訓練數據非常有限。在無法獲取更多訓練數據的情況下，防止神經網絡過擬合的常用方法有添加網絡容量、添加權重正則化[2]、dropout處理[3]、數據增強[4]等。這些算法也不能完全解決過擬合問題，一方面，不同的方法抑制過擬合的效果不同，另一方面，同樣的方法設置不同的參數時，對過擬合的抑制效果也不相同，因此，需要對這些方法進行深入的研究。

本論文構建卷積神經網絡對圖像進行識別分類，用不同的方法抑制模型的過擬合，并對此進行分析研究。

2 ? 卷積神經網絡（Convolutional Neural Networks）

2.1 ? 卷積神經網絡結構

卷積神經網絡是一種多層神經網絡，卷積神經網絡在很多領域，尤其是圖像處理領域發揮著重要的作用[5]。卷積神經網絡主要由三部分構成[6]，第一部分為輸入層;第二部分是若干卷積層和下采樣層，通過卷積層和下采樣層的交替，構成深層的網絡結構;第三部分為全連接層，將圖像劃分到指定的類別中。

2.2 ? 卷積層

2.3 ? 池化層

卷積層后面通常為池化層，用一個特征來表達一個局部特征，對輸入進行下采用，減小輸入的尺寸。常用最大池化，利用局部特征的最大值表達這個區域的特征。

2.4 ? 全連接層

在卷積神經網絡中，卷積層和池化層交替出現，得到特征的高層抽象，再將這些高層抽象輸入到全連接層進行映射，最終實現分類，即全連接層實現了基于下層神經網絡提取的特征進行分類的功能。

3 ? 過擬合問題分析（Overfitting analysis）

貓狗圖像識別是Kaggle競賽中的一項典型任務，本文以Kaggle數據集中的貓狗圖像為例，構建了四層卷積層兩層全連接層的卷積神經網絡，分析不同正則化方法抑制模型過擬合的效果。所設定的訓練集每個類別均包括1000個樣本，驗證集每個類別均包括500個樣本，測試集每個類別均包括500個樣本。

訓練集和測試集的訓練精度和損失如圖1所示，由圖可知，訓練集的識別精度高于驗證集，損失值小于驗證集，訓練一開始就已經過擬合了。

3.1 ? L2 正則化

相比于復雜模型，簡單模型不容易過擬合，參數范數懲罰正則化可使模型權重取較小的值，限制模型復雜度。具體方法是給目標函數J添加一個參數范數懲罰項，常添加L2正則項。正則化后的目標函數如式（2）所示。

3.2 ? Dropout

Dropout處理是在每一步迭代過程中，隨機的選擇一些輸入層或隱藏層的神經元，將其輸入和輸出連接全部設為0。由于每次迭代時網絡結構均不相同，從而可以產生不同的輸出。Dropout處理后訓練集和測試集的訓練精度和損失如圖3所示，由圖可知，在經過第4次迭代后，訓練過程開始過擬合，相比于圖1的模型有了明顯改善，但是不如添加L2正則項的效果。

3.3 ? 數據增強

數據增強是對現有訓練數據進行一系列變換，生成更多的訓練數據。常用的變換方法包括對圖像隨機旋轉一定的角度，在水平或垂直方向上做一定的平移，或者是隨機縮放圖像等。

本文利用Keras中ImageDataGenerator做如下數據增強：

ImageDataGenerator（rescale=1./255，rotation_range=40，width_shift_range=0.2，height_shift_range=0.2，shear_range=0.2，zoom_range=0.2，horizontal_flip=True）

訓練集和測試集的訓練精度和損失如圖4所示，由圖可知，使用數據增強后，當訓練迭代60次時才出現了過擬合，訓練結果相比于圖1，圖2、圖3的模型都有了明顯改善。

3.4 ? 綜合法抑制過擬合

前述幾種方法均能有效抑制過擬合，但還是有過擬合的現象存在。因此，考慮將多種方法綜合應用的綜合法抑制過擬合。該模型添加L2正則項，在全連接層后進行dropout處理，并使用數據增強，訓練集和測試集的訓練精度和損失如圖5所示。由圖可知，在100次迭代過程中，無論是訓練精度還是損失，訓練數據和驗證數據都保持一致，綜合法消除了模型的過擬合。

4 ? 結論（Conclusion）

本文以Kaggle競賽中典型的貓狗識別為例，建立卷積神經網絡，通過比較多種抑制過擬合方法，發現添加L2正則項、dropout處理、數據增強均能抑制過擬合，其中以數據增強效果最好，但單一的方法不能完全消除過擬合，需要采用綜合法才能抑制過擬合。本文結果對卷積神經網絡參數的配置具有重要的借鑒意義。

參考文獻（References）

[1] Yu Shiqi，Jia Sen，Xu Chunyan.Convolutional neural networks for hyperspectral image classification[J].Neurocomputing，2017，219：88-98.

[2] Goldberg Yoav.Neural network methods for natural language processing[J].Synthesis Lectures on Human Language Technologies，2017，10（1）：1-309.

[3] Zhang Yu-Dong，Pan Chichun，Sun Junding，et al.Multiple sclerosis identification by convolutional neural network with dropout and parametric ReLU[J].Journal of computational science，2018，28：1-10.

[4] Huang Gao，Liu Zhuang，Van Der Maaten Laurens，et al.Densely connected convolutional networks[J].Proceedings of the IEEE conference on computer vision and pattern recognition，2017：4700-4708.

[5] 常亮，鄧小明，周明全，等.圖像理解中的卷積神經網絡[J].自動化學報，2016，42（9）：1300-1312.

[6] 刑珍珍.卷積神經網絡在圖像處理中的應用研究[J].軟件工程，2019，22（6）：5-7.

[7] Ketkar Nikhil.Deep Learning with Python[M].New York：Springer，2017：119-117.

作者簡介：

謝璐陽（1998-），女，本科生.研究領域：汽車電子.

夏兆君（1998-），男，本科生.研究領域：汽車電子.

朱少華（1998-），男，本科生.研究領域：汽車電子.

張代慶（1997-），男，本科生.研究領域：汽車電子.

趙奉奎（1986-），男，博士，講師.研究領域：智能汽車環境感知.本文通訊作者.