卷積神經網絡在手寫數字識別中的應用

摘要：基于深度學習卷積神經網絡在手寫體數字識別中的應用，對卷積神經網絡的結構進行介紹，同時使用MNIST數據集對設計的卷積神經網絡模型進行訓練與測試，訓練后的模型在MNIST的測試集樣本中的識別精度可以達到99.25%。最終將訓練好的模型用于在線手寫體數字的識別，識別精度高達99%以上。實驗結果表明，與傳統的線性回歸模型相比，卷積神經網絡有更好的魯棒性和抗干擾性，識別精度明顯優于傳統的線性回歸模型。

關鍵詞：卷積神經網絡;MNIST;手寫數字識;線性回歸;深度學習

中圖分類號：TP311文獻標識碼：A

文章編號：1009-3044（2020）21-0013-03

開放科學（資源服務）標識碼（OSID）：

目前，由于手寫數字的應用范圍廣泛，例如郵政編碼手寫體、智能手機的手寫輸入法等，使得手寫數字識別研究成了深度學習的研究熱點之一。手寫數字識別研究的內容是讓計算機準確、高效地識別人隨機手寫的數字，但由于不同人的書寫方式千差萬別，書寫的大小與角度也不盡相同，進而增加了對手寫數字識別的難度，因此傳統線性回歸模型不能正確精準地對手寫體數字進行識別[1]。

在此背景下.由于卷積神經網絡結構的不斷優化以及計算機性能的不斷提升，使得卷積神經網絡在圖像識別領域取得了重大的突破。卷積神經網絡中可以將圖像的每一個像素均看成一個特征，直接將手寫數字圖像作為卷積神經網絡模型的輸入并自動進行特征提取，再根據提取后的特征進行分類識別[2]，不僅克服了傳統方法中需要對圖像實時預處理的弊端，還提高了對手寫數字的識別精度。

本文實驗中把通過MNIST數據集訓練好的卷積神經網絡模型保存下來，在Python環境下結合Flask，在線隨機手寫不同形狀和大小的數字并進行實時識別。為了直觀地體現卷積神經網絡識別的精確度，本文將識別結果的概率值在前端頁面展現出來，并和傳統的線性回歸模型進行對比，體現出了卷積神經網絡對手寫數字識別的優勢性與高精度性。

本文分為3章，組織結構如下，第1章介紹卷積神經網絡相關理論知識，第2章為實驗結果與分析，介紹卷積神經網絡的訓練過程和實驗結果，第3章對全文進行總結。

1 卷積神經網絡

卷積神經網絡的核心思想是通過權值共享和局部感知域的方法減少網絡的參數個數，緩解了網絡模型過擬合的問題，獲得了某種程度的尺度、位移、形變不變性，同時還降低了網絡模型的復雜程度[3]。卷積神經網絡的基礎架構主要包含了五個部分，分別是輸入層、卷積層、池化層、全連接層與輸出層[4]。其網絡結構如圖1所示。

1.1卷積層

卷積層又稱為特征提取層，主要作用就是對輸入的數據進行特征提取，其內部包含了多個卷積核，組成卷積核的每個元素都對應一個權重系數和一個偏差量，并且卷積核的個數決定了最終提取的數據特征數量。卷積運算的實質是用一個可訓練的卷積核fx去卷積一個輸入的圖像，然后加一個偏置bx，得到卷積cx。卷積的詳細過程可以理解為使用一個卷積核依次過濾圖像的各個區域，從而得到這些區域的特征值[5]。卷積的流程如圖2所示。

1.2池化層與激活函數

池化層又稱為降采樣層，其作用是對卷積層提取出的特征進行降采樣處理，進一步減少特征數量并降低特征數據的維度，同時不影響對圖像的描述，還能夠有效地避免過擬合問題的出現。目前下采樣的常用方法有平均值下采樣、最大值下采樣、高斯下采樣等。本文在實際應用中，將輸入的特征圖劃分成多個不重疊的2x2大小的圖像塊，然后采用了均值法進行降采樣，其公式如式（1）所示。

在神經網絡中，常用的激活函數有Sigmoid函數、ReLU函數和softmax函數等，根據其自身的優勢不同使得他們的應用范圍也不盡相同。在卷積神經網絡中，隱藏層節點和輸出層采用了不同激活函數。在隱藏層由于需要對圖像特征的提取域降維，為了解決梯度消失的問題，使用了ReLU作為激活函數;在輸出層為了避免出現重復分類的現象，使用了softmax作為激活函數[6]。ReLU和softmax函數公式如式（2）、（3）所示。

1.3全連接層

全連接層在整個卷積神經網絡結構中位于池化層的后一層，顯而易見其作用是連接經過卷積和降采樣后提取出來的所有高級特征，并將最后的輸出值送給分類器得出最終的分類結果。全連接層的最終目的是將學到的“分布式特征表示”映射到樣本標記空間[7]，其實現過程是通過對輸入的特征做加權求和，再加上偏置量，然后通過softmax激活函數[8]來獲得最終的結果，其表達式如式（4）所示。

2 實驗過程與分析

2.1 模型訓練

本實驗在Windowsl0 64位操作系統，Python3.7.0環境下使用MNIST數據集進行模型訓練，其中每張圖像大小為28x28像素。訓練樣本為MNIST中的60000張手寫數字圖像，為了提高模型識別的準確率總共訓練20000次，總耗時5610秒;測試的樣本為MNIST測試集中的10000張手寫數字圖像，在該測試集上的正確率為99.25%。卷積神經網絡模型的訓練過程如圖3所示。

2.2 實驗過程

模型訓練完成后，將保存下來的訓練模型正式用于實時手寫體數字的識別。為了直觀地展示識別的效果，本實驗在Py-thon的環境下結合Flask并以前端頁面的形式展示識別效果。前端頁面如圖4所示。

可視化界面主要分為三個模塊，手寫數字區域，圖像輸入區域和識別結果區域。在手寫數字區域可以通過拖動鼠標進行書寫0-9之間的任意數字，書寫完畢后將其同比例縮放成28x28像素的圖片作為模型的輸入，最后將識別的結果以0到l之間的概率值的形式輸出，進而判斷出識別的效果。其中識別結果區域對每一個手寫數字將輸出10個結果，十個結果中概率值最高的即為最終的識別結果。同時在識別結果區域增加了同樣由MNIST數據集訓練20000次的線性回歸模型來同時進行手寫數字的識別，其識別結果與卷積神經網絡模型的識別結果進行直觀對比。實驗流程如圖5所示。

2.3 實驗結果與分析

在進行隨機手寫數字在線識別的過程中，對十個類別的阿拉伯數字分別進行了10次測試。測試過程中，為了體現卷積神經網絡模型相對于線性回歸模型有著更高識別率和更好的魯棒性以及抗干擾性，在用鼠標進行隨機書寫數字時故意改變了手寫數字的形狀、大小和傾斜角度來驗證識別效果。其部分手寫數字測試結果如下圖所示。

對0-9十個類別的隨機手寫數字分別測試10次，兩種模型的平均識別精確率統計結果如表1所示。

對10個類別的手寫數字的測試表明，經過MNIST訓練后的卷積神經網絡模型對相對規范的手寫數字的識別正確率達到99%以上，甚至出現識別率100%情況。對于在相同情況下訓練的線性回歸模型在手寫數字相對規范的情況下對數字0、1、2、3、4、7的識別率也能達到94%以上，但對于數字5、6，9的識別率相對較低;對于數字8，由于其與數字3有較大的相似性，因此線性回歸模型將數字8識別成了數字3，而卷積神經網絡模型能夠正確識別8和3。

當手寫數字的大小、形狀和傾斜度發生變化時，卷積神經網絡對數字0、1、2、3、4、7的平均識別率仍能大于在MNIST測試集中的99.25%的識別率，而對于數字5、6、8、9的識別率略有下降，但其平均識別率仍在97%以上，當手寫數字發生嚴重變形時，卷積神經網絡模型也會出現識別錯誤的情況（如圖8）;而在同樣的條件下，線性回歸模型的識別率大大降低且出現了較多識別錯誤的情況。因此足以證明，卷積神經網絡相對于傳統的線性回歸模型有著更高的識別率，同時擁有更好的魯棒性和抗干擾性。

3 總結

本文使用MNIST數據集對卷積神經網絡模型進行訓練，然后將訓練好的模型用于在線手寫數字的識別。實驗結果表明，在MNIST的測試數據集上的識別準確率為99.25%，對規范的手寫數字的識別準確率高達99%以上，因此可以認為本實驗的卷積神經網絡模型達到了正確識別手寫數字的效果。但訓練出來的模型還存在一定的局限性，當手寫體數字的位置、大小、傾斜度等發生較大變化時，會使得卷積神經網絡模型對手寫數字的識別精確率略低于MNIST測試數據集上的準確率，甚至會出現識別錯誤的情況。針對訓練后的模型存在的局限性，可以通過對原始的數字圖像進行縮放、平移、旋轉等操作來擴充訓練模型的數據集，進而使得訓練后的模型對手寫數字的識別有更高的精確率。

參考文獻：

[1]張濤，楊劍，宋文愛，等.改進卷積神經網絡模型設計方法[Jl，計算機工程與設計，2019，40（7）：1885-1890.

[2]馬媛媛，史加榮.卷積神經網絡及其在手寫體數字識別中的應用[J].湖北工程學院學報，2017，37（6）：66-72.

[3]尹曉偉，王真真，孟慶林，等.基于改進的LeNet-5手寫數字識別研究[Jl，信息通信，2019，32（3）：17-18.

[4]呂紅，基于卷積神經網絡的手寫數字識別系統的設計[J].智能計算機與應用，2019，9（2）：54-56，62.

[5]邢萌.基于TensorFlow手寫數字識別模型設計與實現[J].電子技術與軟件工程，2019（2）：56.

[6]代賀，陳洪密，李志申.基于卷積神經網絡的數字識別[J].貴州師范大學學報（自然科學版），2017，35（5）：96-101.

[7]陳巖，李洋洋，余樂，等.基于卷積神經網絡的手寫體數字識別系統[Jl.微電子學與計算機，2018，35（2）：71-74.

[8] Ravi Babu U，Kumar Chintha A，Venkateswarlu Y.Handwrittendigit recognition using structural， statistical features and K-nearest neighbor classifier[J].lnternational Journal of Informa-tion Engineering and Electronic Business， 2014，6（1）：62-68.

【通聯編輯：聞翔軍】

作者簡介：何帥（1996-），男，四川省渠縣人，在讀研究生，研究方向為圖像處理與模式識別。