淺談基于深度學習的卷積神經網絡的特點和應用

摘要：本文先介紹淺層神經網絡的特點和應用，并指出其發展的瓶頸及不足之處;然后引入深度學習的概念，以卷積神經網絡為例，詳細介紹卷積神經網絡的關鍵技術特點，最后通過一個實例說明卷積神經網絡在深度學習方面的應用。

關鍵詞：多層感知機;深度學習;卷積神經網絡;人工智能

中圖分類號：TP183：文獻標識碼：A

0 引言

在上世紀80年代，基于生物神經元數學模型的多層感知機（Multi-Layer Perceptron，簡稱 MLP）實現的網絡模型就被叫作神經網絡。由于當時的計算能力受限、數據規模較小等因素，神經網絡一般只能訓練到很少的層數，這種小規模的神經網絡叫做淺層神經網絡（Shallow Neural Network）。淺層神經網絡不太容易輕松提取數據的高層特征，表達能力一般，雖然在諸如數字圖片識別等簡單任務上取得不錯效果，但很快被90年提出的支持向量機超越。同時，淺層神經網絡的發展遇到了很大的發展瓶頸。

1 深度學習簡介

加拿大多倫多大學教授 Geoffrey Hinton長期堅持神經網絡的研究，但由于當時支持向量機的流行，神經網絡相關的研究工作遇到了重重阻礙。2006 年，Geoffrey Hinton 在 [1]

提出了一種逐層預訓練的算法，可以有效地初始化Deep Belief Networks（DBN）網絡，從而

使得訓練大規模、深層數（上百萬的參數量）的神經網絡成為可能。在論文中，Geoffrey

Hinton 把深層的神經網絡叫做Deep Neural Network，這一塊的研究也因此稱為 Deep

Learning（深度學習）。

2 卷積神經網絡簡介

2.1淺層神經網絡的特點分析

前面本文提到淺層神經網絡是采用全連接形式的一種神經網絡，這種淺層神經網絡一般層數不多，但參數量在當時的計算機硬件的條件來說是非常龐大的。訓練一個淺層的神經網絡計算代價并不小，由此可見，全連接層較高的內存占用量嚴重限制了神經網絡朝著更大規模、更深層數方向的發展。

2.2 卷積神經網絡的特點

卷積神經網絡作為深度學習的一個典型網絡，通過充分利用局部相關性和權值共享的思想，大大地減少了網絡的參數量，從而提高訓練效率，更容易實現超大規模的深層網絡[1]。2012年，加拿大多倫多大學Alex Krizhevsky 將深層卷積神經網絡應用在大規模圖片識別挑戰賽ILSVRC-2012上，在ImageNet數據集上取得了15.3%的Top-5錯誤率，排名第一，相對于第二名在Top-5錯誤率上降低了10.9%，這一巨大突破引起了業界強烈關注，卷積神經網絡迅速成為計算機視覺領域的新寵，隨后在一系列的任務中，基于卷積神經網絡的形形色色的模型相繼被提出，并在原有的性能上取得了巨大提升。

2.3 卷積神經網絡的基本原理

在數字圖像處理中有一種基本的處理方法叫線性濾波[2]。它將待處理的二維數字看作一個大型矩陣，圖像中的每個像素可以看作矩陣中的每個元素，像素的大小就是矩陣中的元素值。而使用的濾波工具是另一個小型矩陣，這個矩陣就被稱為卷積核。卷積核的大小遠遠小于圖像矩陣，具體的計算方式就是對于圖像大矩陣中的每個元素，計算周圍的像素和卷積核對應位置的乘積，之后將結果相加最終得到的終值就是該像素的值，這樣就完成了一次卷積。

如果采用卷積神經網絡來替代以上提到的手寫數字識別淺層神經網絡，采用三個卷積層，和兩個全連接層，一共只需要13450個參數，而且識別的準確率大幅上升。經過測試，可由原來的91%上升到98%以上。由此可見，卷積層的參數量非常少，主要的參數量集中在全連接層。由于卷積層將輸入特征維度降低很多，從而使得全連接層的參數量不至于過大，因此通過卷積神經網絡可以顯著降低網絡參數量，同時增加網絡深度，大幅提高了識別的準確率。

3 卷積神經網絡的具體應用

卷積神經網絡可以應用在人工智能的很多領域[3]，比如圖像和自然語言處理等等。其結合特征提取和目標訓練為一體的模型，能夠很好地利用已有的信息對結果進行反饋訓練。對圖像識別的卷積神經網絡來說，同樣也是充分利用特征提取時提取的圖像特征，來計算圖像特征權重的大小，然后歸一化處理需要處理的數據。這樣使得原來的圖像信息抽象成一個向量化的樣本集，之后將樣本集和訓練好的模板輸入卷積神經網絡進行處理。下面以圖像處理為例，說明卷積神經網絡具體的編程方法和步驟。

3.1 MNIST數據集介紹

MNIST數據集是一個手寫數字的數據庫，它有60000個28*28像素的訓練樣本集和10000個28*28像素的測試樣本集[4]。樣本中包含了各個訓練數據和相應的標簽，其中標簽集包含了0，1，2，3，4，5，6，7，8，9一共10個分類數據。通過對數據集的若干次訓練，實現網絡對輸入數字圖片的數字預測。

3.2 數據獲取及預處理

本文使用的編程環境是TensorFlow 2.3，采用GTX1080 GPU進行訓練，具體步驟如下：

（1）數據獲取

首先使用TensorFlow 2.3本身自帶的數據獲取方式獲得MNIST數據集并進行預處理。

（2）數據預處理

mnist數據集中每個實例的標簽對應于0-9之間的任意一個數字，用來對圖片進行標注，但這種標注方法并不能使得損失函數獲得一個好的結果，因此數據預處理主要是先對數據標簽（label）進行one-hot轉換處理，處理之后就把常規的數字表示成0，1的形式，這種形式更適合進行損失函數的求解最小化。然后使用TensorFlow自帶的data API進行打包，組合成訓練集（train）和標簽（label）的配對數據集。

3.3 建立卷積神經網絡模型和結果分析

基本的卷積神經網絡模型是由卷積層、池化層、BatchNormalization層、dropout層以及作為分類的全連接層構成，同時每一層使用relu激活函數做分割。主要代碼如下：

（1）輸入的初始化

輸入的初始化使用的是Input類，根據輸入的數據大小，將輸入的數據維度做成[28，28，1]的三維數據。

（2）建立卷積層

使用TensorFlow自帶的卷積層實現類對卷積進行計算，通過設定卷積核的數量、卷積核的大小、padding方式和激活函數初始化卷積類。

（3）建立BatchNormalization層和MaxPooling層

BatchNormalization層和MaxPooling層的目的是輸入數據正則化，增大模型的泛化能力。

（4）建立分類的全連接層

全連接層的作用是對卷積層所提取的特征做最終分類，先使用flat函數進行扁平化，最后使用softmax函數進行分類。

（5）實驗結果分析

實驗結果分析來看，經過15個epochs訓練后，訓練集的效果非常好，準確率達到了98.91%，但測試集在第4個epoch訓練結束后準確率達到92.3%，以后就基本沒有得到提高，說明存在一定程度的過擬合問題。

（6）解決過擬合常規的辦法

a.正則化

正則化是機器學習中最常見的過擬合解決方法，在損失函數中加入正則項來懲罰模型的參數，以此來降低模型的復雜度，常見的添加正則項的正則化技術有L1，L2正則化。

b. Dropout

Dropout是深度學習中最常用的控制過擬合的方法，主要用在全連接層處。Dropout方法是在一定的概率上（通常設置為0.5）隱式的去除網絡中的神經元。

c.Batch Normalization

BM算法是一種非常有用的正則化方法，可以讓大型的卷積神經網絡快速收斂，同時還能提高分類的準確率，不需要使用局部響應歸一化處理。BM算法會將每一層的輸入值做歸一化處理，并且會重構歸一化處理之后的數據，確保數據的分布不會發生變化。

d.增加噪聲

增加噪聲是深度學習中的一種避免過擬合的方法，可以在輸入數據上添加，增大數據的多樣性，也可以在權值上添加噪聲，這種方法類似于L2正則化。

本實驗采用了L2正則化和Dropout的處理過擬合方案，經過過擬合處理和參數調節后，使得訓練集和測試集的曲線基本擬合，達到了預期的目標。

4 總結

本文先介紹淺層神經網絡的特點和不足之處，進而引入深度學習的概念，并詳細介紹了深度學習的典型網絡-卷積神經網絡的特點和應用，最后通過使用TensorFlow2.3建立卷積神經網絡，對mnist數據集進行識別，從數據獲取、數據預處理、建立卷積神經網絡等一系列步驟進行說明，從運行的結果來看，卷積神經網絡比傳統的淺層神經網絡大幅度提高了識別的準確率。

參考文獻

[1] 王宇石等.一種基于卷積神經網絡的違禁品探測系統及部署方法[J]，科技創新與應用，2020（7）.

[2] 曹華軍，吳宗民等.噪聲圖像的線性濾波分析與仿真[J]，信息技術與信息華，2017（8）.

[3] 閆濤. 深度學習算法實踐 [M]. 電子工業出版社出版社，2020.

作者簡介：翟高粵，男（1975-11）廣西欽州，漢，碩士，副教授，研究方向：軟件理論，人工智能。