基于深度學習卷積神經網絡圖像識別技術的研究與應用

楊子賢

（，河南 鄭州 450000）

圖像識別技術屬于計算機視覺領域，在人臉識別、自動駕駛等方面已卓有成效，在醫學、安防、通訊等領域仍有巨大的發展空間。圖像識別技術的實現，簡言之相當于尋找一個適當的函數，使得輸入的是被識別的圖片或圖片的一部分，而輸出的是我們需要的圖片的語義概念。我們的目的是通過對模型的訓練，找到這個合適的函數。在深度學習提出之前，傳統的機器學習方式，通常是用人類的經驗知識，把原始數據預處理成各種特征，然后對特征進行分類。這些科學家們把大部分時間花在尋找合適的特征上，所以它也叫“特征工程”。然而特征的繁多以及一些特征難以表示，都要求機器學習方式的革新。直到Hinton等人提出深度學習，圖像識別技術才有了新的生機。深度學習即讓機器自己進行特征學習，將原始數據作為輸入，通過層層抽象將原始數據抽象為自身任務所需的特征標識，以特征到目標的映射結束。從原始數據到最終任務目標，中間沒有人為操作（端到端的思想）。CNN作為深度學習的一種代表算法，本論文將重點介紹。

1 卷積神經網絡的基本結構

CNN是一種層次網絡結構，可分為輸入層、卷積層、激活函數層、池化層、全連接層及輸出等部分（如圖1所示）。輸入原始數據（例如圖像的原始像素值），經過卷積、激活函數及池化等層層操作，最終將原始數據中的高層語義概念剝離出來，這就是前饋運算。通過誤差函數通過計算真實值和輸出值之間的誤差值，反向逐層反饋，更新每層參數，這是反饋運算。通過前饋運算與反饋運算，最終使模型收斂，實現完成訓練的目的。

圖1

2 卷積神經網絡的特征結構

卷積層。首先應了解什么是卷積操作，如圖2，畫面中間一個3×3大小的矩陣，將矩陣中的參數與對應圖像（畫面左）位置像素所對應的參數分別相乘并相加，此即為卷積操作。將所得數值作為一次卷積操作的輸出，之后選擇將卷積核往某個方向平移一個單位長度，再次進行卷積操作，直到得到新的一層，這一層同時也作為下一層的輸入。這個含有一定大小的矩陣（這里是3×3）叫做卷積核（濾波器），每次平移的距離（這里是1）叫做步長。進行卷積操作的一層即是卷積層。

圖2

卷積層的作用。卷積層通過卷積核完成對圖像信息的提取，故卷積核上的參數決定了該卷積層的作用。例如有一種邊緣濾波器，當該濾波器作用于圖片中物體的邊緣時，那么邊緣和其四周的像素值差異應比較大。如果作用該濾波器，那么邊緣四周像素值差異小的部分就會被消除，而差異較大的部分就被凸顯，從而實現提取邊緣特征的作用。應該指出的是，卷積核里的參數是通過網絡訓練得出的，可以構建任意方向的濾波器。用卷積的方式處理的數據，即對每一個像素數據賦予一定的權值，該過程是線性的。但因為訓練的模型不一定是線性可分的，所以引入激活函數以增加網絡的非線性因素表現力，否則無法形成復雜的函數。

激活函數。激活函數模擬了神經元的特性，當輸入信號超過該神經元的閾值后，該神經元就處于激活的狀態，否則為抑制。下面介紹兩種常見的激活函數。

圖3

圖4

但是通過觀察函數圖像可以發現一個問題，當輸入數據較大或較小時，都會被壓縮到1或0。當輸入值大于5或小于-5時，函數的梯度會接近于0（如圖4），梯度在反向傳播的時候因為需要乘上一個sigmoid的導數，所以會使得梯度越來越小，導致誤差在反向傳播的過程中無法更新參數繼而導致網絡無法進行訓練。這就是函數的梯度飽和效應對網絡訓練的不利影響。

（2）ReLU函數。為了避免梯度飽和效應的發生，我們引入了ReLU函數（Rectified linear unit)：

函數圖像如圖5所示，其梯度圖像如圖6所示。

對于x≥false0的部分梯度為1，反之為0。對于x≥false0的部分可以完全消除梯度飽和的現象。同時實驗結果也表示，采用ReLU函數比使用sigmoid函數網絡訓練速度快6倍左右。ReLU函數成為卷積神經網絡和其他深度學習網絡模型的首選激活函數。

圖5

圖6

池化層。先介紹池化（也叫匯合）操作。在完成卷積之后，它提取的特征圖看做一個矩陣，并在這個矩陣上劃分出幾個不重合的區域，在每個區域上計算該區域內特征的均值或最大值，然后用這些均值或最大值參與后續的訓練，這個過程就是池化。如圖7，采用的是最大值池化，即取該部分最大的值作為池化的結果。池化操作可分為平均值池化，最大值池化和隨機池化，在此不再一一介紹。進行池化的結構層即池化層。

圖7

池化的作用。①減少了參數含量，保留了主要特征。數據的減少即減少下一層的輸出大小，減輕運算負擔。②增加了特征不變性。池化操作使網絡更加關注圖像的征稱而不是圖像的位置。假設在連續的池化區域內，將圖像輕微平移或旋轉，池化的結果是相同的。③由于減少了參數，所以也可以預防過擬合的發生。上述介紹的卷積層，激活函數和池化操作，在CNN中都是起特征提取的作用，因此還需要全連接層將特征進行分類，最終輸出我們需要的結果。

全連接層。全連接層相當于“分類器”的作用。即將卷積層，激活函數和池化層學到的“分布式特征表示”映射到樣本標記空間。但由于全連接層參數冗雜（占整個網絡參數的80%左右）目前也提出了代替全連接層的方法，如GoogLeNet采用全局平均池化的方法。實際操作過程中，全連接層可以通過卷積操作來實現，即使用卷積核大小為1×1的卷積。

3 經典網絡結構分析

下面介紹兩種經典CNN模型：LeNet和AlexNet，它們在CNN的發展歷史上都占據重要地位。了解它們的結構，不但是欣賞前輩的智慧，也可以為以后CNN發展提供思路。

（1）LeNet如圖8，它是較早提出的CNN模型（1994年），有三個卷積層（C1、C3、C5)，兩個池化層（S2、S4）和一個全連接層（F6），輸入時32×32的圖像，輸出的是0~9十個數字的概率。該網絡模型在那時取得了低于1%的錯誤率。LeNet可以說是第一個具有商業價值的CNN模型，因為當時它被成功用于識別郵件編碼。

圖8

（2）AlexNet。作為2012年ImageNet大賽第一名，AlexNet（如圖9）在CNN發展史上有里程碑的地位。共有5個卷積層和3個全連接層，可采用兩個GPU并行訓練，且在第三次卷積層和全連接層處可以互相交互。可見相比于LeNet網絡，其結構上改進并不大，但在網絡深度和復雜度上有較大的優勢。AlexNet的意義主要有以下方面。①揭示了CNN強大的學習能力和表示能力，引發了對于CNN研究的熱潮。②采用GPU進行運算，縮短了訓練所需時間和成本。③引入了ReLU激活函數，數據增廣和隨機失活等訓練技巧，為后續CNN提供了標本。

圖9

4 實驗

我們這次的實驗內容是用編程識別mnist手寫數字集，分別以普通神經網絡和CNN來實現，并且對比兩種方式來討論CNN對此類問題的表現如何。

（1）用普通神經網絡進行試驗。BaseLine版本用的是MultiLayer Percepton（多層感知機）。這個網絡結構較簡單，輸入—隱含—輸出。隱含層采用的rectifier linear unit，輸出則直接選取的softmax進行多分類。第一次錯誤率為1.81%，經過100次迭代錯誤率減少至1.46%，但未減少到1%以下。

（2）用CNN進行試驗。采用keras的CNN模塊，包含卷積層，匯合層等基本結構，是一個簡單的CNN網絡結構。

經測試，錯誤率為1.07%。添加一些卷積層后，錯誤率可降至1%以下，最好測試結果可降至0.22%實驗結論：實驗中我們通過對比兩種網絡，相比于普通的神經網絡，CNN在識別圖像準確率方面表現更好。由此可見，在對于圖像識別的開發與應用上，盡量使用CNN，并加快對CNN的改進提高。

5 結語

卷積神經網絡的特征結構有卷積層、激活函數、池化層和全連接層等。卷積層用以提取圖像結構特征，激活函數增加網絡的復雜度和表現力，池化層提取主要特征，減少參數個數。全連接層將學到的特征進行分類。這些結構組成了優秀的卷積神經網絡。通過進行卷積神經網絡與普通網絡對比實驗，可以發現卷積神經網絡在圖像識別方面有較大優勢。在準確率方面與普通網絡拉開了較大差距。但CNN仍有不足之處，如何優化算法，在減少參數量的同時提高運算效率，在訓練卷積神經網絡模型的過程中，如何選擇合適的卷積核大小，如何設計網絡結構等等，這都是在未來CNN網絡發展中不得不面對的問題。近來，科學家擬準備實現自動化構建CNN網絡，非常期待這一技術能盡快實現，也激勵著我繼續研究和學習。本文介紹了CNN的發展，結構，以及編程測試的結果。可見CNN在圖像識別方面的作用。此外，對CNN的進一步優化方案也在不停的研究中，應用于圖像識別領域的CNN終將改變我們的生活。