卷積神經網絡綜述

雷慧靜

摘 要：隨著我們生活中需要處理的數據量越來越大，深度學習作為處理數據的方式之一也在飛速的發展，如今已在圖像識別、目標檢測、目標追蹤等多個方面取得突破性研究成果。卷積神經網絡作為常見的深度網絡之一也得到了研究人員的重視。本文主要介紹了卷積神經網絡的起源與發展，對卷積神經網絡的基本構成及算法進行了探討，概述了近期在卷積神經網絡上的突破與最新研究成果，及其在未來發展中的優勢和劣勢的分析。

關鍵詞：深度學習；卷積神經網絡；有監督學習；網絡結構；圖像識別

中圖分類號：TP183 文獻標識碼：A 文章編號：1671-2064（2018）16-0044-04

隨著社會的發展，越來越龐大的數據量與其維度的變多導致人們無法通過一般的統計學知識來處理數據，因此大數據的處理便成為我們面臨的重大問題。大數據處理在一般流程上包括數據存儲、數據抽取與集成、數據分析、數據解釋和用戶等幾個層次[1]，其中，數據分析是大數據處理的核心，機器學習則是進行有效的數據分析的方式之一。機器學習可分為有監督學習和無監督學習，其核心在于將數據的特征進行分類，如若數據特征可以被標簽化，則通過由監督學習可以將這些標簽分類，從而達到特征分類的目的；如數據特征不存在標簽，則只能依靠無監督學習將這些特征進行聚類。另一方面，人們常說的深度學習則是指通過深度網絡，即多重網絡進行機器學習，常見的深度網絡有卷積神經網絡（CNN）[2-3]。深度學習的概念來源于人工神經網絡的研究，是機器學習中對于數據進行表征學習的方法。近年來，深度學習在圖像分類、語音識別、目標檢測等方面取得突破性的研究成果，表現出了其優秀的學習能力，如阿里巴巴、百度、google等公司都在進行深度學習在語音識別的研究，而利用圖像識別技術的人臉識別、圖像搜索、人體行為識別等都是具有良好發展前景的技術，并且可將其應用于醫學、生物學等多種領域。在最近的人機圍棋大戰中獲勝的AlphaGo等，也都屬于深度學習的范疇。深度學習也分為有監督和無監督學習，卷積神經網絡（CNN）就是一種有監督學習下的機器學習方法。它不僅具有傳統神經網絡的容錯性高，自學能力強等優點，還具有權值共享，自動提取特征，輸入圖像與網絡結合等優勢。避免了傳統識別算法中數據重建和特征提取等過程[4]。隨著研究的不斷深入，卷積神經網絡的結構不斷優化，其應用領域也逐漸得到延伸。例如，卷積神經網絡與深信度網絡（DBN）[5-7]相結合產生的卷積深信度網絡（CDBN）[8]，作為一種非監督的生成模型，也被成功地應用于人臉特征提取。

本文將針對卷積神經網絡進行綜述性研究，其中主要包括了卷積神經網絡的起源和發展站，和其基本結構的介紹，之后是對其主要特點的討論和應用舉例。

1 卷積神經網絡的起源與發展

CNN最初起源于1962年，生物學家Hubel和Wiesel[9]發現了一種覆蓋著整個整個視覺域并且對視覺輸入空間的局部區域很敏感的細胞，被稱為感受野。1980年，Fukushima以感受野為基礎提出了結構與之類似的神經認知機（Neocognitron）[10]。Neocognitron是一個自組織的多層神經網絡模型，通過激發上一層的局部感受野來的到每一層的響應，同時也是卷積神經網絡在早期學習中主要的學習方式。隨后，LeCun Y[11]等人，基于Neocognitron提出并設計了用于字符識別的卷積神經網絡LeNet-5這個模型。LeNet-5的基本結構由輸入層、卷積層（convolutional layer）、池化層（pooling layer）、全連接層及輸出層構成，該系統在小規模手寫數字識別中取得了成功，但依然有很大的局限性。直到2012年，CNN取得歷史性突破，AlexNet[12]的出現使得CNN成為圖像分類上的核心算法模型。AlexNet相較于傳統的CNN模型，不但有著算法的改進，還實現了多GPU并行計算，在大量數據的支持下，Top-5的錯誤率越來越低，目前降低到3.5%左右。近期還先后出現了更深層的VGG結構、網中網結構的GoogleNet[13]，ResNet[14]的出現使上百甚至上千層的神經網絡的訓練成為可能。

2 卷積神經網絡的原理及其構成

2.1 輸入層

輸入層是負責接收所需圖片并進行處理，常見的圖像數據處理有三種：去均值、歸一化以及白化。去均值是指將輸入數據各個維度都中心化到0，再將所有樣本值減去均值；歸一化則是指將幅度歸一化到同樣的范圍；白化是對每個特征軸上的幅度歸一化。

2.2 卷積層

卷積層是由多個特征面組成，每個特征面又由多個神經元組成。通過神經元中卷積核的局部區域將每個特征面連接在一起，將特征面連接在一起的局部區域又稱為卷積核的局部感受域，也就是共享卷積核權值，即權值共享。將該局部加權并傳給一個非線性函數ReLU即可獲得每個神經元的輸出值[15]：

=[+1]

oMpaN表示的是神經元個數，CiMapN表示的每個輸入特征面，CWindow表示卷積核大小，CInterval表示卷積核在上層滑動步長。每個卷積層對應的可訓練參數數目CParams則為[15]：

CParams表示可訓練參數數目，iMap表示輸入特征面的個數，oMap則是每個卷積層輸入特征面的個數。

當上一個特征層被卷積核卷積時，通過一個激活函數就可獲得輸出特征圖，每個輸出特征圖可以組合卷幾多個輸出特征圖值：

其中，為卷積層l的第j個通道的凈激活，是對前一層輸出特征圖進行卷積求和與偏置后得到的，是卷積層l的第j個輸出，Mj表示用于計算的輸入特征圖子集，是卷積核矩陣，是對卷積后特征圖的偏置。

2.3 池化層

輸入圖像經過卷積神經層和ReLU函數處理后，圖像中包含了許多沒用的信息，這些信息會降低算法性能，還會破壞算法的平移不變性[16]。而池化層的作用就是篩選這些信息。池化層是通過不同的池化操作對圖像進行降維，在減少數據量的同時保留有用信息，提高圖像特征的變換不變特性[17]。它是將圖像分成一塊一塊的區域后，對每個區域計算出一個值，再將計算出的值依次排列，輸出為新的圖像。池化層的一般形式為：

其中，表示子采樣層函數，一般是對不同的輸入圖像n*n塊所有像素進行求和并取均值。池化后的圖像縮小了n*n倍，每一個特征圖都對應著一個屬于自己的權值和一個偏置。池化層可再次提取圖像信息并獲得局部均值。通過圖像的二次提取來提高圖像的變換不變特性。

近年來在最大池化和平均池化的基礎上提出了許多新池化操作，如混合池化、范數池化、空域金字塔池化等。

Yu等[18]將最大池化和平均池化結合起來，提出了混合池化的方法，可以用如下公式來描述：

，

其中，是取值為0和1的隨機變量，是池化區域的池化窗口，表示中所含元素的個數，表示窗口中的元素。

Gulcehre等[19]將最大池化和平均池化的思想進行了推廣，提出了范數池化，其定義如下：

2.4 全連接層

全連接層是負責整合卷積層或池化層中具有類別區分性的局部信息[20]，全連接層中神經元的激勵函數一般采用ReLU函數，最后一層的全連接層與輸出層相連，可以采用線性分類器，如softmax，進行邏輯回歸分類。然而使用全連接層有一個缺點：輸入尺寸改變后，原網絡結構無法適應新的輸入圖像，使用時必須將其進行縮放或裁剪，且運算量大，導致輸出結果受到影響。

2.5 激活函數

2.5.1 Sigmoid函數[21]

Sigmoid是一種常用的S性非線性激活函數，其功能是把實數壓縮至0到1之間，使其對中部區的信號增益較大，對兩側區的信號增益較小。雖曾經作為深度學習的激活函數而被廣泛使用，但因其缺陷明顯現在很少出現了。第一個缺點是在深層網絡中，Sigmoid函數反向傳播時很容易出現梯度彌散情況，當Sigmoid接近飽和區時，導數趨于0，導致其無法完成深層網絡的訓練。第二點是其輸出結果是非0均值的，這個結果產生的直接影響就是梯度下降。

2.5.2 Tanh函數

Tanh函數也是一種常用的S型線性激活函數，是Sigmoid的延伸形式。它的功能是將實數壓縮在-1至+1之間，對中部區域的信號增益較大，對兩側的信號增益較小。雖然Tanh克服了Sigmoid函數的非0均值輸出的缺點，延遲了飽和期，有更好的容錯能力，且整體性能優于Sigmoid，但依然沒能克服梯度彌散問題，使得Tanh函數的應用有著很大的局限性。

2.5.3 ReLU函數[22]

ReLU函數是一種非飽和線性修正函數，當輸入值小于等于0時，就強制其等于0，當輸入值大于0時則保持原輸入值不變。這種做法也為訓練后的網絡帶來適度的稀疏特性，減少了參數之間的互相依存關系，也緩解了過擬合問題的發生。且因不含除法和指數運算，函數整體的運算速度也變快了。由于其分段線性的特質，他在計算后也保持分段線性，所以在計算中不會丟失有用的特征。因為ReLU函數相較于前兩個函數有較大的優勢，所以我們現在常用于卷積神經網絡的激活函數就是ReLU函數。

3 卷積神經網絡的實用性

3.1 卷積神經網絡的優勢

卷積神經網絡是基于生物神經網絡而衍生出的具有權值共享的網絡結構，它大大降低了網絡模型的復雜度。當輸入多維度圖像時，這一特點的優勢則更為明顯，它避免了傳統識別算法中特征提取和數據重建的過程，使得計算更加簡潔。它還具有分層學習的能力，通過卷積神經網絡學習得到的特征相對于人工設計特征具有更強的判別能力和泛化能力。特征表達作為計算機視覺的研究基礎，如何利用卷積神經網絡學習、提取、分析信息的特征表達，從而獲得判別性能更強，泛化性能更好的通用特征，將對整個計算機視覺乃至更廣泛的領域產生積極的影響卷積神經網絡的研究意義。

3.2 卷積神經網絡的劣勢及改進方向

卷積神經網絡雖然具有計算便捷、可以準確提取特征等優勢，也依然具有一些問題以及需要改進的方面[23]。

（1）卷積神經網絡的理論研究相較于其良好的發展前景還較落后，還需要更為完備的數學解釋和理論指導將其完善，這對卷積神經網絡的進一步發展有著重大意義。

（2）卷積神經網絡的結構研究還有著很大的上升空間，若僅是通過增加網絡復雜度來處理復雜問題的話很可能會遇到一些難以解決的問題，如過擬合問題、網絡退化問題等。所以其性能的提升需要依靠更加合理的網絡設計。

（3）在卷積神經網絡的模型不斷改進的過程中，現有的數據集有些已經不滿足當下的要求，因此數量類別更多，數據形式更加復雜是當前研究數據集的趨勢。

（4）卷積神經網絡的完備性研究較為匱乏，其完備性的研究可以更進一步的發現和解決目前網絡結構存在的缺陷。

4 結語

4.1 應用舉例

4.1.1 圖像分類

A Krizhevsky[24]等首次將卷積神經網絡應用于ImageNet大規模視覺識別挑戰賽（ImageNet large scale visual recognition challenge，ILSVRC）中，他所訓練的深度卷積神經網絡在圖像分類和目標任務中取得了突破性的好成績，使得卷積神經網絡再次成為研究人員的焦點。圖像識別主要包括手寫字符識別、人臉識別、物體識別等。在圖像識別領域，手寫體數字識別能夠自動識別快遞信息、銀行支票信息等，人臉識別則可用于計算機登錄系統、視頻安保監控系統等。由于圖像識別問題的多樣性和復雜性，目前的圖像識別主要針對特定的識別問題，而手寫體數字識別并不能在物體識別中獲得應用，還具有很大的局限性。卷積神經網絡在圖像識別應用中還有著很大的發展空間，它能夠改善網絡結構和深度，通過大量的訓練和有效算法得出一個通用的識別系統，可提高圖像識別的效率和精度。

4.1.2 目標跟蹤

針對可視對象的在線跟蹤問題，Li[25]等將二維線性判別分析引入了跟蹤目標的表觀建模中，并利用了卷積神經網絡矩陣形式進行計算，極大地提高了跟蹤效率利用卷積神經網絡，提出了一種有效的跟蹤算法。該算法用截斷結構損失函數作為目標函數，通過其樣例選擇機制，增強隨機梯度下降算法訓練卷積神經網絡的效率。Wang等[26]將表觀建模與視覺匹配看作是視覺跟蹤的一個單目標優化問題，基于度量學習提出了一種判別式表觀模型用于視覺跟蹤中。Jia[27]等將目標跟蹤問題建模為一個機器學習問題.在給定行人前一個位置和步幅的前提下，通過學習來估計行人當前的位置和步幅.在該方法中，卷積神經網絡用于從視頻的相鄰2幀中一起學習行人的空間和時間特征。

4.2 未來研究方向

卷積神經網絡在越來越多的識別中都中有著巨大的發展空間，如人臉識別、手寫體數字識別和許多其他物體識別等，隨著其網絡深度和網絡結構的改善，卷積神經網絡在圖像識別中的識別精度和速度得以提高，圖像識別領域的擴大，使越來越多的識別問題都能通過卷積神經網絡來解決。卷積神經網絡也需要改變網絡的結構和深度，以及研究通用的圖像識別系統等，使卷積神經網絡在圖像識別領域應用更加廣泛。

參考文獻

[1]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

[2]CNN：Yann LeCun，Leon Bottou，Yoshua Bengio，et al.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998，86（11）：2278-2324.

[3]Yann LeCun， B. Boser， J. S. Denker， et al. Backpropagation applied to handwritten zip code recognition. Neural Computation，1989，11（4）.

[4]張慶輝，萬晨霞.卷積神經網絡綜述[J].中原工學院學報，2017，28（3）：82-86.

[5]DBN： HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief nets [J]Neura l Com putation，2006，18（7）：1527-1554.

[6]Geoffrey Hinton， Simon Osindero， Yee-Whye Teh. A fast learning algorithm for deep belief nets. Neural Computation，2006，18（7）：1527-1554.

[7]Ruslan Salakhutdinov， Geoffrey Hinton.Deep boltzmann machines.Journal of Machine Learning Research-Proceedings Track，2009，9（1）：448-455.

[8]Ruslan Salakhutdinov， Geoffrey Hinton.An efficient learning.procedure for deep boltzmann machines.Neural Computation，2012，24（8）：1967-2006.

[9]HUBEL D H，WIESEL T N.Receptive fields，binocular interaction，and funct- ional architecture in the cats visual cortex [J].Journal of Physiology，1962，160（1）：106-154.

[10]Fukushima K，Miyake S.Neocognitron：A new algorithm for pattern recognition tolerant of deform ations and shifts in position [J].Pattern Recognition，1982，15（6）：455-469.

[11]LECUN Y，BOTTOU L，BENGIO Y，et a1.Gradient-based learning applied to document recognition [J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[12]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems.Cambridge：MIT Press，2012：1097-1105.

[13]SZEGEDY C，LIU W，JIA Y，et a1.Going deeper with convolutions [C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattem Recognition.Washington，DC：IEEE Computer Society，2015：1-8.

[14]HE K，ZHANG X，REN S，et a1.Deep Residual Learning for Image Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2016：770-778.

[15]金林鵬.面向臨床應用的心電圖分類方法研究[D].中國科學院蘇州納米技術與納米仿生研究所，2016.

[16]王振，高茂庭.基于卷積神經網絡的圖像識別算法設計與實現[J].現代計算機：專業版，2015，（20）：61-66.

[17]GOODFELLOW I，BENGIO Y.COURVILLE A. Deep learning[M].Massachusetts：MIT Press，2016.

[18]WAIBEL A，HANAZAWA T，HINTONG，et a1.Phoneme recognition using time-delay neural networks [M]//Readings in Speech Recognition.Amsterdam：Elsvier，1990：393-404.

[19]LAWRENCE S，GILESC L，TSOI A C，et a1.Face recognition：a convolutional neural—network approach[J].IEEE Transactions on Neural Networks，1997，8（1）：98-113.

[20]Tara N. Sainath， Abdel-rahman Mohamed， Brian Kingsbury， et al.Deep convolutional neural networks for LVCSR//Proceedings of the IEEE International Conference on Acoustics， Speech and Signal Processing， Vancouver， Canada， 2013： 8614-8618.

[21]曲之琳，胡曉飛.基于改進激活函數的卷積神經網絡研究[J].計算機技術與發展，2017，27（12）：77-80.

[22]王雙印，滕國文.卷積神經網絡中ReLU激活函數優化設計[J].信息通信，2018，（1）：42-43.

[23]李彥冬，郝宗波，雷航.卷積神經網絡研究綜述[J].計算機應用，2016，36（9）：2508-2515.

[24]KRIZHEVSKY A， SUTSKEVER I， HINTON G E.Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems.Red Hook，NY： Curran Associates，2012：1097-1105.

[25]Zhu G， Porikli F， Li H. Beyond local search： Tracking objects everywhere with instance-specific proposals[C]//CVPR，2016.

[26]Wang X Y， Hua G， Han T X. Discriminative tracking by metric learning. In： Proceedings of the 11th European Conference on Computer Vision （ECCV 2010）. Heraklion， Crete，Greece： Springer，2010：200-214.

[27]Jia X， Lu H C， Yang M H. Visual tracking via adaptive structural local sparse appearance model. In： Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Providence， RI， USA： IEEE，2012：1822-1829.