卷積神經網絡綜述

馬世拓 班一杰 戴陳至力

摘? 要：近年來隨著深度學習的發展，圖像識別與分類問題取得了飛速進展。而在深度學習的研究領域中，卷積神經網絡被廣泛應用于圖像識別。文章對前人在卷積神經網絡領域的研究成果進行了梳理與總結。首先介紹了深度學習的發展背景，然后介紹了一些常見卷積網絡的模型，并對其中的微網絡結構進行簡述，最后對卷積神經網絡的發展趨勢與特點進行分析與總結。在未來的研究中，卷積神經網絡仍將作為深度學習的一種重要模型得到進一步發展。

關鍵詞：深度學習;卷積神經網絡;微網絡

中圖分類號：TP301.6? ? ? ?文獻標識碼：A 文章編號：2096-4706（2021）02-0011-05

Abstract：In recent years，with the development of deep learning，image recognition and classification problems have made rapid progress. In the field of deep learning，convolutional neural network is widely used in image recognition. In this paper，the previous research results in the field of convolutional neural network are combed and summarized. Firstly，it will introduce the development background of deep learning，and then introduce some common convolutional network models，and briefly describes the micro network structure. Finally，it will analyze and summarize the development trend and characteristics of convolutional neural network. In the future research，convolutional neural network will be further developed as an important model of deep learning.

Keywords：deep learning;convolutional neural network;micro network

0? 引? 言

近年來深度學習研究大熱，而卷積神經網絡作為其中一種重要模型，梳理其發展脈絡對于其研究和發展具有重大意義。以校級“大創”項目“‘以詞搜圖檢索系統”中對卷積神經網絡的學習與研究歷程為出發點，本文旨在梳理卷積神經網絡的發展脈絡，并對卷積神經網絡的發展趨勢做簡要總結。

1? 人工神經網絡的背景

1.1? 深度學習

深度學習最早其實可以追溯到感知神經元被提出的時期，隨后經歷了幾次研究浪潮，并于近年不斷受到研究者的青睞。深度學習以多層神經網絡與后向傳播算法為基礎，在計算機視覺、自然語言處理、語音識別等領域有廣泛應用。神經網絡是一種具有多層次的模型，將原始數據經過各不同模塊逐漸抽象，但保留源數據的主要特征。經過神經網絡的不斷抽象，理論上它可以擬合任意一個復雜函數[1]。

圖1為一個神經網絡的結構，分為輸入層（Input units）、隱藏層（Hidden units）和輸出層（Output units）。其中，Hidden units H1表示第一隱藏層，Hidden units H2表示第二隱層。

1.2? 后向傳播算法

1986年Hinton等人提出了誤差后向傳播（BackPro-pagation）算法[2]使得跌入低谷的神經網絡研究再一次被人重新發掘。本質上講，目標函數的梯度在多層神經網絡中的后向傳播過程是微積分中鏈式求導法則的實際應用。這一算法用于神經網絡各層的權值更新。輸入信息從輸入層正向傳播到輸出層，計算誤差的梯度便從頂部的輸出層逐漸反向傳播到輸入層，一旦計算出了這些梯度就可以計算出對應權重。

后向傳播算法也有它的局限性。比如，容易出現過擬合現象，以及梯度爆炸或梯度消失等現象，這些現象都有可能造成異常。針對這些問題，近年來不少學者都做出了探究并提出自己的解決方案。

2? 卷積神經網絡的發展

2.1? LeNet-5

卷積神經網絡早在1989年就被提出，而Yann等人在1998年提出了卷積神經網絡的第1個經典架構LeNet-5[3]。LeNet-5包含6個隱藏層，主要是靠卷積操作與池化操作堆疊來對圖像特征進行抽取，并在MNIST數據集上取得了很好的效果。而這一架構的設計最早也是被應用于光學字符識別（主要是數字）。卷積這一數學操作能夠很好地提取圖像的空間特征;池化層的引入對特征產生了更強的抽象。并且通常使用雙曲正切函數或sigmoid函數作為激活函數，處處連續可導，它最大的優點是體量小、易訓練，圖2為其模型圖。其中，input表示輸入，Flatten表示展平，將多維數組一維化以后再操作，output表示輸出。

2.2? AlexNet

AlexNet是Krizhevsky和Hinton等人在2012年提出的架構，該模型在ILSVRC-2012取得了冠軍的成績[4]。該架構比LeNet-5略復雜一些，除去池化層外有5個卷積層和3個全連接層，在第1、2、5個卷積層后有池化層緊隨其后。該項研究提出了一系列神經網絡編寫的技巧，例如使用數據增強方法擴充數據集;使用Drop-Out來減少過擬合;提出局部相應歸一化（Local Response Normalization）來增強模型的泛化能力;且使用目前常用的ReLU函數作為激活函數等。相比于LeNet-5，準確率得到了進一步提升。

2.3? VGG

VGG是SimonYan和Zisserman等在2015年提出的架構，相比于AlexNet深度更高[5]。這一架構不只是提高了在ILSVRC競賽數據上的準確率，還能夠方便地進行遷移學習應用于其它數據集。VGG的深度多為11、13、16和19，其中又以VGG-19表現最佳。這一架構的提出以及相關實驗驗證了一個猜想：在一定范圍內適當增加卷積網絡的深度可以提高網絡的準確率。

2.4? Network-in-Network

Network-in-Network由新加坡國立大學的Lin等人于2014年提出，首次將若干卷積層與全連接層的組合封裝為一個特殊模塊，并命名為MLPConv模塊[6]。這一架構在表現上比AlexNet更佳。盡管仍然只是卷積層、池化層和全連接層的堆砌，但它的重大意義在于提供了一種思想，即“微網絡”，將某些層按照某種特定方式組合在一起使其模塊化。也正是由于這種思想，現代的神經網絡工作者們可以從過分細化的思維中跳出來，從而發現更宏觀更加模塊化的新結構。

2.5? Inception

Inception是Google團隊在2014年的力作，并于2015重新發掘并提出了Inception-v3架構[7]。這一架構主要是解決兩個目的：第一，傳統的網絡層堆砌達到一定深度后會發生準確率飽和的現象;第二，如何在保證準確率不降的同時使開銷降低。從2.4中Network-in-Network介紹的思想出發，Google團隊通過引入多個分支將不同層并聯在一起，使得梯度能夠通過合適的線路傳遞下去。并且研究者發現，使用若干小的卷積核組合比一個大的卷積核效果更好。Inception作為一種微網絡，為GoogleNet的誕生打下了基礎。圖3為最基礎的Inception結構，Previous layer接收上一層輸入，convolutions進行卷積，最后的Filter concatenation對四條路徑進行一個綜合。

2.6? GoogleNet

GoogleNet也是Google團隊于2015年在CVPR上發表的作品，該網絡以Inception作為其微網絡進行模型構建[8]。它在ILSVRC-2014上獲得冠軍，表現非凡。通過Inception的堆積增加了模型深度的同時也提高了模型的預測準確率?？梢哉fInception和GoogleNet的研究是第一個擺脫了“卷積層單線堆疊”這一傳統的架構思維，具有重大意義，也為后續提出新的復雜微網絡結構提供理論基礎。GoogleNet的結構如圖4所示，其中conv表示卷積，MaxPooling表示最大池化，Depth concat將進行支路的匯總。

2.7? ResNet

ResNet由微軟團隊的He等人在2015年提出，引入了殘差學習（Residual Learning）的概念來提升性能[9]。單純地靠卷積層堆疊的方法，當深度達到一定程度以后不但不會使效果提升反而會使得效果惡化，此時梯度消失和梯度爆炸的現象將十分嚴重。所以，研究人員設計了殘差學習的方法，通過引入shortcut作為Res-Block微網絡的處理方式，將堆疊的卷積層分成了兩個部分：Identity mapping和Residual mapping。ResNet的表達式為：

Identity mapping將原有信息直接傳遞到Res-Block的末尾，而Residual mapping部分由一系列卷積層堆砌而成，只需要學習一個差函數F（x）即可。兩部分組合以后才是我們的目標H（x）。它緩解了隨著深度增加準確率不升反降的問題，但深度也不能太高，因為經過實驗，具有1202層的ResNet在效果上準確率表現不如101層ResNet但是開銷更大。Res-Block的結構和ResNet的結構分別如圖5和圖6所示。其中圖5的weight layer表示卷積塊能夠進行學習，identity則將原始輸入直接送到網絡末尾。圖6中一共三種層，image圖片被送入網絡以后，conv表示卷積層，avg pool表示平均池化，fc表示全連接層。shortcut僅針對卷積層進行短切。

2.8? DenseNet

DenseNet是對ResNet的進一步改進，由Huang等人于2018年提出[10]。網絡的結構正如它的名稱，連接比較密集，而且同ResNet一樣都可以有效解決梯度消失問題。但不同的是，它將微網絡單元Dense-Block中每個卷積層都直接相連，使得它構成了完全圖。雖然連接變多了，但是卻比ResNet具有更少的參數，更加容易訓練，而且具備一定正則化效果。

圖7為Dense-Block結構示意圖。其中，H表示對應的Dense-Block，x表示對應單元塊的輸入。Input層表示網絡在開始訓練時的接收輸入，而在經過多個BN-ReLU-Conv（批量歸一化-激活-卷積堆疊）串成的主線與若干short-cut支線結合形成的復雜網絡訓練以后，最終被輸出。值得注意的是，當一個Dense-Block有n層時，總的連接數為：

2.9? ShuffleNet

以往的研究都過分看重加深網絡深度來提高準確率，而對于模型開銷的簡化則研究甚少。所以，Zhang等人提出ShuffleNet這一架構來降低模型開銷，使其便于訓練和部署[11]這一網絡架構參考了分布式的理念，將不同信道（在圖像中主要表現為RGB三通道）的卷積結果亂序以后再進行進一步處理，又稱為群體卷積（Group Convolution）。將這一方法引入神經網絡，可以使得網絡在保證準確率的同時，相比于其它架構單元具有更強的泛化能力。

2.10? MobileNet

MobileNet的目標為能夠方便地在移動端部署的深度學習模型，由A.G.Howard等人在2017年提出[12]。相比于ResNet等大型網絡，這一網絡更小而且更容易訓練。通過深度自分割卷積操作能夠有效將訓練復雜度降低。另外，該網絡還引入了兩個超參數：寬度乘子和卷積核乘子，在進一步降低訓練難度的同時保證準確率。經過深度自分割卷積以后空間開銷與原有開銷的比例為：

這一比例結果表明，通過引入深度自分割卷積等操作，參數量相比原來大大減少，從而能夠在極大程度上降低訓練難度。若使用深度自分割卷積的核尺寸為（3×3）的話，計算量將是普通（3×3）卷積核的八分之一到九分之一。

3? 卷積神經網絡的發展前景

3.1? 卷積神經網絡的應用

卷積神經網絡用于圖像處理與計算機視覺有著得天獨厚的優勢，在模式識別、目標探測、目標分割以及圖像分類等領域有著重要作用。除此以外，卷積作為一種常用的數學操作，也可以用于信號處理。近年來隨著多模態理論的發展，卷積神經網絡和循環神經網絡也常常組合使用，建立“視頻-圖像-文本”的模型。

3.2? 卷積神經網絡的新元素

卷積神經網絡在發展過程中也不斷吸納新的思想來創造出新的結構。例如分形網絡，就利用了分形幾何思想對ResNet進行了改進[13];還有金字塔網絡，自上而下增加寬度進行改進[14]，等等。此外，通過引入計算機視覺中注意力的概念，現在也誕生了一些基于注意力機制的網絡例如SENet[15]等。

3.3? 卷積神經網絡的發展趨勢

從卷積神經網絡的發展歷程來看，我們發現卷積網絡主要追求兩方面的改進：

（1）通過加深模型的深度來提高模型的準確率。

（2）減少模型參數來降低模型訓練所需的開銷。

而微觀角度上，我們又可以發現以下特點：

（1）用多個小卷積核代替大卷積核。

（2）用深度自分割卷積代替普通卷積。

（3）更大程度上利用分布式原理。

（4）微網絡單元變化越發豐富。

綜觀卷積神經網絡的發展，結合以LSTM為代表的循環神經網絡與多模態理論，日后卷積網絡可能還會在帶有時序成分的圖像處理（如視頻等）以及時空雙流的卷積神經網絡中取得重大突破。此外，目前的卷積神經網絡處理的是主要是二維數據，日后可能誕生三維的卷積神經網絡來構建三維模型[16]。

4? 結? 論

本文梳理了卷積神經網絡相關研究的發展脈絡，從深度學習的提出到今天卷積神經網絡的發展，卷積神經網絡結構上和方法上的變化?？梢钥吹?，從最早的LeNet-5、AlexNet等到后來的ResNet、DenseNet等規模大準確率高的模型，以及MobileNet、ShuffleNet等一些開銷小易于部署的模型，卷積神經網絡的相關研究也在不斷發展。在這一過程中誕生了一些具有重大意義的思想例如network-in-network等，也引入了一些新的元素改進模型性能。但目前卷積神經網絡的訓練開銷仍然不小，如何選擇合適的卷積核、層數、學習率等仍然有待業界更深入的研究。

參考文獻：

[1] YANN L C，BENGIO Y，HINTON G. Deep learning [J].Nature，2015，521（7553）：436-444.

[2] RUMELHART D E，HINTON G E，WILLIAMS R J. Learning representations by back-propagating errors [J].Nature，1986，323：533-536.

[3] YANN L C，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition [J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[4] KRIZHEVSKY A，SUTSKEVER I，HINTON G. ImageNet Classification with Deep Convolutional Neural Networks [C]//NIPS12.New York：Curran Associates Inc，2012：1-9.

[5] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556v6 [cs.CV].（2014-04-10）.https：//arxiv.org/abs/1409.1556v6.

[6] LIN M，CHEN Q，YAN S C. Network In Network [J/OL].arXiv：1312.4400v3 [cs.NE].（2013-12-16）.https：//arxiv.org/abs/1312. 4400v3.

[7] SZEGEDY C，VANHOUCKE V，IOFFE S，et al. Rethinking the Inception Architecture for Computer Vision [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：2818-2826.

[8] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston：IEEE，2015：1-9.

[9] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[10] HUANG G，LIU Z，MAATEN L V D，et al. Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：2261-2269.

[11] ZHANG X Y，ZHOU X Y，LIN M X，et al. ShuffleNet：An Extremely Efficient Convolutional Neural Network for Mobile Devices [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：6848-6856.

[12] HOWARD A G，ZHU M L，CHEN B，et al. MobileNets：Efficient Convolutional Neural Networks for Mobile Vision Applications [J/OL].arXiv：1704.04861v1 [cs.CV].（2017-04-17）.https：//arxiv.org/abs/1704.04861v1.

[13] LARSSON G，MAIRE M，SHAKHNAROVICH G. FractalNet：Ultra-Deep Neural Networks without Residuals [J/OL].arXiv：1605.07648v4 [cs.CV].（2017-05-26）.https：//arxiv.org/abs/1605.07648v4.

[14] HAN D Y，KIM J H，KIM J M. Deep Pyramidal Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：6307-6315.

[15] HU J，SHEN L，SUN G. Squeeze-and-Excitation Networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7132-7141.

[16] HADJI I，WILDES R P. What Do We Understand About Convolutional Networks？ [J/OL].arXiv：1803.08834v1 [cs.CV].（2018-05-23）.https：//arxiv.org/abs/1803.08834.

作者簡介：馬世拓（2001.10—）男，漢族，湖北武漢人，本科在讀，研究方向：機器學習與數據挖掘;班一杰（2001.12—），男，漢族，山東臨沂人，本科在讀，研究方向：物聯網工程;戴陳至力（2002.04—），男，漢族，江蘇泰州人，本科在讀，研究方向：計算機視覺。