深度連續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與性能分析*

牛連強(qiáng)，陳向震，張勝男，王琪輝

（沈陽(yáng)工業(yè)大學(xué) a.軟件學(xué)院，b.信息科學(xué)與工程學(xué)院，沈陽(yáng) 110870）

深度連續(xù)卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建與性能分析*

牛連強(qiáng)a，陳向震b，張勝男b，王琪輝b

（沈陽(yáng)工業(yè)大學(xué) a.軟件學(xué)院，b.信息科學(xué)與工程學(xué)院，沈陽(yáng) 110870）

為了提升卷積神經(jīng)網(wǎng)絡(luò)特征提取能力，設(shè)計(jì)了一種基于連續(xù)卷積的深度卷積神經(jīng)網(wǎng)絡(luò)模型.該模型采用小尺度的卷積核來(lái)更細(xì)致地提取局部特征，并借助連續(xù)的兩個(gè)卷積層增加模型的非線性表達(dá)能力，結(jié)合 Dropout技術(shù)降低神經(jīng)元之間的相互依賴，利用抑制網(wǎng)絡(luò)過(guò)擬合對(duì)模型進(jìn)行優(yōu)化.人臉表情、手寫數(shù)字字符和彩色圖像的目標(biāo)識(shí)別實(shí)驗(yàn)表明，在圖像較為復(fù)雜時(shí)，該模型在識(shí)別的準(zhǔn)確性和泛化性能上比手工特征提取方法及一般的2、3層卷積結(jié)構(gòu)具有明顯的優(yōu)勢(shì).

卷積神經(jīng)網(wǎng)絡(luò)；連續(xù)卷積；深度學(xué)習(xí)；網(wǎng)絡(luò)結(jié)構(gòu)；特征提取；參數(shù)優(yōu)化；池化；圖像識(shí)別

自2006年開始，深度學(xué)習(xí)作為一種新的機(jī)器學(xué)習(xí)技術(shù)，已成功應(yīng)用于信號(hào)處理和計(jì)算機(jī)視覺(jué)等領(lǐng)域，備受研究人員的關(guān)注，尤其是在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和信息檢索等方面取得了較好效果，應(yīng)用于不同的數(shù)據(jù)集和工業(yè)案例都表現(xiàn)出優(yōu)于淺層學(xué)習(xí)所能達(dá)到的最好效果.在語(yǔ)音識(shí)別方面，DNN（deep neural network）對(duì)數(shù)據(jù)之間的相關(guān)性有較大的容忍度，使得識(shí)別效果較現(xiàn)有方法有了明顯的飛躍；在計(jì)算機(jī)視覺(jué)方面，DNN在對(duì)象識(shí)別和人臉識(shí)別時(shí)，深度學(xué)習(xí)能夠提取更高層次的特征.

從結(jié)構(gòu)上來(lái)說(shuō)，Hinton等提出的深度置信網(wǎng)絡(luò)（deep brief network，DBN）［1］可視為是由多個(gè)受限玻爾茲曼機(jī)（restricted boltzmann machine）［2］疊加而成，這種結(jié)構(gòu)與傳統(tǒng)的多層感知機(jī)相似，在進(jìn)行無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練之后再進(jìn)行有監(jiān)督學(xué)習(xí)訓(xùn)練，將無(wú)監(jiān)督學(xué)習(xí)到的參數(shù)作為有監(jiān)督學(xué)習(xí)的初始權(quán)值，正是這種學(xué)習(xí)方法的進(jìn)步使得深度結(jié)構(gòu)能夠解決以往的BP網(wǎng)絡(luò)所不能解決的問(wèn)題. Bengio等［3］在2006年提出的自動(dòng)編碼器通過(guò)無(wú)監(jiān)督預(yù)訓(xùn)練來(lái)更好地初始化所有層的權(quán)值，從而減緩深度網(wǎng)絡(luò)的優(yōu)化困難.隨后提出的深度結(jié)構(gòu)算法和模型在很多數(shù)據(jù)集上刷新了之前的一些最好記錄，如2013年Wan等［4］提出的drop connect規(guī)范網(wǎng)絡(luò)，在數(shù)據(jù)集 SVHN上獲得了98.06%的正確率，優(yōu)于此前最好的結(jié)果97.2%.

作為一種典型的網(wǎng)絡(luò)模型，CNNs（convolutional neural networks）能夠組合局部感受野、權(quán)重共享和空間或時(shí)間上的子采樣等結(jié)構(gòu)，確保獲得的特征在平移和變形上的不變性.2012年，Krizhevsky等［5］用CNNs構(gòu)造深度卷積神經(jīng)網(wǎng)絡(luò) DCNN，并在ILSVRC-2012數(shù)據(jù)集上獲得了top-5測(cè)試錯(cuò)誤率為15.3%的結(jié)果.2014年，Zheng等［6］提出的多通道深度卷積神經(jīng)網(wǎng)絡(luò)（multi-channels deep convolutional neural network，MC-DCNN）在BID-MC數(shù)據(jù)集上獲得了最好的準(zhǔn)確度 94.67%.

雖然之前提出的這些深度學(xué)習(xí)模型已經(jīng)取得了不同程度的成功，但是這些模型在訓(xùn)練過(guò)程中需要大量的計(jì)算資源，難以在一個(gè)合理的計(jì)算成本下應(yīng)用于實(shí)際問(wèn)題中.因此，如何在提高網(wǎng)絡(luò)性能的同時(shí)減少網(wǎng)絡(luò)的規(guī)模，也是深度學(xué)習(xí)研究中的一個(gè)挑戰(zhàn).

本文探討了采取連續(xù)卷積、max-pooling池化與Dropout相結(jié)合的構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型，目的是提高深度神經(jīng)網(wǎng)絡(luò)性能，使其能夠更好地提取局部特征，并且增加網(wǎng)絡(luò)的非線性表達(dá)能力，核心是采用小尺度的卷積核進(jìn)行連續(xù)卷積后再進(jìn)行max-pooling池化，并結(jié)合Dropout技術(shù)對(duì)網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化.該模型不僅提高了網(wǎng)絡(luò)的特征提取能力，同時(shí)減少了網(wǎng)絡(luò)的參數(shù).通過(guò)在三種不同的數(shù)據(jù)集上對(duì)比分析，說(shuō)明了連續(xù)卷積神經(jīng)網(wǎng)絡(luò)在特征表示與抽象上的優(yōu)勢(shì).

1 連續(xù)卷積網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分類模型的不同之處在于可直接將一幅二維圖像輸入模型中，不需要手工設(shè)計(jì)和提取特征.在卷積神經(jīng)網(wǎng)絡(luò)中，特征提取可通過(guò)多個(gè)卷積層和池化層來(lái)自動(dòng)完成.

LeNet-5是最初用于手寫數(shù)字識(shí)別的一種非常成功的卷積神經(jīng)網(wǎng)絡(luò).該網(wǎng)絡(luò)先堆疊兩個(gè)卷積層和采樣層，再連接一個(gè)或多個(gè)全連接層.其中，卷積層利用一個(gè)小的卷積核（如5×5大小）作為特征探測(cè)器與原來(lái)的大分辨率圖像作卷積，從而獲得該圖像上的任一位置的特征激活值，因此，卷積層可通過(guò)特征圖的數(shù)量和卷積核的尺寸進(jìn)行描述.每個(gè)卷積層由若干個(gè)具有相同尺寸的特征圖構(gòu)成，各特征圖使用自身的一個(gè)卷積核抽取一類特征，所有卷積核的尺寸相同.

為了實(shí)現(xiàn)對(duì)卷積后特征的統(tǒng)計(jì)，卷積神經(jīng)網(wǎng)絡(luò)采取了一種有效的策略，即池化（pooling）.通過(guò)對(duì)局部數(shù)據(jù)進(jìn)行平均或取最大值聚合，或者做下采樣，可以得到比卷積結(jié)果低得多的維度，以防止過(guò)擬合，提高模型的泛化能力.同時(shí)，即使圖像信號(hào)經(jīng)過(guò)了平移操作，樣本的標(biāo)記應(yīng)該保持不變.通過(guò)選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同（重復(fù)）的卷積核產(chǎn)生的特征，能夠使這些池化單元具有局部位移不變性.

提高深度神經(jīng)網(wǎng)絡(luò)性能最直接的方法是增加其深度和寬度，但這種簡(jiǎn)單的解決方案有兩個(gè)主要的缺點(diǎn)，其一是更大的網(wǎng)絡(luò)尺寸通常意味著更多數(shù)量的參數(shù)，這使網(wǎng)絡(luò)更容易產(chǎn)生過(guò)擬合，尤其是采用有限數(shù)目的有標(biāo)記樣本的訓(xùn)練集情況；其二是增加網(wǎng)絡(luò)規(guī)模會(huì)大大增加計(jì)算資源的使用.因此，為了提高網(wǎng)絡(luò)的表達(dá)能力而非大規(guī)模增加尺寸，本文設(shè)計(jì)了連續(xù)兩個(gè)卷積層的網(wǎng)絡(luò)結(jié)構(gòu)，即在連續(xù)卷積之后再通過(guò)池化層對(duì)特征圖進(jìn)行采樣，如圖1所示.

圖1 深度連續(xù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of deep consecutive convolutional neural network

本文的連續(xù)卷積結(jié)構(gòu)包含4個(gè)卷積層和2個(gè)池化層.對(duì)于原始輸入圖像首先經(jīng)過(guò)一次卷積運(yùn)算，再進(jìn)行連續(xù)的2個(gè)卷積層進(jìn)行特征精化，傳入池化層降維.隨后，以增加一倍的方式抽取更多的特征，并經(jīng)過(guò)2次卷積運(yùn)算和一次池化.最后，產(chǎn)生500維的特征向量.

2 結(jié)構(gòu)分析及參數(shù)優(yōu)化

當(dāng)分類問(wèn)題不是簡(jiǎn)單線性可分時(shí)，傳統(tǒng)的線性卷積已經(jīng)不足以抽象出用來(lái)分類的特征，需要高度非線性函數(shù)來(lái)增強(qiáng)局部模型的抽象能力.一般認(rèn)為，在常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)中，利用濾波器的一個(gè)過(guò)完備集來(lái)覆蓋潛在特征的所有變化，某個(gè)線性濾波器可以被學(xué)習(xí)來(lái)檢測(cè)一個(gè)相同特征的不同變化.濾波器需要考慮所有從前一層傳遞過(guò)來(lái)的變化的結(jié)合.由于高層的濾波器通過(guò)結(jié)合底層特征來(lái)形成高層特征，因此，在組成更高層次特征之前，更有利于在每個(gè)局部區(qū)域?qū)ζ溥M(jìn)行一個(gè)更好的抽象.

2.1 利用小卷積核實(shí)現(xiàn)連續(xù)卷積

在卷積神經(jīng)網(wǎng)絡(luò)中，一個(gè)輸出特征圖由輸入圖像或上一層特征圖和一個(gè)線性濾波器（卷積核）進(jìn)行卷積并加上一個(gè)偏置項(xiàng)得到，再應(yīng)用到一個(gè)非線性的激活函數(shù).設(shè)與第l層的第j個(gè)輸出特征圖做卷積的l－1層的特征圖中的所選子集為Mj，其輸入記為xli－1，使用權(quán)值klij和偏置blj，激活函數(shù)為f（·），則對(duì)應(yīng)的輸出特征xlj的表達(dá)式為

特定特征圖的神經(jīng)元共享其權(quán)值，減少了需要學(xué)習(xí)的參數(shù)，使算法可以并行，提高了算法的效率和泛化能力.

當(dāng)采用連續(xù)兩個(gè)卷積層時(shí)，前一卷積層得到的特征圖輸出被再次進(jìn)行卷積操作，從而得到的輸出特征圖的表達(dá)式為

從網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)角度來(lái)說(shuō)，在滿足網(wǎng)絡(luò)所需表達(dá)能力的前提下，盡可能使用小的網(wǎng)絡(luò)規(guī)模，減小網(wǎng)絡(luò)學(xué)習(xí)時(shí)間和復(fù)雜性，而采取連續(xù)卷積能夠達(dá)到在控制網(wǎng)絡(luò)規(guī)模的前提下提升其表達(dá)能力.由于在采樣之前經(jīng)過(guò)連續(xù)兩次卷積，使得圖像得到兩次非線性激活函數(shù)計(jì)算，增強(qiáng)了對(duì)函數(shù)的復(fù)雜程度和非線性程度的表達(dá)，進(jìn)而有利于增強(qiáng)局部模型的抽象能力.

卷積核代表了一個(gè)視神經(jīng)元的局部感受野，從作用范圍來(lái)看，使用多個(gè)卷積核比較小的卷積層直接連接在一起時(shí)，也能夠獲得與采用一個(gè)卷積核比較大的卷積層同樣的感受野.現(xiàn)有應(yīng)用示例表明，5×5的卷積核是一種較為適當(dāng)?shù)母惺芤?因此，在采用連續(xù)卷積層時(shí)，使用較小的3×3卷積核，這是因?yàn)檫B續(xù)兩個(gè)3×3卷積層能夠形成一個(gè)與5×5卷積層同樣有效的感受野.由于用兩個(gè)嵌套的非線性矯正層代替一個(gè)，增加了網(wǎng)絡(luò)的非線性能力，使得決策函數(shù)更具判別性，對(duì)復(fù)雜圖像有更好的處理能力.其次，該結(jié)構(gòu)可以減少網(wǎng)絡(luò)模型的參數(shù)，如果一個(gè)連續(xù)的兩層3×3卷積層的輸入和輸出都是 H通道，其權(quán)重個(gè)數(shù)將是 2× 32H2＝18H2，而單個(gè) 5×5卷積層需要 52H2＝25H2個(gè)參數(shù).因此，可以采用相同數(shù)量的參數(shù)刻畫更復(fù)雜的網(wǎng)絡(luò).

2.2 池化

為了刻畫細(xì)微的變化，本文采用2×2的max-pooling作為池化方式，其表達(dá)式為

式中：maxpooling（）為池化函數(shù)；βlj和blj為第j個(gè)輸出特征圖使用的權(quán)值與偏置.使用max-pooling池化方法對(duì)該層輸入圖像的連續(xù)n×n大小的區(qū)域求最大值，輸出圖像的大小是輸入圖像大小的1／n.

max-pooling不僅能夠達(dá)到增加泛化能力和保持位移不變性的目的，也減少了計(jì)算量，提升了收斂的速度.

2.3 ReLU與Dropout

神經(jīng)網(wǎng)絡(luò)常用的激活函數(shù)有 sigmoid函數(shù)f（x）＝（1＋e－x）－1和雙曲正切函數(shù)f（x）＝tanh（x），本文選用了文獻(xiàn)［7］提出的線性校正單元（rectified linear units，ReLUs）f（x）＝max（0，x）作為激活函數(shù).ReLU提供了一種稀疏表示方法，能夠解決“梯度消失”的問(wèn)題，與 sigmoid、tanh相比可以更快地達(dá)到相同的訓(xùn)練誤差和更高的準(zhǔn)確率.同時(shí)，ReLU在反向傳播時(shí)只需傳遞 x≥0處的導(dǎo)數(shù)，效率更高.

為了增強(qiáng)網(wǎng)絡(luò)的性能，本文在模型中引入了文獻(xiàn)［8］提出的Dropout技術(shù)對(duì)節(jié)點(diǎn)權(quán)值的修正進(jìn)行控制.Dropout技術(shù)采用將每個(gè)隱藏神經(jīng)元的輸出置為0的概率為0.5的方式來(lái)隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重停止工作，也可以暫時(shí)認(rèn)為這些節(jié)點(diǎn)不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，不參與前向傳播與反向傳播.由于每次用輸入網(wǎng)絡(luò)的樣本進(jìn)行權(quán)值更新時(shí)，隱含節(jié)點(diǎn)都以一定概率隨機(jī)出現(xiàn)，也就避免了每2個(gè)隱含節(jié)點(diǎn)每次都同時(shí)出現(xiàn).因此，權(quán)值的更新不再依賴于有固定關(guān)系的隱含節(jié)點(diǎn)的共同作用，使得某些特征僅僅在其他特定特征下才有效果的情況得以避免，從而有效抑制過(guò)擬合問(wèn)題，增強(qiáng)了網(wǎng)絡(luò)的泛化能力.

3 實(shí)驗(yàn)與結(jié)果分析

本文分3個(gè)實(shí)驗(yàn)比較了帶有2個(gè)連續(xù)卷積層的卷積神經(jīng)網(wǎng)絡(luò)模型（CConvNet）、LeNet-5和一般的3層卷積神經(jīng)網(wǎng)絡(luò)（ConvNet）的性能.

3.1 表情識(shí)別實(shí)驗(yàn)

第一個(gè)實(shí)驗(yàn)為人臉表情識(shí)別性能對(duì)比.選取了2個(gè)典型的人臉表情數(shù)據(jù)庫(kù)，其一為日本女性人臉表情庫(kù) JAFFE，該庫(kù)包含 213張女性人臉表情圖像，共計(jì)10人，每人各有 7種靜態(tài)表情，分別是6種基本表情：開心、悲傷、吃驚、憤怒、厭惡和恐懼，以及一種自然表情；其二為發(fā)布于2010年的Cohn-Kanade Dataset，即CK＋數(shù)據(jù)集，該庫(kù)中共包含123人的表情圖片，593個(gè)圖像序列，其中有327個(gè)圖像序列具有表情標(biāo)簽.

JAFFE數(shù)據(jù)庫(kù)的10個(gè)人的表情中，每人每種表情有3或4個(gè)樣本.根據(jù)文獻(xiàn)［6］選取每人的2／3或3／4作為訓(xùn)練樣本，共143個(gè)，其他70個(gè)作為測(cè)試樣本.

CK＋數(shù)據(jù)庫(kù)是一種漸變表情的數(shù)據(jù)庫(kù)，故根據(jù)文獻(xiàn)［9－10］選擇每個(gè)圖像序列的第一張作為自然表情樣本，最后3張作為其他表情樣本，共1 308張圖片，按 1∶1的比例分成訓(xùn)練樣本和測(cè)試樣本［11］.

為了去除背景的影響，首先通過(guò) Adaboost人臉檢測(cè)算法對(duì)每張人臉表情圖片進(jìn)行人臉檢測(cè)，使其只保留人臉區(qū)域，即得到純臉.將檢測(cè)到的人臉區(qū)域進(jìn)行裁剪，得到待處理的純臉圖片.隨后，將純臉表情圖片歸一化到64×64大小，以減少網(wǎng)絡(luò)的參數(shù)和訓(xùn)練的難度.

表1為ConvNet的結(jié)構(gòu)，3個(gè)卷積層、3個(gè)池化層和2個(gè)全連接層，每個(gè)卷積層的卷積核大小均為5×5，池化層的核尺寸均為2×2.表2給出了LeNet-5、一般3層卷積神經(jīng)網(wǎng)絡(luò)方法ConvNet和連續(xù)卷積方法 CConvNet在 JAFFE表情庫(kù)和CK＋表情庫(kù)上的平均識(shí)別率.

通過(guò)觀察3層卷積神經(jīng)網(wǎng)絡(luò)識(shí)別錯(cuò)誤的圖片發(fā)現(xiàn)，該方法很容易將悲傷表情誤識(shí)為厭惡.這兩種表情中有一些嘴角向下和皺眉等相似特征，總體上的差別較小.對(duì)于這種細(xì)微局部特征，連續(xù)兩個(gè)卷積層的神經(jīng)網(wǎng)絡(luò)通過(guò)連續(xù)兩次抽象，能夠更好地抽取其中的特征，或者說(shuō)能夠?qū)μ卣鬟M(jìn)行更好地表達(dá)，進(jìn)而實(shí)現(xiàn)正確分類.同時(shí)，采用Dropout技術(shù)能夠有效避免非依賴特征之間的聯(lián)合作用，學(xué)習(xí)到更好的網(wǎng)絡(luò)參數(shù)，其識(shí)別率較不采用Dropout技術(shù)高出約1個(gè)百分點(diǎn).

表1 ConvNet的結(jié)構(gòu)Tab.1 Structure of ConvNet

表2 三種方法在JAFFE和CK＋表情庫(kù)上的平均識(shí)別率Tab.2 Average recognition rates of threemethods in JAFFE and CK＋expression database

3.2 手寫數(shù)字識(shí)別實(shí)驗(yàn)

第二個(gè)實(shí)驗(yàn)為采用MNIST數(shù)據(jù)庫(kù)的手寫數(shù)字識(shí)別.MNIST是一個(gè)大型的手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)，包含60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本，圖2給出了10個(gè)阿拉伯?dāng)?shù)字的手寫數(shù)字圖片示例.這些圖片都經(jīng)過(guò)中心化和尺寸標(biāo)準(zhǔn)化，每張圖片大小都為28×28像素.

圖2 MNIST數(shù)字?jǐn)?shù)據(jù)庫(kù)樣本Fig.2 MNIST digital database sample

表3為三種方法在 MNIST數(shù)據(jù)庫(kù)上的平均識(shí)別率.從表3給出的識(shí)別結(jié)果可以看出，LeNet-5和簡(jiǎn)單3層卷積神經(jīng)網(wǎng)絡(luò)均可得到約99.12%的識(shí)別率，相差不大，而CConvNet可以達(dá)到99.25%的識(shí)別率，比其他兩種方法效果略好一些，不過(guò)，提高幅度不大.

表3 三種方法在 MNIST數(shù)據(jù)庫(kù)上的平均識(shí)別率Tab.3 Average recognition rates of three methods in MNIST database

3.3 復(fù)雜彩色圖像分類

第三個(gè)實(shí)驗(yàn)是針對(duì)復(fù)雜的彩色圖像進(jìn)行目標(biāo)識(shí)別，以實(shí)現(xiàn)對(duì)目標(biāo)圖像的分類，采用的數(shù)據(jù)庫(kù)為CIFAR-10.CIFAR-10數(shù)據(jù)集包括60 000張32×32大小的彩色圖像，共10類，每類 6 000張圖像，其中包括50 000張訓(xùn)練圖像和10 000張測(cè)試圖像.

為了探索 CConvNet模型在一個(gè)相比人臉和數(shù)字更加復(fù)雜的數(shù)據(jù)庫(kù)里的表現(xiàn)，本文將LeNet-5、簡(jiǎn)單3層卷積神經(jīng)網(wǎng)絡(luò)和連續(xù)卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于CIFAR-10數(shù)據(jù)庫(kù)，實(shí)驗(yàn)結(jié)果如表4所示.實(shí)驗(yàn)結(jié)果顯示連續(xù)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別效果優(yōu)于LeNet-5和簡(jiǎn)單3層卷積神經(jīng)網(wǎng)絡(luò)，表明連續(xù)卷積神經(jīng)網(wǎng)絡(luò)在這種較為復(fù)雜的彩色圖像的分類中仍然表現(xiàn)良好.

表4 三種方法在 CIFAR-10數(shù)據(jù)庫(kù)上的平均識(shí)別率Tab.4 Average recognition rates of three methods in CIFAR-10 database

由上述實(shí)驗(yàn)可以反映出，連續(xù)卷積結(jié)構(gòu)在抽取更復(fù)雜特征上具有一定的優(yōu)勢(shì).

4 結(jié) 論

針對(duì)手工抽取特征及一般卷積神經(jīng)網(wǎng)絡(luò)特征抽取的準(zhǔn)確性以及表達(dá)有效性差的問(wèn)題，引入連續(xù)卷積的思想，并結(jié)合幾種新的優(yōu)化技術(shù)建立了一種基于連續(xù)卷積的深度神經(jīng)網(wǎng)絡(luò)模型.通過(guò)對(duì)比實(shí)驗(yàn)和分析說(shuō)明，采用連續(xù)兩個(gè)卷積層進(jìn)行特征抽取和連續(xù)兩次非線性激活函數(shù)映射，增加了對(duì)復(fù)雜函數(shù)的擬合和非線性程度刻畫能力，有利于提取局部復(fù)雜特征.在卷積過(guò)程中，連續(xù)使用小尺寸卷積核可以有效地提取圖像的局部細(xì)致特征并減少網(wǎng)絡(luò)參數(shù).此外，利用Dropout技術(shù)可以有效阻止特征檢測(cè)器的共同作用，提高神經(jīng)網(wǎng)絡(luò)的性能，防止網(wǎng)絡(luò)過(guò)擬合.

（

）：

［1］Sarikaya R，Hinton G E，Deoras A.Application of deep belief networks for natural language understanding［J］.IEEE／ACM Transactions on Audio，Speech，and Language Processing，2014，22（4）：778－784.

［2］Fischer A，Igel C.Training restricted boltzmann machines：an introduction［J］.Pattern Recognition，2014，47（1）：25－39.

［3］Bengio Y，Lamblin P，Popovici D，et al.Greedy layerwise training of deep networks［C］／／Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems.Vancouver，Canada，2006：275－284.

［4］Wan L，Zeiler M，Zhang S，et al.Regularization of neural networks using dropconnect［C］／／Proceedings of the 30th International Conference on Machine Learning（ICML-13）.Atlanta，USA，2013：1058－1066.

［5］Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification w ith deep convolutional neural networks［J］.Advances in Neural Information Processing Systems，2012，25（2）：1－9.

［6］Zheng Y，Liu Q，Chen E，et al.Time series classification using multi-channels deep convolutional neural networks［J］.Lecture Notes in Computer Science，2014，8485：298－310.

［7］Nair V，Hinton G E.Rectified linear units improve restricted boltzmann machines［C］／／Proceedings of the 27thInternational Conference on Machine Learning. Haifa，Israel，2010：807－814.

［8］Hinton G E，Srivastava N，Krizhevsky A，et al.Improving neural networks by preventing co-adaptation of feature detectors［J］.Computer Science，2012，3（4）：212－223.

［9］Liu M，Li S，Shan S，et al.Au-aware deep networks for facial expression recognition［C］／／2013 10thIEEE International Conference and Workshops on Automatic Face and Gesture Recognition.Washington D C，USA，2013：1－6.

［10］牛連強(qiáng)，孫忠禮，彭敏，等.基于信號(hào)可信度的高性能快速圖像濾波［J］.沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2013，35（6）：680－686.（NIU Lian-qiang，SUN Zhong-li，PENG M in，et al. Effective and fast image filtering based on signal credibility［J］.Journal of Shenyang University of Technology，2013，35（6）：680－686.）

［11］Lucey P，Cohn J F，Kanade T，et al.The extended Cohn-Kanade dataset（CK＋）：a complete dataset for action unit and emotion-specified expression［C］／／Proceedings of the Computer Vision and Pattern Recognition Workshops.Washington D C，USA，2010：94－101.

（責(zé)任編輯：鐘 媛 英文審校：尹淑英）

Model construction and performance analysis for deep consecutive convolutional neural network

NIU Lian-qianga，CHEN Xiang-zhenb，ZHANG Sheng-nanb，WANG Qi-huib
（a.School of Software，b.School of Information Science and Engineering，Shenyang University of Technology，Shenyang 110870，China）

In order to improve the feature extraction capability of convolutional neural network，a deep convolutional neural network model based on the consecutive convolution was proposed.The small-scaled convolutional kernels in the model were adopted to precisely extract the local features，and the nonlinear expression capability of the model was improved with the help of two continuous convolutional layers.In addition，the mutual dependency between neurons was reduced with the Dropout technology，and the model was optimized through restraining the network over-fitting.The objective recognition experiments of facial expressions，hand written numeric characters and color images show that when the images are complicated，the proposed model has obvious advantages in the aspects of both recognition accuracy and generalization capability，compared with the manual feature extraction method and general two-layer and three-layer convolutional structures.

convolutional neural network；consecutive convolution；deep learning；network structure；feature extraction；parameter optimization；pooling；image recognition

TP 183

A

1000－1646（2016）06－0662－05

10.7688／j.issn.1000－1646.2016.06.12

2015－12－04.

國(guó)家自然科學(xué)基金資助項(xiàng)目（61372176）.

牛連強(qiáng)（1965－），男，遼寧蓋縣人，教授，主要從事圖形學(xué)、計(jì)算機(jī)輔助設(shè)計(jì)、計(jì)算可視化及仿真等方面的研究.

05－12 14∶01在中國(guó)知網(wǎng)優(yōu)先數(shù)字出版.

http：∥www.cnki.net／kcms／detail／21.1189.T. 20160512.1401.026.htm l