卷積神經(jīng)網(wǎng)絡(luò)在毒株胚蛋分類中的應(yīng)用

畢明帥，穆嘉松

（天津師范大學(xué)電子與通信工程學(xué)院，天津 300387）

目前預(yù)防禽流感的主要方式是給家禽注射禽流感疫苗,在 9 d～12 d 齡的 SPF（specific pathogen free，無(wú)特定病原體）雞蛋胚胎中接種禽流感毒株后再進(jìn)行增殖分離培養(yǎng).接種疫苗之前需要分離死胚，目前分離檢測(cè)雞蛋品質(zhì)主要靠人工方式，效率較低，準(zhǔn)確率不高,難以達(dá)到市場(chǎng)的需求.針對(duì)此問(wèn)題，為提高檢測(cè)效率和準(zhǔn)確率，相關(guān)學(xué)者做了一些研究.文獻(xiàn)[1]和文獻(xiàn)[2]分別使用高頻超聲成像和超聲微泡顯影技術(shù)，研究雞蛋心血管組織結(jié)構(gòu)的發(fā)育，以識(shí)別雞蛋品質(zhì)，但是這2種方法不能做到無(wú)損檢測(cè).文獻(xiàn)[3]設(shè)計(jì)了基于機(jī)器視覺的毒株胚蛋圖像采集系統(tǒng)，通過(guò)傳統(tǒng)的機(jī)器視覺圖像分割方法提取雞蛋血管特征.

作為機(jī)器視覺的基本研究方向，圖像特征的提取和分類隨著深度學(xué)習(xí)的發(fā)展得到了越來(lái)越多的關(guān)注.深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一.2006年，Hinton等[4]提出了深度學(xué)習(xí)的思想，指出深層的人工神經(jīng)網(wǎng)絡(luò)有利于解決圖像分類問(wèn)題.隨后，基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的深度學(xué)習(xí)模型的優(yōu)良性能推動(dòng)了深度學(xué)習(xí)研究的熱潮[5].近些年，深度學(xué)習(xí)模型被廣泛應(yīng)用于圖像特征提取、語(yǔ)音識(shí)別和人臉識(shí)別等方面[6-10]，推動(dòng)了人工智能的發(fā)展.

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種人工神經(jīng)網(wǎng)絡(luò)，其本質(zhì)是一個(gè)多層感知機(jī).它通過(guò)權(quán)值共享的方式將特征提取功能融合進(jìn)多層感知機(jī)，具有普通神經(jīng)網(wǎng)絡(luò)不具備的優(yōu)點(diǎn)，包括運(yùn)行速度快、適應(yīng)性強(qiáng)、模型復(fù)雜度低等，且在處理二維圖像方面也具有良好的魯棒性.

1.1 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)可以分為4個(gè)部分：輸入層、卷積層、全連接層和輸出層，卷積層主要包括卷積和池化的過(guò)程.卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)如圖1所示.

圖1 卷積神經(jīng)網(wǎng)絡(luò)Fig.1 Convolution neural network

卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和子抽樣層通常用來(lái)組成特征提取器.在卷積層中，神經(jīng)元只與相鄰的一些神經(jīng)元相連，若干個(gè)矩形神經(jīng)元組成特征圖，同一特征平面上的神經(jīng)元權(quán)重相同.卷積核通常以隨機(jī)小數(shù)矩陣的形式進(jìn)行初始化，在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，卷積核將學(xué)習(xí)獲得合理的權(quán)重.共享權(quán)重可以減少網(wǎng)絡(luò)層之間的連接，同時(shí)降低擬合風(fēng)險(xiǎn).子抽樣也稱為池化，通常有2種形式：平均子抽樣和最大值采樣.子抽樣可以看作是一個(gè)特殊的卷積過(guò)程.卷積和池化極大地簡(jiǎn)化了網(wǎng)絡(luò)模型的復(fù)雜度，同時(shí)減少了模型的參數(shù).全連接層即為普通神經(jīng)網(wǎng)絡(luò)多層感知機(jī)的隱含層，后面一層的所有神經(jīng)節(jié)點(diǎn)與前一層的每個(gè)神經(jīng)節(jié)點(diǎn)連接，同一層的神經(jīng)節(jié)點(diǎn)之間不連接，多個(gè)全連接層可以相互連接，每一層的神經(jīng)節(jié)點(diǎn)權(quán)重連接后，通過(guò)前向傳播和加權(quán)組合即得到下一層神經(jīng)元的輸入.輸出層通常為一個(gè)分類器.

1.2 網(wǎng)絡(luò)的求解

卷積神經(jīng)網(wǎng)絡(luò)通過(guò)權(quán)值共享來(lái)減少自由參數(shù)，基于反向傳播算法來(lái)更新權(quán)值.網(wǎng)絡(luò)接受數(shù)據(jù)輸入作為訓(xùn)練樣例，訓(xùn)練數(shù)據(jù)量通常很大，全部輸入會(huì)加重網(wǎng)絡(luò)的負(fù)擔(dān)，所以要將訓(xùn)練樣例分為多個(gè)小的批次，每個(gè)批次稱為mini-batch.網(wǎng)絡(luò)每次只訓(xùn)練一個(gè)minibatch，數(shù)據(jù)經(jīng)過(guò)前向傳播后，計(jì)算得到實(shí)際輸出和期望輸出的誤差，輸出層再通過(guò)反向傳播計(jì)算誤差減小的方向，直到傳播至次輸入層.

2 算法設(shè)計(jì)

本文根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的特性，設(shè)計(jì)了一個(gè)帶有Batch Normlization層[11]的卷積網(wǎng)絡(luò).算法流程如圖2所示.該網(wǎng)絡(luò)使用3個(gè)卷積層，第1層卷積由16個(gè)特征圖構(gòu)成，第2層卷積有32個(gè)特征圖，第3層卷積有64個(gè)特征圖，卷積核大小均為3×3.每個(gè)卷積層CL（convolution layer）后是Batch Normlization層BN和以ReLU為激活函數(shù)的激活層AL（activiation layer），同時(shí)加上一個(gè)最大池化層MPL（maxpooling layer），最后通過(guò)一個(gè)全連接層FCL（fully connected layer）連接Softmax層SL作為分類輸出結(jié)果.

圖2 算法流程Fig.2 Algorithm flow

2.1 Batch Normalization層

在進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，當(dāng)數(shù)據(jù)流經(jīng)一個(gè)深層的網(wǎng)絡(luò)時(shí)，權(quán)重和參數(shù)會(huì)進(jìn)行調(diào)整，有時(shí)會(huì)使數(shù)據(jù)過(guò)大或者過(guò)小，為了解決這個(gè)問(wèn)題，往往要對(duì)輸入數(shù)據(jù)進(jìn)行驚醒預(yù)處理，包括減去均值和白化等，從而逐級(jí)提升隨機(jī)初始化權(quán)重對(duì)數(shù)據(jù)分割的有效性.本文采用Batch Normalization對(duì)mini-batch進(jìn)行操作，以提升網(wǎng)絡(luò)的容納能力.

訓(xùn)練時(shí)，每個(gè)mini-batch的輸入為xi，進(jìn)入BN層后，經(jīng)過(guò)變換

2.2 激活函數(shù)

選取ReLU激活函數(shù)，表達(dá)式為

梯度計(jì)算公式為

在正向傳播過(guò)程中，ReLU函數(shù)只需設(shè)置閾值，在反向傳播過(guò)程中，可加快參數(shù)更新，減輕梯度彌散.

3 實(shí)驗(yàn)

雞蛋品質(zhì)種類樣圖如圖3所示，分為活胚（live embryo egg）和死胚（addle egg）.

采用2 000張圖片作為實(shí)驗(yàn)數(shù)據(jù)，2種類別各1 000張進(jìn)行訓(xùn)練.圖像格式為bmp，大小為256×256.加入BN層和未加入BN層的訓(xùn)練效果見圖4.

圖3 雞蛋品質(zhì)Fig.3 Kinds of eggs

由圖4可見，加入BN層的網(wǎng)絡(luò)在150次迭代后識(shí)別準(zhǔn)確率達(dá)到了98%，而未加入BN層的網(wǎng)絡(luò)在250次迭代后識(shí)別準(zhǔn)確率達(dá)到96%.可見加入BN層后不僅網(wǎng)絡(luò)收斂更快，識(shí)別準(zhǔn)確率也有一定的提升.

圖4 加入BN層和未加入BN層的網(wǎng)絡(luò)訓(xùn)練效果Fig.4 Training effects of network with and without BN layer

為了驗(yàn)證網(wǎng)絡(luò)深度的影響，將2種類別圖片各1000張，以5∶1的比例進(jìn)行訓(xùn)練測(cè)試.考察使用1層卷積和3層卷積時(shí)，網(wǎng)絡(luò)Loss的下降情況，結(jié)果見圖5.

圖5 1層卷積和3層卷積網(wǎng)絡(luò)Loss情況對(duì)比Fig.5 Comparison of Loss between one and three convolution layers

由圖5可見，只用1層卷積層的網(wǎng)絡(luò)收斂很慢，Loss下降緩慢，且出現(xiàn)明顯震蕩，網(wǎng)絡(luò)學(xué)習(xí)時(shí)間較長(zhǎng).而使用3層卷積層的網(wǎng)絡(luò)收斂較快，Loss迅速下降，且無(wú)震蕩.說(shuō)明提高卷積層數(shù)可明顯提升網(wǎng)絡(luò)學(xué)習(xí)效果和網(wǎng)絡(luò)性能.

4 結(jié)論

本文將卷積神經(jīng)網(wǎng)絡(luò)用于雞蛋品質(zhì)識(shí)別，采用3層卷積網(wǎng)絡(luò)并加入了BN層，考察了BN層和卷積層數(shù)對(duì)網(wǎng)絡(luò)性能的影響.實(shí)驗(yàn)表明該模型對(duì)于雞蛋品質(zhì)類型分類具有較高的識(shí)別精度，且網(wǎng)絡(luò)性能較好，可以應(yīng)運(yùn)于實(shí)際的自動(dòng)化生產(chǎn).

參考文獻(xiàn)：

[1]MCQUINN T，BRATOEVA M，DEALMEIDA A，et al.High-frequency ultrasonographic imaging of avian cardiovascular development[J].Developmental Dynamics，2007，236（12）：3503-3513.

[2] SCHELLPFEFFER M A，KOLESARI G L.Microbubble contrast imaging of the cardiovascular system of the chick embyro[J].Ultrasound in Medicine and Biology，2012，38（3）：504-510.

[3]呼進(jìn)國(guó)，劉川來(lái).基于圖像處理技術(shù)的種蛋胚體成活性無(wú)損檢測(cè)[J].青島科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，35（2）：200-205.HU J G，LIU C L.Non-destructive detection of hatching eggs fertility based on image processing[J].Journal of Qingdao University of Science and Technology ：Natural Science Edition，2014，35（2）：200-205(in Chinese).

[4]HINTON G E，SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313(5786)：504-507.

[5]KRIZHEVSKY A，SUTSKEVER I，HINTON G E，et al.Image Net classificationwithdeepconvolutionalneuralnetworks[J].Communications of the ACM，2013，60(6)：84-90.

[6] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[C]//San Diego：International Conference on Learning Representations，2015.

[7]SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions[J].ComputerVisionandPatternRecognition，2015：1-9.arXiv：1409.4842.

[8] DAHLGE，YUD，DENG L，et al.Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J].IEEE Transactions on Audio，Speech，and Language Processing，2012，20(1)：30-42.

[9] SCHROFF F，KALENICHENKO D，PHILBIN J，et al.FaceNet：A unified embedding for face recognition and clustering[J].Computer Vision and Pattern Recognition，2015：815-823.arXiv：1503.03832.

[10]SILVER D，HUANG A，MADDISON C J，et al.Mastering the game of go with deep neural networks and tree search[J].Nature，2016，529（7587）：484-489.

[11]IOFFES，SZEGEDYC.BatchNormalization：Acceleratingdeep network training by reducing internal covariate shift[J].Learning，2015：448-456.arXiv：1502.03167.