基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的缺陷紅棗檢測方法

方 雙 趙鳳霞 楚松峰 吳振華

(鄭州大學(xué)機(jī)械與動力工程學(xué)院，河南 鄭州 450001)

紅棗在生長、成熟、收獲和存放過程中，會產(chǎn)生黃皮、霉變、破頭等缺陷[1]，這些缺陷降低了紅棗的品質(zhì)，因此深加工前需要進(jìn)行缺陷棗的識別和篩選。目前主要依靠人工篩選紅棗，勞動強度大、主觀性強，而且費時、費力、效率低下[2]。為此，學(xué)者們對缺陷紅棗的檢測進(jìn)行了深入研究，并取得了較大的進(jìn)展。海潮等[3]根據(jù)紅棗的表面缺陷特征提出基于Blob分析的紅棗表面缺陷識別方法，該方法對缺陷棗的識別率達(dá)到90%以上，但是對黑斑棗的識別率較低且速度也較慢。詹映等[4]對南疆紅棗顏色分級進(jìn)行研究，提取預(yù)處理圖片的紅體均值、綠體均值和藍(lán)體均值及其均方差，再將圖片從RGB轉(zhuǎn)換到HIS顏色空間，提取色度均值、亮度均值和飽和度均值及其均方差，利用提取的12個特征變量結(jié)合BP神經(jīng)網(wǎng)絡(luò)對南疆駿棗和灰棗的外部品質(zhì)進(jìn)行了定量化分級研究。蘇軍等[5]提出了基于GA優(yōu)化SVM的干制紅棗識別方法，但是該方法存在對霉變棗分類效果不明顯的問題。以上基于傳統(tǒng)機(jī)器學(xué)習(xí)的紅棗缺陷識別方法主要依據(jù)經(jīng)驗，易受樣本和人為主觀性的影響，需要針對不同的分類情況精心設(shè)計特征，這需要耗費大量的時間和精力[6]，且設(shè)計的特征很難具有普適性，魯棒性差。

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)可以有效地克服上述弊端，其對圖像的空間不變形具有良好的適應(yīng)性，其強大的自主學(xué)習(xí)能力可以自動提取并學(xué)習(xí)圖像中的特征信息，無需額外的監(jiān)督訓(xùn)練[6-7]。近年來已被逐漸應(yīng)用于人臉識別[8]、目標(biāo)檢測[9]和圖像識別[10-11]等領(lǐng)域。將卷積神經(jīng)網(wǎng)絡(luò)用于缺陷紅棗識別的研究也陸續(xù)展開。曾窕俊等[12]提出一種基于幀間最短路徑搜索的目標(biāo)定位方法和集成卷積神經(jīng)網(wǎng)絡(luò)模型對視頻圖像中的蟲蝕棗、霉變棗、裂痕棗、黑頭棗進(jìn)行定位和檢測，分類準(zhǔn)確率達(dá)到98.45%。文懷興等[13]提出了一種基于深度殘差網(wǎng)絡(luò)對紅棗表面缺陷以及紋理識別的分類算法，對正常棗、霉變棗和破皮棗進(jìn)行分類，其分類準(zhǔn)確率達(dá)到96.11%。以上方法只針對常見的缺陷紅棗進(jìn)行了研究，但是對黃皮棗的研究較少。楊志銳等[14]提出一種基于網(wǎng)中網(wǎng)的卷積神經(jīng)網(wǎng)絡(luò)對紅棗進(jìn)行檢測，對圖片進(jìn)行背景分離、消除噪聲、勻光處理等數(shù)據(jù)預(yù)處理操作，使其總體準(zhǔn)確率達(dá)到94.79%，對于黃皮棗的識別準(zhǔn)確率為95.56%，但操作復(fù)雜且模型性能還有一定的提升空間。

黃皮棗制干后呈黃色，肉質(zhì)不堅實、口感差，但其外觀特征和顏色特征與正常紅棗相似，且顏色特征受光照的影響比較大，增大了識別的難度。為了提高缺陷紅棗的識別率，擬提出一種基于AlexNet[15]的多尺度卷積神經(jīng)網(wǎng)絡(luò)缺陷紅棗識別方法，利用多尺度卷積模塊提取多尺度的紅棗特征信息；在卷積層中加入批標(biāo)準(zhǔn)化處理以減少訓(xùn)練過程中數(shù)據(jù)分布的變化，提高網(wǎng)絡(luò)的泛化能力，避免過擬合。

1 研究對象

1.1 試驗材料

試驗研究對象是新疆干制紅棗，圖1為在生產(chǎn)環(huán)境下采集的紅棗檢測的部分圖像，將圖像進(jìn)行分割、去背景操作之后，得到紅棗數(shù)據(jù)集，數(shù)據(jù)集中包括4類紅棗，分別為黃皮棗、霉變棗、破頭棗和正常棗，如圖2所示。對所采集到的圖像進(jìn)行特征分類和人工標(biāo)記，并對所采集的紅棗圖像樣本進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)剪切、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)等數(shù)據(jù)增強處理共得到2 800張紅棗圖片，并將所有圖片均勻混合，然后按照7∶2∶1的比例劃分為訓(xùn)練集、驗證集和測試集，即訓(xùn)練集圖片1 960張，驗證集圖片560張、測試集280張。

圖1 生產(chǎn)環(huán)境下紅棗檢測的部分圖像

圖2 訓(xùn)練集紅棗圖像示例

1.2 數(shù)據(jù)預(yù)處理

在進(jìn)行訓(xùn)練之前，對圖像進(jìn)行必要的預(yù)處理可以增強樣本數(shù)據(jù)，從而提高模型的性能。文中進(jìn)行的預(yù)處理操作包括：

(1) 統(tǒng)一圖片大小為227×227，作為模型的輸入。

(2) 樣本數(shù)據(jù)歸一化：將圖片格式數(shù)據(jù)轉(zhuǎn)換為RGB三通道的矩陣向量，并將圖像像素值從[0,255]映射到[0,1]，以避免數(shù)據(jù)經(jīng)激活函數(shù)處理時神經(jīng)元進(jìn)入“死區(qū)”，導(dǎo)致神經(jīng)元失活，可以加速卷積神經(jīng)網(wǎng)絡(luò)的收斂速度。

(3) 樣本數(shù)據(jù)標(biāo)準(zhǔn)化：對圖像進(jìn)行均值和方差的均衡處理，使得圖片數(shù)據(jù)更加符合數(shù)據(jù)分布的規(guī)律，提高訓(xùn)練模型的泛化效果。

2 多尺度卷積神經(jīng)網(wǎng)絡(luò)模型

多尺度卷積神經(jīng)網(wǎng)絡(luò)模型是一種基于AlexNet改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，將傳統(tǒng)AlexNet模型中的部分卷積層替換為多尺度卷積模塊，從而有效地提取紅棗的多尺度特征；引入批量歸一化層減少訓(xùn)練過程中數(shù)據(jù)分布的變化，提高網(wǎng)絡(luò)的泛化能力。

2.1 傳統(tǒng)的AlexNet模型結(jié)構(gòu)

傳統(tǒng)的AlexNet模型結(jié)構(gòu)如圖3所示，主要包括5個卷積層、2個池化層和2個全連接層以及一個輸出層。卷積層用于提取目標(biāo)不同層次的特征；池化層對特征進(jìn)行壓縮，降低分辨率，進(jìn)而減少冗余特征；全連接層對最后一層卷積層提取到的特征進(jìn)行加權(quán)，通過線性變換將特征空間映射到樣本標(biāo)記空間；并在最后的輸出層用softmax對目標(biāo)進(jìn)行分類。

2.2 基于AlexNet的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型

AlexNet模型采用傳統(tǒng)的卷積濾波器，參數(shù)眾多且卷積計算量很大，不利于模型充分學(xué)習(xí)數(shù)據(jù)的特征，采用多尺度卷積模塊不僅可以大大減少模型中的參數(shù)，還可以在增加模型深度和寬度的同時充分學(xué)習(xí)和利用紅棗的特征信息，從而提高模型的識別準(zhǔn)確率；模型訓(xùn)練過程中參數(shù)一直不斷地更新，會引起各網(wǎng)絡(luò)層輸出數(shù)據(jù)的分布隨之發(fā)生變化，不利于提高模型的泛化性，從而影響模型對紅棗的識別效果。針對上述問題，引入多尺度卷積模塊和批量歸一化層對AlexNet模型進(jìn)行改進(jìn)。

2.2.1 多尺度卷積模塊 構(gòu)建多尺度卷積模塊如圖4所示。該模塊中有4個支路，每個支路對輸入特征進(jìn)行卷積操作提取特征之后，再進(jìn)行特征融合操作，作為下一個模塊的輸入；每個支路中有不同大小的濾波器，這樣可以增加網(wǎng)絡(luò)對尺度的適應(yīng)性，有利于提取多尺度的特征信息，在增加網(wǎng)絡(luò)寬度的同時也增加了網(wǎng)絡(luò)的深度；每條支路中都包括1×1卷積，主要用于壓縮提取特征的維度，減少模型中的參數(shù)，同時添加非線性函數(shù)，有助于網(wǎng)絡(luò)提取抽象的特征。

圖3 傳統(tǒng)的AlexNet模型結(jié)構(gòu)示意圖

2.2.2 批量歸一化層 在模型進(jìn)行卷積操作時加入批量標(biāo)準(zhǔn)化(Batch Normalization，BN)層，該過程可以保證網(wǎng)絡(luò)容量、加快網(wǎng)絡(luò)的訓(xùn)練速度并提高網(wǎng)絡(luò)泛化能力，減少訓(xùn)練過程中參數(shù)更新引起的各層數(shù)據(jù)分布發(fā)生變化對模型的影響。批量歸一化[16]過程如下，首先計算每個批次中m個樣本x1～xm的均值和方差：

(1)

(2)

式中：

μ——批次的均值；

σ——批次的方差。

將數(shù)據(jù)進(jìn)行歸一化：

(3)

圖4 多尺度卷積模塊

式中：

β——防止方差σ為0時分式不成立而設(shè)置的常量。

(4)

βi=E[xi]，

(5)

yi=γixi+βi，

(6)

式中：

γi、βi——通過訓(xùn)練得到的重構(gòu)參數(shù)。

Var[xi]、E[xi]、yi——樣本xi的方差、均值、標(biāo)簽。

2.2.3 多尺度卷積神經(jīng)網(wǎng)絡(luò)模型 引入多尺度卷積模塊和批量歸一化層后，基于AlexNet的多尺度卷積神經(jīng)網(wǎng)絡(luò)如圖5所示。該網(wǎng)絡(luò)在AlexNet模型中引入了5個BN層，將后面4個傳統(tǒng)的卷積層替換為多尺度卷積模塊，并在前2個多尺度卷積模塊之后添加了池化層壓縮圖片的特征。4個多尺度卷積模塊的參數(shù)如表1所示。

2.2.4 傳統(tǒng)卷積層和多尺度卷積模塊的參數(shù)和計算量對比 為了便于將傳統(tǒng)卷積層和多尺度卷積模塊進(jìn)行對比，設(shè)置傳統(tǒng)AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的具體參數(shù)如表2所示。

按式(7)、(8)分別計算出AlexNet模型中各卷積層參數(shù)量、計算量和多尺度卷積神經(jīng)網(wǎng)絡(luò)中各多尺度卷積模塊的參數(shù)量、計算量，并將對應(yīng)的卷積層和多尺度卷積模塊的參數(shù)量和計算量進(jìn)行對比，其計算結(jié)果如表3所示。

(7)

(8)

式中：

A——參數(shù)量；

B——計算量；

n——卷積層數(shù)；

ki——尺寸為i×i的卷積核；

圖5 多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

表1 模型中4個多尺度卷積模塊的參數(shù)?

表2 傳統(tǒng)的AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)

表3 傳統(tǒng)卷積層和多尺度卷積模塊的參數(shù)和計算量對比

cl-1、cl——第l個卷積層的輸入通道數(shù)和輸出通道數(shù)；

Hl-1、Wl——第l個卷積層輸入特征的高度和寬度。

由計算結(jié)果可知，卷積層2的參數(shù)量和計算量分別是多尺度卷積模塊1的15.19倍和16.00倍，卷積層3的參數(shù)量和計算量均是多尺度卷積模塊2的7.14倍，卷積層4、卷積層5的參數(shù)量和計算量分別是多尺度卷積模塊3、多尺度卷積模塊4的8.58倍和10.15倍。鑒于卷積運算中加法運算與乘法運算的次數(shù)近似相等，因此在此處僅計算出乘法運算的計算量，并進(jìn)行對比，其比值與卷積運算中加法運算和乘法運算相加的比值近似相等。由表3 可知，設(shè)計的多尺度卷積模塊可以大大減少模型中的參數(shù)和計算量，加快模型的訓(xùn)練速度。

3 試驗與分析

為了驗證多尺度卷積神經(jīng)網(wǎng)絡(luò)在缺陷紅棗分類上的有效性，將提出的算法與淺層網(wǎng)絡(luò)LeNet[17]、深層網(wǎng)絡(luò)VGG16[18]和經(jīng)典AlexNet網(wǎng)絡(luò)進(jìn)行對比。模型的訓(xùn)練和測試環(huán)境是Anaconda 4.8.5平臺、運行內(nèi)存為64 GB、NVIDIA GeForce RTX 2080 Ti顯卡GPU、并行CUDA[19]編程平臺，keras深度學(xué)習(xí)框架和python3.7.7編程語言。在模型訓(xùn)練過程中將訓(xùn)練集和驗證集分為多個批次，綜合考慮計算機(jī)的硬件環(huán)境，在試驗過程中利用keras框架中的生成器函數(shù)[20]，設(shè)置batch_size為64，通過數(shù)據(jù)流的形式，從訓(xùn)練樣本中每次提取64個樣本參與訓(xùn)練，采用Adam優(yōu)化器，并設(shè)置初始學(xué)習(xí)率為0.001，訓(xùn)練總輪數(shù)為500次。

3.1 模型訓(xùn)練與測試

為了驗證不同網(wǎng)絡(luò)架構(gòu)對缺陷紅棗分類的影響和文中提出算法的有效性，將紅棗數(shù)據(jù)集分別統(tǒng)一大小為32×32、227×227、224×224的尺寸，并分別將LeNet模型、AlexNet模型和VGG16模型在數(shù)據(jù)集上進(jìn)行訓(xùn)練。4個模型在訓(xùn)練集和測試集上的準(zhǔn)確率和損失函數(shù)如圖6、7所示。

由圖6可知，淺層網(wǎng)絡(luò)LeNet模型的學(xué)習(xí)較緩慢，經(jīng)近500輪迭代才達(dá)到收斂，且在學(xué)習(xí)過程中波動較大。而深層網(wǎng)絡(luò)VGG16模型、AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程都能夠快速地收斂，在訓(xùn)練集上表現(xiàn)良好，其中AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程相對平穩(wěn)。

由圖7可知，淺層網(wǎng)絡(luò)LeNet模型在驗證集上的表現(xiàn)隨著迭代次數(shù)的增加逐漸變好，但整體表現(xiàn)不如其他3個模型，而且其波動較大。VGG16模型的驗證準(zhǔn)確率和驗證損失函數(shù)在前80輪迭代中分別迅速上升和下降，但是隨著迭代的進(jìn)行，驗證準(zhǔn)確率有降低的趨勢并收斂到91.8%，驗證損失也有逐漸上升的趨勢，這是因為VGG16出現(xiàn)了在驗證集上出現(xiàn)過的過擬合現(xiàn)象。AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)在驗證集上均表現(xiàn)良好，在前100輪迭代中，AlexNet模型的驗證準(zhǔn)確率高于多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，但是在后面的迭代中，多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的驗證準(zhǔn)確率收斂到97.4%，AlexNet模型的驗證準(zhǔn)確率收斂到95.4%，且多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的驗證損失函數(shù)遠(yuǎn)小于AlexNet模型的驗證損失。

綜上可知，LeNet模型學(xué)習(xí)緩慢且波動大主要是因為其結(jié)構(gòu)過于簡單，學(xué)習(xí)效率低，需要更多的迭代來充分學(xué)習(xí)圖像中的特征；VGG16模型雖然學(xué)習(xí)很快，但是出現(xiàn)了過擬合，這主要是因為VGG16模型參數(shù)眾多，比較復(fù)雜，圖片數(shù)據(jù)集有限，模型得不到充分地訓(xùn)練，使得其泛化性能較差；AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練集和驗證集上都可以快速收斂，并且未出現(xiàn)過擬合現(xiàn)象，后者的收斂速度雖然稍慢，但其驗證集收斂準(zhǔn)確率與前者相比提高了2%，且驗證損失遠(yuǎn)小于前者。完成500輪訓(xùn)練，AlexNet模型和多尺度卷積神經(jīng)網(wǎng)絡(luò)分別耗時0.924 h和0.483 h，多尺度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間相對減少了40.13%，與2.2.4部分傳統(tǒng)卷積層和多尺度卷積模塊的對比結(jié)果相一致。說明所構(gòu)建的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型減少了大量的參數(shù)，可以縮短模型的訓(xùn)練時間，且與AlexNet模型相比，其性能得到了明顯的提升。

圖6 模型的訓(xùn)練準(zhǔn)確率和訓(xùn)練損失函數(shù)對比圖

圖7 模型的驗證準(zhǔn)確率和驗證損失函數(shù)對比圖

3.2 模型驗證

為了驗證多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的泛化性，用其對測試集中的280張圖片分別進(jìn)行識別，結(jié)果如表5所示。

表5 多尺度卷積神經(jīng)網(wǎng)絡(luò)模型在測試集的識別結(jié)果

由表5可知，多尺度卷積神經(jīng)網(wǎng)絡(luò)模型在測試集上的平均識別準(zhǔn)確率為97.14%。與文獻(xiàn)[12]中提出的基于深度殘差網(wǎng)絡(luò)對紅棗表面缺陷分類的準(zhǔn)確率(96.11%)相比，識別精度更高。

4 結(jié)束語

提出了一種基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的缺陷紅棗識別方法，并對黃皮棗、霉變棗、破頭棗和正常棗進(jìn)行了檢驗。與LeNet模型、VGG16模型相比，提出的方法可以充分學(xué)習(xí)紅棗圖片中的特征信息，且未出現(xiàn)過擬合現(xiàn)象；與AlexNet模型進(jìn)行對比，訓(xùn)練時間減少了40.13%，驗證準(zhǔn)確率提高2%，說明多尺度卷積模塊能夠大大減少卷積運算中的參數(shù)，加速模型的訓(xùn)練，并提高了模型的準(zhǔn)確率，其平均識別率達(dá)到了97.14%，而且對黃皮棗也有較高的識別率。

試驗提出的多尺度卷積神經(jīng)網(wǎng)絡(luò)還存在優(yōu)化的空間，后續(xù)可考慮制作包含更多缺陷紅棗的較大數(shù)據(jù)集，結(jié)合更先進(jìn)、高效的網(wǎng)絡(luò)模塊對其作進(jìn)一步改進(jìn)。