FC-CNN:基于卷積神經(jīng)網(wǎng)絡(luò)的水果圖像分類算法

簡(jiǎn)欽，張雨墨，簡(jiǎn)獻(xiàn)忠

（1.200093 上海市 上海理工大學(xué) 機(jī)械工程學(xué)院；2.200093 上海市 上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院）

0 引言

1994 年以來(lái)，我國(guó)水果總產(chǎn)量穩(wěn)居世界第1 位[1]。國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)顯示，2000～2016 年我國(guó)水果總產(chǎn)量持續(xù)增加，從6 225.15 萬(wàn)t 增至28 351.1 萬(wàn)t。雖然我國(guó)水果產(chǎn)量巨大，但多以鮮果銷售為主，食用加工比例低下，且損耗率較高，水果加工產(chǎn)業(yè)嚴(yán)重落后于歐美發(fā)達(dá)國(guó)家。提高水果產(chǎn)業(yè)的工業(yè)化、智能化水平成為一個(gè)亟待解決的問題。

20 世紀(jì)，科研人員著手于水果分類技術(shù)的研究，已經(jīng)開發(fā)了一些依賴于形狀、顏色和紋理特征的方法用于水果分類。Bolle[2]等人利用最鄰近技術(shù)，將水果圖像的直方圖與預(yù)先訓(xùn)練好的帶有標(biāo)簽的直方圖進(jìn)行對(duì)比，再根據(jù)直方圖的相似度對(duì)水果圖像進(jìn)行分類；陶華偉[3]等人利用顏色完全局部二值模式(color completed local binary pattern，CCLBP) 提取果蔬圖像的紋理特征，利用HSV 顏色直方圖和BIC 顏色直方圖提取果蔬圖像的顏色特征，采用融合算法將顏色和紋理特征相融合實(shí)現(xiàn)果蔬分類。

近年來(lái)，許多機(jī)器學(xué)習(xí)技術(shù)已經(jīng)應(yīng)用在水果分類領(lǐng)域。Peng H[4]等人利用形狀不變矩合成水果的顏色和形狀特征，再應(yīng)用SVM 分類器根據(jù)提取的特征向量對(duì)水果圖像進(jìn)行分類；Erwin[5]等人使用模糊顏色直方圖（FCH）方法進(jìn)行顏色提取，用矩不變量（MI）方法進(jìn)行形狀提取，K-均值聚類算法進(jìn)行聚類，KNN 方法用來(lái)對(duì)水果圖像分類；Zhang Y[6]等人提出了BBO-FNN 方法，該方法首先提取圖像的顏色、形狀和紋理特征，然后使用主成分分析(PCA)來(lái)去除過多的特征，最后使用一種基于生物地理學(xué)優(yōu)化（BBO）和前饋神經(jīng)網(wǎng)絡(luò)（FNN）的方法對(duì)水果圖像分類。

上述方法雖然取得了一些成果，但是需要對(duì)水果圖像進(jìn)行復(fù)雜的預(yù)處理，提取水果圖像的顏色、紋理和形狀等特征，且識(shí)別水果種類少，分類精度相對(duì)不高。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種眾所周知的深度學(xué)習(xí)架構(gòu)，其靈感來(lái)自于生物的自然視覺感知機(jī)制[7]。隨著近年來(lái)計(jì)算機(jī)性能的提升以及成本的下降，CNN 獲得了長(zhǎng)足的發(fā)展，并且在多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。現(xiàn)在CNN 能夠處理眾多復(fù)雜的任務(wù)，例如圖像分類、目標(biāo)跟蹤、姿態(tài)估計(jì)、文本檢測(cè)、視覺顯著性檢測(cè)、行為識(shí)別、場(chǎng)景標(biāo)注、自然語(yǔ)言處理等，與其他方法相比，CNN 可以在大規(guī)模數(shù)據(jù)集上實(shí)現(xiàn)更好的分類精度，因?yàn)樗哂新?lián)合特征和分類器學(xué)習(xí)的能力。

最近，CNN 也被應(yīng)用到水果分類領(lǐng)域，相對(duì)其他方法取得了比較好的效果。曾維亮[8]等人設(shè)計(jì)了一個(gè)3 層CNN，使用ReLU 替代傳統(tǒng)的Sigmoid 作為激活函數(shù)，并引入Dropout，降低網(wǎng)絡(luò)對(duì)某一局部特征的過擬合。實(shí)驗(yàn)在15 個(gè)類別的水果圖像上進(jìn)行，達(dá)到了83.4%的準(zhǔn)確率。Lu 等人設(shè)計(jì)了一個(gè)6 層CNN，由卷積層、池化層和全連接層組成[9]。實(shí)驗(yàn)在9 個(gè)類別的果蔬圖像上進(jìn)行，達(dá)到了91.44%的準(zhǔn)確率；曾平平[10]等人參照經(jīng)典的LeNet-5 結(jié)構(gòu)，設(shè)計(jì)了一個(gè)4 層CNN。實(shí)驗(yàn)在5 個(gè)類別的水果和蔬菜圖像上進(jìn)行，達(dá)到了98.44%的準(zhǔn)確率。

已有基于深度學(xué)習(xí)水果圖像分類算法均采用池化層進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，訓(xùn)練過程會(huì)丟失部分特征，導(dǎo)致分類精度有待提高。在現(xiàn)有工作的基礎(chǔ)上，本文設(shè)計(jì)了一個(gè)6 層卷積神經(jīng)網(wǎng)絡(luò)作為分類器，使用卷積加步長(zhǎng)替代池化層，添加了批量規(guī)范化層，并對(duì)損失函數(shù)和訓(xùn)練算法進(jìn)行優(yōu)化，獲得了更好的分類效果。

1 FC-CNN 水果圖像分類算法

1.1 池化層分析

CNN 一般由卷積層、池化層和全連接層構(gòu)成。卷積層(Convolutional layer，Conv)對(duì)輸入的圖像進(jìn)行卷積運(yùn)算，提取圖像特征。池化層(Pooling layer)用于減少卷積層之間的連接數(shù)來(lái)降低計(jì)算負(fù)擔(dān)同時(shí)減少特征維度。全連接層(Fully connected layer，F(xiàn)C)將二維圖像連接成一個(gè)一維向量，用于結(jié)果的輸出。

最大池化(max Pooling)是最常用的池化方法，其采用滑動(dòng)窗口分割圖像，在每個(gè)滑窗內(nèi)取最大值作為輸出。圖1 展示了窗口大小為2 的最大池化操作。

由圖1 可知，池化操作雖然減少了計(jì)算參數(shù)、提高了運(yùn)算速度，但同時(shí)也會(huì)導(dǎo)致部分特征丟失。本文的FC-CNN 算法使用卷積加步長(zhǎng)替代池化層，可以自主選擇特征，提高分類精度。

圖1 最大池化Fig.1 Max pooling

1.2 批量規(guī)范化

在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)經(jīng)常會(huì)遇到的問題就是過擬合(Overfitting)，即模型過度接近訓(xùn)練的數(shù)據(jù)，使模型的泛化能力差，表現(xiàn)為模型在訓(xùn)練集上測(cè)試的準(zhǔn)確率很高，但是在測(cè)試集上測(cè)試的準(zhǔn)確率卻很低。過擬合的模型不是理想的模型，需要對(duì)模型進(jìn)行優(yōu)化，從而提高其泛化能力。

批量規(guī)范化（Batch Normalization，BN）可以提高訓(xùn)練速度、加快收斂，防止過擬合，降低網(wǎng)絡(luò)對(duì)初始化權(quán)重的依賴，允許使用較大的學(xué)習(xí)率[11]，對(duì)于減少過擬合，它比Dropout 更有效。在提出BN 之前，廣泛采用Dropout 來(lái)克服過擬合，但是添加Dropout 會(huì)影響訓(xùn)練速度[12]。BN 是一種更先進(jìn)、更適用于該問題的方法，通過歸一化操作，避免了梯度消失或爆炸的問題。后文將會(huì)對(duì)比BN 和Dropout 對(duì)網(wǎng)絡(luò)性能的影響。

批量規(guī)范化可以看作是訓(xùn)練過程中對(duì)每一層輸入數(shù)據(jù)的標(biāo)準(zhǔn)化處理，從而保證輸入數(shù)據(jù)保持相同的分布。

式中：μx——輸入xi的平均值；σx2——xi的方差；γ，β——保證輸出滿足標(biāo)準(zhǔn)高斯分布的正則項(xiàng)，平均值為0，方差值為1。

1.3 FC-CNN 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

FC-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由卷積層（Convolutional layer，Conv）、批量規(guī)范化層（Batch Normalization layer，BN）、全連接層（Fully connected layer，F(xiàn)C）、Softmax 層和激活函數(shù)（ReLU）構(gòu)成。

圖2 FC-CNN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 FC-CNN network structure

輸入圖片大小為100×100，通道數(shù)為4。第1 層卷積Conv1 使用大小為5×5 的卷積核進(jìn)行卷積，步長(zhǎng)為2；Conv2 的卷積核大小為3×3，步長(zhǎng)為2；Conv3 的卷積核大小為5×5，步長(zhǎng)為2；Conv4 的卷積核大小為3×3，步長(zhǎng)為2。并且所有卷積層都加入了批量規(guī)范化層（BN），使用激活函數(shù)（ReLU）進(jìn)行激活。全連接層FC1 和FC2 分別有1 024 和256 個(gè)神經(jīng)元，并使用激活函數(shù)（ReLU）。FC-CNN 的具體結(jié)構(gòu)參數(shù)如表1所示。

表1 FC-CNN 結(jié)構(gòu)參數(shù)Tab.1 FC-CNN structural parameters

1.4 損失函數(shù)設(shè)計(jì)

在模型訓(xùn)練階段，需要構(gòu)建損失函數(shù)用于評(píng)估網(wǎng)絡(luò)輸出結(jié)果與實(shí)際值的差異。Softmax loss 是一種常用的損失函數(shù)，它本質(zhì)上是多項(xiàng)Logistic loss 和Softmax 的組合。Softmax 將預(yù)測(cè)轉(zhuǎn)化為非負(fù)值，并將其標(biāo)準(zhǔn)化，從而得到類別的概率分布。這種概率預(yù)測(cè)用于計(jì)算多項(xiàng)Logistic loss，即：

為了防止訓(xùn)練過程中發(fā)生過擬合現(xiàn)象，本文又在損失函數(shù)中加入了L2 正則化(L2 regularization)，它通過降低網(wǎng)絡(luò)中一些神經(jīng)元的權(quán)值抑制過擬合，公式為

L2 正則項(xiàng)即對(duì)所有參數(shù)求平方和再除以樣本大小，λ是正則項(xiàng)系數(shù)，在本文中λ=0.000 5。

本文所使用的損失函數(shù)為Softmax loss 和L2正則化的組合，即：

1.5 優(yōu)化器選擇

在設(shè)定好損失函數(shù)后，需要選擇合適的優(yōu)化器，使損失函數(shù)最小。現(xiàn)有的水果分類模型使用的是批量隨機(jī)梯度下降法 （Mini-batch Stochastic Gradient Descend，Minibatch SGD），其每一次迭代計(jì)算Mini-batch 的梯度，然后對(duì)參數(shù)進(jìn)行更新。Minibatch SGD 雖然取得了一些成果，但也存在一些需要解決的問題。它選擇合適的學(xué)習(xí)率比較困難，對(duì)所有的參數(shù)更新使用同樣的學(xué)習(xí)率；同時(shí)，它容易收斂到局部最優(yōu)，并且在某些情況下可能被困在鞍點(diǎn)。

為解決上述問題，本文使用Adam（adaptive moment estimate）優(yōu)化算法計(jì)算梯度并更新權(quán)重[13]。該算法結(jié)合AdaGrad 和RMSProp 兩種優(yōu)化算法的優(yōu)點(diǎn)。對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)進(jìn)行綜合考慮，計(jì)算出更新步長(zhǎng)。它是一種自適應(yīng)的優(yōu)化算法，能計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率，參數(shù)的更新不受梯度的伸縮變換影響，收斂速度快，學(xué)習(xí)效率高，其公式為

2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)基于Windows10 操作系統(tǒng)，使用開源的深度學(xué)習(xí)框架TensorFlow，配置有3.20 GHz主頻、16 GB 內(nèi)存的Intel(R) Core(TM) i7-8700 CPU，和12 GB 顯存的NVIDIA GeForce GTX 1080Ti GPU。

2.1 數(shù)據(jù)集

實(shí)驗(yàn)所用數(shù)據(jù)集為Fruits-360[14]，該數(shù)據(jù)集將水果安裝在低速電機(jī)的軸上，水果后面放置白紙作為背景（見圖3 左側(cè)），啟動(dòng)電機(jī)并拍攝20 s 的短片，從中截取圖片。對(duì)圖片進(jìn)行處理，使其背景被白色像素填充，并將圖片縮放到100×100 像素（見圖3 右側(cè)）。

圖3 Fruits-360 數(shù)據(jù)集示例Fig.3 Fruits-360 dataset example

從Fruits-360 數(shù)據(jù)集中選取了48 種中國(guó)常見的水果（如圖4 所示），其中訓(xùn)練集22 806 張，測(cè)試集7 665 張。

圖4 部分水果圖像Fig.4 Some fruit images

2.2 實(shí)驗(yàn)方法

本文對(duì)數(shù)據(jù)集進(jìn)行了預(yù)處理，將輸入的RGB圖像進(jìn)行隨機(jī)的色調(diào)和飽和度變化。為了對(duì)數(shù)據(jù)集增廣，隨機(jī)地水平和垂直翻轉(zhuǎn)它們。然后將它們轉(zhuǎn)換為HSV 圖片和灰度圖片，最后將其合并為4 通道圖片。

使用Adam 優(yōu)化器對(duì)損失函數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率為0.001，動(dòng)量參數(shù)β1=0.9，β2=0.99。從訓(xùn)練集中隨機(jī)選擇64 幅圖像作為一個(gè)批次，對(duì)算法進(jìn)行45 000 次迭代訓(xùn)練，每100 次計(jì)算一次準(zhǔn)確率。

2.3 實(shí)驗(yàn)結(jié)果對(duì)比與分析

為了驗(yàn)證本文算法網(wǎng)絡(luò)結(jié)構(gòu)的合理性，在數(shù)據(jù)集上進(jìn)行了多次測(cè)試，包括有無(wú)批量規(guī)范化層(Batch normalization layer)、池化層(Pooling layer)和Dropout 的對(duì)比。多種網(wǎng)絡(luò)結(jié)構(gòu)的測(cè)試結(jié)果見圖5、圖6、圖7。

圖5 多種網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率Fig.5 Multiple network structure accuracy

圖6 損失函數(shù)Fig.6 Loss function

圖7 訓(xùn)練集準(zhǔn)確率Fig.7 Accuracy on training set

圖5—圖7 展示了同一數(shù)據(jù)集下不同網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)驗(yàn)結(jié)果，可以看出CNN（with BN）在訓(xùn)練集和測(cè)試集上的準(zhǔn)確率都是最高的，同時(shí)相比于其他結(jié)構(gòu)CNN（with BN）的收斂速度更快，因此驗(yàn)證了FC-CNN 算法網(wǎng)絡(luò)結(jié)構(gòu)的合理性。

為了驗(yàn)證本文提出的FC-CNN 算法與其他分類算法在水果圖像的分類效果上是否具有優(yōu)勢(shì)，實(shí)驗(yàn)選取了文獻(xiàn)[8-10]中的算法在Fruits-360 數(shù)據(jù)集上進(jìn)行對(duì)比。表2 給出了FC-CNN 算法與其他3 種算法的分類效果對(duì)比。

表2 多種分類算法測(cè)試結(jié)果Tab.2 Various classification algorithms test results

從表2 得出，F(xiàn)C-CNN 模型相比文獻(xiàn)[8-10]中的模型的準(zhǔn)確率分別高出15.06%、18.74%和16.22%，表明FC-CNN 分類算法優(yōu)勢(shì)明顯。

3 結(jié)論

為了提高現(xiàn)有基于深度學(xué)習(xí)的水果圖像分類算法精度不高、識(shí)別種類少的問題，本文完成了一種基于深度神經(jīng)網(wǎng)絡(luò)的FC-CNN 水果圖像分類算法。由于采用卷積加步長(zhǎng)替代現(xiàn)有算法中的池化層，提高了分類精度；同時(shí)加入批量規(guī)范化層，加快了收斂速度，解決了水果圖像分類算法訓(xùn)練過程中過擬合的問題。經(jīng)實(shí)驗(yàn)驗(yàn)證，相較于現(xiàn)有方法分類精度更高，識(shí)別水果種類更多，為多類型水果分類提供了一種新的思路。課題組下一步工作將基于提出的算法，采用嵌入式設(shè)備進(jìn)行硬件系統(tǒng)實(shí)現(xiàn)。