基于卷積神經網絡技術的蔬果種類識別方法＊

薄琪葦，彭　俊，夏　凱,2

(1.浙江農林大學信息工程學院，浙江 杭州 311300；2.浙江農林大學浙江省林業智能監測與信息技術研究重點實驗室)

0　引言

最早的蔬果智能識別系統是由IBM公司的BOLLE等[1]于1995年為超市設計的，系統只能提取簡單的圖像顏色、形狀、紋理等特征參數，利用簡單的最小緊鄰法對多種蔬果進行分類。ZHANG等[2]運用Unser、RGB顏色直方圖等作為識別特征，再采用多類支持向量機(SVM)對蔬果進行識別，取得了較好的識別效果。國內對圖像識別技術應用于蔬果識別的研究起步較晚且較少。羅承成等[3]針對超市環境中的果蔬農產品進行分類識別，利用改進的鄰域特征提取算法，但特征提取時間較長，適用的范圍相對有限。黃曉琳等人[4]引入壓縮感知機方法，對提取的特征信息進行融合后實現分類。但在研究對象選擇上，多數研究僅是對單一蔬果圖像進行識別。綜合國內外研究現狀可以看出，當前研究較多集中于理論上的算法優化和論證，而實際應用進展不大。其他的分類識別技術，一般需要較多的人工預處理、圖像分割等操作，數據運算量較大。鑒于此，本研究嘗試將深度學習的卷積神經網絡技術應用于蔬果農產品的自動分類中，研究側重于實際的應用場景，以期為基于圖像識別技術的蔬果智能化研究提供一定的參考。

1　材料與方法

1.1　圖像來源

所用的蔬菜水果均由農貿市場隨機購買，采集的種類主要有：桃子Amygdalus persica，紅棗Ziziphus jujuba，蘋果Malus pumila，番茄Lycopersicon esculentum，香蕉Musa nana，西蘭花Brassica oleracea var.italic，荷蘭豆Pisum sativum，土豆Solanum tuberosum，秋葵Abelmoschus esculentus等9種蔬菜水果。在日常生活中，環境復雜，不可控因素很多。為了盡量模擬蔬果在日常生活中的情形，分別將不同數量的蔬果靜置于不同的背景中，例如報紙、塑料袋、電子秤托盤等，然后通過數碼相機進行拍攝，以此來獲取實驗圖像。以番茄為例，在自然光照下，不同背景所拍攝到的示例如圖1所示。

圖1　自然光照下不同背景拍攝的番茄

從拍攝的9種不同種類的蔬果圖像中，隨機選取一部分作為訓練集，剩余另一部分不重復的作為驗證集，具體拍攝數量，統計結果見表1。

表1　9種蔬果訓練集和驗證集圖像數量

1.2　卷積神經網絡概述

卷積神經網絡(convolutional neuron networks，CNN)是以多層感知機作為基礎，受生物視覺系統“局部感知”影響而設計完成的一種深層神經網絡。卷積神經網絡主要由卷積層和降采樣層構成，而在最頂層則是由普通神經網絡的全連接層，其結構見圖2。

圖2　卷積神經網絡結構模型

卷積層用來實現對輸入數據的卷積操作，其由多個卷積核構成，用于構建不同的特征圖像。通過不同的卷積核函數，將前一層數據的所有特征在后一層進行表述。

降采樣層根據圖像局部相關性原理，通過對卷積層進行子抽樣，在保證特征不變的情況下，減少圖像分辨率，從而減少計算量。一般的，其置于2個卷積層之間，每一卷積層對應于1個降采樣層。當前典型的降采樣方法主要有均值、最大值和隨機降采樣3種[5-6]。

2　分析與討論

2.1　蔬果識別模型

相比于LeNet-5模型，本實驗改進后的蔬果識別模型增加了1個S6降采樣層，進一步降低圖像大小，使得擁有3對成對的卷積降采樣層。而在其后新增的Dropout層，則是為了避免過擬合的問題，加強模型的特征表達能力，其結構示意圖如圖3所示。

構建好識別模型之后，就需要通過蔬果圖像來訓練模型，以此來獲取特征值。

從拍攝的9種蔬果圖片中，每個種類隨機挑選一部分圖片作為訓練集，用來訓練模型。將壓縮后的訓練集圖片轉換成二進制文件，輸入到模型中，訓練模型，獲得訓練結果。

圖3　改進后的蔬果識別模型示意圖

在自然光下，以白色為背景的單體蔬果圖片為例，設定訓練迭代次數10000次，對模型訓練后，可用TensorFlow自帶的可視化工具TensorBoard來顯示訓練過程。如圖4所示：在迭代次數達6000次時，總的缺失值(交叉熵和權重衰減項的和)趨于穩定，此時模型已經獲取到單體白色背景的9種蔬果特征，基本訓練完成。

其他不同背景(報紙、塑料袋、鋁制托盤)的蔬果圖片，訓練過程與上述過程相同，并且將全部的復雜背景圖片一起訓練，獲得針對復雜背景的蔬果識別模型。

圖4　訓練過程中總缺失值的變化情況

2.2　識別分類驗證

在對蔬果圖像模型完成訓練后，為了驗證其識別可行性，選擇不同的背景對圖像進行識別，其識別率如表2所示。

從表2可以看出，不同種類的蔬果，由于顏色、外觀等不同，識別效果各有差異。如紅棗、香蕉等顏色較背景色更為突出，且形狀較為規律，自身特有的屬性較為明顯，因此識別率較高。而荷蘭豆等，形狀較為不規律，個體間的差異相對較大，識別率也相對較低。

2.3　結果討論

從實驗結果來看，識別率普遍依然很高，識別效果較好，說明模型在訓練過程中擬合效果較好，具有良好的泛化能力和魯棒性能。

在對蔬果圖像分類識別上，傳統選用的方法多采用對圖像顏色、紋理、形狀等進行提取，再進行分類。在操作上對圖像進行灰度化、歸一化等，預處理過程相較于利用卷積網絡進行識別更為繁瑣。

而在識別效果上，本研究構建的識別模型，在白色底背景下，其圖像識別率平均可達97.4%，與沒有考慮環境背景的研究方法相比，識別率更高。同時，在考慮環境背景下，采用報紙、塑料購物袋、鋁制托盤等進行蔬果圖像采集，相比于其他研究方法，圖片采集量多，識別率高，環境干擾因素更為豐富，更符合現實中的交易環境。

表2　不同背景下的蔬果識別率

3　結束語

傳統識別技術應用于蔬果分類識別時，普遍缺少對復雜背景環境的考慮。本研究識別模型以LeNet-5模型為基礎，調整網絡層和相應參數，并加入Dropout層，使網絡具有更好的泛化能力，從而進一步優化模型結構，提升識別率。然后再通過大量的蔬果圖片來訓練模型，獲取到蔬果特征值，得到針對蔬果圖像的卷積識別模型。整個訓練過程不需要人為設定預設值，避免過多的人為干預。

本文拍攝具有相對復雜背景的蔬果圖像，將背景因素引入到研究中，圖像信息量更為豐富，更貼近現實生活，應用的范圍也更廣。只是前期需要拍攝大量的圖片，以及較長的時間來訓練模型。但從識別結果來看，實驗中的幾個常見背景識別率都較高，可用性很強。相比于其他的分類識別方法，自動化程度高、識別效果更好，具有創新性和一定的社會價值和研究意義。

參考文獻(References):

[1]BOLLE R M,CONNELL J H,HASS N,et al.Distinctive image features from scale-invariant key points[J].Int J Comput Vision,2004.60(2):91-110

[2]ZHANG Yudong,WU Lenan.Classification of fruits using computer vision and multiclass support vector machine[J].Sensors,2012,12(9):12439-12505

[3]羅承成,李書琴,唐晶磊.基于多示例學習的超市農產品圖像識別[J].計算機應用,2012.32(6):1560-1562

[4]黃曉琳,薛月菊,涂淑琴等.基于壓縮感知理論的RGB-D圖像分類方法[J].計算機應用與軟件,2014.31(3):195-198

[5]He Kaiming,Zhang Xiangyu,Ren Shaoqing,et al.Deep residual learning for image recognition[J].Comput Sci,2015.2(1):1-127

[6]李衛.深度學習在圖像識別中的研究及應用[D].武漢理工大學,2014.