基于深度學習的水果圖像識別

摘要：

為有效辨別水果種類，提高水果產業商業化的深加工和線下水果銷售渠道的效率，針對大多數線下超市在水果售賣過程中主要采用人工識別，其成本高、效率低的問題，提出一種基于語義分割模型（U²-Net）和ResNet-50模型結合的水果圖像識別方法，實現水果圖像自動識別。使用U²-Net分割出水果的二值圖像，然后結合OpenCV算法將二值圖中的白色像素值改為水果真實的顏色值，最后通過ResNet-50進行水果圖像識別。結果表明，Alexent、VGG16、GoogLeNet和本模型在訓練集上的準確率分別為99.66%、99.65%、99.9%、99.8%，在驗證集上的準確率分別為96.5%、99.9%、99.6%、100%。提出的水果圖像識別方法能夠有效提取水果的顏色、形狀、紋理等特征，從而實現對不同種類水果圖像的準確識別。

關鍵詞：水果；深度學習；語義分割；圖像識別；二值圖像

中圖分類號：TP391.41

文獻標識碼：A

文章編號：2095-5553 （2025） 01-0198-07

Fruit image recognition based on deep learning

Li Chunyu， Guo Xiaoqin， Yang Jingjing， Li Zhonghua

（School of Information Science and Engineering， Hebei North University， Zhangjiakou， 075000， China）

Abstract：

In order to effectively identify the types of fruits and improve the efficiency of commercial deep processing of fruit industry and offline fruit sales channels， this paper proposes a fruit image recognition method based on the combination of semantic segmentation model （U²-Net） and ResNet-50 model to realize automatic fruit image recognition. U²-Net is used to segment the binary image of fruit， and then the white pixel value in the binary image is changed into the real color value of fruit by OpenCV algorithm. Finally， the fruit image is recognized by ResNet-50. The results show that the accuracy of Alexent， VGG16， GoogLeNet and this model on the training set is 99.66%， 99.65%， 99.9% and 99.8%， and the accuracy of the verification set is 96.5%， 99.9%， 99.6% and 100%， respectively. The result showed that the fruit image recognition method proposed in this paper can effectively extract the color， shape， texture and other features of fruits， thus realizing accurate recognition of different kinds of fruit images.

Keywords：

fruit; deep learning; semantic segmentation; image recognition; binary image

0"引言

傳統的水果識別是通過人工參與，需要大量的人力物力的投入，成本高、效率低^［1］。人工識別依靠工作人員的專業知識進行判斷，工作人員對識別標準的理解不同也會使水果識別的準確率相差甚遠^［2］。通過人工提取特征人力成本高、耗費時間長、生產率低而且識別精度不穩定，分類性能也極度依賴人工特征的選擇^［3］。因此，水果識別難以實現快速、準確和無損化。特別是有水果存在相互遮擋、重疊的情況下，存在的誤差更大^［4］。

近年來，深度學習加快了人工智能的發展，深度學習算法在圖像識別和目標檢測等方面受到眾多關注^［5］，比如水果基因鑒定^［6］、水果品種選育^［7］。深度學習具備很強的學習能力，表現非常好，而且適應性好，有較好的移植性。之前，已經有關于自動識別水果的相關研究。這些方法主要通過水果的表面特征來識別水果，如水果的顏色、大小、紋理、形狀等特征^［8］。然而，通過表面特征識別水果缺乏普遍性^［9］。為此，越來越多的學者通過深度學習技術自動提取水果的深層特征。林云森等^［10］提出一種基于卷積神經網絡的水果識別方法，試驗結果表明，所提出的水果識別方法具有較高的識別準確率。黃玉富等^［11］研究了基于多尺度特征融合的水果圖像識別算法，為避免訓練過程中出現欠擬合現象，對Fruits-360中的水果圖像進行數據擴充，并進一步灰度歸一化處理以減少計算量，在ResNet-50的骨干網絡上建立多尺度采樣層的同時，采用梯度下降法優化網絡，對水果圖像的識別精度高達99.4%。陳雪鑫等^［12］提出一種基于改進的最大類間方差法OTSU對水果圖像進行分割，改進后的OTSU所得閾值能分割到更加清晰的圖像，圖像分割的運行時間明顯縮短，水果圖像識別的平均正確識別率提高15%左右。Hussain等^［13］提出一種使用深度卷積神經網絡來識別水果，對包含20個不同類別的水果數據集訓練模型，達到96%的識別準確率，但是把訓練的模型在另一個數據集上進行測試時，識別效果很差。Zhang等^［14］提出了一種13層深度卷積神經網絡來識別水果，為防止過擬合使用5種數據增強的方式擴充數據集，并驗證最優的卷積層數以及池化層數，雖然對遮擋圖像能夠達到92.55%的準確率，但是對水果數據集的清晰度有一定的要求，在模糊的圖像數據以及復雜背景下表現不佳。Xiang等^［15］提出了基于MobileNetV2和遷移學習技術的水果圖像識別方法，通過構建輕量級的神經網絡，在減少參數量的同時需要較小的計算代價，可以部署在計算受限的設備以及手機上，但是只有85.12%的識別精度，識別準確率較低。Nikhitha等^［16］提出了一種通過Inception V3模型對水果數據集進行訓練，該數據集是從GitHub上獲取的水果分類數據集，試驗表明，只有單個水果時，該模型有較高的準確率，當識別圖像中存在多種類別水果時，識別準確率沒有單個水果準確率那么高。Duong等^［17］通過EfficientNet和MixNet兩大深度卷積網絡來識別水果，EfficientNet和MixNet模型在Fruit-360數據集上取得99%的識別準確率，但EfficientNet需要大量的參數，且計算量大，對計算設備的性能有較高的要求。針對這些問題，本文提出一種基于U²-Net和ResNet-50模型結合的水果圖像識別方法。

1"關鍵模塊設計

提出一種將U²-Net和ResNet-50模型結合的方式來識別水果。其主要思想是利用語義分割模型U²-Net將水果目標與背景進行分離，提取圖像中的水果特征，分割出二值圖像。再利用原圖與二值圖進行相乘，得到原始圖像中的水果區域，并作為分類模型的輸入，通過ResNet-50網絡輸出識別結果，如圖1所示。U²-Net是基于Unet提出的一種新的網絡結構，網絡結構呈對稱性，類似UNet結構， 在每個小的Block中Encoder和Decoder模塊也類似U形結構，是兩層嵌套的U型結構，如圖2所示。在En_x中使用一種新的模塊RSU（ReSidual U-blocks），每個RSU的層數隨著Encoder的層數的增加而減少，即En_1、En_2、En_3、En_4使用的分別是RSU-7、RSU-6、RSU-5、RSU-4，更加重視高分辨率特征圖的特征提取，并進行池化操作，降低尺寸。而En_5、En_6采用的是RSU-4F，沒有下采樣或上采樣，只進行特征提取，不改變圖像尺寸。RUS替換了Unet中的卷積塊，可以更好地捕捉全局和局部的信息，通過U形狀結構實現不同尺度不同感受野的特征的混合，能夠捕捉來自更多的不同尺度的全局信息。

通過U²-Net分割水果圖像數據，訓練參數如表1所示。在整個U²-Net網絡中，在Encoder階段，每通過一個block后都會通過最大池化層（Maxpool）下采樣2倍；在Decoder階段，在每個block前通過雙線性插值進行上采樣2倍。并將每個階段的輸出通過一個3×3的卷積層，卷積層channal的個數為1，也就意味著通過3×3的卷積之后輸出的feature map的channal為1，然后通過雙線性插值的方法將得到的特征圖還原回輸入圖像的尺寸。最后將特征圖通過Concat進行拼接，得到拼接之后的特征圖。再通過1×1的卷積層和Sigmoid激活函數，得到最終融合之后的預測概率圖。

將U²-Net分割的二值圖像與彩色的圖像（原圖）按通道進行點乘，其中，二值圖像與原圖大小相同，水果目標區域為1，其他部分為0，通過與原圖圖像點乘的操作，如圖3所示，將圖像中的水果區域按實際顏色顯示出來，以提高模型的識別效率。

隨著網絡層數的不斷加深，出現梯度消失和梯度爆炸的現象，使網絡模型很難訓練。為解決這一問題，He等^［18］提出一種殘差網絡，有Res18、Res34、Res50、Res101和Res152，殘差模塊的引入有效地解決深度卷積網絡的退化問題，提升模型的特征提取能力。主要采用ResNet-50網絡模型對水果進行識別分析。ResNet-50主要由卷積層、池化層、全連接層和殘差網絡組成。其中殘差網絡包括輸入層、卷積層、多個殘差模塊，激活函數、池化層。它的網絡結構如圖4所示，包括5個Stage（Stage0、Stage1、Stage2、Stage3、Stage4），每個階段又分為不同的殘差結構，分別有3、4、5、6個瓶頸層。其Stage0的結構比較簡單，是對輸入進行預處理操作，Stage1主要使負責對圖像進行特征提取，而Stage2、Stage3、Stage4結構相似，分別是提取更深層的特征，對上一階段提取的特征進一步加深和提升，再通過全連接層作為輸出，最后通過Softmax處理器將輸出轉換為概率分布。

在圖4中，輸入特征矩陣的深度以256為例，通過第一個1×1的卷積層后，特征層的高和寬不變，深度由之前的256降為64，起到降維的作用，再通過一個3×3的卷積層，最后在同一個1×1的卷積層，使輸出與輸入特征矩陣深度一樣，使高度、寬度和深度相同，即可執行相加操作。相比之下，該方法參數數目是69632，如果以同樣的輸入輸出維度若不使用第一個1×1卷積，而是采用兩個3×3卷積，參數數目達到1179648，相差16.94倍。可以看出，使用1×1卷積的bottleneck計算量比原有的減少5.9%。雖然輸入的特征緯度是之前的4倍，但是通過設置之后，與之前的算法相比，降低了結構計算量。

2"模型訓練

2.1"數據獲取與預處理

本研究使用的水果圖像數據集是從Kaggle平臺下載的公共數據集。包括以下15種不同種類的水果：Apple、Guava、Mango、Peach、Pear、Persimmon、Plum、Orange、Banana、Carambola、Kiwi、Pitaya、Pomegranate、Tomatoes和muskmelon。該數據集包括44460張分辨率為320像素×258像素的水果圖像，涵蓋多種場景，如光線、陰影和陽光等。通過預處理操作將水果圖像分辨率統一調整為224像素×224像素，圖像格式為JPG，并剔除無效數據。再利用U²-Net將水果從背景中分離，再使用二值圖與原始圖像做點乘，得到原始圖像中的水果區域。部分分割后的數據集樣本如圖5所示。為避免數據集類別之間數據不平衡，對Carambola、Persimmon、Plum、Pomegranate和muskmelon類別通過翻轉、旋轉、裁剪、變形和縮放的方式對圖像數據進行增強，從而提高模型魯棒性，降低過擬合風險。然后，數據集被隨機分為訓練集、驗證集和測試集，比例為60∶20∶20。各類水果在訓練、驗證和測試數據集中的圖像數量如表2所示。

2.2"訓練參數配置

使用Window 10操作系統，CPU處理器是Intel（R） Xeon（R） CPU E5-2690 v3@2.60GHz，內存為32G。GPU為NVIDIA GeForce RTX 3060，顯存容量為12G。采用TensorFlow+Keras深度學習開源框架，并使用Python作為編程語言。為保證試驗的有效性，各模型都采用Adam優化器，每批同時使用32幅圖像進行訓練，共迭代60次。Alexnet、VGG16、GoogLeNet和本方法具體訓練參數如表3所示。

2.3"訓練精度評估

采用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1值作為模型的評估方法^［19］。準確率為正確預測的樣本個數占總樣本個數的百分比。精確率為在所有預測為正的樣本中實際為正樣本的概率。召回率為在實際為正的樣本中被預測為正樣本的概率。F1值為調和平均值，用于平衡精確率和召回率，如式（1）～式（4）所示。

Accuracy=TP+TNTP+TN+FF+FN

（1）

Precision=TPTP+FP

（2）

Recall=TPTP+FN

（3）

F1=2Precision×RecallPrecision+Recall

（4）

式中：

TP——真實值為正且預測為正的數目；

TN——真實值為負且預測也為負的數目；

FP——真實值為負但預測為正的數目；

FN——真實值為正而預測值為負的數目。

3"結果與分析

為比較本文方法在水果分類識別中的性能，選擇Alexnet、VGG16、GoogLeNet網絡來比較模型的性能。四種模型在驗證集上的最佳驗證結果如表4所示。四種模型在驗證集上的準確率為99.6%～100%，驗證集上的損失為0.001～0.0118。其中，訓練集與驗證集的準確率差異為0～0.003%，四個模型都表現出很高的識別性能。該方法實現了最高的驗證準確率，在驗證集上的損失擬合的最好，在水果數據集上表現出最優效果。

采用測試集中的8869張圖像進行批量預測，計算單張圖像的預測時間。從表5可知，VGG16網絡模型參數量最多，模型最大，訓練持續時間與單張圖像預測時間最長，因為該模型網絡復雜，層數較深。相比于Alexnet和GoogLeNet，本文方法具有更深的層次，能夠從輸入數據中提取更多的特征，并且引入殘差連接，可以有效地解決梯度消失和梯度爆炸的問題。同時，從表4可知，在識別水果圖像中，本文方法驗證準確率最高，損失值最低，與其他模型相比，本文方法在識別水果圖像中表現出色，并且擁有更好的參數效率。

Alexnet、VGG16、GoogLeNet與本文方法分別對數據集種的前8種水果進行對比試驗，結果如表6所示，本文方法整體的評估得分最高，精確率比Alexnet、VGG16和GoogLeNet分別高出0.2、0.3和0.4個百分點，召回率分別高出0.8、0.8和0.4個百分點，F1值分別高出0.3、0.7和0.7個百分點，本文方法的評價指標優于Alexnet、VGG16和GoogLeNet。

水果圖像的訓練集和驗證集在Alexnet、VGG16、GoogLeNet準確率和損失變化曲線如圖6和圖7所示。當epoch為30時，訓練集和驗證集中的準確率都很穩定，損失率擬合較好。其他三種模型在訓練集和驗證集上的識別準確率均低于本文方法。

同時可以看出，Alexnet、VGG16、GoogLeNet在訓練集上表現很好，但是在驗證集上準確率波動較大，存在更高的過度擬合的風險。本方法在驗證集上的精度比訓練集上高而且接近于1，驗證集上的損失比訓練集上低，接近于0。從網絡的精度和損失結果來看，本方法可準確識別水果圖像的具體特征，能夠在多種水果中準確識別水果的類別，為實現精準識別水果打下良好基礎。

4"討論

結合U²-Net和ResNet-50網絡模型進行水果圖像識別的研究，在水果數據集上取得較高的識別精度。U²-Net模型能夠提取圖像的邊緣和紋理信息，有助于抽象出有用且具體的特征來區分不同水果之間的差異；而ResNet-50模型能夠學習到更高層次的特征表示，并避免梯度消失的問題。該方法使本模型在數據處理和訓練層面展示出較好的性能和效率。同時，在對大規模數據集進行訓練和處理時，該模型也表現出較好的普適性和適應性，提高了水果圖像的識別速度和精度。雖然，該方法在水果圖像識別中取得一定的成果，但是在實際應用中仍存在一些局限性和不足：（1）水果類別多樣，而且相同水果的外觀和顏色也有差異，因此水果圖像識別的準確度和魯棒性仍需要不斷提升。（2）與傳統算法相比，所提出的網絡模型包含大量的參數和計算操作，這導致該模型在計算資源方面有較高的要求，對于一些低端設備可能無法滿足需求，會受到一定的限制。

將從以下3方面對水果圖像識別進行深入研究：（1）通過引入其他先進網絡模型、多模態數據融合以及減少噪聲等策略，提升模型的準確度和魯棒性。（2）通過輕量化的方法來減小模型大小以降低計算資源的消耗。采用通道剪枝的方式，計算各個通道的重要性以確定哪些通道對于模型性能的影響較小，將不重要的通道刪除，在損失精度不顯著的情況下，減少通道的數量，降低模型的計算復雜度，從而減小模型的大小，加速模型的推理過程。（3）將該網絡模型部署在小程序端。在小程序中，結合水果稱對水果的重量進行測量，根據識別結果和重量，實時計算水果的價格。

5"結論

1） 傳統圖像識別方法準確率并不理想，提出一種基于語義分割模型U²-Net和ResNet-50的識別方法。首先使用U²-Net將水果圖像從背景中分離，分割出二值圖像，再通過原圖與二值圖相乘，分割出水果圖像的原始顏色，作為ResNet-50的輸入，通過ResNet-50網絡輸出識別結果，在驗證集中準確率達到100%。

2） 通過試驗對比分析可知，當迭代次數為30時，訓練集和驗證集中的準確率都很穩定，損失率擬合較好。Alexent、VGG16、GoogLeNet和本模型在訓練集上的準確率分別為99.66%、99.65%、99.9%、99.8%，在驗證集上的準確率分別為96.5%、99.9%、99.6%、100%?？梢詽M足后期對水果圖像識別實際工況下的模型識別檢測要求。

參"考"文"獻

［1］

Miriti E. Classification of selected apple fruit varieties using Naive Bayes ［D］. Nairobi：University of Nairobi， 2016.

［2］

Ali M A H， Thai K W. Automated fruit grading system ［C］. 2017 IEEE 3rd International Symposium in Robotics and Manufacturing Automation （ROMA）. IEEE， 2017： 1-6.

［3］

Saranya N， Srinivasan K，et al. Fruit classification using traditional machine learning and deep learning approach ［C］. Computational Vision and Bio-Inspired Computing： Springer International Publishing， 2020： 79-89.

［4］

Jia W， Tian Y， Luo R， et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot ［J］. Computers and Electronics in Agriculture， 2020， 172： 105380.

［5］

Gill H S， Khehra B S. Fruit image classification using deep learning ［J］. Computers， Materials amp; Continua， 2022， 71（3）.

［6］

向銳， 孫藝萌， 梁晨， 等. 葡萄PLATZ家族基因鑒定及其在種子發育過程中的表達分析［J］. 果樹學報， 2023， 40（1）： 13-24.

Xiang Rui， Sun Yimeng， Liang Chen， et al. Genome-wide identification of grape PLATZ family genes and expression analysis during seed development ［J］. Journal of Fruit Science， 2023， 40（1）： 13-24.

［7］

韋曉霞， 梁黨弟， 賴瑞聯， 等. 優質早熟大果百香果新品種蜜語的選育［J］. 果樹學報， 2023， 40（1）： 187-190.

Wei Xiaoxia， Liang Dangdi， Lai Ruilian， et al. A new early-maturing and high-yielding passion fruit cultivar Miyu ［J］. Journal of Fruit Science， 2023， 40（1）： 187-190.

［8］

Feng J， Zeng L， He L. Apple fruit recognition algorithm based on multi-spectral dynamic image analysis ［J］. Sensors， 2019， 19（4）： 949.

［9］

Wang Y， Chen Y. Fruit morphological measurement based on three-dimensional reconstruction ［J］. Agronomy， 2020， 10（4）： 455.

［10］

林云森， 范文強， 姜佳良. 基于深度學習的水果識別技術研究［J］. 光電技術應用， 2019， 34（6）： 45-48， 58.

Lin Yunsen， Fan Wenqiang， Jiang Jialiang. Research on fruit recognition technology based on deep learning ［J］.Electro-Optic Technology Application， 2019， 34（6）： 45-48， 58.

［11］

黃玉富， 樸燕， 張漢輝. 基于多尺度特征融合的水果圖像識別算法研究［J］. 長春理工大學學報（自然科學版）， 2021， 44（1）： 87-94.

Huang Yufu， Pu Yan，Zhang Hanhui. Research on fruit image recognition algorithm based on multiscale feature fusion ［J］. Journal of Changchun University of Science and Technology， 2021， 44（1）： 87-94.

［12］

陳雪鑫， 卜慶凱. 基于改進的最大類間方差法的水果圖像識別研究［J］.青島大學學報（工程技版）， 2019， 34（2）：33-38， 62.

Chen Xuexin， Bu Qingkai. Fuzzy backstepping position control for flexible joint robots ［J］.Journal of Qingdao University （Engineering amp; Technology Edition）， 2019， 34（2）： 33-38， 62.

［13］

Hussain D， Hussain I， Ismail M， et al. A simple and efficient deep learning-based framework for automatic fruit recognition ［J］. Computational Intelligence and Neuroscience， 2022（1）： 6538117.

［14］

Zhang Y D， Dong Z， Chen X， et al.Image based fruit category classification by 13-layer deep convolutional neural network and data augmentation ［J］. Multimedia Tools and Applications， 2019， 78： 3613-3632.

［15］

Xiang Q， Wang X， Li R， et al.Fruit image classification based on Mobilenetv2 with transfer learning technique ［C］. Proceedings of the 3rd International Conference on Computer Science and Application Engineering. 2019： 1-7.

［16］

Nikhitha M， Sri S R， Maheswari B U. Fruit recognition and grade of disease detection using inception v3 model ［C］. 2019 3rd International conference on Electronics， Communication and Aerospace Technology （ICECA）. IEEE， 2019： 1040-1043.

［17］

Duong L T， Nguyen P T，Di Sipio C，et al. Automated fruit recognition using EfficientNet and MixNet ［J］. Computers and Electronics in Agriculture， 2020， 171： 105326.

［18］

He K， Zhang X，Ren S，et al.Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［19］

Grandini M， Bagli E， Visani G. Metrics for multi-class classification： An overview ［J］. arXiv preprint arXiv： 2008.05756， 2020.