水果分類識別與成熟度檢測技術綜述＊

陳貝文，陳 淦

（廣東外語外貿大學南國商學院計算機學院，廣東 廣州 510545）

0 引言

水果產量的提升大大地提高了對水果的品質檢測與分級的要求。在生產和運輸環節，需要對水果分類分揀以便于后面品質檢測。在銷售環節，依據水果的成熟度、糖度、外觀完整度和尺寸等方面對水果進行分級銷售來提高銷售量。如何快速且準確地對水果進行大規模品質檢測與分級是一個迫在眉睫的問題。

早期的水果品質檢測與分級是人工完成的。后來，機械代替了大部分人工的品質檢測與分級的步驟，極大地提高了效率。但是由于機械的準確度低，仍無法完全替代人工。基于機器視覺技術分揀系統利用攝像頭或光譜成像設備替代人類視覺對水果進行圖像采集，使用計算機進行處理，實現水果圖像的識別、檢測與分級，最終篩選出不同分級的水果。因此，利用機器視覺對水果進行品質檢測與分級是水果行業的發展的必然趨勢。但是目前還有許多關鍵問題需要解決。例如，水果品質的情況復雜，檢測難度大；對不同類別水果的品質檢測與分級通用性低等。這些問題迫切需要得到解決。為了更全面地了解目前水果檢測相關技術領域的研究進展，為后續研究提供參考，本文總結歸納了水果分類與識別、水果成熟度檢測的研究方法、原理和步驟。同時還對常見的水果數據集進行總結，并簡單介紹了數據集的特點、用途。

1 水果分類與識別

目前水果分類與識別技術主要有以下兩大種方法：第一種是提取紋理、顏色、形狀等特征，通過傳統機器學習方法構建水果分類器；第二種是構建深度神經網絡進一步提高水果分類識別精度。

1.1 傳統水果分類與識別技術

傳統水果分類與識別方法一般使用人工設計的特征提取方法進行特征提取，提取水果圖像的大小、形狀、顏色、紋理等特征，融合一個或者多個特征構建分類器，實現水果自動分類識別。圖1 是傳統水果圖像分類與識別系統流程圖。

圖1 傳統水果圖像分類與識別系統流程圖

陶華偉等人先利用顏色完全局部二值模式提取圖像紋理特征，利用顏色直方圖提取圖像顏色特征，采用匹配得分融合算法將顏色和紋理特征相融合，再進行水果種類識別。最終實驗結果表明，該方法相比其他的特征提取方法，時間開銷減少，識別率有所提高。

Zawbaa等人利用水果的形狀和顏色來識別每個圖像特征，該系統分三個階段：預處理階段、特征提取階段和分類階段。預處理階段減少顏色指數；特征提取階段使用尺度不變特征變換（SIFT）和形狀和顏色特征為數據集中的每個圖像生成特征向量；在分類階段采用K 最鄰近法分類和支持向量機（SVM）算法識別水果種類。實驗結果表明，該方法能夠準確地識別178種水果。大多數水果分類識別算法所使用的圖像往往是在嚴格限定的環境中采集的，消除了外界環境對圖像的影響。但是現實的環境是復雜的，由于水果圖像的顏色特征和紋理特征會隨著水果的生長周期的不同變得復雜，并且采集水果圖像時自然光照強度變化和陰影也會存在不同，這也會增加水果分類識別的難度，因此需要更好的分類識別方法來解決這些問題。

1.2 基于深度學習的水果分類與識別技術

深度學習的本質就是深層網絡借助于非線性信息處理機制，通過有監督和無監督相結合的訓練方式來實現對特征的提取和轉換，借助于分布式特征表示來實現對樣本間復雜數據關系的擬合。卷積神經網絡（CNN）是深度學習中極具代表性的算法，應用廣泛。圖2 是卷積神經網絡基本流程圖。李思雯等人提出一種用集成的卷積神經網絡方法來解決冰箱果蔬種類識別問題。該方法能夠有效提升深度學習模型中代表果蔬顏色特征的參數權重，使得智能冰箱果蔬種類識別率有一定提升。Hossain等人提出了一種基于深度學習的水果識別的有效框架。有研究數據表明經過微調的經典網絡模型在果蔬分類上具有較好的效果。Li等人利用改進的VGGM 網絡模型進行果蔬分類，實驗結果表明，結合批處理歸一化層的VGGMBN 提高了網絡收斂速度和精度，相比于VGG網絡和AlexNet網絡，果蔬分類準確度有了很大的提高，在測試數據集上的分類準確度達到96.5%。深度神經網絡相比傳統機器學習方法減少了人工干預過程，擁有自主學習特征和表達能力，許多學者對于深度學習技術在農業中的研究也日漸深入。

圖2 卷積神經網絡基本流程圖

2 水果成熟度檢測

根據檢測過程是否會對水果產生破壞，將水果成熟度檢測技術分為有損檢測技術和無損檢測技術兩大類。

2.1 水果成熟度的有損檢測技術

傳統檢測技術主要靠經驗和各類檢測分析儀器觀察水果的外觀，檢測水果的硬度、可溶性糖含量、可滴定酸含量等指標，據此來判斷水果的成熟度。這些方法，除了人的經驗判斷水果的成熟度外，其他方法都會對水果產生一定的破壞，因此我們又把傳統檢測技術稱為有損檢測技術。根據檢測水果的指標，我們將有損檢測技術分為外觀品質檢測、硬度檢測、可溶性糖含量檢測和可滴定酸含量檢測。①基于外觀品質判斷水果成熟度。這是一個最原始、最傳統的水果成熟度檢測方法。人們依靠長期的經驗，根據水果的大小、顏色、氣味等特征，對水果成熟度加以分析和判斷。②基于對硬度的檢測判斷水果成熟度。水果的硬度是衡量水果成熟度、水果品質的重要指標。在通常情況下，水果的硬度隨其成熟度的提高而逐漸降低。③基于對可溶性糖含量的檢測判斷水果成熟度。可溶性糖含量是檢測水果成熟度的另一個重要的指標。通常情況下，水果的可溶性糖含量越高，成熟度等級越高。目前，檢測水果中的可溶性糖含量普遍采用的方法是容量法，例如費林試劑滴定法；基于對可滴定酸含量的檢測判斷水果成熟度。④可滴定酸含量和可溶性糖含量一樣，是衡量果實成熟度的重要因素之一。現在，更為常見的方法是基于電導法的酸度計測試法，該方法通過電導率法觀察電流流動來測量樣品中可滴定酸含量，不需要化學試劑。操作簡單、檢測效率較高，但是該方法對操作的專業性要求高、同時屬于有損檢測。

2.2 水果成熟度的無損檢測技術

無損檢測又稱非破壞檢測，是一種在不破壞被檢對象的前提下，利用果品的物理性質對其進行檢測、評價的方法，保證了水果的完整性，是確定水果最佳采收期和按成熟度進行準確分級的關鍵。無損檢測技術具有無損、快速、準確和實時性的特性。目前無損檢測技術可以分為以下幾類：光學特性分析法、電學特性分析法、聲學特性分析法、化學特性分析法、機器視覺分析法和其他成熟度無損檢測法。①水果對光的吸收、反射和投射特性會因為水果內部成分、外部特征和在不同的波長光線照射呈現出不同的特性。水果的分光反射率或吸收率在某一波長內會出現峰值，而這一峰值的變化與水果的硬度、可溶性糖含量等內部指標存在一定的聯系，因此基于水果的光學特性進行無損檢測是可行的，從而進一步判斷水果的成熟度。②基于電學特性的水果成熟度無損檢測技術的原理是根據生物分子中束縛電荷對外加電場的響應特性，通過電學參數反應水果的內部變化，并與其內部某些生理指標（例如硬度、可溶性糖含量、可滴定酸含量等）建立相關性關系，進而用于檢測水果的成熟度。③基于聲學特性的水果成熟度無損檢測技術的主要原理是依據水果的各種聲學特性指標變化來反映果實內部的品質。通過果實內部某些生理指標（例如硬度、可溶性糖含量、可滴定酸含量等）與聲學特性指標建立相關關系，進而用于檢測水果的成熟度。④基于化學特性的水果成熟度無損檢測技術主要依托電子鼻檢測技術（氣味掃描儀）。電子鼻對水果成熟度的無損檢測技術主要是模擬電子儀器感知水果成熟時所散發出的特定物質（例如乙烯、酯類等），從而對其進行的無損檢測。⑤機器視覺技術是以計算機和圖像獲取裝置為工具模擬人類的視覺功能，并從圖像中獲取某些特定的信息，對這些特定的信息進行分析處理，判斷其與成熟度之間的相關關系。除了上述等無損檢測技術之外，還有生物傳感器檢測技術、核磁共振檢測技術、X射線衍射技術等。

3 常見的水果數據集

水果數據集在水果分類與識別、水果成熟度檢測等方面占有著重要的地位，數據集的優劣會影響最終結果的準確率。本節將重點介紹常用的水果數據集。

Fruits 360是目前常用的水果數據集之一，它是由Mihai Oltean 創建的一個實時更新的水果數據集，目前最近一次更新是在2020 年5 月份。Fruits 360 由90483 張100x100 的圖片（67692 張用來訓練，22688 張用來測試）組成，包括131 種水果類型，每張圖片都只包含一種水果。Fruits 360數據集用途廣泛，可以用于研究水果分類與識別水果成熟度檢測等方面。除了Fruits 360 之外，還有很多其他的水果數據集。例如，Fruits-262：該數據集由AelchimMinut創建，由225640張不同大小（圖片的大小為13x16、26x32、52x64、104x128、208x256）的圖片組成，其中包含了262 種水果類型。Fruit Recognition：該數據集由ChrisGorgolewski創建，由44406 張320x258 的圖片組成，其中包含15 種不同類型的水果。FruitImages for Object Detection：該數據集由MuhammedeBuyukkinaci創建，由300張圖片組成（240 張用來訓練，60 張用來測試），包含了3 種不同的水果類型。以下歸納了常見的水果數據集，見表1。

表1 常見的水果數據集

4 分析與展望

近年來隨著水果行業的發展，水果檢測相關技術逐漸成為研究的熱點。水果檢測相關技術雖然已經取得了一定的成果，但是還是存在著一些不足。首先對于水果分類與識別來說，分類識別的準確性受外界環境的干擾大，未來如何克服外界環境的干擾，提高分類識別的準確性是該鄰域的研究重點。對于水果成熟度檢測，傳統的成熟度檢測方法屬于有損檢測，會對果實產生一定的破壞，不利于大規模批量檢測。而無損檢測技術是較新的技術，發展還不成熟。同時現有的水果成熟度檢測的技術大多是針對某一種特定的水果的檢測，而很少有可以應用到多種不同的水果。因此未來研究檢測多種水果成熟度的技術將會是水果成熟度檢測研究的新方向。