圖像處理與識別在果蔬成熟度監(jiān)測中的研究及應(yīng)用

黎施欣，范小平

圖像處理與識別在果蔬成熟度監(jiān)測中的研究及應(yīng)用

黎施欣，范小平*

（華南農(nóng)業(yè)大學(xué) 食品學(xué)院，廣州 510642）

分析了果蔬成熟度自動(dòng)監(jiān)測對發(fā)展智慧農(nóng)業(yè)的重要意義，對圖像處理與識別技術(shù)在監(jiān)測果蔬成熟度領(lǐng)域的研究與應(yīng)用現(xiàn)狀進(jìn)行綜述、總結(jié)與展望，以期為我國發(fā)展果蔬成熟度在線或自動(dòng)檢測識別技術(shù)提供參考。對圖像處理與識別在監(jiān)測果蔬成熟度中的原理、優(yōu)勢進(jìn)行分析，對特征提取、深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)在該領(lǐng)域中的應(yīng)用研究進(jìn)展進(jìn)行綜述。采用以圖像處理和識別為核心的計(jì)算機(jī)視覺檢測技術(shù)對果蔬的顏色、紋理等外部特征進(jìn)行成熟度檢測具有優(yōu)勢，結(jié)合神經(jīng)網(wǎng)絡(luò)對果蔬成熟度進(jìn)行檢測的識別率高，可在采摘、運(yùn)輸?shù)葓鼍皩叱墒於冗M(jìn)行監(jiān)測。圖像處理與識別技術(shù)在果蔬成熟度監(jiān)測領(lǐng)域有望得到突破，將催生更多新的應(yīng)用場景。

果蔬成熟度；圖像處理；圖像識別；計(jì)算機(jī)視覺檢測技術(shù)；神經(jīng)網(wǎng)絡(luò)

果蔬營養(yǎng)豐富，可為人體提供維生素、礦物質(zhì)等維持機(jī)體生長發(fā)育和生存的營養(yǎng)素，具有良好的抗氧化、抗炎等功效[1]。鑒于果蔬對人體的重要性，果蔬產(chǎn)業(yè)得到了社會(huì)的廣泛關(guān)注。在農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)發(fā)展中，果蔬產(chǎn)業(yè)的地位不斷提高。在第四次產(chǎn)業(yè)革命浪潮的推動(dòng)下，世界農(nóng)業(yè)產(chǎn)生了一種基于智慧農(nóng)業(yè)和創(chuàng)新農(nóng)業(yè)的生產(chǎn)方式，使農(nóng)業(yè)生產(chǎn)朝著自動(dòng)化和智能化的方向發(fā)展[2]。目前，計(jì)算機(jī)技術(shù)為智慧農(nóng)業(yè)的發(fā)展提供了強(qiáng)大的技術(shù)支持，促進(jìn)了智慧農(nóng)業(yè)的發(fā)展，智慧農(nóng)業(yè)已經(jīng)成為促進(jìn)我國現(xiàn)代農(nóng)村經(jīng)濟(jì)發(fā)展的主要形式[3-4]。

基于智慧農(nóng)業(yè)的背景，從果蔬的種植、采摘、運(yùn)輸?shù)戒N售，均與計(jì)算機(jī)視覺技術(shù)有著密切聯(lián)系。計(jì)算機(jī)視覺技術(shù)作為質(zhì)量評估、分類、分級和智能機(jī)器人采摘的一種重要技術(shù)，已有不少學(xué)者進(jìn)行了大量相關(guān)研究，且在實(shí)際應(yīng)用中已取得良好效果[4-8]。以圖像處理與識別為基礎(chǔ)，計(jì)算機(jī)視覺技術(shù)主要應(yīng)用于果蔬質(zhì)量分級、果蔬自動(dòng)采摘和果蔬表面缺陷檢測等方面，在智能化商品交易、智能冰箱、果蔬采摘機(jī)器人等方面也有著廣泛應(yīng)用[9-12]。特別是在農(nóng)業(yè)采摘過程中，通過拍攝圖像信息，并對果蔬圖像進(jìn)行識別、處理、分析，判斷果蔬的成熟度，進(jìn)而判斷是否對其進(jìn)行采摘，可以顯著提高果蔬的生產(chǎn)效率[13]。為了實(shí)現(xiàn)果蔬產(chǎn)品從初級原料到高附加值商品的轉(zhuǎn)化，在果蔬采收、包裝、存儲(chǔ)、運(yùn)輸及后加工過程中，根據(jù)果蔬的成熟度來篩選和區(qū)分，有利于保護(hù)和改善果蔬品質(zhì)，增加經(jīng)濟(jì)效益[14-16]。文中綜述了果蔬成熟度的圖像處理與識別技術(shù)的研究與應(yīng)用進(jìn)展，重點(diǎn)闡述了圖像處理中對果蔬外部特征的提取，以及圖像識別過程與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的結(jié)合應(yīng)用，并指出關(guān)于圖像處理和識別技術(shù)在檢測果蔬成熟度方面所面臨的挑戰(zhàn)，為進(jìn)一步拓展計(jì)算機(jī)視覺技術(shù)中的圖像處理與識別技術(shù)在果蔬中的應(yīng)用提供參考。

1 果蔬成熟度的分級與檢測

1.1 果蔬成熟度的分級

采收成熟度是影響果蔬品質(zhì)和貨架期的重要因素之一，根據(jù)果蔬成熟的特性，將果蔬成熟期劃分為可采成熟期、食用成熟期、生理成熟期。處于可采成熟期的果蔬基本完成了物質(zhì)的積累，但食用口感較差，適用于貯藏、加工或長途運(yùn)輸?shù)取Ｔ谑秤贸墒炱冢叩臓I養(yǎng)價(jià)值達(dá)到最高，品質(zhì)最好，適用于就地銷售、短期貯藏和運(yùn)輸。在生理成熟期，果蔬在生理上已經(jīng)充分成熟，品質(zhì)變差，營養(yǎng)價(jià)值下降，不宜食用，也不再適合于運(yùn)輸貯藏[17-19]。

目前，確定成熟期的標(biāo)準(zhǔn)有采收時(shí)間、外觀顏色、硬度、果實(shí)生育期等，大多數(shù)果蔬的成熟度（水果、瓜類、茄果類蔬菜）主要依靠顏色來判定[20-21]。例如，根據(jù)美國農(nóng)業(yè)部制定的番茄成熟期顏色標(biāo)準(zhǔn)，將番茄的成熟度等級分為“Green”（果皮完全綠色）、“Breaker”（果皮紅色少于10%）、“Turning”（果皮紅色超過10%但少于30%）、“Pink”（果皮紅色超過30%但少于60%）、“Light-red”（果皮紅色超過60%但少于90%）、“Red”（果皮紅色超過90%）[22]；采摘后的蟠棗果實(shí)需要根據(jù)果實(shí)的外觀顏色來進(jìn)行成熟度的分級（初紅、半紅、全紅）[23]。

1.2 果蔬成熟度的無損檢測技術(shù)

傳統(tǒng)的檢測技術(shù)主要依靠人工通過果蔬的外觀品質(zhì)來進(jìn)行成熟度的判斷識別，受到主觀因素、儀器設(shè)備的影響大、效率低、誤判率高。隨著科技的發(fā)展，現(xiàn)有的果蔬成熟度檢測技術(shù)分為無損檢測技術(shù)和有損檢測技術(shù)。有損檢測技術(shù)主要采用理化檢測分析方法，并基于果蔬的可溶性糖含量和硬度等理化指標(biāo)來判斷其成熟度，這種方法破壞了果蔬的組織，且檢測周期長、時(shí)效性差[24]。無損檢測技術(shù)主要利用聲、光、力、電、磁等特性，在不損傷果蔬和不影響果蔬特性的前提下，對其外部和內(nèi)部品質(zhì)信息進(jìn)行獲取和分析評價(jià)[25]。與有損檢測技術(shù)相比，無損檢測技術(shù)不會(huì)損害被檢測果蔬的使用性，可對被檢測的果蔬進(jìn)行更高精度和更全面的檢測[26]。無損檢測技術(shù)主要有電學(xué)特性分析法、電子鼻技術(shù)、計(jì)算機(jī)視覺檢測技術(shù)、近紅外光譜技術(shù)、高光譜成像技術(shù)等[24, 26-38]，具體見表1。

利用果蔬的電學(xué)特性來評定成熟度的無損檢測方法在技術(shù)和原理上具有儀器簡單、便攜、信號處理容易等優(yōu)點(diǎn)。李子文等[35]利用長棗的電學(xué)參數(shù)，高效判別了長棗的成熟度。然而，電學(xué)特性分析法在果蔬的成熟度自動(dòng)化判別及判別模型精度上存在較大不足[30]。采用電子鼻技術(shù)檢測果蔬成熟度，具有快速、簡單、重現(xiàn)性好、成本低等優(yōu)點(diǎn)。Tyagi等[36]利用電子鼻技術(shù)對水果進(jìn)行成熟度檢測的準(zhǔn)確率高，但其核心部件傳感器易受到環(huán)境因素的影響，且不易便攜[31]。近紅外光譜技術(shù)具有成本低、效率高，以及能測定多種組分等優(yōu)點(diǎn)，廣泛應(yīng)用于果蔬成熟度的檢測。吳德剛等[37]提出了基于近紅外光譜的大棗成熟度無損檢測方法，能夠快速、高精度地對大棗成熟度進(jìn)行檢測，但該技術(shù)通常不能對果蔬中較低含量成分進(jìn)行檢測[32]。此外，高光譜成像技術(shù)具有檢測效率高，可同時(shí)檢測多個(gè)果蔬樣品等優(yōu)點(diǎn)。Yang等[38]將高光譜成像技術(shù)用于不同藍(lán)莓成熟階段的分類，結(jié)果表明，該技術(shù)分類條帶精度高，但信息冗余度過高、設(shè)備昂貴[33]，不利于大規(guī)模在線檢測。

表1 果蔬成熟度的無損檢測技術(shù)

Tab.1 Non-destructive detection technology for fruit and vegetable maturity

相較于其他無損檢測技術(shù)，計(jì)算機(jī)視覺檢測技術(shù)不僅具有檢測快速、穩(wěn)定、精度高等優(yōu)點(diǎn)，且在顏色、紋理等外部特征變化明顯的果蔬成熟度快速及自動(dòng)化檢測上具有優(yōu)勢[34]，因此該技術(shù)廣泛應(yīng)用于草莓、番茄、香蕉等果蔬的成熟度檢測識別。由于果蔬的成熟度與其表面顏色特征、紋理特征密切相關(guān)，所以計(jì)算機(jī)視覺技術(shù)可以在不破壞果蔬組織的情況下捕捉深層次的紋理和顏色特征來檢測果蔬的成熟度，彌補(bǔ)傳統(tǒng)有損檢測技術(shù)的不足，為成熟果蔬的自動(dòng)化和智能化采摘提供技術(shù)支持[29]。

與其他無損檢測技術(shù)相比，計(jì)算機(jī)視覺檢測技術(shù)也存在局限性，該技術(shù)只能捕捉果蔬的外觀信息，而無法得到果蔬成熟時(shí)的內(nèi)部信息，研究人員在獲得果蔬圖像判定結(jié)果后，還需要根據(jù)果蔬的品質(zhì)和生理特性，才能確定適宜的果蔬采收成熟度[39]。在此情況下，有部分學(xué)者采用多種檢測技術(shù)對果蔬成熟度進(jìn)行研究。例如，基于高光譜和多光譜的果蔬識別是一種行之有效的方法。Steinbrener等[40]使用RGB圖像數(shù)據(jù)預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對高光譜圖像進(jìn)行分類，并利用高光譜圖像提供的附加信息來提高果蔬識別準(zhǔn)確性。薛建新等[41]對沙金紅杏不同成熟階段的可溶性固形物含量進(jìn)行測定和分析，并基于高光譜成像技術(shù)對光譜信息、圖像紋理信息、圖像顏色信息進(jìn)行數(shù)據(jù)融合，以檢測沙金紅杏的成熟度。研究結(jié)果表明，可溶性固形物與成熟度存在相關(guān)性，且可根據(jù)該指標(biāo)來劃分成熟度，并得出通過融合光譜特征波長和圖像顏色信息來判別果蔬成熟度的效果最好的結(jié)論。高光譜圖像可以反映成熟度變化的內(nèi)部性質(zhì)，如何在深度學(xué)習(xí)中融合高光譜圖像，使果蔬成熟度的應(yīng)用具有更強(qiáng)的魯棒性，逐漸成為當(dāng)前果蔬品質(zhì)檢測及分級分類的研究熱點(diǎn)之一[42]。

2 圖像處理與識別技術(shù)監(jiān)測果蔬成熟度的原理

2.1 計(jì)算機(jī)視覺系統(tǒng)的組成

圖像處理與識別技術(shù)是計(jì)算機(jī)視覺系統(tǒng)的核心內(nèi)容，系統(tǒng)結(jié)構(gòu)如圖1所示。首先，采用CCD照相機(jī)對圖像進(jìn)行采集，然后，通過圖像處理模塊、智能判斷決策模塊等進(jìn)行精確的運(yùn)算和分析，包括主成分分析方法、線性回歸、貝葉斯決策、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等算法，其構(gòu)建的判別模型為圖像目標(biāo)的判斷提供了依據(jù)[43]。系統(tǒng)的硬件部分主要有光源設(shè)備、相機(jī)、鏡頭、圖像處理卡及輔助執(zhí)行機(jī)構(gòu)等[44]。

2.2 果蔬成熟度的圖像處理原理

基于計(jì)算機(jī)視覺算法的圖像處理技術(shù)利用傳感器將圖像信號轉(zhuǎn)換為數(shù)字信號，再通過計(jì)算機(jī)來加工處理和重新合成信號，最后獲得預(yù)期的圖像效果[45]。針對果蔬的圖像處理技術(shù)的一般過程主要包括圖像采集、圖像預(yù)處理、圖像分割、圖像特征提取等步驟[46]，主要是對果蔬的顏色、形狀和紋理等外觀特征信息進(jìn)行檢測處理。

圖1 計(jì)算機(jī)視覺硬件系統(tǒng)組成

在圖像預(yù)處理階段，利用果蔬圖像的增強(qiáng)、幾何變換等操作消除圖像中的冗余信息，恢復(fù)有用的真實(shí)信息，主要有圖像增強(qiáng)、變換、灰度化處理等[47]。圖像分割旨在將圖像劃分為組件區(qū)域或感興趣區(qū)域，從而得到果蔬的形狀和結(jié)構(gòu)等信息，主要的分割方法類型有閾值分割、邊緣分割、區(qū)域分割和基于分類的分割等[48]。特征提取對決定果蔬圖像識別效果具有重要作用，果蔬成熟度圖像處理技術(shù)需對果蔬成熟時(shí)的外觀特征信息進(jìn)行采集，采集后的圖像信息包括果蔬的特征信息，以及采集過程中引入的噪音、環(huán)境背景等無關(guān)信息，因此需要利用多種圖像處理方式進(jìn)行圖像分割，識別并提取有用的特征信息[49]。針對不同種類的水果可以采用不同的特征提取方法，如對蘋果進(jìn)行特征提取時(shí)，可以提取其幾何特征，同一批次蘋果的成熟度可能不同[50]。

2.3 果蔬成熟度的圖像識別原理

在計(jì)算機(jī)視覺技術(shù)中，圖像識別果蔬成熟度指將采集得到的果蔬圖片傳輸?shù)接?jì)算機(jī)中，經(jīng)過預(yù)處理、分割、特征提取等一系列操作后，根據(jù)結(jié)果做出果蔬成熟度的判別、識別和決策[51]。分類器設(shè)計(jì)及決策分類作為果蔬成熟度圖像識別的關(guān)鍵步驟，主要以有效程序?yàn)橐罁?jù)來制定識別的規(guī)則，然后根據(jù)規(guī)律來識別果蔬圖像[52]。分類器通過學(xué)習(xí)從訓(xùn)練集中提取的特征，并建立分類規(guī)則來創(chuàng)建分類模型[53]。常見的分類器算法包括邏輯回歸、支持向量機(jī)、近鄰、樸素貝葉斯、決策樹等[54]。為了充分保證訓(xùn)練得到的分類模型具有高可靠性和高準(zhǔn)確性，需要有足夠多的訓(xùn)練樣本和測試樣本，來服從獨(dú)立同分布[55]。果蔬成熟度圖像處理與識別的一般流程[56]如圖2所示。

3 果蔬成熟度圖像處理與識別的研究現(xiàn)狀

3.1 果蔬成熟度圖像處理的主要技術(shù)

對于成熟過程中顏色變化明顯的果蔬，采用圖像處理技術(shù)的關(guān)鍵主要是對顏色空間進(jìn)行變換，以及對顏色特征的提取。李莎等[57]通過對比Lab、YCbCr、RGB 3種顏色模型中的分量（表示從洋紅色至綠色的范圍）、r分量（r表示紅色的濃度偏移量）和r-b（r表示紅色通道，b表示藍(lán)色通道）色差分量，得出優(yōu)先選用分量來提取自然環(huán)境下成熟蘋果顏色特征的結(jié)論。趙文鋒等[58]將香蕉圖像從RGB顏色空間轉(zhuǎn)化成HIS顏色空間，依據(jù)香蕉色素組成檢測出不同成熟度的香蕉，并得出由于操作設(shè)備和外部環(huán)境等影響因素導(dǎo)致判斷香蕉成熟度的誤差的結(jié)論。

也有研究根據(jù)顏色分量或顏色閾值對室外環(huán)境和室內(nèi)環(huán)境的成熟果蔬進(jìn)行圖像分割。例如，吳慶崗等[59]利用分量的變化范圍從紅色到綠色的特點(diǎn)，提出了一種基于Lab顏色空間的近鄰分割算法，該算法是一種基于統(tǒng)計(jì)的數(shù)據(jù)挖掘算法，可精準(zhǔn)分割自然環(huán)境下蘋果的圖像，較好地規(guī)避了陰影和光照不均等因素對圖像分割的影響。伍鎣芮等[60]從溫室大棚中采集到番茄果實(shí)的圖像，并將圖像轉(zhuǎn)化為RGB模型，然后人工劃分閾值，并提取番茄果實(shí)的坐標(biāo)，對番茄成熟的4個(gè)時(shí)期（綠熟期、中熟期、堅(jiān)熟期、完熟期）進(jìn)行識別。結(jié)果表明，采用人工提取的閾值對堅(jiān)熟期和完熟期的番茄果實(shí)的識別成功率達(dá)到100%。

圖2 果蔬成熟度圖像處理與識別一般流程

3.2 果蔬成熟度圖像識別的主要技術(shù)

隨著計(jì)算機(jī)信息技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)已深度融合計(jì)算機(jī)視覺技術(shù)，在圖像識別領(lǐng)域的研究愈加深入。Castro等[61]結(jié)合機(jī)器學(xué)習(xí)技術(shù)和顏色空間對醋栗果實(shí)進(jìn)行了成熟度檢測，結(jié)果表明，結(jié)合顏色空間與機(jī)器學(xué)習(xí)技術(shù)，能準(zhǔn)確識別醋栗果實(shí)的成熟程度。與傳統(tǒng)方法相比，深度學(xué)習(xí)作為一種特殊的機(jī)器學(xué)習(xí)，具有不需要人為提取果蔬的圖像特征，而是利用網(wǎng)絡(luò)結(jié)構(gòu)來提取更精確的果蔬圖像特征的優(yōu)勢[62]。

相較于邏輯回歸、支持向量機(jī)、近鄰、樸素貝葉斯、決策樹等分類器算法，以神經(jīng)網(wǎng)絡(luò)為架構(gòu)的深度學(xué)習(xí)算法能自動(dòng)學(xué)習(xí)大量圖像數(shù)據(jù)中的特征，并將這些特征與分類器關(guān)聯(lián)[63]。該應(yīng)用改變了傳統(tǒng)計(jì)算機(jī)視覺技術(shù)中復(fù)雜的特征提取過程，通過把原始圖片輸入神經(jīng)網(wǎng)絡(luò)，便可提取到有用的特征信息[64]，有效提高了復(fù)雜圖像識別的準(zhǔn)確率。當(dāng)前，果蔬成熟度識別的研究熱點(diǎn)是利用深度學(xué)習(xí)中的人工神經(jīng)網(wǎng)絡(luò)（Artificial neural networks，ANN）、BP神經(jīng)網(wǎng)絡(luò)（Back propagation neural network，BPNN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）等進(jìn)行成熟度檢測。BPNN是一種多層前饋神經(jīng)網(wǎng)絡(luò)，以梯度下降法為基本思想進(jìn)行反向傳播訓(xùn)練，是當(dāng)下應(yīng)用最廣的一種人工神經(jīng)網(wǎng)絡(luò)[65]。CNN是一種特殊的深層前饋網(wǎng)絡(luò)，其每層特征都由上一層的局部區(qū)域卷積核激勵(lì)得到，因而相較于其他神經(jīng)網(wǎng)絡(luò)方法，CNN更適合應(yīng)用于學(xué)習(xí)和表達(dá)圖像特征[66]。

根據(jù)成熟度與表皮顏色之間存在相關(guān)性的特點(diǎn)提取顏色信息，并結(jié)合神經(jīng)網(wǎng)絡(luò)方法對果蔬成熟度的識別率較高。ANN是模擬人類大腦的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能特征的一種數(shù)據(jù)處理模型[67]。Mazen等[68]提出了一種自動(dòng)識別香蕉成熟階段的計(jì)算機(jī)視覺系統(tǒng)，采用基于ANN的框架，利用顏色、褐斑發(fā)育和Tammura統(tǒng)計(jì)紋理特征對香蕉果實(shí)的成熟階段進(jìn)行分類和分級，總體識別率達(dá)到97.75%。Kheiralipour等[69]采用線性判別分析、二次判別分析和ANN將野生開心果分為4個(gè)成熟度等級，包括初始未成熟、次級未成熟、成熟和過熟，分別實(shí)現(xiàn)了93.75%、97.5%、100%的正確分類率。

隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的成熟，在圖像識別領(lǐng)域，BPNN基于識別模型進(jìn)行自我訓(xùn)練，能夠有效排除圖像噪點(diǎn)[70]，在果蔬成熟度上的識別效果良好，結(jié)構(gòu)如圖3所示。呂琛[71]利用哈密瓜的色度信息判斷其成熟度，并利用哈密瓜側(cè)面的色度頻度值，采用BPNN結(jié)合主成分分析法，其分類精度可達(dá)96.25%，克服了人工對哈密瓜成熟度分級的主觀、費(fèi)時(shí)及有損判斷等不足。趙玲等[72]結(jié)合BPNN，根據(jù)不同成熟度草莓的顏色特征對草莓成熟度等級進(jìn)行判斷，其正確率達(dá)到90%以上。

圖3 果蔬成熟度識別中BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

基于局部連接、權(quán)值共享及池化操作等特性，CNN有效降低了網(wǎng)絡(luò)的復(fù)雜度，減少了訓(xùn)練參數(shù)的數(shù)目，易于訓(xùn)練和優(yōu)化[73]，可有效提高果蔬成熟度的識別效率，其結(jié)構(gòu)如圖4所示。Saranya等[74]使用原始圖像和增強(qiáng)圖像對提出的CNN模型進(jìn)行訓(xùn)練和測試，總體驗(yàn)證準(zhǔn)確率為96.14%。YOLO系列網(wǎng)絡(luò)是基于回歸實(shí)現(xiàn)目標(biāo)定位與預(yù)測目標(biāo)分類的CNN檢測方法，具有識別速度快、實(shí)時(shí)性良好、準(zhǔn)確率高等優(yōu)點(diǎn)[75]。劉振[76]利用機(jī)器學(xué)習(xí)中的YOLOv3和改進(jìn)后的LeNet-5網(wǎng)絡(luò)對自然環(huán)境下的番石榴進(jìn)行成熟度檢測，其識別和分類的準(zhǔn)確率為91.1%。陳偉等[77]運(yùn)用YOLOv5s檢測算法對番茄圖像進(jìn)行識別，整體成熟度的識別精確率為95%，提高了采摘機(jī)器人識別番茄成熟果實(shí)的準(zhǔn)確率。熊俊濤等[78]在復(fù)雜果園環(huán)境下，基于YOLOv5-Lite目標(biāo)檢測算法對木瓜成熟度進(jìn)行檢測，準(zhǔn)確率達(dá)到89.7%。

常用的圖像特征有顏色、紋理、形狀等底層視覺特征。對于成熟過程中顏色變化不明顯的果蔬，如黃瓜，目前應(yīng)主要基于形狀特征對黃瓜成熟度進(jìn)行識別[79]。梁帆等[80]通過分割出葉冠投影圖像和植株側(cè)面圖像輪廓，提取得到油菜的形態(tài)特征信息，利用BPNN訓(xùn)練采集的樣本數(shù)據(jù)，實(shí)現(xiàn)了基于BPNN模型的蔬菜成熟度等級測定，在不破壞油菜植株的情況下，其成熟度的檢測準(zhǔn)確率達(dá)到95%。梁帆等[81]融合BPNN與貝葉斯信息來檢測小白菜的成熟度，提取了小白菜根系形態(tài)特征和地上部分形態(tài)特征，其總體成熟度檢測準(zhǔn)確率為91.75%。

圖4 果蔬成熟度識別中卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

綜述以上果蔬成熟度識別技術(shù)的研究現(xiàn)狀，總結(jié)了參考文獻(xiàn)中的技術(shù)方法及識別精度，如表2所示。

4 果蔬成熟度圖像處理與識別的應(yīng)用現(xiàn)狀

4.1 采摘前后的成熟度監(jiān)測

目前，針對果蔬成熟度的數(shù)字監(jiān)測主要應(yīng)用于果蔬采摘領(lǐng)域，通過識別果蔬外觀圖像來判斷是否采摘。崔明等[82]研究了草莓成熟度檢測技術(shù)，根據(jù)草莓在成熟過程中顏色由綠色向紅色轉(zhuǎn)變的特征，提取Lab顏色空間特征下的顏色特征分量，以提高成熟草莓目標(biāo)和背景的對比度，基于此開發(fā)的檢測系統(tǒng)在草莓采摘前就可進(jìn)行實(shí)時(shí)在線檢測。

自然采摘環(huán)境包含復(fù)雜的場景和不斷變化的照明。張小花等[83]采用能區(qū)分背景顏色與柑橘顏色的分量和霍夫圓變換法來處理成熟柑橘，實(shí)現(xiàn)了快速自動(dòng)識別柑橘的成熟度與柑橘產(chǎn)量的預(yù)估。蘋果采摘機(jī)器人利用目標(biāo)識別算法對蘋果圖像進(jìn)行分割識別，并定位到成熟果實(shí)，可在不損害果實(shí)和樹的情況下從樹上分離果實(shí)[84]。

4.2 采摘后的運(yùn)輸及貯藏的成熟度監(jiān)測

果蔬在采摘后存在乙烯催熟、呼吸作用、休眠等生理現(xiàn)象[85]。根據(jù)果蔬易腐爛變質(zhì)的特性，最好采用冷鏈運(yùn)輸包裝，利用制冷技術(shù)或制冷設(shè)備，讓果蔬在物流過程中保持適當(dāng)?shù)牡蜏兀沟霉咛幱诘蜏丨h(huán)境，從而降低損耗[86]。基于計(jì)算機(jī)視覺技術(shù)來實(shí)現(xiàn)果蔬成熟品質(zhì)的快速、無損、實(shí)時(shí)監(jiān)測和檢測，開展果蔬流通品質(zhì)控制方法體系的研究，有利于消除果蔬冷鏈運(yùn)輸包裝發(fā)展的制約因素[87]。為了在復(fù)雜的背景和室內(nèi)環(huán)境中檢測哈斯鱷梨的成熟過程，Jaramillo- Acevedo等[88]利用各種數(shù)字圖像處理技術(shù)，并采用ANN，提出了哈斯鱷梨果實(shí)采后消費(fèi)成熟度分類方法，該研究提出允許識別收獲后第11天哈斯鱷梨的成熟狀態(tài)，且分析數(shù)據(jù)集的分類準(zhǔn)確率達(dá)到88%。劉海軍等[89]根據(jù)香蕉圖像信息特征和人工神經(jīng)網(wǎng)絡(luò)建立了一種香蕉成熟度檢測模型，準(zhǔn)確率高，且可靠性和泛化能力較強(qiáng)，為香蕉分揀、保鮮等提供了技術(shù)參考。Bonora等[90]利用卷積神經(jīng)網(wǎng)絡(luò)檢測采后梨的成熟度，旨在調(diào)整梨采摘后的儲(chǔ)存技術(shù)，有利于實(shí)現(xiàn)不同冷藏室中識別和分類梨的成熟度。

當(dāng)前，基于物聯(lián)網(wǎng)技術(shù)的果蔬圖像識別成為果蔬農(nóng)產(chǎn)品冷鏈物流的新發(fā)展方向，Chen等[91]探討了農(nóng)業(yè)物聯(lián)網(wǎng)背景下水果成熟度的圖像識別，引入了水果圖像融合算法，將監(jiān)測系統(tǒng)在同一場景拍攝的多幅圖像合成為更高質(zhì)量的新圖像，全方位展示了果實(shí)的成熟度，為果蔬采摘后成熟度的倉儲(chǔ)及物流過程監(jiān)測提供了重要手段。目前，將圖像處理和圖像識別應(yīng)用于果蔬采后的運(yùn)輸、貯藏仍處于研究階段。

表2 有關(guān)結(jié)合深度學(xué)習(xí)在果蔬成熟度識別上的研究

Tab.2 Research on recognition of fruit and vegetable maturity combined with deep learning

5 結(jié)語

與其他果蔬成熟度的無損檢測技術(shù)相比，采用基于圖像處理與識別的計(jì)算機(jī)視覺檢測技術(shù)在顏色、紋理等外部特征變化明顯的果蔬上進(jìn)行成熟度檢測具有較大的優(yōu)勢。目前，基于顏色空間變換、顏色特征提取，根據(jù)顏色分量和閾值對果蔬圖像進(jìn)行分割，研究人員已進(jìn)行了大量研究，利用深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)對果蔬成熟度識別已成為當(dāng)前的研究熱點(diǎn)，但在果蔬成熟度圖像處理和識別方面仍存在以下幾方面的問題。

1）實(shí)際操作設(shè)備和外部環(huán)境因素會(huì)影響所采集圖像的質(zhì)量，從而增大判斷果蔬成熟度的誤差。

2）只能捕捉果蔬的表觀信息，無法得到其內(nèi)部信息，這對于成熟度的準(zhǔn)確度判斷存在局限性。結(jié)合其他無損檢測技術(shù)對果蔬成熟度進(jìn)行識別的研究仍處于起步階段。

3）對于顏色特征變化明顯的果蔬成熟度的研究較成熟，但針對其他成熟過程中顏色變化不明顯但紋理特征和形狀特征明顯變化的果蔬的相關(guān)研究較少，在廣度和深度方面有待進(jìn)一步加強(qiáng)。

4）目前的研究主要集中于果蔬成熟度圖像處理和識別在采摘上的應(yīng)用，針對運(yùn)輸、售賣過程中成熟度的監(jiān)測仍較少，部分領(lǐng)域仍處于空白狀態(tài)。同時(shí)，開展動(dòng)態(tài)實(shí)時(shí)檢測研究是今后有待解決的難題。

5）目前，大部分研究與應(yīng)用都只針對單一果蔬種類的成熟度識別，缺少對多種類果蔬成熟度圖像處理與識別的系統(tǒng)研究。

基于以上問題，深度學(xué)習(xí)方法對果蔬成熟度圖像處理和圖像識別具有更好的魯棒性、更高的準(zhǔn)確性，結(jié)合其他無損檢測技術(shù)獲取內(nèi)部信息，借助卷積神經(jīng)網(wǎng)絡(luò)改進(jìn)分類器，訓(xùn)練多種類果蔬多場景樣本集，實(shí)現(xiàn)動(dòng)態(tài)實(shí)時(shí)檢測果蔬成熟度具有廣闊的發(fā)展前景。

隨著圖像處理和識別技術(shù)的深入發(fā)展，結(jié)合神經(jīng)網(wǎng)絡(luò)的研究在果蔬成熟度檢測領(lǐng)域?qū)⒂型@得突破，與此同時(shí)還將催生出更多新的應(yīng)用場景。

[1] 楊景惠, 孫郡, 宋勛禹, 等. 發(fā)酵果蔬營養(yǎng)組分與健康功效的研究進(jìn)展[J]. 食品與發(fā)酵工業(yè), 2023, 49(17): 332-339.

YANG J H, SUN J, SONG X Y, et al. Research Progress on Nutritional Components and Potential Health Benefits of Fermented Fruits and Vegetables[J]. Food and Fermentation Industries, 2023, 49(17): 332-339.

[2] 劉成成. 基于農(nóng)業(yè)信息化的現(xiàn)代農(nóng)業(yè)發(fā)展與展望[J]. 南方農(nóng)機(jī), 2023, 54(7): 171-173.

LIU C C. Development and Prospect of Modern Agriculture Based on Agricultural Informatization[J]. China Southern Agricultural Machinery, 2023, 54(7): 171-173.

[3] 林旭鳳. 分析計(jì)算機(jī)技術(shù)在智慧農(nóng)業(yè)中的應(yīng)用[J]. 河北農(nóng)業(yè), 2023(1): 92-93.

LIN X F. Application of Analytical Computer Technology in Intelligent Agriculture[J]. Hebei Agriculture, 2023(1): 92-93.

[4] 李希桐, 趙玲. 新時(shí)期計(jì)算機(jī)信息技術(shù)在信息農(nóng)業(yè)發(fā)展中的應(yīng)用[J]. 黑龍江糧食, 2022(11): 55-57.

LI X T, ZHAO L. Application of Computer Information Technology in the Development of Information Agriculture in the New Period[J]. Heilongjiang Grain, 2022(11): 55-57.

[5] 吳冀豪, 常玉祥, 汪宇玲, 等. 基于機(jī)器學(xué)習(xí)的果蔬識別研究綜述[J]. 機(jī)器人技術(shù)與應(yīng)用, 2022(4): 29-31.

WU J H, CHANG Y X, WANG Y L, et al. Review of Research on Fruit and Vegetable Recognition Based on Machine Learning[J]. Robot Technique and Application, 2022(4): 29-31.

[6] 王丹丹, 宋懷波, 何東健. 蘋果采摘機(jī)器人視覺系統(tǒng)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2017, 33(10): 59-69.

WANG D D, SONG H B, HE D J. Research Advance on Vision System of Apple Picking Robot[J]. Transactions of the Chinese Society of Agricultural Engineering, 2017, 33(10): 59-69.

[7] 柳琦, 涂鄭禹, 陳超, 等. 計(jì)算機(jī)視覺技術(shù)在食品品質(zhì)檢測中的應(yīng)用[J]. 食品研究與開發(fā), 2020, 41(16): 208-213.

LIU Q, TU Z Y, CHEN C, et al. Application of Computer Vision Technology in the Food Quality Inspection[J]. Food Research and Development, 2020, 41(16): 208-213.

[8] HU J, FAN C, WANG Z P, et al. Fruit Detection and Counting in Apple Orchards Based on Improved Yolov7 and Multi-Object Tracking Methods[J]. Sensors, 2023, 23(13): 5903.

[9] 潘梅. 圖像識別在果蔬分類與識別中的應(yīng)用[J]. 現(xiàn)代農(nóng)業(yè)科技, 2021(16): 257-259.

PAN M. Application of Image Recognition in Classification and Recognition of Fruits and Vegetables[J]. Modern Agricultural Science and Technology, 2021(16): 257-259.

[10] 許成浩, 李葦杭, 鄭鑒汝, 等. 基于深度學(xué)習(xí)的智能果蔬秤研究與設(shè)計(jì)[J]. 科技資訊, 2019, 17(15): 11-12.

XU C H, LI W H, ZHENG J R, et al. Research and Design of Intelligent Fruit and Vegetable Scale Based on Deep Learning[J]. Science & Technology Information, 2019, 17(15): 11-12.

[11] 胡慶勝, 符亞云, 牛金星. 采摘機(jī)器人視覺系統(tǒng)的目標(biāo)識別提取研究[J]. 河南科技, 2020, 39(25): 5-8.

HU Q S, FU Y Y, NIU J X. Research on Target Recognition Extraction of Picking Robot Vision System[J]. Henan Science and Technology, 2020, 39(25): 5-8.

[12] 張衛(wèi)山, 呂浩, 張?jiān)? 等. 深度學(xué)習(xí)驅(qū)動(dòng)的智能冰箱[J]. 計(jì)算機(jī)科學(xué)與探索, 2019, 13(1): 106-115.

ZHANG W S, LV H, ZHANG Y J, et al. Deep Learning Based Smart Refrigerator[J]. Journal of Frontiers of Computer Science and Technology, 2019, 13(1): 106-115.

[13] 楊福康. 計(jì)算機(jī)圖像處理技術(shù)的應(yīng)用與分析[J]. 電腦知識與技術(shù), 2022, 18(35): 10-13.

YANG F K. Application and Analysis of Computer Image Processing Technology[J]. Computer Knowledge and Technology, 2022, 18(35): 10-13.

[14] 張瑞宇, 劉順淑. 計(jì)算機(jī)視覺技術(shù)在果蔬采后處理中的應(yīng)用[J]. 重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版), 2004, 21(5): 497-501.

ZHANG R Y, LIU S S. Researches and Applications of Computer Vision Technique in Fruit and Vegetables’ Commercialization after Harvesting[J]. Journal of Yuzhou University (Natural Sciences Edition), 2004, 21(5): 497-501.

[15] 劉志剛, 王麗娟, 喜冠南, 等. 水果成熟度檢測技術(shù)的現(xiàn)狀與發(fā)展[J]. 農(nóng)業(yè)與技術(shù), 2020, 40(8): 17-21.

LIU Z G, WANG L J, XI G N, et al. Present Situation and Development of Fruit Maturity Detection Technology[J]. Agriculture and Technology, 2020, 40(8): 17-21.

[16] 盛晶晶. 信息化技術(shù)在溫室蔬菜種植中的應(yīng)用分析[J]. 農(nóng)業(yè)工程技術(shù), 2021, 41(36): 53-54.

SHENG J J. Analysis on the Application of Information Technology in Greenhouse Vegetable Planting[J]. Agricultural Engineering Technology, 2021, 41(36): 53-54.

[17] 宋夢圓, 寧國法, 田永強(qiáng), 等. 不同成熟度番茄果實(shí)在貯藏期間的品質(zhì)變化[J]. 中國蔬菜, 2023(2): 45-50.

SONG M Y, NING G F, TIAN Y Q, et al. Quality Changes of Tomato Fruits with Different Maturity during Storage[J]. China Vegetables, 2023(2): 45-50.

[18] 邱珊蓮, 林寶妹, 張少平, 等. 不同成熟期番石榴果實(shí)品質(zhì)特征與評價(jià)[J]. 食品安全質(zhì)量檢測學(xué)報(bào), 2020, 11(24): 9230-9238.

QIU S L, LIN B M, ZHANG S P, et al. Quality Characteristics and Evaluation of Guava Fruit at Different Maturity Stages[J]. Journal of Food Safety & Quality, 2020, 11(24): 9230-9238.

[19] 黎麗莎, 劉燕德, 胡軍, 等. 近紅外無損檢測技術(shù)在水果成熟度判別中的應(yīng)用研究[J]. 華東交通大學(xué)學(xué)報(bào), 2021, 38(6): 95-105.

LI L S, LIU Y D, HU J, et al. Application of near Infrared Nondestructive Testing Technology in Fruit Maturity Discrimination[J]. Journal of East China Jiaotong University, 2021, 38(6): 95-105.

[20] 薛曉敏, 韓雪平, 王貴平, 等. 不同成熟度對李果實(shí)品質(zhì)的影響[J]. 經(jīng)濟(jì)林研究, 2020, 38(3): 26-36.

XUE X M, HAN X P, WANG G P, et al. Effects of Different Maturities on Characteristics of Plum Fruit Quality[J]. Non-wood Forest Research, 2020, 38(3): 26-36.

[21] 高麗, 龍勇, 李紅章, 等. 采收成熟度對晚熟大雅柑橘品質(zhì)特性及其風(fēng)味的影響[J]. 食品與發(fā)酵工業(yè), 2023, 49(22): 140-148.

GAO L, LONG Y, LI H Z, et al. Effects of Harvest Maturity on Quality and Flavor of Late-Maturing Daya Citrus[J]. Food and Fermentation Industries, 2023, 49(22): 140-148.

[22] ZHU Q B, HE C L, LU R F, et al. Ripeness Evaluation of 'Sun Bright' Tomato Using Optical Absorption and Scattering Properties[J]. Postharvest Biology and Technology, 2015, 103: 27-34.

[23] 耿陽, 趙曉梅, 譚玉鵬, 等. 采收成熟度對‘京滄1號’棗貯藏品質(zhì)及抗氧化活性的影響[J]. 食品與發(fā)酵工業(yè), 2023, 49(9): 269-275.

GENG Y, ZHAO X M, TAN Y P, et al. Effects of Harvest Maturity on Storage Quality and Antioxidative Capacity of Ziziphus Jujuba 'Jingcang1'[J]. Food and Fermentation Industries, 2023, 49(9): 269-275.

[24] 李志成, 鄭曉冬, 閆新煥, 等. 果蔬品質(zhì)無損檢測技術(shù)研究進(jìn)展[J]. 中國果菜, 2021, 41(3): 34-40.

LI Z C, ZHENG X D, YAN X H, et al. Research Progress of Nondestructive Testing Technologies for Fruit and Vegetable Quality[J]. China Fruit & Vegetable, 2021, 41(3): 34-40.

[25] 劉妍, 周新奇, 俞曉峰, 等. 無損檢測技術(shù)在果蔬品質(zhì)檢測中的應(yīng)用研究進(jìn)展[J]. 浙江大學(xué)學(xué)報(bào)(農(nóng)業(yè)與生命科學(xué)版), 2020, 46(1): 27-37.

LIU Y, ZHOU X Q, YU X F, et al. Research Progress of Nondestructive Testing Techniques for Fruit and Vegetable Quality[J]. Journal of Zhejiang University (Agriculture and Life Sciences), 2020, 46(1): 27-37.

[26] 羅印斌, 蔡艷麗, 蘭菡, 等. 農(nóng)產(chǎn)品無損檢測方法應(yīng)用現(xiàn)狀[J]. 食品工業(yè)科技, 2018, 39(15): 340-344.

LUO Y B, CAI Y L, LAN H, et al. Application Status of Nondestructive Testing Methods for Agricultural Products [J]. Science and Technology of Food Industry, 2018, 39(15): 340-344.

[27] 鄒攀, 白雪, 陳秋生, 等. 無損檢測技術(shù)在果蔬品質(zhì)評價(jià)中應(yīng)用的研究進(jìn)展[J]. 安徽農(nóng)業(yè)科學(xué), 2021, 49(2): 1-4.

ZOU P, BAI X, CHEN Q S, et al. Research Progress on the Application of Non-Destructive Testing Technology in Fruits and Vegetables Quality Evaluation[J]. Journal of Anhui Agricultural Sciences, 2021, 49(2): 1-4.

[28] 劉非凡. 水果無損檢測技術(shù)綜述[J]. 食品安全導(dǎo)刊, 2023(6): 136-138.

LIU F F. A Review of Fruit Nondestructive Testing Techniques[J]. China Food Safety Magazine, 2023(6): 136-138.

[29] 孫夢夢, 鞠皓, 姜洪喆, 等. 水果成熟度無損檢測技術(shù)研究進(jìn)展[J]. 食品與發(fā)酵工業(yè), 2023, 49(17): 354-362.

SUN M M, JU H, JIANG H Z, et al. Research Progress of Nondestructive Detection Technology in Fruit Maturity[J]. Food and Fermentation Industries, 2023, 49(17): 354-362.

[30] 劉橙, 劉廣同, 何金成, 等. 基于介電特性的水果成熟度無損檢測研究進(jìn)展[J]. 農(nóng)業(yè)工程, 2021, 11(12): 49-53.

LIU C, LIU G T, HE J C, et al. Research Progress of Nondestructive Testing of Fruit Maturity Based on Dielectric Properties[J]. Agricultural Engineering, 2021, 11(12): 49-53.

[31] 任二芳, 牛德寶, 溫立香, 等. 電子鼻和電子舌在水果檢測中的應(yīng)用進(jìn)展[J]. 食品工業(yè), 2019, 40(10): 261-264.

REN E F, NIU D B, WEN L X, et al. Application Research Progress of Electronic Nose and Electronic Tongue in Fruits Detection[J]. The Food Industry, 2019, 40(10): 261-264.

[32] 宋雪健, 王洪江, 張東杰, 等. 基于近紅外光譜技術(shù)的水果品質(zhì)檢測研究進(jìn)展[J]. 無損檢測, 2017, 39(10): 71-75.

SONG X J, WANG H J, ZHANG D J, et al. Research Progress of Fruit Quality Detection Based on near Infrared Spectroscopy[J]. Nondestructive Testing Technologying, 2017, 39(10): 71-75.

[33] 陳龍躍, 段丹丹, 王凡, 等. 高光譜成像技術(shù)在水果品質(zhì)無損檢測中的研究進(jìn)展[J]. 廣東農(nóng)業(yè)科學(xué), 2023, 50(7): 83-94.

CHEN L Y, DUAN D D, WANG F, et al. Research Progress of Non-Destructive Testing of Fruit Quality by Hyperspectral Imaging Technology[J]. Guangdong Agricultural Sciences, 2023, 50(7): 83-94.

[34] 鄭太雄, 江明哲, 馮明馳. 基于視覺的采摘機(jī)器人目標(biāo)識別與定位方法研究綜述[J]. 儀器儀表學(xué)報(bào), 2021, 42(9): 28-51.

ZHENG T X, JIANG M Z, FENG M C. Vision Based Target Recognition and Location for Picking Robot: A Review[J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 28-51.

[35] 李子文, 張海紅, 馬雪蓮, 等. 靈武長棗的成熟度與其電學(xué)特性關(guān)系研究[J]. 食品科技, 2015, 40(10): 286-290.

LI Z W, ZHANG H H, MA X L, et al. Relationships between Ling-Wu Long Jujube Maturity and Dielectrie Properties[J]. Food Science and Technology, 2015, 40(10): 286-290.

[36] TYAGI P, SEMWAL R, SHARMA A, et al. E-Nose: A Low-Cost Fruit Ripeness Monitoring System[J]. Journal of Agricultural Engineering, 2022(1): 1-41.

[37] 吳德剛, 趙利平, 陳乾輝. 基于近紅外光譜的大棗成熟度無損檢測方法[J]. 激光雜志, 2023, 44(7): 212-217.

WU D G, ZHAO L P, CHEN Q H. Nondestructive Testing Method of Jujube Maturity Based on near Infrared Spectroscopy[J]. Laser Journal, 2023, 44(7): 212-217.

[38] YANG C, LEE W S, GADER P. Hyperspectral Band Selection for Detecting Different Blueberry Fruit Maturity Stages[J]. Computers and Electronics in Agriculture, 2014, 109: 23-31.

[39] 閔巍慶, 劉林虎, 劉宇昕, 等. 食品圖像識別方法綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2022, 45(3): 542-566.

MIN W Q, LIU L H, LIU Y X, et al. A Survey on Food Image Recognition[J]. Chinese Journal of Computers, 2022, 45(3): 542-566.

[40] STEINBRENER J, POSCH K, LEITNER R. Hyperspectral Fruit and Vegetable Classification Using Convolutional Neural Networks[J]. Computers and Electronics in Agriculture, 2019, 162: 364-372.

[41] 薛建新, 張淑娟, 張晶晶. 基于高光譜成像技術(shù)的沙金杏成熟度判別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015, 31(11): 300-307.

XUE J X, ZHANG S J, ZHANG J J. Ripeness Classification of Shajin Apricot Using Hyperspectral Imaging Technique[J]. Transactions of the Chinese Society of Agricultural Engineering, 2015, 31(11): 300-307.

[42] 章煒. 機(jī)器視覺技術(shù)發(fā)展及其工業(yè)應(yīng)用[J]. 紅外, 2006, 27(2): 11-17.

ZHANG W. Development of Machine Vision and Its Industrial Applications[J]. Infrared, 2006, 27(2): 11-17.

[43] 黃藩, 劉飛, 王云, 等. 計(jì)算機(jī)視覺技術(shù)在茶葉領(lǐng)域中的應(yīng)用現(xiàn)狀及展望[J]. 茶葉科學(xué), 2019, 39(1): 81-87.

HUANG F, LIU F, WANG Y, et al. Research Progress and Prospect on Computer Vision Technology Application in Tea Production[J]. Journal of Tea Science, 2019, 39(1): 81-87.

[44] 周寶倉, 呂金龍, 肖鐵忠, 等. 機(jī)器視覺技術(shù)研究現(xiàn)狀及發(fā)展趨勢[J]. 河南科技, 2021, 40(31): 18-20.

ZHOU B C, LYU J L, XIAO T Z, et al. Research Status and Development Trend of Machine Vision Technology[J]. Henan Science and Technology, 2021, 40(31): 18-20.

[45] 李觀發(fā). 基于計(jì)算機(jī)視覺算法的圖像處理技術(shù)探析[J]. 信息記錄材料, 2019, 20(6): 125-126.

LI G F. Analysis of Image Processing Technology Based on Computer Vision Algorithm[J]. Information Recording Materials, 2019, 20(6): 125-126.

[46] 吳少霜, 趙純, 朱亞男, 等. 數(shù)字圖像處理技術(shù)在果蔬分級檢測中的應(yīng)用[J]. 福建農(nóng)機(jī), 2021(3): 30-36.

WU S S, ZHAO C, ZHU Y N, et al. Application of Digital Image Processing Technology in Fruit and Vegetable Grading Detection[J]. Fujian Agricultural Machinery, 2021(3): 30-36.

[47] 劉勍, 張亞亞, 黃金, 等. 水果圖像處理技術(shù)應(yīng)用及其展望[J]. 青海師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2022, 38(4): 36-44.

LIU Q, ZHANG Y Y, HUANG J, et al. Applications and Prospects of Fruit Image Processing Technology[J]. Journal of Qinghai Normal University (Natural Science), 2022, 38(4): 36-44.

[48] ZHANG B H, HUANG W Q, LI J B, et al. Principles, Developments and Applications of Computer Vision for External Quality Inspection of Fruits and Vegetables: A Review[J]. Food Research International, 2014, 62: 326-343.

[49] 王志宇. 基于RGB圖像檢測的水果分揀控制算法研究[J]. 農(nóng)機(jī)化研究, 2022, 44(3): 38-42.

WANG Z Y. Design of Fruit Sorting Control Algorithm Based on RGB Image Detection[J]. Journal of Agricultural Mechanization Research, 2022, 44(3): 38-42.

[50] 何文斌, 魏愛云, 明五一, 等. 基于機(jī)器視覺的水果品質(zhì)檢測綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2020, 56(11): 10-16.

HE W B, WEI A Y, MING W Y, et al. Survey of Fruit Quality Detection Based on Machine Vision[J]. Computer Engineering and Applications, 2020, 56(11): 10-16.

[51] 劉鵬, 莊衛(wèi)東. 圖像識別技術(shù)在農(nóng)業(yè)中的應(yīng)用淺析[J]. 現(xiàn)代化農(nóng)業(yè), 2021(12): 20-21.

LIU P, ZHUANG W D. Application of Image Recognition Technology in Agriculture[J]. Modernizing Agriculture, 2021(12): 20-21.

[52] 孟廣仕. 圖像識別技術(shù)在人工智能中的應(yīng)用[J]. 信息與電腦(理論版), 2018(12): 152-153.

MENG G S. Application of Image Recognition Technology in Artificial Intelligence[J]. China Computer & Communication, 2018(12): 152-153.

[53] HWANG S W, SUGIYAMA J. Computer Vision-Based Wood Identification and Its Expansion and Contribution Potentials in Wood Science: A Review[J]. Plant Methods, 2021, 17(1): 47.

[54] BONDRE S, PATIL D. Recent Advances in Agricultural Disease Image Recognition Technologies: A Review[J]. Concurrency and Computation: Practice and Experience, 2023, 35(9): e7644.

[55] 莊福振, 羅平, 何清, 等. 遷移學(xué)習(xí)研究進(jìn)展[J]. 軟件學(xué)報(bào), 2015, 26(1): 26-39.

ZHUANG F Z, LUO P, HE Q, et al. Survey on Transfer Learning Research[J]. Journal of Software, 2015, 26(1): 26-39.

[56] 茍園旻, 閆建偉, 張富貴, 等. 水果采摘機(jī)器人視覺系統(tǒng)與機(jī)械手研究進(jìn)展[J]. 計(jì)算機(jī)工程與應(yīng)用, 2023, 59(9): 13-26.

GOU Y M, YAN J W, ZHANG F G, et al. Research Progress on Vision System and Manipulator of Fruit Picking Robot[J]. Computer Engineering and Applications, 2023, 59(9): 13-26.

[57] 李莎, 錢建平, 趙春江, 等. 不同顏色模型識別成熟蘋果圖像的比較分析[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2015, 36(6): 1545-1550.

LI S, QIAN J P, ZHAO C J, et al. Comparing and Analyzing Different Color Models on Ripe Apple Image Identification[J]. Computer Engineering and Design, 2015, 36(6): 1545-1550.

[58] 趙文鋒, 朱菊霞, 董杰. 基于圖像處理的香蕉成熟度檢測系統(tǒng)[J]. 現(xiàn)代農(nóng)業(yè)裝備, 2016(5): 33-36.

ZHAO W F, ZHU J X, DONG J. Image Processing System Based on Detection of Banana Maturity[J]. Modern Agricultural Equipment, 2016(5): 33-36.

[59] 吳慶崗, 張衛(wèi)國, 李燦林, 等. 自然環(huán)境下基于Lab空間的成熟蘋果圖像分割[J]. 江蘇農(nóng)業(yè)科學(xué), 2017, 45(9): 177-179.

WU Q G, ZHANG W G, LI C L, et al. Mature Apple Image Segmentation Based on Lab Space in Natural Environment[J]. Jiangsu Agricultural Sciences, 2017, 45(9): 177-179.

[60] 伍鎣芮, 張志勇, 韓小平, 等. 基于圖像處理技術(shù)的番茄成熟度檢測研究[J]. 農(nóng)業(yè)技術(shù)與裝備, 2021(4): 50-51.

WU Y R, ZHANG Z Y, HAN X P, et al. Research on Tomato Maturity Detection Based on Image Processing Technology[J]. Agricultural Technology & Equipment, 2021(4): 50-51.

[61] CASTRO W, OBLITAS J, DE-LA-TORRE M, et al. Classification of Cape Gooseberry Fruit According to Its Level of Ripeness Using Machine Learning Techniques and Different Color Spaces[J]. IEEE Access, 2019, 7: 27389-27400.

[62] 廉小親, 成開元, 安颯, 等. 基于深度學(xué)習(xí)和遷移學(xué)習(xí)的水果圖像分類[J]. 測控技術(shù), 2019, 38(6): 15-18.

LIAN X Q, CHENG K Y, AN S, et al. Fruit Image Classification Based on Deep Learning and Transfer Learning[J]. Measurement & Control Technology, 2019, 38(6): 15-18.

[63] 張松蘭. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別綜述[J]. 西安航空學(xué)院學(xué)報(bào), 2023, 41(1): 74-81.

ZHANG S L. A Review of Image Recognition Based on Convolutional Neural Network[J]. Journal of Xi’an Aeronautical Institute, 2023, 41(1): 74-81.

[64] 鄭凱, 方春. 基于遷移學(xué)習(xí)的果蔬質(zhì)量分類研究[J]. 中國科技論文在線精品論文, 2021, 14(2): 220-228.

ZHENG K, FANG C. Research on Quality Classification of Fruits and Vegetables Based on Transfer Learning[J]. Highlights of Sciencepaper Online, 2021, 14(2): 220-228.

[65] 周夢, 呂志剛, 邸若海, 等. 基于小樣本數(shù)據(jù)的BP神經(jīng)網(wǎng)絡(luò)建模[J]. 科學(xué)技術(shù)與工程, 2022, 22(7): 2754-2760.

ZHOU M, Lü Z G, DI R H, et al. BP Neural Network Modeling Based on Small Sample Data[J]. Science Technology and Engineering, 2022, 22(7): 2754-2760.

[66] 李彥冬, 郝宗波, 雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用, 2016, 36(9): 2508-2515.

LI Y D, HAO Z B, LEI H. Survey of Convolutional Neural Network[J]. Journal of Computer Applications, 2016, 36(9): 2508-2515.

[67] 姜鵬飛, 于文靜, 孫娜, 等. 人工神經(jīng)網(wǎng)絡(luò)在食品工業(yè)中的應(yīng)用[J]. 食品研究與開發(fā), 2021, 42(13): 188-196.

JIANG P F, YU W J, SUN N, et al. Application of Artificial Neural Network in Food Industry[J]. Food Research and Development, 2021, 42(13): 188-196.

[68] MAZEN F M A, NASHAT A A. Ripeness Classification of Bananas Using an Artificial Neural Network[J]. Arabian Journal for Science and Engineering, 2019, 44(8): 6901-6910.

[69] KHEIRALIPOUR K, NADIMI M, PALIWAL J. Development of an Intelligent Imaging System for Ripeness Determination of Wild Pistachios[J]. Sensors, 2022, 22(19): 7134.

[70] 施強(qiáng). 基于BP神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)圖像智能識別方法[J]. 電腦編程技巧與維護(hù), 2022(10): 134-137.

SHI Q. Intelligent Recognition Method of Computer Image Based on BP Neural Network[J]. Computer Programming Skills & Maintenance, 2022(10): 134-137.

[71] 呂琛. 基于數(shù)字圖像處理的哈密瓜成熟度無損檢測技術(shù)研究[D]. 石河子: 石河子大學(xué), 2014:17-41.

(Lü/LV/LU/LYU) C. Research on Non-Destructive Detection Technology of Hami Melon Maturity Based on Digital Image Processing[D].Shihezi: Shihezi University, 2014:17-41.

[72] 趙玲, 周桂紅. 基于顏色特征的草莓成熟度識別技術(shù)研究[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報(bào), 2017, 40(2): 97-101.

ZHAO L, ZHOU G H. Study on Recognition Technology of Strawberry Maturity Based on Color Feature[J]. Journal of Agricultural University of Hebei, 2017, 40(2): 97-101.

[73] 周飛燕, 金林鵬, 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2017, 40(6): 1229-1251.

ZHOU F Y, JIN L P, DONG J. Review of Convolutional Neural Network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251.

[74] SARANYA N, SRINIVASAN K, PRAVIN KUMAR S K. Banana Ripeness Stage Identification: A Deep Learning Approach[J]. Journal of Ambient Intelligence and Humanized Computing, 2022, 13(8): 4033-4039.

[75] 劉芳, 劉玉坤, 林森, 等. 基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2020, 51(6): 229-237.

LIU F, LIU Y K, LIN S, et al. Fast Recognition Method for Tomatoes under Complex Environments Based on Improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 229-237.

[76] 劉振. 自然環(huán)境下番石榴的視覺識別及成熟度檢測技術(shù)[D]. 廣州: 華南農(nóng)業(yè)大學(xué), 2019: 19-41.

LIU Z. Visual Recognition and Maturity Detection Technology of Guava in Natural Environment[D]. Guangzhou: South China Agricultural University, 2019:19-41.

[77] 陳偉, 張春雨, 朱超冉. 基于YOLOv5s算法的番茄成熟度識別研究[J]. 安徽科技學(xué)院學(xué)報(bào), 2023, 37(1): 92-95.

CHEN W, ZHANG C Y, ZHU C R. Research on Tomato Maturity Recognition Based on YOLOv5s Algorithm[J]. Journal of Anhui Science and Technology University, 2023, 37(1): 92-95.

[78] 熊俊濤，霍釗威，黃啟寅，等. 結(jié)合主動(dòng)光源和改進(jìn)YOLOv5s模型的夜間環(huán)境柑橘檢測方法[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào), 2024(1): 1-19.

XIONG Jun-tao, HUO Zhao-wei, HUANG Qi-yin, et al. Citrus Detection Method in Nighttime Environment Combined with Active Light Source and Improved YOLOv5s Model[J]. Journal of South China Agricultural University, 2023(1): 1-19.

[79] 鮑官軍, 荀一, 戚利勇, 等. 機(jī)器視覺在黃瓜采摘機(jī)器人中的應(yīng)用研究[J]. 浙江工業(yè)大學(xué)學(xué)報(bào), 2010, 38(1): 114-118.

BAO G J, XUN Y, QI L Y, et al. Research on the Application of Machine Vision in Cucumber Picking Robots[J]. Journal of Zhejiang University of Technology, 2010, 38(1): 114-118.

[80] 梁帆, 楊莉莉, 崔世鋼, 等. 基于神經(jīng)網(wǎng)絡(luò)的油菜成熟度等級視覺檢測方法[J]. 江蘇農(nóng)業(yè)科學(xué), 2015, 43(8): 403-405.

LIANG F, YANG L L, CUI S G, et al. Visual Detection Method of Rape Maturity Level Based on Neural Network[J]. Jiangsu Agricultural Sciences, 2015, 43(8): 403-405.

[81] 梁帆, 孫更強(qiáng), 王宇, 等. 基于神經(jīng)網(wǎng)絡(luò)與貝葉斯信息融合的小白菜成熟度檢測方法[J]. 湖北農(nóng)業(yè)科學(xué), 2016, 55(1): 202-204.

LIANG F, SUN G Q, WANG Y, et al. Detection Method of Pakchoi Maturity Based on Neural Network and Bayesian Information Fusion[J]. Hubei Agricultural Sciences, 2016, 55(1): 202-204.

[82] 崔明, 蔣其友, 薛小松. 基于圖像處理的成熟草莓檢測技術(shù)研究[J]. 農(nóng)業(yè)與技術(shù), 2021, 41(23): 15-18.

CUI M, JIANG Q Y, XUE X S. Research on Detection Technology of Mature Strawberries Based on Image Processing[J]. Agriculture and Technology, 2021, 41(23): 15-18.

[83] 張小花, 馬瑞峻, 吳卓葵, 等. 基于機(jī)器視覺的果園成熟柑橘快速識別及產(chǎn)量預(yù)估研究[J]. 廣東農(nóng)業(yè)科學(xué), 2019, 46(7): 156-161.

ZHANG X H, MA R J, WU Z K, et al. Fast Detection and Yield Estimation of Ripe Citrus Fruit Based on Machine Vision[J]. Guangdong Agricultural Sciences, 2019, 46(7): 156-161.

[84] 陳青, 殷程凱, 郭自良, 等. 蘋果采摘機(jī)器人關(guān)鍵技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2023, 39(4): 1-15.

CHEN Q, YIN C K, GUO Z L, et al. Current Status and Future Development of the Key Technologies for Apple Picking Robots[J]. Transactions of the Chinese Society of Agricultural Engineering, 2023, 39(4): 1-15.

[85] 紀(jì)玉恩. 果蔬采后品質(zhì)影響因素及對冷庫管理的啟發(fā)[J]. 中國果菜, 2016, 36(11): 4-8.

JI Y E. Effect Factors on Post-Harvest Quality of Fruits and Vegetables and Inspiration to the Construction of Cold Storage[J]. China Fruit Vegetable, 2016, 36(11): 4-8.

[86] 李婷. 智能包裝技術(shù)在果蔬農(nóng)產(chǎn)品包裝中的應(yīng)用研究[J]. 科技與創(chuàng)新, 2023(9): 49-51.

LI T. Research on the Application of Intelligent Packaging Technology in the Packaging of Fruit and Vegetable Agricultural Products[J]. Science and Technology & Innovation, 2023(9): 49-51.

[87] 楊天陽, 田長青, 劉樹森. 生鮮農(nóng)產(chǎn)品冷鏈儲(chǔ)運(yùn)技術(shù)裝備發(fā)展研究[J]. 中國工程科學(xué), 2021, 23(4): 37-44.

YANG T Y, TIAN C Q, LIU S S. Technology and Equipment for Cold-Chain Storage and Transportation of Fresh Agricultural Products[J]. Strategic Study of CAE, 2021, 23(4): 37-44.

[88] JARAMILLO-ACEVEDO C A, CHOQUE- VALDERRAMA W E, GUERRERO-áLVAREZ G E, et al. Hass Avocado Ripeness Classification by Mobile Devices Using Digital Image Processing and ANN Methods[J]. International Journal of Food Engineering, 2020, 16(12): 161-201.

[89] 劉海軍, 趙文鋒, 劉韻鋒, 等. 基于ANN和貝葉斯優(yōu)化算法的香蕉成熟度檢測模型研究[J]. 現(xiàn)代農(nóng)業(yè)裝備, 2021, 42(5): 42-46.

LIU H J, ZHAO W F, LIU Y F, et al. Model for Detecting Banana Maturity Based on Artificial Neural Network and Bayesian Optimization Algorithm[J]. Modern Agricultural Equipment, 2021, 42(5): 42-46.

[90] BONORA A, BORTOLOTTI G, BRESILLA K, et al. A Convolutional Neural Network Approach to Detecting Fruit Physiological Disorders and Maturity in 'Abbé Fétel' Pears[J]. Biosystems Engineering, 2021, 212: 264-272.

[91] CHEN D, TANG J L, XI H X, et al. Image Recognition of Modern Agricultural Fruit Maturity Based on Internet of Things[J]. Traitement Du Signal, 2021, 38(4): 1237-1244.

Research and Application of Image Processing and Recognition in Maturity Monitoring of Fruit and Vegetable

LI Shixin, FAN Xiaoping*

(College of Food Science, South China Agricultural University, Guangzhou 510642, China)

The work aims to analyze the importance of automatic monitoring of fruit and vegetable maturity to the development of smart agriculture, and to review, summarize and prospect the research and application status of image processing and recognition technology in the field of fruit and vegetable maturity monitoring, in order to provide a reference for the development of online or automatic detection and identification technology of fruit and vegetable maturity in China. The principles and advantages of image processing and recognition in monitoring the maturity of fruit and vegetable were analyzed, and the research progress of neural networks in feature extraction and deep learning in this field was reviewed. The computer vision detection technology with image processing and recognition as the core had advantages in detecting the maturity of external features such as color and texture of fruit and vegetable, and the recognition rate of fruit and vegetable maturity detection by combining neural networks was high, which could promote the monitoring of fruit and vegetable maturity in picking, transportation and other scenarios. Image processing and recognition technology are expected to make further breakthroughs in the field of fruit and vegetable maturity monitoring, which will promote more and new application scenarios.

fruit and vegetable maturity; image processing; image recognition; computer vision detection technology; neural networks

TB487

A

1001-3563(2024)03-0153-12

10.19554/j.cnki.1001-3563.2024.03.018

2023-07-21

廣東省科技專項(xiàng)資金（210714116891352）；廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金（pdjh2021b0087）