基于CNN的作物分類識別圖像獲取平臺研究進展

摘要：基于機器視覺的作物精準分類識別是農業自動化、智能化作業的前提。在作物圖像分類識別任務中，卷積神經網絡（CNN）是當前應用最廣泛的算法之一。作物表型特征及生長環境的復雜性，決定作物圖像獲取平臺的多樣性。通過分析2020—2022年國內外基于CNN的作物分類識別研究，圖像獲取平臺可劃分為通用平臺和自建平臺兩大類：通用平臺硬件產品成熟、部署方便，但要做好設備選型和環境搭建；自建平臺分為固定式和移動式，能高效獲取試驗數據，但硬件集成較為復雜。詳細對比分析各類平臺的優缺點及適用范圍。作物圖像獲取平臺的未來趨勢包括：高通量、高效率、自動化的通用圖像獲取裝置，集成多種傳感器的多模態數據采集與融合應用，自帶運算處理的智能攝像頭等，更精細化的圖像獲取平臺將有效支撐作物表型的深入研究。

關鍵詞：作物表型；機器學習；卷積神經網絡；圖像獲取；作物分類識別

中圖分類號：TP391.41； TP212" " " " 文獻標識碼：A" " " " 文章編號：2095?5553 （2024） 08?0170?10

Research progress of image acquisition platform for crop classification and"recognition based on CNN

Zhang Qian1， Wang Ming1， Yu Feng1， Tao Zhenyu1， Zhang Hui1， Li Gang2

（1. Institute of Data Science and Agricultural Economics， Beijing Academy of Agriculture and Forestry Sciences，Beijing， 100097， China； 2. Beijing Agricom Network Technology Co.， Ltd.， Beijing， 100070， China）

Abstract： Accurate crop classification and recognition based on machine vision is the premise of agricultural automation and intelligent operation. Convolution neural network （CNN） is one of the most widely used algorithms in crop image classification and recognition. The complexity of crop phenotypic characteristics and growth environment determines the diversity of crop image acquisition platforms. Through the analysis of crop classification and recognition research based on CNN at home and abroad from 2020 to 2022， the image acquisition platforms can be divided into two categories such as general platform and self?built platform， among which the general platform hardware products are mature and easy to deploy， but equipment selection and environment construction should be done well. The self?built platform is divided into fixed and mobile ones， which can obtain experimental data efficiently， but the hardware integration is more complicated. The advantages and disadvantages of various platforms and their applicable scope are compared and analyzed in detail. The future trends of crop image acquisition platforms will include high?throughput， high?efficiency， automated universal image acquisition devices， multi?modal data acquisition and fusion applications integrating a variety of sensors， intelligent cameras with built?in computing processing， etc. The more refined image acquisition platforms will effectively support in?depth research on crop phenotypes.

Keywords： plant phenotype; machine learning; convolutional neural network; image acquisition; crop classification and identification

0 引言

作物精準分類識別是農業自動化、智能化作業的前提和基礎。表型的視覺特征是作物分類識別的重要依據，主要包括：植株、葉片、果實、冠層等的形態，以及生物脅迫（病害、蟲害、雜草等）和非生物脅迫（干旱、鹽堿、洪澇等）等特征。機器學習和圖像處理技術為作物表型無損研究提供了可靠技術手段，其中卷積神經網絡（CNN）是當前應用最為廣泛和成熟的機器學習模型之一。由于CNN模型對圖像質量的比較敏感，而作物表型特征及生長環境又十分復雜，使得豐富的圖像獲取平臺被研發和應用。

現有研究或聚焦于植物表型平臺的研究進展，或針對病害識別、雜草識別、產量預測等特定任務；也有針對無人機、采摘機器人等某一類裝備的應用綜述。未見針對作物圖像分類識別任務的圖像獲取平臺的系統性梳理。本文通過整理近3年國內外相關研究，從類型、功能結構梳理分析圖像獲取平臺研究進展，對比分析各類平臺的優缺點，以期為后續研究提供借鑒參考。

為確保能較全面梳理當前國內外研究進展，在web of Science中共檢索獲得2020—2022年基于CNN的作物分類識別英文文獻857篇，人工判讀篩選得到136篇。同時，考慮到中國學者在智慧農業方面的豐富研究，增加40篇近3年質量較高的中文文獻。

1 CNN網絡及作物分類識別任務

1.1 CNN網絡

在作物表型研究中，傳統的圖像處理方法關注形態、灰度差異、顏色等淺層圖像特征，用閾值分割和特征提取進行植株、果實等識別。這種方法受人為設置特征限制，不能充分表征圖像特征。而CNN網絡通過模型訓練自主學習圖像特征，能發掘圖像潛在特征。且隨著大量數據集的訓練，CNN深層次圖像特征挖掘能力不斷提升。識別精度高、魯棒性好，使其成為了作物圖像分類識別中的主流網絡框架。

CNN網絡雛形最早源于Lecun等[1]于1998年提出LeNet-5網絡模型。2012年AlexNet網絡的提出標志著深度學習的崛起，此后基于CNN框架的GoogLeNet、VGG、ResNet等算法在ImageNet視覺識別挑戰賽中不斷取得佳績。CNN網絡的典型結構包括：輸入層、卷積層、激活層、池化層和全連接層。本文中的CNN網絡是指具有該基礎結構，并在此基礎上發展而來的一系列算法模型。CNN網絡按照功能可分為分類網絡、目標檢測網絡和分割網絡。

1.2 作物分類識別任務

本文的作物包括糧食作物、經濟作物、飼料及綠肥作物和藥用作物。作物的全生育周期包括種子期、營養生長期、生殖生長期及采后期，涉及的圖像分類識別任務包括：種子品種分類、種子篩選鑒定、作物品種分類、雜草識別與檢測、作物生產地塊分類、作物識別與檢測、健康與生長監測、果實和花朵檢測、生長階段及成熟度檢測、生物量估算與測產和收獲物分級篩選等。常見的研究對象包括：作物植株、葉片、花、果實、冠層、種子、收獲物等。多樣的圖像分類識別任務與豐富的研究對象，決定了圖像獲取平臺的多樣性。

2 圖像獲取平臺

基于CNN的作物分類識別的圖像獲取平臺以RGB圖像為主，但也有研究應用和融合了RGB-D圖像、多/高光譜圖像以及三維點云數據等。大多數研究利用相機（攝像頭）、無人機、手機、遙感衛星等通用平臺獲取作物圖像，也有不少研究研發了特殊的圖像獲取平臺，以實現對作物圖像的高效、統一、高質量獲取。

2.1 通用圖像獲取平臺

通用圖像獲取平臺，即工業化、產品化的圖像獲取硬件裝置。優點是能較大程度簡化采集方案、提升部署的便捷性。缺點是要做好設備選型，通過人工來解決一些個性化的數據采集要求或環境搭建。按視野由小到大對通用圖像獲取平臺梳理如下。

1） 數字顯微鏡。對于特別微小的作物細胞、組織、器官等研究對象，數字顯微鏡是一個比較穩定的圖像獲取平臺。Kubera等[2]利用尼康Eclipse E400生物顯微鏡在600倍率下采集了花粉粒圖像，利用自建CNN模型SimpleModel實現三種樹木花粉的分類，最高準確率達97.88%。

2） 平板掃描儀。對于體積較小的作物（器官）利用平板掃描儀能夠獲取穩定、標準的圖片樣本。Sabanci等[3]利用平板掃描儀采集了辣椒種子圖像，通過改進ResNet實現了四個辣椒品種分類；孟志超等[4]利用掃描儀獲取了紋理清晰、平整的油茶葉圖像，避免葉面卷曲和尖端下垂等非標準姿態對圖像的影響，通過改進VGG16 實現了油茶品種分類。

3） 智能手機。其功能和圖片質量已逼近普通RGB相機，同時還具有輕便、易操作、普及率高等優點，已成為農業圖像獲取的一個新興手段[5， 6]。Selvam等[7]利用智能手機采集不同類型的秋葵葉片圖像，通過自建CNN網絡實現了秋葵品種的準確分類；Zhou等[8]利用Android智能手機采集獼猴桃RGB圖像，實現了獼猴桃果實的檢測。

4） 相機/攝像頭。（工業）相機和攝像頭是當前應用最普遍的圖像獲取裝置，由于其使用方便、分辨率高、便攜、近距離拍攝等優點，是當前主流的圖像獲取平臺[9?17]。通過配置云臺（PTZ）與滑軌，相機還能獲取穩定、多角度、連續的動態場景圖像。Wei等[18]利用帶云臺的CCD圖像傳感器獲取多角度的咖啡花冠層圖像，構建CNN網絡實現了咖啡花的精確識別；趙春江等[19]利用相機、云臺、滑軌和三腳架組成了圖像采集系統，實現對溫室大棚小番茄果實圖像的采集；成偉等[20]利用雙目視覺攝像機和和二自由度云臺構成了番茄估產圖像采集系統，云臺能垂直和水平旋轉，通過調整相機空間姿態采集番茄植株不同視角的圖像。

5） 無人機。具有自主性、可靠性、低成本、操作靈活性、按需訪問數據和高空間分辨率等優點，已成為精準農業中圖像獲取和田間檢測的重要途徑[21?24]。大田、果園、森林、草原等幾乎所有的露天場景均可應用，甚至適用于設施環境的小型無人機也已研制成功。多時相無人機數據具有空間分辨率高和物候信息豐富等優點，通過精準制圖能夠輔助自動噴藥等農業活動。研究人員利用無人機獲取圖像，基于CNN分別實現了大豆成熟度表型分析[25]、西藍花頭成熟度檢測[26]、雜草識別[27]和牧草干物質量預測[28]等。無人機還可與其他圖像采集裝置配合適用。Briechle等[29]同時利用無人機與直升飛機獲取森林中的樹木冠層圖像，無人機攜帶ALS和兩臺多光譜相機，直升機則攜帶ALS和RGB+NIR相機，實現了對松樹、樺樹、榿木和枯樹的準確分類。

6） 遙感衛星。衛星遙感圖像是當前常見的視野最廣闊的圖像，它具有覆蓋面廣、時序性穩定、多光譜，高空間、時間和光譜分辨率等優點，在農業大范圍監測、制圖、物候研究中有豐富的應用[30， 31]。應用較廣的有美國Sentinel-2衛星和中國的高風（GF）系列衛星。研究人月分別利用遙感圖像通過改進CNN網絡實現大尺度冬小麥空間分布提取[32]、多時序作物類型分類[34]和不同類型作物時空特征提取[35]。

利用通用平臺開展基于CNN的作物圖像分類識別的主要研究如表1所示。

2.2 自建圖像獲取平臺

當通用圖像獲取平臺無法滿足試驗方案時，一些定制、自建的圖像獲取平臺被研發和應用。通過將攝像頭/圖像傳感器集成到各種硬件裝置中，以實現高效、穩定的圖像采集。按平臺整體是否運動可分為固定圖像獲取系統和移動圖像獲取系統。

固定式圖像獲取系統指整個裝置靜態放置于實驗室、工廠等室內環境中，實現作物圖像高效、穩定獲取[35]。主要包括以下3種。

1） 高光譜圖像獲取系統。高光譜成像技術能獲取物體的光譜和空間信息，近年來已成為農產品、種子等非破壞性品質鑒定和質量檢測的主流方法。常見結構包括：多光譜相機或攝像頭、光源、用于陳列和固定樣品的聚焦板、屏蔽光照噪音的暗室、計算機和控制軟件。利用高光譜圖像獲取平臺已實現了小麥缺陷籽粒分類[36]、堅果品質檢測[37]和水稻品種分類[38]。印度的研究院研發的大麥種子無損鑒定系統[39]，由掃描成像光譜儀、14位InGaAs相機和安裝鏡頭、平移臺、暗箱、4個固定的鹵素燈泡環組成，步進電機以恒定掃描速度驅動平臺線性平臺。土耳其[40]研發的用于散裝小麥品種分類高光譜系統。

2） RGB圖像獲取系統。利用固定裝置實現室內環境下作物RGB圖像獲取，靜態圖像采集系統已研發、應用于酸檸檬[41]、番茄果實[42]、室內甘藍苗[43]檢測。通過安裝旋轉臺、履帶等可實現多角度、動態圖像采集： Wang等[44]設計圖像采集系統由計算機、LED燈、攝像機和水果姿調節設備組成。通過電機控制方向或速度，改變水果姿態，利用YOLOv5實現了對不同姿態下蘋果莖/萼實時檢測。山東農業大學研發的馬鈴薯圖獲取裝置[45]，包括CCD攝像機、五環燈、步進電機和計算機。通過步進電機使馬鈴薯旋轉以拍攝不同角度圖像。實現蟲洞、機械損傷、破皮和馬鈴薯芽檢測。

中國農業大學研發的胡蘿卜缺陷檢測設備[46]，由彩色CCD相機、計算機、傳送機、反射鏡和光源組成。其中反射鏡與燈箱中的輸送機成120°，當胡蘿卜穿過兩個鏡子的中間時，相機可同時捕獲胡蘿卜3個視角的圖像（覆蓋表面97%），當任一圖像中檢測到缺陷時，則認為是有缺陷的胡蘿卜，提高檢測和分級的可靠性。

3） 激光掃描裝置。激光掃描儀能自動、精確、高效獲取目標三維地理坐標和立體影像數據，并提供詳細垂直結構信息，通過與硬件裝置集成能實現作物圖像的高效獲取。Jayakumari等[47]利用安裝在可移動、高度可調三腳架上的地面激光掃描儀（TLS），通過高分辨率激光雷達三維點云構建CropPointNet模型對甘藍、番茄和茄子進行分類； Tian等[48]將激光測距儀安裝在三軸PTZ上，動態掃描觀測區域，獲得水稻和玉米的位置點集。

移動圖像獲取系統指將圖像傳感器集成到可移動的硬件裝置上，隨裝置的運動獲取連續、動態的圖像數據資源。按照驅動裝置結構可劃分為車載式、自走式和門架式。

車載式圖像采集系統指將圖像獲取裝置安裝固定在拖拉機、除草機等農機設備或車輛上，在車輛的帶動下實現連續、穩定的圖像獲取。東南大學研發的水稻幼苗圖像的動態采集系統[49]，將帶有CCD圖像傳感器的大恒水星工業相機安裝在除草機上，動態收集圖像實現了水稻秧苗行的識別。Rahim等[50]利用車載圖像獲取平臺，在葡萄園中采集葡萄花圖像，基于深度學習精確識別了葡萄藤花序和花朵量化。Blok等[51]研發的西藍花頭檢測裝置。圖像采集系統安裝在牽引機前端，包括RGB彩色攝像機、IDS Enenso N35立體視覺攝像機和40個LED條。立體視覺攝像機用于獲取深度圖像，以估計花椰菜頭的大小。彩色和立體視覺攝像頭由連接在前輪上的電子編碼器觸發，通過在西藍花田的行走，利用機器學習自動獲取和監測西藍花頭。

法國弗朗什大學研發的作物葉片圖像檢測裝置[52]，相機安裝在一款名為“TREKTOR”的混合自動拖拉機前。攝像頭距離地面1.8 m采集田間的俯視圖，利用CNN分割網絡實現作物的葉片級分割。

圖像采集車是圖像獲取裝置與驅動裝置集成，能在作物田壟間自主運動，獲取連續、穩定作物圖像。按照驅動裝置結構不同，可細分為履帶式、軌道式和輪式。

履帶式圖像采集車是以履帶作為驅動部件帶動裝置自主運動。Massah等[53]研發的獼猴桃圖像采集車，包括CCD攝像頭、計算機、電池、履帶式運動裝置等組成。通過采集獼猴桃樹冠的圖像，經過深度學習實現獼猴桃數量及產量的預估。

軌道式圖像采集車是沿著作物行的間隙以固定軌道運動。韓國國家農業科學研究所開發的溫室番茄果實監測系統[11]，由工業計算機、ELP 4K USB網絡攝像頭、傳感器、顯示器、電池盒和運動裝置等組成。裝置的驅動輪被制造成雙結構，使其能以溫室熱水管道為軌道運動。通過底部傳感器控制運動起止位置和運行軌跡。利用采集到的RGB圖像基于Faster CNN實現了不同成熟度番茄的檢測與識別。

輪式圖像采集車是自帶驅動輪能沿著作物行的間隙自主運動。王輝等[54]通過將相機搭載在手推車上，相機離地80 cm連續采集了柑橘植株圖像。Lin等[55]研發的成像車集成了牽引機、四臺高分辨率成像儀和兩個LED燈。能夠穿行在不同草莓行間，自動、連續采集草莓花圖像。華盛頓州立大學研發的蘋果圖像采集系統[56]，包括Kinect V2深度相機、4個LED燈、計算機和4輪運動裝置。通過RGB-D圖像的深度特征去除蘋果樹背景并估計果實空間位置，實現在茂密的果墻樹中基于Faster R-CNN更快地檢測出蘋果果實，輔助蘋果園的機器人收獲。

門架式圖像采集系統是利用門架裝置實現對目標田塊穩定、標準化“掃描式”圖像批量獲取。中國農業大學研發了門架式雜草識別裝置[57]，一個俯視的RGB相機固定在門架式驅動裝置上。利用CNN語義分割算法識別雜草。并由機械和激光工具根據分割結果執行除草操作。土耳其庫庫羅瓦大學研發門架式高通量植物表型獲取裝置ICRISAT LeasyScan[58]，圖像采集單元為高通量激光掃描儀PlantEye，以3D點云形式生成植物數字反射。該裝置將3D點云三角化為網格，并用算法計算葉面積、株高及冠層覆蓋度等指標。

作業機器人，裝備了機器視覺系統的機器人在農業生產中的應用越來越廣泛。Potena等[59]研發了一種農業機器人感知系統，該系統配備有多光譜相機，通過在甜菜田的逐行行走，實時自動執行作物/雜草檢測和分類任務。華南農業大學研發的柱梳式荔枝收獲機[60]，包括相機、透明擋板、列梳齒桿、收集裝置、計算機和運動裝置。相機由彩色相機和紅外相機組成，RGB和深度圖像的分辨率分別為1 280像素×800像素和1 280像素×720像素。通過采集RGB和深度圖像識別荔枝果實的空間分布，為收獲機精準定位收獲區域。

國家農業智能裝備工程技術研究中心研發番茄授粉機器人[19， 61]，由3D高清相機、機械臂、核心控制器和運動底盤組成。采集相機分辨率1 280像素×960像素。采集過程中，相機在水平30°～120°內往復轉動，以不同角度、距離對番茄花進行拍攝。移動平臺利用 SLAM激光雷達導航技術按行間中心直線前行。

利用通用平臺開展基于CNN的作物圖像分類識別的主要研究如表2所示。表3詳細列舉了一些典型的圖像獲取平臺的使用環境、硬件配置、實際應用、圖像質量及圖像類型。其中圖像類型包括可見光成像（RGB）、近紅外成像（NIR）、多光譜成像（MSI）、高多光譜成像（HSI）、3D點云、深度圖像（RGB-D）。

3 討論

3.1 不同平臺的優缺點分析

不同圖像獲取平臺各有優缺點，總體來說，圖像獲取裝置的視野范圍與圖像質量負相關，遙感衛星圖像覆蓋面積最廣但圖像質量最低，只能獲取田塊作物冠層整體的圖像。反之數字顯微鏡能獲取最清晰的圖像，但視野最小；圖像獲取裝置的效率與圖片質量負相關，固定式裝置圖像采集效率較低，但圖像噪音小、質量高。移動式裝置圖像采集效率高，但圖像受光照、環境、運動抖動、拍攝角度等多種因素影響，圖像噪音大質量低。研究人員應根據實際需要合理的選擇采集裝置。表4列出了不同平臺的局限性。

3.2 作物不同時期圖像獲取平臺差異

1） 種子時期。作物種子的圖像一般是在室內通過成像裝置采集。圖像采集系統多為靜態系統，也有數字掃描儀、手機和相機的應用。所采集的圖像背景統一、噪聲小、圖像質量好。相較RGB圖像，多光譜和高光譜技術能夠獲取更為豐富的種子表型特征，在種子的分類與品質鑒定中被普遍應用。

2） 營養生長期和生殖生長期。作物可供研究的圖像目標包括作物的植株、葉片、花、果實、冠層等。圖像采集自大田、溫室、果園等真實生產場景，圖像背景復雜、噪聲大，且受光照強度、拍照角度、拍攝距離等影響。采集到的圖像一般為RGB或RGB-D圖像，高光譜、多光譜圖像的應用較少。由于需要面向一定的機械化采摘或作業任務，部分研究對圖像識別的精度和時效性有更高的要求。除了相機、無人機、手機等常規圖像采集設備，研究人員還研發了豐富的圖像獲取裝置。

3） 采后期。可供研究的圖像目標為作物采后的收獲物，可能是作物的果實、種子或其他部位（如胡蘿卜的根、生菜的葉等）。為了提高作物收獲物的商品屬性，利用圖像對收獲物外觀進行無損篩選分級十分必要。采后收獲物已與植株分離，通常圖像采集在實驗室、倉庫等人工環境下進行，圖像背景較統一、噪聲較低。與種子時期類似，一些固定的圖像采集裝置也可應用于采后時期。不同的是，作為商品化的農產品，一些收獲物的篩選分級需要在動態場景下（如傳送帶）批量進行，以提高采后分級的效率。

3.3 圖像類型分析

在基于CNN的作物分類與識別任務中，雖然二維RGB圖像應用最為廣泛。但是多光譜圖像具有更豐富圖像和光譜信息，RGB-D圖像能反映作物空間深度信息，三維點云能構建作物三維空間模型。通過RGB和深度圖像的雙模式數據融合，分別實現了番茄、蘋果等的檢測與定位；通過將2D分割掩模投影到3D點云上，能夠實現了蘋果檢測和三維定位等[62]。除了單一的圖像類型外，多模態數據的融合應用是一個趨勢。

3.4 應用部署分析

當前大多數的研究還停留在試驗狀態。但有越來越多的研究已經投入實際應用，相關成果已應用到實際生產并產生了真正的價值。西藍花圖像采集機器人，通過在西藍花田的行走，自動檢測識別西藍花頭并采摘。通過成本核算，采摘機器人相較于人力采摘有可觀的經濟效益；履帶式獼猴桃估產機器人、荔枝采收機器人、番茄授粉機器人均已在田間應用。也有多位學者通過研發移動應用程序實現成果應用，包括葡萄品種分類、水稻分蘗自動檢測和獼猴桃果實檢測等。研究成果的應用部署應當被重視。使改進和訓練后的模型應真正由“試驗”走向“應用”，通過嵌入模型研發相應軟件（手機App， 機器人、智能農機）等，真正服務于農業生產十分必要。

4 展望

1） 研發高通量、高效率、自動化的通用圖像獲取裝置。研究同時適用大田、溫室、果園等多種農業生產場景的圖像獲取通用表型平臺，并研發基于無人車、無人機、機器人等自動化、智能化的圖像獲取裝置。低成本、可拆卸的圖像獲取平臺能夠與農機便捷組裝，使得圖像獲取可與作業任務緊密結合，實現實時的圖像獲取與處理。

2） 集成多種傳感器實現多模態數據的采集與融合應用。在圖像獲取裝置中集成多種傳感器，在采集圖像數據的同時也采集空間數據、環境數據（光照強度、溫度、濕度等）、多光譜數據等。并通過多模態數據融合構建模型進行深度學習訓練，更好的支撐作物生長發育和表型性狀研究。

3） 隨著硬件的發展和輕量級深度學習算法的研究，自帶運算處理功能的智能攝像頭將被廣泛應用。通過在智能攝像頭中加載作物的生長發育模型，能夠實現實時采集作物圖像并完成分類識別任務。

參 考 文 獻

[ 1 ] Lecun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition [J]. Proceedings of IEEE， 1998， 86（11）： 2278-2324.

[ 2 ] Kubera E， Kubik Komar A， Piotrowska Weryszko K， et al. Deep learning methods for improving pollen monitoring [J]. SENSORS， 2021， 21（10）， 3526.

[ 3 ] Sabanci K， Aslan M F， Ropelewska E， et al. A convolutional neural network?based comparative study for pepper seed classification： Analysis of selected deep features with support vector machine [J]. Journal of Food Process Engineering， 2022， 45（6）， 13955.

[ 4 ] 孟志超， 賀磊盈， 杜小強， 等. 基于Enhanced VGG16的油茶品種分類[J]. 農業工程學報， 2022， 38（10）： 176-181.

Meng Zhichao， He Leiying， Du Xiaoqiang， et al. Classification of camellia oleifera based on enhanced VGG16 network [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（10）： 176-181.

[ 5 ] 宋懷波， 王亞男， 王云飛， 等. 基于YOLOv5s的自然場景油茶果識別方法[J]. 農業機械學報， 2022， 53（7）： 234-242.

Song Huaibo， Wang Ya nan， Wang Yunfei， et al. Camellia oleifera fruit dectection in natural scene based on YOLOv5s [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（7）： 234-242.

[ 6 ] 尚鈺瑩， 張倩如， 宋懷波. 基于YOLOv5s的深度學習在自然場景蘋果花朵檢測中的應用[J]. 農業工程學報， 2022， 38（9）： 222-229.

Shang Yuying， Zhang Qianru， Song Huaibo. Application of deep learning based on YOLOv5s to apple flower detection in natural scenes [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（9）： 222-229.

[ 7 ] Selvam L， Kavitha P. Classification of ladies finger plant leaf using deep learning [J]. Journal of Ambient Intelligence and Humanized Computing， 2020.

[ 8 ] Zhou Zhongxian， Song Zhenzhen， Fu Longsheng， et al. Real?time kiwifruit detection in orchard using deep learning on Android （TM） smartphones for yield estimation [J]. Computers and Electronics in Agriculture， 2020，179： 105856.

[ 9 ] Fu Longsheng， Feng Yali， Wu Jingzhu， et al. Fast and accurate detection of kiwifruit in orchard using improved YOLOv3-tiny model [J]. Precision Agriculture， 2021， 22（3）： 754-776.

[10] Lu Wei， Du Rongting， Niu Pengshuai， et al. Soybean yield preharvest prediction based on bean pods and leaves image recognition using deep learning neural network combined with GRNN[J]. Frontiers in Plant Science， 2022， 12： 791256.

[11] Seo D， Cho B H， Kim K C. Development of monitoring robot system for tomato fruits in hydroponic greenhouses [J]. Agronomy?basel， 2021， 11（11）： 2211.

[12] Taner A， Oztekin Y B， Duran H. Performance analysis of deep learning CNN models for variety classification in hazelnut [J]. Sustainability， 2021， 13（12）： 6527.

[13] Chen Jiqing， Wang Zhikui， Wu Jiahua， et al. An improved Yolov3 based on dual path network for cherry tomatoes detection [J]. Journal of Food Process Engineering， 2021， 44（10）： 13803.

[14] Liu Yixue， Su Jinya， Shen Lei， et al. Development of a mobile application for identification of grapevine cultivars via deep learning [J]. International Journal of Agricultural and Biological Engineering， 2021， 14（5）： 172-179.

[15] Shi Xiao， Chai Xiujuan， Yang Chenxue， et al. Vision?based apple quality grading with multi?view spatial network [J]. Computers and Electronics in Agriculture， 2022， 195： 106793.

[16] Nasiri A， Taheri?Garavand A， Fanourakis D， et al. Automated grapevine cultivar identification via leaf imaging and deep convolutional neural networks[J]. A Proof?of?Concept Study Employing Primary Iranian Varieties. Plants?Basel， 2021， 10（8）： 162.

[17] Han Jingye， Shi Liangsheng， Yang Qi， et al. Real?time detection of rice phenology through convolutional neural network using handheld camera images [J]. Precision Agriculture， 2021， 22（1）： 154-178.

[18] Wei Pengliang， Jiang Ting， Peng Huaiyue， et al. Coffee flower identification using binarization algorithm based on convolutional neural network for digital images [J]. Plant Phenomics， 2020： 6323965.

[19] 趙春江， 文朝武， 林森， 等. 基于級聯卷積神經網絡的番茄花期識別檢測方法[J]. 農業工程學報， 2020， 36（24）： 143-152.

Zhao Chunjiang， Wen Chaowu， Lin Sen， et al. Tomato florescence recognition and detection method based on cascaded neural network [J]. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（24）： 143-152.

[20] 成偉， 張文愛， 馮青春， 等. 基于改進YOLOv3的溫室番茄果實識別估產方法 [J]. 中國農機化學報， 2021， 42（4）： 176-182.

Cheng Wei， Zhang Wenai， Feng Qingchun， et al. Method of greenhouse tomato fruit identification and yield estimation based on improved YOLOv3 [J]. Journal of Chinese Agricultural Mechanization， 2021， 42（4）： 176-182.

[21] Feng Quanlong， Yang Jianyu， Liu Yiming， et al. Multi?temporal unmanned aerial vehicle remote sensing for vegetable mapping using an attention：Based recurrent convolutional neural network [J]. Remote Sensing， 2020， 12（10）， 1668.

[22] Sivakumar A N V， Li J T， Scott S， et al. Comparison of object detection and patch?based classification deep learning models on Mid?to Late?Season weed detection in UAV imagery [J]. Remote Sensing， 2020， 12（13）： 2136.

[23] Bishwa B S， Hu Chengsong， Muthukumar V B. Evaluating cross?applicability of weed detection models across different crops in similar production environments [J]. Frontiers in Plant Science， 2022， 13： 837726.

[24] Safonova A， Guirado E， Maglinets Y， et al. Olive tree biovolume from uav multi?resolution image segmentation with mask R-CNN [J]. Sensors， 2021， 21（5）： 1617.

[25] Trevisan R， Perez O， Schmitz N， et al. High?throughput phenotyping of soybean maturity using time series UAV imagery and convolutional neural networks [J]. Remote Sensing， 2020， 12（21）： 3617.

[26] Psiroukis V， Espejo?Garcia B， Chitos A， et al. Assessment of different object detectors for the maturity level classification of broccoli crops using UAV imagery [J]. Remote Sensing， 2022， 14（3）： 731.

[27] Moazzam S I， Khan U S， Qureshi W S， et al. A patch?image based classification approach for detection of weeds in sugar beet crop [J]. IEEE Access， 2021， 9： 121698-121715.

[28] Oliveira G S， Junior J M， Polidoro C， et al. Convolutional neural networks to estimate dry matter yield in a guineagrass breeding program using UAV remote sensing [J]. Sensors， 2021， 21（12）： 3971.

[29] Briechle S， Krzystek P， Vosselman， G. SilviNet A dual?CNN approach for combined classification of tree species and standing dead trees from remote sensing data [J]. International Journal of Applied Earth Observation and Geoinformation， 2021， 98： 102292.

[30] Wang Lingyue， Liu Meiling， Liu Xiangnan， et al. Pretrained convolutional neural network for classifying rice?cropping systems based on spatial and spectral trajectories of Sentinel-2 time series [J]. Journal of Applied Remote Sensing， 2020， 14（1）： 14506.

[31] Li Zhengtao， Chen Guokun， Zhang Tianxu. A CNN?transformer hybrid approach for crop classification using multitemporal multisensor images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2020， 13： 847-858.

[32] Wang Shouyi， Xu Zhigang， Zhang Chengming， et al. Improved winter wheat spatial distribution extraction using a convolutional neural network and partly connected conditional random field [J]. Remote Sensing， 2020， 12（5）： 821.

[33] Yang Shuting， Gu Lingjia， Li Xiaofeng， et al. Crop classification method based on optimal feature selection and hybrid CNN-RF networks for multi?temporal remote sensing imagery [J]. Remote Sensing， 2020， 12（19）： 3119.

[34] Ji Shunping， Zhang Zhili， Zhang Chi， et al. Learning discriminative spatiotemporal features for precise crop classification from multi?temporal satellite images [J]. International Journal of Remote Sensing， 2020， 41（8）： 3162-3174.

[35] Bhupendra， Kriz M， Ankur M， et al. Deep CNN?based damage classification of milled rice grains using a high?magnification image dataset [J]. Computers and Electronics in Agriculture， 2022， 195： 106811.

[36] Li Hao， Zhang Liu， Sun Heng， et al. Discrimination of unsound wheat kernels based on deep convolutional generative adversarial network and near?infrared hyperspectral imaging technology [J]. Spectrochimica Acta Part A?molecular and Biomolecular Spectroscopy， 2022， 268： 120722.

[37] Han Yifei， Liu Zhaojing， Kourosh K， et al. Quality estimation of nuts using deep learning classification of hyperspectral imagery [J]. Computers and Electronics in Agriculture， 2021， 180： 105868.

[38] Jin Baichuan， Zhang Chu， Jia Liangquan， et al. Identification of rice seed varieties based on near?infrared hyperspectral imaging technology combined with deep learning [J]. ACS Omega， 2022.

[39] Singh T， Garg N M， Iyengar S R S. Nondestructive identification of barley seeds variety using near?infrared hyperspectral imaging coupled with convolutional neural network [J]. Journal of Food Process Engineering， 2021， 44（10）： 13821.

[40] Unlersen M F， Sonmez M E， Aslan M F， et al. CNN?SVM hybrid model for varietal classification of wheat based on bulk samples [J]. European Food Research and Technology， 2022， 248（8）： 2043-2052.

[41] Jahanbakhshi A， Momeny M， Mahmoudi M， et al. Classification of sour lemons based on apparent defects using stochastic pooling mechanism in deep convolutional neural networks [J]. Scientia Horticulturae， 2020， 263： 109133.

[42] Hsieh K W， Huang B Y， Hsiao K Z， et al. Fruit maturity and location identification of beef tomato using R?CNN and binocular imaging technology [J]. Journal of Food Measurement and Characterization， 2021， 15（6）： 5170-5180.

[43] 翟長遠， 付豪， 鄭康， 等. 基于深度學習的大田甘藍在線識別模型建立與試驗[J]. 農業機械學報，2022， 53（4）： 293-303.

Zhai Changyuan， Fu Hao， Zheng Kang， et al. Establishment and experimental verification of deep learning model for on?line recognition of field cabbage [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（4）： 293-303.

[44] Wang Zhipeng， Jin Luoyi， Wang Shuai， et al. Apple stem/calyx real?time recognition using YOLO?v5 algorithm for fruit automatic loading system [J]. Postharvest Biology and Technology， 2022， 185： 111808.

[45] Xi R， Hou J， Lou W. Potato bud detection with improved Faster R-CNN[J]. Transactions of the ASABE， 2020， 63（3）： 557-569.

[46] Xie Weijun， Wei Shuo， Zheng Zhaohui， et al. A CNN?based lightweight ensemble model for detecting defective carrots [J]. Biosystems Engineering， 2021， 1208： 287-299.

[47] Jayakumari R， Nidamanuri R R， Ramiya A M. Object?level classification of vegetable crops in 3D LiDAR point cloud using deep learning convolutional neural networks [J]. Precision Agriculture， 2021， 22（5）： 1617-1633.

[48] Tian Li， Wang Chun， Li Hailiang， et al. Recognition method of corn and rice crop growth state based on computer image processing technology [J]. Journal of Food Quality， 2022， 2844757.

[49] Wang Shanshan， Zhang Wenyi， Wang Xingsong， et al. Recognition of rice seedling rows based on row vector grid classification [J]. Computers and Electronics in Agriculture， 2021， 190： 106454.

[50] Rahim U F， Utsumi T， Mineno H. Deep learning?based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform [J]. Computers and Electronics in Agriculture， 2022， 198.

[51] Blok P M， Evert F K， Tielen A P M， et al. The effect of data augmentation and network simplification on the image：Based detection of broccoli heads with Mask R-CNN [J]. Journal of Field Robotics， 2021， 38（1）： 85-104.

[52] Vayssade J A， Jones G， Gee C， et al. Pixelwise instance segmentation of leaves in dense foliage [J]. Computers and Electronics in Agriculture， 2022， 195.

[53] Massah J， Vakilian K Asefpour， Shabanian M， et al. Design， development， and performance evaluation of a robot for yield estimation of kiwifruit [J]. Computers and Electronics in Agriculture， 2021， 185： 106132.

[54] 王輝， 韓娜娜， 呂程序， 等. 基于Mask R-CNN的單株柑橘樹冠識別與分割[J]. 農業機械學報， 2021， 52（5）： 169-174.

Wang Hui， Han Nana， Lü Chengxu， et al. Recognition and segmentation of individual citrus tree crown based on mask R-CNN [J]. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）： 169-174.

[55] Lin P， Lee W S， Chen Y M， et al. A deep?level region?based visual representation architecture for detecting strawberry flowers in an outdoor field [J]. Precision Agriculture， 2020， 21（2）： 387-402.

[56] Fu Longsheng， Majeed Y， Zhang Xin， et al. Faster R-CNN?based apple detection in dense?foliage fruiting?wall trees using RGB and depth features for robotic harvesting [J]. Biosystems Engineering， 2020， 197： 245-256.

[57] Su D， Kong H， Qiao Y L， et al. Data augmentation for deep learning based semantic segmentation and crop?weed classification in agricultural robotics [J]. Computers and Electronics in Agriculture， 2021， 190： 106418.

[58] Kartal S， Choudhary S， Masner J， et al. Machine learning?based plant detection algorithms to automate counting tasks using 3D canopy scans [J]. Sensors， 2021， 21（23）.

[59] Potena C， Nardi D， Pretto A. Fast and accurate crop and weed identification with summarized train sets for precision agriculture [J]. Cham： Springer International Publishing， 2017： 105-121.

[60] Li Can， Lin Jiaquan， Li Boyang， et al. Partition harvesting of a column?comb litchi harvester based on 3D clustering [J]. Computers and Electronics in Agricultur， 2022， 197： 106975.

[61] 劉芳， 劉玉坤， 林森， 等. 基于改進型YOLO的復雜環境下番茄果實快速識別方法[J]. 農業機械學報， 2020， 51（6）： 229-237.

Liu Fang， Liu Yukun， Lin Sen， et al. Fast Recognition method for tomatoes under complex environments based on improved YOLO [J]. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（6）： 229-237.

[62] Gene?Mola J， Sanz?Cortiella R， Rosell?Polo J R， et al. Fruit detection and 3D location using instance segmentation neural networks and structure?from?motion photogrammetry [J]. Computers and Electronics in Agriculture， 2020， 169：105165.