名優茶采摘機器人收獲試驗

李亞濤 周宇杰 王少卿 陳建能 賀磊盈 賈江鳴 武傳宇

收稿日期：2023-09-18 ????????????修訂日期：2023-12-14

基金項目：國家自然科學基金（52305289、U23A20175）、浙江省領雁計劃項目（2022C02052）、國家茶葉產業技術體系（CARS-19）、中國博士后科學基金（2023M733153）、浙江理工大學科研啟動基金（22202328-Y）、福建省茶產業大數據應用與智能化重點實驗室開放基金資助項目

作者簡介：李亞濤，男，博士后，主要從事機器人3D視覺和農業機器人智能裝備技術研究。*通信作者：cywu@zstu.edu.cn

摘要：研制新一代履帶式名優茶采摘機器人并以其為試驗對象，在田間進行龍井茶采摘試驗，對其檢測、定位、末端采摘的精度以及各環節耗時進行試驗評估。結果表明，所研制的名優茶采摘機器人檢測成功率為88.54%，定位成功率為84.07%，末端采摘成功率為87.22%，整機采摘成功率為61.30%，所采茶葉可滿足中端龍井茶要求。單芽采摘時間約1.51 s，1 h可采摘2 000多個，基本實現一臺機器替代一個工人的采摘效率。

關鍵詞：名優茶采摘；機器人；采摘成功率；收獲時間

中圖分類號：S571.1；S225? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? 文章編號：1000-369X（2024）01-075-09

Experimental Study on High-quality Tea

Plucking by Robot

LI Yatao1，2，3， ZHOU Yujie1， WANG Shaoqing1， CHEN Jianneng1，2，

HE Leiying1，2， JIA Jiangming1，2， WU Chuanyu1，2*

1. School of Mechanical Engineering， Zhejiang Sci-Tech University， Hangzhou 310018， China;

2. Key Laboratory of Transplanting Equipment and Technology of Zhejiang Province， Hangzhou 310018， China;

3. Fujian Key Laboratory of Big Data Application and Intellectualization for Tea Industry （Wuyi University）， Wuyishan 354300， China

Abstract： This study evaluated the performance of a newly developed track-type tea plucking robot on Longjing tea picking， including its detection accuracy， localization accuracy， end effector plucking accuracy， time consumption across each stage. The results show that the detection success rate of the developed robot was 88.54%， the localization success rate was 84.07%， the end effector plucking success rate was 87.22%， and the overall plucking success rate was 61.30%. The plucked tea leaves met the requirements of middle-grade Longjing tea. The single tea shoot plucking time was approximately 1.51 s， and the machine could pluck over 2 000 tea shoots per hour， basically achieving the picking efficiency of one machine replacing one worker.

Keywords： high-quality tea plucking， robot， plucking success rate， harvesting time

我國茶園面積已達333.03萬hm2、茶農人數6 000多萬、產茶縣超過1 000個，其中100多個縣以茶產業為支柱產業[1-2]。但是，目前茶產業生產方式和技術水平與農業現代化的推進要求仍存在較大差距，突出問題就是名優茶采摘嚴重依賴人工，而采摘是整個茶葉生產勞動中作業次數最多、勞動力消耗最大、勞動強度最高的作業任務[3]。由于大部分年輕人不再愿意從事重復性采摘工作，勞動力價格在不斷上漲，導致名優茶采摘作業勞動力日益緊缺，這嚴重制約了茶產業的發展，因此通過“機器換人”推行智能化采摘已成為名優茶可持續發展的必然選擇[4]。

目前關于名優茶智能采摘機器人樣機的設計方案多種多樣，但其主要由相機、機械臂、機械手、移動底盤、計算機等“眼-臂-手-腳-腦”系統硬件設備組成。其中“眼”系統負責感知目標對象的信息，對目標作物進行檢測定位[5-7]，由可以獲取田間名優茶嫩梢彩色圖像和深度圖像的深度相機組成[8-9]；“臂”系統負責帶動采摘機械手運動到指定位置，多采用XYZ式機械臂[10]、串聯式機械臂[11]、Delta式機械臂[12]；“手”系統負責實現名優茶嫩梢的采摘[11，13-14]，需要結合名優茶嫩梢自身特點進行結構設計；“腳”系統負責在田間帶動整機自主移動到不同的工作位置，常采用輪式[15]、履帶式[16]、軌道式[4]等高地隙底盤；“腦”系統負責將相機獲取的信息進行處理實現名優茶的檢測定位，然后控制機械臂運動到指定位置，給機械手發送指令進行采摘[17]，由具備相應算力的計算機設備組成。

由于田間名優茶嫩梢與背景顏色相近、生長密集、尺寸較小、形狀不規則、生長高度不一等，對名優茶的智能化采摘提出了挑戰。針對該問題，本研究對名優茶采摘機器人的“眼-手-臂-腳-腦”各模塊系統進行研究，進而搭建新一代名優茶采摘系統樣機，在田間進行試驗驗證名優茶收獲的有效性，并對相關采摘性能參數進行統計分析，為助推名優茶高效智能化采收提供了一種新裝備及其快速實現方法。

1 試驗材料與方法

1.1 設備與材料

田間嫩梢采摘試驗于2023年3月28—29日在浙江省杭州市中國農業科學院茶葉研究所龍冠實業有限公司試驗基地進行，多云天氣，茶樹品種為龍井43。

田間采摘試驗以履帶式名優茶采摘機器人樣機為試驗對象，如圖1所示，主要由深度相機、機械手、機械臂、移動底盤、計算設備等“眼-手-臂-腳-腦”系統單元硬件設備組成。

1.1.1 名優茶嫩梢的檢測與定位（眼單元）

考慮到田間嫩梢檢測速度需求，本研究采用YOLOv7網絡架構對茶葉嫩梢檢測模型進行訓練。相較二階檢測器，YOLO作為一階檢測器具有檢測速度快、部署方便的優點，滿足實際田間快速檢測需求。為了確定嫩梢的3D采摘位置，在嫩梢檢測的基礎上結合點云處理技術提出了一種基于局部點云處理定位方法[9]，如圖2所示。

首先根據RGB-D相機自身彩色傳感器和深度傳感器坐標位置關系進行圖像對齊，將RGB圖像中目標檢測區域（x， y， w， h）內的像素點坐標（u， v）與Depth圖像的深度信息進行映射，繼而結合相機參數獲取邊界框內所有點在相機坐標系下對應的3D坐標（x， y， z），實現局部目標嫩梢區域點云的生成；之后通過對區域內點云進行直通濾波、體素濾波實現點云的預處理，以濾除無效點云，并使密集點云稀疏化以減少后期點云處理的計算量；然后通過點云聚類對各個目標框內的點云進行分割，通過提取距離相機最近的子聚類作為嫩梢點云，并以嫩梢點云最低點為特征點，結合農藝生長特性沿茶壟生長負方向延伸一定距離作為嫩梢的3D采摘點[17]。

1.1.2 名優茶嫩梢采摘（手單元）

根據茶葉嫩芽主要分布在樹冠表層這一特點，自上而下的采摘方式可以有效減少老葉的干擾，結合輕量化、集成化的末端設計要求，本研究提出的嫩梢采摘末端機械手如圖3所示，主要由舵機、傳動機構、剪切機構及負壓管組成。其中舵機作為源動件驅動傳動機構運動，通過舵機旋轉（轉角為30°）驅動刀具在初始位置與剪切點之間運動以實現剪切刀具的張開與閉合（行程32 mm）。傳動機構

主要由連桿組成，其中二號連桿（長度62 mm）與三號連桿（長度19 mm）能夠有效形成省力杠桿以方便用較小的動力帶動滑軌運動；各連桿與其他構件相互鉸接，通過滑軌帶動兩側刀具做同步運動實現芽葉的剪切。負壓管與固定板連接，刀具剪切中心位于負壓管中軸線上，此外，負壓裝置、暫存盒與負壓管通過軟管連接，如圖3B和圖3C所示。當控制刀具進行剪切時，同步驅動負壓系統（120 Pa）使負壓管內與管口形成負壓，通過負壓吸附剪切的茶葉嫩梢到收集暫存盒中，方便剪切芽葉的收集[18-19]。其中剪切機構由兩片刀具組成，左側刀具經過線切割處理為分體式刀具，刀齒寬度2.63 mm，刀具厚度0.9 mm、刀齒長度20.03 mm；右側為未經線切割的一體式刀具。在剪切過程中，刀具的工作原理如下：當嫩梢周圍無莖稈時（圖3D），由于茶葉節間的彈性模量較小，左側分體式刀具在不發生彎曲變形的情況下即可與右側刀具相配合完成頂芽采摘工作。而當莖稈較長與嫩梢采摘節間處于同一高度且緊鄰嫩梢時，左右兩側刀具在舵機動力源的驅動作用下相向轉動并首先夾持莖稈，隨著刀具的繼續運動，由于莖稈彈性模量較大，與莖稈所接觸的分體式刀具的刀齒發生彎曲變形，而其他刀齒可與右側一體式刀具相配合完成嫩芽采摘，以此實現嫩梢和莖稈緊鄰時嫩梢的采摘。

1.1.3 機械手運動（臂單元）

考慮到茶葉嫩梢生長高度不一，Delta式機械臂采摘Z向空間有限，本研究采用X-Y-Z式機械臂進行嫩梢采摘。以茶蓬面寬度和高度為參考指導機械臂水平和豎直方向行程的設計，其水平和豎直方向的行程分別為115 cm和60 cm，并結合嫩梢在茶園空間垂直方向的分布范圍確定機械臂垂直方向的行程為40 cm。考慮到相機視場有限，而相機深度在0.3～1.0 m時精度較高，當目標茶壟較寬時，可采用雙相機-雙臂對茶壟采摘區域進行劃分，每一個相機和機械臂各負責一塊茶壟區域，以提高嫩梢的收獲效率。針對公共采摘空間可通過合理規劃采摘順序初步實現協同采摘。

1.1.4 底盤運動（腳單元）

名優茶采摘樣機采用龍門架結構橡膠履帶底盤，具有接地面積大、抓地力強、負載能

力強、驅動力大的優點，能夠滿足平原茶園和緩坡茶園的行進需求。為確定運動底盤的關鍵參數，結合茶樹的農藝生長特征，對實際茶園中標準茶壟種植參數進行測量，指導底盤關鍵參數的設計。其中以茶樹行溝的寬度為參考指導履帶式底盤中心寬度的設計，兩履帶中心間隔為153 cm；以茶樹的高度為參考指導底盤高度的設計，作業安裝平臺距離地面的高度為134 cm；以壟溝的寬度為參考指導履帶寬度的設計，橡膠履帶寬度為18 cm。此外，整機底盤采用電力驅動，兩側履帶分別采用直流無刷電機驅動，功率2 kW，通過控制器局域網總線各自獨立控制，可在茶園環境中輕松實現前進、后退和轉彎功能。同時，底盤可通過遙控控制和上位機驅動，方便人為操控駕駛和田間采摘過程的自動行進（速度5 km·h-1）。

1.1.5 名優茶采摘決策（腦單元）

“腦”系統單元整機控制程序部署在移動工作站上，工作站型號為戴爾Precision 7550，處理器為Intel? CoreTM i9-10855H CPU @ 2.40 GHz八核十六線程，機帶內存為32 G，操作系統為Windows 10。

“腦”系統單元負責整機傳感信息的處理和執行裝置控制命令的下發，將“眼”模塊獲取的嫩梢采摘點位姿信息通過手眼標定轉換到“臂”模塊坐標系下，然后驅動“臂”模塊帶動“手”模塊運動到目標位置進行嫩梢的采摘，然后給“腳”模塊發送信號行進到下一個位置。其通過對各模塊的信息進行分析、處理和控制，完成名優茶采摘機器人的底盤行進以及嫩梢的檢測、定位、運動和采摘。“腦”系統單元由具備相應算力的計算機設備以及驅動器、控制器、可編程邏輯控制器等控制模塊組成，各系統模塊通過總線式結構進行數據通訊實現整機的系統集成。

1.2 試驗方法

基于上述采摘樣機進行名優茶采摘試驗的具體流程如圖4所示。（1）對所有硬件設備進行初始化，之后控制底盤在田間前進并進行相機數據流的讀取；（2）通過深度相機進行嫩梢數據流的獲取，主要包含嫩梢的彩色圖像信息和深度信息；（3）在嫩梢彩色圖像上通過加載訓練好的嫩梢深度學習模型進行嫩梢區域的檢測，如果檢測到目標則控制底盤停止進行后續操作，否則繼續前進獲取新的數據流；（4）根據檢測到的嫩梢區域位置信息，獲取相應的深度信息生成目標區域的點云，然后通過手眼標定結果將相機坐標系下的目標區域點云轉換至機械臂坐標系下，之后對點云進行處理，并沿機械臂z軸反方向使用提出的定位算法對嫩梢采摘位置進行3D定位；（5）對目標進行越界判斷，之后分配雙臂各自的運動空間并依次運動到目標采摘位置；（6）控制末端執行器進行嫩梢采摘，采摘后通過負壓裝置對嫩梢進行收集，之后將末端執行器復位，然后進行下一個目標的采摘，直至當前位置所有采摘空間內的嫩梢目標全部采摘完畢后機械臂復位到原始位置避免干涉下次圖像采集；（7）根據用戶命令，確定是否結束采摘或者控制底盤繼續以5 km·h-1的速度運動到下一采摘位置進行采摘。

2 結果與分析

在茶園中進行全自動化名優茶采摘試驗，控制底盤共計運動到10個不同的采摘位置后進行嫩梢采摘，分別對各個采摘位置中檢測、定位、末端采摘3個階段的收獲嫩梢個數與采摘速度進行統計分析。

2.1 采摘精度

各階段嫩梢的數量統計結果如表1所示。在10次不同采摘位置的采摘試驗中，目標視場下分布嫩梢共約323個，其中成功檢測到的嫩梢有286個，檢測成功率為88.54%。在檢測到的286個嫩梢中，共有16個嫩梢沒有深度信息導致無法定位，其中有9個嫩梢因超過設定的深度獲取閾值而沒有深度信息，7個嫩梢由于光照影響而無深度信息。在獲取到深度信息的嫩梢（270個）中，成功定位的嫩梢有227個，定位成功率為84.07%。在定位失敗的嫩梢中，18個嫩梢因為點云數量較少，點云預處理失敗；12個嫩梢由于固定的聚類閾值，導致聚類失敗，未獲得定位結果；13個嫩梢由于被老葉大面積遮擋，致使在嫩梢點云提取過程中誤提取到老葉點云，導致定位錯誤。在227個成功定位的嫩梢中，符合采摘標準并成功采摘的嫩梢共有198個，末端執行器采摘成功率87.22%。在采摘失敗的嫩梢（29個）中，10個因為超出采摘空間導致未能進行采摘，8個由于附臂未成功收集，11個由于采摘誤差導致嫩梢芽葉分離或者采摘到一芽二葉，不滿足名優茶的采摘標準。在目標視場下的全部323個嫩梢中，最終采摘到198個的嫩梢符合名優茶采摘標準，部分如圖5所示，名優茶采摘全過程整機采摘成功率為61.30%。

2.2 采摘速度

各個階段的采摘時間統計結果如表2所示。為了獲取到更高質量的嫩梢點云，在相機數據流獲取過程中使用高動態范圍成像（High-dynamic range，HDR）技術對不同曝光的多個畫面進行合成，使得在相機數據流獲取階段較為耗時（約0.671 s），這主要與相機

（結構光相機）的成像原理有關。同時，也可以通過減少HDR的曝光次數縮減數據流獲取的時間。嫩梢檢測模型平均每幀的檢測時間約為0.064 s，滿足田間嫩梢快速檢測需求。10個位置處共有270個嫩梢有深度信息，定位共耗時0.942 s，平均每個嫩梢耗時約3.49 ms，滿足嫩梢的定位效率需求。不同位置處的嫩梢定位耗時不一，這主要是因為不同位置處的點云數量不同所致。底盤每次運動時間為0.60 s，共移動10個采摘位置耗時315.590 s，末端共計采摘次數209次，平均采一個芽葉時間約1.51 s。對比嫩梢采摘全過程，發現機械臂的運動采摘過程最為耗時，平均為每個1.44 s，是造成名優茶嫩梢采摘耗時的主要原因。這主要與嫩梢的生長密度和機械臂的安全運動速度有關，不同位置處嫩梢生長密度不一、運動距離不同也是導致不同位置嫩梢耗時不同的主要因素。

3 討論

針對試驗結果，分別從名優茶采摘機器人的硬件結構、感知算法和控制系統對采摘結果進行分析。

硬件結構：本試驗基于嫩梢的定位精度需求選用結構光相機進行信息采集，點云精度符合嫩梢定位需求，但結構光相機幀率極低，而實際田間非結構化環境下，會存在微風或其他干擾物的影響，嫩梢在相機采集過程中發生晃動，影響嫩梢原始點云數據的生成，從而極大地影響定位的精度。后續可添加遮風、避光等裝置減少外界環境的干擾。同時，試驗發現機械臂在快速運動過程中容易產生反作用力致使平臺振動，后續可通過對機械臂的運動軌跡進行研究，并結合全局最優采摘路徑實現密集目標的快速、穩定采摘運動。此外，目前試驗采用的末端尺寸較大，由于茶葉生長密集，在控制末端下降過程中會碰撞莖稈引起嫩梢位置偏移導致采摘誤差。在后續的研究中可以對該末端進行輕量化設計并開發新的避障算法以實現更精準地采摘。

感知算法：試驗發現嫩梢的檢測精度未達到模型訓練測試集的精度，這是因為田間實際部署的嫩梢檢測模型樣本為上一年在中國農業科學研茶葉研究所嵊州茶葉綜合實驗基地采集的春茶樣本圖像，由于不同產地、不同時間的茶葉樣本，其特征存在差異，實際試驗時的茶樹嫩梢與建立數據集時的嫩梢數據集特征存在差異，導致嫩梢檢測精度有所下降。后續試驗需考慮隨時間變化的嫩梢生長特征的變化，結合茶葉本身的生長特性對模型進行遷移學習以提高不同時間段茶葉嫩梢檢測算法的精度。

控制系統：田間采摘試驗依賴視覺進行檢測和定位，從而指引機械臂進行采摘作業。目前在整個視覺手眼采摘系統中為開環控制，未引入視覺伺服反饋，因此雖然各環節的精度滿足需求，但由于誤差累積，最終整體流程采摘精度魯棒性不足，極大地影響最終整體采摘的成功率。在后續研究中可引入視覺伺服反饋機制或在末端執行器套筒末端增加新的傳感器進行反饋提升田間嫩梢采摘整機的魯棒性。

田間試驗結果表明，新一代名優茶采摘機器人檢測成功率為88.54%，定位成功率為84.07%，末端采摘成功率為87.22%，整機采茶成功率為61.30%，所采茶葉可滿足中端龍井茶葉要求。此外，采摘機器人單幀圖像嫩梢檢測耗時0.064 s，每個嫩梢定位耗時約3.49 ms，采摘一個嫩梢的時間約1.51 s，即1 h可以采摘2 000多個，一天可采2 kg左右的芽葉，基本達到一臺機器替代一個工人的采摘效率。

參考文獻

[1]楊亞軍. 堅持問題導向 推動我國茶業高質量發展——我國茶產業發展現狀與建議[J]. 中國茶葉， 2023， 45（1）： 1-5.

Yang Y J. Adhere to problem orientation and promote high-quality development of China's tea industry： current situation and suggestions of tea industry development in China [J]. China Tea， 2023， 45（1）： 1-5.

[2]梅宇， 張朔. 2022年中國茶葉生產與內銷形勢分析[J]. 中國茶葉， 2023， 45（4）： 25-30.

Mei Y， Zhang S. Analysis of China's tea production and domestic sales in 2022 [J]. China Tea， 2023， 45（4）： 25-30.

[3]陸德彪， 尹軍峰. 我國名優綠茶機械化采摘的意義與實現路徑[J]. 中國茶葉， 2018， 40（1）： 1-4.

Lu D B， Yin J F. Significance and realization of mechanized picking of high-quality green tea in China [J]. China Tea， 2018， 40（1）： 1-4.

[4]周宇杰， 吳強， 賀磊盈， 等. 名優茶采摘機器人的系統設計與試驗[J]. 機械工程學報， 2022， 58（19）： 12-23.

Zhou Y J， Wu Q， He L Y， et al. Design and experiment of intelligent picking robot for famous tea [J]. Journal of Mechanical Engineering， 2022， 58（19）： 12-23.

[5]方夢瑞， 呂軍， 阮建云， 等. 基于改進YOLOv4-tiny的茶葉嫩芽檢測模型[J]. 茶葉科學， 2022， 42（4）： 549-560.

Fang M R， Lü J， Ruan J Y， et al. Tea buds detection model using improved YOLOv4-tiny [J]. Journal of Tea Science， 2022， 42（4）： 549-560.

[6]Yan L J， Wu K H， Lin J， et al. Identification and picking point positioning of tender tea shoots based on MR3P-TS model [J]. Frontiers in Plant Science， 2022， 13： 962391. doi： 10.3389/fpls.2022.962391.

[7]Zhang L， Zou L， Wu C Y， et al. Locating famous teas picking point based on Shi-Tomasi algorithm [J]. Computers， Materials & Continua， 2021， 69（1）： 1109-1122.

[8]Li Y T， He L Y， Jia J M， et al. High-efficiency tea shoot detection method via a compressed deep learning model [J]. International Journal of Agricultural and Biological Engineering， 2022， 15（3）： 159-166.

[9]Li Y T， He L Y， Jia J M， et al. In-field tea shoot detection and 3D localization using an RGB-D camera [J]. Computers and Electronics in Agriculture， 2021， 185： 106149. doi： 10.1016/j.compag.2021.106149.

[10]Han Y， Xiao H R， Qin G M， et al. Developing situations of tea plucking machine [J]. Engineering， 2014， 6（6）： 268-273.

[11]許麗佳， 劉琦， 代建武， 等. 茶葉嫩梢采摘末端執行器的設計研究[J]. 茶葉科學， 2021， 41（5）： 705-716.

Xu L J， Liu Q， Dai J W， et al. Design of end effector for picking tea shoots [J]. Journal of Tea Science， 2021， 41（5）： 705-716.

[12]Chen C L， Lu J Z， Zhou M C， et al. A YOLOv3-based computer vision system for identification of tea buds and the picking point [J]. Computers and Electronics in Agriculture， 2022， 198： 107116. doi： 10.1016/j.compag.2022.107116.

[13]羅坤， 吳正敏， 曹成茂， 等. 茶鮮葉嫩梢捏切組合式采摘器設計與試驗[J]. 農業工程學報， 2022， 38（13）： 1-9.

Luo K， Wu Z M， Cao C M， et al. Design and experiment of the combined pinch and cut picker for tea fresh leaf tips [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（13）： 1-9.

[14]賈江鳴， 葉玉澤， 程培林， 等. 手持式名優茶嫩梢采摘機械手設計與試驗優化[J]. 農業機械學報， 2022， 53（5）： 86-92.

Jia J M， Ye Y Z， Cheng P L， et al. Design and experimental optimization of hand-held manipulator for picking famous tea shoot [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（5）： 86-92.

[15]孫艷霞， 陳燕飛， 金小俊， 等. 名優綠茶智能化采摘關鍵技術研究進展[J]. 包裝與食品機械， 2022， 40（3）： 100-106.

Sun Y X， Chen Y F， Jin X J， et al. Review on key technologies of intelligent plucking of high-quality green tea [J]. Packaging and Food Machinery， 2022， 40（3）： 100-106.

[16]Yang H L， Chen L， Ma Z B， et al. Computer vision-based high-quality tea automatic plucking robot using Delta parallel manipulator [J]. Computers and Electronics in Agriculture， 2021， 181： 105946. doi： 10.1016/j.compag.2020.105946.

[17]Li Y T， Wu S K， He L Y， et al. Development and field evaluation of a robotic harvesting system for plucking high-quality tea [J]. Computers and Electronics in Agriculture， 2023， 206： 107659. doi： 10.1016/j.compag.2023.107659.

[18]Zhu Y P， Wu C Y， Tong J H， et al. Deviation tolerance performance evaluation and experiment of picking end effector for famous tea [J]. Agriculture， 2021， 11（2）： 1-18.

[19]陳建能， 李杭， 任萍， 等. 螺紋管吸附式名優茶采收器設計與試驗[J]. 農業機械學報， 2023， 54（5）： 131-139.

Chen J N， Li H， Ren P， et al. Design and experiment of threaded tube adsorption type famous tea harvester [J]. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（5）： 131-139.