溫室黃瓜采摘機器人系統設計

張帆 張帥輝 張俊雄 袁挺 李偉

|摘要|為了提高黃瓜采摘智能化水平、降低人工采收勞動強度，設計了溫室黃瓜采摘機器人系統。闡述了機器人系統硬件構成，提出了系統控制方案。針對黃瓜物理特性差異大、果皮脆嫩易損傷、果實葉片相互遮擋等問題，設計了具有果實遮擋探測功能的柔性采收末端執行器，可實現對果實的無損抓持和對果梗的準確切割。針對黃瓜采摘環境光照復雜多變和近色系果實目標識別問題，提出了基于光譜圖像的近色系黃瓜識別方法，可實現自然環境下果實與背景的有效分割。經機器人采摘作業測試，系統整體性能及各模塊運轉良好，具備一定的實用和推廣價值，為農業機器人進入自然環境作業提供一種借鑒手段與實現模式。

引言

黃瓜是設施農業生產中主要作物之一，設施栽培面積約占其總種植面積的47.85%[1]，收獲及采后處理時間約占黃瓜生產全部時間的50%，且收獲過程枯燥、繁重，工人需經受比室外溫度高30%、濕度高90%的惡劣作業環境的考驗。為了減輕工人勞動強度、提高采收作業的質與量，設計開發黃瓜采收作業機器人勢在必行。

20世紀60年代，日本、荷蘭、美國、西班牙等國家開始研究果蔬自動化采摘相關技術和裝備，采摘對象涉及草莓、黃瓜、番茄等果蔬品種。日本的Kondo等[2-3]研制的黃瓜采摘機器人主要由視覺傳感器、六自由度機械臂、末端執行器和移動裝置組成，采摘成功率約60%，單果采摘平均耗時16 s;荷蘭的Van Henten等[4-5]研發的黃瓜采摘機器人，移動平臺以0.8 m/s速度行走于溫室鋪設的軌道，采摘機械臂采用三菱七自由度工業機械臂，采用夾持方式夾緊果實，用高壓電極切斷果梗，果實識別率為95%，采摘成功率為80%，單果采摘平均耗時45 s。此外，草莓采摘機器人[6-7]、甜椒采摘機器人[8-10]、番茄采摘機器人[11-13]、水果采摘機器人[14]等試驗樣機也被研制出來。盡管采摘機器人具有較高市場前景，但由于作業環境和作業對象的復雜性，尚未實現產業化應用。

技術難點

大部分采摘機器人能夠實現基本的采摘功能，但在果實識別、自主導航、避障規劃及采摘末端等方面仍存在較大的提升空間。

近色系果蔬識別難點

黃瓜果實與植株同為綠色，屬近色系，不宜通過顏色信息區分目標與背景或判斷果實成熟度。解決近色系果實目標識別成為黃瓜采摘機器人難點問題之一。本文提出了基于光譜圖像的近色系黃瓜目標識別方法，根據近紅外圖像中黃瓜果實與莖、葉的不同表達，利用不同光譜圖像內作物灰度分布差異進行融合，可實現自然光照環境下黃瓜果實與背景的有效分割識別，解決了果實特征提取、品質成熟度判定、目標信息空間匹配等問題。

果蔬精準采收難點

黃瓜果實脆嫩、掛果隨機，特別存在果實相互遮擋、莖葉遮擋果實等情況，這直接影響采摘成功率、果實破損率[12]。解決果實采摘信息遮擋探測與柔性抓取也成為黃瓜采摘機器人難點問題之一。本文提出了具有探測果實采摘遮擋信息功能的黃瓜采收柔性末端執行器，主要由兩個氣動軟體關節組成，在保持一定柔性的同時也兼顧剛度，可實現黃瓜采摘機器人在復雜多變的采摘作業環境中對果實的準確、無損傷抓持。

系統構成

黃瓜采摘機器人作業于溫室非結構環境下，是一種融合多傳感技術的高度協同自動化系統，主要由自主移動平臺、視覺伺服系統、采摘末端執行器組成，可實現黃瓜種植壟間的自主導航運動，完成黃瓜果實信息獲取、成熟度判別、遮擋信息判斷，進而確定收獲目標的三維空間信息，引導六自由度機械臂與柔性末端執行器完成果梗切割位置探測和柔性自適應抓取采收，最終實現黃瓜作物的機器人化自主采摘作業，其硬件構成如圖1所示。

自主移動平臺

經調研，溫室路面不平整，地面存在1～3 cm的起伏及部分角度為10～20°的小坡，輪式移動平臺在行走過程中易顛簸且帶入泥沙，為此采用越野履帶式移動平臺可有效提升車體平穩性。導航攝像頭安裝于移動平臺前端，實時獲取導航信息，通過差速控制機器人行走，平臺續航時間2 h，導航精度5 mm[16]。

視覺伺服系統

視覺伺服系統由雙目系統和采摘機械臂組成。雙目系統獲取采摘信息，對采摘環境和采摘目標進行實時感知及實時決策。采摘機械臂進行路徑規劃，將采摘末端執行器運送到采摘點，并通過手眼協調，提高采摘機器人對復雜環境的適應能力。

采摘末端執行器

采摘末端執行器具有夾持果實、推開遮擋葉片、果梗檢測和剪切果梗的功能，其機械結構根據黃瓜的形狀特點進行設計，兩個氣動柔性手指構成的夾持機構、旋轉氣缸構成的剪切機構降低了果實損傷率、提高了采摘成功率。

控制原理

溫室黃瓜采摘機器人由視覺信息獲取系統、采摘信息處理系統、運動執行系統3大模塊組成信息獲取與控制系統結構，如圖2所示。

機器人系統信息傳輸流程，根據信息內容，又可分為導航信息系統與采摘信息系統兩大模塊。

導航信息系統通過導航攝像機實時獲取路面圖像信息，將圖像數據傳輸至中央控制器。中央控制器調用導航控制程序，計算獲得車輪電機驅動器轉向所需的導航控制參數，最終通過控制車輪電機轉速實現導航轉向。

采摘信息系統通過雙目攝像機采集黃瓜圖像，中央控制器調用采摘控制程序對圖像進行處理，計算黃瓜采摘點三維坐標信息，并發送至機械手控制器。機械手控制器將一部分信號轉換為機械臂關節驅動器可識別的運動參數，由機械臂關節電機完成目標三維定位;另一部分信號由末端執行器單片機轉換為電平信號，發送至末端執行器電磁閥，超聲傳感器檢測到采收位置，通過末端執行器氣缸的張合動作完成果梗切割與夾持。

機器人采摘信息系統發現可采摘黃瓜后向導航信息系統發送停車指令，在移動平臺停止前行后，進行后續采摘動作流程。

采摘流程

機器人采摘流程如圖3所示，系統啟動后，機器人自主循線行走，開啟果實信息獲取系統的單個攝像機動態搜索視場內適宜采摘的黃瓜果實，檢測到后立即停車，通過雙目立體測距算法對采摘目標進行初定位。機械臂引導末端執行器運動至初定位位置后，推擋機構往上運動，推開葉片，使果實和果梗充分可見，同時紅外傳感器進行實時監測，進行采摘點二次定位。隨后由柔性手指抓取黃瓜果柄，切刀切斷果梗。最后，機械臂引導末端執行器運動至果實筐上方，釋放果實，機械臂復位，完成一個采摘循環。之后采摘機器人將繼續循線行走，重復執行采摘流程，直到行走至終點停止。

末端執行結構設計

黃瓜采摘末端執行器根據果實形狀、表面特性進行設計，由葉片推擋機構、果梗剪切機構、果梗檢測機構、直線導軌滑臺和軟體手幾部分組成（圖4），具有自適應果梗剪切、無損傷抓持和去葉片遮擋3大功能，末端執行器工作情況如圖5所示。

自適應果梗剪切功能

在理想狀態下，黃瓜果實形狀為細長圓柱狀，因重力作用果實自然垂下，果梗位于果實最上端。而實際情況是果實粗細不一、長短各異，果梗位置無法準確定位。為適應不同長度果實的果梗準確切割，將柔性手指、機械臂末端、直線導軌基座固定連接，再將果梗檢測機構、果梗剪切機構、直線導軌滑臺固定連接，柔性手指與剪切機構之間的位置關系隨直線導軌的移動而變化。該設計可實現非結構環境下黃瓜果實的仿形，柔性手指自適應夾持黃瓜重心位置，直線導軌向上移動，果梗檢測機構檢測果梗，直至導軌將剪切機構運動至果梗位置，用擺動氣缸刀片切斷果梗，完成果實與植株分離。

無損傷抓持功能

適合機器人采摘的黃瓜果實，重量約100～250 g、直徑約30～40 mm。黃瓜表皮嬌嫩、表面凹凸不平，夾持時因表面凸起處受力大而導致局部破損。采用軟體手指夾持黃瓜，在保持一定柔性的同時也兼顧剛度，能有效貼合果實表面，果實表面受力均勻，以實現無損夾持。

去遮擋功能

除黃瓜果實形態不一之外，葉片對黃瓜果實的遮擋問題也會大幅降低果梗剪切的成功率。針對該問題團隊設計了葉片推擋機構，可隨導軌上升、推開葉片，使果梗部分清晰可見，提高果梗檢測機構的檢測成功率和果梗剪切機構的剪切成功率，進而提高采摘成功率。

視覺系統設計

黃瓜采摘機器人視覺系統由視覺系統硬件和視覺識別算法構成，具有果實識別和果實三維定位功能。視覺系統硬件包含人工光源和雙目近紅外相機兩部分（圖6），近紅外相機拍攝固定波段的光譜圖像用于黃瓜識別，進而根據雙目測距原理獲得黃瓜三維空間位置，有效解決自然環境下多變光照適應問題和近色系黃瓜識別問題。

解決光照多變適應問題

由于溫室光照條件復雜多變，存在背光、逆光和側光等多種光照情況，使用鹵素射燈作為主動光源，減少了自然強光照射、葉片陰影噪聲等不確定因素的影響，使得輸入圖像更加穩定，更有利于目標信息的有效感知。

解決近色系果實識別問題

黃瓜顏色與背景顏色為近色系，普通彩色圖像不利于分割果實和背景，利用果實和莖葉對不同波段的光譜反射率不同轉化為圖像上的灰度差異，采用基于多光譜圖像的融合技術，利用其在時空上的相關性和信息上的互補性，可進一步增加圖像分割、目標提取的精確性、可靠性和對外界環境的抗干擾能力。黃瓜采摘果實視覺識別算法中，針對690 nm和830 nm黃瓜光譜圖像特征，采用歸一化線性極差（NRGD）進行圖像融合，經圖像增強、圖像分割、閾值優化、噪聲處理后，可將黃瓜果實與背景成功分離（圖7）。

系統參數

黃瓜采摘機器人系統經第三方檢測，其技術指標如表1所示。實驗結果表明黃瓜采摘機器人視覺系統定位最大誤差為-7 mm，X軸和Y軸定位誤差均在±2 mm范圍內，該誤差遠小于果實直徑及末端執行器手指開度，可滿足采摘需求。相比于國外同類機器人，本設計的黃瓜采摘機器人在識別成功率、采摘成功率和單果耗時3個方面都具有一定優勢。

結論

本文針對溫室環境下黃瓜機器人采摘所面臨的近色系果實識別、光照條件多變、果實形態不一、果實葉片相互遮擋等問題，設計了溫室黃瓜采摘機器人并對其進行了系統集成，通過第三方檢驗機構檢測，機器人視覺識別與定位、移動平臺自主導航、機械臂空間運動、末端執行器抓持與切割等環節執行狀況良好，技術指標滿足機器人采摘示范應用要求，為智能化裝備真正進入自然采收環境奠定了技術基礎。

參考文獻

[1] 豐收邦.直擊：全國5900萬畝設施蔬菜主產區分布情況！[DB/OL]. 2018-01-17， https：//www.sohu.com/a/217341748_750909.

[2] Arima S，Kondo N.Basic studies on cucumber harvesting robot[J].Proceedings of ARBIP95， Japan Society of Agricultural Machinery，1995（1）：195-202.

[3] Arima S，Kondo N.Cucumber Harvesting Robot and Plant Training System[J].Journal of Robotics and Mechatronics，1999，11（3）：208-212.

[4] Henten E J V， Hemming J， Tuijl B A J V，et al.An Autonomous Robot for Harvesting Cucumbers in Greenhouses[J].Autonomous robots，2002，13（3）：

241-258.

[5] Henten E J V， Tuijl J V，Hemming J，et al.Field Test of an Autonomous Cucumber Picking Robot[J].Biosystems Engineering，2003，86（3）：305-313..

[6] Qingchun F， Xiu W ， Wengang Z，et al.A New Strawberry Harvesting Robot for Elevated-trough Culture[J].International Journal of Agricultural and Biological Engineering，2012，5（2）：1-8.

[7] Feng G，Qixin C，Yongjie C，et al.Fruit location and stem detection method for strawberry harvesting robot[J].Transactions of the Chinese Society of Agricultural Engineering，2008.

[8] Lehnert C， Sa I，Mccool C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C].2016 IEEE International Conference on Robotics and Automation （ICRA）. IEEE， 2016.

[9] Vitzrabin E，Edan Y.Changing Task Objectives for Improved Sweet Pepper Detection for Robotic Harvesting[J].IEEE Robotics and Automation Letters，2017，1（1）：578-584.

[10] Hemming J ， Bac C W ， Van Tuijl B A J， et al. A Robot for Harvesting Sweet-Pepper in Greenhouses[J]. International Conference of Agriculture Enginneering， 2014：1-8.

[11] 劉繼展，李萍萍，倪齊，等.番茄采摘機器人真空吸盤裝置設計與試驗[J].農業機械學報，2010，41（10）：170-173+184

[12] 梁喜鳳，金超杞，倪梅娣，等.番茄果實串采摘點位置信息獲取與試驗[J].農業工程學報，2018，34（16）：163-169.

[13] Zhao Y ， Gong L ， Liu C ， et al. Dual-arm Robot Design and Testing for Harvesting Tomato in Greenhouse[J]. IFAC-PapersOnLine， 2016， 49（16）： 161-165.

[14] Chiu Y C ， Chen S ， Lin J F . Study of an Autonomous Fruit Picking Robot System in Greenhouses [J].Engineering in Agriculture Environment & Food，2013，6（3）：92-98.

[15] Bac C W ， Hemming J ， Van Tuijl B A J ， et al. Performance Evaluation of a Harvesting Robot for Sweet Pepper[J]. Journal of Field Robotics， 2017， 34（6）：1123-1139.

[16] 紀超，馮青春，袁挺，等.溫室黃瓜采摘機器人系統研制及性能分析[J].機器人，2011，33（6）：726-730.

*項目支持：國家高技術研究發展計劃（863計劃）資助項目“設施農業裝備的數字化設計與智能控制技術”（編號2013AA102406）。

作者簡介：張帆（1992-），女，云南楚雄人，博士研究生，主要從事機器視覺、農業機器人、機器學習研究。

**通信作者：袁挺（1981-），男，浙江舟山人，副教授，博士，主要從事機器視覺、農業機器人、農業智能裝備研究。

[引用信息]張帆，張帥輝，張俊雄，等.溫室黃瓜采摘機器人系統設計[J].農業工程技術，2020，40（25）：16-20.