日光溫室番茄采摘機器人設計與試驗

于豐華 周傳琦 楊 鑫 郭忠輝 陳春玲

(1.沈陽農業大學信息與電氣工程學院， 沈陽 110866； 2.遼寧省農業信息化工程技術研究中心， 沈陽 110866)

0 引言

設施農業是典型的勞動密集型產業，即使在設施農業領域擁有高度自動化作業的發達國家，其作物采摘環節仍依賴大量人工來完成[1-2]。人工采摘費時費力，實現溫室自動化采摘已成為當下設施農業發展的主要需求。

隨著電子信息技術、人工智能技術、圖像識別技術的逐漸成熟，日本、荷蘭、英國、法國、美國等從20世紀80年代中期就開展了采摘機器人研究，采摘對象包括蘋果、蘆筍、草莓、葡萄、甘藍、黃瓜、番茄、蘑菇等。

而我國對于農業采摘機器人的研究較晚，且目前仍處于起步階段[3]。王順溈等[4]設計了一款通過震動使果梗分離、通過仿雨傘機構收集果實的采摘機械臂。但此機械臂會由于果梗柔韌性過大而發生漏采現象，且在收集過程中無法避免果實間的碰撞，這將嚴重影響采摘覆蓋率與果實品質。馬廷輝[5]設計了四自由度機械手，采用空間坐標轉換進行運動學分析，實現了強適應能力草莓采摘機器人的研制，但自由度限制了機械臂靈活度[6]。邵堃[7]通過將采摘機器人的機械臂擴展到五自由度，在9個不同高度和不同方向的目標點采摘中，最大距離偏差僅為6.71 mm。但其采用的履帶式底盤由于行駛速度慢、需要大量的轉向空間等問題，無法在日光溫室內運行。此外，湯亞東[8]通過雙目視覺、機械臂運動仿真等構建了番茄采摘機器人樣機，并完成了復雜環境下的番茄采摘測試，但因其剛性抓手的使用導致無傷采摘成功率僅為76.3%。王曉楠等[9]通過使用真空吸附裝置、柔性氣囊裝置、旋擰電機等，實現了番茄的無傷采摘。但是由于枝干、葉片等會對識別系統產生干擾，從而導致機器人的采摘精準度下降。劉芳等[10]運用改進型多尺度YOLO算法，從不同角度、不同光照強度等環境下對番茄進行訓練識別。朱明秀[11]基于K-means聚類算法，配合卷積神經網絡與雙目視覺技術，實現了采摘機器人的水果檢測與定位。胡慧明[12]使用雙目視覺技術，為采摘機器人獲取了果蔬的三維坐標，為溫室環境下的果蔬機器人采摘奠定了基礎。

本研究以北方日光溫室中的番茄為采摘對象，設計并制作一款適用于日光溫室、可以巡檢并識別采摘成熟番茄果實的移動機器人。

1 采摘機器人系統功能設計

采摘機器人系統分為底盤四輪驅動系統、采摘系統、可升降平臺系統、圖像識別系統和風機系統。其中底盤驅動系統包括4個麥克納姆輪及其驅動電機、底盤懸掛結構和底部巡線攝像頭等。采摘系統包括柔性手爪和滑軌型機械臂?？缮瞪掀脚_系統包括驅動電機及上平臺鋁板，并附有機械臂滑軌和圖像識別系統、風機系統等安裝支架。

目前，日光溫室內機器人常用的作業方式有：地面自由移動式、懸掛導軌移動式、地面導軌移動式等。鑒于日光溫室需要對光能的直接性利用[13]，安裝懸掛導軌會占用大量日光溫室內的上層空間，這將嚴重影響日光溫室的透光率，導致對光能利用率下降；地面導軌的安裝占用溫室內大量種植面積，影響土地利用率，且不利于后期大棚改造升級。故本研究采用了麥克納姆輪地面導軌移動式機器人作業方式。麥克納姆輪四驅移動平臺相對于傳統轉向機構移動平臺更加靈活，通過控制各個輪系的轉速和方向即可組合出任意方向的移動[14]，可以在狹窄的溫室內不改變自身狀態完成采摘任務。

日光溫室內的番茄主要采用架棚、作床的培育模式，列式分布、垂直生長種植方式。番茄果實縱向生長于植株上。故底盤的設計綜合考慮了以上因素，采用擺式懸掛結構，此結構可以增加機器人的地形適應能力，保證機器人行駛時底盤的貼地性，提升了行駛時底盤的穩定性與控制精確度[15]。日光溫室番茄栽培模式如圖1所示。

圖1 番茄栽培模式Fig.1 Patterns of tomato cultivation

采摘機器人工作時，機械爪的作用是抓緊果實以便進行果梗分離[16-17]，考慮到成熟番茄果實表皮的力學特性[18]，機器人采摘機構采用柔性手爪，柔性手爪由注塑工藝的橡膠材質制作。該柔性手爪采用三指抓取，由42步進電機驅動，手爪動作部分長95 mm，夾取直徑為10～120 mm，抓取頻率小于40次/min，相鄰兩指(可動)間距H1長8～100 mm，柔性手爪總長H2為152.5 mm，驅動器安裝部分高度H3為40 mm，其結構圖如圖2所示。

圖2 柔性手爪結構圖Fig.2 Structure diagram of flexible gripper

此外，在抓手的內壁還貼有如圖3所示的薄膜壓力傳感器，控制器可以通過與之連接的AD轉換電路[19]獲得抓手內部的壓力數據，進一步精準控制番茄的采摘力度，從而防止番茄因發生機械損傷而導致的皺縮、品質降低、快速腐爛[20]等。薄膜壓力傳感器的響應時間小于1 ms，形變恢復時間小于15 ms，可以在-20～60℃的環境中工作。測試中隨機讀取25次柔性手爪采摘番茄時的壓力傳感器數據，繪制曲線如圖4所示。

圖3 柔性手爪實物圖Fig.3 Physical picture of flexible gripper1.薄膜壓力傳感器 2.抓手柔性手指 3.抓手驅動電機

圖4 采摘番茄的手爪壓力變化曲線Fig.4 Claw pressure change curves for picking tomatoes

為了使機械臂摘取番茄更為靈活[21]，支撐手爪的機械臂采用6自由度設計。其中單個關節舵機在8.4 V標準工作電壓下的扭力為52 kg/cm，機械臂底座直徑L1為110 mm，底座高L2為81.5 mm，機械臂第1段關節長L3為105 mm，第2段關節長L4為77.5 mm，第3段關節長L5為58 mm，整體活動半徑為513 mm。且經過分析與討論黃國偉等[22]關于番茄果實與莖稈分離力的研究，確定了旋擰摘下的采摘方案，并設計了可以連續旋轉180°的末端關節。由此，在采摘動作方案的設計時便可使機械手在0°時深入番茄植株中，在抓取穩定后的0.8 s內，末端關節快速旋轉180°，使番茄梗與莖稈呈遠離90°角的方向受力，以實現使用最小的力使果實與莖稈分離。手爪采摘示意圖如圖5所示。

圖5 采摘示意圖Fig.5 Picking diagram1.柔性手爪 2.番茄 3.番茄果梗 4.手爪旋轉方向

生長過程中，番茄果實位置并不固定，成熟番茄果實容易被四周枝葉所遮擋，導致攝像頭無法準確判斷甚至無法識別出成熟的番茄。因此，在上平臺添加了帶有二自由度云臺的風力補償裝置，其裝置結構簡圖如圖6a所示。機器人在壟道間巡檢過程中，風力裝置向機器人的預識別區域吹風，枝葉被吹開后，即可使枝葉后面的成熟果實暴露于攝像頭視角下，實現被遮擋果實的識別。

考慮到番茄并不是處于固定高度，故設計時采用Z軸(垂直于地平面的方向)升降結構，升降結構采用絲桿控制，通過電機轉動帶動上平臺的升降，即可實現對不同高度番茄的采摘。且相對于機器人，番茄生長的深度(番茄果實與壟間中線水平距離)不同，故在機器人上平臺上安裝一由絲桿控制的可水平移動的X軸(水平面內垂直于機器人行進方向)滑軌結構。控制器通過深度相機等傳感器獲取番茄深度數據后，將自身坐標與機械臂坐標通過

AR=RB

式中A——機器人視覺坐標系

R——視覺坐標系與機械臂坐標系轉換矩陣

B——機器人機械臂坐標系

換算，計算得出相較于絲桿平臺中心位置的番茄深度數據，通過絲桿驅動電機與測距傳感器負反饋調節的配合，使機械臂運動到正確的位置后，手爪再深入抓取番茄果實。X、Z軸驅動結構簡圖如圖6a、6b所示。其中X、Z軸結構設計參數如表1所示。

表1 底盤升降平臺結構硬件參數Tab.1 Hardware parameters of chassis lifting platform structure

圖6 番茄采摘機器人結構圖Fig.6 Pictures of tomato picking robot1.滑塊 2、19.測距傳感器 3.機械臂底座 4、15、26.機械臂 5、23.果籃 6.攝像頭支架 7、28.攝像頭 8、16.絲桿 9、18.步進電機 10.風扇 11、14、22.機器人底盤上平臺 12.二自由度云臺 13.機器人底盤下平臺 17.車輪 20.麥克納姆輪 21.擺式懸掛底盤 24.水平導軌 25.風機 27.柔性手爪 29.升降驅動軸 30.巡線相機

2 采摘機器人系統軟件設計

圖7 上平臺坐標系示意圖Fig.7 Schematics of upper platform coordinate system1.機械手爪 2.風機 3.二自由度云臺 4.水平導軌 5.可升降上平臺 6.攝像頭

設偏移矩陣

Δ=[dxdyd]T

則

(1)

且易知

OArm=Ocam-Δ

(2)

式中dx——偏移矩陣中相機坐標原點與機械臂坐標原點在X軸方向的距離

dy——偏移矩陣中相機坐標原點與機械臂坐標原點在Y軸方向的距離

d——偏移矩陣中相機坐標原點與機械臂坐標原點在Z軸方向的距離

Yx——實際測量相機坐標原點與機械臂坐標原點在X軸方向的距離

Yy——實際測量相機坐標原點與小車原點在Y軸方向的距離

Yz——實際測量相機坐標原點與機械臂坐標原點在Z軸方向的距離

Δz——實際測量小車原點與運動中的機械臂坐標原點在Z軸方向的距離

采用圖漾FM810-HD型深度相機，配合Raspberry Pi 4B使用。此外，在相機和機器人上平臺連接處采用減震球連接，這樣可以使相機在底盤遇到震動時保持平穩，減少番茄位置信息的誤報，提升采摘準確度。攝像頭擺放位置如圖6a所示。

番茄識別主要由基于RGB圖像的目標檢測以及圖像數據處理兩部分構成。獲取到的RGB圖像經過R-FCN目標檢測網絡，計算出番茄所在的矩形框，然后將深度信息與目標檢測產生的二維信息融合，最終計算出番茄的點云中心位置。整體算法流程圖如圖8所示。

圖8 圖像算法流程圖Fig.8 Flowchart of image algorithm

R-FCN卷積神經網絡主要由網絡卷積神經網絡ResNet101、RPN網絡、ROI pooling層以及最后的投票決策層構成，其結構如圖9所示。圖像輸入之后，經過卷積層ResNet進行特征提取后傳給區域建議網絡RPN，經過計算之后生成候選區，將候選區加入位置特征，之后進入池化層和分類層，從而得到番茄的具體位置。R-FCN算法主要采用ResNet網絡和RPN區域建議網絡來進行訓練，ResNet的具體結構如表2所示，RPN區域建議網絡的結構由512個卷積核為3×3、邊界填充為1、滑動步長為1的卷積核組成的卷積層。R-FCN處理速度在大量試驗中比Faster RCNN更快[26-28]。

表2 ResNet結構參數Tab.2 ResNet structure parameters

圖9 R-FCN卷積神經網絡結構圖Fig.9 Structure diagram of R-FCN convolutional neural network

首先將預先拍攝好的番茄圖像標注后，按4∶1分為訓練集與測試集輸入R-FCN目標檢測網絡訓練模型，并轉換為NCNN(騰訊開源的移動端神經網絡模型)輕量級神經網絡框架，部署在Raspberry Pi 4B中。通過雙目紅外RGB深度相機獲取圖像，以相機為坐標系構建點云地圖，將三維點云信息經過多平面分割、聚類等算法過濾，再將三維點云信息反投影到二維坐標，并與檢測到的番茄關鍵幀對應的二維信息匹配，從而得到目標番茄對應的三維包圍框，計算三維包圍框的中心，作為番茄的中心點。圖10為番茄識別結果。

圖10 番茄識別結果Fig.10 Tomato identification results

傳統的采摘機器人多自由度機械臂運動采用微分插補法[29]、坐標逆運動學分析[30]等，通過攝像頭等傳感器得到目標的坐標、朝向角等信息?？刂破魍ㄟ^采集到的數據解算出各個關節的轉角，再通過控制器的脈寬調制技術產生控制信號驅動機械臂旋轉，把末端執行器以正確的角度送達指定位置以完成采摘任務。但是由于番茄等作物的生長方式較為固定，即由于重力作用，均向地心方向生長。所以如圖11所示的機械臂模型的末端執行器所連接的關節DE始終保持與地面平行即可，即末端執行器傾角α始終為0°。則機械臂進行逆運動學分析的過程中α便可直接作為已知條件代入，大大減輕了控制器的運算強度。此外，由于考慮到機械臂過長，關節B所承受力的問題，系統在設計過程中將BC臂與水平面的夾角β3固定為45°，其他關節不做限制。經過理論分析滿足

圖11 采摘機械臂關節結構簡圖Fig.11 Schematic of joint structure of picking manipulator

(3)

式中δ——上平臺滑軌可移動距離

D——大棚內供機器人行駛的壟間距

β4——機械臂第2段關節與第1段關節夾角

β5——機械臂第3段關節與第2段關節夾角

在β3與α都已知的情況下，對于執行器將運動到的番茄目標點坐標信息(Xtmo,Ytmo,Ztmo)，通過機械臂逆運動學解算分析與化簡，將番茄相對于機械臂原點OArm的高度信息分為4個階段

y1≤L3sinβ3-L4cosβ3

(4)

L3sinβ3-L4cosβ3

(5)

L3sinβ3-L4cosβ3

(6)

L3sinβ3+L4≤y4

(7)

式中y1、y2、y3、y4——第1～4階段高度

由此得番茄果實在不同高度段下的深度信息為

(8)

機械臂各關節轉角為

(9)

(10)

且易知，機械手末端坐標即為番茄坐標，故

XArm=Xtmo

(11)

YArm=Ytmo

(12)

最終將機械臂逆運動學計算過程與式(1)、(2)和式(4)～(12)寫入控制器中，機器人即可根據攝像頭識別到的番茄坐標信息完成采摘動作。

3 試驗與結果分析

3.1 試驗方法

試驗于2021年4月在沈陽農業大學后山科研基地21—22號日光溫室中進行。溫室長60 m，寬10 m，溫室內種植28行番茄，行與行壟間距1.2 m，番茄植株平均高度1.9 m，番茄在植株上的分布范圍為0.6～1.5 m，壟道間鋪有防止土壤水分蒸發的塑料布。

首先將溫室地面鋪設成如圖12所示效果，將機器人放置于正確位置，將果蔬收集筐置于機器人上平臺后，系統開機運行。

圖12 溫室內定位膠帶布線效果圖Fig.12 Effect diagram of positioning tape wiring in greenhouse1.番茄種植區 2.機器人行駛區 3.定位線 4.機器人 5.日光溫室

機器人巡檢過程中記錄每次采摘狀態、采摘效果等；在單次測試完成后導出每次相機識別坐標與機械臂關節運動角度等；隨機抽取當天所采番茄約20顆，在室內無光照(約26℃)環境下觀察其表皮褐變情況與果實腐爛程度，并與人工采摘番茄對比。試驗現場如圖13所示。

圖13 試驗現場Fig.13 Field experiment diagram1.果籃 2.升降平臺 3.滑軌 4.定位線 5.風機 6.攝像頭 7.機械臂 8.柔性手爪

3.2 試驗結果

番茄采摘機器人試驗數據如表3所示。控制器芯片導出數據經整理得采摘過程部分坐標信息如表4所示。經1～28 d觀察與統計，番茄的表皮褐變與腐爛情況如表5所示。

表3 機器人采摘效果數據Tab.3 Data sheet of robot picking effect

表4 采摘過程信息數據Tab.4 Picking process information data mm

表5 番茄狀態數據Tab.5 Tomato state data

綜上所述，通過機器與人工采摘果實質量對比可知：采摘機器人在一定程度上不會對果實產生較大損傷，其產生的損傷也在可接受范圍內。此外，盡管機械手爪與定位坐標僅有2 cm以內的誤差，但是在測試過程中如圖14a所示的采摘偏差仍不可忽略，圖14b所示未完全采摘狀況也尚未解決。

圖14 不良采摘狀況Fig.14 Bad picking condition

3.3 誤差分析

經分析可知系統誤差主要來源于攝像頭所在上平面未與地面保持水平，導致攝像頭與機械臂的坐標系與真實環境坐標系具有一定的旋轉角度差異，從而導致采摘誤差。此外，由于預先設計機械臂時沒有考慮到結構強度與彈性變形，導致機器人工作一段時間后，機械臂第2關節發生了變形，從而導致采摘不精準。還有部分番茄果梗韌性較大，機械手爪旋轉不足以將其摘下，從而導致采摘成功率較低。

4 結論

(1)設計并制作了一種可以在日光溫室內自動巡檢并采摘成熟番茄果實的移動機器人。機器人采用貼有薄膜壓力傳感器的柔性機械手爪。

(2)在手眼坐標系始終相同的前提下進行機械臂逆解、定位，控制的實時性得到了有效的提高。風力補償裝置對提高被枝葉遮擋番茄的識別有積極作用。