基于Gazebo 虛擬世界的草莓采摘機(jī)器人仿真研究

裴雙成，鐘 波

（1.湖南農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，湖南 長(zhǎng)沙 410128；2.長(zhǎng)沙市開(kāi)福區(qū)福安水利管理所，湖南 長(zhǎng)沙 410003）

0 引言

中國(guó)草莓的種植面積與總產(chǎn)量一直位居世界前列[1]。草莓作為一種高營(yíng)養(yǎng)的水果，深受消費(fèi)者喜愛(ài)。然而，草莓的生產(chǎn)成本非常高昂，主要是因?yàn)槿斯げ烧膭趧?dòng)力成本大，這也給草莓產(chǎn)業(yè)帶來(lái)了巨大的經(jīng)營(yíng)不確定性[2]。因此，迫切需要提高草莓采摘的自動(dòng)化水平，以解放勞動(dòng)力并降低采摘成本。與蘋(píng)果、柑橘等其他水果相比，草莓的果實(shí)更為嬌嫩，傳統(tǒng)的機(jī)械采摘裝置很容易造成草莓破損，因此目前基本上只能依靠人工采摘。通過(guò)采摘機(jī)器人模仿人工的操作，利用機(jī)器視覺(jué)系統(tǒng)在果園的自然環(huán)境中準(zhǔn)確識(shí)別和定位草莓，并模擬人手的采摘?jiǎng)幼魍瓿刹烧鳂I(yè)，是提高草莓機(jī)械化收獲水平的有效途徑[3-6]。

草莓采摘機(jī)器人的開(kāi)發(fā)研究涉及機(jī)械、電控、機(jī)器視覺(jué)、人工智能等一系列相關(guān)系統(tǒng)，具有很大的開(kāi)發(fā)難度和研發(fā)周期。為了解決這個(gè)問(wèn)題，應(yīng)用計(jì)算機(jī)仿真技術(shù)可以在虛擬環(huán)境中集成模擬草莓采摘機(jī)器人所需的系統(tǒng)和功能，通過(guò)進(jìn)行前期開(kāi)發(fā)試驗(yàn)和算法驗(yàn)證，可以在較短的時(shí)間內(nèi)完成開(kāi)發(fā)工作，從而大大縮短開(kāi)發(fā)周期并降低開(kāi)發(fā)成本。因此，草莓采摘機(jī)器人的仿真研究具有重要的意義[6-9]。

通過(guò)計(jì)算機(jī)仿真技術(shù)，可以建立一個(gè)虛擬的果園環(huán)境，在其中模擬草莓植株的生長(zhǎng)狀態(tài)、果實(shí)的成熟度和分布情況等。同時(shí)，可以集成機(jī)器視覺(jué)系統(tǒng)，使機(jī)器能夠準(zhǔn)確地識(shí)別和定位草莓果實(shí)。此外，還可以模擬機(jī)器手的動(dòng)作和力度，以完成草莓的采摘作業(yè)。通過(guò)對(duì)這些系統(tǒng)和功能進(jìn)行仿真研究，可以評(píng)估機(jī)器的性能和穩(wěn)定性，并優(yōu)化算法和控制策略，以提高草莓采摘機(jī)器人的效率和準(zhǔn)確性。寧玥利用3Ds MAX軟件繪制農(nóng)機(jī)的三維模型，通過(guò)Unity3D 軟件解析運(yùn)動(dòng)及作業(yè)流程，并進(jìn)行了網(wǎng)絡(luò)化在線展示，對(duì)實(shí)現(xiàn)設(shè)計(jì)者和需求者之間的交流交互具有重要的作用[10]。李林峻等采用網(wǎng)絡(luò)化協(xié)同設(shè)計(jì)的方式對(duì)農(nóng)機(jī)發(fā)動(dòng)機(jī)進(jìn)行設(shè)計(jì)與優(yōu)化，提高了農(nóng)機(jī)零部件的設(shè)計(jì)水平，縮短了設(shè)計(jì)周期，提升了生產(chǎn)效率[11]。馬斌強(qiáng)等采用ADAMS 軟件對(duì)平行四桿機(jī)構(gòu)的液壓舉升機(jī)構(gòu)進(jìn)行仿真設(shè)計(jì)，并驗(yàn)證其性能參數(shù)，為實(shí)際設(shè)計(jì)機(jī)構(gòu)提供了依據(jù)[12]。于圣潔等利用SolidWorks 建立就地翻土犁數(shù)學(xué)模型，并通過(guò)EDEM 軟件構(gòu)建土壤顆粒離散元模型，模擬土壤耕作試驗(yàn)[13]。

在草莓采摘機(jī)器人的仿真研究中，還可以模擬不同的環(huán)境條件和任務(wù)場(chǎng)景，例如不同的果園布局、不同的草莓品種和果實(shí)形狀等。通過(guò)對(duì)這些場(chǎng)景的仿真研究，可以為機(jī)器人的實(shí)際應(yīng)用提供指導(dǎo)，并提前解決可能出現(xiàn)的問(wèn)題。

1 材料與方法

草莓果實(shí)在生長(zhǎng)時(shí)因重力影響易下垂，較易被周圍枝葉遮擋，傳統(tǒng)的機(jī)器視覺(jué)系統(tǒng)在果園環(huán)境下難以準(zhǔn)確識(shí)別成熟的草莓果實(shí)。為了解決該問(wèn)題，本文采用Kinect 相機(jī)采集自然環(huán)境下的草莓圖像，使用YOLOv8 卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)草莓檢測(cè)模型進(jìn)行迭代訓(xùn)練，將最優(yōu)權(quán)重模型作為草莓的實(shí)時(shí)檢測(cè)模型用于識(shí)別草莓果實(shí)與枝葉，同時(shí)通過(guò)Kinect 相機(jī)三維點(diǎn)云數(shù)據(jù)獲得草莓與障礙物的準(zhǔn)確空間坐標(biāo)[14]。針對(duì)果園環(huán)境下光照度差異對(duì)草莓識(shí)別影響較大的問(wèn)題，本文通過(guò)增加不同光照度以及順光和逆光條件下的草莓?dāng)?shù)據(jù)集來(lái)優(yōu)化草莓檢測(cè)模型。考慮到草莓成熟時(shí)間不一致，采摘時(shí)拍攝的圖像中包含成熟與未成熟的草莓，本文在進(jìn)行草莓?dāng)?shù)據(jù)集標(biāo)注時(shí)，將成熟草莓與未成熟草莓分別進(jìn)行標(biāo)注，并將標(biāo)簽設(shè)置為“ripe”與“unripe”。標(biāo)注完成后隨機(jī)抽取100 張草莓圖像交由果農(nóng)確定標(biāo)注的成熟草莓與未成熟草莓是否準(zhǔn)確，以增大數(shù)據(jù)集的可靠性。

2 機(jī)構(gòu)設(shè)計(jì)

草莓的表皮相對(duì)較為脆弱，一旦損壞，草莓的保鮮期將大大縮短，對(duì)于銷售也不利。因此，在采摘草莓的過(guò)程中，需要非常精準(zhǔn)地進(jìn)行操作，以避免對(duì)草莓表皮造成損傷。為了滿足這一要求，本文設(shè)計(jì)了一種草莓采摘機(jī)器人，主要由Kinect 深度相機(jī)、六軸機(jī)械臂以及三爪夾持式采摘機(jī)械手組成，如圖1所示。

圖1 草莓采摘機(jī)器人

2.1 六軸機(jī)械臂設(shè)計(jì)

本文的六軸機(jī)械臂通體由3D 打印部件組成，如圖2 所示，軸間驅(qū)動(dòng)采用了伺服電機(jī)，配備諧波減速器，可以在充分保證運(yùn)動(dòng)精度的同時(shí)盡可能降低制作成本[6]。六軸聯(lián)動(dòng)下，機(jī)械臂末端運(yùn)動(dòng)半徑最大可達(dá)770 mm，完全滿足小型輔助采摘設(shè)備的基本需求[5]。

圖2 六軸機(jī)械臂

2.2 三爪夾持式采摘機(jī)械手設(shè)計(jì)

基于曲柄連桿機(jī)構(gòu)，并仿照人手三指捏合的動(dòng)作原理，設(shè)計(jì)了三爪夾持式采摘機(jī)械手，并通過(guò)42 步進(jìn)電機(jī)驅(qū)動(dòng)底板前后移動(dòng)，使三指連接的曲柄同時(shí)閉合，以牢固夾持草莓，三爪夾持式采摘機(jī)械手如圖3所示[15]。同時(shí)，三指末端采用柔軟的橡膠材料，夾持草莓時(shí)可按照草莓外表皮進(jìn)行形變，減小了采摘過(guò)程中對(duì)草莓表皮的損傷[16]。

圖3 三爪夾持式采摘機(jī)械手

3 運(yùn)動(dòng)仿真分析

將六軸機(jī)械臂及三爪夾持式采摘機(jī)械手的SolidWorks 模型轉(zhuǎn)換為URDF 模型文件，便于導(dǎo)入Gazebo 環(huán)境中。使用Ubuntu 下ROS 的Moveit 插件，導(dǎo)入U(xiǎn)RDF 文件，構(gòu)建六軸機(jī)械臂在Rviz 三維可視化平臺(tái)插件中正、逆解的運(yùn)動(dòng)規(guī)劃文件，同時(shí)在文件包中配置Gazebo 仿真環(huán)境的執(zhí)行命令。配置完成后，執(zhí)行roslaunch 文件，打開(kāi)Rviz 三維可視化平臺(tái)及Gazebo 仿真環(huán)境，草莓采摘機(jī)器人的模型同時(shí)在Rivz 和Gazebo 中顯示，通過(guò)Rviz 發(fā)送控制信息后，Gazebo 仿真世界中草莓采摘機(jī)器人將執(zhí)行同樣的動(dòng)作，并有實(shí)時(shí)的三維點(diǎn)云數(shù)據(jù)與相機(jī)畫(huà)面在Rviz 中顯示，如圖4所示。

圖4 Gazebo世界中的草莓采摘機(jī)器人

為真實(shí)地還原草莓采摘的自然環(huán)境，在Gazebo環(huán)境中添加草莓壟和草莓作物，以及作為障礙物的圍欄[17]。移動(dòng)草莓采摘機(jī)器人至草莓壟前，Kinect 相機(jī)掃描的三維點(diǎn)云數(shù)據(jù)實(shí)時(shí)顯示在Rviz 中，并獲得草莓和障礙物的精確三維空間坐標(biāo)[18]，如圖5所示。

圖5 Kinect相機(jī)三維點(diǎn)云數(shù)據(jù)

其中，以六軸機(jī)械臂底盤(pán)最低面的中心為原點(diǎn)，建立世界坐標(biāo)系，而草莓果實(shí)的三維空間坐標(biāo)所在坐標(biāo)系是在Kinect 相機(jī)物理坐標(biāo)系和像素坐標(biāo)系下構(gòu)建的，為得到在世界坐標(biāo)系下正確的草莓果實(shí)坐標(biāo)，需要將三個(gè)坐標(biāo)系進(jìn)行轉(zhuǎn)換。為便于機(jī)械臂接收運(yùn)動(dòng)坐標(biāo)，選擇將像素坐標(biāo)系通過(guò)旋轉(zhuǎn)變換及平移變換同步至世界坐標(biāo)系下。

首先，將像素坐標(biāo)系轉(zhuǎn)換至相機(jī)物理坐標(biāo)系下，轉(zhuǎn)換公式如式（1）所示：

圖像的單個(gè)像素在相機(jī)物理坐標(biāo)系的X軸方向和Y軸方向上的大小分別為dx、dy，草莓果實(shí)在像素坐標(biāo)系上的坐標(biāo)為（u,v）。

變換的公式如式（2）所示：

其中，XW、YW、ZW為草莓果實(shí)在機(jī)械臂的世界坐標(biāo)系中的三維坐標(biāo)，XC、YC、ZC為草莓果實(shí)在相機(jī)坐標(biāo)系中的三維坐標(biāo)，R為旋轉(zhuǎn)矩陣，t為平移矩陣。

轉(zhuǎn)換坐標(biāo)系后，在Rviz 中輸入草莓的空間坐標(biāo)，六軸機(jī)械臂通過(guò)Moveit 插件中的運(yùn)動(dòng)學(xué)求解器IKFAST 進(jìn)行運(yùn)動(dòng)規(guī)劃。IKFAST 是一種基于解析算法的運(yùn)動(dòng)學(xué)插件，可以保證每次求解的一致性，并且可以求解任意復(fù)雜運(yùn)動(dòng)鏈的運(yùn)動(dòng)學(xué)方程（解析解），產(chǎn)生特定語(yǔ)言的文件后供使用[19-20]；其運(yùn)動(dòng)規(guī)劃比較穩(wěn)定且速度快，在最新的處理器上能在5 μs內(nèi)完成單次運(yùn)動(dòng)規(guī)劃的運(yùn)算。使用該插件的運(yùn)動(dòng)規(guī)劃可以驗(yàn)證機(jī)械臂運(yùn)動(dòng)到該坐標(biāo)的可行性，如運(yùn)動(dòng)過(guò)程中存在障礙，運(yùn)動(dòng)規(guī)劃將中止，并重新規(guī)劃，如圖6所示[21]。

圖6 機(jī)械臂運(yùn)動(dòng)規(guī)劃

運(yùn)動(dòng)規(guī)劃完成后，通過(guò)Rviz 將六軸的控制信息發(fā)送至Gazebo，Gazebo 中的草莓采摘機(jī)器人模型按照Rviz 中的運(yùn)動(dòng)規(guī)劃軌跡進(jìn)行，三爪夾持式采摘機(jī)械手移動(dòng)至草莓果實(shí)處，三指閉合，機(jī)械手夾持住草莓后，機(jī)械臂返回原點(diǎn)，并將草莓根部扯斷，完成采摘。

在Rviz 中將生成草莓采摘機(jī)器人的末端運(yùn)動(dòng)軌跡，可用于分析機(jī)械臂運(yùn)動(dòng)規(guī)劃的合理性及軌跡算法的研究，為運(yùn)動(dòng)避障提供準(zhǔn)確的運(yùn)動(dòng)數(shù)據(jù)，如圖7 所示。同時(shí)，Kinect 相機(jī)的三維點(diǎn)云數(shù)據(jù)也將記錄運(yùn)動(dòng)過(guò)程的位姿變化，便于草莓采摘機(jī)器人的調(diào)整[22]。

圖7 Rviz可視化末端機(jī)械手運(yùn)動(dòng)軌跡

4 討論

首先，本文使用了G a z e b o 仿真環(huán)境，較SolidWorks 等軟件，能更真實(shí)地還原草莓采摘的自然環(huán)境，包括壟道、作物、柵欄、枝葉等，對(duì)驗(yàn)證草莓采摘機(jī)器人的方案可行性具有直觀的效果。

其次，在Rviz 中可生成可視化的末端運(yùn)動(dòng)軌跡，可為六軸機(jī)械臂或其他多軸運(yùn)動(dòng)機(jī)械的運(yùn)行軌跡設(shè)計(jì)提供準(zhǔn)確的實(shí)驗(yàn)數(shù)據(jù)，并且可與修改后的機(jī)械運(yùn)動(dòng)軌跡進(jìn)行對(duì)比，更好地確定機(jī)械運(yùn)動(dòng)的關(guān)鍵參數(shù)。

再次，本文結(jié)合了Kinect 相機(jī)進(jìn)行仿真，可實(shí)時(shí)獲取周圍的環(huán)境信息，三維點(diǎn)云數(shù)據(jù)的應(yīng)用可將環(huán)境感知融入到仿真研究中[23-24]。

最后，本文設(shè)計(jì)了一種基于曲柄連桿機(jī)構(gòu)的三爪同步夾持式采摘機(jī)器人，仿照人手三指捏合的動(dòng)作，采摘草莓時(shí)更加自然，末端的橡膠材料則能保證盡可能無(wú)損采摘草莓，并結(jié)合六軸機(jī)械臂進(jìn)行了仿真采摘研究。

5 結(jié)論

本文基于Gazebo 虛擬世界對(duì)自制的草莓采摘機(jī)器人進(jìn)行了仿真研究。為了更貼近現(xiàn)實(shí)的仿真效果，本文充分模擬了草莓采摘的自然環(huán)境。在Gazebo 虛擬世界中，創(chuàng)建了一個(gè)果園場(chǎng)景，包括草莓植株的生長(zhǎng)狀態(tài)、果實(shí)的成熟度和分布情況等。通過(guò)這樣的模擬，可以更加真實(shí)地評(píng)估草莓采摘機(jī)器人的性能和穩(wěn)定性。

在仿真過(guò)程中，融合了Kinect 相機(jī)，用于感知外界環(huán)境。Kinect 相機(jī)可以生成三維點(diǎn)云數(shù)據(jù)，能夠準(zhǔn)確地感知Gazebo 虛擬世界中的物體。通過(guò)對(duì)這些點(diǎn)云數(shù)據(jù)進(jìn)行處理，可以為草莓采摘機(jī)器人提供準(zhǔn)確的坐標(biāo)信息，幫助機(jī)器人精確地定位和采摘草莓。同時(shí)，在仿真過(guò)程中記錄了草莓采摘機(jī)器人的可視化末端運(yùn)動(dòng)軌跡。這些數(shù)據(jù)對(duì)于后續(xù)的避障算法和路徑規(guī)劃非常有幫助。通過(guò)分析這些運(yùn)動(dòng)軌跡，可以了解機(jī)器人在采摘過(guò)程中可能遇到的障礙物和困難，從而優(yōu)化機(jī)器人的動(dòng)作和控制策略，提高采摘的效率和準(zhǔn)確性。

通過(guò)基于Gazebo虛擬世界的仿真研究，可以在較短的時(shí)間內(nèi)完成草莓采摘機(jī)器人的開(kāi)發(fā)工作，并降低開(kāi)發(fā)成本。同時(shí)，還可以在虛擬環(huán)境中模擬不同的任務(wù)場(chǎng)景，例如不同的果園布局和果實(shí)形狀，以提前解決可能出現(xiàn)的問(wèn)題，并為機(jī)器人的實(shí)際應(yīng)用提供指導(dǎo)。