基于機器視覺的香蕉果柄識別及采摘試驗研究

王紅軍　鄒偉銳　謝啟旋　鄭文和

摘要：香蕉采摘是一個耗時費力的作業過程。為了實現香蕉的自動化采摘，首先，設計了一款香蕉智能采摘裝置，主要包括叉剪升降機構、3-RPS并聯機構和XY直線移動機構等，通過控制這3個機構的運動變化，滿足其搭載的末端執行機構適應香蕉果柄的空間隨機性要求；然后，搭建雙目相機視覺識別系統，采用YOLOv5算法識別香蕉果柄，選擇檢測框的中心位置為采摘點；接著，根據采摘點位置反求3-RPS并聯機構的位姿，驅動切割機構對香蕉果柄定位，完成香蕉串的自動采摘；最后，研制了香蕉智能采摘裝置樣機，開展采摘試驗。試驗結果表明，香蕉智能采摘裝置的絕對位置誤差小于8.66 mm，相對位置誤差小于0.85%；γ角度誤差小于1.10°，β角度誤差小于1.25°，滿足香蕉采摘的定位要求。

關鍵詞：機器視覺；YOLOv5；香蕉采摘；3-RPS并聯機構；香蕉果柄識別

中圖分類號：S225.93;?TP391.41?????文獻標志碼：A ???????文章編號：1674-2605（2023）05-0003-09

DOI：10.3969/j.issn.1674-2605.2023.05.003

Research on Banana Stem Recognition and Picking Experiment

Based on Machine Vision

WANG Hongjun¹??ZOU?Weirui¹??XIE?Qixuan²??ZHENG?Wenhe³

（1.South China Agricultural University， Guangzhou 510642， China

2.BYD， Co.，?Ltd.， Shenzhen 518118， China

3.BYD Electronics International Co.，?Ltd.， Shenzhen 518118， China）

Abstract： Banana picking is a time-consuming and laborious process. In order to achieve automated banana picking， firstly， an intelligent banana picking device was designed， which mainly includes a fork shear lifting mechanism， a 3-RPS parallel mechanism， and an XY linear moving mechanism. By controlling the motion changes of these three mechanisms， the end effector mechanism it is equipped with meets the spatial randomness requirements of the banana handle; Then， build a binocular camera visual recognition system， use YOLOv5 algorithm to identify the banana stem， and select the center position of the detection box as the picking point; Next， reverse the pose of the 3-RPS parallel mechanism based on the picking point position， drive the cutting mechanism to position the banana stem， and complete the automatic picking of the banana string; Finally， a prototype of an intelligent banana picking device was developed and picking experiments were conducted. The experimental results show that the absolute position error of the intelligent banana picking device is less than 8.66 mm， and the relative position error is less than 0.85%; γ The angle error is less than 1.10°， β?The angle error is less than 1.25°， meeting the positioning requirements for banana picking.

Keywords： machine vision; YOLOv5;?banana picking;?3-RPS parallel mechanism;?banana stem recognition

0 引言

近年來，我國香蕉的種植面積和產量不斷提高，香蕉產業具有較大的規模效益和發展潛力。根據海關總署的數據顯示，2021年我國香蕉進出口數量分別為186.35萬噸和2.03萬噸，進出口金額分別為10.37億美元和0.18億美元。我國香蕉產品在國際上的競爭力較弱，香蕉采收的人工成本遠高于東南亞國家^[1-2]。人工采摘已成為阻礙我國香蕉產業發展的重要因素，而農業機械化和自動化是解決該困境的有效途徑。智能化采摘機械可以提高采摘效率，減少人工成本，同時也能減少采摘過程中對香蕉的傷害，提高香蕉品質^[3]。

圍繞香蕉智能化采摘，國內外開展了相關的研究。上世紀70年代，FRANKLIN等^[4]設計一種輕簡的香蕉采收輔助裝置，具有同時砍斷和夾持果柄的功能，實現了香蕉采摘的部分機械化。澳大利亞農業部根據微型農用拖拉機拖車、液壓驅動的機械手臂、切割機構和機械手末端的容器改裝了一種香蕉采摘機^[5]。MANUEL等^[6]設計的香蕉采摘機利用末端夾持器夾住香蕉莖，切割刀片將其切掉。唐之富等^[7]研制一種模擬人工動作的香蕉采摘機械裝置，具有升降，夾持和切割香蕉串的功能。樊維^[8]設計一種能夠自動采摘香蕉的四自由度圓柱坐標型香蕉采摘機器人。劉遠力^[9]設計的香蕉采摘整機創新性地引入了前支式液壓伸縮臂與配重塊相結合的采摘方式。

香蕉采摘裝置的研究雖然取得了一定的進展，但在智能化采摘方面還鮮有報導。本文利用雙目相機視覺識別系統獲取香蕉串圖像，采用YOLOv5算法識別圖像中的香蕉果柄，并選擇檢測框的中心位置為采摘點；根據采摘點位置反求3-RPS并聯機構的位姿，驅動夾持切割機構對香蕉果柄定位，完成香蕉串的自動采摘。

1 香蕉智能采摘裝置

1.1 裝置總體結構

香蕉智能采摘裝置機械結構主要包括行走小車、叉剪升降機構、3-RPS并聯機構、夾持切割機構、雙目相機、XY直線移動機構等，結構圖如圖1所示。

1.2 裝置工作原理

香蕉智能采摘裝置可模擬人工采摘行為實現移動、升降、位置調整、角度調整、夾持和切割果柄等動作。行走小車是承載其他機構的運動載體，實現香蕉智能采摘裝置在香蕉園移動；雙目相機安裝在3-RPS并聯機構的前端，用于獲取香蕉串圖像；上位機通過USB線與硬件系統的Arduino連接，完成雙目相機的圖像采集及自動識別；通過反求定位切割點，獲得各控制電機的狀態數據；系統控制各機械結構的電機運動，實現夾持切割機構對香蕉果柄的準確定位；由叉剪升降機構、3-RPS并聯機構和XY直線移動機構組成的混聯機構實現夾持切割機構以不同的空間位姿靠近香蕉果柄。香蕉智能采摘的工作流程如圖2所示。

1.3 裝置運動坐標系

香蕉采摘作業過程中，智能采摘裝置與香蕉串之間的相對位置關系，即香蕉智能采摘坐標系如圖3所示。

在3-RPS并聯機構上搭建的夾持切割機構通過XY直線移動機構完成定位，驅動XY直線移動機構的滑塊，使夾持切割點位置發生變化，完成夾持切割點向香蕉果柄采摘點的移動定位。為建立夾持切割機構與香蕉果柄切割點之間的運動關系，在行走小車的四輪中間建立移動平臺坐標系O_D；在香蕉樹假莖中心與地面的交點建立世界坐標系O_W，定位香蕉果柄采摘點的位置；在雙目相機安裝位置建立相機坐標系O_C；在夾持切割機構的采摘點處建立末端執行器坐標系O_E，其原點O_E在移動平臺坐標系O_D下的位置為E（x_e，y_e，z_e）；在香蕉果柄采摘點處建立采摘坐標系O_F，其原點O_F在世界坐標系O_W下的位置為F（x_f，y_f，z_f）。

2 香蕉果柄識別算法

香蕉智能采摘裝置通過雙目相機視覺識別系統識別香蕉果柄并確定采摘點，并通過反求定位切割點獲得控制機構的運動參數。采用YOLOv5算法分別檢測左、右相機圖像中的香蕉果柄，以檢測框的中心位置為采摘點，獲得其在圖像上的像素坐標。根據雙目測距原理和左、右相機得到香蕉果柄采摘點的二維位置信息，獲取香蕉果柄采摘點在相機坐標系下的三維位置信息。

2.1 數據集

本文香蕉果柄數據集包括自采集和網絡收集的圖像共925幅。其中，自采集野外圖像725幅，分別于早晨、中午和傍晚拍攝于廣州市某香蕉園，如圖4所示，圖像采集設備為高像素智能手機，分辨率為 ??2?048×1?536像素，攝像頭與香蕉的距離為500～ ????1 500?mm，早上和中午各采集300幅圖像，傍晚采集125幅圖像；利用Intel RealSense D435i深度相機自采集室內圖像100幅，分辨率為640×480像素；網絡收集圖像100幅。

2.2 圖像預處理

采用圖像標注軟件LabelImg對925幅香蕉果柄圖像進行標注，框出香蕉果柄，得到數據集的標簽文件XML，并轉換成YOLOv5訓練使用的TXT文件。TXT文件包含香蕉果柄在圖像中的坐標位置、圖像大小和標簽名稱，組成香蕉果柄數據集。

2.3 YOLOv5網絡

YOLOv5網絡由主干網絡（Backbone）、頸部（Neck）和頭部（Head）組成，結構如圖5所示。

2.3.1 輸入端

2.3.1.1 數據增強

香蕉果柄數據集只有925幅圖像，樣本數量較少，數據泛化能力不強。采用Mosaic圖像預處理技術，對香蕉果柄4幅圖像進行隨機裁剪、縮放和排布拼接操作，合成1幅圖像（如圖6所示），既豐富了檢測物體的背景，又增加了數據集樣本的數量。

2.3.1.2 ?自適應圖像縮放

YOLOv5采用自適應圖像縮放的方式調整圖像的寬和高，避免簡單比例縮放導致目標變形，造成圖像信息丟失。分別計算一幅圖像的寬和高與標準特征圖（S×S）的縮放比例，選擇較小的縮放比例計算縮放后圖像的尺寸。用圖像的原始尺寸乘以縮放比例，得到新圖像的長和寬。用標準特征圖的邊長S減去縮放后圖像需要填充灰邊的邊，得出需要填充的像素值；需要填充的像素值除以2，得到左右或上下兩邊各自需要填充的像素值，縮放效果如圖7所示。

圖7 自適應圖像縮放效果圖

2.3.1.3 ?自適應計算錨框

YOLOv5在模型訓練過程中計算錨框，即根據真實框和預測框的將算法初始設定錨框的寬和高不斷地迭代更新。首先，YOLOv5使用訓練模型對目標進行預測；然后，篩選預測框，保留寬和高都不小于2個像素的預測框；接著，根據預測框與真實框的偏移量調整錨框位置，得到預測邊界框；最后，篩選需要輸出的預測邊界框。

2.3.2 主干網絡

YOLOv5的主干網絡包括CBS模塊、CSP1_X模塊和SPPF模塊，主要通過相應的卷積操作在輸入圖像中提取特征圖。

2.3.2.1??CBS模塊

CBS模塊由卷積層Conv，批標準化BN和激活函數SiLU組成，如圖8所示。

卷積層Conv是將輸入圖像上相近的像素值通過加權疊加的方式生成另外一組數值的過程。批標準化BN通過規范手段使輸入值處于標準正態分布范圍內，以避免輸出值過大和梯度消失，解決了深層網絡訓練困難、收斂速度慢等問題。激活函數SiLU是一種將輸入端數據映射到輸出端的非線性函數，使訓練模型能更好地擬合非線性特征。SiLU函數是Sigmoid函數的加權線性組合，計算公式為

2.3.2.2??CSP1_X模塊

CSP1_X模塊包括3個CBS模塊、X個殘差模塊ResUnit和1個Concat模塊，其中殘差模塊的數量由訓練網絡中X的具體數值決定，如圖9所示。

CSP1_X模塊的輸入和輸出形狀相同，它不改變數據的寬、高和通道數量，可有效減少特征在傳輸過程中的信息丟失和計算量。Concat模塊主要將2個或多個數組拼接成1個數組。殘差模塊ResUnit結構如圖10所示，其中CBS卷積層中的卷積核大小不一，可以有效減少訓練參數。

2.3.2.3 ?SPPF模塊

SPPF模塊包括2個CBS模塊、3個最大池化層MaxPool和1個Concat模塊，結構如圖11所示。

SPPF模塊將多尺度特征進行融合，首先，對輸入數據進行1次卷積操作；然后，進行3次最大池化（核為5×5）；最后，將每次操作得出的數據進行拼接后再進行1次卷積操作，得到輸出結果。

2.3.3 頸部

頸部主要包括CBS模塊、Upsample模塊、Concat模塊和CSP2模塊，采用FPN+PAN結構。頸部特征處理流程如圖12所示。

FPN結構利用Upsample模塊向特征圖中插值，使特征圖的尺度變大，并從上一層主干網絡中獲取相對較淺的特征，通過Concat模塊將淺層的圖形特征與淺層的語義特征結合在一起。PAN結構利用CBS模塊進行下采樣，得到較深的特征，并通過Concat模塊將該較深的特征與FPN結構得到的特征結合。

頸部用于加強主干網絡提取的特征，并把加強的特征融合后傳遞到頭部。深層特征圖攜帶更強的語義特征和較弱的定位信息；淺層特征圖攜帶較強的定位信息和較弱的語義特征。FPN將多語義信息的深層特征和多細節信息的淺層特征利用下采樣進行融合，從而增強多個尺度上的語義表達。PAN把淺層的定位信息傳導到深層，增強多個尺度上的定位能力。

2.3.4 頭部

頭部只有1個卷積核為1×1的卷積層，將頸部得到的特征圖通道數擴展，是YOLOv5網絡的輸出端，其借助頸部加強融合的特征圖對圖像進行預測和分類，并輸出目標的預測信息。

2.3.5 損失函數

YOLOv5的損失函數包括分類損失、定位損失和置信度損失3類。其中，分類損失用于判斷模型是否能夠準確地識別圖像中的對象，并將其分類到正確的類別中；定位損失為預測框與真實框之間的誤差；置信度損失為網絡的置信度。YOLOv5利用二元交叉熵損失函數計算分類損失和置信度損失，利用CIoU Loss計算定位損失。

2.3.5.1??分類損失和置信度損失

YOLOv5利用二元交叉熵對每個標簽計算分類損失及置信度損失，其計算公式為

2.3.5.2??定位損失

YOLOv5利用CIoU值評價預測框和真實框的定位損失。CIoU是IoU（預測框和真實框的交并比）的一種推廣，IoU計算公式為

式中：b、b^gt分別為預測框和真實框。

由公式（4）可知，如果2個物體不重疊，即IoU=?0，損失梯度為0無法對模型優化，因此不能使用IoU作為定位損失的指標。CIoU考慮了真實框與預測框之間的距離、重疊率、邊框尺度以及懲罰因子，使目標邊框回歸更加穩定，有效解決了IoU在訓練過程中發散的問題。CIoU的計算公式為

式中：ρ（b，b^gt）為預測框和真實框中心的距離，即圖13中的d；c是2個框的最小包圍矩陣的對角線距離；α為權重系數，計算公式如式（6）所示；v為衡量長寬比一致性的參數，計算公式如式（7）所示。

定位損失的損失函數為

2.3.5.3??總損失函數

總損失函數的計算公式為

式中：N為檢測層數；B為標簽分配到先驗框的目標數；S×S為該尺度被分割成的網格數；L_cls為分類損失，對每個目標計算；L_obj為目標置信度損失，對每個網格計算；L_box為邊界框回歸損失，對每個目標計算；λ₁、λ₂、λ₃分別為這3種損失的權重。

2.3.6 訓練結果

模型訓練150批次后的檢測效果和訓練結果分別如圖14、15所示。

由圖14、15可知，隨著訓練輪數增加，訓練集和測試集的定位損失和置信度損失都逐漸下降并收斂，而精確度和召回率逐漸提高。另外，香蕉果柄識別只有1個類別，分類損失為0。

由圖15可知，當IoU閾值為0.5時，平均準確率AP達到98.034%，滿足香蕉采摘識別的要求。

3 采摘定位試驗

為驗證香蕉果柄識別算法及夾持切割機構的合理性，開發了香蕉智能采摘裝置樣機，在實驗室開展室內采摘定位試驗，試驗場景如圖16所示。

采摘定位試驗所用的儀器設備主要包括香蕉智能采摘裝置樣機、香蕉串及果樹、定位器、PE線、電子數顯角度尺、鋼卷尺、鋼尺等。

香蕉智能采摘裝置的運動參數范圍如表1所示。

采摘定位試驗過程如下：將定位器安裝在夾持切割機構末端執行器的抱掌上，保持定位器的尖點與香蕉理想采摘點位置重合；將PE線一端捆綁在理想采摘點位置，另一端垂釣一個配重鉛錘，保證PE線沿鉛錘方向垂直接近地面；通過雙目相機視覺識別系統獲取香蕉果柄的切割點位置參數；通過反求解算，機構自動運動到香蕉果柄采摘位置；待到PE線不再左右擺動，分別測量香蕉果柄采摘點在香蕉采摘裝置中的3個移動分量和2個旋轉分量，測試結果分別如表2、3所示。

由表2可知：位置精度的最大絕對位置誤差為5.385 1 mm，最大相對位置誤差為0.600 7 %。

由表3可知：姿態測量數據的γ角度誤差最大值為0.9°，β角度誤差最大值為0.95°。在具有一定容錯的采摘裝置中，夾持切割機構定位位置精度可滿足采摘香蕉串的需要。

4 結論

本文以香蕉串智能化采摘為研究目標，設計香蕉智能采摘裝置，提出基于YOLOv5網絡模型的香蕉果柄識別算法，建立香蕉智能采摘裝置與香蕉果柄切割點之間的坐標關系，通過反求獲取運動機構參數。經室內采摘試驗驗證了香蕉智能化采摘的可行性。

1） 香蕉智能采摘裝置包括行走小車、叉剪升降機構、3-RPS并聯機構和夾持切割機構等。行走小車能平穩在果園環境下行走；叉剪升降機構帶動3-RPS并聯機構和夾持切割機構升降，使夾持切割機構達到香蕉的采摘高度；3-RPS并聯機構控制夾持切割機構的位置和姿態，使其達到采摘點位置，夾持并切斷果柄。

2） 基于YOLOv5網絡模型的香蕉果柄識別算法，采用Mosaic圖像預處理技術，進行隨機裁剪、縮放和排布拼接操作，合成圖像，豐富了檢測物體的背景，增加數據集樣本。模型訓練結果標明，該識別算法可有效識別香蕉果柄，確定切割點位置。該切割點位置用于香蕉智能采摘裝置上末端執行器采摘點的位姿求解。通過上位機與硬件系統的Arduino連接，控制軟件驅動機構運動電機，實現夾持切割機構對香蕉果柄的準確定位。

3） 香蕉智能采摘裝置樣機在實驗室環境下，驗證了基于YOLOv5網絡模型的香蕉果柄識別算法及香蕉智能采摘裝置的可行性。

參考文獻

[1] 張衛明.一帶一路經濟植物[M].東南大學出版社，2017.

[2] 陳清西，李冬香.香蕉周年管理關鍵技術[M].金盾出版社， 2012.

[3] 彭舟.基于3-RPS并聯機構的香蕉采摘機研究[D].廣州：華南農業大學，2022.

[4] FRANKLIN J A. Robot hands and the mechanics of manipula-tion： editors： m.t. Mason and j.k. Salisbury， jr. Mit press isbn 0 262 13205 2[J]. 1988，3（1）：51.

[5] 曉明.香蕉采摘機[J].世界農業，1986（7）：50.

[6] MANUEL L P. Banana or pineapple harvester has clamp and cutting blade mounted on telescoping arm articulated to mast on tractor-mounted work surface or low frame：?ES20040002089?[P].?ES2257170A1[2023-10-07].

[7] 唐之富，王紅軍，鄧建猛，等.面向大質量串型水果采摘的夾持試驗與仿真[J].機械設計，2018，35（11）：47-52.

[8] 樊維.香蕉采摘機器人機械手結構設計與分析[D].南寧：廣西大學，2018.

[9] 劉遠力.抗傾覆香蕉采摘整機的設計與研究[D].福州：福建農林大學，2020.

作者簡介：

王紅軍，女，1966年生，博士研究生，教授，主要研究方向：農業機器人、智能設計。E-mail：?xtwhj@scau.edu.cn

鄒偉銳，男，1998年生，碩士研究生，主要研究方向：虛擬現實。E-mail：?904507581@qq.com

謝啟旋，男，1997年生，碩士研究生，工程師，主要研究方向：機器視覺。E-mail：?896428001@qq.com

鄭文和，男，1985年生，本科，工程師，主要研究方向：智能裝備設計。E-mail：?justy.zheng@byd.com