采用改進YOLOv5的蕉穗識別及其底部果軸定位

段潔利，王昭銳，鄒湘軍，袁浩天，黃廣生，楊 洲,3

采用改進YOLOv5的蕉穗識別及其底部果軸定位

段潔利1,2，王昭銳1，鄒湘軍1，袁浩天1，黃廣生1，楊 洲1,2,3※

（1. 華南農業大學工程學院，廣州 510642；2. 嶺南現代農業科學與技術廣東省實驗室，廣州 510600；3. 嘉應學院廣東省山區特色農業資源保護與精準利用重點實驗室，梅州 514015）

為提高香蕉采摘機器人的作業效率和質量，實現機器人末端承接機構的精確定位，該研究提出一種基于YOLOv5算法的蕉穗識別，并對蕉穗底部果軸進行定位的方法。將CA（Coordinate Attention）注意力機制融合到主干網絡中，同時將C3（Concentrated-Comprehensive Convolution Block）特征提取模塊與CA注意力機制模塊融合構成C3CA模塊，以此增強蕉穗特征信息的提取。用 EIoU（Efficient Intersection over Union）損失對原損失函數CIoU（Complete Intersection over Union）進行替換，加快模型收斂并降低損失值。通過改進預測目標框回歸公式獲取試驗所需定位點，并對該點的相機坐標系進行轉換求解出三維坐標。采用D435i深度相機對蕉穗底部果軸進行定位試驗。識別試驗表明，與YOLOv5、Faster R-CNN等模型相比，改進YOLOv5模型的平均精度值（mean Average Precision, mAP）分別提升了0.17和21.26個百分點；定位試驗表明，采用改進YOLOv5模型對蕉穗底部果軸定位誤差均值和誤差比均值分別為0.063 m和2.992%，與YOLOv5和Faster R-CNN模型相比，定位誤差均值和誤差比均值分別降低了0.022 m和1.173個百分點，0.105 m和5.054個百分點。試驗實時可視化結果表明，改進模型能對果園環境下蕉穗進行快速識別和定位，保證作業質量，為后續水果采摘機器人的研究奠定了基礎。

圖像識別；機器人；香蕉采摘；果軸定位；注意力機制；損失函數

0 引 言

中國是香蕉生產和消費大國，但是香蕉采摘效率低，損傷較大，是一項高耗勞動力的活動[1]。傳統的香蕉采收通常需要兩個青壯年手工操作，勞動強度大，并隨著人口老齡化和勞動力高成本化，勢必會降低采收效率[2]。為了提高香蕉的采收效率、減少損傷和應對勞動力短缺等問題，本研究對蕉穗進行識別定位，為其應用于采摘機器人的托接系統做前期研究。近年來，國內外對于機器人的研究逐漸從工業領域拓展到了農業領域[3]，與此同時基于圖像處理和機器學習的目標檢測方法也更廣泛地應用于農業作業。盧軍等[4]針對果實遮擋，在變化光照條件下提出了基于彩色信息和目標輪廓整合的柑橘遮擋檢測方法。顧蘇杭等[5]考慮到光照等因素，提出一種基于顯著性輪廓的蘋果目標識別方法應用于蘋果采摘機器人，該方法能通過圖像分割以及圖像后處理完整地提取蘋果輪廓，對蘋果目標識別率達到98%。Yamamoto等[6]針對傳統果實識別需要對其特征設置特定閾值帶來的泛化性低的問題，提出了基于傳統RGB數碼相機結合機器學習的方法對番茄圖像特征生成的分類模型進行圖像分割，達到理想的分割效果。

上述傳統機器學習方法檢測復雜背景圖像中的水果目標會受到背景信息影響[7]，而且需要手工提取特征，難以獲得較好的檢測結果。采用深度學習方法只需要提供帶標簽的數據集，而不需要人為設計特征就能夠從數據集中提取目標的特征[8]。由于卷積神經網絡內嵌多個隱含層，通過學習得到更加高級的數據特征表示，在解決目標檢測等問題有很大的優勢[9]。常用的目標檢測網絡有Fast R-CNN（Fast Region with CNN）系列[10-12]、SSD（Single Shot multibox Detector）[13-16]和YOLO（You Only Look Once）系列[17-20]。YOLO網絡相較于其他兩者的模型更精簡，運行速度最快，實時性更好[21]，因此在農業目標檢測上的應用也越來越普遍。呂石磊等[22]提出一種基于改進YOLOv3-LITE輕量級網絡模型，實現了自然環境下柑橘果實的快速精確識別。趙德安等[23]通過YOLOv3卷積神經網絡遍歷整個圖像，回歸目標類別和位置，在保證檢測效率與準確率的前提下實現了端到端的目標檢測。同樣是基于改進YOLOv3模型，Tian等[24]提出應用于光照波動、復雜背景、重疊和枝葉遮擋等條件下的果園不同生長階段的蘋果檢測。該方法加入了密集連接網絡（DenseNet），有效地提升了網絡性能并實現重疊和遮擋條件下的蘋果檢測。同樣為了克服上述問題，Liu等[25]基于YOLOv3提出了一種改進的番茄檢測模型YOLO-Tomato，用圓形包圍盒更準確地匹配番茄果實，提升了模型的檢測性能。

目前國內外對于球形水果的目標檢測趨于成熟，但以香蕉為對象的目標檢測成果尚少。Fu等[26]首先對自然環境下的香蕉目標檢測提出了一種基于顏色和紋理特征的自然環境下香蕉檢測方法；后續作者基于YOLOv4提出YOLO-banana目標檢測網絡[27-29]，實現果園環境下對香蕉果實多類別快速檢測。Wu[30-32]等對香蕉機器人進行研究，提出了基于YOLO系列算法的香蕉多目標特征識別，并針對香蕉果軸斷蕾點進行視覺定位，經試驗達到作業要求。

該研究在上述相關研究的基礎上提出一種能夠搭載于香蕉采收機器人承接機構上的基于改進YOLOv5的果園環境下蕉穗目標識別定位的視覺系統，通過該系統對蕉穗進行識別和對蕉穗底部果軸進行定位，并對識別精度和定位精度進行驗證。

1 材料與數據

1.1 圖像獲取

該研究所使用的蕉穗果實圖像于2021年3月17日和2022年2月10日分別在廣東省農科院香蕉園和廣東省潮州市饒平縣內香蕉種植地區進行拍攝，拍攝當天天氣晴。圖像采集設備為高像素智能手機，拍攝過程攝像頭與香蕉果實距離為500～1 500 mm，圖像分辨率為3 024×4 000像素，共采集果園環境下的蕉穗圖片500張，按照4∶1的比例構造訓練集和測試集，即訓練集圖片400張，測試集圖片100張。

1.2 圖像預處理

用圖像標注軟件LabelImg對采集的500張蕉穗圖片進行標注，生成YOLO模型對應的xml文件，文件包含蕉穗在圖像中的坐標位置、圖像大小以及標簽名banana。然后把蕉穗圖片和標注好的文件分成訓練集和測試集分別放在images和labels文件夾，組成本研究需要使用的蕉穗數據集。

2 蕉穗目標檢測

2.1 改進YOLOv5網絡

YOLOv5的網絡結構主要由骨干網絡（Backbone）、頸部網絡（Neck）以及預測網絡（Prediction）組成。根據模型由小到大，YOLOv5網絡分成YOLOv5s、YOLOv5m、YOLOv5l和YOLOv5x。考慮到果園環境下蕉穗識別任務的實時性和效率，該研究選擇較輕量級的YOLOv5s進行改進。如圖1所示，本文從以下三方面進行改進：

1）在Backbone 網絡的C3模塊（Concentrated- Comprehensive Convolution Block）之后添加CA（Coordinate Attention）注意力機制,構成C3CA模塊，4個C3CA模塊可以將網絡中有用的特征信息進行重用，強化對蕉穗特征的提取。

2）在最后一個C3CA模塊后面添加CA模塊，加強對位置信息和通道信息的提取，有助于提升目標定位效果。

3）用EIoU（Efficient Intersection over Union）損失對原損失函數CIoU（Complete Intersection over Union）進行替換，通過分別計算目標框寬高的差異值，改善樣本分布不均的問題，加快模型收斂并降低模型損失。

注：CBS為卷積單元；C3CA、C3模塊后面的數字表示模塊個數；SPPF為池化操作；Concat表示特征拼接；Upsample為特征上采樣；Conv2d表示二維卷積；輸出80×80×255、40×40×255和20×20×255表示網絡輸出特征圖的長、寬和深度。

2.1.1 CA注意力模塊

由于果園環境下生長的蕉穗背景復雜、形態多樣，這會對算法最終的識別效果造成一定影響，因此該研究在YOLOv5算法網絡中添加注意力機制，通過突出蕉穗的重要特征從而提升識別效果。最早用于計算機視覺的通道注意力機制對于提升網絡性能具有顯著效果，但通常會忽略非常重要的位置信息[33]。因此本研究采用將位置信息結合通道注意力的輕量級移動網絡CA注意力模塊強化蕉穗特征信息并弱化背景信息。CA注意力模塊的實現分為全局信息嵌入和坐標注意力生成兩個部分。

注：C、H、W分別表示特征通道的深度、高度和寬度；r為縮減比；n表示對應模塊個數；：X Avg Pool、Y Avg Pool分別表示橫向全局池化和縱向全局池化。

式（1）為通道注意力機制中用于全局信息嵌入的全局池化操作，給定輸入特征張量=[1,2,3,…,x]∈R×H×W，全局池化操作與第通道（∈）相關的輸出Z為

上述兩種變換分別沿著兩個空間方向聚合特征，輸出結果使注意力模塊捕捉一個空間方向并保存另一空間方向的準確位置信息，這使得網絡對于目標的定位更為精準。

為充分利用上述方法獲取到的全局信息并利用其表達的特征進行注意力生成，將式（2）、（3）結果進行拼接操作，再使用卷積變換形成中間特征圖

式中為sigmoid激活函數。最后將g及g展開作為注意力權值，注意力機制的模塊輸出=[1,2,3,…,y]為

2.1.2 損失函數

原始YOLOv5模型采用CIoU（Complete Intersection over Union）損失在一定程度上可以加快預測框回歸速度，但仍存在相對比例懲罰項對于線性比例的預測框寬高比和真實框的寬高比不起作用的問題，而且預測框寬高無法保持同增減。為了解決這些問題，采用EIoU（Efficient Intersection over Union）[34]作為改進模型的損失函數，分別通過計算邊界框寬高的差異比消除CIoU縱橫比描述所存在的模糊性，EIoU損失值EIoU為

式中IoU、dis和asp分別表示交并比損失、距離損失和相位損失；表示中心點之間的歐式距離；和b表示預測框和真實框的中心點；表示預測框和真實框最小包圍矩形的對角線長度；w和h表示預測框的寬高；w和h表示真實框的寬高；d、d表示預測框和真實框最小包圍矩形的寬度和高度。

2.2 試驗參數和評價指標

該研究蕉穗檢測網絡采用Pytorch框架搭建，處理器為11th Gen Intel(R) Core(TM) i7-11800H@2.30GHz，16G內存，顯卡為GeForce RTX 3060 Laptop GPU。批量大小（batch size）設置為4，訓練步數（Epoch）設為300，圖像通過歸一化處理為分辨率640×640，學習率（Learning rate）為0.01，優化器采用隨機梯度下降（Stochastic gradient descent, SGD）。試驗結果的評價指標采用準確率（Precision）、召回率（Recall）、平均精度值（mean Average Precision, mAP）和模型大小，設定IoU（Intersection over Union）≥0.5為對蕉穗的正確檢測。

3 蕉穗底部果軸定位

3.1 相機參數

試驗使用Intel RealSense D435i立體視覺深度相機，深度圖分辨率為1 280×720像素，彩色圖分辨率為848×480像素，深度探測范圍0.2～10.0 m，采用USB供電。采用RealSense相機自帶軟件Intel Real Sense Viewer獲取相機內參，如表1所示。

表1 RealSense D435i相機內參數

3.2 定位點求解

在YOLOv5目標檢測網絡中通過回歸公式預測邊界框的中心點b、b以及寬高b、b如下

式中t,t是對目標中心坐標預測的偏移參數；t,t是對目標寬高預測的縮放因子；（c,c）為對應網格左上角的坐標，p、p為錨框模板映射在特征層上的寬和高。b、b、b、b可以通過xywh2xyxy( )函數唯一確定預測框左上和右下兩對坐標值（1,1）和（2,2）。最后通過幾何關系求出定位點（1,1）如下

通過該式即求得目標檢測框底部的中心點，由于該點與蕉穗底部果軸基本重合，因此也就得到蕉穗底部果軸在像素坐標系下的定位點（1,1），如圖3所示。

3.3 定位原理

如圖4所示，本研究要確定定位點在世界坐標系中的位置必須先求得該點到相機坐標系{x,y,z}轉換關系，再求得相機坐標系到圖像坐標系{,}以及圖像坐標系到像素坐標系{,}的轉換關系。坐標系{,}平行于坐標系{x,y,z}中x,y構成的平面，坐標系{,}的原點位于圖像左上角。定位點通過剛體變換矩陣轉換到相機坐標系下的點P。依據投影光線的相似三角形原理推導出坐標系{x,y,z}與坐標系{,}之間的轉換關系如下：

注：圖像所處像素坐標系為{}；c和c為網格左上角對應方向的長度；p和p為錨框的寬和高；（b，b）為預測邊界框的中心點；b和b為預測邊界框的寬高；（1，1）和（2，2）分別為預測框兩對坐標值；（1，1）為本研究的定位點。

Note: The pixel coordinate system of the image is{};candcare the coordinate at the upper left corner of the corresponding grid;pandpare the width and height of the anchor frame; (b,b) is the center point of the prediction bounding box;bandbare the width and height of the predicted bounding box; (1,1) and (2,2) are prediction box two pairs of coordinate values respectively; (1,1) is the anchor point of this study.

圖3 目標邊界框和定位點回歸

Fig.3 Regression of target boundary box and anchor point

注：{xc, yc, zc}為相機坐標系，原點為Oc；{x,y}為圖像坐標系，原點為Oi；{u,v}為像素坐標系，原點為Op；點Pc為相機坐標系下的定位點；點P為投影光線OcPc與圖像坐標系平面的交點；f為焦距，mm。

又因為圖像坐標系與像素坐標系存在平移關系，所以兩者間又有如下轉換

即為相機坐標系和像素坐標系的轉換公式。其中

如圖5所示，蕉穗深度圖像由左右兩個紅外相機各對同一蕉穗獲取P1、P2兩幅紅外圖像，然后通過三角測量的原理獲得深度圖像Pd后與彩色圖像Pc進行配準。設定彩色圖素坐標系{u,v}，深度圖素坐標系{u,v}，對兩者進行配準后每一幀彩色圖像中檢測到的每一個像素點(u,v)都能對應一個深度圖像素點(u,v)。最后根據公式（14）和pyrealsense2庫中的get_distance( )函數可以得到定位點在相機坐標系下的三維坐標（x,y,z）。

注：P1、P2為左右紅外相機分別獲取的紅外圖像；Pd、Pc分別為深度圖和彩色圖；{u,v}為彩色圖素坐標系；{u,v}為深度圖素坐標系。

Note: P1and P2are infrared images obtained by left and right infrared cameras respectively; Pdand Pcare depth map and color map respectively; {u,v} is the color pixel coordinate system; {u,v} is the depth map pixel coordinate system.

圖5 相機配準示意圖

Fig.5 Camera registration diagram

3.4 試驗設計和評價指標

定位試驗通過使用模型訓練結果對蕉穗進行目標檢測，將目標檢測框底部的中心點作為定位點并求解該點的三維坐標。由于將試驗得到的相機到果軸的距離距離值z代入式（14）將可得果軸的其它兩個坐標數值x和y，因此誤差源在于所測量的z值。影響定位試驗誤差的因素很多，主要為環境噪聲引起的圖像定位點誤差、隨機誤差和測量工具誤差等。為了驗證該研究識別定位的可靠性，對距離值z進行精度評價。為驗證相機定位的精度，采用激光測距儀作為輔助設備。

如圖6所示，為了模擬果園環境下對蕉穗的實時定位，該試驗將激光測距儀安裝到深度相機上端。經測量得激光測距儀與深度相機的高度差遠小于定位點距離，因此忽略此高度差。將該裝置連接至筆記本電腦，用Python開發的程序驅動深度相機獲取距離測量值z，同時使用激光測距儀獲取距離測量值z并對應保存。為了評價定位精度，采用誤差均值E和誤差比均值E作為評價指標，E反映了估計值和真實值之間的絕對誤差，E反映了估計值和真實值的相對誤差。計算公式如下：

式中為同一幅圖像成功識別并定位的蕉穗株數。

注：zci為深度相機測量值，m；zdci為激光測距儀測量值，m。

4 結果與分析

4.1 模型訓練結果

為了豐富數據集，提升網絡模型的魯棒性和泛化性能，防止數據集數量不足造成過擬合，模型訓練時對蕉穗圖像進行數據增強，包括平移（Translate）、縮放（Scale）、左右翻轉（Flip left-right）、混疊（Mixup）和改變HSV值，將蕉穗訓練集擴充到844張。在保證訓練批量、步數、優化器、和學習率等初始參數和設備一致的前提下，對YOLOv5、Faster R-CNN模型和改進YOLOv5模型進行訓練。表2是模型訓練結果，與原始YOLOv5模型相比，改進模型的準確率提升2.8個百分點，召回率達到100%，平均精度值提升0.17個百分點；與Faster R-CNN模型相比，改進模型的準確率提升52.96個百分點，召回率提升17.91個百分點，平均精度值提升21.26個百分點；改進YOLOv5模型與原始YOLOv5模型大小相比減小了1.06 MB。從訓練結果可以看出改進模型在融合了CA注意力機制和C3CA特征提取模塊之后具有最高的平均精度值，而且模型占用內存最小，能夠很好提升模型對果園環境下蕉穗的特征提取能力，能夠在保證平均精度值的前提下改善識別效果。

表2 模型的訓練結果

4.2 模型消融試驗結果

改進的YOLOv5模型在YOLOv5模型的基礎上融合了CA注意力模塊、C3CA特征提取模塊和EIoU損失函數。為了能夠更加直觀地分析改進的YOLOv5模型相較于原始模型的提升，分別進行了5組試驗并對比試驗的平均精度值mAP，試驗結果如表3所示。

試驗1為原始YOLOv5模型，在不添加CA、 C3CA和EIoU的條件下平均精度值為99.12%；與原始YOLOv5模型相比，試驗2和試驗3分別只添加了CA模塊和C3CA模塊，平均精度值分別提高了0.03個百分點和0.02個百分點；試驗4為同時添加CA和C3CA模塊的改進YOLOv5模型，平均精度值提高了0.14個百分點；試驗5為本研究的改進模型，平均精度值為99.29%，提高了0.17個百分點。

表3 模型消融試驗結果

注：“√”表示采用該方法。

Note: “√” indicates that this method is used.

圖7為對原始YOLOv5模型（試驗1）與改進YOLOv5模型（試驗5）進行訓練后的定位損失函數和目標損失函數，可以看出訓練經過300步數后趨于穩定，模型收斂，并且改進模型與原始模型相比損失值更低，訓練效果得到提升。

圖7 訓練損失函數

4.3 定位試驗結果

為了提升作業效率，確定最佳的定位范圍，該研究首先在廣東省肇慶市農科所蕉園進行了預試驗，將試驗的測量值范圍限制在1.0～2.5 m。

正式試驗在廣東省東莞市水果蔬菜研究所進行。模擬果園環境下對蕉穗底部果軸的實時定位進行了隨機試驗，采用YOLOv5模型、Faster R-CNN模型和改進YOLOv5模型對距離為1.0～2.5 m范圍的單株和雙株蕉穗進行識別與直線距離定位，每個模型進行10次定位試驗。如圖8所示為YOLOv5模型、Faster R-CNN模型和改進YOLOv5模型的部分試驗的可視化圖像，三種模型在定位范圍內都識別到了視野內的蕉穗，并都獲取到了測量值。從置信度來看，改進YOLOv5模型達到了90%，置信度得到了保證。記錄深度相機測量值z和激光測距儀測量值z，計算誤差均值E和誤差比均值E并計算平均值，結果如表4所示。

注：FPS為相機幀率；檢測框上的信息“banana”為類別名香蕉，后面的數字為置信度；檢測框底部數值表示定位點在相機坐標系下的三維坐標（xc,yc,zc）。

表4 蕉穗底部果軸定位試驗結果

注：z、z分別為深度相機測量值和激光測距儀測量值，m；E、E分別為為誤差均值和誤差比均值，%。

Note:zandzare the depth camera measurement and the laser rangefinder measurement respectively, m;EandEare the mean of error and the mean of error ratio respectively, %.

根據表4試驗結果可得：所得到的誤差均值E分別為0.085、0.168和0.063 m；誤差比均值E分別為4.165%、8.046%和2.992%。與Faster R-CNN模型相比，改進YOLOv5模型的誤差均值E和誤差比均值E分別降低了0.105 m和5.054個百分點；與原始YOLOv5模型相比，改進YOLOv5模型的誤差均值E和誤差比均值E分別降低了0.022 m和1.173個百分點；除此之外，試驗中測量得出誤差大于0.2 m的情況則為定位錯誤。原始YOLOv5模型在試驗編號3、4出現定位錯誤；Faster R-CNN模型在試驗編號1、4、8出現定位錯誤；改進YOLOv5模型僅有試驗編號6出現了定位錯誤，錯誤率相比之下有所降低。綜上所述，改進YOLOv5模型對蕉穗底部果軸定位能夠達到試驗目的，效果相比原始YOLOv5模型和Faster R-CNN模型都得到提升。

5 結 論

為了實現果園環境蕉穗的快速識別定位，該研究在YOLOv5模型的基礎上添加了CA注意力模塊和C3CA特征提取模塊，提升網絡對蕉穗特征信息的提取；并用EIoU損失函數替換原先的CIoU損失函數；在目標檢測階段回歸了蕉穗底部果軸定位點，通過深度相機獲取定位點在相機坐標系下的三維坐標。

1）與YOLOv5模型相比，改進YOLOv5模型對蕉穗的識別準確率提升了2.8個百分點，平均精度值提升了0.17個百分點；模型大小減小了1.06 MB。改進模型在模型大小和平均精度值方面都得到提升，減少了訓練時的內存損耗，更利于模型的遷移應用，加強室外實時識別的效果。

2）在定位試驗中，改進YOLOv5模型的誤差均值E和誤差比均值E分別為0.063 m和2.992%。較YOLOv5模型降低了0.022 m和1.173個百分點；較Faster R-CNN模型降低了0.105 m和5.054個百分點。改進模型的定位試驗誤差最低，進一步減小了對蕉穗底部果軸的定位誤差。

采用改進YOLOv5模型能較好的在果園環境下進行遷移應用和快速識別定位，能夠滿足果園環境下香蕉采摘機器人承接機構對蕉穗底部果軸的定位要求。

[1] 段潔利，陸華忠，王慰祖，等. 水果采收機械的現狀與發展[J]. 廣東農業科學，2012，39(16)：189-192.

Duan Jieli, Lu Huazhong, Wang Weizu, et al. Present situation and developent of the fruit harvesting machinery[J]. Guangdong Agricultural Sciences, 2012, 39(16): 189-192. (in Chinese with English abstract).

[2] Duan Jieli, Wang Zhaorui, Ye Lei, et al. Research progress and developent trend of motion planning of fruit picking robot arm[J]. Journal of Intellient Agricultural Mechanization, 2021, 2(2): 7-17.

段潔利，王昭銳，葉磊，等. 水果采摘機械臂運動規劃研究進展與發展趨勢[J]. 智能化農業裝備學報，2021，2(2)：7-17. (in English with Chinese abstract)

[3] Liu Y, Ma X, Shu L, et al. From industry 4.0 to agriculture 4.0: Current status, enabling technologies, and research challenges[J]. IEEE Transactions on Industrial Informatics, 2020, 17(6): 4322-4334.

[4] 盧軍，桑農. 變化光照下樹上柑橘目標檢測與遮擋輪廓恢復技術[J]. 農業機械學報，2014，45(4)：76-81.

Lu Jun, Sang Nong. Detection of circus fruits within tree canopy and recovery for occusion contour in variable illumination[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(4): 76-81. (in Chinese with English abstract)

[5] 顧蘇杭，馬正華，呂繼東. 基于顯著性輪廓的蘋果目標識別方法[J]. 計算機應用研究，2017，34(8)：2551-2556.

Gu Suhang, Ma Zhenghua, Lü Jidong. Recognition method of apple target based on sinificant contour[J]. Application Research of Computers, 2017, 34(8): 2551-2556. (in Chinese with English abstract)

[6] Yamamoto K, Guo W, Yoshioka Y, et al. On plant detection of intact tomato fruits using image analysis and machine learning methods[J]. Sensors, 2014, 14(7): 12191-12206.

[7] Kang D, Benipal Sukhpreet S, Gopal Dharshan L, et al. Hybrid pixel-level concrete crack segmentation and quantification across complex backgrounds using deep learning[J]. Automation in Construction, 2020, 118: 103291.

[8] 胡根生，吳繼甜，鮑文霞，等. 基于改進YOLOv5網絡的復雜背景圖像中茶尺蠖檢測[J]. 農業工程學報，2021，37(21)：191-198.

Hu Gensheng, Wu Jitian, Bao Wenxia, et al. Detection ofin complex background images using improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 191-198. (in Chinese with English abstract)

[9] LeCun Yann, Bengio Yoshua, Hinton Geoffrey. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[10] Girshick R. Fast R-CNN[C]//Santiago: Proceedings of the IEEE International Conference on Computer Vision, 2015: 1440-1448.

[11] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[J]. Advances in Neural Information Processing Systems, 2015, 28: 91-99.

[12] Li J, Liang X, Shen S, et al. Scale-aware Fast r-cnn for pedestrian etection[J]. IEEE Transactions on Multimedia, 2017, 20(4): 985-996.

[13] Liu W, Anguelov D, Erhan D, et al. SSD: Single shot multibox detector[C]//Cham: European Conference on Computer Vision. Springer. 2016: 21-37.

[14] Womg A, Shafiee Mohammad J, Li F, et al. Tiny SSD: A tiny single-shot detection deep convolutional neural network for real-time embedded object detection[C]//Toronto: 2018 15th Conference on Computer and Robot Vision (CRV), 2018: 95-101.

[15] Wang X, Hua X, Xiao F, et al. Multi-object detection in traffic scenes based on improved SSD[J]. Electronics, 2018, 7(11): 302.

[16] Zhai S, Shang D, Wang S, et al. DF-SSD: An improved SSD object detection algorithm based on DenseNet and feature fusion[J]. IEEE Access, 2020, 8: 24344-24357.

[17] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Las Vegas: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 779-788.

[18] Redmon J, Farhadi A. YOLO9000: better, faster, stronger[C]//Honolulu: Proceedings of the IEEE conference on Computer Vision and Pattern Recognition, 2017: 6517-6525.

[19] Redmon J, Farhadi A YOLOv3: An incremental improvement[EB/OL]. (2018-04-08) [2022-08-12] https://arxiv.org/abs/1804.02767.

[20] Alexey B, Wang C, Liao H. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2022-08-12] https://arxiv.org/abs/2004.10934.

[21] Fang W, Wang L, Ren P. Tinier-YOLO: A real-time object detection method for constrained environments[J]. IEEE Access, 2019, 8: 1935-1944.

[22] 呂石磊，盧思華，李震，等. 基于改進YOLOv3-LITE輕量級神經網絡的柑橘識別方法[J]. 農業工程學報，2019，35(17)：205-214.

Lü Shilei, Lu Sihua, Li Zhen, et al. Orange recognition method using improved YOLOv3-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 205-214. (in Chinese with English abstract)

[23] 趙德安，吳任迪，劉曉洋，等. 基于YOLO深度卷積神經網絡的復雜背景下機器人采摘蘋果定位[J]. 農業工程學報，2019，35(3)：164-173.

Zhao De'an, Wu Rendi, Liu Xiaoyang, et al. Apple positioning based on YOLO deep convolutional neural network for picking robot in complex background[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(3): 164-173. (in Chinese with English abstract)

[24] Tian Y, Yang G, Wang Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157: 417-426.

[25] Liu G, Nouaze J C, Touko Mbouembe P L, et al. YOLO-Tomato: A robust algorithm for tomato detection based on YOLOv3[J]. Sensors, 2020, 20(7): 2145.

[26] Fu L, Duan J, Zou X, et al. Banana detection based on color and texture features in the natural environment[J]. Computers and Electronics in Agriculture, 2019, 167: 105057.

[27] Fu L, Duan J, Zou X, et al. Fast and accurate detection of banana fruits in complex background orchards[J]. IEEE Access, 2020, 8: 196835-196846.

[28] Fu L, Yang Z, Wu F, et al. YOLO-Banana: A lightweight neural network for rapid detection of banana bunches and stalks in the natural environment[J]. Agronomy, 2022, 12(2), 391.

[29] Fu L, Wu F, Zou X, et al. Fast detection of banana bunches and stalks in the natural environment based on deep learning[J]. Computers and Electronics in Agriculture, 2022, 194: 106800.

[30] Wu F, Duan J, Chen S, et al. Multi-target recognition of bananas and automatic positioning for the inflorescence axis cutting point[J/OL]. Frontiers in Plant Science, (2021-11-02)[2022-08-12] https://doi.org/10.3389/fpls.2021.705021.

[31] 吳烽云，葉雅欣，陳思宇，等. 復雜環境下香蕉多目標特征快速識別研究[J]. 華南農業大學學報，2022，43(2)：96-104.

Wu Fengyun, Ye Yaxin, Chen Siyu, et al. Research on fast recognition of banana multi-target features by visual robot in complex environment[J]. Journal of South China Agricultural University, 2022, 43(2): 96-104. (in Chinese with English abstract)

[32] Wu F, Duan J, Ai P, et al. Rachis detection and three-dimensional localization of cut off point for vision-based banana robot[J]. Computers and Electronics in Agriculture, 2022, 198: 107079.

[33] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[EB/OL]. (2021-03-04) [2022-08-12] https://arxiv.org/abs/2103.02907.

[34] Zhang Y, Ren W, Zhang Z, et al. Focal and efficient IOU loss for accurate bounding box regression[EB/OL]. (2022-07-16) [2022-08-12] https://arxiv.org/abs/2101.08158.

Recognition of bananas to locate bottom fruit axis using improved YOLOv5

Duan Jieli1,2, Wang Zhaorui1, Zou Xiangjun1, Yuan Haotian1, Huang Guangsheng1, Yang Zhou1,2,3※

(1.,,510642,; 2.,510600,; 3.,,514015,)

Banana has been one of the major fruits in the production and consumption in China. But, the banana harvesting is a high labor consuming activity with the low efficiency and large fruit damage. This study aims to improve the operation efficiency and quality of the banana in the picking robot. An accurate and rapid recognition was also proposed to locate the fruit axis at the bottom of banana using the YOLOv5 algorithm. Specifically, a coordinate attention (CA) mechanism was fused into the backbone network. The Concentrated-Comprehensive Convolution Block (C3) feature extraction module was fused with the CA attention mechanism module to form the C3CA module, in order to enhance the extraction of the banana feature information. The original Complete Intersection over Union (CIoU) of loss function was replaced with the Efficient Intersection over Union (EIoU). As such, the convergence of the model was speeded up to reduce the loss value. After that, the anchor point was determined for the test to improve the regression formula of prediction target box. The camera coordinate system of the point was transformed to deal with the three-dimensional coordinates. D435i depth camera was then used to locate the fruit axis at the bottom of banana. The original YOLOv5, Faster R-CNN, and improved YOLOv5 model were trained to verify the model. The accuracy of the improved model increased by 2.8 percentage points, the recall rate reached 100%, and the average accuracy value increased by 0.17 percentage points, compared with the original. There were the 52.96 percentage points higher precision, 17.91 percentage points higher recall, and 21.26 percentage points higher average precision value, compared with the Faster R-CNN model. The size of the improved model was reduced by 1.06MB, compared with the original. The field test was conducted on July 1, 2022 in Dongguan Fruit and Vegetable Research Institute, Guangdong Province, China. A test was realized for the random real-time location of the fruit axis at the bottom of banana in the field environment. The original YOLOv5, Faster R-CNN, and improved YOLOv5 model were used to recognize and localize the single and double plants in the range of 1.0-2.5 m. Each model was tested for 10 times. The estimated and real values were recorded to calculate the mean error, the mean error ratio, and the mean value. The original YOLOv5, Faster R-CNN, and improved YOLOv5 model all performed better to identify the banana in the field of view within the localization range and the estimated values. Among them, the mean errors were 0.085, 0.168, and 0.063 m, respectively, while the mean error ratios were 4.165%, 8.046%, and 2.992%, respectively. The mean values of error and error ratio in the improved model were reduced by 0.105 m, and 5.054 percentage points, respectively, during the original training, compared with the Faster R-CNN model. By contrast, the error and error ratio of the improved YOLOv5 model were reduced by 0.022 m and 1.173 percentage points, respectively, compared with the original. In addition, the measurement error greater than 0.2 m in the test was a locating error. Only test 6 showed the locating errors with the low error rate in the improved YOLOv5 model. The locating errors were found in tests 3 and 4 of the original, while the Faster R-CNN model showed the localization errors in the tests of 1, 4 and 8. Together with the ideal localization, the lower error and higher dimensional accuracy, the improved YOLOv5 model was conducive to the migration application and rapid recognition of bananas in the complex environments. In this case, the vision module of banana picking robot can meet the requirements for the axial locating of the undertaking mechanism at the bottom of banana fruit in the field environment.

image recognition;robots; banana picking; fruit axis location; attention mechanism; loss function

10.11975/j.issn.1002-6819.2022.19.014

S225.93

A

1002-6819(2022)-19-0122-09

段潔利，王昭銳，鄒湘軍，等. 采用改進YOLOv5的蕉穗識別及其底部果軸定位[J]. 農業工程學報，2022，38(19)：122-130.doi：10.11975/j.issn.1002-6819.2022.19.014 http://www.tcsae.org

Duan Jieli, Wang Zhaorui, Zou Xiangjun, et al. Recognition of bananas to locate bottom fruit axis using improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(19): 122-130. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.19.014 http://www.tcsae.org

2022-08-12

2022-09-29

嶺南現代農業實驗室科研項目（NT2021009）；國家重點研發計劃項目（2020YFD1000104）；財政部和農業農村部：現代農業產業技術體系建設專項資金（CARS-31-10）；廣東省現代農業產業技術體系創新團隊建設專項資金(2022KJ109）

段潔利，博士，博士生導師，研究方向為智能農業裝備。Email：duanjieli@scau.edu.cn

楊洲，博士，博士生導師，研究方向為水果生產機械化與信息化。Email：yangzhou@scau.edu.cn