基于改進YOLOv5的蘋果采摘機器人多目標識別技術研究

寇雷雷　張紅娜

摘要：針對采摘機器人多目標檢測影響因素多、識別準確率低等問題，為給采摘機械手提供有效的視覺引導，提出一種改進YOLOv5目標識別網絡模型。首先，在YOLOv5s的基礎上利用改進Ghost模塊替代CSP模塊，以減少模型計算量，使模型更為輕量化。考慮到預測框與目標框的橫縱比問題，用CIoU_Loss替換GIoU_Loss作為損失函數，提高目標回歸的穩定性。采用DSPP模塊來代替原始的SPP模塊進行池化操作，以解決SPP特征信息丟失問題，提高目標檢測的準確性；然后，利用該模型對蘋果圖像樣本進行訓練與評價，分析模型性能的可靠性與可行性；最后，對數據集進行識別測試，并根據不同評價指標進行對比分析，驗證所建模型的優越性。研究結果表明，所提出的改進YOLOv5網絡模型具有識別準確性高、抗干擾能力強、檢測速度快的特點。與其他模型相比，精確率最高提升8.4%，召回率最高提升5.1%，mAP最高提升10.3%。

關鍵詞：蘋果；多目標識別；采摘機器人；神經網絡

中圖分類號：TP391.41文獻標識碼：A文章編號：20955553 （2023） 11016207

Research on multi-target recognition technology of apple picking robot

based on improved YOLOv5

Kou Leilei Zhang Hongna

（1. School of Mechanical and Electrical Engineering， Jilin Engineering Vocational College， Siping， 136000， China；

2. College of Engineering， Inner Mongolia Minzu University， Tongliao， 028005， China）

Abstract：Aiming at the issues of multiple influencing factors and low recognition accuracy in multi target detection of harvesting robots， an improved YOLOv5 object recognition network model is proposed to provide effective visual guidance for harvesting robots. Firstly， based on YOLOv5s， an improved Ghost module is used to replace the CSP module to reduce the computational complexity of the model and make it more lightweight. Considering the aspect ratio between the prediction box and the target box， CIoU_Loss is replaced by GIoU_Loss as a loss function to improve the stability of target regression. DSPP module is used to replace the original SPP module for pooling operation to solve the problem of SPP feature information loss and improve the accuracy of object detection. Then， the model is used to train and evaluate apple image samples，to analyze the reliability and feasibility of the models performance. Finally， identification testing is conducted on the dataset and comparative analysis is conducted based on different evaluation indicators to verify the superiority of the constructed model. The research results indicate that the proposed improved YOLOv5 network model has the characteristics of high recognition accuracy， strong anti-interference ability， and fast detection speed. Compared with the other models， the accuracy rate is up to 8.4%， the recall rate is up to 5.1%， and the mAP rate is up to 10.3%.

Keywords：apple; multi-target recognition; picking robot; neural network

0引言

隨著自動化技術的發展，采摘機器人在農業生產領域不斷被應用，大大提高了采摘效率，有效解決人工作業效率低、勞動強度大等問題［12］。自動采摘的關鍵問題在于對果實的檢測，識別精度直接影響了采摘機器人的工作有效性，因此尋找一種有效的目標檢測算法成為當前學者們研究的重點。

基于深度學習的目標識別算法主要包括二階段目標檢測法和一階段目標檢測法。二階段目標檢測法首先生成目標候選框，對候選框區域的圖像進行特征提取，再對提取到的特征進行分類與回歸，如Faster R-CNN［3］、Mask R-CNN［4］等算法；一階段目標檢測算法是利用回歸思想同時完成檢測和識別，實現端到端的檢測和識別，如SSD［5］、YOLO［6］等算法。YOLO算法是近幾年提出的新型網絡模型，在檢測速度和檢測精度上更具優勢，目前已有發展了包括YOLOv2［7］、YOLOv3［89］、YOLOv4［1011］以及YOLOv5［12］等多種改進算法，廣泛應用于工業、農業、交通及軍事等領域。

由于果園地面不平整及采摘時機械臂抖動，常造成采集的圖像畫質不高，對目標檢測產生一定影響，降低了機器人對果實的識別精度。特別是在復雜天氣環境下，果實重疊、枝葉遮擋等情況的目標識別，更是存在識別準確率低和識別速度慢等問題，甚至導致漏檢或誤檢，嚴重影響了采摘機器人的作業效率。基于此，本文在YOLOv5s網絡模型的基礎上，對其CSP模塊、損失函數以及SPP模塊進行改進，提出一種改進YOLOv5網絡模型。同時，將該模型用于對蘋果目標的訓練測試，并與不同模型進行對比和量化評價分析，驗證該網絡模型的可靠性和可行性，以期提高采摘機器人的多目標識別精度，提升其工作效率。

1改進YOLOv5網絡模型

1.1模型框架

YOLOv5網絡模型是在YOLOv4的基礎上對骨干網絡等部分進行優化而演變來的，具有準確性高和檢測速度快等特點，是當前研究的熱點網絡。根據網絡深度和寬度的不同，目前YOLOv5已經發展為YOLOv5s、YOLOv5m、YOLOv5l及YOLOv5x幾種版本。結合本研究設計需求，為保證檢測速度和準確率，本文以YOLOv5s為基礎開展研究。

YOLOv5s網絡分為輸入端、主干網絡（Backbone）、頸部（Neck）、Prediction四個部分［1314］，如圖1所示。

YOLOv5s網絡在特征提取結構的頂端采用切片（Focus）操作，以擴充網絡的輸入通道，提高網絡的運行速度；CSP模塊是跨階段局部網絡結構的簡稱，是Backbone網絡的主體結構，主要用于提取特征，其結構由兩部分組成，一部分只進行簡單的卷積計算，另一部分則采用傳統的殘差塊堆疊操作，其形式為：卷積—批量歸一化—激活函數—多個殘差單元—卷積塊的連接方式。兩部分通過拼接和通道整合，使多個CSP模塊和Conv模塊串聯形成深度神經網絡，并在隱藏層中使用Leaky ReLU作為激活函數，以減輕模型的復雜程度，從而提高卷積神經網絡的學習能力，實現多尺度目標復雜特征的提取。

頸部（Neck）采用空間金字塔池化（FPP）方式，能夠更好地增加卷積核的感受野，提高網絡的深度學習能力，然后將路徑聚合網絡（PAN）與FPP特征層相連，提升了網絡特征的提取能力，實現對不同層級特征的有效融合。輸出端使用GIOU_Loss作為邊框回歸的損失函數，解決了預測框和目標框邊界框不重合問題，使目標框的回歸更加穩定。YOLOv5s網絡的輸入端采用Mosaic數據增強代替傳統的CutMix數據增強方式，通過自適應方法對錨框尺寸進行學習和計算，從而使模型定位更加準確，識別準確性更高，適合多目標的檢測與識別訓練。由于YOLOv5計算數據量大，往往存在檢測速度慢、識別效率低的問題，因此，本文在YOLOv5s網絡的基礎上，對其結構進行改進，構建出一種改進的YOLOv5網絡模型結構。

1.2CSP模塊改進

為有效減少卷積神經網絡的計算量，用Ghost模塊代替傳統的卷積模塊，該模塊由傳統卷積和深度卷積組合而成，然后再將兩個Ghost模塊疊加到一起，其輸入和輸出通過shortcut相連接。前面的Ghost模塊采用批量歸一化（BN）和ReLU激活函數作為擴展層以增加通道數，而后面的Ghost模塊則不使用激活函數，以減少通道數量，以適應shortcut的路徑形式。利用Ghost模塊替換CSP上層分支結構中的殘差組件，保持下層分支卷積不變，然后兩個分支再重新組合，分別進行Concat、正態分布（BN）、激活以及CBL操作，改進后的模塊如圖2所示。

1.3損失函數改進

YOLOv5s模型在對多個目標圖像進行檢測時，算法將生成不止一個預測框，因此需要刪除多余的預測框，選擇最接近真實框的預測框。YOLOv5s網絡的損失函數L由回歸框預測損失Lloc、置信度損失Lconf和目標分類損失Lclass組成，計算公式為如式（1）所示［1516］。

CIoU考慮了目標與預測框之間的距離、重疊率、尺寸以及懲罰項等參數，用以代替原始YOLOv5s算法中的GIoU進行anchor回歸，實現真實框和預測框無重合時的梯度回傳，提高模型收斂能力。當邊界框與真實框上下或左右相鄰時，CIoU能夠優化不相交的邊界框，保留位置更準確的邊界框，提高模型對目標位置預測的精確度。同時，使用CIoU能夠降低模型的訓練難度，提高檢測準確率，提高目標框回歸穩定性。

1.4SPP模塊改進

在YOLOv5s模型中，通過引用SPP模塊來解決原始池化方式中固定輸入尺寸帶來的圖像失真、變形等問題。SPP模塊包括1×1、5×5、9×9和13×13幾個尺度的最大池化操作，用以捕獲圖像局部與全局特征，有利于處理目標差異大的問題［19］。SPP模塊在池化操作過程中會出現圖像特征丟失現象，從而使目標檢測準確率下降。為此，本文采用DSPP模塊來代替原始的SPP模塊進行池化操作，該模塊同樣采用4個尺度進行最大池化操作，不同的是每個分支的最大池化信息還會與其他分支的特征信息相融合，一同作為池化操作的輸入，同時補充的池化信息量也由損失信息量決定，從而有效解決了SPP特征信息丟失問題，進一步提高了目標檢測的準確性，SPP與DSPP結構如圖3所示。

2模型訓練與評價

2.1數據采集

樣本采集于煙臺齊山鎮蘋果園區，采集對象為自然環境下生長的成熟期紅富士蘋果。拍攝時間為2022年10月上旬。為最大限度模擬環境的復雜性，在睛天順光、晴天逆光以及陰天3種天氣條件下采集圖像數據，采集距離1.0～2.0m。共采集原始圖像1 980張，圖像中包含相鄰、受遮擋、重疊等果實位置分布類型，圖像格式為JPEG，分辨率為1 920像素×1 080像素，不同圖像分類局部特征信息如圖4所示。按照8∶2的比例劃分訓練集和測試集，訓練集和測試集之間無重疊。

2.2試驗平臺與參數設置

搭建模型訓練與測試平臺，選用CPU型號為：Intel Core（TM）i5 9400，2.9 GHz；顯卡型號為：NVIDIA GeForce TX 2080S，8 GB顯存，利用Python語言編寫訓練程序，在Windows10操作系統下搭建深度學習框架，對模型進行訓練和測試。模型訓練時采用4個樣本作為一個批處理單元，每次更新權值時使用BN層進行正則化。以準確率和識別效率為首要目標進行測試，動量因子設置為0.85，初始學習率為0.001，權值衰減率為0.000 5，訓練次數為300。根據訓練結果對兩種模型的損失率進行分析，如圖5所示。可見，改進YOLOv5模型具有損失率小、訓練效率高的特點。

2.3評價指標

為驗證所建模型的有效性，采用精確率（Precision，P）、召回率（Recall，R）、平均準確率均值（mAP）3種指標對其進行評價，所用評價指標需要采用混淆矩陣計算，其規則如表1所示。

2.4模型訓練

利用搭建好的網絡模型對訓練集進行訓練，同時利用上述指標進行評價，并與原YOLOV5s模型進行對比，結果如圖6～圖8所示。

從訓練結果可以看出，隨著訓練次數的增加，與YOLOv5s網絡模型相比，改進YOLOv5網絡模型的精確率及召回率以及mAP都有比較明顯的提高。可見，本文所提出的網絡模型能夠有效進行多目標檢測問題的研究，滿足采摘機器人對果實圖像進行識別的要求。

2.5目標識別結果

為深入探究不同天氣條件及果實分布位置對采摘機器人目標檢測結果的影響，利用本文提出的改進YOLOv5、YOLOv5s及YOLOv3模型在晴天順光、晴天逆光及陰天的天氣環境下對所建數據集進行蘋果圖像識別測試。測試集中共計396張蘋果圖像，包括晴天順光161張，晴天逆光90張，陰天145張。測試結果如圖9～圖11所示。將３種網絡模型的最優評估指標進行對比，平均精確率與幀速率結果如表2所示。

從測試結果看，晴天順光條件下的檢測精確率和幀速率整體上高于晴天逆光和陰天條件，這是因為陰天環境下由于光線較暗，所以檢測難度比晴天順光時的難度大，而受太陽光斑影響，晴天逆光條件下光線較強，圖像的曝光度過高，檢測難度也比順光時大。另外，在同等光照條件下，由于樣本所在位置不同，在果實重疊或受枝葉遮擋等情況下，檢測效果也會受到很大影響，如圖12所示。

但從整體測試結果看，晴天順光、晴天逆光及陰天條件下蘋果果實的識別精確率分別是96.64%、92.36%和94.12%，而幀速率分別是75.26 fps、73.72 fps和75.19 fps。相比YOLOv5s和YOLOv3，改進YOLOv5的檢測準確率高、檢測速度快，對不同天氣情況和果實位置都有很好地識別精度。

2.6不同檢測算法對比

為進一步證明本算法相比其他算法的優越性，在相同測試集下，以精確率、召回率及mAP作為評價指標，將本文算法與YOLOv5s、YOLOv4-Tiny及YOLOv3網絡模型分別在測試集上進行圖像識別。同時，按式（4）、式（5）及式（7）的計算方法將3個指標進行對比，從而分析不同模型的性能，結果如表3所示。

由表3可知，本文所提出的改進YOLOv5網絡模型對蘋果果實的檢測精確率為94.37%，召回率為96.21%，mAP為96.73%，單幅圖像平均檢測速度為0.028s。相比YOLOv5s、YOLOv4-Tiny及YOLOv3模型，精確率分別提高了4.1%、5.3%、8.4%，召回率分別提高了2.8%、5.1%、4.5%，mAP分別提高了2.6%、7.1%、10.3%，單幅圖像平均檢測速度縮短了15.2%、17.6%、28.2%。雖然受光線條件、枝干遮擋以及果實重疊等因素的影響，模型的識別精度略受影響，但是從整體來看，與其他網絡模型相比，改進YOLOv5能夠有效識別目標，具有抗干擾能力強、檢測精度高、識別速度快等特點。

3結論

為提高采摘機器人對蘋果圖像的識別精度和檢測速度，基于深度學習理論建立一種新的目標檢測網絡模型，以期解決當前識別精度受干擾影響大、識別效率低的問題。

1）? 對YOLOv5s網絡模型的框架進行改進優化，利用改進Ghost模塊替代CSP模塊、CIoU_Loss替換GIoU_Loss作為損失函數、DSPP模塊代替原始的SPP模塊進行池化操作，目的是優化網絡結構、使模型更為輕量化、解決SPP特征信息丟失問題，進而提高目標回歸的穩定性。

2）? 考慮天氣條件和果實分布位置建立數據集，在不同網絡模型中進行訓練和測試對比，并對結果進行量化分析，從而實現相對各指標的有效性評價。

3）? 改進YOLOv5網絡模型能夠有效識別不同條件下的蘋果圖像，與所對照的模型相比，精確率最高提升了8.4%，召回率最高提升了5.1%，mAP最高提升了10.3%，單幅圖像平均檢測速度最多縮短28.2%，具有識別準確性高、抗干擾能力強、檢測速度快的特點。

參考文獻

［1］王飛濤， 樊春春， 李兆東， 等. 機器人在設施農業領域應用現狀及發展趨勢分析［J］. 中國農機化學報， 2020， 41（3）： 93-98， 120.Wang Feitao， Fan Chunchun， Li Zhaodong， et al. Application status and development trend of facility agriculture ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（3）： 93-98， 120.

［2］宋懷波， 尚鈺瑩， 何東健. 果實目標深度學習識別技術研究進展［J］. 農業機械學報， 2023， 54（1）： 1-19.Song Huaibo， Shang Yuying， He Dongjian. Review on deep learning technology for fruit target recognition ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（1）： 1-19.

［3］魏冉， 裴悅琨， 姜艷超， 等. 基于改進Faster R-CNN模型的櫻桃缺陷檢測［J］. 食品與機械， 2021， 37（10）： 98-105， 201.Wei Ran， Pei Yuekun， Jiang Yanchao， et al. Detection of cherry defects based on improved Faster R-CNN model ［J］. Food & Machinery， 2021， 37（10）： 98-105， 201.

［4］岳有軍， 田博凱， 王紅君， 等. 基于改進Mask RCNN的復雜環境下蘋果檢測研究［J］. 中國農機化學報， 2019， 40（10）： 128-134.Yue Youjun， Tian Bokai， Wang Hongjun， et al. Research on apple detection in complex environment based on improved Mask RCNN ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（10）： 128-134.

［5］李輝， 嚴康華， 景浩， 等. 基于改進SSD的蘋果葉部病理檢測識別［J］. 傳感器與微系統， 2022， 41（10）： 134-137.Li Hui， Yan Kanghua， Jing Hao， et al. Apple leaf pathology detection and recognition based on improved SSD ［J］. Transducer and Microsystem Technologies， 2022， 41（10）： 134-137.

［6］章倩麗， 李秋生， 胡俊勇， 等. 基于PP-YOLO改進算法的臍橙果實實時檢測［J］. 北京聯合大學學報， 2022， 36（4）： 58-66.Zhang Qianli， Li Qiusheng， Hu Junyong， et al. Real-time detection of navel orange fruit based on improved PP-YOLO algorithm ［J］. Journal of Beijing Union University， 2022， 36（4）： 58-66.

［7］張曼， 李杰， 丁榮莉， 等. 基于改進YOLO-V2算法的遙感圖像目標檢測技術研究［J］. 計算機科學， 2020， 47（S1）： 176-180.Zhang Man， Li Jie， Ding Rongli， et al. Remote sensing image object detection technology based on improved YOLO-V2 algorithm ［J］. Computer Science， 2020， 47（S1）： 176-180.

［8］Tian Y， Yang G， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model ［J］. Computers and Electronics in Agriculture， 2019， 157： 417-426.

［9］柳長源， 王琪， 畢曉君. 多目標小尺度車輛目標檢測方法［J］. 控制與決策， 2021， 36（11）： 2707-2712.Liu Changyuan， Wang Qi， Bi Xiaojun. Multi-target and small-scale vehicle target detection method ［J］. Control and Decision， 2021， 36（11）： 2707-2712.

［10］范曉飛， 王林柏， 劉景艷， 等. 基于改進YOLOv4的玉米種子外觀品質檢測方法［J］. 農業機械學報， 2022， 53（7）： 226-233.Fan Xiaofei， Wang Linbai， Liu Jingyan， et al. Corn seed appearance quality estimation based on improved YOLOv4 ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（7）： 226-233.

［11］

潘惠蘋， 王敏琴， 張福泉. 基于優化YOLO-V4的交通標志檢測識別方法［J］. 計算機科學， 2022， 49（11）： 179-184.

Pan Huiping， Wang Minqin， Zhang Fuquan. Traffic sign detection and recognition method based on optimized YOLO-V4 ［J］. Computer Science， 2022， 49（11）： 179-184.

［12］汪穎， 王峰， 李瑋， 等. 用于復雜環境下果蔬檢測的改進YOLOv5算法研究［J］. 中國農機化學報， 2023， 44（1）： 185-191.Wang Ying， Wang Feng， Li Wei， et al.Study on improved YOLOv5 algorithm for fruit and vegetable detection in complex environments ［J］. Journal of Chinese Agricultural Mechanization， 2023， 44（1）： 185-191.

［13］魏天宇， 柳天虹， 張善文， 等. 基于改進YOLOv5s的辣椒采摘機器人識別定位方法［J］. 揚州大學學報（自然科學版）， 2023， 26（1）： 61-69.Wei Tianyu， Liu Tianhong， Zhang Shanwen， et al. Research on pepper picking robot recognition and positioning method based on improved YOLOv5s ［J］. Journal of Yangzhou University （Natural Science Edition）， 2023， 26（1）： 61-69.

［14］李光明， 弓皓斌， 袁凱. 基于輕量化YOLOv5s的花椒簇檢測研究［J］. 中國農機化學報， 2023， 44（4）： 153-158.Li Guangming， Gong Haobin， Yuan Kai. Research on lightweight pepper cluster detection based on YOLOv5s ［J］. Journal of Chinese Agricultural Mechanization， 2023， 44（4）： 153-158.

［15］Yan B， Fan P， Lei X Y， et al. A real-time apple targets detection method for picking robot based on improved YOLOv5 ［J］. Remote Sensing， 2021， 13（9）： 1619.

［16］閆彬， 樊攀， 王美茸， 等. 基于改進YOLOv5m的采摘機器人蘋果采摘方式實時識別［J］. 農業機械學報， 2022， 53（9）： 28-38.Yan Bin， Fan Pan， Wang Meirong， et al. Real-time apple picking pattern recognition for picking robot based on improved YOLOv5m ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 28-38.

［17］李揚， 腰彩紅， 高冠群， 等. 一種基于YOLOv5的草莓多階段目標檢測方法［J］. 天津農業科學， 2022， 28（11）： 81-90.Li Yang， Yao Caihong， Gao Guanqun， et al. A target detection method based on YOLOv5 in multi-stage of strawberry growing period ［J］. Tianjin Agricultural Sciences， 2022， 28（11）： 81-90.

［18］黃彤鑌， 黃河清， 李震， 等. 基于YOLOv5改進模型的柑橘果實識別方法［J］. 華中農業大學學報， 2022， 41（4）： 170-177.Huang Tongbin， Huang Heqing， Li Zhen， et al. Citrus fruit recognition method based on the improved model of YOLOv5 ［J］. Journal of Huazhong Agricultural University， 2022， 41（4）： 170-177.

［19］楊其晟， 李文寬， 楊曉峰， 等. 改進YOLOv5的蘋果花生長狀態檢測方法［J］. 計算機工程與應用， 2022， 58（4）： 237-246.Yang Qisheng， Li Wenkuan， Yang Xiaofeng， et al. Improved YOLOv5 method for detecting growth status of apple flowers ［J］. Computer Engineering and Applications， 2022， 58（4）： 237-246.

［20］He K M， Zhang X Y， Ren S Q， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.