甜瓜機(jī)械化采摘目標(biāo)檢測研究

李 超， 倪躍躍， 韓 騰， 姬文婷

（1.棗莊市農(nóng)業(yè)農(nóng)機(jī)技術(shù)推廣中心，山東 棗莊 277800； 2.棗莊市農(nóng)業(yè)綜合執(zhí)法支隊(duì)，山東 棗莊 277800）

0 引言

甜瓜是世界10 大水果之一，是葫蘆科草本植物的果實(shí)[1-2]。甜瓜口感脆爽、香甜濃郁，深受人們的喜愛。甜瓜含有豐富的蛋白質(zhì)、脂肪和維生素等營養(yǎng)物質(zhì)，具有水分充沛、可清熱解暑、消煩止渴及利尿等功能[3-4]。甜瓜種植歷史已有3 000 多年，中國是甜瓜生產(chǎn)和消費(fèi)第一大國[5]。近年來，我國甜瓜種植面積快速增長，2020 年達(dá)到38.78 萬hm2，其種植區(qū)域主要集中在新疆維吾爾自治區(qū)、山東省、河南省、河北省和江蘇省等[6-9]。甜瓜采摘是每年收獲季節(jié)的一個(gè)關(guān)鍵環(huán)節(jié)，費(fèi)時(shí)費(fèi)力。研究和發(fā)展甜瓜采摘機(jī)械化勢在必行，目標(biāo)檢測在機(jī)械化開發(fā)中發(fā)揮關(guān)鍵作用。

近年來，隨著人工智能的興起，深度學(xué)習(xí)的迅速發(fā)展使得目標(biāo)檢測取得了重大突破。比較流行的算法可分為兩類：一是two-steps 算法，如R-CNN、Fast RCNN，此類算法將目標(biāo)檢測任務(wù)分為目標(biāo)類別和目標(biāo)區(qū)域兩個(gè)步驟；二是one-step 算法，例如YOLO、SSD，此類算法直接預(yù)測不同目標(biāo)的類別和位置[10-12]。twosteps 算法檢測精度高，但是卷積神經(jīng)網(wǎng)絡(luò)計(jì)算量大、速度慢；one-step 算法在保證檢測精度的同時(shí)，檢測速度快。YOLO（You Only Look Once）系列算法廣泛應(yīng)用于目標(biāo)檢測領(lǐng)域，并經(jīng)歷了v1～v7 的發(fā)展。YOLOv5和YOLOv7 在檢測精度和速度都具有良好優(yōu)勢[13-15]。

YOLOv5 是 由 UitralyticsLLC 公 司 在2020 年 發(fā) 布的一種單階段目標(biāo)檢測算法，有4 個(gè)版本：YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x。YOLOv5s 內(nèi)存最小、速度最快，檢測精度良好。商鈺瑩等[16]利用YOLOv5s 檢測了自然場景下蘋果花朵，模型的準(zhǔn)確率為87.70%、召回率為94%。劉芳[17]基于YOLOv5 進(jìn)行了柑橘果實(shí)的快速識(shí)別。YAO J 等[18]利用YOLOv5算法進(jìn)行了獼猴桃缺陷實(shí)時(shí)檢測。LAWAL O M 等[19]基于改進(jìn)的YOLOv5 進(jìn)行水果檢測。

YOLOv7 是由WANG C Y 等[20]在2022 年6 月發(fā)布的一項(xiàng)最新的one-step 目標(biāo)檢測算法；官方版YOLOv7 相同比量下比YOLOv5 精度更高、速度快120%（FPS）。由于YOLOv7 模型發(fā)布時(shí)間近，關(guān)于YOLOv7 用于甜瓜農(nóng)產(chǎn)品檢測研究尚未有報(bào)道。本研究基于YOLOv5 和YOLOv7 算法進(jìn)行了甜瓜圖像的目標(biāo)檢測。

1 材料和方法

1.1 圖像采集

本研究采用的甜瓜品種博洋9，是天津德瑞特種業(yè)有限公司培育的薄皮型甜瓜品種，具有豐產(chǎn)穩(wěn)產(chǎn)優(yōu)勢。博洋9 甜瓜圖像采集于山東省棗莊市龍?zhí)都彝マr(nóng)場溫室。圖像分辨率為2 340×1 080，圖像通道為RGB 3 通道。圖像采集環(huán)境復(fù)雜，不同情況下的圖像如圖1 所示，包括了遮擋、光照變化、形狀差異、采集角度和背景環(huán)境等多重因素。

圖1 不同環(huán)境下的甜瓜圖像Fig.1 Muskmelon images in different environments

采集到的圖像共736 張，將圖像隨機(jī)分為訓(xùn)練集和測試集，比例4∶1，訓(xùn)練集圖像為588 張、驗(yàn)證集圖像148 張。

1.2 圖像標(biāo)注

在訓(xùn)練YOLOv5 和YOLOv7 模型之前，需要進(jìn)行圖像標(biāo)注，即類別標(biāo)簽和圖像檢測位置。采用開源工具LabelImg 進(jìn)行圖像標(biāo)注，標(biāo)簽文件以txt 格式保存，名稱與圖像一致，txt 文件表示法如圖2 所示。txt 文件中，第1 個(gè)數(shù)據(jù)表示物體類別，“0”是指甜瓜；第2個(gè)和第3 個(gè)數(shù)據(jù)表示標(biāo)注框的中心點(diǎn)坐標(biāo)（x，y）；第3 和第4 個(gè)數(shù)據(jù)是分別表示標(biāo)注框的相對(duì)寬度W和相對(duì)高度H。圖像標(biāo)注原則為標(biāo)注框在覆蓋目標(biāo)的同時(shí)盡可能小，使目標(biāo)信息占比盡可能大。對(duì)于有遮擋的目標(biāo)，根據(jù)虛擬形狀進(jìn)行標(biāo)注。

圖2 圖像標(biāo)注文件txt 文件數(shù)據(jù)表示含義Fig.2 Image annotation file txt file data representation meaning

1.3 模型

1.3.1 YOLOv5 模型

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)由Backbone、Neck 和Head 組成。其中Backbone 主要使用了CSDarknet53+空間金字塔池化SPP 模塊。頸部（Neck）采用了FPN+PANet 結(jié)構(gòu)，頭部結(jié)構(gòu)和YOLOv3 一致，YOLOv5 頭部采用了G-IOU 損失函數(shù)。YOLOv5 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，本研究采用YOLOv5s 權(quán)重模型。

圖3 YOLOv5s 模型結(jié)構(gòu)Fig.3 YOLOv5s model structure

1.3.2 YOLOv7 模型

YOLOv7 算法網(wǎng)絡(luò)結(jié)構(gòu)整體與YOLOv5 相似，不同之處主要集中在網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)部組件的更換。YOLOv7 的backbone 使用了ELAN（Extended efficient layer aggregation networks）和MP（Maxpool 和CBS）結(jié)構(gòu)。ELAN 通過控制最短最長的梯度路徑，使得更深的網(wǎng)絡(luò)可以有效地學(xué)習(xí)和收斂。YOLOv7 的Head 引入RepVGG 改造了Head 網(wǎng)絡(luò)結(jié)構(gòu)，并使用了輔助頭（auxiliary Head）訓(xùn)練及相應(yīng)的正負(fù)樣本匹配策略。

1.4 試驗(yàn)平臺(tái)

本研究試驗(yàn)平臺(tái)搭建：計(jì)算機(jī)為Lenovo Legion R90000P 2021H，操作系統(tǒng)為Windows 10（專業(yè)版），CPU 為 AMD Ryzen 7 5800H 3.2 GHz， GPU 為RTX3060，RAM 為16GB，CUDA v11.7，OpenCV v 4.6.0.66。

將訓(xùn)練集588 張圖像分別進(jìn)行YOLOv5 和YOLOv7模型訓(xùn)練，輸入模型的圖像大小640×640，每批次樣本數(shù)32 個(gè)，epochs 為100，初始學(xué)習(xí)率為0.01。

1.5 模型評(píng)估

為驗(yàn)證模型優(yōu)劣，對(duì)模型進(jìn)行評(píng)估，使用精度P、召回率R、F1系數(shù)（score）、平均精度AP作為評(píng)估參數(shù)。計(jì)算公式如下

式中TP——真陽樣本數(shù)

FP——假陽樣本數(shù)

FN——假陰樣本數(shù)

AP——平均精度

2 結(jié)果與討論

2.1 模型分析

用148 張、共474 個(gè)標(biāo)簽的驗(yàn)證集圖像驗(yàn)證訓(xùn)練好的YOLOv5 和YOLOv7 模型，驗(yàn)證結(jié)果如表1 所示。YOLOv5 使用精度86.1%，比YOLOv7 使用精度略高；YOLOv5 召 回 率 82.5%， YOLOv7 召 回 率 85.8%；YOLOv5 平均精度90.2%，YOLOv7 平均精度92.5%；而從檢測速度看，YOLOv5 和YOLOv7 一致，檢測速度均高，為83.33FPS。綜合比較，認(rèn)為YOLOv7 模型最優(yōu)，YOLOv7 的PR 曲線如圖4 所示。

表1 不同模型的檢測結(jié)果Tab.1 Results of different models

圖4 YOLOv7 模型P-R 曲線Fig.4 P-R curve of YOLOv7 model

2.2 測試結(jié)果

2.2.1 不同環(huán)境下圖像測試

將上述不同環(huán)境下的圖像拼接成一張圖像，用YOLOv5 和YOLOv7 模型進(jìn)行檢測，結(jié)果如圖5 所示。

圖5 不同環(huán)境下甜瓜圖像的模型測試結(jié)果Fig.5 Models test results of muskmelon images in different environments

YOLOv5 將一個(gè)鐵夾錯(cuò)檢為甜瓜，用x號(hào)標(biāo)注；漏檢一個(gè)形狀較大的甜瓜目標(biāo)，用○標(biāo)注；其他大型甜瓜目標(biāo)均能被檢測出，另外，還能檢測出部分特小、模糊的目標(biāo)。YOLOv7 沒有錯(cuò)檢樣本，全部檢測出大型甜瓜目標(biāo)，而大部分特小、模糊目標(biāo)也能被檢測出來。綜合評(píng)定，在不同環(huán)境下，檢測甜瓜大目標(biāo)，YOLOv7 比YOLOv5 檢測效果更佳。

2.2.2 隨機(jī)圖像測試

隨機(jī)選取1 張圖像進(jìn)行YOLOv5、YOLOv7 模型測試，結(jié)果如圖6 所示。從檢測結(jié)果分析，此圖像含有鐵夾，但是YOLOv5、YOLOv7 均未將其認(rèn)為甜瓜目標(biāo)，而上述不同環(huán)境下的圖像檢測出錯(cuò)，可能是由于多張圖像拼接在一起導(dǎo)致目標(biāo)過小而引起的。

圖6 隨機(jī)甜瓜圖像模型測試結(jié)果Fig.6 Random melon image model test results

YOLOv5 檢測出11 個(gè)甜瓜目標(biāo)，YOLOv7 檢測出13 個(gè)甜瓜目標(biāo)，比YOLOv5 多檢測出2 個(gè)小目標(biāo)。此結(jié)果驗(yàn)證了上述不同環(huán)境下檢測結(jié)果，說明YOLOv7在全部檢測大目標(biāo)同時(shí)，小目標(biāo)也容易檢測出來。

3 結(jié)束語

本研究采用了YOLOv5 和YOLOv7 模型進(jìn)行博洋9 甜瓜檢測的研究。

（1）兩個(gè)模型檢測結(jié)果良好，平均精度都超過90%。

（2）相較于傳統(tǒng)的YOLO 系列，YOLOv5 和YOLOv7 模型的檢測速度均較好，達(dá)到了83.33FPS。

（3）經(jīng)測試，YOLOv5 和YOLOv7 均檢測出大型甜瓜目標(biāo)和部分小型甜瓜目標(biāo)。

研究表明，基于YOLOv5 和YOLOv7 模型進(jìn)行甜瓜檢測是可行的。 這兩個(gè)模型可應(yīng)用于甜瓜采摘機(jī)械化技術(shù)開發(fā)的目標(biāo)檢測環(huán)節(jié)。