基于改進(jìn)YOLOv7的番茄果實(shí)成熟度檢測(cè)方法

中圖分類號(hào)S126 文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào) 0517-6611（2025）12-0193-03

doi：10.3969/j.issn.0517-6611.2025.12.042

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

MaturityDetection of Tomato Based on Improved YOLOv7

TANRong-yig，iang，LJun-etal（ShlfSartAultureEgiingeiVocaalClgeoflureejing 102442）

AbstractTouratelyentifyeatuityoftoatoargtinfcilitviroents，provetectioefecydaltydchve inteligentharvestingAancdLOodelisroposdfotetigtaturitoftgettoatofruis.sproachce model'sfocusonteagetregiosfputdatabyitegatintheCBAatetiomehasm；eploingtheSof-algoritetiely preventsissdetetiosuetigsitepngetsgsuppesdbyaingetiofoacngte originallossfunctioEOUandeplacing iithIOU，eexperientalsultssowtatteimprovedYOLOodelhasdetectioecision of 93.1% ，a recall rate of 90.8% ，and a mean average precision of 94.8% . Compared with the original YOLOv7 and YOLOv5 models，it hasimprovedindetetionprecision，ecallate，andmanaverageprecision，providingtechicalreferecefortmatoharvestingoplex environments.

Key words Tomato; YOLOv7; Maturity detection; Target recognition

番茄收獲過程中，人工采摘成本占據(jù) 33%～50% 。不僅效率低下，而且勞動(dòng)強(qiáng)度極大[]。番茄采摘機(jī)器人是實(shí)現(xiàn)智能化作業(yè)、提高工作效率、減少人工成本的重要手段。采摘機(jī)器人設(shè)計(jì)難點(diǎn)是番茄的識(shí)別和定位，其準(zhǔn)確性關(guān)系采摘機(jī)器人的工作效率2。自然條件下在設(shè)施溫室內(nèi)，番茄果實(shí)生長環(huán)境較為多變，果實(shí)之間存在葉片枝干遮擋、重疊、黏連等情況，這些因素給智能化采摘作業(yè)帶來了一定的困難。隨著深度學(xué)習(xí)、機(jī)器視覺等技術(shù)的快速發(fā)展，提升設(shè)施溫室內(nèi)自然環(huán)境下番茄果實(shí)目標(biāo)檢測(cè)的準(zhǔn)確性和效率對(duì)于提高采摘效率，實(shí)現(xiàn)機(jī)器智能采摘具有重要意義。

近年來，國內(nèi)外學(xué)者圍繞深度學(xué)習(xí)技術(shù)對(duì)番茄果實(shí)目標(biāo)識(shí)別展開了深人研究。劉建航等[3提出基于改進(jìn)YOLOv4和ICNet的番茄串檢測(cè)模型，改進(jìn)后的模型對(duì)番茄及番茄串的平均檢測(cè)精度為 99.31% ，參數(shù)量減少了 18% ，平均識(shí)別速度為 32f/s ，對(duì)番茄串的準(zhǔn)確采摘率為 84.8% ，完成1次采摘作業(yè)耗時(shí)約6s，為復(fù)雜溫室大棚環(huán)境下的農(nóng)作物采摘提供了技術(shù)支撐。楊堅(jiān)等[4]提出一種基于改進(jìn)YOLOv4-tiny 的番茄成熟度識(shí)別模型，能夠有效解決遮擋和小番茄識(shí)別準(zhǔn)確率低的問題。何斌等[5]提出一種基于改進(jìn)YOLOv5的夜間番茄果實(shí)的識(shí)別方法，結(jié)果表明夜間環(huán)境下番茄綠色果實(shí)識(shí)別精度、紅色果實(shí)識(shí)別精度和綜合平均識(shí)別精度分別為96.2% .97.6% 和 96.8% ，驗(yàn)證了模型對(duì)夜間環(huán)境下番茄果實(shí)識(shí)別的可靠性與準(zhǔn)確性。苗榮慧等提出一種基于改進(jìn)

YOLOv7的輕量化櫻桃番茄成熟度檢測(cè)方法，模型在測(cè)試集下的精確率、召回率和平均精度均值（mAP）分別為 98.6% 、98.1% 和 98.2% ，為櫻桃番茄果實(shí)的自動(dòng)化采摘提供了有效探索。基于此，該研究提出一種改進(jìn)YOLOv7模型，以期實(shí)現(xiàn)設(shè)施環(huán)境下準(zhǔn)確識(shí)別番茄目標(biāo)果實(shí)成熟度，提高檢測(cè)效率和質(zhì)量，推進(jìn)番茄果實(shí)智能采收。

1材料與方法

1.1圖像采集試驗(yàn)場(chǎng)地選取北京翠湖農(nóng)業(yè)科技有限公司智慧農(nóng)業(yè)創(chuàng)新工場(chǎng)，該基地主要種植品種有翠湖1號(hào)、翠湖2號(hào)、Saopolo和德澳特Juanita等，番茄種植主要采用無土栽培方式，選用椰糠作為無土栽培的種植基質(zhì)，相鄰兩種植槽寬150cm ，壟高 80cm ，第1株番茄高度約 150cm ，種植環(huán)境如圖1所示。

以產(chǎn)量最高、種植情況最好的Saopolo為研究對(duì)象，在2023年4一6月使用榮耀9X采集設(shè)施條件下的不同植株的番茄圖像。采集時(shí)間包括上午、中午和下午，以獲取不同光照條件下的圖像。共獲取3000像素 ?×5000 像素的番茄有效圖像1611幅。采集圖像類型包括單目標(biāo)果實(shí)、多目標(biāo)果實(shí)、順光環(huán)境、逆光環(huán)境、有枝葉遮擋圖像和無遮擋圖像，如圖2所示。

1.2數(shù)據(jù)集構(gòu)建為進(jìn)一步增加樣本多樣性，改善模型訓(xùn)練效果，提高模型魯棒性和泛化能力，借助數(shù)據(jù)增強(qiáng)的方式進(jìn)行樣本擴(kuò)充，內(nèi)容包隨機(jī)角度旋轉(zhuǎn)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、高斯模糊、隨機(jī)亮度調(diào)整、隨機(jī)平移和隨機(jī)裁剪等數(shù)據(jù)增強(qiáng)方式隨機(jī)組合，對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，通過數(shù)據(jù)增強(qiáng)共獲得4743幅樣本圖像。

數(shù)據(jù)集制作主要包括圖像標(biāo)注和數(shù)據(jù)集分類兩個(gè)過程。采用LabelImg工具對(duì)不同成熟度番茄果實(shí)進(jìn)行標(biāo)注。青色番茄標(biāo)注unripe，紅色果實(shí)標(biāo)注為ripe，正在進(jìn)行轉(zhuǎn)色的果實(shí)，雖然未達(dá)到成熟期，但是考慮到采摘之后的運(yùn)輸儲(chǔ)存環(huán)節(jié)，已經(jīng)可以滿足實(shí)際采摘需求，因此也將其標(biāo)注為成熟番茄，同時(shí)對(duì)果實(shí)遮擋嚴(yán)重，正常視覺效果下難以辨別其成熟度情況的果實(shí)不予標(biāo)注，標(biāo)注完成之后生成一系列txt標(biāo)簽文件。按照比例 7：1：2 將數(shù)據(jù)集劃分為訓(xùn)練集（3320幅）、驗(yàn)證集（474幅）和測(cè)試集（949幅）。

2模型構(gòu)建

2.1改進(jìn)YOLOv7算法YOLOv7網(wǎng)絡(luò)架構(gòu)圖主要由輸入層Input、用于特征取的Backbone以及特征融合和分類定位預(yù)測(cè)Head部分組成[]。YOLOv7是目前比較先進(jìn)的算法，與前幾代YOLO算法相比，該算法在主干特征提取網(wǎng)絡(luò)中加入了可擴(kuò)展的高效聚合層網(wǎng)絡(luò)（E-ELAN），通過影響深度神經(jīng)網(wǎng)絡(luò)的梯度路徑從而加快模型的收斂，提高檢測(cè)精度[8]。針對(duì)溫室內(nèi)串番茄的生長環(huán)境復(fù)雜的特點(diǎn)，該研究對(duì)YOLOv7模型進(jìn)行了部分改進(jìn)，以提高模型特征提取能力，如圖3所示。主要包括引入CBAM注意力機(jī)制，改進(jìn)模型中原有的NMS（非極大值抑制）策略，替換為更為敏感的非極大值抑制Soft-NMS以及進(jìn)一步優(yōu)化損失函數(shù)以提高整體檢測(cè)性能。

2.2添加注意力機(jī)制溫室復(fù)雜環(huán)境中，由于受到光照，枝葉遮擋以及非結(jié)構(gòu)化背景等因素的影響，導(dǎo)致圖片中出現(xiàn)諸多干擾信息。注意力機(jī)制是對(duì)圖像輸入關(guān)鍵信息的動(dòng)態(tài)聚焦過程，這個(gè)過程是通過特征自適應(yīng)分配權(quán)重實(shí)現(xiàn)的，聚焦圖像的重要特征，抑制不必要的區(qū)域響應(yīng)[9]。CBAM（convo-lutionalblockattentionmodule）是一種專門應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制，作為輕量級(jí)的卷積注意力模塊，CBAM能夠利用通道和空間之間的關(guān)聯(lián)性，從而顯著提高模型的性能，因此將CBAM注意力機(jī)制引人YOLOv7以提高模型性能，CBAM的結(jié)構(gòu)示意圖見圖4。

2.3Soft-NMS改進(jìn)溫室環(huán)境下對(duì)串番茄果實(shí)識(shí)別在某種程度上屬于高密集目標(biāo)檢測(cè)，尤其是大規(guī)模種植的復(fù)雜環(huán)境下串番茄果實(shí)相互重疊，給目標(biāo)檢測(cè)帶來了較大的困難。傳統(tǒng)的非極大值抑制算法（NMS）主要用來選篩選預(yù)測(cè)框，而重疊部分會(huì)使得篩選存在錯(cuò)誤抑制造成漏檢等問題，該研究采用柔性非極大值抑制算法（Soft-NMS）替代傳統(tǒng)的NMS，Soft-NMS中對(duì)于IOU交并比大于閥值的檢測(cè)框并沒有和基本NMS那樣將其得分直接置為0，而是設(shè)置衰減函數(shù)降低邊框得分。通過這種方法，可以避免出現(xiàn)某些高度重疊的果實(shí)檢測(cè)框被徹底剔除的情況，提升模型對(duì)于嚴(yán)重疊遮擋的目標(biāo)果實(shí)的檢測(cè)能力。

2.4優(yōu)化損失函數(shù)YOLOv7算法中，預(yù)測(cè)框的回歸損失采用CIOU函數(shù)，包括定位損失、置信度損失和分類損失，但該損失函數(shù)可能存在方向不匹配問題，即它沒有直接考慮目標(biāo)框的方向信息。這種不匹配可能導(dǎo)致收斂速度較慢且影響收斂效率，預(yù)測(cè)框可能在訓(xùn)練的過程中“四處游蕩\"并最終產(chǎn)生更差的模型[10]。因此，該研究采用SIOU損失函數(shù)替換CIOU損失函數(shù)。SIOU的損失公式如下：

式中，IOU為損失函數(shù)， ∧ 為考慮角度， Δ 為距離損失， 為形狀損失， B 為真是邊界框的面積， B^GT 為預(yù)測(cè)邊界框的面積。

3結(jié)果與分析

3.1試驗(yàn)環(huán)境該研究中所采用的操作系統(tǒng)為Windows10，采用CPU型號(hào)為 InteI（R）Core（TM）i9-14900HX@2.50GHz GPU型號(hào)為NVIDIATITANRTX4080，運(yùn)行內(nèi)存為32GB，1TB機(jī)械硬盤，編程語言為Python3.9，使用的深度學(xué)習(xí)框架為PyTorch1.13.0版本。訓(xùn)練參數(shù)設(shè)置為初始學(xué)習(xí)率設(shè)置為0.01，批處理量設(shè)為8，選擇迭代次數(shù)Epoch為500次。

3.2評(píng)價(jià)指標(biāo)對(duì)串番茄成熟度檢測(cè)過程中主要考慮模型的檢測(cè)精度和檢測(cè)速度2個(gè)因素，該研究選取以下指標(biāo)對(duì)模型進(jìn)行評(píng)估：精確度（precision，P）召回率（recall，R）、平均精確度（averageprecision，AP）、平均精度均值（meanaverageprecision，mAP）以及每秒幀數(shù)（frames per second，F(xiàn)PS）。

3.3模型對(duì)比與驗(yàn)證

3.3.1不同目標(biāo)檢測(cè)模型對(duì)比。為了驗(yàn)證改進(jìn)模型的有效性能，該試驗(yàn)設(shè)計(jì)了不同模型之間性能測(cè)試對(duì)比，將改進(jìn)YOLOv7模型和YOLOv5模型以及原始YOLOv7模型采用相同的數(shù)據(jù)集和參數(shù)設(shè)置進(jìn)行訓(xùn)練和測(cè)試，不同模型的精確度、召回率、平均精度均值見表1。從表1可知，改進(jìn)后的模型檢測(cè)精度為 93.1% ，召回率為 90.8% ，平均精度均值為94.8% ，比原始YOLOv7模型和YOLOv5模型的效果都有明顯提升。與原始YOLOv7模型相比，改進(jìn)后模型的精度、召回率和平均精度均值分別提升了2.4百分點(diǎn)、1.2百分點(diǎn)和2.5百分點(diǎn)，比YOLOv5模型分別提升了2.0百分點(diǎn)、2.1百分點(diǎn)和3.0百分點(diǎn)。

3.3.2檢測(cè)效果驗(yàn)證。為進(jìn)一步檢驗(yàn)改進(jìn)后YOLOv7模型在實(shí)際復(fù)雜溫室環(huán)境下的檢測(cè)效果，使用改進(jìn)后的YOLOv7模型對(duì)驗(yàn)證集中的數(shù)據(jù)集進(jìn)行了檢測(cè)驗(yàn)證，結(jié)果如圖5所示。從圖5可以看出，在逆光條件下，改進(jìn)后YOLOv7模型依然能較好地識(shí)別出目標(biāo)果實(shí)。

4結(jié)論

針對(duì)室內(nèi)串番茄種植環(huán)境復(fù)雜、目標(biāo)檢測(cè)精度較差等問題，該研究提出一種改進(jìn)YOLOv7模型以提升檢測(cè)精度及效率。通過引入注意力機(jī)制CBAM，調(diào)整模型對(duì)輸人數(shù)據(jù)的目標(biāo)區(qū)域關(guān)注度；借助Soft-NMS算法，有效避免高密度重疊目標(biāo)被一次性抑制導(dǎo)致發(fā)生漏檢現(xiàn)象，從而提高識(shí)別效果；優(yōu)化原始損失函數(shù)，將EIOU替換為SIOU，從而提高模型對(duì)不同生長狀態(tài)的串番茄的檢測(cè)精度，并與其他典型算法進(jìn)行對(duì)比。結(jié)果表明，改進(jìn)的YOLOv7模型檢測(cè)精度為 93.1% ，召回率為 90.8% ，平均精度均值為 94.8% ，與原始YOLOv7模型和YOLOv5模型相比，檢測(cè)精度、召回率和平均精度均值等方面均有提高。因此，該基于改進(jìn)YOLOv7的番茄成熟度檢測(cè)模型可為實(shí)現(xiàn)復(fù)雜環(huán)境下番茄采摘提供技術(shù)參考。

參考文獻(xiàn)

[1]李慧琴，宋趙銘，劉存祥，等.基于YOLOv8n的番茄果實(shí)檢測(cè)模型改進(jìn)[J/OL].河南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2024-05-13[2024-07-31].https：//doi.org/10.16445/j.cnki.1000-2340.20240511.002.

[2]劉芳，劉玉坤，林森，等.基于改進(jìn)型YOLO的復(fù)雜環(huán)境下番茄果實(shí)快速識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（6）：229-237.

[3]劉建航，何鑒恒，陳海華，等.基于改進(jìn)YOLO Δ_v4 和ICNet的番茄串檢測(cè)模型[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（10）：216-224，254.

[4]楊堅(jiān)，錢振，張燕軍，等.采用改進(jìn)YOLOv4-tiny的復(fù)雜環(huán)境下番茄實(shí)時(shí)識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2022，38（9）：215-221.

[5]何斌，張亦博，龔健林，等.基于改進(jìn)YOLOv5的夜間溫室番茄果實(shí)快速識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022，53（5）：201-208.

[6]苗榮慧，李志偉，武錦龍.基于改進(jìn)YOLOv7的輕量化櫻桃番茄成熟度檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2023，54（10）：225-233.

[7]李紅丹，帥璐宇，徐雪環(huán)，等.基于改進(jìn)YOLOv7的草莓成熟度檢測(cè)方法[J].四川農(nóng)業(yè)大學(xué)學(xué)報(bào)，2024，42（3）：561-571.

[8]劉詩怡，胡濱，趙春.基于改進(jìn)YOLOv7的黃瓜葉片病蟲害檢測(cè)與識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2023，39（15）：163-171.

[9]陳青，殷程凱，郭自良，等.基于改進(jìn)YOLOv7的蘋果生長狀態(tài)及姿態(tài)識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2024，40（6）：258-266.

[10]龍燕，楊智優(yōu)，何夢(mèng)菲.基于改進(jìn)YOLOv7的疏果期蘋果目標(biāo)檢測(cè)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2023，39（14）：191-199.