中圖分類號(hào):TP391.41;S225.99 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1008-0864(2025)07-0111-11
ClassificationandDetectionofTeaBasedonDynamic Sparse Attention
ZHANG Shihao 1,2 ,XIAYuxin2,WUWendou3,XIE Jin 1 ,CHEN Xiao4, SHIHaotian1,F(xiàn)AN Zongyu1,WANG Baijuan1*
(1.Colegeofaince,YunnanAgriculturalUiversityKunming6Oina;.CollgeofechanicalandEltial
Engineering,YunnanAgriculturalUniversity,Kunming 65OO1,China;3.CollgeofBigData,unnanAgriculturalUnivesity, Kunming 650201,China;4.Yunnan Province University Intelligent Organic TeaGardenConstructionPrimaryLaboratory, Yunnan Agricultural University,Kunming 65O2O1,China)
Abstract:Inorder to effectively address thechallenge of precisely detectingand selecting tea leaves witha teapicking robot,an improved YOLOv7 algorithm based on double-layer routing dynamic sparse atention mechanism andFasterNet wasproposed to realize the classificationand detectionoffresh tealeaves.The algorithm implemented involves replacing the original network’s structure with PConvand FasterNet methodologies.This replacement was aimed atdecreasing the numberof floating-point operations and enhancing their eficiency.Additionally,adynamic sparse attention mechanism,which was based on a double-layer routing approach,was incorporated into the neck layer.This adition ensured greater flexibility in computing alocation and content perception.To expedite convergence,enhance regression accuracy,and minimize 1 detection,the loss function was substituted with effcient intersection over union(EIoU)during the detectionprocess.The resultsshowed that,comparedwith the originalYOLOv7,the model generated bythe improved algorithm improved the accuracy by4.8 percentage point, the recall rateby5.3percentagepoint,thebalancescore by5.Opercentage point,andthe meanaverage precision (mAP)value by2.6percentage point.In the external verification,the numberof floating-point operations was reduced by 15.1 G,the frame per second was increased by 5.52% ,and the mAP value wasincreased by 2.4 percentage point.The improved model could notonly classifyand detectfresh tea leaves eficientlyandaccurately, but also hadthe characteristicsof highrecognitionrate,lowcomputationand fastdetection.Aboveresultslaida foundation for the realization of tea picking robot in Yunnan plateau.
KeyWords:tea;vision transformer with Bi-level routing attention;accurate detection;FasterNet; YOLOv7
茶葉作為云南傳統(tǒng)的特色支柱產(chǎn)業(yè),在建設(shè)云南高原特色現(xiàn)代農(nóng)業(yè)中扮演著重要角色1。優(yōu)越的生態(tài)環(huán)境、立體的自然氣候及豐富的種質(zhì)資源賦予了云茶產(chǎn)業(yè)得天獨(dú)厚的資源優(yōu)勢(shì)[3],但也在一定程度上制約了云南茶園的機(jī)械化與自動(dòng)化。要實(shí)現(xiàn)智能化、精準(zhǔn)化的茶葉采摘,首先需要解決準(zhǔn)確檢測(cè)和定位的問(wèn)題4。目前市場(chǎng)上的茶葉采摘機(jī)器人通常采用圖像分割算法對(duì)茶葉圖像的色彩空間進(jìn)行分解和分析,并利用目標(biāo)與背景區(qū)域的像素顏色特征差異來(lái)分離目標(biāo)和背景。然而,實(shí)際采茶環(huán)境復(fù)雜多變,傳統(tǒng)的圖像分割算法對(duì)于目標(biāo)多樣形態(tài)的變化魯棒性不足,無(wú)法滿足機(jī)器人精確和實(shí)時(shí)采摘的要求。隨著近年來(lái)神經(jīng)網(wǎng)絡(luò)的迅猛發(fā)展,許多學(xué)者開(kāi)始致力于研發(fā)出更好的茶葉采摘檢測(cè)算法。王夢(mèng)妮等基于YOLOv5s網(wǎng)絡(luò)進(jìn)行針對(duì)性改進(jìn),使茶葉嫩芽的檢測(cè)準(zhǔn)確率達(dá)到 84.3% Yan 等[根據(jù)R-CNN改進(jìn)了MR3P-TS模型,達(dá)到了 94.9% 的定位精度。本團(tuán)隊(duì)通過(guò)網(wǎng)絡(luò)結(jié)構(gòu)替換、通道剪枝等對(duì)YOLOv5網(wǎng)絡(luò)進(jìn)行深度改進(jìn)[12],在邊緣設(shè)備上實(shí)現(xiàn)了1芽2葉94.52% 的識(shí)別率。盡管以上研究在茶葉嫩芽的檢測(cè)方面表現(xiàn)出了較高的精確度,但其計(jì)算量較大,計(jì)算較緩慢,且對(duì)于茶園中部分遮擋的茶樹(shù)嫩芽無(wú)法做到準(zhǔn)確的檢測(cè)定位,無(wú)法對(duì)檢測(cè)到的嫩芽進(jìn)行進(jìn)一步分類。針對(duì)以上問(wèn)題,本研究以茶葉的分類檢測(cè)為目標(biāo),以檢測(cè)速度和精度較好的YOLOv7網(wǎng)絡(luò)為基礎(chǔ)[13],使用PConv和FasterNet[14]替換原有網(wǎng)絡(luò)的結(jié)構(gòu),以達(dá)到降低網(wǎng)絡(luò)延遲、減少浮點(diǎn)運(yùn)算的數(shù)量、提高浮點(diǎn)運(yùn)算效率的目的;同時(shí)在網(wǎng)絡(luò)中加入基于雙層路由的動(dòng)態(tài)稀疏注意力機(jī)制[5],以達(dá)到更加靈活的計(jì)算分配和內(nèi)容感知,從而加強(qiáng)對(duì)遮擋部分嫩芽的檢測(cè);在此基礎(chǔ)上,進(jìn)一步優(yōu)化損失函數(shù)[,加速收斂提高回歸精度,減少檢測(cè)過(guò)程中的誤檢以期為云南高原山地采茶機(jī)器人提供一種高檢測(cè)率、低運(yùn)算量和低延遲的視覺(jué)檢測(cè)模型,為云南高原山地采茶機(jī)器人的實(shí)現(xiàn)奠定基礎(chǔ)。
1材料與方法
1.1 圖像采集
為了盡可能真實(shí)地模擬采摘環(huán)境,數(shù)據(jù)集均來(lái)源于實(shí)地拍攝,拍攝地點(diǎn)為云南省西雙版納州勐海縣老班章基地。圖像采集時(shí)模仿采茶機(jī)器人與茶樹(shù)之間的位置距離,拍攝人員距離茶樹(shù) 50~ 80cm ,相機(jī)與茶樹(shù)嫩芽之間的距離為 20~30cm ,相機(jī)距離地面的高度為 120cm 。為了保證原始圖像的清晰度,本研究采用佳能EOSR5作為圖像采集設(shè)備,選擇 RF24-105mm 鏡頭。為了確保檢測(cè)模型對(duì)不同光照、坡度、角度的茶樹(shù)嫩芽均有較強(qiáng)的適應(yīng)性,在實(shí)地應(yīng)用時(shí)能夠靈活地面對(duì)各種復(fù)雜環(huán)境,采用了多時(shí)段、多角度的圖像采集[17]。圖1為采集到的部分樣本。
本研究共采集3300幅圖像,分辨率為水平方向7952像素、垂直方向5340像素,格式為jpg,經(jīng)圖像篩選后共選取其中3172幅用于數(shù)據(jù)集構(gòu)建。數(shù)據(jù)集的標(biāo)注采用labelimg工具進(jìn)行,并在標(biāo)注時(shí)讓茶樹(shù)嫩芽始終位于標(biāo)注框的中心位置[8]。在數(shù)據(jù)集劃分時(shí),隨機(jī)選取 80% (2538幅圖像)作為訓(xùn)練集、 10% (317幅圖像)作為驗(yàn)證集, 10% (317幅圖像)作為測(cè)試集。
根據(jù)GB/T22111—2008[1中的鮮葉采摘標(biāo)準(zhǔn),本研究中將茶葉分為了單芽、1芽1葉和1芽2葉共3類,其中單芽圖像863幅,1芽1葉圖像915幅,1芽2葉圖像760幅。為進(jìn)一步提高模型的泛化能力,更好地捕捉不同距離和視角下的茶葉特征,本研究采用數(shù)據(jù)增強(qiáng)技術(shù)[2對(duì)原始數(shù)據(jù)進(jìn)行了擴(kuò)充。
1.2 YOL0v7算法改進(jìn)
1.2.1YOLOv7算法改進(jìn)型YOLOv7的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,由輸人層(input)、主干網(wǎng)絡(luò)層(backbone)、特征融合層(neck)和輸出層(head)組成。在訓(xùn)練模型時(shí),輸入層將原始圖像處理為640像素 ×640 像素,主干網(wǎng)絡(luò)層通過(guò)深度卷積來(lái)提取同一特征圖的不同尺度特征,特征融合層將提取到的特征進(jìn)行深度融合,輸出層最終完成對(duì)自標(biāo)的檢測(cè)和目標(biāo)邊界框的描定[21-24]。
1.2.2損失函數(shù)改進(jìn)YOLOv7原網(wǎng)絡(luò)采用了CIoU(complete intersectionoverunion)作為損失函數(shù),如式(1)所示。
式中, LOSSchoU 表示CIoU的損失函數(shù);IoU表示交并比; b 表示預(yù)測(cè)框; bgt 表示真實(shí)框; ρ2(b,bgt) 代表預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐氏距離; ∣c∣ 代表能夠同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的對(duì)角線距離; α 表示平衡參數(shù); v 用于度量長(zhǎng)寬比的一致性; w 和 h 分別表示預(yù)測(cè)框的寬和高; wgt 和 hgt 分別表示真實(shí)框的寬和高。
CIoU損失函數(shù)的計(jì)算雖然涉及邊界框回歸的重疊面積、中心點(diǎn)距離和縱橫比[25-27],但它使用縱橫比的差異度量方式而不是寬高與置信度的真實(shí)差異,在一定程度上會(huì)阻礙模型有效的優(yōu)化相似性。針對(duì)此問(wèn)題,本研究通過(guò)EIoU(efficientintersectionoverunion)損失函數(shù)[28-29]對(duì)原YOLOv7網(wǎng)絡(luò)中的CIoU損失函數(shù)進(jìn)行改進(jìn),在CIoU的基礎(chǔ)上將縱橫比的影響因子拆開(kāi),分別計(jì)算目標(biāo)框和錨框的長(zhǎng)和寬。
LOSSFocal-EIoU=IoUγLOSSEIoU
式中, LOSSEIoU 表示EIoU的損失函數(shù);LOSSFocd-EIoU 表示改進(jìn)后的FocalEIoU損失函數(shù); γ 為控制異常值抑制程度的參數(shù); Cw 和 Ch 表示同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小閉包區(qū)域的寬度和高度。
1.2.3FasterNet改進(jìn)為了進(jìn)一步提高YOLOv7網(wǎng)絡(luò)的性能,降低延遲并提高每秒浮點(diǎn)運(yùn)算效率,本研究引入PConv和FasterNet對(duì)原有網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行替換[30]。其中,PConv能夠在一定程度上減少計(jì)算冗余和內(nèi)存訪問(wèn)的數(shù)量,更有效地對(duì)空間特征進(jìn)行提取;FasterNet在分類和檢測(cè)方面具有更好的性能,不僅延遲較低,而且每秒浮點(diǎn)運(yùn)算效率也更高。
PConv的結(jié)構(gòu)如圖3所示,它僅在輸人通道的一部分上進(jìn)行了空間特征的提取,并保持其余通道的不變(其余通道對(duì)后續(xù)的PWConv層有用,PWConv允許特征信息流經(jīng)所有通道)。其中, h1 和w1 分別表示輸入特征圖的高度和寬度,k表示卷積核的大小, cp 表示用于部分卷積的通道數(shù),c表示輸入特征圖的通道數(shù)。由于特征圖在不同通道之間具有高度相似性,因此對(duì)于連續(xù)或者規(guī)則的內(nèi)存訪問(wèn),PConv會(huì)選擇第一或最后的連續(xù)通道作為整個(gè)特征圖的代表并進(jìn)行計(jì)算,在不喪失一般性的情況下認(rèn)為輸人和輸出特征圖具有相同數(shù)量的通道。PConv的浮點(diǎn)運(yùn)算數(shù)量(FLOPs)根據(jù)式(6計(jì)算,PConv的內(nèi)存訪問(wèn)量較小,如式(7)所示。因此對(duì)于常規(guī)的r=p=1 ,PConv的浮點(diǎn)運(yùn)算數(shù)只有Conv中的1/16,訪問(wèn)量只有 Conv 的 1/4 。
FLOPs=h1×w1×k2×cp2
h1×w1×2cp+k2×cp2≈h1×w1×2cp
FasterNet主要由4個(gè)層級(jí)組成,每個(gè)層級(jí)前面都有1個(gè)嵌入層(步長(zhǎng)為4的常規(guī) 4×4 卷積)或1個(gè)合并層(步長(zhǎng)為2的常規(guī) 2×2 卷積),用于空間下采樣和通道數(shù)量擴(kuò)展,F(xiàn)asterNet的結(jié)構(gòu)如圖4所示。在進(jìn)行模型訓(xùn)練時(shí),Stage3和Stage4的內(nèi)存訪問(wèn)量較少,而且每秒浮點(diǎn)運(yùn)算效率更高,因此更多的計(jì)算被分配到了最后2個(gè)階段。FasterNet的后3層主要用于進(jìn)行特征轉(zhuǎn)換和分類。FasterNetBlock由1個(gè)PConv層和2個(gè)PWConv層組成,它們一起顯示為反向殘差塊。其中,中間層具有擴(kuò)展的通道數(shù)量,并放置了Shorcut以重用輸入特征。為了在保持特征多樣性的同時(shí)實(shí)現(xiàn)較低的延遲,F(xiàn)asterNet中將歸一化層和激活層放置在每個(gè)中間PWConv之后。考慮到批量歸一化(batchnormalization,BN)可以與相鄰的Conv層合并,從而提高推理速度,ReLU可以同時(shí)考慮運(yùn)行時(shí)間和有效性,因此本研究選擇兩者作為歸一化層和激活層。
1.2.4基于雙層路由的動(dòng)態(tài)稀疏注意力機(jī)制本研究在使用YOLOv7進(jìn)行茶葉的分類檢測(cè)訓(xùn)練時(shí)發(fā)現(xiàn),YOLOv7在檢測(cè)有遮擋的茶樹(shù)單芽時(shí)效果較差。因此,參考BiFormer對(duì)Transformer的改進(jìn)思路31,本研究引入了基于雙層路由的動(dòng)態(tài)稀疏注意力機(jī)制,從而達(dá)到更靈活的計(jì)算分配和內(nèi)容感知,結(jié)構(gòu)如圖5所示。
其中, H 和 W 分別表示輸入特征圖的高度和寬度, C 表示通道數(shù), s 表示區(qū)域劃分的大小。在區(qū)域劃分時(shí),由于被平均劃分為 s×s 個(gè)不重疊的區(qū)域,因此每個(gè)區(qū)域包含的特征向量都為 圖5中, Q,K,V 均為線性映射所得到的,且
如式(8)所示。在進(jìn)行區(qū)域級(jí)query和key的推導(dǎo)時(shí)使用每個(gè)區(qū)域的平均值, Qτ 和 Kr 的區(qū)域間相關(guān)性的鄰接矩陣 Ar 如式(9)所示。在修剪相關(guān)性圖時(shí)只采用每個(gè)區(qū)域的前 k 個(gè)連接,方法是采用路由索引矩陣 Ir ,逐行保存前 k 個(gè)鏈接的索引,如式(10)所示。圖5中 Kg 和 Vg 是聚集后key和value的張量,如式(11)所示。對(duì)于聚集后的K-V對(duì)使用的注意力操作,如式(12)所示。
精確度是從預(yù)測(cè)結(jié)果的角度進(jìn)行統(tǒng)計(jì),表示在所有被預(yù)測(cè)為某個(gè)分類的樣本中真正屬于該分類的比例,即分類正確的比例。召回率和靈敏度(truepositiverate,TPR)概念相同,表示在所有該種類的樣本中,模型找回了多少該種類樣本。平衡分?jǐn)?shù)是綜合對(duì)精確度和召回率進(jìn)行衡量,采用二者的調(diào)和平均數(shù)作為衡量標(biāo)準(zhǔn)。AP(averageprecison)指的是不同IoU閾值下某一類別的平均精確度,是一種評(píng)價(jià)定位精度和預(yù)測(cè)精度的綜合指標(biāo)。AP的大小由模型的精確度和召回率決定,是所有預(yù)測(cè)圖像片內(nèi)某一類別PR曲線的下面積(橫軸為召回率,縱軸為精確度),mAP則是各類AP的平均值。
2 結(jié)果與分析
2.1 損失函數(shù)分析
損失函數(shù)是衡量模型預(yù)測(cè)結(jié)果與真實(shí)結(jié)果差異的指標(biāo),也是評(píng)估模型優(yōu)劣的重要標(biāo)準(zhǔn)之一。損失函數(shù)的值越小,意味著模型的預(yù)測(cè)結(jié)果與真實(shí)結(jié)果越接近,模型的性能越好。由圖6可知,改進(jìn)后的YOLOv7在模型訓(xùn)練的初始階段,損失函數(shù)的梯度下降速度較快;當(dāng)訓(xùn)練進(jìn)行到100輪時(shí),損失函數(shù)的下降速度明顯放緩,并且曲線的震蕩變得更加明顯;隨著訓(xùn)練的繼續(xù)進(jìn)行,到了220輪之后曲線逐漸趨于平穩(wěn),損失函數(shù)開(kāi)始收斂,最終總損失逐漸穩(wěn)定在 2.5% 以下。對(duì)比原始YOLOv7和改進(jìn)型YOLOv7的損失函數(shù)變化曲線可以看出,改進(jìn)的YOLOv7在預(yù)測(cè)框位置損失、預(yù)測(cè)框置信度損失和分類損失方面都有明顯下降,其中下降最顯著的是預(yù)測(cè)框位置損失,其在訓(xùn)練集和測(cè)試集下降幅度均超過(guò) 30% 。
2.2 模型性能分析
由圖7可知,改進(jìn)后的YOLOv7精確度、召回率、平衡分?jǐn)?shù)分別為 92.5%.98.1%.95.5% ,相較于原YOLOv7網(wǎng)絡(luò)分別提高 4.8,5.3,5.0 個(gè)百分點(diǎn),表明改進(jìn)后的YOLOv7網(wǎng)絡(luò)在精確度、召回率和平衡分?jǐn)?shù)上均有明顯提升,其中召回率提升最明顯。改進(jìn)后的YOLOv7網(wǎng)絡(luò)可以高效準(zhǔn)確地對(duì)茶葉鮮葉進(jìn)行分類檢測(cè),相較于原YOLOv7網(wǎng)絡(luò)在實(shí)際應(yīng)用中具有更好的效果和性能表現(xiàn)。
2.3 模型對(duì)比試驗(yàn)
為了保證結(jié)果的可靠性,本研究使用相同的數(shù)據(jù)集對(duì)原始的YOLOv7、改進(jìn)的YOLOv7、Faster-RCNN和SSD網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測(cè)試,訓(xùn)練和測(cè)試平臺(tái)均相同。由圖8可知,改進(jìn)的YOLOv7模型對(duì)單芽檢測(cè)的AP為 95.3% ,相較于 原YOLOv7、Faster-RCNN、SSD模型分別提升2.2、 7.6、4.1個(gè)百分點(diǎn);對(duì)1芽1葉檢測(cè)的AP為 94.5% , 相較與YOLOv7、Faster-RCNN、SSD模型分別提升 3.1、7.7、5.1個(gè)百分點(diǎn);對(duì)1芽2葉檢測(cè)的AP為 94.7% ,相較與YOLOv7、Faster-RCNN、SSD模型分 別提升2.6、8.5、4.6個(gè)百分點(diǎn)。最終的mAP為 94.8% ,相較與YOLOv7、Faster-RCNN、SSD模型分 別提升2.6、7.9、4.7個(gè)百分點(diǎn)。
2.3.1檢測(cè)結(jié)果對(duì)比在光照較強(qiáng)的環(huán)境下,本研究所測(cè)試的模型都可以完成對(duì)單目標(biāo)和多目標(biāo)的檢測(cè),其中改進(jìn)的YOLOv7和YOLOv7的檢測(cè)結(jié)果置信度最高,且改進(jìn)的YOLOv7相較于原YOLOv7平均置信度提升超過(guò)2個(gè)百分點(diǎn)。Faster-RCNN檢測(cè)結(jié)果的置信度最低,并且在進(jìn)行多目標(biāo)檢測(cè)時(shí)Faster-RCNN存在嚴(yán)重的遺漏和檢測(cè)錯(cuò)誤。當(dāng)光照強(qiáng)度發(fā)生明顯下降時(shí),雖然測(cè)試模型仍然可以進(jìn)行單目標(biāo)和多目標(biāo)檢測(cè),但置信度明顯下降,其中改進(jìn)的YOLOv7和YOLOv7的檢測(cè)結(jié)果置信度仍然最高,且改進(jìn)的YOLOv7平均置信度下降幅度最低,在2個(gè)百分點(diǎn)以下;Faster-RCNN檢測(cè)結(jié)果的置信度仍然最低,并且在進(jìn)行多目標(biāo)檢測(cè)時(shí),其遺漏和檢測(cè)錯(cuò)誤現(xiàn)象更明顯(圖9)。
2.3.2外部驗(yàn)證對(duì)比為進(jìn)一步驗(yàn)證改進(jìn)模型的優(yōu)勢(shì)性,對(duì)茶樹(shù)的單芽、1芽1葉、1芽2葉在不同光照強(qiáng)度、單目標(biāo)和多目標(biāo)的情況下進(jìn)行外部驗(yàn)證。表1為本研究所有模型在外部驗(yàn)證時(shí)的參數(shù),主要指標(biāo)包括在外部驗(yàn)證時(shí)的mAP、浮點(diǎn)運(yùn)算數(shù)量(FLOPs)、每秒傳輸幀數(shù)(framepersecond,F(xiàn)PS)。改進(jìn)的YOLOv7模型,浮點(diǎn)運(yùn)算數(shù)量相較于原模型降低15.1G,F(xiàn)PS相較于原模型提升5.52% ,在實(shí)際檢測(cè)中的 mAP 值提升2.4個(gè)百分點(diǎn)。綜合對(duì)比后發(fā)現(xiàn),改進(jìn)的YOLOv7在檢測(cè)精度和檢測(cè)速度上均優(yōu)于原YOLOv7、Faster-RCNN和SSD,更有利于后期模型在移動(dòng)端的部署和采茶機(jī)器人的快速準(zhǔn)確檢測(cè)。
3討論
本研究針對(duì)云南高原山地茶園場(chǎng)景復(fù)雜、識(shí)別目標(biāo)較小、遮擋情況嚴(yán)重等問(wèn)題進(jìn)行研究,提出以檢測(cè)速度和精度都較好的YOLOv7網(wǎng)絡(luò)為基礎(chǔ),采用PConv和FasterNet對(duì)原網(wǎng)絡(luò)的部分結(jié)構(gòu)進(jìn)行替換,通過(guò)EIoU損失函數(shù)對(duì)原網(wǎng)絡(luò)的損失函數(shù)進(jìn)行改進(jìn),引入基于雙層路由的動(dòng)態(tài)稀疏注意力機(jī)制,建立了高識(shí)別率、低運(yùn)算量和低延遲的茶葉分類檢測(cè)模型。研究結(jié)果表明,改進(jìn)的YOLOv7網(wǎng)絡(luò)模型在損失值、精確度、召回率、平衡分?jǐn)?shù)、mAP、浮點(diǎn)運(yùn)算數(shù)量、每秒傳輸幀數(shù)上均優(yōu)于原始YOLOv7網(wǎng)絡(luò),且對(duì)茶葉檢測(cè)準(zhǔn)確率高于王夢(mèng)妮等[研究的改進(jìn)型YOLOv5網(wǎng)絡(luò)和Yan等研究的MR3P-TS網(wǎng)絡(luò)。
在實(shí)現(xiàn)高原山地茶園的精準(zhǔn)采摘過(guò)程中,茶葉受到遮擋導(dǎo)致部分信息缺失,從而造成深度學(xué)習(xí)模型無(wú)法獲取完整的特征。經(jīng)外部驗(yàn)證,本研究的改進(jìn)型YOLOv7網(wǎng)絡(luò)在遮擋率低于 50% 的情況下,召回率明顯提升,這對(duì)于在復(fù)雜的高原山地茶園實(shí)現(xiàn)精準(zhǔn)采摘具有較大的實(shí)際意義。盡管本研究的視覺(jué)識(shí)別算法可以準(zhǔn)確分類檢測(cè)茶葉,但對(duì)于未成熟茶葉的生長(zhǎng)時(shí)間和茶樹(shù)的產(chǎn)量仍然無(wú)法進(jìn)行精確預(yù)測(cè)。因此,后續(xù)研究將在視覺(jué)識(shí)別網(wǎng)絡(luò)的基礎(chǔ)上結(jié)合預(yù)測(cè)模型,進(jìn)一步實(shí)現(xiàn)茶葉的生長(zhǎng)時(shí)間和茶樹(shù)產(chǎn)量的預(yù)測(cè)。在未來(lái)的工作中,也將會(huì)對(duì)改進(jìn)型YOLOv7網(wǎng)絡(luò)訓(xùn)練的模型進(jìn)行邊緣設(shè)備部署,將其應(yīng)用于云南高原山地采茶機(jī)器人,使云南高原山地采茶機(jī)器人實(shí)現(xiàn)無(wú)網(wǎng)絡(luò)環(huán)境下對(duì)茶葉的快速檢測(cè)定位。
參考文獻(xiàn)
[1]劉玉飛,龐丹丹,蔣會(huì)兵,等.66份云南茶樹(shù)種質(zhì)生化成分的 分析及特異種質(zhì)篩選[J].南方農(nóng)業(yè)學(xué)報(bào),2021,52(3):693-699. LIU YF,PANGD D,JIANG HB,et al..Biochemical component analysis and specific resource selection of 66 accessions of tea germplasms in Yunnan [J]. J. South. Agric., 2021,52(3): 693-699.
[2]楊希,李玉川,羅倩倩,等.云南高山普洱茶渥堆過(guò)程滋味和 湯色品質(zhì)的動(dòng)態(tài)變化研究[J].食品安全質(zhì)量檢測(cè)學(xué)報(bào),2023, 14(7):218-225. YANGX,LIYC,LUOQQ,etal..Dynamic changes of taste and brewing color quality during thepile-fermentation process ofYunnan alpinePuerh tea[J].J.Food Saf. Qual.,2O23,14(7): 218-225.
[3]冷彥,王靜,吳文斗,等.高壓脈沖電場(chǎng)預(yù)處理普洱熟茶對(duì)SD 大鼠體內(nèi)活性氧(ROS)水平的影響[J].西南農(nóng)業(yè)學(xué)報(bào),2021, 34(6):1208-1214. LENGY,WANGJ,WUWD,etal..Effect of pre-treatmentof Pu'er tea byhigh voltage pulseelectricfieldonreactiveoxygen (ROS)levels in SD mice[J].Southwest China J.Agric.Sci., 2021,34(6):1208-1214.
[4]朱智惟,單建華,余賢海,等.基于YOLOv5s的番茄采摘機(jī)器 人目標(biāo)檢測(cè)技術(shù)[J].傳感器與微系統(tǒng),2023,42(6):129-132. ZHUZW,SHAN JH,YUXH,et al..Target detection technology of tomato picking robot based on YOLOv5s[J]. Transducer Microsyst. Technol.,2023,42(6):129-132.
[5]劉思幸,李爽,繆宏,等.基于YOLOv3不同場(chǎng)景辣椒采摘機(jī)器 人識(shí)別定位研究[J].農(nóng)機(jī)化研究,2024,46(2):38-43. LIUSX,LI S,MIAOH,etal..Research onrecognition and location of pepper picking robot based on YOLOv3 in different scenarios[J].J.Agric.Mech.Res.,2024,46(2):38-43.
[6]金壽祥,周宏平,姜洪喆,等.采摘機(jī)器人視覺(jué)系統(tǒng)研究進(jìn)展 [J].江蘇農(nóng)業(yè)學(xué)報(bào),2023,39(2):582-595. JIN S X, ZHOU H P, JIANG H Z, et al. Research progress on visual system of picking robot[J]. Jiangsu J.Agric.Sci.,2023, 39(2): 582-595.
[7]汪方斌,金蓄,朱達(dá)榮,等.基于RGB顏色空間的紅外偏振人 臉識(shí)別[J].激光與光電子學(xué)進(jìn)展,2022,59(12):535-543. WANGFB,JINX,ZHUDR,etal..Infraredpolarized face recognition based on RGB color space [J].Laser Optoelectron. Prog.,2022,59(12): 535-543.
[8]于明,李若曦,閻剛,等.基于顏色掩膜網(wǎng)絡(luò)和自注意力機(jī)制 的葉片病害識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2022,53(8):337-344. YU M,LI R X,YAN G,et al.. Crop diseases recognition method via fusion color mask and self-attention mechanism [J]. Trans.Chin.Soc.Agric.Mach.,2022,53(8):337-344.
[9]肖冬娜,周忠發(fā),尹林江,等.融合顏色指數(shù)與空間結(jié)構(gòu)的喀 斯特山地火龍果單株識(shí)別[I.激光與光電子學(xué)進(jìn)展.2022.59 XIAO D N, ZHOU Z F, YIN L J, et al. Identification of single plant of Karst Mountain pitaya by fusion of color index and spatial structure [J].Laser Optoelectron.Prog.,2022,59(10): 479-493.
[10]王夢(mèng)妮,顧寄南,王化佳,等.基于改進(jìn)YOLOv5s模型的茶葉 嫩芽識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2023,39(12):150-157. WANGM N,GUJN,WANGHJ,etal..Methodfor identifying tea buds based on improved YOLOv5s model [J]. Trans. Chin. Soc.Agric.Eng.,2023,39(12):150-157.
[11]YAN L J, WU KH,LINJ, et al. Identification and picking point positioning of tender tea shoots based on MR3P-TS model[J/OL].Front.Plant Sci.,2022,13: 962391 [2023-12- 26]. https://doi.org/10.3389/fpls.2022.962391.
[12] ZHANG SH,YANG H K,YANG C H,et al..Edge device detection of tea leaves with onebud and two leavesbased on ShuffleNetv2-YOLOv5-lite-E[J/OL].Agronomy,2023,13(2): 577[2023-12-26]. https://doi.org/10.3390/agronomy13020577.
[13]WANGCY,BOCHKOVSKIYA,LIAOHYM.YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors [C]// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE,2023:7464-7475.
[14] CHEN JR, KAO S H, HE H,et al. Run,don’t walk:chasing higher FLOPS for faster neural networks [C]// 2O23 IEEE/CVF Conference on Computer Vision and Pattrn Recognition (CVPR).IEEE,2023:12021-12031.
[15]ZHU L,WANG XJ,KE Z H,et al.BiFormer: vision transformer with bi-level routing attention [C]// 2O23 IEEE/ CVFConference on Computer Vision and Pattern Recognition (CVPR).IEEE,2023:10323-10333.
[16]楊世忠,王瑞彬,高升,等.基于YOLOv5的草莓輕量化網(wǎng)絡(luò)檢 測(cè)模型[J].國(guó)外電子測(cè)量技術(shù),2023,42(4):86-95. YANGS Z,WANG R B,GAO S,et al..YOLOv5-based lightweight network model for strawberry detection[J].Foreign Electron.Meas.Technol.,2023,42(4): 86-95.
[17]劉裕,趙保平,張述嘉,等.基于多尺度雙路注意力膠囊網(wǎng)絡(luò) 在水稻害蟲(chóng)識(shí)別中的應(yīng)用[J].西南農(nóng)業(yè)學(xué)報(bào),2022,35(7): 1573-1581. LIU Y,ZHAO B P,ZHANG SJ,et al..Application for recognition of rice pest based on multi-scale dual-path attention capsule network [J].Southwest China J.Agric.Sci., 2022,35(7):1573-1581.
[18]朱旭,馬誤,姬江濤,等.基于FasterR-CNN的藍(lán)莓冠層果實(shí) 檢測(cè)識(shí)別分析[J].南方農(nóng)業(yè)學(xué)報(bào),2020,51(6):1493-1501. ZHUX,MA H,JIJT,et al.Detecting and identifying blueberry canopy fruits based on Faster R-CNN[J].J. South. Agric.,2020,51(6):1493-1501.
[19]國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局,中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì). 地理標(biāo)志產(chǎn)品 普洱茶:GB/T22111—2008[S].北京:中國(guó)標(biāo) 準(zhǔn)出版社,2008.
[20]楊斷利,王永勝,陳輝,等.復(fù)雜環(huán)境下蛋雞個(gè)體識(shí)別與自動(dòng) 計(jì)數(shù)系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54(6):297-306. YANGD L,WANG Y S,CHEN H,et al..Individual identification and automaticcounting system of laying hens under complex environment [J]. Trans.Chin. Soc. Agric.Mach.,
[21]WUDL,JIANGS,ZHAOEL,etal..Detection ofCamellia oleifera fruitin complex scenesbyusingYOLOv7and data augmentation [J/OL]. Appl.Sci.,2022,12(22):11318 [2023- 12-26].https://doi.org/10.3390/app122211318.
[22]CHEN Z, LIU C,F(xiàn)ILARETOV VF,et al..Multi-scale ship detection algorithm based on YOLOv7 for complex scene SAR images[J/OL].Remote Sens.,2023,15(8):2071[2023-12-26]. https://doi.org/10.3390/rs15082071.
[23]ZHANG C,HU ZH,XUL W, et al..A YOLOv7 incorporating theAdan optimizer based cornpests identification method [J/OL]. Front.Plant Sci.,2023,14:1174556 [2023-12-26].https:// doi.org/10.3389/fpls.2023.1174556.
[24]盧俊哲,張鋮怡,劉世鵬,等.面向復(fù)雜環(huán)境中帶鋼表面缺陷 檢測(cè)的輕量級(jí)DCN-YOLO[J].計(jì)算機(jī)工程與應(yīng)用,2023,59 (15):318-328. LUJZ,ZHANGCY,LIUSP,etal..LightweightDCN-YOLO forstrip surface defectdetection in complex environments[J]. Comput.Eng.Appl.,2023,59(15): 318-328.
[25]劉雄彪,楊賢昭,陳洋,等.基于CIoU改進(jìn)邊界框損失函數(shù)的 目標(biāo)檢測(cè)方法[J].液晶與顯示,2023,38(5):656-665. LIUXB,YANGXZ,CHENY,etal..Object detectionmethod basedon CIoU improved boundingboxlossfunction[J].Chin. J.Liq.Cryst.Disp.,2023,38(5): 656-665.
[26]彭紅星,徐慧明,高宗梅,等.基于改進(jìn)YOLOF模型的田間農(nóng)作 物害蟲(chóng)檢測(cè)方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2023,54(4):285-294,303. PENGHX,XUHM,GAOZM, etal..Insect pest detectionof fieldcropsbased onimproved YOLOF model[J]. Trans.Chin. Soc.Agric.Mach.,2023,54(4):285-294,303.
[27]張旭輝,閆建星,麻兵,等.基于改進(jìn)YOLOv5s的護(hù)幫板異常 檢測(cè)方法研究[J].工程設(shè)計(jì)學(xué)報(bào),2022,29(6):665-675. ZHANGXH,YANJX,MAB,etal..Researchonabnormal detection method of side guard based on improved YOLOv5s [J].Chin.J.Eng.Des.,2022,29(6):665-675.
[28]王琳毅,白靜,李文靜,等.YOLO系列目標(biāo)檢測(cè)算法研究進(jìn)展 [J].計(jì)算機(jī)工程與應(yīng)用,2023,59(14):15-29. WANGL Y,BAI J,LIWJ,et al..Research progress of YOLO seriestarget detection algorithms [J].Comput.Eng.Appl., 2023,59(14):15-29.
[29]高新陽(yáng),魏晟,溫志慶,等.改進(jìn)YOLOv5輕量級(jí)網(wǎng)絡(luò)的柑橘檢 測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用,2023,59(11):212-221. GAOXY,WEI S,WENZQ,etal..Citrusdetectionmethod based on improved YOLOv5 lightweight network [J]. Comput. Eng.Appl.,2023,59(11):212-221.
[30]HUANG L,HUANG W Z,GONGH, et al..PEFNet:position enhancement faster network for object detectionin roadside perceptionsystem[J].IEEEAccess,2881,11:73007-73023.
[31]YANG ZJ,F(xiàn)ENGHL,RUANYP,etal..Tea tree pest detection algorithm based on improved Yolov7-tiny [J/OL]. Agriculture,2023,13(5):1031 [2023-12-26]. https://doi.org/ 10.3390/agriculture13051031.
中國(guó)農(nóng)業(yè)科技導(dǎo)報(bào)2025年7期