基于Stereo Camera-YOLOv5自然環(huán)境下百香果檢測(cè)與定位模型

繆亞倫 石美琦 孟海濤 梁旭升 黃才貴 李巖舟

摘要：針對(duì)百香果采摘機(jī)器人在自然環(huán)境中作業(yè)時(shí)受復(fù)雜光線及遮擋影響，難以快速精確地檢測(cè)及定位成熟百香果的問(wèn)題，提出一種基于Stereo Camera-YOLOv5自然環(huán)境下成熟百香果檢測(cè)及定位模型。針對(duì)自然環(huán)境下光線以及遮擋的影響，通過(guò)MSRCP算法、隨機(jī)遮擋、數(shù)據(jù)增擴(kuò)等圖像處理算法對(duì)原始數(shù)據(jù)集進(jìn)行優(yōu)化。將優(yōu)化的數(shù)據(jù)集輸入到Y(jié)OLOv5網(wǎng)絡(luò)中訓(xùn)練出最優(yōu)模型，在檢測(cè)代碼中嵌入雙目立體視覺(jué)算法。該模型對(duì)自然環(huán)境下百香果進(jìn)行檢測(cè)及成熟度判斷，將判斷為成熟的百香果進(jìn)行圖像處理，并提取到中心點(diǎn)二維坐標(biāo)。通過(guò)立體匹配及視差計(jì)算得到中心點(diǎn)的三維坐標(biāo)。田間試驗(yàn)結(jié)果表明，該模型的目標(biāo)檢測(cè)準(zhǔn)確率為97.8%，總體準(zhǔn)確率為90.2%，平均運(yùn)行時(shí)間為4.85 s。該系統(tǒng)魯棒性強(qiáng)、實(shí)時(shí)性好，能夠更好地實(shí)現(xiàn)自然環(huán)境下成熟百香果的檢測(cè)及定位，為百香果采摘機(jī)器人后續(xù)工作奠定基礎(chǔ)。

關(guān)鍵詞：百香果；深度學(xué)習(xí)；YOLOv5；雙目立體視覺(jué)；圖像處理

中圖分類號(hào)：S667.9： TP391.4? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2095-5553 （2024） 03-0233-09

Detection and localization model of passion fruit in natural environment

based on Stereo Camera-YOLOv5

Miao Yalun1， Shi Meiqi1， Meng Haitao1， Liang Xusheng1， Huang Caigui2， Li Yanzhou1

（1. College of Mechanical Engineering， Guangxi University， Nanning， 530004， China；2. School of Smart Manufacturing， Nanning College， Nanning， 530200， China）

Abstract：

Aiming at the problem that the passion fruit picking robot is affected by complex light and occlusion when it operates in the natural environment， and it is difficult to quickly and accurately detect and locate the ripe passion fruit model， a detection and?location model of ripe passion fruit in natural environment based on Stereo Camera-YOLOv5 based is proposed. Firstly， aiming at the influence of light and occlusion in the natural environment， the original data set is optimized through image processing algorithms such as MSRCP algorithm， random occlusion and data augmentation. The optimized data set is put into the YOLOv5 network to train the optimal model， and the binocular stereo vision algorithm is embedded in the detection code. The model detects and judges the maturity of passion fruit in the natural environment， processes the image of the passion fruit judged to be ripe， and extracts the two-dimensional coordinates of the center point. The three-dimensional coordinates of the center point are obtained through stereo matching and parallax calculation. The field test results show that the target detection accuracy of the model is 97.8%， the overall accuracy rate is 90.2%， and the average running time is 4.85s. The system has strong robustness and good real-time performance， and can better realize the detection and positioning of ripe passion fruit in the natural environment， laying a foundation for the follow-up work of the passion fruit picking robot.

Keywords：passion fruit; deep learning; YOLOv5; binocular stereo vision; image processing

0 引言

隨著百香果的市場(chǎng)需求不斷加大，廣西南寧、玉林、百色等地均大量種植［1］，由于黃百香果具有生長(zhǎng)旺盛、適應(yīng)性強(qiáng)、耐寒性弱、果汁含量高等優(yōu)點(diǎn)，因此廣西種植及鮮銷的主要品種為黃金百香果［2］，本文也是針對(duì)黃百香果開(kāi)展研究。由于百香果為藤蔓植物，必須依靠攀爬架支撐才能正常生長(zhǎng)［3］，經(jīng)過(guò)多地調(diào)研，水平棚架廣泛應(yīng)用，籬架高度為2.0～2.2m，以垂枝結(jié)果為主。由于百香果的生長(zhǎng)特性，單純依靠人工采摘會(huì)消耗大量人力、物力資源，面臨采摘耗時(shí)長(zhǎng)、搶收不及時(shí)、采摘效率低等問(wèn)題。百香果采摘裝置正是對(duì)傳統(tǒng)生產(chǎn)方式的變革，大大提高勞動(dòng)生產(chǎn)率，保證果實(shí)的實(shí)時(shí)采收，減少因果實(shí)腐爛、掉落等帶來(lái)的巨大損失，因此對(duì)黃金百香果采摘機(jī)器人目標(biāo)檢測(cè)及定位技術(shù)的研究具有重要意義［4］。

農(nóng)業(yè)產(chǎn)業(yè)逐漸規(guī)模化、精準(zhǔn)化以及多樣化，推動(dòng)和促進(jìn)采摘機(jī)器人的發(fā)展，采摘機(jī)器人的核心就是視覺(jué)系統(tǒng)。Raphael等［5］使用顏色和平滑度連接擴(kuò)展檢測(cè)出被遮擋的青蘋果，但是由于直接光照和顏色飽和度會(huì)導(dǎo)致大量的誤報(bào)檢測(cè)。Lu等［６］提出了一種融合色差信息和歸一化RGB模型的初步分割方法，通過(guò)檢測(cè)色差圖的顯著邊緣和這些邊緣內(nèi)的角點(diǎn)來(lái)構(gòu)造輪廓片段集，對(duì)這些有效輪廓片段進(jìn)行組合分析，該方法能夠有效恢復(fù)遮擋果實(shí)。Tian等［7］提出了一種改進(jìn)的YOLOv3模型，在YOLOv3特征提取部分添加密集連接網(wǎng)絡(luò)來(lái)增強(qiáng)特征傳遞能力從而提高網(wǎng)絡(luò)的檢測(cè)精度，有效地提供重疊蘋果和遮擋條件下的蘋果檢測(cè)。唐熔釵等［8］剔除YOLOv3模型的大物體預(yù)測(cè)尺度，在中型物體預(yù)測(cè)尺度后添加DenseNet網(wǎng)絡(luò)，提高模型的檢測(cè)精度。王鐵偉等［9］為解決不同成熟度冬棗的樣本數(shù)量相差懸殊導(dǎo)致的識(shí)別率低的問(wèn)題，提出了一種基于數(shù)據(jù)平衡的Faster R-CNN的冬棗識(shí)別方法。

綜上可知，如何克服自然環(huán)境下光照和遮擋的影響，快速準(zhǔn)確地識(shí)別定位成熟的果實(shí)成為采摘機(jī)器人視覺(jué)的技術(shù)難點(diǎn)。本文針對(duì)傳統(tǒng)算法存在的不足，設(shè)計(jì)基于Stereo Camera-YOLOv5自然環(huán)境下百香果檢測(cè)與定位模型，以期提高算法目標(biāo)檢測(cè)及定位準(zhǔn)確性。

1 數(shù)據(jù)集建立與優(yōu)化

1.1 原始數(shù)據(jù)集建立

本文要實(shí)現(xiàn)的是針對(duì)自然環(huán)境下成熟百香果的目標(biāo)檢測(cè)，基準(zhǔn)數(shù)據(jù)PascalVOC數(shù)據(jù)集和MS COCO數(shù)據(jù)集都不適用，因此需要采集數(shù)據(jù)并建立自己的VOC數(shù)據(jù)集。

圖像采集的時(shí)間為2020年11月7日，使用雙目立體相機(jī)采集圖像，圖像分辨率為5 800像素×4 300像素。為確定最佳的拍攝角度和距離，首先通過(guò)預(yù)試驗(yàn)確定相機(jī)與水平面傾角為20°、離地高度為100 cm是采集數(shù)據(jù)時(shí)相機(jī)最佳位姿。確定相機(jī)最佳位姿后采集自然環(huán)境下的百香果圖像，圖像應(yīng)包括側(cè)光，逆光和順光的光照情況以及果實(shí)無(wú)遮擋，果實(shí)被枝葉遮擋和果實(shí)遮擋的遮擋情況。最終原始數(shù)據(jù)集包含圖像4 000幅，包含了9種不同光線條件及遮擋情況的百香果圖片，如圖1所示。

將原始數(shù)據(jù)以.jpg格式存放在VOC2007文件夾下JPEGImages子文件夾內(nèi)，用編號(hào)重新命名。通過(guò)Labelimg圖片標(biāo)注軟件對(duì)原始數(shù)據(jù)進(jìn)行人工標(biāo)注，人為規(guī)定八成熟及以上為成熟，其他為不成熟，用矩形框?qū)D片中的每個(gè)百香果目標(biāo)進(jìn)行分類框選。人工標(biāo)注后將標(biāo)簽儲(chǔ)存為TXT格式，保存在Annotations文件夾下，標(biāo)簽文件與圖片一一對(duì)應(yīng)。

1.2 對(duì)原始數(shù)據(jù)集的優(yōu)化

1.2.1 針對(duì)光照的圖像處理

由于自然環(huán)境下光照情況復(fù)雜，必須對(duì)圖片進(jìn)行增強(qiáng)處理，來(lái)強(qiáng)化模型對(duì)光線變化的適應(yīng)能力，降低光照強(qiáng)度和拍攝角度對(duì)圖像亮度的影響。MSRCP是具有顏色保護(hù)的多尺度Retinex算法［10， 11］；采用Gamma修正和色彩均衡修正，改善了圖像的反差，提高了彩色復(fù)原功能，使圖像的清晰度和色彩都能精確地還原。該方法增強(qiáng)目標(biāo)表征的計(jì)算方法如式（1）所示。

Int=（IR+IG+IB）3（1）

式中：Int——單通道圖像；IR——原始圖像中紅色通道子圖像；IG——原始圖像中綠色通道子圖像；IB——原始圖像中藍(lán)色通道子圖像。輻照度估計(jì)值的計(jì)算方法如式（2）所示。

r～′（x，y）=13∑kn=1{log［I（x，y）］-log［fn（I（x，y））］}（2）

式中：r～′（x，y）——輻照度；f——濾波器函數(shù)；I（x，y）——圖像上具體像素點(diǎn)坐標(biāo)值。MSRCP增強(qiáng)的線性量化的計(jì)算方法如式（3）所示。rmsrcp（x，y）=255×r～（x，y）－r～minr～max－r～min（3）

式中：rmsrcp（x，y）——線性量化后的輻照度；r～max——輻照度r～′（x，y）中的最大值；r～（x，y）——輻照度；r～min——輻照度r～′（x，y）中的最小值。

將其伽馬亮度按照式（4）計(jì)算，可以有效地提高圖像質(zhì)量。

Intα=［rmsrcp（x，y）］1γ（4）

式中：Intα——增強(qiáng)的單通道圖像；γ——校準(zhǔn)參數(shù)，取值為2。

最后利用式（5）、式（6）對(duì)該算法進(jìn)行顏色還原。

A=Min255B，Intα（i）Int（i）（5）

B=Max［IR（i）+IG（i）+IB（i）］（6）

式中：i——像素的索引；A——映射因子；B——過(guò)程參數(shù)。

該算法在對(duì)圖像進(jìn)行處理時(shí)，首先要進(jìn)行色彩均衡、消除色彩梯度的極值，然后根據(jù)強(qiáng)度對(duì)各通道進(jìn)行色彩分配，從而提高圖像的細(xì)節(jié)性。為實(shí)現(xiàn)各通道的增強(qiáng)，需按照式（7）來(lái)計(jì)算映射因子A。

Rmsrcp（x，y）=AIR，G，B（x，y）（7）

式中：IR，G，B（x，y）——最初對(duì)應(yīng)的通道圖像；Rmsrcp（x，y）——增強(qiáng)后的圖像。

因此本文使用MSRCP增強(qiáng)對(duì)原始圖像進(jìn)行優(yōu)化，實(shí)際處理效果如圖2所示，可以看到該算法有效地改善了圖片顯示效果，有效地減少了光照的影響。

1.2.2 針對(duì)遮擋的圖像處理

本文通過(guò)對(duì)輸入的圖片進(jìn)行隨機(jī)遮擋處理，隨機(jī)選擇一個(gè)區(qū)域，采用隨機(jī)值進(jìn)行覆蓋，模擬百香果被遮擋的真實(shí)場(chǎng)景，不僅可以提高模型泛化能力，對(duì)遮擋有更好的魯棒性，而且降低了模型過(guò)擬合的概率。矩形區(qū)域相對(duì)于輸入圖像的比例范圍為0.02～0.40，使得百香果圖像生成不同程度的遮擋，具體效果如圖3所示。

1.2.3 數(shù)據(jù)增擴(kuò)

為了增強(qiáng)試驗(yàn)數(shù)據(jù)集的豐富性，使用圖像數(shù)據(jù)增強(qiáng)技術(shù)來(lái)擴(kuò)充數(shù)據(jù)集的規(guī)模，降低雜草識(shí)別模型對(duì)某些圖像屬性的依賴，減少訓(xùn)練模型過(guò)擬合、加強(qiáng)模型的穩(wěn)定性，如圖4所示。

2 Stereo Camera-YOLOv5模型

本文所設(shè)計(jì)的基于Stereo Camera-YOLOv5的自然環(huán)境下成熟百香果檢測(cè)及定位的整體設(shè)計(jì)架構(gòu)，如圖5所示。將雙目立體視覺(jué)技術(shù)與YOLOv5目標(biāo)檢測(cè)模型結(jié)合起來(lái)，雙目相機(jī)在自然環(huán)境下實(shí)時(shí)采集圖片，進(jìn)行成熟百香果目標(biāo)檢測(cè)后對(duì)預(yù)測(cè)框內(nèi)圖片進(jìn)行圖像處理，立體匹配及視差計(jì)算得到百香果的三維坐標(biāo)，完成定位。

2.1 YOLOv5百香果目標(biāo)檢測(cè)模型

YOLOv5分為3個(gè)部分，分別是CSPDarknet、FPN以及YOLO Head，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。CSPDarknet是YOLOv5的主干特征提取網(wǎng)絡(luò)［12］，輸入的圖片首先會(huì)在CSPDarknet里面進(jìn)行特征層提取，獲取3個(gè)特征層進(jìn)行下一步網(wǎng)絡(luò)的構(gòu)建，這3個(gè)特征層稱為有效特征層。

FPN為YOLOv5的加強(qiáng)特征提取網(wǎng)絡(luò)，在主干部分獲得的3個(gè)有效特征層會(huì)在這一部分進(jìn)行特征融合，特征融合的目的是結(jié)合不同尺度的特征信息。在FPN部分，已經(jīng)獲得的有效特征層被用于繼續(xù)提取特征。YOLOv5里使用Panet［13］的結(jié)構(gòu)，不僅會(huì)對(duì)特征進(jìn)行上采樣實(shí)現(xiàn)特征融合，還會(huì)對(duì)特征再次進(jìn)行下采樣實(shí)現(xiàn)特征融合。

YOLO Head是YOLOv5的分類器與回歸器，通過(guò)CSPDarknet和FPN獲得3個(gè)加強(qiáng)過(guò)的有效特征層，每一個(gè)特征層都有寬、高和通道數(shù)。特征圖為一個(gè)又一個(gè)特征點(diǎn)的集合，每一個(gè)特征點(diǎn)都有通道數(shù)個(gè)特征。YOLO Head實(shí)際上所做的工作就是對(duì)特征點(diǎn)進(jìn)行判斷，判斷特征點(diǎn)是否有物體與其對(duì)應(yīng)。

2.2 目標(biāo)果實(shí)輪廓提取

目標(biāo)檢測(cè)模型實(shí)時(shí)檢測(cè)百香果并在圖像上對(duì)應(yīng)位置繪制出矩形預(yù)測(cè)框，為了進(jìn)行后續(xù)的三維位置計(jì)算，只對(duì)圖像中的預(yù)測(cè)框內(nèi)的圖像內(nèi)容進(jìn)行實(shí)時(shí)的提取，可以大大減少后續(xù)的計(jì)算量。整體對(duì)果實(shí)輪廓以及中心點(diǎn)提取的流程如圖7所示。

2.2.1 色彩空間

圖像處理中使用較多的是HSV顏色空間，其能直觀地表達(dá)顏色的色調(diào)、鮮艷程度和明暗程度，方便進(jìn)行顏色的對(duì)比。HSV表達(dá)彩色圖像的方式由3個(gè)部分組成：Hue（色調(diào)、色相）、Saturation（飽和度、色彩純凈度）、Value（明度）。只有V通道受光線影響大，因此從H、S通道獲取圖像特征就可以削弱光線的影響，百香果在HSV顏色空間的圖像情況如圖8所示。對(duì)比分析可知H通道下百香果果實(shí)與背景區(qū)分最為明顯。

2.2.2 圖像濾波

盡量保留圖像細(xì)節(jié)特征的條件下對(duì)目標(biāo)圖像的噪聲進(jìn)行抑制，是圖像預(yù)處理中不可缺少的操作，其處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性。本文選用雙邊濾波的方式。雙邊濾波是在同時(shí)考慮鄰域內(nèi)像素的空間鄰近性及灰度相似性進(jìn)行局部加權(quán)平均，再消除噪聲的同時(shí)保留邊緣，雙邊濾波計(jì)算方法如式（8）所示。

g（x，y）=∑i，jf（i，j）ω（x，y，i，j）∑i，jω（x，y，i，j）（8）

式中：g（x，y）——雙邊濾波輸出圖像；f（i，j）——輸入圖像f（x，y）鄰域內(nèi)的點(diǎn)；ω（x，y，i，j）——加權(quán)系數(shù)。

加權(quán)系數(shù)綜合考慮了相鄰兩點(diǎn)的距離和像素值差，其計(jì)算方法如式（9）所示。

ω（x，y，i，j）=e-（i-x）+（j-y）22σd2×e-f（i，j）-f（x，y）22σr2（9）

式中：σd——經(jīng)驗(yàn)參數(shù)，控制空間鄰近度；σr——經(jīng)驗(yàn)參數(shù)，控制灰度鄰近度。

σd和σr直接影響雙邊濾波的輸出結(jié)果。σd變大，窗口中包含的像素變多，距離遠(yuǎn)的像素點(diǎn)對(duì)中心像素點(diǎn)的影響增大，平滑程度越高。σr變大，灰度差值較大的點(diǎn)也能影響中心點(diǎn)的像素值，但灰度差值大于σr的像素將不參與運(yùn)算，使得能夠保留圖像高頻邊緣的灰度信息，對(duì)百香果的邊緣檢測(cè)及輪廓提取有幫助，如圖9（b）所示。

之后利用Laplacian算子［14］進(jìn)行邊緣銳化，以突出圖像中的邊緣特征。Laplacian算子利用二階導(dǎo)數(shù)信息，具有各向同性，最佳Laplacian銳化模板為

H1=0-10-15-10-10（10）

圖像經(jīng)過(guò)二階微分后，在邊緣處產(chǎn)生一個(gè)陡峭的零交叉點(diǎn)，據(jù)此對(duì)零交叉點(diǎn)判斷邊緣。Laplacian算子對(duì)噪聲比較敏感，Laplacian算子的缺點(diǎn)是它對(duì)圖像中某些邊緣產(chǎn)生雙重響應(yīng)。所以圖像一般先經(jīng)過(guò)平滑處理，通常把Laplacian算子和平滑算子結(jié)合起來(lái)生成一個(gè)新模板。因此本文選擇雙邊濾波后再進(jìn)行Laplacian算子邊界銳化的圖像濾波方法，如圖9（c）所示。

2.2.3 邊緣檢測(cè)

邊緣檢測(cè)是提取果實(shí)輪廓的前提，如何使檢測(cè)出來(lái)的邊緣均一連續(xù)，且盡量更少的提取背景等不必要的邊緣信息是邊緣檢測(cè)的關(guān)鍵，經(jīng)過(guò)對(duì)比本文選用的是自適應(yīng)閾值Canny算子［15］，針對(duì)本文所研究的自然環(huán)境下百香果狀態(tài)進(jìn)行邊緣檢測(cè)，效果如圖10所示。

2.2.4 輪廓提取

將2.2.3節(jié)進(jìn)行的自適應(yīng)閾值Canny算子與Hough圓檢測(cè)算法相結(jié)合，通過(guò)已提取出的百香果果實(shí)邊緣信息，將其在圖中檢測(cè)并繪制出來(lái)。黃金百香果果實(shí)與圓形極為相似，因此根據(jù)所檢測(cè)出來(lái)邊緣進(jìn)行的果實(shí)輪廓的提取，并找到百香果的中心點(diǎn)二維坐標(biāo)，這也是后續(xù)進(jìn)行立體匹配及視差計(jì)算最關(guān)鍵的信息。本文所研究的九種自然環(huán)境下百香果中心點(diǎn)提取效果如圖11所示。

2.3 雙目立體視覺(jué)

雙目立體視覺(jué)的實(shí)現(xiàn)包括原始圖像獲取、雙目攝像機(jī)標(biāo)定、匹配和定位4個(gè)方面。

2.3.1 雙目立體相機(jī)標(biāo)定

雙目立體相機(jī)有4個(gè)內(nèi)參和5個(gè)外參數(shù)，共計(jì)9個(gè)參數(shù)需要計(jì)算并修正。而計(jì)算求解這9個(gè)參數(shù)的過(guò)程即為相機(jī)的標(biāo)定。本文所選用的為通過(guò)Matlab內(nèi)置的Stereo Camera Calibrator工具箱進(jìn)行雙目相機(jī)的標(biāo)定［16］，標(biāo)定結(jié)果所得到得到雙目相機(jī)參數(shù)作為配置文件在Python程序中調(diào)用，即完成通過(guò)標(biāo)定試驗(yàn)對(duì)相機(jī)9個(gè)參數(shù)的校準(zhǔn)，具體參數(shù)如下。

A左=772.181 50640.488 60773.470 8475.054 4001A右=773.598 30657.509 50775.399 3474.120 1001B左=0.151 8，-0.128 4，0，0，0B右=0.192 0，-0.303 5，0，0，0C=-59.329 30.177 2-0.128 2D=10.001 6-0.001 0-0.001 610.004 00.001 0-0.004 01

式中：A左——左相機(jī)內(nèi)參矩陣；A右——右相機(jī)內(nèi)參矩陣；B左——左相機(jī)畸變參數(shù)；B右——右相機(jī)畸變參數(shù)；C——右相機(jī)相對(duì)于左相機(jī)的偏置矩陣；D——右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)矩陣。

2.3.2 三維坐標(biāo)計(jì)算

定位是在得到空間任一點(diǎn)在兩個(gè)圖像中的對(duì)應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，計(jì)算出圖像點(diǎn)在空間中的位置。根據(jù)每個(gè)單目攝像機(jī)獲得的兩個(gè)線性方程，共4個(gè)方程，可以求解出空間點(diǎn)的世界坐標(biāo)值。實(shí)際定位原理通常采用外極線約束法，該方法中，目標(biāo)點(diǎn)與兩個(gè)攝像機(jī)的光心共3個(gè)點(diǎn)組成的平面與各自成像平面的交線稱為該目標(biāo)點(diǎn)在各自成像平面中的極線，如圖12所示。

當(dāng)通過(guò)標(biāo)定確定攝像機(jī)的內(nèi)外參數(shù)后，我們就可通過(guò)兩條極線的約束關(guān)系式建立對(duì)應(yīng)圖像點(diǎn)之間的關(guān)系，并由此建立求解圖像點(diǎn)世界坐標(biāo)的方程。

在雙目立體視覺(jué)系統(tǒng)中，假設(shè)兩相機(jī)內(nèi)部參數(shù)完全相同，世界坐標(biāo)系與左相機(jī)的相機(jī)坐標(biāo)系重合。被測(cè)果實(shí)中心點(diǎn)P的三維坐標(biāo)（X，Y，Z）可根據(jù)相似三角形視差原理［17］計(jì)算得到

X=ulul-urd（11）

Y=vlvl-vrd（12）

Z=ful-urd（13）

式中：ul——P點(diǎn)在左相機(jī)上的橫坐標(biāo)；vl——P點(diǎn)在左相機(jī)上的縱坐標(biāo)；ur——P點(diǎn)在右相機(jī)上的橫坐標(biāo)；vr——P點(diǎn)在右相機(jī)上的縱坐標(biāo)；d——兩相機(jī)光心間距離；f——相機(jī)焦距。

3 結(jié)果與分析

3.1 試驗(yàn)平臺(tái)

訓(xùn)練及測(cè)試平臺(tái)主要硬件配置為：AMD Ryzen7 5800H with Radeon Graphics 3.20 GHz，16 GB內(nèi)存，NVIDIA GeForce RTX 3060 GPU。軟件系統(tǒng)環(huán)境為Windows10 64位操作系統(tǒng)，CUDA 10.0版本，CUDNN7.1版本，Python3.7.11版本，Pytorch1.2.0版本。

3.2 模型訓(xùn)練與對(duì)比

3.2.1 參數(shù)設(shè)置

YOLOv5模型經(jīng)過(guò)對(duì)訓(xùn)練集圖像的多次穩(wěn)定迭代學(xué)習(xí)，完成對(duì)權(quán)重參數(shù)的更新和優(yōu)化，模型參數(shù)為：批量32，動(dòng)量0.9，學(xué)習(xí)率0.001，迭代次數(shù)200。

3.2.2 模型評(píng)價(jià)指標(biāo)

在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法中常見(jiàn)的評(píng)價(jià)指標(biāo)有精確率（Precision）、召回率（Recall）、平均精確率（Average Precision，AP）、平均精確率均值（mean Average Precision，mAP）以及F1分?jǐn)?shù)（F1-Score）等［18］。模型參數(shù)的優(yōu)化過(guò)程，準(zhǔn)確率和召回率往往是此消彼長(zhǎng)的情況。但在采摘機(jī)器人的應(yīng)用中，錯(cuò)誤的預(yù)測(cè)可能導(dǎo)致未成熟果實(shí)被誤摘，也可能對(duì)末端執(zhí)行器造成損壞。采摘識(shí)別對(duì)精確率的要求遠(yuǎn)高于召回率，因此本文以精確率為主要評(píng)價(jià)指標(biāo)。

3.2.3 不同數(shù)據(jù)集檢測(cè)結(jié)果對(duì)比

為驗(yàn)證不同圖像特征增強(qiáng)算法對(duì)檢測(cè)結(jié)果的影響，本文將不同圖像處理后的數(shù)據(jù)集分別輸入YOLOv5模型中進(jìn)行訓(xùn)練并測(cè)試，模型的P-R曲線如圖13所示。分析可知，YOLOv5平均精確率僅為81.2%。

取置信閾值0.5時(shí)，使用測(cè)試集的圖片對(duì)算法的性能進(jìn)行驗(yàn)證，并且將測(cè)試集的圖片經(jīng)過(guò)檢測(cè)的結(jié)果可視化如圖14所示。圖14中標(biāo)注紅圈的是成熟的果實(shí)被錯(cuò)誤判定為不成熟，標(biāo)注粉圈的是果實(shí)漏檢，示例中可看出效果并不理想。81.2%的精確率不足以滿足在自然復(fù)雜環(huán)境下采摘機(jī)器人檢測(cè)成熟百香果的要求。原因是：原始數(shù)據(jù)集沒(méi)有經(jīng)過(guò)圖像處理，訓(xùn)練出的模型受到了自然環(huán)境下復(fù)雜光照以及遮擋的影響，從而嚴(yán)重影響了模型的準(zhǔn)確率。

經(jīng)過(guò)不同圖像處理優(yōu)化過(guò)的數(shù)據(jù)集，測(cè)試的精確率結(jié)果對(duì)比如表1所示。

從表1可以看出，相較于原算法，經(jīng)數(shù)據(jù)預(yù)處理后的算法精確率均有所提升。經(jīng)過(guò)MSRCP算法、隨機(jī)遮擋處理后測(cè)試集的精確率分別提高4.1%、1.4%。將上述所有數(shù)據(jù)增強(qiáng)方式結(jié)合使用后，不僅可以減少光照、遮擋等因素的影響，同時(shí)還擴(kuò)充了數(shù)據(jù)集，使得測(cè)試集的精確率由81.2%提高至97.8%，優(yōu)化效果顯著。

綜合以上所有圖像處理方法優(yōu)化數(shù)據(jù)集，在YOLOv5上訓(xùn)練出來(lái)的最優(yōu)模型評(píng)價(jià)指標(biāo)如圖15所示，本模型對(duì)成熟百香果識(shí)別精確率為97.9%，對(duì)非成熟百香果識(shí)別精確率為97.7%，綜合精確率達(dá)到97.8%，比優(yōu)化數(shù)據(jù)集前精確率提高明顯。

3.2.4 不同算法檢測(cè)結(jié)果對(duì)比

訓(xùn)練完成后，取果園障礙物數(shù)據(jù)集中的測(cè)試集圖片用于測(cè)試各模型的指標(biāo)得分并列表統(tǒng)計(jì)，結(jié)果如表2所示。由表2可知，該YOLOv5模型進(jìn)行果園障礙物檢測(cè)時(shí)在精確率方面比YOLOv4、Faster-RCNN分別提高了0.61個(gè)、0.04個(gè)百分點(diǎn)。在召回率方面，分別提高了0.68個(gè)、0.11個(gè)百分點(diǎn)，表明該YOLOv5具有更優(yōu)秀的性能。

3.3 田間試驗(yàn)結(jié)果

試驗(yàn)現(xiàn)場(chǎng)如圖16所示。

模擬試驗(yàn)流程如下：在棚架百香果枝條上懸掛果實(shí)，人為制造順光+無(wú)遮擋，順光+枝葉遮擋，順光+果實(shí)遮擋；側(cè)光+無(wú)遮擋，側(cè)光+枝葉遮擋，側(cè)光+果實(shí)遮擋；逆光+無(wú)遮擋，逆光+枝葉遮擋，逆光+果實(shí)遮擋這九種自然環(huán)境下的百香果情況。

記錄系統(tǒng)判斷的成熟度結(jié)果以及深度值計(jì)算，并記錄下采摘裝置從起始點(diǎn)運(yùn)行到目標(biāo)處所用時(shí)間。其中規(guī)定定位誤差為真實(shí)深度值與算法計(jì)算出的深度值差值的絕對(duì)值與真實(shí)深度值的比值。規(guī)定定位誤差在5%以內(nèi)為定位成功，最終試驗(yàn)結(jié)果如表3所示。

試驗(yàn)可得本文所設(shè)計(jì)的成熟百香果目標(biāo)檢測(cè)與定位系統(tǒng)在自然環(huán)境下運(yùn)行時(shí)，其目標(biāo)檢測(cè)準(zhǔn)確率為97.8%，成熟度判斷以及定位準(zhǔn)確率為90.2%，平均運(yùn)行時(shí)間為4.85 s，結(jié)果如圖17所示。

可看出不同光照角度以及遮擋情況下所有果實(shí)均預(yù)測(cè)成功，圖像矩形框吻合較好，滿足在自然復(fù)雜環(huán)境下采摘機(jī)器人檢測(cè)成熟百香果的工作要求。基于Stereo Camera-YOLOv5的識(shí)別方法具有較強(qiáng)的抗干擾能力，有效解決了自然條件下復(fù)雜光線以及遮擋的問(wèn)題，為后續(xù)的果實(shí)定位提供了堅(jiān)實(shí)的基礎(chǔ)。

4 結(jié)論

1） ?提出一種Stereo Camera-YOLOv5的自然環(huán)境下的成熟百香果檢測(cè)及定位模型，將雙目立體視覺(jué)算法嵌入YOLOv5目標(biāo)檢測(cè)模型檢測(cè)算法之中。田間試驗(yàn)結(jié)果表明，Stereo Camera-YOLOv5模型該系統(tǒng)的目標(biāo)檢測(cè)精確率為97.8%，成熟度判斷以及定位準(zhǔn)確率為90.2%，平均運(yùn)行時(shí)間為4.85 s。

2） ?針對(duì)自然環(huán)境下復(fù)雜光照以及遮擋問(wèn)題，本文對(duì)原始數(shù)據(jù)集進(jìn)行圖像優(yōu)化增強(qiáng)處理，利用MSRCP算法對(duì)圖像光照進(jìn)行自適應(yīng)調(diào)整，通過(guò)隨機(jī)遮擋大量增加被遮擋的果實(shí)樣本量，利用多種圖像處理技術(shù)對(duì)原始圖像進(jìn)行擴(kuò)增；經(jīng)過(guò)在YOLOv5模型上對(duì)比試驗(yàn)可知，使用MSRCP算法可使模型mAP提高4.1%；使用隨機(jī)遮擋算法可使模型mAP提高1.4%；綜合使用MSRCP算法和隨機(jī)遮擋算法后可使模型mAP提高16.6%。綜合上述試驗(yàn)對(duì)比可知本文提出的Stereo Camera-YOLOv5模型滿足實(shí)際生產(chǎn)需要，可用于實(shí)際的田間環(huán)境進(jìn)行百香果的識(shí)別與定位，為后續(xù)采摘機(jī)器人的視覺(jué)系統(tǒng)提供良好的技術(shù)支持。

參 考 文 獻(xiàn)

［1］梁倩， 李詠富， 龍明秀， 等. 百香果化學(xué)成分及藥用活性研究進(jìn)展［J］. 食品工業(yè)科技， 2018， 39（20）： 343-347.Liang Qian， Li Yongfu， Long Mingxiu， et al. Research progress on chemical constituents and pharmacological effects of Passiflora edulis Sims ［J］. Science and Technology of Food Industry， 2018， 39（20）： 343-347.

［2］王瑩， 劉忠和， 康萬(wàn)利， 等. 百香果中礦物元素分析［J］. 食品科學(xué)， 2009， 30（22）： 328-330.Wang Ying， Liu Zhonghe， Kang Wanli， et al. Analysis of mineral elements in passiflora fruits ［J］. Food Science， 2009， 30（22）： 328-330.

［3］付雅麗， 康欣娜， 劉鐵錚， 等. 百香果的營(yíng)養(yǎng)保健價(jià)值及無(wú)公害栽培技術(shù)［J］. 河北果樹(shù)， 2005（3）： 35.

［4］許威， 丁學(xué)文， 宋蘭草， 等. 基于MATLAB和OpenCV的雙目視覺(jué)測(cè)距系統(tǒng)的實(shí)現(xiàn)［J］. 天津職業(yè)技術(shù)師范大學(xué)學(xué)報(bào)， 2017， 27（4）： 47-52.Xu Wei， Ding Xuewen， Song Lancao， et al. Realization of binocular stereo vision distance measurement system based on MATLAB and OpenCV ［J］. Journal of Tianjin University of Technology and Education， 2017， 27（4）： 47-52.

［5］Raphael Y， Chen M， Wang C， et al. Recognition and localization methods for vision-based fruit picking robots： A Review ［J］. Frontiers in Plant Science， 2011， 11.

［6］Lu J. Detecting citrus fruits and occlusion recovery under natural illumination conditions ［M］. Elsevier Science Publishers B. V.， 2015.

［7］Tian Y， Yang G， Wang Z， et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model ［J］. Computers and Electronics in Agriculture， 2019， 157.

［8］唐熔釵， 伍錫如. 基于改進(jìn)YOLO-V3網(wǎng)絡(luò)的百香果實(shí)時(shí)檢測(cè)［J］. 廣西師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 38（6）： 32-39.Tang Rongchai， Wu Xiru. Real-time detection of passion fruit based on improved YOLO-V3 network ［J］. Journal of Guangxi Normal University Natural Science Edition， 2020， 38（6）： 32-39.

［9］王鐵偉， 趙瑤， 孫宇馨， 等. 基于數(shù)據(jù)平衡深度學(xué)習(xí)的不同成熟度冬棗識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2020， 51（S1）： 457-463， 492.Wang Tiewei， Zhao Yao， Sun Yuxin， et al. Recognition approach based on data-balanced Faster R-CNN for winter jujube with different levels of maturity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S1）： 457-463， 492.

［10］袁妍. 基于深度視覺(jué)的棚架葡萄采摘機(jī)器人手眼系統(tǒng)設(shè)計(jì)與果梗近景識(shí)別研究［D］. 鎮(zhèn)江： 江蘇大學(xué)， 2019.Yuan Yan. Hand-eye system design and close-shot stem recognition for robotic harvesting of trellis grape clusters based on depth sensing ［D］. Zhenjiang： Jiangsu University， 2019.

［11］李娜， 陳寧. 自然場(chǎng)景下蘋果采摘機(jī)器人視覺(jué)系統(tǒng)研究［J］. 計(jì)算機(jī)技術(shù)與發(fā)展， 2018， 28（12）： 137-146.Li Na， Chen Ning. Research on visual system of apple picking robot in nature scene ［J］. Computer Technology and Development， 2018， 28（12）： 137-146.

［12］袁良祺， 田暢， 徐充， 等. 基于MATLAB的視覺(jué)檢測(cè)系統(tǒng)課程設(shè)計(jì)［J］. 現(xiàn)代計(jì)算機(jī)， 2019（23）： 51-54， 57.Yuan Liangqi， Tian Chang， Xu Chong， et al. Curriculum design of visual inspection system based on MATLAB ［J］. Modern Computer， 2019（23）： 51-54， 57.

［13］王先節(jié)， 趙立宏. 基于MATLAB和OpenCV的雙目視覺(jué)系統(tǒng)研究［J］. 數(shù)字通訊世界， 2019， 7（2）： 46-48.

［14］李鵬， 張洋洋. 室內(nèi)移動(dòng)機(jī)器人雙目視覺(jué)全局定位［J］. 激光與光電子學(xué)進(jìn)展， 2020， 57（4）： 246-253.Li Peng， Zhang Yangyang. Global localization for indoor mobile robot based on binocular vision ［J］. Laser & Optoelectronics Progress， 2020， 57（4）： 246-253.

［15］金理鉆. 基于雙目視覺(jué)的黃瓜采摘機(jī)器人關(guān)鍵技術(shù)的研究［D］. 上海： 上海交通大學(xué)， 2013.Jin Lizuan. Key technology research of cucumbers harvest robot based on machine vision ［D］. Shanghai： Shanghai Jiao Tong University， 2013.

［16］唐熔釵. 基于深度學(xué)習(xí)的百香果成熟度實(shí)時(shí)檢測(cè)算法研究［D］. 桂林： 桂林電子科技大學(xué)， 2021.Tang Rongchai. Research on real-time detection algorithm of passion fruit maturity via deep learning ［D］. Guilin： Guilin University of Electronic Technology， 2021.

［17］秦雁飛. 基于雙目視覺(jué)及深度學(xué)習(xí)的采摘機(jī)器人目標(biāo)檢測(cè)及定位技術(shù)研究［D］. 北京： 北京交通大學(xué)， 2019.Qin Yanfei. Research on target detection and localization technology of picking robot based on binocular vision and deep learning ［D］. Beijing： Beijing Jiaotong University， 2019.

［18］周毛. 基于雙目視覺(jué)的農(nóng)業(yè)采摘機(jī)器人控制系統(tǒng)設(shè)計(jì)研究［D］. 青島： 青島理工大學(xué)， 2018.Zhou Mao. Control system design of agricultural picking robot based on binocular vision ［D］. Qingdao： Qingdao University of Technology， 2018.

基金項(xiàng)目：廣西創(chuàng)新驅(qū)動(dòng)發(fā)展專項(xiàng)資金項(xiàng)目（桂科AA18242011）；南寧市邕寧區(qū)科學(xué)研究與技術(shù)開(kāi)發(fā)計(jì)劃項(xiàng)目（20180206A）；廣西壯族自治區(qū)大學(xué)生創(chuàng)新創(chuàng)業(yè)項(xiàng)目（202110593214）

第一作者：繆亞倫，男，1996年生，河北保定人，碩士研究生；研究方向?yàn)闄C(jī)器視覺(jué)與深度學(xué)習(xí)。E-mail： 911264650@qq.com

通訊作者：李巖舟，男，1979年生，河北易縣人，博士，副教授；研究方向?yàn)闄C(jī)器振動(dòng)與農(nóng)業(yè)機(jī)械化。E-mail： lyz197916@126.com