基于RGE—UNet模型的甘蔗蔗梢識(shí)別研究

摘要：

傳統(tǒng)的甘蔗蔗梢圖像分割算法步驟煩瑣、整體優(yōu)化較為困難，采用在小樣本上仍表現(xiàn)優(yōu)異的UNet網(wǎng)絡(luò)，將模型原有主干網(wǎng)絡(luò)替換為ResNet50來(lái)簡(jiǎn)化模型訓(xùn)練過(guò)程，上采樣部分用Ghost輕量級(jí)模塊替換普通卷積模塊以減少模型的參數(shù)量和浮點(diǎn)數(shù)計(jì)算量，同時(shí)在編碼器和解碼器之間加入SE注意力機(jī)制對(duì)提取到的特征權(quán)重進(jìn)行優(yōu)化，最終得到一個(gè)輕量級(jí)的RGE—UNet蔗梢分割模型。結(jié)合遷移學(xué)習(xí)的方法對(duì)模型進(jìn)行訓(xùn)練，將訓(xùn)練完成的模型通過(guò)Canny算子與水平垂直投影法對(duì)蔗梢區(qū)域進(jìn)行識(shí)別，并提取蔗梢分割路徑坐標(biāo)。結(jié)果表明，基于RGE—UNet模型識(shí)別方法的平均像素準(zhǔn)確率為94.98%，單張圖片分割時(shí)間為0.31s，分割速度較UNet與R50—UNet模型分別提高13.9%和18.4%。該模型能實(shí)現(xiàn)對(duì)蔗梢的快速準(zhǔn)確識(shí)別，為甘蔗收割的自動(dòng)化研究提供一定的技術(shù)參考。

關(guān)鍵詞：甘蔗蔗梢；路徑識(shí)別；語(yǔ)義分割；RGE—UNet；遷移學(xué)習(xí)

中圖分類(lèi)號(hào)：S566.1; TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2025） 03-0188-07

收稿日期：2023年9月9日" 修回日期：2023年11月20日*

基金項(xiàng)目：廣西壯族自治區(qū)重大科技專(zhuān)項(xiàng)（桂科技字［2022］117號(hào)）

第一作者：沈中華，男，1970年生，廣西桂林人，博士，高級(jí)工程師；研究方向?yàn)樘摂M樣機(jī)技術(shù)。E-mail： shenzh2627369@aliyun.com

Research on sugarcane shoot recognition based on RGE—UNet model

Shen Zhonghua1， Cheng Huqiang1， 2， Xia Aiqiang1， Li Han1

（1. Guilin University of Technology， Guangxi University Key Laboratory of Advanced Manufacturing and

Automation Technology， Guilin， 541006， China; 2. College of Intelligent Equipment，

Lanzhou University of Information Science and Technology， Lanzhou， 730700， China）

Abstract：

In response to the problems of cumbersome steps and difficulty in overall optimization of traditional image segmentation algorithms for sugarcane shoots， this paper adopts a UNet network， which performs well on small samples. The original backbone network of the model is replaced with ResNet50 to simplify the model training process. In the upsampling part， the Ghost lightweight module is used to replace the ordinary convolution module to reduce the number of model parameters and floating-point operations. An SE attention mechanism is added between the encoder and decoder to optimize the extracted feature weights. The result is a lightweight RGE—UNet sugarcane shoot segmentation model. Then， the trained model identifies the shoot region using the Canny operator and the horizontal/vertical projection methods and extracts the segmentation path coordinates. The experimental results show that the recognition method based on the RGE—UNet model achieves an average pixel accuracy of 94.98%， a segmentation time of 0.31 seconds per image， improving segmentation speed by 13.9% and 18.4% compared with the UNet and R50—UNet models， respectively. This model achieves fast and accurate recognition of sugarcane shoots and provides technical references for the automation of sugarcane harvesting.

Keywords：

sugarcane shoots; path recognition; semantic segmentation; RGE—UNet; transfer learning

0 引言

甘蔗是全球最重要的糖料作物之一，在我國(guó)南方種植廣泛，經(jīng)濟(jì)地位極其重要［1］。目前，我國(guó)甘蔗收獲仍以人工收獲方式為主，機(jī)械化程度較低，其主要原因之一是機(jī)械化收獲的甘蔗含雜率較高，難以滿(mǎn)足國(guó)內(nèi)糖廠的制糖工藝要求［2， 3］。成熟后的甘蔗尾梢含糖率低、蔗葉較嫩、含水率較高、葉鞘緊緊包裹著蔗莖，并且多個(gè)葉鞘彼此重疊，是機(jī)收時(shí)的主要雜物來(lái)源［4， 5］。由于受到多種因素的影響，成熟期的甘蔗高度不一，機(jī)收時(shí)甘蔗尾梢切割位置主要由機(jī)手肉眼判斷，且在收獲過(guò)程中不輕易調(diào)整，隨意性較大，從而導(dǎo)致甘蔗產(chǎn)量不能實(shí)現(xiàn)持續(xù)增長(zhǎng)［6］。因此，利用機(jī)器視覺(jué)技術(shù)對(duì)蔗梢進(jìn)行識(shí)別與定位有利于降低原料蔗含雜率。現(xiàn)有農(nóng)業(yè)收獲機(jī)械中的目標(biāo)識(shí)別與定位通常采用機(jī)器視覺(jué)及其相關(guān)技術(shù)進(jìn)行實(shí)現(xiàn)［7］，如在自動(dòng)化采摘、作物品質(zhì)分級(jí)、植物病害檢測(cè)等方面，機(jī)器視覺(jué)技術(shù)發(fā)揮著十分重要的作用，推動(dòng)了傳統(tǒng)農(nóng)業(yè)向自動(dòng)化農(nóng)業(yè)的轉(zhuǎn)型。

傳統(tǒng)圖像識(shí)別通常利用作物的形狀、顏色等特征實(shí)現(xiàn)作物與背景間的分割，如Liu等［8］為減少光照與枝葉遮擋對(duì)番茄識(shí)別的影響，提出一種適用于彩色規(guī)則圖像的番茄自動(dòng)檢測(cè)算法，該方法利用梯度方向直方圖描述子訓(xùn)練SVM分類(lèi)器，通過(guò)由粗到細(xì)的掃描方法檢測(cè)番茄，并利用非極大值抑制法（NMS）對(duì)重疊結(jié)果進(jìn)行合并，識(shí)別準(zhǔn)確率達(dá)94.41%。Kadir等［9］提出了一種從復(fù)雜背景中檢測(cè)重疊芒果果實(shí)的方法，該方法通過(guò)紋理分析確定每個(gè)重疊果實(shí)的邊界，將實(shí)際邊界圖像轉(zhuǎn)換為二值圖，利用膨脹與腐蝕消除非目標(biāo)物體，對(duì)分割結(jié)果采用隨機(jī)Hough變換進(jìn)行擬合，搜索芒果果實(shí)的潛在區(qū)域，成功檢測(cè)出果實(shí)。張小花等［10］通過(guò)對(duì)柑橘圖像進(jìn)行顏色空間轉(zhuǎn)換，利用Lab模型中a分量，基于Hough變換法對(duì)圖像中柑橘進(jìn)行計(jì)數(shù)，實(shí)現(xiàn)對(duì)果園柑橘產(chǎn)量的預(yù)估，果實(shí)識(shí)別準(zhǔn)確率達(dá)94.01%。趙博杰［11］利用Mask特征矩陣對(duì)茶葉的嫩芽與老葉進(jìn)行判別，通過(guò)改進(jìn)RANSAC算法，得到所識(shí)別芽葉的三維空間坐標(biāo)，實(shí)現(xiàn)對(duì)茶葉嫩芽的自動(dòng)分割、識(shí)別與定位。然而，以上采用傳統(tǒng)圖像處理方法的作物識(shí)別檢測(cè)，需對(duì)目標(biāo)特征進(jìn)行人工選取與分析，魯棒性較差、步驟較煩瑣、優(yōu)化較為困難，在識(shí)別準(zhǔn)確率方面依然有較大提升空間。而深度學(xué)習(xí)算法對(duì)圖像特征具有極強(qiáng)的表達(dá)能力，能通過(guò)數(shù)據(jù)本身特點(diǎn)來(lái)驅(qū)動(dòng)特征進(jìn)行自我學(xué)習(xí)，其魯棒性更好［12］。

因此，本文在原有UNet模型基礎(chǔ)上改進(jìn)并提出一種基于RGE—UNet模型的甘蔗蔗梢識(shí)別方法，通過(guò)改變亮度、加入椒鹽噪聲及平滑處理對(duì)所拍攝到的成熟期甘蔗圖像進(jìn)行擴(kuò)充。利用輕量化改進(jìn)后的UNet模型對(duì)甘蔗圖像進(jìn)行分割，將分割后圖像進(jìn)行輪廓篩選并提取蔗梢區(qū)域的像素坐標(biāo)，通過(guò)試驗(yàn)與原UNet模型及R50—UNet模型作對(duì)比，分析3種模型的優(yōu)缺點(diǎn)。

1 材料與方法

1.1 數(shù)據(jù)集來(lái)源

甘蔗圖像的采集是蔗梢視覺(jué)識(shí)別的一個(gè)重要環(huán)節(jié)，其目的是將現(xiàn)實(shí)存在的目標(biāo)物體轉(zhuǎn)化為圖像信息，再通過(guò)信號(hào)處理轉(zhuǎn)換成PC計(jì)算機(jī)能夠接收識(shí)別的數(shù)據(jù)。采用順華利的SHL-500W相機(jī)進(jìn)行圖像采集工作，鏡頭采用與其配套的8mm定焦鏡頭。試驗(yàn)所用計(jì)算機(jī)為L(zhǎng)egion Y7000筆記本，運(yùn)行內(nèi)存為16G，采用Intel（R） i7-10750H處理器，GTX1650顯卡，基于Windows10的64位操作系統(tǒng)。

試驗(yàn)照片拍攝于廣西柳州鹿寨縣甘蔗農(nóng)場(chǎng)，采集對(duì)象為田間成熟甘蔗。針對(duì)不同天氣對(duì)試驗(yàn)圖像的影響，在晴天、陰天兩種情況下各采集60張圖片，拍攝工作均在14：00后進(jìn)行，所獲圖像分辨率均為800像素×600像素。

1.2 數(shù)據(jù)集處理

1.2.1 數(shù)據(jù)增強(qiáng)

將采集到的120張甘蔗圖像采用亮度、椒鹽噪聲及平滑處理等方式進(jìn)行數(shù)據(jù)擴(kuò)充，擴(kuò)充后的圖像樣例如圖1所示。變亮和變暗是為了模擬自然環(huán)境中光照強(qiáng)度的變化，椒鹽噪聲的添加是模擬拍攝過(guò)程中脈沖信號(hào)的干擾，而平滑處理則是模擬甘蔗收割機(jī)因抖動(dòng)拍攝產(chǎn)生的模糊，最終擴(kuò)充后的數(shù)據(jù)集總計(jì)600張圖片，同時(shí)將數(shù)據(jù)集按照8∶1∶1的比例隨機(jī)劃分成訓(xùn)練集、驗(yàn)證集與測(cè)試集，其中訓(xùn)練集為480張，驗(yàn)證集為60張，測(cè)試集為60張。

1.2.2 圖像標(biāo)注

為實(shí)現(xiàn)甘蔗圖像在語(yǔ)義分割模型中的像素級(jí)分類(lèi)，使用Labelme軟件對(duì)甘蔗莖稈區(qū)域的邊緣輪廓進(jìn)行標(biāo)注，在標(biāo)注過(guò)程中，將圖像中所有的標(biāo)注信息均保存到與原圖對(duì)應(yīng)的json文件中［13］。同時(shí)使用單通道圖的語(yǔ)義分割標(biāo)簽圖，即將手動(dòng)標(biāo)注的標(biāo)簽圖信息，采用單通道像素值的方式保存下來(lái)，最終得到模型所需要的數(shù)據(jù)訓(xùn)練集。如圖2所示，莖稈區(qū)域?yàn)榍嗨{(lán)色，蔗梢、天空等背景為白色。

1.3 模型評(píng)價(jià)指標(biāo)

語(yǔ)義分割模型輸出分割圖的分割精度常采用平均交并比、交并比、平均像素精度作為評(píng)價(jià)指標(biāo)。此外，為評(píng)估模型運(yùn)行速度，增加了模型處理視頻圖像的速度指標(biāo)。

1） 交并比。交并比IoU指標(biāo)是語(yǔ)義分割的標(biāo)注度量，能精確地表現(xiàn)出兩個(gè)像素點(diǎn)集合的交集與并集的占比情況［14］。平均交并比MIoU是對(duì)每個(gè)類(lèi)別的交并比進(jìn)行加權(quán)平均。IoU和MIoU計(jì)算如式（1）、式（2）所示。

IoU=∑ki=0Pii∑kj=0Pij+∑kj=0Pji-Pii×100%

（1）

MIoU=1k+1∑kj=0Pii∑kj=0Pij+∑kj=0Pji-Pii×100%

（2）

式中： k——類(lèi)別數(shù)；

Pii——

預(yù)測(cè)正確的像素個(gè)數(shù)，即屬于i類(lèi)預(yù)測(cè)為i類(lèi)；

Pji——

預(yù)測(cè)正確的像素個(gè)數(shù)，即屬于j類(lèi)預(yù)測(cè)為i類(lèi)；

Pij——

預(yù)測(cè)正確的像素個(gè)數(shù)，即屬于i類(lèi)預(yù)測(cè)為j類(lèi)。

2） 類(lèi)別像素準(zhǔn)確率。像素準(zhǔn)確率PA表示預(yù)測(cè)正確的像素個(gè)數(shù)占總體像素個(gè)數(shù)的比例。類(lèi)別平均像素準(zhǔn)確率mPA是單個(gè)類(lèi)別預(yù)測(cè)正確的像素個(gè)數(shù)占該類(lèi)別所有像素個(gè)數(shù)比例［15］。

PA=∑ki=0Pii

∑ki=0∑kj=0Pij×100%

（3）

mPA=1k+1∑ki=0Pii∑ki=0∑kj=0Pij×100%

（4）

類(lèi)別平均像素準(zhǔn)確率與平均交并比廣泛應(yīng)用于語(yǔ)義分割模型的評(píng)估之中，二者指標(biāo)值均介于0～1，指標(biāo)值越接近于1，說(shuō)明語(yǔ)義分割模型的分割效果越好。

1.4 試驗(yàn)平臺(tái)

試驗(yàn)選用的硬件配置為Intel（R） Core（TM） i7-10750H CPU，GTX1650 GPU，CUDA 10.2。運(yùn)用Python 3.8.5語(yǔ)言進(jìn)行編程，選用Anaconda作為環(huán)境管理軟件，基于Pytorch 1.10.0框架搭建語(yǔ)義分割模型。

2 基于RGE—UNet的蔗梢識(shí)別模型

2.1 UNet網(wǎng)絡(luò)模型介紹

當(dāng)所屬樣本數(shù)據(jù)集較少，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，易造成過(guò)擬合、分割效果不佳等現(xiàn)象。為此，選擇UNet語(yǔ)義分割模型對(duì)甘蔗圖像進(jìn)行處理。該網(wǎng)絡(luò)模型能夠使用較少的數(shù)據(jù)進(jìn)行端對(duì)端的訓(xùn)練，運(yùn)行速度快、在復(fù)雜場(chǎng)景下具有更好的魯棒性。UNet結(jié)構(gòu)如圖3所示。

UNet網(wǎng)絡(luò)由編碼、跳躍連接、解碼3部分構(gòu)成。編碼過(guò)程包含4次下采樣操作，在數(shù)次下采樣過(guò)程中降低輸入圖像分辨率，獲取圖像局部特征，并做分類(lèi)，得到抽象語(yǔ)義特征。整個(gè)下采樣過(guò)程由4個(gè)模塊構(gòu)成，每個(gè)模塊在進(jìn)行下采樣前有兩次3×3卷積操作，每次卷積操作后使用ReLU進(jìn)行激活，再通過(guò)最大池化縮小特征圖尺寸［16］。每個(gè)模塊下采樣后，特征圖的通道數(shù)量增加1倍，經(jīng)上述4次操作后得到大小為1024的特征圖。解碼部分包含4次上采樣操作，在數(shù)次上采樣過(guò)程中恢復(fù)到原分辨率，采用步長(zhǎng)為2的反卷積擴(kuò)大特征圖，后續(xù)操作同特征下采樣階段。在上采樣操作開(kāi)始前，將跳躍連接引入編碼與解碼之間，并將兩側(cè)對(duì)應(yīng)特征圖進(jìn)行合并，最后輸出分割結(jié)果。

2.2 R50—UNet網(wǎng)絡(luò)模型的構(gòu)建

由于UNet模型存在圖像特征提取信息不足，深層網(wǎng)絡(luò)訓(xùn)練易導(dǎo)致梯度消失、梯度爆炸、模型參數(shù)量太大等缺陷。對(duì)UNet的編碼器部分（主干網(wǎng)絡(luò)）及上采樣卷積部分進(jìn)行改進(jìn)，利用ResNet網(wǎng)絡(luò)結(jié)構(gòu)替換UNet模型主干網(wǎng)絡(luò)部分，極大地提高深度學(xué)習(xí)模型的傳輸效率，增加網(wǎng)絡(luò)層次，簡(jiǎn)化模型訓(xùn)練過(guò)程。

ResNet網(wǎng)絡(luò)能夠有效提高深度學(xué)習(xí)模型的傳輸效率，增加網(wǎng)絡(luò)層次，簡(jiǎn)化模型訓(xùn)練過(guò)程，主要包含有18層、34層、50層與101層等不同層級(jí)［16］。18層與34層ResNet網(wǎng)絡(luò)采用Basic模塊，50層及以上ResNet網(wǎng)絡(luò)采用Bottleneck模塊，Bottleneck模塊由Basic模塊改進(jìn)而來(lái)。通過(guò)在ResNet50網(wǎng)絡(luò)中添加殘差塊，能夠?qū)崿F(xiàn)輸入和輸出的直接相加，從而緩解梯度消失和過(guò)擬合的問(wèn)題，提高模型網(wǎng)絡(luò)的性能和泛化能力。其數(shù)學(xué)模型如式（5）所示。

y=F（x）+x

（5）

式中： x——?dú)埐顗K的輸入；

y——?dú)埐顗K的輸出；

F（x）——

殘差塊內(nèi)部的卷積層和激活函數(shù)的組合。

在反向傳播過(guò)程中，殘差塊可以傳遞如式（6）所示的梯度。

對(duì)現(xiàn)有甘蔗圖像數(shù)據(jù)來(lái)說(shuō)，50層以上的ResNet網(wǎng)絡(luò)過(guò)深，會(huì)產(chǎn)生一定程度的過(guò)擬合現(xiàn)象。為得到輸入圖像更深層的語(yǔ)義信息，方便更好地分割目標(biāo)，選用具有50層的ResNet50網(wǎng)絡(luò)作為UNet模型的編碼部分，其結(jié)構(gòu)如圖4所示。

2.3 RGE—UNet網(wǎng)絡(luò)模型的構(gòu)建

所構(gòu)建的R50—UNet網(wǎng)絡(luò)模型的采樣模塊與UNet編碼部分相對(duì)應(yīng)，為適應(yīng)UNet語(yǔ)義分割網(wǎng)絡(luò)需求，在融合ResNet50網(wǎng)絡(luò)模型的基礎(chǔ)上，去除ResNet分類(lèi)網(wǎng)絡(luò)的全連接輸出，在模型中加入SE注意力機(jī)制，同時(shí)用Ghost模塊替換上采樣中原有的卷積模塊，將改進(jìn)后的網(wǎng)絡(luò)模型命名為RGE—UNet模型，網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

SE注意力機(jī)制是一種經(jīng)典有效的輕量級(jí)模塊，能夠在眾多的輸入信息中聚焦當(dāng)前任務(wù)更為關(guān)鍵的信息，減少甚至過(guò)濾對(duì)任務(wù)無(wú)關(guān)信息的關(guān)注度，解決輸入信息過(guò)載的問(wèn)題［17］，同時(shí)提高圖像分割、圖像識(shí)別等相關(guān)任務(wù)的效率與準(zhǔn)確性。Ghost模塊是一種模型壓縮的方法，能夠用較少的網(wǎng)絡(luò)參數(shù)生成比原網(wǎng)絡(luò)更多的特征圖，在確保模型精度的同時(shí)，減少模型參數(shù)與計(jì)算量，從而提升計(jì)算速度，降低延時(shí)。

相比于原始模型，采用ResNet50網(wǎng)絡(luò)作為編碼部分能夠加速UNet模型的收斂，防止訓(xùn)練過(guò)程中產(chǎn)生的梯度爆炸、梯度消失等問(wèn)題。解碼器階段保留原有的解碼器結(jié)構(gòu)，采用Ghost輕量模塊進(jìn)行卷積，能減少模型的參數(shù)量和浮點(diǎn)數(shù)計(jì)算量。同時(shí)，在模型的編碼器與跳轉(zhuǎn)連接處添加注意力機(jī)制，確保模型能夠在該位置更好地捕捉細(xì)節(jié)信息，輔助網(wǎng)絡(luò)處理及傳送有效特征，抑制無(wú)效特征的傳輸，自適應(yīng)選擇合適的特征。每次上采樣后通過(guò)兩次Ghost卷積操作調(diào)整特征圖通道數(shù)量，確保與下采樣特征圖拼接合并操作。

2.4 基于遷移學(xué)習(xí)的模型訓(xùn)練過(guò)程

由于UNet模型的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，模型的訓(xùn)練執(zhí)行時(shí)間較長(zhǎng)。為提高RGE—UNet模型的特征提取能力、加快模型訓(xùn)練速度，對(duì)ResNet50構(gòu)成的主干網(wǎng)絡(luò)部分進(jìn)行遷移學(xué)習(xí)，同時(shí)結(jié)合ImageNet圖像分割任務(wù)中的預(yù)訓(xùn)練權(quán)重對(duì)甘蔗圖像進(jìn)行訓(xùn)練。圖6為結(jié)合遷移學(xué)習(xí)的RGE—UNet模型的訓(xùn)練過(guò)程。

2.5 蔗梢分割路徑識(shí)別

2.5.1 莖稈區(qū)域邊緣的獲取

為獲取甘蔗蔗梢區(qū)域分割路線，采用邊緣檢測(cè)排除非目標(biāo)區(qū)域。選用邊緣檢測(cè)算法中的Sobel算子和Canny算子對(duì)分割后的甘蔗圖像分別進(jìn)行邊緣檢測(cè)對(duì)比。Sobel算子是利用像素點(diǎn)上下及左右鄰點(diǎn)灰度的加權(quán)差［18］，通過(guò)像素值發(fā)生明顯變化來(lái)提供較為準(zhǔn)確的圖像邊緣信息，其檢測(cè)圖像如圖7（b）所示。Canny算子具有定位準(zhǔn)確、抗干擾能力強(qiáng)等優(yōu)點(diǎn)。在甘蔗圖像中，首先，該算子利用高斯濾波針對(duì)甘蔗圖像存在的噪聲進(jìn)行降噪處理；其次，計(jì)算圖像的一階梯度函數(shù)，并運(yùn)用非極大值抑制的思想去除非邊緣點(diǎn)；最后，使用雙閾值對(duì)圖像進(jìn)行分割［19］，并將剩余的進(jìn)行連接，檢測(cè)圖像如圖7（c）所示。可以看出，采用Canny算子獲得的蔗梢分割區(qū)域邊緣輪廓效果要優(yōu)于Sobel算子，因此，選擇Canny算子作為蔗梢分割區(qū)域的邊緣檢測(cè)算法。

2.5.2 蔗梢分割路徑坐標(biāo)提取

1） 水平垂直投影處理。由Canny算子邊緣檢測(cè)，可得到甘蔗蔗梢分割區(qū)域的路徑輪廓，但是圖中兩側(cè)還存在一些細(xì)小輪廓，為確保后續(xù)蔗梢分割點(diǎn)的提取，利用垂直投影方式獲取圖像的垂直分割，并畫(huà)出y軸方向投影圖［20］。如圖8（a）所示，篩選出y軸像素較少的部分，通過(guò)CopyMakeBorder函數(shù)將圖像的邊緣即像素較少部分進(jìn)行填充（該函數(shù)可以在圖像邊緣周?chē)砑右粋€(gè)像素寬度的邊框，也可以在邊緣周?chē)砑右粋€(gè)特定的像素值邊框）。如圖8（b）所示，兩側(cè)及周?chē)募?xì)小輪廓已被填充，使得圖像中僅存在蔗梢分割區(qū)域的外形輪廓，最終的蔗梢分割路線如圖8（c）所示。

2） 坐標(biāo)提取。通過(guò)遍歷篩選輪廓后甘蔗圖像的所有像素點(diǎn)來(lái)提取分割路線的所有像素點(diǎn)，將圖像置于二維坐標(biāo)圖中，根據(jù)像素坐標(biāo)原理，圖像的左上角作為二維坐標(biāo)原點(diǎn)，圖像的高為Y軸，寬為X軸，如圖9所示。

所提取的輪廓像素點(diǎn)坐標(biāo)為（xi，yi），輪廓像素點(diǎn)的數(shù)量越多，表示分割路徑精度越高，表1為分割路線中5個(gè)不同部位像素點(diǎn)的坐標(biāo)。

3 試驗(yàn)對(duì)比與結(jié)果分析

通過(guò)蔗梢分割和路徑識(shí)別試驗(yàn)，驗(yàn)證提出的蔗梢識(shí)別方法在甘蔗數(shù)據(jù)集中的準(zhǔn)確性和有效性，再結(jié)合3個(gè)模型的試驗(yàn)對(duì)比結(jié)果來(lái)體現(xiàn)RGE—UNet模型的優(yōu)越性。

3.1 模型訓(xùn)練

為了加快模型訓(xùn)練速度，訓(xùn)練主要分為兩個(gè)階段。一是凍結(jié)訓(xùn)練階段，即特征提取網(wǎng)絡(luò)部分不參與訓(xùn)練，對(duì)模型的其余部分進(jìn)行訓(xùn)練，此階段訓(xùn)練周期相對(duì)較短，設(shè)置為50，學(xué)習(xí)率初始值設(shè)置為0.0005，由于試驗(yàn)條件限制，Batch_size設(shè)置為2。二是解凍訓(xùn)練階段，特征提取網(wǎng)絡(luò)部分參與到訓(xùn)練中，由于特征提取部分參數(shù)量大，需要的訓(xùn)練周期較長(zhǎng)。因此，將訓(xùn)練周期設(shè)置為200，Batch_size設(shè)置2，學(xué)習(xí)率初始值設(shè)置為0.00005，損失函數(shù)為Focal Loss函數(shù)。為縮短模型訓(xùn)練時(shí)長(zhǎng)，加快模型收斂速度，使用Adam進(jìn)行算法優(yōu)化。

將各模型放置在同等條件下進(jìn)行訓(xùn)練，并記錄其每次迭代過(guò)程中的損失值，損失曲線如圖10所示。

由圖10可知，在前50個(gè)周期內(nèi)模型進(jìn)行凍結(jié)訓(xùn)練，此時(shí)模型損失值下降至某一值后趨于穩(wěn)定。在50個(gè)周期之后進(jìn)行解凍訓(xùn)練，特征提取網(wǎng)絡(luò)加入訓(xùn)練中調(diào)整網(wǎng)絡(luò)參數(shù)，此時(shí)損失值繼續(xù)降低最終趨于穩(wěn)定。由于R50—UNet的主干網(wǎng)絡(luò)深度比UNet深，因此，收斂速度比UNet慢，訓(xùn)練結(jié)束時(shí)間更長(zhǎng)。而RGE—UNet采用了Ghost卷積，其收斂速度比另外兩個(gè)模型更快，訓(xùn)練結(jié)束時(shí)間更短。RGE—UNet損失函數(shù)曲線最終穩(wěn)定值比UNet與R50—UNet損失函數(shù)曲線穩(wěn)定值小，說(shuō)明該模型預(yù)測(cè)值與真實(shí)值誤差最小，訓(xùn)練效果較好。

3.2 模型性能驗(yàn)證

為驗(yàn)證RGE—UNet模型對(duì)甘蔗圖像的分割效果，分別對(duì)UNet分割模型及采用ResNet50作為主干網(wǎng)絡(luò)的R50—UNet模型進(jìn)行訓(xùn)練和模型性能評(píng)估。將收斂后的UNet、R50—UNet及RGE—UNet分別在驗(yàn)證集上測(cè)試，圖11為甘蔗圖像的分割結(jié)果。由圖11可知，相比于標(biāo)準(zhǔn)UNet模型，ResNet50作為主干網(wǎng)絡(luò)的R50—UNet模型在特征提取方面效果明顯更好，而RGE—UNet更加適應(yīng)甘蔗莖稈的顏色及外部特征，同時(shí)加入的SE注意力機(jī)制減少了蔗梢邊緣特征的丟失，能夠捕捉到莖稈與蔗梢的細(xì)微區(qū)別。

3.3 模型識(shí)別結(jié)果分析

UNet、R50—UNet、RGE—UNet 3個(gè)模型在測(cè)試樣本上的分割表現(xiàn)結(jié)果如表2所示。

UNet模型的像素準(zhǔn)確率與交并比的平均值分別為92.17%、92.85%。主干網(wǎng)絡(luò)替換后，與UNet相比，R50—UNet平均像素準(zhǔn)確率提高2.61%，平均交并比提升0.77%，與RGE—UNet模型基本持平，這說(shuō)明UNet模型在主干網(wǎng)絡(luò)替換后提升分割性能。從單張圖片分割時(shí)間與模型大小來(lái)看，R50—UNet網(wǎng)絡(luò)參數(shù)更多，網(wǎng)絡(luò)層級(jí)更深，其分割速度慢于UNet及RGE—UNet。而由于Ghost卷積模塊的替換，RGE—UNet模型的分割速度與其余兩個(gè)模型相比，分別提高13.9%、18.4%，且RGE—UNet的參數(shù)量更少，分割效果在一定程度上優(yōu)于以上兩個(gè)模型，因而更符合蔗梢區(qū)域分割的實(shí)際需求。

4 結(jié)論

1） 為實(shí)現(xiàn)甘蔗收獲機(jī)對(duì)蔗梢的準(zhǔn)確切割，針對(duì)蔗梢圖像分割算法準(zhǔn)確度不高等問(wèn)題，在原有UNet模型基礎(chǔ)上，通過(guò)優(yōu)化改進(jìn)提出一種基于RGE—UNet模型的蔗梢區(qū)域分割方法。

2） 闡述UNet、R50—UNet、RGE—UNet的網(wǎng)絡(luò)結(jié)構(gòu)，并結(jié)合遷移學(xué)習(xí)對(duì)RGE—UNet模型進(jìn)行訓(xùn)練，將訓(xùn)練完成后的模型進(jìn)一步處理，通過(guò)邊緣檢測(cè)、水平垂直投影方法獲取蔗梢分割路徑，遍歷輪廓像素點(diǎn)并打印蔗梢路徑像素坐標(biāo)。

3） 通過(guò)UNet、R50—UNet、RGE—UNet 3個(gè)模型的對(duì)比試驗(yàn)可知，RGE—UNet模型在甘蔗分割數(shù)據(jù)集上的分割效果最佳，能準(zhǔn)確分割出蔗梢區(qū)域并且平均交并比可達(dá)93.52%，平均像素準(zhǔn)確率為94.98%，單張圖片分割時(shí)間為0.31s。與其余兩個(gè)模型相比，RGE—UNet模型的分割速度分別提高13.9%、18.4%，且RGE—UNet的參數(shù)量更少。表明該模型具有更好的識(shí)別效果，對(duì)實(shí)現(xiàn)甘蔗收割的自動(dòng)化具有較強(qiáng)的現(xiàn)實(shí)意義。

參 考 文 獻(xiàn)

［1］ 肖威， 陸靜平. 甘蔗機(jī)械化收獲技術(shù)現(xiàn)狀分析［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（2）： 50-59， 142.

Xiao Wei， Lu Jingping. Analysis of sugarcane mechanized harvesting technology ［J］. Journal of Chinese Agricultural Mechanization， 2022，43 （2）： 50-59， 142.

［2］ 羅菊川， 區(qū)穎剛， 劉慶庭， 等. 整稈式甘蔗聯(lián)合收獲機(jī)斷蔗尾機(jī)構(gòu)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2013， 44（4）： 89-94， 107.

Luo Juchuan， Qu Yinggang， Liu Qingting， et al. Tail-breaking mechanism of whole stalk sugarcane combine harvester ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2013， 44（4）： 89-94， 107.

［3］ Xie L， Wang J， Cheng S， et al. Optimisation and dynamic simulation of a conveying and top breaking system for whole-stalk sugarcane harvesters ［J］. Biosystems Engineering， 2020， 197： 156-169.

［4］ 謝盧鑫， 王俊， 程紹明， 等. 甘蔗收獲機(jī)剝?nèi)~斷尾系統(tǒng)的設(shè)計(jì)與轉(zhuǎn)速優(yōu)化［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2016， 32（6）： 50-57.

Xie Luxin， Wang Jun， Cheng Shaoming， et al. Design and speed optimization of leaf-crushing and tail-breaking system of sugarcane harvester ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（6）： 50-57.

［5］ 沈中華， 李尚平， 麻芳蘭， 等. 小型甘蔗收獲機(jī)喂入能力仿真與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2014， 45（11）： 117-123.

Shen Zhonghua， Li Shangping， Ma Fanglan， et al. Simulation and experiment on feed ability of small sugarcane harvester ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2014， 45 （11）： 117-123.

［6］ 麻芳蘭， 蔣紅梅， 李尚平， 等. 整稈式甘蔗收獲機(jī)剝?nèi)~斷尾機(jī)構(gòu)設(shè)計(jì)與試驗(yàn)［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（6）： 73-78，7.

Ma Fanglan， Jiang Hongmei， Li Shangping， et al. Design and experiment on cleaning leaves and breaking tails mechanism of whole stalk sugarcane harvester ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（6）： 73-78， 7.

［7］ 楊濤， 李曉曉. 機(jī)器視覺(jué)技術(shù)在現(xiàn)代農(nóng)業(yè)生產(chǎn)中的研究進(jìn)展［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（3）： 171-181.

Yang Tao， Li Xiaoxiao. Research progress of machine vision technology in modern agricultural production ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 171-181.

［8］ Liu G X， Mao S Y， Kim J H. A mature-tomato detection algorithm using machine learning and color analysis ［J］. Sensors， 2019， 19（9）： 2023.

［9］ Kadir M F A， Yusri N A N， Rizon M， et al. Automatic mango detection using texture analysis and randomised hough transform ［J］. Applied Mathematical Sciences， 2015， 9（129）： 6427-6436.

［10］ 張小花， 馬瑞峻， 吳卓葵， 等. 基于機(jī)器視覺(jué)的果園成熟柑橘快速識(shí)別及產(chǎn)量預(yù)估研究［J］. 廣東農(nóng)業(yè)科學(xué)， 2019， 46（7）： 156-161.

Zhang Xiaohua， Ma Ruijun， Wu Zhuokui， et al. Fast detection and yield estimation of ripe citrus fruit based on machine vision ［J］. Guangdong Agricultural Sciences， 2019， 46（7）： 156-161.

［11］ 趙博杰. 基于機(jī)器視覺(jué)的茶葉嫩芽識(shí)別關(guān)鍵技術(shù)研究［D］. 鞍山：遼寧科技大學(xué)， 2020.

Zhao Bojie. Tea bud segmentation and recognition based on machine vision ［D］. Anshan： University of Science and Technology Liaoning， 2020.

［12］ 韓振浩， 李佳， 苑嚴(yán)偉， 等. 基于U—Net網(wǎng)絡(luò)的果園視覺(jué)導(dǎo)航路徑識(shí)別方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2021， 52（1）： 30-39.

Han Zhenhao， Li Jia， Yuan Yanwei， et al. Path recognition of orchard visual navigation based on U—Net ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（1）： 30-39.

［13］ 張佳彬. 基于深度學(xué)習(xí)的頭足類(lèi)動(dòng)物角質(zhì)顎色素沉積量化方法研究［D］. 上海： 上海海洋大學(xué)， 2022.

Zhang Jiabin. A quantitative method of pigmentation in beak of cephalopods based on deep learning ［D］. Shanghai： Shanghai Ocean University， 2022.

［14］ 朱成宇. 基于輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的水稻病害識(shí)別［D］. 南寧： 廣西大學(xué)， 2022.

Zhu Chengyu. Rice disease identification based on lightweight convolutional neural network ［D］. Nanning： Guangxi University， 2022.

［15］ 馬冬梅， 楊彩鋒， 李鵬輝. 多尺度特征融合的圖像語(yǔ)義分割［J］. 西北師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 56（1）： 44-50.

Ma Dongmei， Yang Caifeng， Li Penghui. Image semantic segmentation based on multiscale feature fusion ［J］. Journal of Northwest Normal University （Natural Science）， 2020， 56 （1）： 44-50.

［16］ 胡明玉. 基于深度學(xué)習(xí)的蘋(píng)果樹(shù)芽體圖像識(shí)別方法研究［D］. 北京： 中國(guó)農(nóng)業(yè)科學(xué)院， 2021.

Hu Mingyu. Research on apple tree bud image recognition method based on deep learning ［D］. Beijing： Chinese Academy of Agricultural Sciences， 2021.

［17］ 鐘志峰， 何佳偉， 侯瑞潔， 等. 改進(jìn)UNet的輕量化道路圖像語(yǔ)義分割算法［J］. 現(xiàn)代電子技術(shù)， 2022， 45（19）： 71-76.

Zhong Zhifeng， He Jiawei， Hou Ruijie， et al. Lightweight road image semantic segmentation algorithm based on improved UNet ［J］. Modern Electronics Technique， 2022， 45 （19）： 71-76.

［18］ 徐旭， 陳曦. 基于FPGA的sobel邊緣檢測(cè)算法的實(shí)現(xiàn)［J］. 電子測(cè)試， 2022， 36（23）： 63-65.

Xu Xu， Chen Xi. Implementation of sobel edge detection algorithm based on FPGA ［J］. Electronic Test， 2022， 36 （23）： 63-65.

［19］ 王嘉豪. 基于機(jī)器視覺(jué)的鋁車(chē)身缺陷特征在線檢測(cè)技術(shù)研究［D］. 天津： 天津理工大學(xué)， 2022.

Wang Jiahao. Research on on-line defect feature detection technology of aluminum body based on machine vision ［D］. Tianjin： Tianjin University of Technology， 2022.

［20］ 劉博一. 基于雙目立體視覺(jué)的焊縫定位方法研究［D］. 哈爾濱： 哈爾濱工業(yè)大學(xué)， 2018.

Liu Boyi. Research on weld location method based on binocular stereo vision ［D］. Harbin： Harbin Institute of Technology， 2018.