基于深度學(xué)習(xí)的蘋(píng)果點(diǎn)云語(yǔ)義分割方法研究

摘要：點(diǎn)云數(shù)據(jù)可以準(zhǔn)確、直觀地反映蘋(píng)果與樹(shù)枝之間的空間關(guān)系，由于點(diǎn)云數(shù)據(jù)的不規(guī)則性，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不適用于點(diǎn)云數(shù)據(jù)。因此，提出一種基于改進(jìn)動(dòng)態(tài)圖卷積的蘋(píng)果點(diǎn)云語(yǔ)義分割方法。基于動(dòng)態(tài)圖卷積DGCNN，采用不同尺度的K最近鄰KNN構(gòu)造各節(jié)點(diǎn)的鄰域關(guān)系；在邊緣卷積EdgeConv中加入鄰居節(jié)點(diǎn)信息，提取更加豐富的局部特征；設(shè)計(jì)基于圖的注意力模塊，給中心點(diǎn)的K個(gè)最近鄰居點(diǎn)分配不同的權(quán)重，相對(duì)于使用最大值池化對(duì)特征進(jìn)行聚合操作，該注意力模塊能更好地聚合鄰接域特征信息；引入通道注意力模塊，給不同特征分配不同的權(quán)重。試驗(yàn)表明，在蘋(píng)果點(diǎn)云數(shù)據(jù)集上，該網(wǎng)絡(luò)有較高的點(diǎn)云分割精度，整體精度OA和平均交并比MIOU分別達(dá)到91.2%和69.2%，相較于DGCNN，OA和MIOU分別提高3.9%、3.6%。

關(guān)鍵詞：蘋(píng)果分類(lèi)；DGCNN；語(yǔ)義分割；邊緣卷積；混合注意力機(jī)制

中圖分類(lèi)號(hào)：S661.1" " " 文獻(xiàn)標(biāo)識(shí)碼：A" " " 文章編號(hào)：2095?5553 （2024） 08?0223?06

Research on apple point cloud semantic segmentation based on deep learning

LiuXing， Gu Jinan， Huang Zedong， Zhang Wenhao， Zhang Wei

（College of Mechanical Engineering， Jiangsu University， Zhenjiang， 212013， China）

Abstract： Point cloud data can accurately and intuitively reflect the spatial relationship between apples and branches. Because of their regularity of point cloud data， traditional convolution neural network is not suitable for point cloud data. Therefore， a semantic segmentation method of apple point cloud based on improved dynamic graph convolution is proposed. Based on Dynamic Graph Convolution Network （DGCNN）， K-Nearest Neighbors （KNN） of different scales are used to construct the neighborhood relationship of each node. Adding neighbor node information in the edge convolution （EdgeConv） is to extract more abundant local features. A graph based attention module is designed to assign different weights to the K nearest neighbor points of the center point. Compared with using maximum pooling to aggregate features， this attention module can better aggregate the feature information of the neighborhood. Channel attention module is introduced to assign different weights to different features. The experimental results show that the network has a higher point cloud segmentation accuracy on the apple point cloud dataset， and the overall accuracy of OA and the average intersection ratio of MIOU reach 91.2% and 69.2%， respectively， OA and MIOU are 3.9% and 3.6% higher， compared with DGCNN.

Keywords： apple classification; DGCNN; semantic segmentation; edge convolution; mixed attention mechanism

0 引言

隨著機(jī)器視覺(jué)技術(shù)的快速發(fā)展，自動(dòng)采摘系統(tǒng)被引入到蘋(píng)果的采摘中。在蘋(píng)果采摘過(guò)程中，蘋(píng)果的定位是關(guān)鍵步驟之一，蘋(píng)果采摘機(jī)器人[1]通過(guò)獲取蘋(píng)果的三維信息實(shí)現(xiàn)蘋(píng)果的定位，包括采摘中心點(diǎn)以及蘋(píng)果半徑[2]，同時(shí)獲取障礙物的三維信息，便于機(jī)器人路徑規(guī)劃，準(zhǔn)確采摘蘋(píng)果。因此，需要將蘋(píng)果點(diǎn)云從背景點(diǎn)云中分割出來(lái)，為后續(xù)蘋(píng)果的定位和采摘做準(zhǔn)備。

由于RGB-D相機(jī)和激光雷達(dá)傳感器等3D設(shè)備的普及，點(diǎn)云數(shù)據(jù)已經(jīng)成為一種十分重要的數(shù)據(jù)類(lèi)型。近年來(lái)，隨著自動(dòng)駕駛、醫(yī)學(xué)成像、遙感、虛擬現(xiàn)實(shí)等技術(shù)的發(fā)展，點(diǎn)云數(shù)據(jù)的處理與分析成為了關(guān)鍵，而點(diǎn)云語(yǔ)義分割是點(diǎn)云數(shù)據(jù)處理與分析的基礎(chǔ)，因此，點(diǎn)云語(yǔ)義分割成為了深度學(xué)習(xí)領(lǐng)域的熱點(diǎn)。Qi等[3]首次提出可以直接應(yīng)用于點(diǎn)云的PointNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)多層感知器從點(diǎn)云提取特征，使用最大值池化解決點(diǎn)云無(wú)序性問(wèn)題，最后使用全連接層輸出分類(lèi)結(jié)果，但該網(wǎng)絡(luò)無(wú)法對(duì)局部特征進(jìn)行有效學(xué)習(xí)，隨后提出了PointNet++網(wǎng)絡(luò)，該網(wǎng)絡(luò)學(xué)習(xí)了點(diǎn)云的全局和局部特征，但只單獨(dú)處理了特征點(diǎn)，忽略了特征點(diǎn)之間的關(guān)系。Wang等[4]提出了動(dòng)態(tài)圖卷積網(wǎng)絡(luò)（DGCNN），DGCNN基于特征點(diǎn)使用K最近鄰（KNN）構(gòu)造了一個(gè)鄰域圖，并使用圖卷積（GCN）[5]來(lái)提取點(diǎn)云的局部特征，但依舊使用最大值池化，丟失了許多信息。這些網(wǎng)絡(luò)大多應(yīng)用在室內(nèi)場(chǎng)景分割，對(duì)于蘋(píng)果采摘這種場(chǎng)景，很少有適用的網(wǎng)絡(luò)。蘋(píng)果采摘場(chǎng)景較為復(fù)雜且邊界較難區(qū)分，因此需要研究緩解場(chǎng)景復(fù)雜性和易區(qū)分邊界的點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)。

基于上述原因，本文提出一個(gè)端到端的簡(jiǎn)單網(wǎng)絡(luò)，用來(lái)對(duì)蘋(píng)果采摘場(chǎng)景中的蘋(píng)果、樹(shù)枝等物體進(jìn)行點(diǎn)云語(yǔ)義分割，該網(wǎng)絡(luò)是DGCNN的改進(jìn)版本，在邊緣卷積EdgeConv中加入鄰居節(jié)點(diǎn)的特征信息，提取更加豐富的局部特征。使用不同尺度的KNN構(gòu)造各中心節(jié)點(diǎn)的鄰域關(guān)系，提取不同尺度的局部特征。設(shè)計(jì)基于圖的注意力模塊，給不同節(jié)點(diǎn)分配權(quán)重，對(duì)加權(quán)特征進(jìn)行聚合。引入通道注意力模塊，給不同特征分配不同的權(quán)重。

1 點(diǎn)云分割方法

三維點(diǎn)云分割方法主要分為傳統(tǒng)的分割方法和基于深度學(xué)習(xí)的分割方法，傳統(tǒng)的分割方法需要根據(jù)實(shí)際點(diǎn)云的特性，設(shè)計(jì)相對(duì)應(yīng)的特征描述子，然后根據(jù)特征描述子實(shí)現(xiàn)點(diǎn)云分割。然而，傳統(tǒng)分割方法只適用于點(diǎn)云數(shù)據(jù)的低層次幾何分割，分割出來(lái)的點(diǎn)云需要進(jìn)行標(biāo)注才能得到語(yǔ)義分割的結(jié)果。如果點(diǎn)云數(shù)據(jù)規(guī)模很大，那么傳統(tǒng)分割方法效率就會(huì)很低。隨著深度學(xué)習(xí)的發(fā)展和GPU性能的提升，研究人員設(shè)計(jì)了適用于大規(guī)模、復(fù)雜場(chǎng)景的點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)模型。現(xiàn)有點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)主要分為三類(lèi)：基于多視圖的卷積神經(jīng)網(wǎng)絡(luò)、基于體素的卷積神經(jīng)網(wǎng)絡(luò)和基于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)模型。

1.1 基于多視圖的卷積神經(jīng)網(wǎng)絡(luò)

由于卷積神經(jīng)網(wǎng)絡(luò)在二維圖像上的成功應(yīng)用，研究者們將三維點(diǎn)云進(jìn)行投影變換，以便學(xué)習(xí)點(diǎn)云特征。Su等[6]提出了多視圖卷積神經(jīng)網(wǎng)絡(luò)（Multi-view CNN，MVCNN），該網(wǎng)絡(luò)使用卷積神經(jīng)網(wǎng)絡(luò)提取點(diǎn)云某一視角的特征，對(duì)特征使用最大池化操作，從而獲得全局特征。但該網(wǎng)絡(luò)無(wú)法有效利用從每個(gè)視角獲得的局部特征，而且，將三維點(diǎn)云投影到二維圖像會(huì)導(dǎo)致空間信息的丟失，導(dǎo)致網(wǎng)絡(luò)精度較低。

1.2 基于體素的卷積神經(jīng)網(wǎng)絡(luò)

由于點(diǎn)云數(shù)據(jù)是不規(guī)則的數(shù)據(jù)，因此二維卷積神經(jīng)網(wǎng)絡(luò)無(wú)法直接應(yīng)用于點(diǎn)云。研究人員將三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)成了體素?cái)?shù)據(jù)，并設(shè)計(jì)出了適用于點(diǎn)云的三維神經(jīng)網(wǎng)絡(luò)。Maturana等[7]提出了具有開(kāi)拓性的VoxNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)將三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為體素?cái)?shù)據(jù)后，使用三維卷積神經(jīng)網(wǎng)絡(luò)提取特征。但將點(diǎn)云數(shù)據(jù)體素化后，會(huì)增大網(wǎng)絡(luò)的計(jì)算量，計(jì)算成本較高。

1.3 基于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)模型

Li等[8]提出了基于卷積的PointCNN網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)提出的X-Transform模塊對(duì)點(diǎn)云中的每個(gè)點(diǎn)的相關(guān)聯(lián)特征賦予權(quán)重并進(jìn)行排序。Thomas等[9]提出了KPConv模型，利用任一點(diǎn)數(shù)的核點(diǎn)，從而使KPConv更靈活。基于圖的DGCNN提出EdgeConv模塊，該模塊通過(guò)多層感知器學(xué)習(xí)點(diǎn)云的全局特征和局部特征，并動(dòng)態(tài)更新通過(guò)KNN構(gòu)造的鄰域圖。

2 研究方法

2.1 邊緣卷積模塊

與二維圖像的處理方式不同，EdgeConv使用KNN將點(diǎn)云構(gòu)造成具有邊和節(jié)點(diǎn)的鄰域圖，邊關(guān)系由鄰域圖中的節(jié)點(diǎn)及其鄰居點(diǎn)構(gòu)成，EdgeConv通過(guò)學(xué)習(xí)邊關(guān)系來(lái)提取局部幾何特征。DGCNN使用有向圖來(lái)表示點(diǎn)云的局部關(guān)系，有向圖G由邊E和節(jié)點(diǎn)V構(gòu)成：[G=（V，E）]，其中[V={1，...，N}]，表示圖結(jié)構(gòu)中的節(jié)點(diǎn)；[E?V×V]，表示圖結(jié)構(gòu)中的邊。構(gòu)造局部鄰域圖G之后，DGCNN通過(guò)EdgeConv提取鄰域圖中的邊緣特征，如圖1所示，邊緣特征可由式（1）計(jì)算。該結(jié)構(gòu)考慮了點(diǎn)云的全局信息和局部鄰域信息。

[eij=hθ（pi，pij-pi）] （1）

式中： pi——中心點(diǎn)；

pij——中心點(diǎn)pi的鄰居節(jié)點(diǎn)；

eij——點(diǎn)pij到中心點(diǎn)pi的有向邊；

[hθ]——一組學(xué)習(xí)參數(shù)[θ]構(gòu)成的非線性激活函數(shù)。

2.2 動(dòng)態(tài)圖特征提取

輸入點(diǎn)云共有N個(gè)點(diǎn)，每個(gè)點(diǎn)由三維坐標(biāo)（x，y，z）組成，特征維度為3，輸入點(diǎn)云可由N×3表示，所構(gòu)造的局部鄰域圖[G=（V，E）]通過(guò)EdgeConv提取點(diǎn)云局部特征，具體過(guò)程如下：首先，每個(gè)點(diǎn)對(duì)由中心點(diǎn)pi及其K個(gè)鄰居點(diǎn)組成，點(diǎn)對(duì)的特征是中心點(diǎn)特征和邊特征的疊加，則點(diǎn)對(duì)的初始特征維度為6，有向邊特征為N×K×6，然后，通過(guò)64個(gè)大小為1×1的卷積核進(jìn)行運(yùn)算得到大小為N×K×64的邊緣特征，最后，邊緣特征在K維度上使用最大池化操作，輸出大小為N×64的特征向量，N×64的特征向量作為下一層新的輸入，EdgeConv會(huì)在每個(gè)網(wǎng)絡(luò)層后進(jìn)行動(dòng)態(tài)更新，重新計(jì)算中心點(diǎn)pi在特征空間中的K個(gè)最近鄰居點(diǎn)，構(gòu)造一個(gè)新的局部鄰域圖，因此，由多個(gè)EdgeConv構(gòu)成的網(wǎng)絡(luò)被稱(chēng)為動(dòng)態(tài)圖卷積網(wǎng)絡(luò)。

2.3 基于DGCNN的改進(jìn)模型

蘋(píng)果點(diǎn)云具有場(chǎng)景復(fù)雜性和邊界難區(qū)分等難題，且蘋(píng)果點(diǎn)云中不同的類(lèi)別具有很大的尺度差異。DGCNN使用的EdgeConv只利用了中心點(diǎn)pi和鄰居節(jié)點(diǎn)pij到中心點(diǎn)pi的有向邊eij來(lái)獲得局部特征，EdgeConv未能充分學(xué)習(xí)鄰居節(jié)點(diǎn)的特征，損失了一部分局部信息。DGCNN通過(guò)單尺度構(gòu)造鄰域圖，鄰域圖中的中心點(diǎn)及其鄰居點(diǎn)極有可能屬于同一類(lèi)，無(wú)法充分學(xué)習(xí)上下文信息。DGCNN給每個(gè)鄰居節(jié)點(diǎn)分配相同的權(quán)重，并使用最大池化操作來(lái)聚合特征，最大池化操作雖然解決了點(diǎn)云的無(wú)序性問(wèn)題，但同時(shí)也導(dǎo)致了信息的丟失。為了獲得更好的局部特征和上下文信息，使網(wǎng)絡(luò)關(guān)注并學(xué)習(xí)更為重要的特征，避免最大值化操作帶來(lái)的信息丟失問(wèn)題，提出了一種基于改進(jìn)DGCNN的點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)。

2.3.1 改進(jìn)EdgeConv

EdgeConv使用KNN構(gòu)造局部鄰域圖，在局部鄰域圖中提取邊緣特征時(shí)的輸入向量不夠豐富，無(wú)法獲得較好的局部特征。在圖結(jié)構(gòu)中，更新中心點(diǎn)pi的特征，通常會(huì)使用中心點(diǎn)pi本身的特征、鄰居節(jié)點(diǎn)pij、中心點(diǎn)pi與鄰居節(jié)點(diǎn)pij之間的邊特征eij以及全局特征U，EdgeConv未充分學(xué)習(xí)鄰居節(jié)點(diǎn)信息，因此，為獲得更加豐富的局部特征，在EdgeConv中加入鄰居節(jié)點(diǎn)信息，稱(chēng)之為N-EdgeConv，N-EdgeConv的邊緣特征可由式（2）進(jìn)行計(jì)算。

[eij=hθ（pi，pij-pi，pij）] （2）

2.3.2 多尺度特征提取

從單尺度構(gòu)造的鄰域圖中提取點(diǎn)云的局部特征，網(wǎng)絡(luò)只能學(xué)習(xí)到該尺度的特征，而且鄰域圖中的點(diǎn)可能屬于同一類(lèi)，為了學(xué)習(xí)點(diǎn)云不同尺度的局部特征和多尺度上下文信息，使用多尺度采樣構(gòu)造不同尺度的鄰域圖，從而獲得不同尺度下點(diǎn)云物體的特征。網(wǎng)絡(luò)利用最遠(yuǎn)點(diǎn)采樣（Farthest Point Sampling，F(xiàn)PS）對(duì)整個(gè)點(diǎn)云進(jìn)行降采樣操作，選取N個(gè)點(diǎn)作為網(wǎng)絡(luò)的輸入，然后使用KNN構(gòu)造三個(gè)不同尺度的鄰域圖，從三個(gè)不同尺度的鄰域圖中提取不同尺度的特征信息，三個(gè)分支同時(shí)進(jìn)行卷積操作，對(duì)不同尺度的局部特征使用非線性變換，然后將三個(gè)分支得到的特征信息進(jìn)行拼接，獲得一個(gè)高維度、信息更豐富的特征張量，最后通過(guò)全連接層提取特征并輸出分類(lèi)結(jié)果。

2.3.3 混合注意力機(jī)制

DGCNN網(wǎng)絡(luò)只利用GCN來(lái)提取點(diǎn)云的全局特征和局部特征，無(wú)法使網(wǎng)絡(luò)關(guān)注并學(xué)習(xí)更為重要的特征。因此，設(shè)計(jì)了基于圖的注意力模塊，該模塊可以給中心點(diǎn)的K個(gè)最近鄰居點(diǎn)分配不同的權(quán)重，同時(shí)引入通道注意力模塊，給不同特征分配不同權(quán)重，將基與圖的注意力模塊與通道注意力模塊結(jié)合，組成基于圖和通道的注意力模塊GACA（Graph And Channel Attention），結(jié)構(gòu)如圖2所示。

輸入為一組局部特征信息Li，形狀為K×D，K是鄰域圖中K個(gè)節(jié)點(diǎn)，D是點(diǎn)云局部特征的維度。首先，將Li作為全連接層的輸入，得到一組注意力激活參數(shù)Ci，形狀為K×D；然后利用Softmax函數(shù)計(jì)算注意力得分Si，將局部特征Li與注意力分?jǐn)?shù)Si相乘得到加權(quán)局部特征；接著沿著K維度對(duì)加權(quán)局部特征進(jìn)行求和，得到形狀為1×D的局部特征Fi。網(wǎng)絡(luò)選取N個(gè)采樣點(diǎn)作為輸入，對(duì)每個(gè)采樣點(diǎn)進(jìn)行上述的圖注意力操作，得到形狀為N×D的局部特征F，對(duì)局部特征F使用全局平均池化進(jìn)行特征壓縮，得到形狀為N×1的特征向量，然后將其送入兩個(gè)全連接層，第一個(gè)全連接層將維度降為原始的1/r（r表示網(wǎng)絡(luò)參數(shù)，r = 8），第二個(gè)全連接層使特征恢復(fù)到原始的維度，然后使用Sigmoid函數(shù)得到權(quán)重Mc，最后將權(quán)重系數(shù)Mc與局部特征F相乘得到新的特征。注意力機(jī)制能夠自動(dòng)計(jì)算輸入特征對(duì)于輸出特征的占比權(quán)重，為了網(wǎng)絡(luò)能提取到更具代表性的點(diǎn)云特征，提高點(diǎn)云語(yǔ)義分割的精度，將GACA模塊添加到改進(jìn)的DGCNN網(wǎng)絡(luò)中，GACA模塊能夠優(yōu)化從N-EdgeConv中提取到的三個(gè)不同尺度的鄰接圖特征，網(wǎng)絡(luò)可以有效學(xué)習(xí)不同尺度的特征信息。

如圖3所示，點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)以包含N個(gè)點(diǎn)的點(diǎn)云數(shù)據(jù)作為輸入，點(diǎn)云中的每個(gè)點(diǎn)的初始特征為x、y、z，使用KNN構(gòu)造三個(gè)不同尺度的鄰域圖，將三個(gè)鄰域圖輸入網(wǎng)絡(luò)，通過(guò)N-EdgeConv模塊和GACA模塊提取點(diǎn)云的局部特征信息，然后將三個(gè)尺度得到的特征進(jìn)行拼接，接著通過(guò)N-EdgeConv模塊、GACA模塊和一個(gè)全連接層將特征提升到1 024維，使用最大池化得到維度為1×1 024的全局特征，將全局特征賦給點(diǎn)云中的每個(gè)點(diǎn)，每個(gè)點(diǎn)的特征由全局特征和局部特征拼接得到，最后通過(guò)全連接層進(jìn)行降維，輸出每個(gè)點(diǎn)標(biāo)簽的分類(lèi)分?jǐn)?shù)。

3 試驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集構(gòu)建

蘋(píng)果數(shù)據(jù)集是獨(dú)立構(gòu)建的點(diǎn)云語(yǔ)義分割數(shù)據(jù)集，點(diǎn)云由Realsense L515深度相機(jī)獲得，用CloudCompare軟件對(duì)拍攝點(diǎn)云進(jìn)行語(yǔ)義標(biāo)注，數(shù)據(jù)集包括6個(gè)區(qū)域和400幅蘋(píng)果點(diǎn)云，每個(gè)區(qū)域都包括5種蘋(píng)果場(chǎng)景，包括蘋(píng)果落果期場(chǎng)景、蘋(píng)果膨大期場(chǎng)景、蘋(píng)果成熟期場(chǎng)景、蘋(píng)果落果期膨大期混合場(chǎng)景和蘋(píng)果膨大期成熟期混合場(chǎng)景。蘋(píng)果點(diǎn)云數(shù)據(jù)集中每個(gè)點(diǎn)都具有語(yǔ)義標(biāo)簽，語(yǔ)義標(biāo)簽分別為蘋(píng)果落果期、蘋(píng)果膨大期、蘋(píng)果成熟期、樹(shù)枝和樹(shù)葉。由于點(diǎn)云數(shù)據(jù)較大，每個(gè)block隨機(jī)采樣2 048個(gè)點(diǎn)作為網(wǎng)絡(luò)輸入，其中每個(gè)點(diǎn)的特征維度為6，包括點(diǎn)的三維坐標(biāo)和顏色特征。將區(qū)域1、區(qū)域2、區(qū)域3、區(qū)域4和區(qū)域5用于網(wǎng)絡(luò)的訓(xùn)練，區(qū)域6作為網(wǎng)絡(luò)的驗(yàn)證。

3.2 硬件配置和網(wǎng)絡(luò)參數(shù)設(shè)置

試驗(yàn)在工作站上進(jìn)行，硬件為Intel Corei7-9700K CPU、NVIDIA GTX 2080Ti GPU、12 GB顯存。軟件環(huán)境為Ubuntu18.04操作系統(tǒng)、Cuda10.1、Cudnn7.6.5、Pytorch1.7.1、Python3.8。

為了和DGCNN進(jìn)行性能比較，本文設(shè)置的參數(shù)與DGCNN相同，batch_size設(shè)置為4，迭代次數(shù)設(shè)置為200，優(yōu)化器使用Adam，學(xué)習(xí)率設(shè)置為0.001，激活函數(shù)選擇ReLU，損失函數(shù)為交叉熵?fù)p失函數(shù)。

3.3 分割結(jié)果及分析

為了驗(yàn)證本文網(wǎng)絡(luò)的有效性和魯棒性，將其用于蘋(píng)果數(shù)據(jù)集上，還將蘋(píng)果數(shù)據(jù)集用于PointNet、PointNet++和DGCNN，分割結(jié)果如表1所示，本文網(wǎng)絡(luò)的整體精度可達(dá)到91.2%，整體精度OA和平均交并比MIOU均高于其他三個(gè)主流網(wǎng)絡(luò)。

將本文網(wǎng)絡(luò)與DGCNN、PointNet++和PointNet進(jìn)行比較，如圖4所示，發(fā)現(xiàn)本文網(wǎng)絡(luò)的分割精度上升得更快。

3.4 采樣點(diǎn)數(shù)和K值的選擇

蘋(píng)果點(diǎn)云包含上萬(wàn)個(gè)點(diǎn)，將所有點(diǎn)都作為網(wǎng)絡(luò)的輸入，會(huì)降低網(wǎng)絡(luò)的效率，網(wǎng)絡(luò)會(huì)采樣點(diǎn)云中的部分點(diǎn)作為網(wǎng)絡(luò)的輸入，為了分析采樣點(diǎn)數(shù)對(duì)網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)分別采樣512、1 024、2 048和4 096個(gè)點(diǎn)，DGCNN和本文網(wǎng)絡(luò)在不同采樣點(diǎn)數(shù)下的整體精度如圖5所示，采樣點(diǎn)數(shù)從512上升到2 048時(shí)，本文網(wǎng)絡(luò)和DGCNN的整體精度達(dá)到了一個(gè)較高的精度，之后隨著采樣點(diǎn)的增多，網(wǎng)絡(luò)性能出現(xiàn)下降趨勢(shì)，因此，針對(duì)蘋(píng)果數(shù)據(jù)集，網(wǎng)絡(luò)采樣點(diǎn)數(shù)設(shè)置為2 048。

網(wǎng)絡(luò)使用KNN構(gòu)造局部圖，本文測(cè)試了不同K值對(duì)本文網(wǎng)絡(luò)和DGCNN整體精度的影響，當(dāng)K值為30時(shí)，DGCNN的整體精度達(dá)到了最高。

因此，本文網(wǎng)絡(luò)基于DGCNN的測(cè)試結(jié)果測(cè)試了不同的K值組合，如圖6所示，當(dāng)K值選擇過(guò)大或過(guò)小時(shí)，網(wǎng)絡(luò)的精度會(huì)大幅下降，其原因是K值過(guò)大或過(guò)小會(huì)破壞局部圖的幾何結(jié)構(gòu)，導(dǎo)致網(wǎng)絡(luò)性能下降，當(dāng)K值選取為20、30、40時(shí)，本文網(wǎng)絡(luò)的分割精度達(dá)到了最高，因此，K值的選擇對(duì)網(wǎng)絡(luò)的性能有著極其重要的影響。

3.5 消融試驗(yàn)

為了分析不同方法對(duì)網(wǎng)絡(luò)性能的影響，在蘋(píng)果數(shù)據(jù)集上進(jìn)行消融試驗(yàn)，試驗(yàn)結(jié)果如表2所示。

該試驗(yàn)研究了N-EdgeConv模塊、多尺度、GACA模塊對(duì)網(wǎng)絡(luò)整體精度和平均交并比的影響，從表2可以看出，使用N-EdgeConv的DGCNN網(wǎng)絡(luò)的OA和MIOU得到了改進(jìn)，OA和MIOU提高到了88.1%、66.2%，相較于EdgeConv，N-EdgeConv可以獲得更加豐富的局部特征信息；使用多尺度的DGCNN分別將OA和MIOU從88.1%、66.2%提高到了89.6%、67.7%，不同尺度的局部圖可以提取不同維度的特征信息，比單一尺度更具優(yōu)勢(shì)；引入GACA模塊，分別將OA和MIOU從89.6%、67.7%提高到了91.2%、69.2%，GACA模塊會(huì)給鄰居點(diǎn)和特征分配不同的權(quán)重，GACA模塊可以優(yōu)化從N-EdgeConv模塊提取到的三個(gè)不同尺度的鄰接域特征。

3.6 分割可視化

從蘋(píng)果數(shù)據(jù)集中選擇3個(gè)測(cè)試樣本來(lái)可視化分割結(jié)果，如圖7所示。

從圖7可以看出，相較于DGCNN，本文網(wǎng)絡(luò)可以得到更加準(zhǔn)確的分割結(jié)果。本文網(wǎng)絡(luò)可以提取更加豐富、更具代表性的局部特征以及多尺度上下文信息，能更好地確定各點(diǎn)云物體的邊界，緩解蘋(píng)果采摘場(chǎng)景復(fù)雜性和邊界難區(qū)分等難題。

4 結(jié)論

1） 提出一種基于改進(jìn)DGCNN網(wǎng)絡(luò)模型的蘋(píng)果點(diǎn)云語(yǔ)義分割方法。首先，利用KNN構(gòu)造不同尺度的鄰域圖；其次，通過(guò)改進(jìn)的EdgeConv模塊提取點(diǎn)云局部特征和全局特征；接著使用混合注意力模塊，使網(wǎng)絡(luò)提取到更具代表性的點(diǎn)云特征；最后，通過(guò)全連接層降維，輸出每個(gè)點(diǎn)的分類(lèi)分?jǐn)?shù)。試驗(yàn)結(jié)果表明，相較于DGCNN，本文方法的整體精度和平均交并比分別提高3.9%、3.6%。

2） 為進(jìn)一步提高本文算法在蘋(píng)果數(shù)據(jù)集上的性能，設(shè)計(jì)兩個(gè)參數(shù)選取試驗(yàn)，分別是采樣點(diǎn)數(shù)的選取和多尺度K值的選取。通過(guò)試驗(yàn)結(jié)果可知，參數(shù)優(yōu)化后的網(wǎng)絡(luò)模型在蘋(píng)果點(diǎn)云分割任務(wù)中表現(xiàn)出較好的性能，整體精度和平均交并比可達(dá)到91.2%、69.2%。

3） 通過(guò)試驗(yàn)對(duì)比分析，改進(jìn)后的DGCNN網(wǎng)絡(luò)能學(xué)習(xí)到更加有效的點(diǎn)云特征，并結(jié)合多尺度上下文信息，可以準(zhǔn)確區(qū)分蘋(píng)果、樹(shù)枝和樹(shù)葉的邊界，緩解蘋(píng)果采摘場(chǎng)景復(fù)雜性問(wèn)題，為后續(xù)蘋(píng)果的定位以及機(jī)械臂路徑規(guī)劃提供基礎(chǔ)。

參 考 文 獻(xiàn)

[ 1 ] 閆彬， 樊攀， 王美茸. 基于改進(jìn)YOLOv5m的采摘機(jī)器人蘋(píng)果采摘方式實(shí)時(shí)識(shí)別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2022， 53（9）： 28-38， 59.

Yan Bin， Fan Pan， Wang Meirong. Real?time apple picking pattern recognition for picking robot based on improved YOLOv5m [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（9）： 28-38， 59

[ 2 ] 趙輝， 李浩， 岳有軍. 基于RGB-D相機(jī)的矮砧蘋(píng)果識(shí)別與定位[J]. 計(jì)算機(jī)工程與設(shè)計(jì)， 2020， 41（8）： 2278-2283.

Zhao Hui， Li Hao， Yue Youjun. Recognition and location of dwarf apple based on RGB-D camera [J]. Computer Engineering and Design， 2020， 41（8）： 2278-2283.

[ 3 ] Qi C R， SuH，Mo K，et al. PointNet： Deep learning on point sets for 3D classification and segmentation [C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 652-660.

[ 4 ] Wang Y， Sun Y， Liu Z， et al. Dynamic graph cnn for learning on point clouds [J]. ACM Transactions on Graphics， 2019， 38（5）： 1-12.

[ 5 ] Petrovi? M， Vukovi? N， Miti? M， et al. Integration of process planning and scheduling using chaotic particle swarm optimization algorithm [J]. Expert Systems with Applications， 2016， 64： 569-588.

[ 6 ] Su H， Maji S， Kalogerakis E， et al. Multi?view convolutional neural networks for 3D shape recognition [C]. Proceedings of the IEEE International Conference on Computer Vision， 2015： 945-953.

[ 7 ] Maturana D， Scherer S. VoxNet： A 3d convolutional neural network for real?time object recognition [C]. 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. IEEE， 2015： 922-928.

[ 8 ] Li Y， Bu R， Sun M， et al. PointCNN： Convolution on X?transformed points [J]. Advances in Neural Information Processing Systems， 2018， 31.

[ 9 ] Thomas H， Qi C R， Deschaud J E， et al. KPConv： Flexible and deformable convolution for point clouds [C]. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6411-6420.