面向局部學(xué)習(xí)的點(diǎn)云分割分類(lèi)網(wǎng)絡(luò)

馮錦梁,王 蕾,溫智成,葉森輝,馬 晗

(東華理工大學(xué),江西 南昌 330013)

1 引 言

在各種3D對(duì)象表示中,點(diǎn)云越來(lái)越受歡迎,成為最基本的3D數(shù)據(jù)表示方法之一。這種流行源于立體匹配算法的發(fā)展和三維傳感器的日益普及,比如激光雷達(dá),它可以產(chǎn)生點(diǎn)云作為原始輸出。高質(zhì)量的點(diǎn)云是連接虛擬世界和現(xiàn)實(shí)世界的橋梁。例如,語(yǔ)義信息可以豐富周?chē)男畔ⅰ｜c(diǎn)云的語(yǔ)義分割、分類(lèi)任務(wù)是計(jì)算機(jī)視覺(jué)[1-3]、智能駕駛[4]、遙感測(cè)繪[5-6]、文物古跡[7-8]等研究的基礎(chǔ)。與圖像不同的是,點(diǎn)云是無(wú)序的、無(wú)結(jié)構(gòu)的,在不同距離上密度分布不均勻,這些特征使得現(xiàn)有深度學(xué)習(xí)在點(diǎn)云語(yǔ)義分割與分類(lèi)方法上比圖像更加困難。現(xiàn)有深度學(xué)習(xí)方法在點(diǎn)云分類(lèi)分割上具有效率低、局部細(xì)節(jié)識(shí)別易混淆等缺點(diǎn)[9]。如何有效地對(duì)三維點(diǎn)云模型進(jìn)行高精度識(shí)別成為一個(gè)亟待解決的問(wèn)題[10]。

2 相關(guān)工作

針對(duì)深度學(xué)習(xí)下的點(diǎn)云分割或分類(lèi),目前存在有幾種方法。它們可以大致分為基于多視圖的方法、基于體素的方法和基于點(diǎn)的方法。

基于多視圖的方法首先使用虛擬相機(jī)捕捉不同位置下多個(gè)視角的圖,然后通過(guò)卷積層與池化層聚合輸出,如多視圖卷積神經(jīng)網(wǎng)絡(luò)(Multi-View CNN,MVCNN)[11],不過(guò)該方法不能動(dòng)態(tài)選擇視圖,導(dǎo)致丟失大量關(guān)鍵的幾何空間信息。后續(xù)針對(duì)MVCNN的不足,Feng等提出組視圖卷積神經(jīng)網(wǎng)絡(luò)(Group-View CNN,GVCNN)[12],該方法將多視圖先按內(nèi)容分組,再投影到指定的2D平面上,然后應(yīng)用2D FCNs(Fully Convolutional Networks)來(lái)識(shí)別3D對(duì)象。不過(guò)這類(lèi)方法沒(méi)有充分利用數(shù)據(jù),因?yàn)樵诙S投影中丟失了第z維的信息,限制了他們?cè)?D場(chǎng)景中分析復(fù)雜3D物體的能力。

基于體素的方法將點(diǎn)云離散在體積3D網(wǎng)格上,使用標(biāo)準(zhǔn)3D FCNs進(jìn)行形狀語(yǔ)義分割。如VoxNet[13]、VoxelNet[14]與將體素簡(jiǎn)化為pillars(即僅在平面中進(jìn)行體素化)的PointPillars[15]等網(wǎng)絡(luò),這類(lèi)方法需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換,由于網(wǎng)格結(jié)構(gòu)的分辨率有限,導(dǎo)致了額外的計(jì)算成本和信息損失。此外,基于體素的方法對(duì)GPU內(nèi)存的要求也很高,因此限制其應(yīng)用于單個(gè)對(duì)象和小場(chǎng)景領(lǐng)域中的發(fā)展。

與上述兩種方法相比,基于點(diǎn)的方法直接將點(diǎn)云作為網(wǎng)絡(luò)的輸入,在各種數(shù)據(jù)集上都表現(xiàn)出了良好的性能。2017年,Charles團(tuán)隊(duì)推出的PointNet[16]網(wǎng)絡(luò)是該方向的第一個(gè)成功嘗試,它采用了一系列多層感知器(mlp)和max-pooling算子解決點(diǎn)云的無(wú)序問(wèn)題以及學(xué)習(xí)全局特征,在3D形狀分類(lèi)和場(chǎng)景分割的場(chǎng)景中取得了巨大成功。但是,PointNet針對(duì)的是孤立點(diǎn)的學(xué)習(xí),忽然了點(diǎn)與點(diǎn)之間的聯(lián)系關(guān)系,因此該網(wǎng)絡(luò)在不同尺度上提取局部信息的能力較弱。針對(duì)PointNet網(wǎng)絡(luò)出現(xiàn)的不足之處,Charles團(tuán)隊(duì)后續(xù)推出了PointNet++[17]網(wǎng)絡(luò),它提出了一個(gè)新穎的Set Abstraction模塊,該模塊對(duì)點(diǎn)云進(jìn)行子采樣,對(duì)鄰域進(jìn)行分組,通過(guò)一組mlp提取局部信息,然后通過(guò)約簡(jiǎn)層(即池化)聚合局部信息,并且PointNet++通過(guò)度量點(diǎn)與點(diǎn)之間空間的距離,能夠利用上下文尺度的增長(zhǎng)學(xué)習(xí)局部特征,使得精度進(jìn)一步提升。Yang等人[18]提出Point Attention Transformers(PATs),該方法通過(guò)其自身的絕對(duì)位置和相對(duì)于其相鄰的相對(duì)位置來(lái)表示每個(gè)點(diǎn),并通過(guò)MLPs學(xué)習(xí)高維特征。然后由集體重新排序注意力模塊(Group Shuffle Attention,GSA)來(lái)捕獲點(diǎn)之間的關(guān)系,使用Gumbel子集采樣層(Gumbel Subset Sampling,GSS)來(lái)學(xué)習(xí)分層特征。Zhao等人[19]基于PointNet++提出的PointWeb網(wǎng)絡(luò),通過(guò)利用學(xué)習(xí)局部鄰域上下文信息與Adaptive Feature Adjustment(AFA)模塊來(lái)自適應(yīng)的調(diào)整特征。Yan等人[20]提出的PointASNL中,利用自適應(yīng)采樣模塊(Adaptive Sampling,AS)來(lái)自適應(yīng)調(diào)整最遠(yuǎn)點(diǎn)采樣算法(Furthest Point Sampling,FPS)所采樣的點(diǎn)的坐標(biāo)和特征,并提出一個(gè)local-non local(L-NL)模塊來(lái)捕捉這些采樣點(diǎn)的局部和遠(yuǎn)距離依賴性,進(jìn)一步減少噪聲對(duì)模型的影響。

本文受到點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)RandLA-Net[21]的啟發(fā),將局部注意力機(jī)制加入基礎(chǔ)框架PointNet++,使得網(wǎng)絡(luò)可以自適應(yīng)地篩選局部信息,關(guān)注更為重要的特征信息。同時(shí)加入增強(qiáng)局部信息模塊,通過(guò)添加局部信息模塊獲取更為豐富的局部信息。兩者通過(guò)增加點(diǎn)云的細(xì)粒度局部特征的學(xué)習(xí)能力,使得網(wǎng)絡(luò)分割與分類(lèi)精度進(jìn)一步提升,本文將這種新型的網(wǎng)絡(luò)命名為Con-PointNet++。

3 本文方法

3.1 基準(zhǔn)模型PointNet++

PointNet++核心思想:在局部的區(qū)域區(qū)域內(nèi),重復(fù)的,迭代性使用PointNet。由于局部區(qū)域具有置換不變性,所以整體也具有局部不變性。PointNet++這個(gè)核心思想主要借鑒了CNN的多層感受野的思想。首先從小的局部區(qū)域捕獲細(xì)粒度的局部結(jié)構(gòu)來(lái)提取局部特征,之后局部特征被分組到更大的單元,通過(guò)迭代得到更為豐富的局部特征,最后獲取到整個(gè)輸入點(diǎn)集的特征。PointNet++包含了分割與分類(lèi)網(wǎng)絡(luò),具體步驟如下:

1)其先通過(guò)sampling與grouping方法在整個(gè)點(diǎn)云的局部采樣并劃一個(gè)范圍,將里面的點(diǎn)作為局部的特征;

2)用PointNet進(jìn)行一次特征的提取;

3)重復(fù)完成上述兩個(gè)步驟,即降采樣操作,使得原本的點(diǎn)集個(gè)數(shù)變得越來(lái)越少,而每個(gè)點(diǎn)都帶有上一層通過(guò)PointNet提取出來(lái)的局部特征,也就是降采樣操作后每個(gè)點(diǎn)包含的信息變多了;

4)分類(lèi)網(wǎng)絡(luò)只需要將PointNet提取出來(lái)的局部特征進(jìn)行最大池化,然后經(jīng)過(guò)全連接層進(jìn)行分類(lèi)即可;而分割網(wǎng)絡(luò)相對(duì)復(fù)雜,需要先使用編碼器主簿提取局部特征,通過(guò)解碼器逐步對(duì)特征進(jìn)行上采樣,并與對(duì)于編碼器輸出的特征進(jìn)行連接,最后使用全連接層對(duì)輸出結(jié)果進(jìn)行預(yù)測(cè)。

3.2 增強(qiáng)模式下的局部特征學(xué)習(xí)

由于3D 點(diǎn)云數(shù)據(jù)規(guī)模龐大,PointNe++ 等系列網(wǎng)絡(luò)模型均將原始輸入點(diǎn)云數(shù)據(jù)劃分成不同子區(qū)域,在對(duì)子區(qū)域中的原始點(diǎn)云采樣后分批次輸入卷積神經(jīng)網(wǎng)絡(luò)CNN中學(xué)習(xí)特征。PointNet++采用最遠(yuǎn)點(diǎn)采樣法(Farthest Point Sampling,FPS)以維持子區(qū)域中點(diǎn)云數(shù)據(jù)的結(jié)構(gòu)。但由于PointNet++基礎(chǔ)框架只考慮點(diǎn)本身的信息,其點(diǎn)領(lǐng)域的信息并沒(méi)有考慮,采樣后不可避免丟失了中心點(diǎn)與其鄰域的鄰接關(guān)系,從而限制了局部幾何特征的充分表達(dá)與網(wǎng)絡(luò)對(duì)其的學(xué)習(xí)能力,從而導(dǎo)致模型的性能下降。

針對(duì)上述不足,本文使用增強(qiáng)局部信息的模塊,在原有PointNet++基礎(chǔ)框架中引入鄰域信息添加模塊,增加局部特征信息量,如圖1所示。

圖1 增強(qiáng)局部信息模塊

首先使用K近鄰搜索算法(KNN)獲取每個(gè)中心點(diǎn)(pi,fi)的相鄰點(diǎn)(pij,fij),公式如下:

pij,fij=KNN(pi,fi)

(1)

然后分別計(jì)算相鄰點(diǎn)坐標(biāo)和對(duì)應(yīng)特征與中心點(diǎn)坐標(biāo)和對(duì)應(yīng)特征的差值,并將兩者結(jié)果在特征維度上進(jìn)行拼接得到增強(qiáng)后的局部特征(faug),公式如下:

faug=concat(pij-pi,fij-fi)

(2)

最后使用MLP學(xué)習(xí)局部特征(Faug),公式如下:

Faug=MLP(faug)

(3)

如上述表達(dá)式所示,MLP為多層感知機(jī),concat為拼接特征方法;pi為中心點(diǎn)坐標(biāo);fi為中心點(diǎn)特征;pi1,pi2…pij為領(lǐng)域點(diǎn)坐標(biāo);fi1,fi2…fij為鄰域點(diǎn)特征。

3.3 局部注意力機(jī)制下的融合池化

現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)通常使用最大/平均池化操作,可以通過(guò)集成鄰域特征以生成全局特征向量,但是該操作很難整合到相鄰點(diǎn)的特征,導(dǎo)致丟失大量特征信息。本文將注意力機(jī)制引入局部特征提取機(jī)制中,同時(shí)為了保持網(wǎng)絡(luò)特征輸出的平移不變性,將注意力機(jī)制下的細(xì)節(jié)特征與最大池化獲取的顯著特征進(jìn)行融合操作,獲取到特征信息更為豐富的局部特征,其結(jié)構(gòu)如圖2所示。

圖2 局部注意力機(jī)制下的融合池化

局部注意力機(jī)制下的融合池化模塊分為2部分,首先對(duì)該局部特征使用注意力機(jī)制自適應(yīng)地學(xué)習(xí)到局部點(diǎn)的權(quán)重(score),表達(dá)式為:

score=Softmax(MLP(fij))

(4)

然后利用公式(3)得到的權(quán)重信息對(duì)局部特征進(jìn)行加權(quán)求和獲得局部注意力池化特征(fatten),表達(dá)式為:

fatten=MLP(Sum(score·fij))

(5)

同時(shí)將點(diǎn)云局部特征進(jìn)行最大池化得到最大池化特征(fmax),表達(dá)式為:

fmax=Max(fij)

(6)

最后將公式(4)得到的局部注意力池化特征與公式(5)得到的最大池化特征進(jìn)行拼接得到融合池化特征(result),既包含了更多有用信息,同時(shí)保證網(wǎng)絡(luò)特征輸出的平移不變性,表達(dá)式為:

result=fatten+fmax

(7)

3.4 Con-pointnet++網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

Con-pointnet++網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,分割網(wǎng)絡(luò)由Encoder層、Decoder層和分類(lèi)器3部分組成;分類(lèi)網(wǎng)絡(luò)由Encoder層和分類(lèi)器組成。

圖3 Con-pointnet++網(wǎng)絡(luò)結(jié)構(gòu)示意圖

(1)Encoder層包括點(diǎn)云數(shù)據(jù)采樣、增強(qiáng)局部信息模塊和融合池化層。數(shù)據(jù)采樣層使用最遠(yuǎn)點(diǎn)采樣法和鄰域點(diǎn)采樣法獲取局部信息,同時(shí)增強(qiáng)局部信息模塊將中心點(diǎn)的鄰域信息考慮進(jìn)來(lái),組成更為豐富的局部信息。最后融合池化模塊分別通過(guò)對(duì)局部特征進(jìn)行最大池化與注意力池化,將二者拼接得到更為豐富的局部特征信息;(2)分割網(wǎng)絡(luò)中Decoder層主要使用插值法來(lái)實(shí)現(xiàn),首先計(jì)算出逆向距離的權(quán)重,得到插值后的點(diǎn)特征,再將該特征與Encoder層輸出的特征進(jìn)行拼接,最后經(jīng)由分類(lèi)器輸出語(yǔ)義分割結(jié)果;在分類(lèi)網(wǎng)絡(luò)中直接使用分類(lèi)器將Encoder層輸出的結(jié)果進(jìn)行分類(lèi)。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 點(diǎn)云分割實(shí)驗(yàn)配置

本文使用室內(nèi)場(chǎng)景數(shù)據(jù)集 S3DIS與ModelNet40數(shù)據(jù)集分別評(píng)估Con-PointNet++的3D點(diǎn)云分割性能和分類(lèi)性能,并在最后一小節(jié)進(jìn)行消融實(shí)驗(yàn),進(jìn)一步驗(yàn)證增強(qiáng)局部信息模塊與注意力機(jī)制下的融合池化模塊對(duì)于Con-PointNet++模型的有效性。實(shí)驗(yàn)環(huán)境配置如下:硬件為顯卡NVIDIA GeForce RTX 3080 10 GB GPU、 處理器Intel(R)Core(TM)i9-9900kCPU @3.60 GHz、內(nèi)存32 GB;軟件為 UBUNTU20.04 LTS+CUDA11.2+Python 3.6,深度學(xué)習(xí)框架為 Pytorch 1.12.1。

網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如下:采用余弦退火算法使學(xué)習(xí)率逐漸衰減;采用 Adam 優(yōu)化器,初始學(xué)習(xí)率為0.01;選擇使用ReLu激活函數(shù)。訓(xùn)練時(shí),batch size 設(shè)置為 32;測(cè)試時(shí),batch size 也同樣設(shè)置為 32。分割網(wǎng)絡(luò)訓(xùn)練 100個(gè) epoch,分類(lèi)網(wǎng)絡(luò)訓(xùn)練 250個(gè) epoch。

4.2 評(píng)價(jià)指標(biāo)說(shuō)明

網(wǎng)絡(luò)語(yǔ)義分割精度評(píng)估指標(biāo)采用平均交并比(mIoU)與(mAcc);網(wǎng)絡(luò)分類(lèi)精度評(píng)估指標(biāo)采用平均類(lèi)精度(mAcc)與總體分類(lèi)精度(OA)。在三維點(diǎn)云分割與分類(lèi)實(shí)驗(yàn)中,mAcc、OA和mIoU是最常用的衡量方法精度的指標(biāo)[22]。mIoU指計(jì)算兩個(gè)集合的交并比,在語(yǔ)義分割的問(wèn)題中,這兩個(gè)集合分別表示為真實(shí)值(ground truth)和預(yù)測(cè)值(predicted segmentation);mAcc用于計(jì)算每個(gè)類(lèi)別的分類(lèi)精度再除以類(lèi)別數(shù)獲取到平均類(lèi)別精度;OA用于計(jì)算。用計(jì)算公式分別如下:

(8)

(9)

(10)

其中,k表示數(shù)據(jù)集中點(diǎn)云的類(lèi)別個(gè)數(shù)(包含空類(lèi));有K+ 1個(gè)類(lèi),pij是類(lèi)i隱含屬于類(lèi)j的最小單位(如像素、體素、網(wǎng)格、點(diǎn)),即pii代表真陽(yáng)性,pij與pji分別代表假陽(yáng)性與假陰性[22]。mIoU、acc和mAcc值越大,代表分割、分類(lèi)效果越好。

4.3 實(shí) 驗(yàn)

4.3.1 室內(nèi)場(chǎng)景S3DIS語(yǔ)義分割實(shí)驗(yàn)

本文語(yǔ)義分割實(shí)驗(yàn)以S3DIS數(shù)據(jù)集為研究對(duì)象,該數(shù)據(jù)集是斯坦福大學(xué)提供的大場(chǎng)景室內(nèi)3D點(diǎn)云數(shù)據(jù)集,包含6個(gè)教學(xué)和辦公Area,共有 271個(gè)獨(dú)立房間,特征點(diǎn)超過(guò)了2.15 億。

訓(xùn)練時(shí)將房間分為1×1(m)的塊,隨機(jī)對(duì)每塊區(qū)域選取4096個(gè)點(diǎn)輸入,其中每個(gè)點(diǎn)包含XYZ坐標(biāo)信息、 歸一化坐標(biāo)和RGB顏色信息。以數(shù)據(jù)集中的Area_1、Area_2、Area_3、Area_4、Area_6為訓(xùn)練樣本,Area_5為測(cè)試區(qū)域評(píng)估模型分割精度。結(jié)果如表1所示,可以看出,與基準(zhǔn)網(wǎng)絡(luò)PointNet++相比較,本文Con-PointNet++在mIoU上可提升5.2 %;與其他網(wǎng)絡(luò)(PointNet、DGCNN、SegCloud、ASIS(Associatively Segmenting Instances and Semantics)和DeepGCN)相比,mAcc與mIoU都有著不同程度的提升,因此可以驗(yàn)證加入增強(qiáng)局部信息、與注意力機(jī)制下的融合池化模塊下的Con-PointNet++在整體性能上明顯優(yōu)于其他3D點(diǎn)云場(chǎng)景語(yǔ)義分割網(wǎng)絡(luò)。

表1 不同方法在S3DIS Area_5中的結(jié)果對(duì)比

選取S3DIS 數(shù)據(jù)集中的 Area5_conferenceRoom_1、Area5_hallway_12和Area5_office_15三個(gè)房間作為可視化分割場(chǎng)景樣本,將所提算法的可視化分割結(jié)果與基準(zhǔn)模型PointNet++ 進(jìn)行對(duì)比。圖4(b)～(c)分別為Area5_conferenceRoom_1、Area5_hallway_12和Area5_office_15的原始點(diǎn)云、 真實(shí)分割結(jié)果、PointNet++ 分割結(jié)果和所提算法的分割結(jié)果可視化圖,其中每一列表示一個(gè)場(chǎng)景,每一行表示對(duì)應(yīng)方法的結(jié)果。

圖4 Area5_conferenceRoom_1

由圖4可看出,加入了增強(qiáng)局部特征模塊與注意力機(jī)制下的融合池化模塊后的網(wǎng)絡(luò),分割能力明顯增強(qiáng)。本文所提方法與PointNet++相比較,在場(chǎng)景(a)中,椅子細(xì)節(jié)處、墻體與墻上的圖畫(huà)處分割明顯更優(yōu),PointNet++幾乎丟失了墻上的圖畫(huà)全部信息;在場(chǎng)景(b)中,PointNet++對(duì)于走廊兩邊的門(mén)框與墻上圖畫(huà)細(xì)節(jié)丟失較多,本文所提算法則相對(duì)精確的還原了真實(shí)分割場(chǎng)景;場(chǎng)景(c)是較為雜亂的辦公室場(chǎng)景,PointNet++分割效果明顯變差,左墻投影幕布部分識(shí)別成墻體,中間的辦公桌錯(cuò)誤識(shí)別成椅子,而本文所提算法識(shí)別精準(zhǔn),且相對(duì)PointNet++分割細(xì)節(jié)保留更多,在辦公桌與椅子連接處的特征點(diǎn)識(shí)別精度明顯更高。

4.3.2 ModelNet40上的分類(lèi)實(shí)驗(yàn)

本文分類(lèi)實(shí)驗(yàn)在標(biāo)準(zhǔn)公開(kāi)數(shù)據(jù)集ModelNet40上進(jìn)行,該數(shù)據(jù)集由普林頓大學(xué)提供,共包含12311個(gè)三維CAD模型,9843個(gè)模型用以訓(xùn)練,2468個(gè)模型用以測(cè)試,總共包含40個(gè)類(lèi)別。同時(shí)為了讓網(wǎng)絡(luò)學(xué)習(xí)到旋轉(zhuǎn)不變性、放縮不變性和對(duì)噪聲具有一定的抗干擾能力,通過(guò)對(duì)數(shù)據(jù)進(jìn)行隨機(jī)旋轉(zhuǎn)、放縮以及添加噪聲進(jìn)行數(shù)據(jù)增強(qiáng),增強(qiáng)網(wǎng)絡(luò)的魯棒性。

結(jié)果如表2所示,可以看出,對(duì)于基準(zhǔn)網(wǎng)絡(luò)PointNet++,本文網(wǎng)絡(luò)在整體分類(lèi)精度達(dá)到91.2 %,提升約0.5 %,同時(shí)對(duì)于所提其他網(wǎng)絡(luò)(PointNet、MVCNN與VoxNet)相比,因加入了增強(qiáng)局部特征模塊與注意力機(jī)制下的融合池化模塊,在OA與mAcc性能均有提升,通過(guò)實(shí)驗(yàn)結(jié)果可看出,本文所提網(wǎng)絡(luò)在分類(lèi)任務(wù)上同樣具有較強(qiáng)能力。

表2 不同方法在ModelNet40中的結(jié)果對(duì)比

4.4 消融實(shí)驗(yàn)

為了更好地驗(yàn)證增強(qiáng)局部信息(+Loc)、 與注意力機(jī)制下的融合池化(+Mer)模塊對(duì)Con-PointNet++的有效性,將基準(zhǔn)模型PointNet++與不同模塊組合,用以分析各模塊對(duì)網(wǎng)絡(luò)精度的影響。

分割網(wǎng)絡(luò)保持在S3DIS Area_5上進(jìn)行消融實(shí)驗(yàn)。如表3所示,相比于基準(zhǔn)模型PointNet++的mIoU(約50.0 %),各個(gè)模塊的加入均使得基準(zhǔn)模型的3D點(diǎn)云場(chǎng)景語(yǔ)義分割能力獲得明顯提升。

表3 針對(duì)S3DIS Area_5數(shù)據(jù)的消融實(shí)驗(yàn)結(jié)果

分類(lèi)網(wǎng)絡(luò)保持在ModelNet40數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。如表4所示,相比于基準(zhǔn)模型PointNet++的OA(約90.7 %),各個(gè)模塊的加入也均使得基準(zhǔn)模型的3D點(diǎn)云分類(lèi)能力獲得明顯提升。

表4 針對(duì)ModelNet40的消融實(shí)驗(yàn)結(jié)果

5 結(jié) 語(yǔ)

針對(duì)PointNet++下采樣時(shí)只關(guān)注點(diǎn)本身的信息以及使用最大池化導(dǎo)致丟失次最大值信息等問(wèn)題,本文提出Con-PointNet++網(wǎng)絡(luò)。通過(guò)加入增強(qiáng)局部信息模塊將相鄰點(diǎn)的信息添加關(guān)注;使用局部注意力機(jī)制下的融合池化,將最大池化獲取的最大值信息與注意力池化自適應(yīng)地獲取細(xì)節(jié)信息進(jìn)行融合,獲取到更為豐富的局部特征信息。數(shù)據(jù)集S3DIS、ModelNet40的實(shí)驗(yàn)以及消融實(shí)驗(yàn)證明所提方法的有效性。最后,本文期望Con-PointNet++網(wǎng)絡(luò)隨著點(diǎn)云的發(fā)展能夠釋放更深層次的潛力。