基于位置編碼和雙距離注意的點(diǎn)云分割方法

溫智成,王 蕾,馮錦梁,葉森輝

(東華理工大學(xué)信息工程學(xué)院,江西 南昌 330013)

1 引 言

隨著機(jī)器人、自動(dòng)駕駛和AR/VR應(yīng)用的日益普及,對3D點(diǎn)云數(shù)據(jù)處理的需求正在迅速增長[1-2]。然而,由于其固有的不規(guī)則性和無序性等特點(diǎn),處理此類數(shù)據(jù)具有挑戰(zhàn)性。正則化的卷積不適用于點(diǎn)云處理。

為了處理三維點(diǎn)云數(shù)據(jù),許多研究人員探索將它轉(zhuǎn)換為其他形式的表示,并應(yīng)用卷積運(yùn)算來學(xué)習(xí)特征信息。這些方法可以分為三類:基于投影的方法[3-5]、基于體素化的方法[6-7]和基于點(diǎn)的方法[8-21]。

基于投影的方法。將點(diǎn)云投影到二維平面上,將其作為正則化圖像進(jìn)行處理。Gvcnn[3]設(shè)計(jì)了一個(gè)由視圖、組和形狀組成的框架,可以更有效地聚合來自各種視圖的信息并識別3D形狀。RangeNet++[4]將點(diǎn)云轉(zhuǎn)換為距離圖像表示,使用2D卷積進(jìn)行語義分割,并使用k近鄰算法提高分割性能。View-gcn[5]使用圖卷積網(wǎng)絡(luò)聚合多視圖特征。但是,這種方式會(huì)導(dǎo)致部分點(diǎn)云信息的丟失。

基于體素的方法。將點(diǎn)云轉(zhuǎn)換成三維體素,隨后通過三維卷積運(yùn)算學(xué)習(xí)特征信息。Voxnet[6]網(wǎng)絡(luò)使用基于體素的表示作為對象識別和其他任務(wù)的輸入。SPVConv[7]引入了一種低成本、高分辨率的基于點(diǎn)的分支結(jié)構(gòu),可以捕獲更細(xì)粒度的信息。然而,該類方法會(huì)造成高額的計(jì)算成本和內(nèi)存消耗。

基于點(diǎn)的方法。直接在原始點(diǎn)云上執(zhí)行卷積操作,無需將點(diǎn)云轉(zhuǎn)換為中間態(tài)的表示,從而避免了上述方法的缺點(diǎn)。PointNet[11]和PointNet++[12]是第一批直接對點(diǎn)進(jìn)行操作的研究工作。AGConv[15]通過將坐標(biāo)與對于點(diǎn)的其余特征相乘,使卷積對每個(gè)局部區(qū)域的操作是各向異性的。PCT[19]采用全局自注意力機(jī)制,使各點(diǎn)能夠關(guān)注彼此的特征信息。

然而,上述基于點(diǎn)的方法由于使用對稱聚合操作,導(dǎo)致無法獲得點(diǎn)云的良好局部表示,從而導(dǎo)致局部信息的嚴(yán)重丟失。

為了應(yīng)對這些挑戰(zhàn),本文提出了DualRes-Net網(wǎng)絡(luò)。利用位置編碼模塊(Position Encoding Module,PEM)對點(diǎn)云的坐標(biāo)特征進(jìn)行編碼,從而獲得更有效的局部信息表示。采用雙距離注意池(Dual-distance Attention Pooling,DDAP)將中心點(diǎn)與鄰近點(diǎn)的差異與注意力相結(jié)合,更好地實(shí)現(xiàn)了點(diǎn)云內(nèi)部局部信息的自適應(yīng)聚合。然后利用去分化殘差(De-Differentiation Residual,DDRes)結(jié)構(gòu)挖掘點(diǎn)云的深層語義信息,利用MLP分別學(xué)習(xí)對應(yīng)點(diǎn)的坐標(biāo)特征等特征,從而穩(wěn)定模型的訓(xùn)練。本文提出的DualRes-Net在S3DIS Area5上的分割性能優(yōu)于許多基準(zhǔn)網(wǎng)絡(luò)。

2 本文方法

本文提出了一種DualRes-Net網(wǎng)絡(luò),如圖1所示(圖中Input Data為輸入點(diǎn)云數(shù)據(jù);Output為預(yù)測語義;DS為下采樣方法),該網(wǎng)絡(luò)主要由三個(gè)關(guān)鍵模塊組成:位置編碼模塊(PEM)、雙距離注意池(DDAP)模塊和去分化殘差(DDRes)模塊。由于本文所提方法與點(diǎn)云的Transformer類方法相似,所以在本節(jié)中,我們首先介紹本文所提三個(gè)模塊的具體結(jié)構(gòu),隨后將本文方法與Transformer類方法進(jìn)行比較。

圖1 DualRes-Net網(wǎng)絡(luò)架構(gòu)

2.1 位置編碼模塊(PEM)

點(diǎn)云點(diǎn)屬性包括坐標(biāo)、顏色和其他屬性。在點(diǎn)云語義分割任務(wù)中,網(wǎng)絡(luò)對位置信息比其他信息更敏感。例如,在分割綠墻和草地時(shí),坐標(biāo)特征可以清楚地顯示兩者的區(qū)別。

因此,提出PEM模塊,如圖2所示(圖中N為點(diǎn)數(shù),k為最近鄰搜索次數(shù),3和C分別為坐標(biāo)特征通道數(shù)和對應(yīng)點(diǎn)其余特征通道數(shù))。該模塊明確地將編碼的坐標(biāo)特征與相應(yīng)的點(diǎn)特征融合,使點(diǎn)特征知道自己在空間中的位置。這使得PEM能夠清晰地觀察到局部信息,這對于學(xué)習(xí)復(fù)雜的場景結(jié)構(gòu)非常有益。該模塊的操作步驟如下:

圖2 位置編碼模塊(PEM)

(1)

(2)

重復(fù)兩次以上的點(diǎn)坐標(biāo)編碼和點(diǎn)特征融合步驟,可以得到更好的局部點(diǎn)云表示,從而提高網(wǎng)絡(luò)的分割性能。

2.2 雙距離注意池模塊(DDAP)

圖3 雙距離注意池(DDAP)

(3)

(4)

為了加快網(wǎng)絡(luò)的推理速度,我們將其設(shè)為負(fù)指數(shù)函數(shù),如式:

(5)

因此,處理后的輸入數(shù)據(jù)如式:

(6)

其中,“‖”為連接符號。

處理后的數(shù)據(jù)通過MLP和softmax層傳遞,如式:

score=Softmax(MLP(fconcat))

(7)

獲取局部區(qū)域內(nèi)各點(diǎn)對應(yīng)的分?jǐn)?shù)。

最后將分?jǐn)?shù)乘以局部區(qū)域內(nèi)對應(yīng)的點(diǎn),利用對稱函數(shù)Sum對局部信息進(jìn)行匯總,如式:

(8)

2.3 去分化殘差模塊(DDRes)

傳統(tǒng)的殘差模塊首先使用k近鄰(KNN)算法獲得局部區(qū)域。通過連接相應(yīng)點(diǎn)的坐標(biāo)和其他特征,數(shù)據(jù)通過MLP和最大池化層提供。輸出再經(jīng)過兩層MLP處理學(xué)習(xí)特征信息,最后加入到輸入數(shù)據(jù)中形成殘差模塊的輸出。傳統(tǒng)殘差模塊結(jié)構(gòu)如圖4(a)所示,公式如下:

圖4 去分化殘差(DDRes)

fmax=max(φ(inputknn))

(9)

fout=φ×2(fmax)+inputfeat

(10)

其中,inputknn表示對輸入數(shù)據(jù)進(jìn)行KNN搜索得到的局部數(shù)據(jù);inputfeat表示對應(yīng)點(diǎn)的其余特征;fmax表示MLP和max-pooling后的數(shù)據(jù)輸出;fout表示殘差模塊的輸出。

傳統(tǒng)的殘差模塊是將坐標(biāo)特征與對應(yīng)點(diǎn)的剩余特征進(jìn)行拼接,利用MLP學(xué)習(xí)特征信息。受CN[21]的啟發(fā),由于不同的輸入類型(坐標(biāo)特征、顏色特征)具有明顯不同的分布,這可能導(dǎo)致模型訓(xùn)練不穩(wěn)定。為了解決這一問題并穩(wěn)定模型訓(xùn)練,本文提出了去分化殘差(DDRes)模塊。MLP分別應(yīng)用于坐標(biāo)特征和對應(yīng)點(diǎn)的其余特征。使用最大池將兩個(gè)MLP的輸出結(jié)果相加以獲得局部特征,然后將其通過兩個(gè)MLP層并與輸入數(shù)據(jù)相加。DDRes模塊結(jié)構(gòu)如圖4(b)所示,公式如下:

fmid=φ(inputx)+φ(inputfeat)

(11)

fmax=max(fmid)

(12)

綜上所述,PEM可以獲得更好的點(diǎn)云局部表示,提高分割性能;DDAP模塊將中心點(diǎn)與鄰近點(diǎn)的差異與注意力池相結(jié)合,自適應(yīng)聚合局部信息;DDRes模塊使用去分化結(jié)構(gòu)來穩(wěn)定模型訓(xùn)練,同時(shí)從點(diǎn)云中挖掘深度信息。

2.4 Transformer類方法

本文所提方法DualRes-Net與點(diǎn)云的Transformer類方法類似,下面將詳細(xì)介紹Point Transformer[20]和Fast Point Transformer[21]方法。

Point Transformer:該網(wǎng)絡(luò)的輸入為點(diǎn)云數(shù)據(jù),其中每個(gè)點(diǎn)由3D坐標(biāo)和顏色特征表示。它首先將點(diǎn)云映射到一個(gè)低維特征空間,并將這些特征作為Transformer的輸入。Transformer由多個(gè)編碼器層組成,每個(gè)編碼器層包含自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)。自注意力機(jī)制通過計(jì)算點(diǎn)與其他點(diǎn)之間的相似度,學(xué)習(xí)點(diǎn)的上下文信息,以至于每個(gè)點(diǎn)都能夠利用周圍點(diǎn)的信息來更新自身的特征表示。多頭自注意力機(jī)制并行計(jì)算多個(gè)關(guān)注權(quán)重,以捕捉不同層次的特征。通過多個(gè)編碼器層的堆疊,Point Transformer能夠建模點(diǎn)云中點(diǎn)的全局和局部關(guān)系,并提取豐富的特征。

FastPoint Transformer:該方法在Point Transformer的基礎(chǔ)上引入了稀疏技術(shù),通過對點(diǎn)云進(jìn)行子采樣來減少計(jì)算量。它的關(guān)鍵思想是將點(diǎn)云劃分為一組局部鄰域,并且僅對每個(gè)局部鄰域應(yīng)用Transformer操作。這樣可以減少自注意力機(jī)制的計(jì)算復(fù)雜度,并仍然能夠捕捉到全局和局部之間的關(guān)系。

上述方法對點(diǎn)云局部利用自注意力機(jī)制,并在編碼器與解碼器層添加多個(gè)自注意力機(jī)制,從而獲得豐富的特征信息。然而,與本文方法DualRes-Net相比,由于在編碼器層與解碼器層存在多層自注意力,Transformer類方法會(huì)導(dǎo)致高額計(jì)算量的問題。

3 實(shí) 驗(yàn)

在本節(jié)中,在S3DIS數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn),以評估提出的DualRes-Net網(wǎng)絡(luò)。

3.1 數(shù)據(jù)集

S3DIS數(shù)據(jù)集是斯坦福大學(xué)提供的一個(gè)公開可用的數(shù)據(jù)集。它由271個(gè)房間組成,完全由6個(gè)不同的大型區(qū)域的點(diǎn)組成,有13個(gè)語義類別(窗戶,墻壁,椅子等)。每個(gè)點(diǎn)包含歐幾里德坐標(biāo)和顏色信息。

3.2 實(shí)現(xiàn)細(xì)節(jié)

S3DIS數(shù)據(jù)集分為6個(gè)不同的區(qū)域(Area1-Area6)。本文使用Area5作為測試集,其余5個(gè)區(qū)域作為訓(xùn)練集。使用平均交聯(lián)(Intersection over Union,mIoU)作為語義分割性能的度量。

提出的DualRes-Net網(wǎng)絡(luò)是基于Pytorch框架實(shí)現(xiàn)的。實(shí)驗(yàn)在一臺(tái)配備NVIDIA RTX3080 GPU的服務(wù)器上進(jìn)行。訓(xùn)練時(shí),EPOCH設(shè)置為100,BatchSize設(shè)置為4,初始學(xué)習(xí)率設(shè)置為0.01,使用AdamW優(yōu)化器,使用余弦退火函數(shù)逐漸衰減學(xué)習(xí)率。

3.3 評估性能

DualRes-Net網(wǎng)絡(luò)和其他方法在S3DIS Area5上的量化語義分割性能如表1所示。

表1 S3DIS Area5的語義分割結(jié)果

表1展示了本文提出的DualRes-Net方法在S3DIS Area5上的定量語義分割性能,mIoU為63.7 %,OA為87.5 %,mAcc為70.8 %。與經(jīng)典的語義分割方法PointWeb、RandLA-Net和GACNet相比,該方法的mIoU分別提高了3.4 %、1.3 %和0.8 %。

為了證明我們提出的方法在語義分割方面的有效性,我們在Area5中可視化了三種不同類型的房間,如圖5所示。

圖5 Area5的部分房間可視化結(jié)果

3.4 消融實(shí)驗(yàn)

為了驗(yàn)證DualRes-Net中三個(gè)關(guān)鍵模塊的有效性,在Area5上進(jìn)行了消融實(shí)驗(yàn)。

從表2可以看出(其中“√”表示采用該方法,“×”表示沒有采用該方法),如果移除PEM、DDAP和DDRes模塊,性能會(huì)下降8.9 %。加入位置編碼模塊PEM后,分割性能提高至55.6 %,比移除所有模塊提高1.8 %,說明對點(diǎn)云的位置信息進(jìn)行編碼可以獲得有效的局部特征表示。與不添加殘差結(jié)構(gòu)Res相比,添加殘差結(jié)構(gòu)Res的模型性能提高了3.8 %,表明殘差結(jié)構(gòu)Res可以挖掘深度點(diǎn)云信息。與加入殘差結(jié)構(gòu)Res相比,加入去分化殘差模塊DDRes的模型性能提高了0.8 %,說明分別對對坐標(biāo)和對應(yīng)點(diǎn)的其余特征應(yīng)用MLP可以穩(wěn)定模型訓(xùn)練,提高分割性能。最后,與不添加雙距離注意池模塊DDAP相比,添加DDAP可以使mIoU指標(biāo)提高3.5 %,表明該模塊可以有效地自適應(yīng)聚合局部信息。

表2 在Area5上的DualRes-Net消融實(shí)驗(yàn)結(jié)果

4 總 結(jié)

本文提出了DualRes-Net網(wǎng)絡(luò),以解決現(xiàn)有的許多點(diǎn)云分割方法對局部位置信息表示能力有限以及丟失重要特征信息的問題。采用位置編碼模塊(PEM)對點(diǎn)坐標(biāo)進(jìn)行編碼,采用雙距離注意池(DDAP)模塊對局部特征信息進(jìn)行自適應(yīng)聚合,采用去分化殘差(DDRes)模塊挖掘深層點(diǎn)云特征,采用多層感知器(MLP)分別對坐標(biāo)和對應(yīng)點(diǎn)的其余特征進(jìn)行處理。實(shí)驗(yàn)結(jié)果表明,該方法的分割性能為mIoU 63.7 %,優(yōu)于許多現(xiàn)有點(diǎn)云語義分割的網(wǎng)絡(luò)。消融實(shí)驗(yàn)表明了PEM、DDAP和DDRes模塊的有效性。