3D-BSNet:雙邊特征和相似度量的點(diǎn)云實(shí)例分割網(wǎng)絡(luò)

摘 要：針對(duì)現(xiàn)有的三維分割方法在挖掘點(diǎn)云特征時(shí)，會(huì)忽略幾何特征有效利用的問(wèn)題，提出雙邊特征和相似度量的點(diǎn)云實(shí)例分割網(wǎng)絡(luò)3D-BSNet（3D-bilateral feature and similarity measure network）。該網(wǎng)絡(luò)主要由雙邊特征學(xué)習(xí)和輕量級(jí)相似度量?jī)刹糠纸M成。首先提出一種包含基于子流形稀疏卷積的3D-UNet和多層感知機(jī)的雙邊特征提取模塊，用于提取經(jīng)過(guò)體素化處理的點(diǎn)云數(shù)據(jù)的語(yǔ)義特征和幾何特征；然后設(shè)計(jì)一種結(jié)合通道維度和空間維度的雙邊注意力機(jī)制，用于減少雙邊特征聚合過(guò)程中產(chǎn)生的信息損失；最后開(kāi)發(fā)一種輕量級(jí)相似度量模塊，獲取高維嵌入特征空間中鄰近點(diǎn)云之間的相似性，并生成細(xì)粒度實(shí)例分割結(jié)果。實(shí)驗(yàn)表明，3D-BSNet在S3DIS和Scannet（v2）數(shù)據(jù)集上的多指標(biāo)綜合表現(xiàn)優(yōu)越，其中在Scannet（v2）上的平均精確率比 SSTNet 提高了3.3%，有效提高了室內(nèi)場(chǎng)景三維實(shí)例分割的精度。

關(guān)鍵詞：點(diǎn)云實(shí)例分割；雙邊特征學(xué)習(xí)；雙邊注意力機(jī)制；輕量級(jí)相似度量

中圖分類(lèi)號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-043-2514-06

doi：10.19734/j.issn.1001-3695.2022.11.0777

3D-BSNet：bilateral features-similarity measure network for

3D instance segmentation

Tian Feng Xu Xina，Liu Fang Liu Zongbao

（a.College of Computer amp; Information Technology，b.College of Geoscience，Northeast Petroleum University，Daqing Heilongjiang 163318，China）

Abstract：In order to solve the problem that the current three-dimensional segmentation methods ignored the effective use of geometric features when mining point cloud features，this paper proposed the point cloud instance segmentation network 3D-BSNet with bilateral features and similarity measure.The network mainly consisted of two parts，such as bilateral feature learning and lightweight similarity measurement.Firstly，this paper proposed the bilateral feature extraction module with 3D-UNet based on submanifold sparse convolution and multi-layer perceptron.This module could extract semantic and geometric features of point cloud data after voxelization.Secondly，this paper designed the bilateral attention mechanism combining channel dimension and spatial dimension.This module could reduce the information loss in the process of bilateral feature aggregation.Finally，this paper developed the lightweight similarity measurement module.This module could obtain the similarity between neighboring point clouds in the high-dimensional embedded feature space and even generate the segmentation results of fine-grained instances.Experiments show that 3D-BSNet performs well on S3DIS and Scannet（v2） dataset，and the average accuracy rate on Scannet（v2） is 3.3% higher than that of SSTNet，which effectively improves the precision of 3D instance segmentation.

Key words：3D instance segmentation；bilateral feature learning；bilateral attention mechanism；lightweight similarity measure

0 引言

近年來(lái)，隨著深度傳感器的快速發(fā)展，點(diǎn)云數(shù)據(jù)量逐漸增大，也逐漸滲透到自動(dòng)駕駛［1，2］、輔助醫(yī)療診斷［3］、遙感測(cè)繪、虛擬現(xiàn)實(shí)等計(jì)算機(jī)視覺(jué)領(lǐng)域。點(diǎn)云實(shí)例分割作為三維場(chǎng)景語(yǔ)義理解和分析的基礎(chǔ)技術(shù)，具有廣泛的應(yīng)用場(chǎng)景［4～6］。點(diǎn)云實(shí)例分割是一項(xiàng)以點(diǎn)云數(shù)據(jù)為輸入，實(shí)現(xiàn)實(shí)例分割的高級(jí)視覺(jué)任務(wù)。由于實(shí)例分割任務(wù)本身具有一定的識(shí)別難度，且點(diǎn)云數(shù)據(jù)在高維空間中具有無(wú)序性、密度不一致性及非拓?fù)湫缘忍攸c(diǎn)，給點(diǎn)云實(shí)例分割的研究工作帶來(lái)了不小的難度。傳統(tǒng)的點(diǎn)云實(shí)例分割思路是：首先選取點(diǎn)云的位置、曲率及法向量等特征構(gòu)建人工特征，再通過(guò)不同的聚類(lèi)方式完成實(shí)例分割任務(wù)，傳統(tǒng)的方法處理速度較快但難以處理真實(shí)場(chǎng)景下大規(guī)模的點(diǎn)云數(shù)據(jù)，識(shí)別準(zhǔn)確率也難以保證。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)任務(wù)上取得巨大突破，關(guān)于點(diǎn)云實(shí)例分割的探索性工作也嶄露頭角。基于深度學(xué)習(xí)的點(diǎn)云實(shí)例分割方法有基于proposal的方法和基于proposal-free的方法。基于proposal的方法是在檢測(cè)框的基礎(chǔ)上獲取每個(gè)點(diǎn)云的實(shí)例標(biāo)簽，將點(diǎn)云實(shí)例分割任務(wù)劃分為目標(biāo)檢測(cè)和實(shí)例標(biāo)簽預(yù)測(cè)兩個(gè)階段。Li等人［7］提出了 GSPN 模型，通過(guò)重建場(chǎng)景中噪聲觀測(cè)的形狀生成候選框，再引入PointNet優(yōu)化候選框并生成實(shí)例分割掩碼。該模型大大減少了無(wú)意義的盲框，但對(duì)實(shí)例分割對(duì)象的細(xì)化需要代價(jià)昂貴的后處理操作。Hou等人［8］提出了 3D-SIS 模型，該模型首先將帶有顏色信息的二維圖像映射成體素表示，再與帶有幾何信息的體素進(jìn)行融合，之后再預(yù)測(cè)場(chǎng)景中候選框的位置、類(lèi)標(biāo)簽及實(shí)例對(duì)象標(biāo)簽。該方法雖然取得了較高的實(shí)例分割精度，但候選框檢測(cè)網(wǎng)絡(luò)和實(shí)例分割網(wǎng)絡(luò)之間沒(méi)有共享權(quán)重，且數(shù)據(jù)轉(zhuǎn)換過(guò)程復(fù)雜，無(wú)法適用于大規(guī)模場(chǎng)景。Yang等人［9］提出了 3D-BoNet 模型，該模型首先提取全局特征和點(diǎn)的特征，由全局特征直接生成所有潛在實(shí)例對(duì)應(yīng)的粗糙候選框，并通過(guò)多準(zhǔn)則判別損失函數(shù)來(lái)修正候選框；再根據(jù)點(diǎn)的特征和候選框預(yù)測(cè)分?jǐn)?shù)對(duì)框內(nèi)點(diǎn)進(jìn)行二分類(lèi)，從而生成實(shí)例分割標(biāo)簽。該方法能夠返回較精確的候選框，具有高目標(biāo)性，但兩階段的訓(xùn)練過(guò)程使模型的運(yùn)算負(fù)擔(dān)較重。基于 proposal 的方法具有較直觀的效果，生成的結(jié)果也具備客觀性，但是這類(lèi)方法對(duì)錯(cuò)誤識(shí)別的目標(biāo)框容忍度較低，需要通過(guò)多階段的訓(xùn)練去掉錯(cuò)誤邊界框，因此在預(yù)測(cè)時(shí)通常會(huì)產(chǎn)生巨額參數(shù)量，硬件要求相對(duì)較高。

proposal-free的方法［10］是在每個(gè)點(diǎn)云的類(lèi)別基礎(chǔ)上，具體區(qū)分出不同實(shí)例，將點(diǎn)云實(shí)例任務(wù)劃分為語(yǔ)義分割和實(shí)例標(biāo)簽預(yù)測(cè)兩個(gè)階段。大多數(shù)該類(lèi)方法主要集中于判別特征學(xué)習(xí)和點(diǎn)的分組等創(chuàng)新操作的探索，是點(diǎn)云實(shí)例分割的主流方法。Wang等人［11］提出了SGPN模型，是第一個(gè)直接提取點(diǎn)云特征的實(shí)例分割模型。該模型首先由 PointNet［12］提取點(diǎn)云特征，并通過(guò)帶有雙鉸損失函數(shù)的神經(jīng)網(wǎng)絡(luò)生成相似度矩陣，最后再由非最大抑制操作抑制噪聲和對(duì)重疊剪枝，以生成實(shí)例分割預(yù)測(cè)結(jié)果。該方法能夠處理冗余信息并減少噪聲點(diǎn)，但相似矩陣的構(gòu)造需要大量的內(nèi)存消耗，難以擴(kuò)展到大規(guī)模數(shù)據(jù)。針對(duì)SGPN存在由相似矩陣引起的內(nèi)存空間問(wèn)題，文獻(xiàn)［13］提出了MASC模型，該模型通過(guò)U-Net和子流形稀疏卷積對(duì)每個(gè)體素化的點(diǎn)云進(jìn)行語(yǔ)義分割級(jí)的類(lèi)別預(yù)測(cè)，然后對(duì)相鄰體素進(jìn)行語(yǔ)義關(guān)聯(lián)性預(yù)測(cè)。相比起來(lái)，該方法更高效，但由于該方法沒(méi)有挖掘空間幾何信息，使得網(wǎng)絡(luò)性能提升空間有限。Lahoud等人[13]提出了MTML模型，該模型使用改進(jìn)的SSCNet處理輸入的體素化點(diǎn)云，將具有相同實(shí)例標(biāo)簽的體素緊密聚合，將具有不同實(shí)例標(biāo)簽的體素疏散遠(yuǎn)離。由于該方法主要針對(duì)體素的方向特征將進(jìn)行學(xué)習(xí)，容易丟失有效的幾何信息。Jiang等人［14］提出PointGroup模型，該模型利用雙分支網(wǎng)絡(luò)將基于輸入點(diǎn)坐標(biāo)與偏移量的點(diǎn)坐標(biāo)聚類(lèi)，實(shí)現(xiàn)實(shí)例對(duì)象分離，最后由ScoreNet來(lái)篩選與評(píng)估候選實(shí)例，優(yōu)化分割結(jié)果。該方法通過(guò)探索對(duì)象實(shí)例間的空隙對(duì)點(diǎn)進(jìn)行分組與聚類(lèi)，但優(yōu)化結(jié)果的過(guò)程中引入非極大值抑制的做法不利于有效數(shù)據(jù)的保留。為了有效地融合語(yǔ)義分割和實(shí)例分割兩個(gè)任務(wù)中的互利特征，Wang等人［15］提出了ASIS和JSNet模型。Zhao等人［16］構(gòu)建了一種由共享編碼器和兩個(gè)平行編碼器組成的基準(zhǔn)網(wǎng)絡(luò)，通過(guò)聯(lián)合模塊將語(yǔ)義特征轉(zhuǎn)入實(shí)例嵌入空間中，再將轉(zhuǎn)換后的特征與實(shí)例特征融合以提升實(shí)例分割精度。該方法能夠同時(shí)處理語(yǔ)義分割和實(shí)例分割兩個(gè)任務(wù)，但特征融合結(jié)構(gòu)復(fù)雜、成本高昂，且對(duì)上下文及空間幾何信息獲取不充分。相比基于proposal的實(shí)例分割方法，proposal-free的方法無(wú)須預(yù)先生成proposal，計(jì)算量小，但由于該方法未明確實(shí)例對(duì)象邊界，容易丟失有用信息，導(dǎo)致在復(fù)雜形狀對(duì)象邊界分割上的效果欠佳。

目前點(diǎn)云實(shí)例分割的主要研究工作在于挖掘語(yǔ)義信息并設(shè)計(jì)出合適的點(diǎn)分組方法，存在的挑戰(zhàn)有計(jì)算成本及空間幾何特征的有效利用問(wèn)題。

1 3D-BSNet模型

針對(duì)現(xiàn)有網(wǎng)絡(luò)捕捉局部細(xì)節(jié)能力有限和點(diǎn)云數(shù)據(jù)計(jì)算成本的問(wèn)題，從特征學(xué)習(xí)和相似度量?jī)蓚€(gè)角度構(gòu)建屬于proposal-free類(lèi)別的點(diǎn)云實(shí)例分割網(wǎng)絡(luò)3D-BSNet。本文的主要貢獻(xiàn)包括：a）提出一種雙邊特征學(xué)習(xí)模塊，可以有效提取并融合語(yǔ)義和幾何信息；b）設(shè)計(jì)了雙邊注意力機(jī)制，從通道和空間兩個(gè)維度重新標(biāo)定特征圖，引入少量的計(jì)算量，但可以有效增強(qiáng)雙邊特征；c）引入輕量級(jí)相似度量模塊，以概率的形式處理數(shù)據(jù)，進(jìn)一步提升了模型對(duì)同類(lèi)別實(shí)例的區(qū)分能力。圖1為3D-BSNet整體框架，包括基于子流形稀疏卷積的3D-UNet、雙邊注意力機(jī)制和相似度量函數(shù)三個(gè)核心部分。原始點(diǎn)云數(shù)據(jù)經(jīng)過(guò)體素化處理后，通過(guò)多層感知機(jī)和3D-UNet 分別提取幾何特征和語(yǔ)義特征，再將提取到的特征進(jìn)行融合。為了彌補(bǔ)特征融合中產(chǎn)生的信息丟失，通過(guò)雙邊注意力機(jī)制重新標(biāo)定點(diǎn)云數(shù)據(jù)的雙邊特征。相似度量模塊利用多元高斯分布函數(shù)處理帶有特征的點(diǎn)云數(shù)據(jù)，再使用相似度量函數(shù)計(jì)算點(diǎn)之間和點(diǎn)與實(shí)例之間的相似度，最后經(jīng)過(guò)logDice損失函數(shù)給每個(gè)點(diǎn)分配類(lèi)別標(biāo)簽和實(shí)例 ID，從而完成點(diǎn)云數(shù)據(jù)的細(xì)粒度實(shí)例分割任務(wù)。

1.1 雙邊特征模塊

1.1.1 基于子流形稀疏卷積的3D-UNet

為了避免常規(guī)三維稀疏卷積會(huì)產(chǎn)生巨額參數(shù)量和稀釋語(yǔ)義特征的問(wèn)題，本文采用基于子流形稀疏卷積的 3D-UNet進(jìn)行語(yǔ)義信息的提取。子流形稀疏卷積是指只有當(dāng)三維卷積核的中心覆蓋非空體素時(shí)才進(jìn)行卷積計(jì)算，相較于常規(guī)稀疏卷積的全計(jì)算方式，子流形稀疏卷積的計(jì)算方式大大減少了參數(shù)量，又能夠很好地適應(yīng)點(diǎn)云數(shù)據(jù)的稀疏性。子流形稀疏卷積［17］定義為 SSC（m，n，f，s），m表示輸入特征通道數(shù)，n表示輸出特征通道數(shù)，f表示卷積核尺寸，s表示卷積步長(zhǎng)。本文采用卷積核尺寸和卷積步長(zhǎng)均為2的子流形稀疏卷積操作，記為conv-s2。如圖2所示，基于子流形稀疏卷積的3D-UNet其整體框架采用 U型結(jié)構(gòu)，包含編碼和解碼部分。編碼路徑是圖中向下走的部分，向下箭頭表示步長(zhǎng)為2的最大池化操作。在編碼路徑中每層包含一個(gè)由橙色標(biāo)注的conv-s2，每個(gè)卷積操作后均引入BN批歸一化層和ReLU激活函數(shù)。每一層返回的特征再通過(guò)跳躍連接，將編碼階段產(chǎn)生的語(yǔ)義特征圖與解碼階段同分辨率的特征融合在一起，使淺層次的細(xì)節(jié)特征和深層次的語(yǔ)義特征相結(jié)合。解碼路徑是圖中向上走的部分，向上箭頭表示步長(zhǎng)為2的上卷積操作。在解碼路徑中使用反卷積操作來(lái)放大特征圖，如圖中綠色標(biāo)注的dconv-s2，最后生成與原始輸入數(shù)據(jù)相同大小的特征圖（見(jiàn)電子版）。U型結(jié)構(gòu)通過(guò)編/解碼流程能夠?qū)崿F(xiàn)低維特征在高分辨率的層中進(jìn)行傳播、捕捉多尺度的細(xì)節(jié)特征、彌補(bǔ)漸進(jìn)式提取特征細(xì)粒度特征不足的缺陷，并豐富語(yǔ)義特征的完備性，從而使網(wǎng)絡(luò)在細(xì)粒度實(shí)例分割精度上有很大的提升。

1.1.2 雙邊注意力機(jī)制

體素化輸入點(diǎn)云的方法具有規(guī)則的數(shù)據(jù)結(jié)構(gòu)，可以擬合各種卷積操作［18］。雖然子流形三維稀疏卷積可以大大地減少計(jì)算開(kāi)銷(xiāo)，但仍無(wú)法避免由運(yùn)算量導(dǎo)致分辨率較低的問(wèn)題，進(jìn)而會(huì)損失三維空間細(xì)節(jié)信息。注意力機(jī)制［19～22］能夠以較高的權(quán)重聚焦重要信息，以較低的權(quán)重忽略冗余信息，使得網(wǎng)絡(luò)能夠克服缺乏特征強(qiáng)化的局限，并且增強(qiáng)了網(wǎng)絡(luò)捕獲遠(yuǎn)程依賴(lài)信息的能力。受此啟發(fā)，提出雙邊注意力機(jī)制模塊，該模塊通過(guò)對(duì)提取的特征信息在通道和空間分別進(jìn)行加權(quán)運(yùn)算來(lái)抑制無(wú)效的語(yǔ)義特征信息。雙邊注意力機(jī)制由并行的通道和空間兩大分支組成，結(jié)構(gòu)如圖3所示。

虛線部分為通道注意力分支，由于三維場(chǎng)景中對(duì)象實(shí)例的邊緣可能會(huì)產(chǎn)生最大特征值，而全局最大池化操作可以很好地保留點(diǎn)云數(shù)據(jù)的邊緣特征，所以在通道維度的注意力機(jī)制中引入全局最大池化層；又因?yàn)槿制骄鼗菍?duì)整體特征進(jìn)行下采樣，可以較好地保留背景語(yǔ)義信息，所以并行使用這兩個(gè)計(jì)算可以充分保留點(diǎn)云數(shù)據(jù)的語(yǔ)義信息。相比于通過(guò)復(fù)雜計(jì)算求特征圖在通道維度的權(quán)重?cái)?shù)據(jù)，這種方式在提高模型性能方面的作用明顯。

實(shí)線部分為空間注意力分支，主要捕獲空間位置上的全局依賴(lài)，這樣對(duì)于三維場(chǎng)景中某個(gè)空間位置，若包含的空間幾何信息比較重要，就會(huì)乘以一個(gè)較大的值從而被關(guān)注，反之會(huì)被抑制。具體實(shí)現(xiàn)過(guò)程如下：首先，通過(guò)使用三維卷積壓縮特征圖的尺寸得到兩個(gè)特征圖，利用轉(zhuǎn)置再乘積的運(yùn)算并經(jīng)過(guò)softmax函數(shù)來(lái)計(jì)算特征圖的權(quán)重；空間注意力模塊將生成一個(gè)空間注意力矩陣，將注意力矩陣饋送到三維卷積層中以獲取新的特征圖，再與原始?jí)嚎s特征圖做乘法，輸出空間維度重新標(biāo)定的特征；最后分別沿通道和空間重新校準(zhǔn)雙邊特征圖合并輸出。

雙邊注意力機(jī)制同時(shí)關(guān)注空間特征和語(yǔ)義特征，通過(guò)學(xué)習(xí)每個(gè)維度的重要程度重新標(biāo)定特征圖，每個(gè)點(diǎn)的特征信息都會(huì)被賦予空間及語(yǔ)義信息，這樣就可以最大程度地利用點(diǎn)云之間的復(fù)雜關(guān)系，增強(qiáng)點(diǎn)云實(shí)例分割的細(xì)粒程度。

1.2 相似度量模塊

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)集描述

為了驗(yàn)證3D-BSNet 的實(shí)例分割性能，本文在三維實(shí)例級(jí)室內(nèi)基準(zhǔn)數(shù)據(jù)集 Scannet（v2）［23］和S3DIS［24］上進(jìn)行了實(shí)驗(yàn)。Scannet（v2）數(shù)據(jù)集是由美國(guó)普林斯頓大學(xué)和斯坦福大學(xué)在2017年聯(lián)合開(kāi)發(fā)的 RGB-D 數(shù)據(jù)集，該數(shù)據(jù)集包含1 613個(gè)場(chǎng)景，其中1 201個(gè)訓(xùn)練場(chǎng)景、312個(gè)驗(yàn)證場(chǎng)景和 100 個(gè)測(cè)試場(chǎng)景。在實(shí)例分割任務(wù)中，該數(shù)據(jù)集被標(biāo)注為 18 類(lèi)帶注釋的體素化對(duì)象，數(shù)據(jù)量達(dá)2.42億。S3DIS 數(shù)據(jù)集是由斯坦福大學(xué)在2016年開(kāi)發(fā)的數(shù)據(jù)集，包含三座建筑內(nèi)的六個(gè)室內(nèi)區(qū)域，每個(gè)區(qū)域包含50 個(gè)不同的房間，共計(jì)271個(gè)場(chǎng)景。在實(shí)例分割任務(wù)中，該數(shù)據(jù)集被標(biāo)注為13類(lèi)帶注釋的逐點(diǎn)對(duì)象，數(shù)據(jù)量達(dá)7億。

2.2 實(shí)驗(yàn)平臺(tái)

3D-BSNet的訓(xùn)練和測(cè)試均是在服務(wù)器工作站環(huán)境下完成。采用2個(gè)GTX TITAN X顯卡，32 GB顯存，Ubuntu 20.04操作系統(tǒng)。網(wǎng)絡(luò)訓(xùn)練300輪，使用Adam優(yōu)化算法來(lái)最小化損失函數(shù)。學(xué)習(xí)率初始值設(shè)為0.001，每10輪后以0.5的速度進(jìn)行衰減，批處理大小設(shè)為16。

2.3 評(píng)價(jià)指標(biāo)

2.4 實(shí)驗(yàn)結(jié)果分析

2.4.1 S3DIS數(shù)據(jù)集

在S3DIS數(shù)據(jù)集中的Area5場(chǎng)景上進(jìn)行點(diǎn)云實(shí)例分割的測(cè)試，以IoU閾值為0.5時(shí)的精確率（AP@50）、平均精確率（mAP）、平均查準(zhǔn)率（mPrec）和平均召回率（mRec）作為評(píng)價(jià)指標(biāo)。由表2可知，在S3DIS數(shù)據(jù)集上3D-BSNet在精確率和查準(zhǔn)率方面取得了更優(yōu)的性能表現(xiàn)。相比于同樣使用相似度量策略但計(jì)算量非常大的SGPN，3D-BSNet 構(gòu)建的輕量級(jí)相似度量模塊具有更優(yōu)的分割性能。對(duì)比網(wǎng)絡(luò)中，PointGroup通過(guò)學(xué)習(xí)原始點(diǎn)云和位移坐標(biāo)在幾何空間中的空隙距離，對(duì)點(diǎn)云進(jìn)行聚類(lèi)。然而由于對(duì)象實(shí)例之間的距離差距很難確定且網(wǎng)絡(luò)缺乏對(duì)語(yǔ)義信息的學(xué)習(xí)，導(dǎo)致實(shí)例分割細(xì)粒度程度不夠。而3D-BSNet 通過(guò)雙邊特征提取和雙邊維度的注意力機(jī)制進(jìn)行特征增強(qiáng)，顯著地提升了實(shí)例分割精度。相比于 HAIS采用分層聚合和實(shí)例內(nèi)預(yù)測(cè)的策略時(shí)， 由于模型主體是學(xué)習(xí)由點(diǎn)到集合再到完整實(shí)例的過(guò)程，淡化了對(duì)實(shí)例邊界的學(xué)習(xí)，導(dǎo)致該模型的邊界感知能力較弱。3D-BSNet 通過(guò)相似度量模塊可以有效地捕獲到鄰近點(diǎn)云之間的拓?fù)潢P(guān)系，所以能夠更好地分離不同實(shí)例。在三個(gè)維度上本文方法都有很大的優(yōu)勢(shì)，特別是mPrec值和mRec值在測(cè)試集上分別高達(dá)75.1%、74.9%，說(shuō)明了雙邊特征學(xué)習(xí)和相似度量策略的有效性。

2.4.2 Scannet數(shù)據(jù)集

在Scannet（v2）數(shù)據(jù)集中的測(cè)試場(chǎng)景上進(jìn)行點(diǎn)云實(shí)例分割，以IoU閾值為0.25時(shí)的平均精確率（mAP@0.25）、IoU閾值為0.5時(shí)的平均精確率（mAP@0.5）、平均精確率（mAP）和平均運(yùn)行時(shí)間作為評(píng)價(jià)指標(biāo)。可以看出本文所提3D-BSNet相較于主流的proposal-free方法OccuSeg提高了9.6%mAP，相較于proposal方法的3D-SIS和3D-Bonet分別提高了37.8%mAP和28.6%mAP，測(cè)試集的運(yùn)行效率也明顯高于其他模型，Scannet（v2）數(shù)據(jù)集共設(shè)置312個(gè)測(cè)試場(chǎng)景，3D-BSNet只需要115 s就可以完成這些場(chǎng)景的實(shí)例分割預(yù)測(cè)，平均單個(gè)場(chǎng)景的運(yùn)行時(shí)間達(dá)369 ms。雙邊特征提取、特征聚合和相似度量分別需要125 ms、109 ms、135 ms。對(duì)比網(wǎng)絡(luò)中，3D-SIS以三維幾何圖形和多視圖二維彩色圖像為輸入，通過(guò)投影結(jié)合二維和三維特征來(lái)預(yù)測(cè)邊界框和實(shí)例掩碼，數(shù)據(jù)轉(zhuǎn)換占據(jù)大量的工作，平均運(yùn)行時(shí)間比3D-BSNet多124 s。3D-Bonet通過(guò)匹配真實(shí)框和預(yù)測(cè)框回歸邊界預(yù)測(cè)框，但滑動(dòng)窗口預(yù)測(cè)邊界框復(fù)雜性高，耗費(fèi)大量的額外計(jì)算，運(yùn)行效率低且難以返回細(xì)粒度實(shí)例分割結(jié)果。OccuSeg以三維幾何特征為輸入，設(shè)置空間感知信號(hào)提取每個(gè)實(shí)例占用體素空—間的大小，缺乏對(duì)語(yǔ)義特征的約束，計(jì)算量大且運(yùn)行效率不高。相比于對(duì)比網(wǎng)絡(luò)，3D-BSNet借助于雙邊特征學(xué)習(xí)模塊可以有效地挖掘局部細(xì)粒度特征，又借助于輕量級(jí)相似度量模塊可以高效地完成實(shí)例分割預(yù)測(cè)。

圖4為Scannet（v2）數(shù)據(jù)集中五個(gè)房間的實(shí)例分割可視化效果對(duì)比。圖4（a）為真實(shí)標(biāo)簽，也是網(wǎng)絡(luò)訓(xùn)練和測(cè)試的參考標(biāo)準(zhǔn)，圖4（b）為SSTNet的實(shí)例分割預(yù)測(cè)結(jié)果，圖4（c）為3D-BSNet的預(yù)測(cè)結(jié)果。

由五組場(chǎng)景圖可以看出，相比于SSTNet，3D-BSNet能夠輸出更加細(xì)粒度的實(shí)例分割結(jié)果。從第1個(gè)和第2個(gè)場(chǎng)景中可以看出，墻上的窗戶與背景墻具有相近的空間位置關(guān)系，SSTNet將窗戶劃分為背景，而3D-BSNet通過(guò)雙邊特征傳遞可以有效地區(qū)分背景墻和窗戶，不同窗戶實(shí)例也可以精確分割。第3個(gè)場(chǎng)景相對(duì)雜亂，SSTNet對(duì)背景墻及桌邊的分割效果并不好。第4個(gè)場(chǎng)景中浴缸和水槽上有較多雜物，雜物本就包含多種幾何屬性特征，SSTNet雖然可以精確分割出浴缸主體邊界，但浴缸頭部處包含一些并未進(jìn)行標(biāo)注的實(shí)例對(duì)象（如洗漱用品），SSTNet模型將其識(shí)別為某一實(shí)例。類(lèi)似這種情況也出現(xiàn)在這一場(chǎng)景中的水槽周?chē)疚姆椒ㄒ灿羞@一問(wèn)題，但相較于SSTNet程度更輕，對(duì)未標(biāo)注的實(shí)例對(duì)象誤差率較低。對(duì)于第5個(gè)場(chǎng)景的相鄰椅子實(shí)例，采用分層聚合方式的SSTNet未識(shí)別出屬于不同實(shí)例，分割效果不好，但3D-BSNet對(duì)其精度有明顯的提升，可以精確地分割出相鄰椅子屬于不同實(shí)例。原因在于3D-BSNet在特征提取過(guò)程中更好地挖掘了點(diǎn)云數(shù)據(jù)局部區(qū)域的細(xì)粒度信息，并通過(guò)雙邊注意力機(jī)制有效地增強(qiáng)了點(diǎn)云特征，從而提高了網(wǎng)絡(luò)識(shí)別復(fù)雜形狀物體的能力。

由圖5可視化分割結(jié)果可以看出，3D-BSNet具有提取局部信息的能力，在室內(nèi)場(chǎng)景下密度不均勻的點(diǎn)云數(shù)據(jù)中依然有著較好的實(shí)例分割結(jié)果。第1個(gè)相對(duì)簡(jiǎn)單場(chǎng)景中的預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽幾乎無(wú)差別，對(duì)第2個(gè)場(chǎng)景中的門(mén)邊界和第3個(gè)場(chǎng)景的水槽分割存在些許誤差。可視化結(jié)果的呈現(xiàn)借助于解析文件工具及Open3D，是個(gè)動(dòng)態(tài)立體的結(jié)果，從其他角度看場(chǎng)景3的分割誤差時(shí)發(fā)現(xiàn)，水槽邊界能夠顯式分割，但水槽上方的雜物分割結(jié)果存在少許誤差，網(wǎng)絡(luò)將雜物的一部分預(yù)測(cè)為背景用黑色點(diǎn)標(biāo)注并返回。這說(shuō)明本文方法對(duì)干擾信息的容忍度不夠，魯棒性有待提高。第4個(gè)場(chǎng)景相對(duì)復(fù)雜，椅子實(shí)例較多且擺放不整齊，加大了網(wǎng)絡(luò)提取特征的難度，本文方法對(duì)該場(chǎng)景的分割效果大體上幾乎相同，僅存在略微的誤差。第5個(gè)場(chǎng)景的單側(cè)門(mén)框邊未識(shí)別出，可能由于數(shù)據(jù)集在標(biāo)注時(shí)未對(duì)門(mén)框邊進(jìn)行統(tǒng)一，有些場(chǎng)景門(mén)框未進(jìn)行標(biāo)注，導(dǎo)致網(wǎng)絡(luò)對(duì)這一類(lèi)別的特征學(xué)習(xí)不足。另外，3D-BSNet屬于proposal-free類(lèi)別的實(shí)例分割方法，沒(méi)有明確實(shí)例對(duì)象的邊界，面對(duì)多目標(biāo)的雜亂場(chǎng)景容易產(chǎn)生邊界定位錯(cuò)誤，對(duì)此下一步的研究可考慮借鑒邊界感知［30］機(jī)制來(lái)區(qū)分邊界處點(diǎn)的實(shí)例標(biāo)簽。邊界感知的本質(zhì)是通過(guò)引入輸入點(diǎn)云的邊界語(yǔ)義信息，提高網(wǎng)絡(luò)的邊界感知能力。在特征學(xué)習(xí)過(guò)程中添加邊界感知學(xué)習(xí)模塊，有利于利用細(xì)節(jié)邊界信息來(lái)增強(qiáng)實(shí)例分割的細(xì)粒度。

2.5 消融實(shí)驗(yàn)

2.5.1 雙邊特征提取

表3展示了在Scannet（v2）數(shù)據(jù)集上疊加不同特征的消融實(shí)驗(yàn)結(jié)果，以說(shuō)明雙邊特征提取的有效性。其中第三組實(shí)驗(yàn)為3D-BSNet的完整結(jié)構(gòu)，第二組實(shí)驗(yàn)是在所構(gòu)建網(wǎng)絡(luò)的基礎(chǔ)上移除了幾何特征提取支路，第一組實(shí)驗(yàn)移除了語(yǔ)義特征提取支路。評(píng)估指標(biāo)采用IoU閾值為0.5的平均精確度mAP@0.5。

從表中結(jié)果可以看出，在單獨(dú)使用幾何特征提取或語(yǔ)義特征提取時(shí)，精確度的結(jié)果不如將兩者相結(jié)合得到的結(jié)果。方法3使用多層感知機(jī)和3D SSC-UNet并行提取點(diǎn)云的幾何特征和語(yǔ)義特征，相比方法1只輸入單邊幾何特征和方法2只輸入語(yǔ)義特征有明顯的提升，mAP分別提升了3.2%、1.8%，結(jié)果表明點(diǎn)云數(shù)據(jù)的幾何特征和語(yǔ)義特征能夠相互補(bǔ)充，為精細(xì)化實(shí)例分割提供有利的基礎(chǔ)，同時(shí)也證明了雙邊特征提取的有效性。

2.5.2 雙邊注意力機(jī)制

表4展示了在Scannet（v2）數(shù)據(jù)集上疊加不同注意力機(jī)制的消融實(shí)驗(yàn)結(jié)果，以說(shuō)明雙邊注意力機(jī)制的有效性。其中第三組實(shí)驗(yàn)為3D-BSNet的完整結(jié)構(gòu)，第二組實(shí)驗(yàn)是在所構(gòu)建網(wǎng)絡(luò)的基礎(chǔ)上移除了空間注意力分支，第一組實(shí)驗(yàn)移除了通道注意力分支。評(píng)估指標(biāo)采用IoU閾值為0.5的平均精確度mAP@0.5。

從表中結(jié)果可以看出，方法3在Scannet（v2）數(shù)據(jù)集上的mAP比方法1高出2.3個(gè)百分點(diǎn)，驗(yàn)證了空間注意力分支的有效性。原因在于空間注意力分支能夠在局部鄰域內(nèi)學(xué)習(xí)到任意兩個(gè)特征相似的點(diǎn)的深層次語(yǔ)義信息，從而使得每個(gè)點(diǎn)的特征都得到一定程度的增強(qiáng)。方法3在Scannet（v2）數(shù)據(jù)集上的mAP比方法2高出1.8個(gè)百分點(diǎn)，因?yàn)樵诩尤胪ǖ雷⒁饬Ψ种Ш螅軌蛲ㄟ^(guò)最大池化和平均池化操作來(lái)聚合局部鄰域特征，從而增強(qiáng)有用通道的權(quán)重，但由于池化操作的局限性使得通道注意力分支對(duì)點(diǎn)云實(shí)例分割的提升效果不如空間注意力分支。

3 結(jié)束語(yǔ)

針對(duì)三維場(chǎng)景的實(shí)例分割，本文從點(diǎn)云數(shù)據(jù)的高維特征學(xué)習(xí)和相似度量?jī)蓚€(gè)方面入手，提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建了雙邊特征和相似度量模塊，并引入雙邊維度的注意力機(jī)制，充分捕獲并增強(qiáng)點(diǎn)云數(shù)據(jù)的語(yǔ)義特征和幾何特征。利用高維特征嵌入空間中點(diǎn)與點(diǎn)之間的關(guān)聯(lián)關(guān)系，直接返回實(shí)例分割預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文所提的3D-BSNet客觀指標(biāo)優(yōu)于多個(gè)對(duì)比方法，能夠?qū)崿F(xiàn)細(xì)粒度實(shí)例分割效果。同時(shí)本文所訓(xùn)練的模型可以應(yīng)用于機(jī)器人自主導(dǎo)航領(lǐng)域，將激光雷達(dá)安裝在機(jī)器人平臺(tái)上，通過(guò)實(shí)時(shí)采集的三維數(shù)據(jù)判斷環(huán)境中的可行區(qū)域和障礙物，從而實(shí)現(xiàn)機(jī)器人在室內(nèi)場(chǎng)景下的自主導(dǎo)航和避障；也可應(yīng)用于自動(dòng)駕駛領(lǐng)域，為車(chē)輛提供用于理解周?chē)h(huán)境的高層次語(yǔ)義信息，從而實(shí)現(xiàn)車(chē)輛的高質(zhì)量視覺(jué)定位，提高場(chǎng)景感知能力。

參考文獻(xiàn)：

［1］張碩，葉勤，史婧，等.改進(jìn)RangeNet+損失函數(shù)的車(chē)載點(diǎn)云小目標(biāo)語(yǔ)義分割方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2021，33（5）：704-711.（Zhang Shuo，Ye Qin，Shi Jing，et al.A semantic segmentation method of in-vehicle small targets point cloud based on improved RangeNet+ loss function［J］.Journal of Computer-Aided Design amp; Computer Graphics，2021，33（5）：704-711.）

［2］Li Ying，Ma Lingfei，Zhong Zilong，et al.Deep learning for LiDAR point clouds in autonomous driving：a review［J］.IEEE Trans on Neural Networks and Learning Systems，2020，32（8）：3412-3432.

［3］何康輝，肖志勇.LR UNet：輕量級(jí)腦腫瘤快速語(yǔ)義分割網(wǎng)絡(luò)［J］.中國(guó)圖象圖形學(xué)報(bào)，2021，26（9）：2233-2242.（He Kanghui，Xiao Zhiyong.LRUNet：lightweight brain tumor fast semantic segmentation network［J］.Chinese Journal of Image and Graphics，2021，26（9）：2233-2242.）

［4］Qi C R，Liu Wei，Wu Chenxia，et al.Frustum PointNets for 3D object detection from RGB-D data［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2018：918-927.

［5］Guo Yulan，Wang Hanyun，Hu Qingyong，et al.Deep learning for 3D point clouds：a survey［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，43（12）：4338-4364.

［6］李海生，武玉娟，鄭艷萍，等.基于深度學(xué)習(xí)的三維數(shù)據(jù)分析理解方法研究綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2020，43（1）：41-63.（Li Hai-sheng，Wu Yujuan，Zheng Yanping，et al.A review on the understan-ding method of 3D data analysis based on deep learning［J］.Chinese Journal of Computers，2020，43（1）：41-63.）

［7］Li Yi，Wang Zhao，He Wang，et al.GSPN：generative shape proposal network for 3D instance segmentation in point cloud［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Wa-shington DC：IEEE Computer Society，2019：3947-3956.

［8］Hou Ji，Dai A，Niener M.3D-SIS：3D semantic instance segmentation of RGB-D scans［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2019：4421-4430.

［9］Yang Bo，Wang Jianan，Clark R，et al.Learning object bounding boxes for 3D instance segmentation on point clouds［C］// Advances in Neural Information Processing Systems.Cambridge，MA：MIT Press，2019：6740-6749.

［10］Pham Q H，Nguyen T，Hua B S，et al.JSIS3D：joint semantic-instance segmentation of 3D point clouds with multi-task pointwise networks and multi-value conditional random fields［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2019：8827-8836.

［11］Wang Weiyue，Yu R，Huang Q，et al.SGPN：similarity group proposal network for 3D point cloud instance segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2018：2569-2578.

［12］Qi C R，Su H，Mo K，et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：652-660.

［13］Lahoud J，Ghanem B，Pollefeys M，et al.3D instance segmentation via multi-task metric learning［C］//Proc of IEEE International Confe-rence on Computer Vision.Washington DC：IEEE Computer Society，2019：9256-9266.

［14］Jiang Li，Zhao Hengshuang，Shi Shaoshuai，et al.PointGroup：dual-set point grouping for 3D instance segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2020：4867-4876.

［15］Wang Xinlong，Liu Shu，Shen Xiaoyong，et al.Associatively segmenting instances and semantics in point clouds［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2019：4096-4105.

［16］Zhao Lin，Tao Wenbing.JSNet：joint instance and semantic segmentation of 3D point clouds［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2020：12951-12958.

［17］Graham B，Engelcke M，Maaten L V.3D semantic segmentation with submanifold sparse convolutional networks［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2018：1152-1090.

［18］Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2015，39（4）：640-651.

［19］吳軍，崔玥，趙雪梅，等.SSA-PointNet+：空間自注意力機(jī)制下的3D點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2022，34（3）：437-448.（Wu Jun，Cui Yue，Zhao Xuemei，et al.SSA-PointNet+：a space self-attention CNN for the semantic segmentation of 3D point cloud［J］.Journal of Computer-Aided Design amp; Computer Graphics，2022，34（3）：437-448.）

［20］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Cambridge，MA：MIT Press，2017：6000-6010.

［21］Tan Zhixing，Wang Mingxuan，Xie Jun，et al.Deep semantic role labeling with self-attention［C］//Proc of National Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2017：4929-4936.

［22］Wang Yude，Zhang Jie，Kan Meina，et al.Self-supervised equivariant attention mechanism for weakly supervised semantic segmentation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2020：12275-12284.

［23］Dai A，Chang A X，Savva M，et al.ScanNet：richly-annotated 3D reconstructions of indoor scenes［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：5828-5839.

［24］Armeni I，Sener O，Zamir A R，et al.3D semantic parsing of large-scale indoor spaces［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：1534-1543.

［25］Engelmann F，Bokeloh M，F(xiàn)athi A，et al.3D-MPA：multi proposal aggregation for 3D semantic instance segmentation［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2020：9028-9037.

［26］Chen Shaoyu，F(xiàn)ang Jiemin，Zhang Qian，et al.Hierarchical aggregation for 3D instance segmentation［C］//Proc of IEEE/CVF International Conference on Computer Vision.Washington DC：IEEE Computer Society，2021：1074-1080.

［27］Liang Zhihao，Li Zhihao，Xu Songcen，et al.Instance segmentation in 3D scenes using semantic superpoint tree networks［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2021：1520-1860.

［28］Han Lei，Zheng Tian，Xu Lan，et al.OccuSeg：occupancy-aware 3D instance segmentation［C］//Proc of IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2020：2940-2949.

［29］關(guān)柏良，周凡，林淑金，等.面向三維模型分割的邊界感知點(diǎn)云神經(jīng)網(wǎng)絡(luò)［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2020，32（1）：147-155.（Guan Boliang，Zhou Fan，Lin Shujin，et al.Boundary-aware point based deep neural network for shape segmentation［J］.Journal of Computer-Aided Design amp; Computer Graphics，2020，32（1）：147-155.

［30］Girshick R，Donahue J，Darrell T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Wa-shington DC：IEEE Computer Society，2014：1580-1598.