基于特征增強(qiáng)的三維點(diǎn)云語義分割

魯 斌，柳杰林*

（1.華北電力大學(xué) 計(jì)算機(jī)系，河北 保定 071003；2.復(fù)雜能源系統(tǒng)智能計(jì)算教育部工程研究中心（華北電力大學(xué)），河北 保定 071003）

0 引言

在計(jì)算機(jī)視覺領(lǐng)域三維（Three-Dimensional，3D）點(diǎn)云一直是研究熱點(diǎn)，其中三維點(diǎn)云的語義分割是極為關(guān)鍵的一環(huán)，不僅對三維點(diǎn)云場景重建［1］和場景修復(fù)補(bǔ)全［2］等下游任務(wù)起著關(guān)鍵作用，更是在生物醫(yī)學(xué)［3］、自動(dòng)駕駛［4］和虛擬現(xiàn)實(shí)［5］等領(lǐng)域具有重要的應(yīng)用價(jià)值。點(diǎn)云的采樣不規(guī)則性、密度不均勻性和剛體變換的旋轉(zhuǎn)性等特點(diǎn)，導(dǎo)致了語義分割任務(wù)困難，阻礙了它在上述應(yīng)用場景的發(fā)展。

利用提取形狀幾何屬性的空間分布等手段的傳統(tǒng)點(diǎn)云分割方法［6-8］不再適合大型點(diǎn)云數(shù)據(jù)的處理。將三維點(diǎn)云映射到二維空間［9］、將點(diǎn)云體素化［10］和將三維點(diǎn)云投影成多視圖［11］等方法雖然可以勝任點(diǎn)云語義分割任務(wù)，但計(jì)算量過大，忽略了點(diǎn)云數(shù)據(jù)原本的數(shù)據(jù)結(jié)構(gòu)特點(diǎn)，造成了信息的丟失。Qi 等［12］開創(chuàng)性地提出了直接處理不規(guī)則點(diǎn)云數(shù)據(jù)的PointNet 架構(gòu)，通過對稱函數(shù)和空間變換網(wǎng)絡(luò)分別解決了點(diǎn)云的無序性問題和旋轉(zhuǎn)性問題，并使用共享權(quán)重卷積實(shí)現(xiàn)對特征的提取；但PointNet 只關(guān)注了點(diǎn)云的全局特征，沒有對點(diǎn)云局部特征以及存在的幾何關(guān)系進(jìn)行處理。PointNet++［13］通過分層的思想實(shí)現(xiàn)了對點(diǎn)云局部特征的關(guān)注，但仍然缺少對點(diǎn)云幾何特性的利用。目前點(diǎn)云語義分割的主流算法多是基于上述兩個(gè)網(wǎng)絡(luò)的改進(jìn)策略，如PointConv（deep Convolutional networks on 3D Point clouds）［14］提出了密度重加權(quán)卷積的策略；PointNGCNN（deep Convolutional Networks on 3D Point clouds with Neighborhood Graph filters）［15］構(gòu)造鄰域圖表示點(diǎn)間的聯(lián)系，并通過切比雪夫多項(xiàng)式提取鄰域圖中包含的幾何特征；SO-Net（Self-Organizing Network）［16］同樣利用分層的思想，通過構(gòu)建自組織映射模擬點(diǎn)云的空間分布。

盡管這些主流網(wǎng)絡(luò)有效地解決了點(diǎn)云語義分割任務(wù)中存在的一些問題，但仍具有一定的共同局限性，即在對三維點(diǎn)云重要空間幾何特征的獲取與利用方面考慮不足。本文針對上述問題給出了解決方案并提出了一種基于特征增強(qiáng)的點(diǎn)云語義分割網(wǎng)絡(luò)，賦予網(wǎng)絡(luò)點(diǎn)云數(shù)據(jù)的幾何特性感知能力，并引入注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)的預(yù)測性能，有效地解決了上述問題，提升了分割效果。

1 本文方法

本文提出了一個(gè)新的網(wǎng)絡(luò)架構(gòu)處理復(fù)雜場景的點(diǎn)云語義分割任務(wù)，圖1 為所提網(wǎng)絡(luò)的整體架構(gòu)。網(wǎng)絡(luò)以原始點(diǎn)云數(shù)據(jù)作為輸入，首先經(jīng)過點(diǎn)云的幾何特征感知（Geometric Feature Sensing Of Point clouds，GFSOP）模塊感知點(diǎn)間的幾何結(jié)構(gòu)特性，然后送入分組采樣（Set Abstraction，SA）模塊完成采樣、分組和特征提取，將GFSOP 模塊和SA 模塊作為下采樣組合，如圖1 所示，數(shù)據(jù)順序通過下_1、下_2 和下_3 這3 個(gè)組合結(jié)構(gòu)完成下采樣過程，然后通過上_3、上_2 和上_1 這3個(gè)反向插值結(jié)構(gòu)以及上下采樣結(jié)構(gòu)相互對應(yīng)的skip1_3、skip2_2 和skip3_1 跳躍連接完成上采樣過程；最后由雙注意力的融合預(yù)測模塊完成預(yù)測分割任務(wù)。

圖1 本文網(wǎng)絡(luò)架構(gòu)Fig.1 Architecture of the proposed network

1.1 幾何特征感知

三維點(diǎn)云數(shù)據(jù)具有豐富的幾何域特征，其中投影密度和幾何特征在3D形狀分析中發(fā)揮著重要的作用［17］。現(xiàn)主流語義分割網(wǎng)絡(luò)對點(diǎn)云幾何特性的關(guān)注存在一定的不足，然而點(diǎn)間的幾何結(jié)構(gòu)包含了豐富的語義信息，對分割工作會(huì)起到非常重要的作用。隨機(jī)選取局部點(diǎn)云，存在的幾何結(jié)構(gòu)如圖2所示。

圖2 點(diǎn)云幾何關(guān)系示意圖Fig.2 Schematic diagram of geometric relationships between point clouds

1.2 幾何特征感知模塊

本文設(shè)計(jì)GFSOP 模塊增強(qiáng)網(wǎng)絡(luò)對點(diǎn)云幾何特性的感知能力。如圖3 所示，在一個(gè)GFSOP 模塊中，受PointSIFT（SIFT-like networks module on 3D Point clouds）［18］啟發(fā)，首先采用8 鄰域查詢最近鄰點(diǎn)（Stacked 8-Neighborhood，S8N）算法提取中心采樣點(diǎn)周圍8 個(gè)方向的最近鄰點(diǎn)信息，然后采用空間信息編碼方法對提取到的最近鄰點(diǎn)進(jìn)行空間特征編碼，最后通過在x、y、z軸方向上進(jìn)行卷積的方法實(shí)現(xiàn)進(jìn)一步的特征融合。實(shí)驗(yàn)結(jié)果表明，該模塊可有效優(yōu)化網(wǎng)絡(luò)的幾何特征感知能力，提高網(wǎng)絡(luò)的語義分割精度，并在復(fù)雜局部結(jié)構(gòu)和稀疏點(diǎn)云數(shù)據(jù)的環(huán)境下，較其他網(wǎng)絡(luò)表現(xiàn)出更好的性能。

在GFSOP 模塊中，與常用的K最近鄰查找方法不同，中心點(diǎn)Pi的最近鄰點(diǎn)使用S8N 算法得到。圖4 為該方法原理示意圖，該點(diǎn)云簇為真實(shí)場景截取所得，其中Pi是通過隨機(jī)采樣的方法確定的任意中心點(diǎn)；以中心點(diǎn)為原點(diǎn)，以三維點(diǎn)云空間中的x、y、z這3 個(gè)坐標(biāo)軸面為切分面，將中心點(diǎn)周圍的空間劃分為8 個(gè)小立方體，也就是將中心點(diǎn)周圍空間劃分為了8 個(gè)不同方向上相等的小區(qū)域；設(shè)定查詢半徑r，在劃分后的每個(gè)小立方體中查詢r(jià)內(nèi)距離中心點(diǎn)Pi最近的8 個(gè)鄰域點(diǎn)，得到該方法下采樣到的8 個(gè)不同方向上的最近鄰點(diǎn)。當(dāng)某個(gè)方向上查詢區(qū)域內(nèi)沒有可選取的鄰域點(diǎn)時(shí)，取中心點(diǎn)的特征作為該方向上鄰域點(diǎn)特征。

圖4 S8N算法采樣示意圖Fig.4 Schematic diagram of S8N algorithm sampling

使用S8N 算法采樣得到的8 個(gè)最近鄰點(diǎn)不僅是簡單的位置坐標(biāo)，它們與中心點(diǎn)之間具有很強(qiáng)的位置信息關(guān)聯(lián)性和幾何關(guān)系，包含了豐富的語義信息。本文對所得最近鄰點(diǎn)進(jìn)行編碼，聚合各鄰近點(diǎn)與中心點(diǎn)的空間語義信息，達(dá)到局部空間特征增強(qiáng)的效果。給定中心點(diǎn)pi、鄰近點(diǎn)pj，定義空間信息編碼規(guī)則如式（1）：

其中：Tencode表示鄰近點(diǎn)編碼后的新特征，Toriginal表示鄰近點(diǎn)的原始特征 ‖，表示特征連接操作，⊕表示連接操作，‖pi-pj‖表示最近鄰點(diǎn)與中心點(diǎn)的歐氏距離，MLP（）為多層感知機(jī)。對中心點(diǎn)坐標(biāo)、最近鄰點(diǎn)坐標(biāo)和兩點(diǎn)間歐氏距離進(jìn)行空間位置信息編碼并與原始特征聚合得到各鄰近點(diǎn)的新特征，從中心點(diǎn)和最近鄰點(diǎn)的空間坐標(biāo)信息和空間位置信息中得到空間幾何特性。

得到的新特征維度由n×d轉(zhuǎn)化為了n×8×d，如式（2）～（4）所示，分別在三維空間中x、y、z軸方向上做卷積操作，給定特征M∈R2×2×2×d，前3 個(gè)維度2×2×2 分別表示該點(diǎn)在8 個(gè)子空間上的編碼。以x軸卷積為例，輸入數(shù)據(jù)維度為2×2×（2×d）（長×寬×通道），x軸可視為通道數(shù)為2×d的卷積輸入“通道”，使用d個(gè)大小為1×1×（2×d）的卷積核，卷積完成后特征維度整合為1×2×2×d。同樣方法完成在y軸和z軸方向的卷積，得到最終輸出特征Mxyz。

其中：Wx、Wy、Wz表示待優(yōu)化的卷積權(quán)重；L（-）代表ReLU［BN（-）］操作，即經(jīng)過批歸一化（Batch Normalization，BN）層和修正線性單元（Rectified Linear Unit，ReLU）激活函數(shù)。每個(gè)點(diǎn)經(jīng)過三階段的卷積最終都會(huì)得到新的特征向量Mxyz，該向量融合了不同方向的空間信息，豐富了局部特征，有利于提高網(wǎng)絡(luò)學(xué)習(xí)空間幾何特性的能力。

PointNet++［13］采用分層提取局部特征的思想，設(shè)計(jì)了多層SA 模塊結(jié)構(gòu)提取點(diǎn)云深層次的局部特征，同時(shí)使用多尺度分組（Multi-Scale Grouping，MSG）［13］特征融合方式解決了在點(diǎn)云分布不均勻時(shí)，在密集區(qū)域?qū)W習(xí)出的特征不適合稀疏區(qū)域的問題。本文網(wǎng)絡(luò)充分利用分層特征提取的思想，采用多層GFSOP 模塊和SA 模塊組合結(jié)構(gòu)，GFSOP 模塊通過幾何特征感知機(jī)制完成了點(diǎn)云幾何結(jié)構(gòu)特征的捕獲，再通過SA模塊的特征提取操作獲得當(dāng)前層的特征，其中通過最大池化（Max-Pooling，MP）實(shí)現(xiàn)局部信息融合，然后將得到的當(dāng)前層特征再順序送入兩層該組合結(jié)構(gòu)。對于單層該組合結(jié)構(gòu)，實(shí)現(xiàn)對采樣點(diǎn)8 個(gè)方向鄰域內(nèi)的點(diǎn)進(jìn)行特征提取，因此具有8個(gè)方向下鄰域的感受野，每個(gè)鄰域?qū)?yīng)1 個(gè)特征點(diǎn)，隨著三層該組合結(jié)構(gòu)的堆疊，各層的點(diǎn)對應(yīng)了上一層8 個(gè)方向鄰域的特征點(diǎn)，每一層都具有了不同的感受野，因此每一層提取到的是不同尺度的幾何特征。網(wǎng)絡(luò)在提取到點(diǎn)云局部特征的同時(shí)獲得了感知不同尺度幾何信息的多尺度感知能力，使網(wǎng)絡(luò)在挖掘點(diǎn)云的局部特征關(guān)系方面表現(xiàn)出更加出色的性能。單層組合特征提取結(jié)構(gòu)如圖5 所示。

圖5 單層組合特征提取結(jié)構(gòu)Fig.5 Structure of single-layer combined feature extraction

1.3 雙注意力的融合預(yù)測

本文網(wǎng)絡(luò)設(shè)計(jì)了基于雙注意力的融合預(yù)測模塊，將空間注意力模塊（Spatial Attention Module，SAM）［19］和通道注意力模塊（Channel Attention Module，CAM）［19］融合用以預(yù)測分割結(jié)果，將插值上采樣所得可判別特征作為輸入特征同時(shí)送入SAM 和CAM。特征通過SAM 獲得具有權(quán)重的空間特征關(guān)系，強(qiáng)化空間特征的關(guān)聯(lián)性；同時(shí)通過CAM 得到具有權(quán)重的通道間的關(guān)聯(lián)性表示，突出通道間的相互依賴關(guān)系。最后將特征融合，增強(qiáng)空間和通道維度中的全局特征，并通過非線性變換預(yù)測每個(gè)點(diǎn)的語義標(biāo)簽，輸出每個(gè)點(diǎn)的分?jǐn)?shù)，完成分割任務(wù)。模塊結(jié)構(gòu)如圖6 所示。

圖6 雙注意力的融合預(yù)測模塊結(jié)構(gòu)Fig.6 Structure of fusion prediction module with dual attention

本文SAM 充分考慮點(diǎn)與點(diǎn)之間的關(guān)聯(lián)性，注意力權(quán)重由兩點(diǎn)間位置的相似性決定，相似性越高，分配的權(quán)重越高，選擇性地聚集每個(gè)位置的特征，然后對位置特征進(jìn)行更新，最后加權(quán)聚合所有位置特征，得到具有更強(qiáng)幾何特征的特征表達(dá)。如式（5）（6）所示，給定輸入特征MC×H×W，經(jīng)過帶有BN層和ReLU 操作的卷積操作后再維度轉(zhuǎn)換生成新的特征圖M1、M2和M3，將特征 圖M1與特征圖M2的轉(zhuǎn)置相乘后通過Softmax 歸一化得到空間注意力映射圖SN×N，空間注意力權(quán)重表示為sij。

其中：Freshape()表示維度轉(zhuǎn)換，φ()表示帶有BN 層和ReLU 的卷積操作。

如式（7）所示，將注意力圖SN×N與特征M3做一次矩陣相乘操作獲得新的特征圖聚合空間特征，乘上權(quán)重因子α并與原始特征M相加獲得新的增強(qiáng)特征，為每個(gè)點(diǎn)原始特征與該點(diǎn)所有位置特征的加權(quán)和，提高了點(diǎn)云語義的一致性，其中α初始設(shè)置為0，通過學(xué)習(xí)完成更新。

無論是二維圖像還是三維點(diǎn)云，通道間都存在一定的映射關(guān)系，通道注意力可以提取不同通道間的相互依賴關(guān)系，從而獲取一定的語義信息，得到更豐富的全局特征。同樣對于輸入特征MC×H×W，為了保留通道間的映射關(guān)系，不對它作SAM 那樣的卷積操作，而是首先對輸入特征MC×H×W做維度轉(zhuǎn)換得到M1、M2和M3，然后將M1與M2的轉(zhuǎn)置做一次矩陣乘法，再運(yùn)用Softmax 層進(jìn)行歸一化操作后得到通道注意力映射圖XN×N，通道注意力權(quán)重xji表示第i通道對第j通道的影響，如式（8）所示。之后將XN×N與M3做矩陣乘法得到聚合了通道特征的新特征圖，乘上一個(gè)因子β并與原始特征M相加獲得新的增強(qiáng)特征，如式（9）所示。

SAM 通過學(xué)習(xí)自適應(yīng)地選擇具有更多位置語義信息的特征，通過分配不同權(quán)重，選擇性地實(shí)現(xiàn)位置信息的特征增強(qiáng)；CAM 則更多關(guān)注通道間的依賴關(guān)系，通過通道間的相關(guān)程度有選擇地聚集通道間的依賴性特征，實(shí)現(xiàn)特征增強(qiáng)。輸入特征并行通過兩個(gè)注意力模塊后，對獲得的新特征圖以及原始特征圖進(jìn)行融合處理，保留原始特征避免信息丟失，以實(shí)現(xiàn)特征增強(qiáng)的目的。再通過非線性變換生成最終預(yù)測圖，獲得分割結(jié)果。整個(gè)雙注意力預(yù)測模塊可自適應(yīng)地集成局部依賴和全局依賴，進(jìn)一步提高特征的可分辨性，在點(diǎn)云語義分割的實(shí)驗(yàn)上表現(xiàn)出魯棒性。

1.4 其他網(wǎng)絡(luò)細(xì)節(jié)

S8N 算法較常用的K最近鄰查找方法在一些情境下具有高效性和穩(wěn)定性。圖7 為S8N 算法的3D 表現(xiàn)。其中圖7（a）展示的是點(diǎn)云簇在三維空間中的八方向空間劃分，可以看出，K值的設(shè)定對K最近鄰查詢方法具有關(guān)鍵的作用，當(dāng)K值較小時(shí)，搜索到的最近鄰點(diǎn)很容易集中在一個(gè)很小的范圍，如圖7（b）中的橢圓區(qū)域，這不利于捕獲點(diǎn)的整體特征。當(dāng)使用S8N 算法時(shí)，搜索到的是圖7（b）中小箭頭所指8 個(gè)最近鄰點(diǎn)，它們分布在中心點(diǎn)周圍的8 個(gè)不同方向區(qū)域內(nèi)，有利于豐富點(diǎn)的特征表達(dá)。且S8N 算法搜索的復(fù)雜度更低，如圖7（c）所示，每次搜索只需在8 個(gè)方向中的某一方向的區(qū)域內(nèi)進(jìn)行，而K最近鄰查找方法需要在周圍所有區(qū)域內(nèi)進(jìn)行搜索。上述優(yōu)勢使得本文網(wǎng)絡(luò)在對復(fù)雜局部結(jié)構(gòu)和稀疏點(diǎn)云場景實(shí)現(xiàn)分割任務(wù)時(shí)具有較其他網(wǎng)絡(luò)更優(yōu)異的表現(xiàn)。

圖7 S8N算法的3D表現(xiàn)Fig.7 Performance of S8N algorithm in 3D space

原始SA 模塊中使用共享權(quán)重卷積層（shared-map）即多層感知機(jī)MLP（MultiLayer Perceptron）來完成點(diǎn)云局部和全局特征的提取，所有的神經(jīng)元使用相同的權(quán)重值，同時(shí)使用特征對齊網(wǎng)絡(luò)T-Net（joinT alignment Network）［12］使點(diǎn)云具有剛體變換不變性以增強(qiáng)分割效果。為了更好地提取點(diǎn)云數(shù)據(jù)更深層次和更細(xì)粒度的特征，如圖8 所示，對原始SA 模塊中特征提取部分作了優(yōu)化。首先使用卷積核為1 的一維卷積替代原來通過調(diào)整二維卷積通道數(shù)量提取不同維度特征的方法；同時(shí)將原特征提取層MLP（64，128，1 024）加深優(yōu)化為MLP（64，128，256）和MLP（256，512，1 024）兩個(gè)特征提取層，增加了將點(diǎn)云特征從128 維提取到256、512 維的卷積操作，并在兩個(gè)MLP 層間設(shè)計(jì)增加維度為（256×256）的T-Net特征對齊網(wǎng)絡(luò)，增強(qiáng)對復(fù)雜點(diǎn)云特征的提取能力，使網(wǎng)絡(luò)適應(yīng)稀疏性不同的點(diǎn)云數(shù)據(jù)分割任務(wù)，增強(qiáng)擴(kuò)展學(xué)習(xí)能力。

圖8 優(yōu)化特征提取模塊示意圖Fig.8 Schematic diagram of optimized feature extraction module

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 數(shù)據(jù)集

使用S3DIS（Stanford large-scale 3D Indoor Spaces）數(shù)據(jù)集［20］對本文網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。三維基準(zhǔn)S3DIS 數(shù)據(jù)集是由斯坦福大學(xué)開發(fā)的大尺度真實(shí)點(diǎn)云數(shù)據(jù)集，由RGB-D 傳感器對3 個(gè)建筑物內(nèi)的6 個(gè)大型室內(nèi)區(qū)域的271 個(gè)房間采集得到，具有豐富的三維室內(nèi)特征結(jié)構(gòu)，場景中每個(gè)點(diǎn)都具有坐標(biāo)信息（X，Y，Z）、歸一化坐標(biāo)和顏色信息（Red Green Blue，RGB），并帶有像素級(jí)的13 個(gè)語義標(biāo)簽（天花板、地板、桌子、椅子等）。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)

本文實(shí)驗(yàn)在UBUNTU18.04.4、CUDA11.0 環(huán)境下，使用單個(gè)GeForce RTX 2080Ti GPU 進(jìn)行訓(xùn)練與測試。由于實(shí)驗(yàn)設(shè)備限制，調(diào)整了批處理大小等參數(shù)以適應(yīng)環(huán)境，訓(xùn)練時(shí)的批處理大小為16，初始學(xué)習(xí)速率為0.001，采用Adam 優(yōu)化算法優(yōu)化訓(xùn)練，通過PyTorch 1.7.1 框架實(shí)現(xiàn)，本文實(shí)驗(yàn)均在相同的實(shí)驗(yàn)環(huán)境下進(jìn)行。

2.3 評價(jià)指標(biāo)

評估指標(biāo)采用點(diǎn)云語義分割領(lǐng)域常用的平均交并比（mean Intersection over Union，mIoU）、類別平均準(zhǔn)確度（mean Accuracy，mAcc）和總體準(zhǔn)確度（Overall Accuracy，OA）。OA 表示預(yù)測正確的點(diǎn)的數(shù)量在全部點(diǎn)云數(shù)量中的占比；mAcc 表示各類別準(zhǔn)確度的平均值；mIoU 是語義分割的標(biāo)準(zhǔn)度量，表示模型對每一類預(yù)測的結(jié)果和真實(shí)值的交集與并集的比值，之后求和再計(jì)算平均。計(jì)算公式如下：

其中：k表示類別數(shù)，i表示真實(shí)類別，j表示預(yù)測類別，nii表示類別預(yù)測正確的點(diǎn)的數(shù)量，nij表示假負(fù)的數(shù)量，nji表示假正的數(shù)量。3 個(gè)指標(biāo)值均為越高表示分割效果越佳。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)結(jié)果分析

為了測試網(wǎng)絡(luò)在整個(gè)數(shù)據(jù)集整體上的性能表現(xiàn)，體現(xiàn)模型真實(shí)性能，本文采用6 折交叉驗(yàn)證方法進(jìn)行實(shí)驗(yàn)。將S3DIS 數(shù)據(jù)集中6 個(gè)area 區(qū)域排列組合劃分為6 組實(shí)驗(yàn)，保證數(shù)據(jù)集中所有數(shù)據(jù)都可作為測試集進(jìn)行測試。

本文網(wǎng)絡(luò)與基準(zhǔn)網(wǎng)絡(luò)的實(shí)驗(yàn)評價(jià)指標(biāo)對比如表1 所示。可以看出，本文網(wǎng)絡(luò)在OA、mAcc 和mIoU 這3 個(gè)指標(biāo)上分別達(dá)到84.1%、71.0%和58.5%，相較于基準(zhǔn)網(wǎng)絡(luò)PointNet++，分別提升了3.1、3.9 和5.7 個(gè)百分點(diǎn)，與RSNet（Recurrent Slice Network）和DGCNN（Dilate Gated Convolutional Neural Network）相比均有顯著提升，表明本文所提幾何特征感知、雙注意力融合預(yù)測下的新網(wǎng)絡(luò)在點(diǎn)云語義分割任務(wù)中具有更優(yōu)秀的表現(xiàn)，可以顯著提高整體分割效果。

表1 S3DIS數(shù)據(jù)集上的語義分割實(shí)驗(yàn)結(jié)果 單位：%Tab.1 Experimental results of semantic segmentation on S3DIS dataset unit：%

本文網(wǎng)絡(luò)與其他網(wǎng)絡(luò)在13 個(gè)類別物體上的分割精度對比如圖9 所示。可以看出，本文網(wǎng)絡(luò)在9 個(gè)類別上的分割精度都達(dá)到了最優(yōu)，表明所提網(wǎng)絡(luò)雙注意力預(yù)測方法較其他網(wǎng)絡(luò)預(yù)測方法具有顯著的優(yōu)勢，通過雙注意力預(yù)測模塊實(shí)現(xiàn)了特征增強(qiáng)，利用更多顯著性特征實(shí)現(xiàn)更加準(zhǔn)確的分割；其中對椅子、桌子的預(yù)測表現(xiàn)最好，這是由于此類型物體具有更多的空間結(jié)構(gòu)，本文設(shè)計(jì)的幾何特征感知模塊能幫助網(wǎng)絡(luò)捕捉空間幾何特征，提供多尺度的具有辨別力的幾何語義信息，有效提升了對具有復(fù)雜立體結(jié)構(gòu)物體的識(shí)別分割能力；網(wǎng)絡(luò)對沙發(fā)的分割精度明顯偏低，這是由于數(shù)據(jù)集中沙發(fā)的樣本偏少，導(dǎo)致網(wǎng)絡(luò)不能充分學(xué)習(xí)它的相關(guān)特征。對6 折交叉實(shí)驗(yàn)過程進(jìn)行統(tǒng)計(jì)，基準(zhǔn)網(wǎng)絡(luò)PointNet++訓(xùn)練過程中每個(gè)輪次平均時(shí)間代價(jià)為64 min，測試周期平均消耗4.5 h；本文網(wǎng)絡(luò)訓(xùn)練過程中每個(gè)輪次平均時(shí)間代價(jià)為72 min，時(shí)間代價(jià)增長8 min，測試周期平均消耗4.7 h，與基準(zhǔn)網(wǎng)絡(luò)基本持平，這主要是由于網(wǎng)絡(luò)在對點(diǎn)云進(jìn)行特征提取之前增加了GFSOP 模塊感知幾何特征的過程，使得處理時(shí)間有一定程度的增加，但相較于網(wǎng)絡(luò)取得的效果，較小程度時(shí)間代價(jià)的犧牲可以接受。

圖9 13個(gè)類別物體的分割精度對比Fig.9 Comparison of segmentation accuracy for thirteen categories of objects

部分場景的語義分割實(shí)驗(yàn)結(jié)果可視化如圖10 所示。可以看出，本文網(wǎng)絡(luò)具有更加出色的表現(xiàn)，分割結(jié)果更加真實(shí)。同時(shí)，也出現(xiàn)了一定的誤分割現(xiàn)象，但相比其他網(wǎng)絡(luò)的分割結(jié)果，已有了顯著的改進(jìn)，更加接近真實(shí)場景，優(yōu)于當(dāng)前許多工作。

圖10 部分語義分割實(shí)驗(yàn)結(jié)果可視化Fig.10 Visualization of some experimental results of semantic segmentation

3.2 網(wǎng)絡(luò)性能魯棒性分析

為了進(jìn)一步說明本文網(wǎng)絡(luò)的優(yōu)越性，選取了分割難度較大的部分場景進(jìn)行驗(yàn)證。

圖11 為衛(wèi)生間場景的語義分割實(shí)驗(yàn)結(jié)果。該場景組成部分簡單，多為大面積雜物、地板、天花板、墻和門，但這些類別物體都具有平面面積大、表面光滑和結(jié)構(gòu)平整等相似性很強(qiáng)的特征，且相接邊界較廣，因此對分割邊界具有較高的要求。如圖11（b）所示門與墻壁的邊界分割細(xì)節(jié)，PointNet++分割結(jié)果中存在兩者邊界分割不準(zhǔn)確的現(xiàn)象，這是由于PointNet++采用插值上采樣的方法補(bǔ)全特征點(diǎn)，然后通過簡單的非線性操作實(shí)現(xiàn)預(yù)測分割，缺乏對點(diǎn)云全局和局部特征的充分利用；這個(gè)現(xiàn)象在本文網(wǎng)絡(luò)得到的分割結(jié)果（圖11（a））中有相當(dāng)明顯的改善，本文網(wǎng)絡(luò)利用雙注意力融合預(yù)測的方法聚集關(guān)鍵位置特征并且強(qiáng)調(diào)通道間的依賴關(guān)系，通過增加權(quán)重，實(shí)現(xiàn)了對點(diǎn)云依賴關(guān)系關(guān)鍵信息的提取與增強(qiáng)，有效地提升了邊界分割效果。

圖11 衛(wèi)生間場景的語義分割對比結(jié)果Fig.11 Comparative results of semantic segmentation of bathroom scene

圖12 為大堂場景的語義分割實(shí)驗(yàn)結(jié)果。該場景多由具有立體幾何結(jié)構(gòu)的桌子、椅子等構(gòu)成，如圖2 所示這類物體包含豐富的幾何特征，通過圖12（b）對桌子和垃圾桶的對比可以看出，PointNet++將桌子的支柱部分識(shí)別為了部分雜物和地板，垃圾桶的中間部位被識(shí)別為了椅子類別，這是由于PointNet++使用K近鄰的方法分組采樣，出現(xiàn)了采樣中心點(diǎn)周圍單一方向的點(diǎn)被劃定為最近鄰點(diǎn)的問題，缺少對全方位鄰近點(diǎn)的考慮，造成了誤分割的現(xiàn)象；本文網(wǎng)絡(luò)所設(shè)計(jì)的幾何特征感知模塊更加科學(xué)地對中心點(diǎn)周圍8 個(gè)方向進(jìn)行采樣，并通過空間信息編碼賦予網(wǎng)絡(luò)幾何特征感知的能力，有效解決了立體結(jié)構(gòu)物體的誤分割問題，具有較高的準(zhǔn)確性，保證了物體的完整性與連續(xù)性，有效地提高了分割效能。

圖12 大堂場景的語義分割對比結(jié)果Fig.12 Comparison results of semantic segmentation of lobby scene

圖13 為辦公室場景的語義分割實(shí)驗(yàn)結(jié)果。該場景較為復(fù)雜，點(diǎn)云存在密度不均勻的問題，且含有部分噪聲和離群點(diǎn)，具有很強(qiáng)的挑戰(zhàn)性。圖13（b）由上向下第3 個(gè)分割細(xì)節(jié)中的物體存在存在嚴(yán)重的密度不均現(xiàn)象，相較于PointNet++的分割結(jié)果，本文網(wǎng)絡(luò)對物體的分割完整度有顯著的提高；對比圖13（b）中間的細(xì)節(jié)，所圈部分為墻壁，由于掃描角度問題，存在離群現(xiàn)象，且周圍存在較多的噪聲，PointNet++將它誤分割為了雜物，顯然是沒有關(guān)注周圍幾何結(jié)構(gòu)信息；同樣的問題也體現(xiàn)在圖13（b）的其他分割細(xì)節(jié)上。可見，本文網(wǎng)絡(luò)對離群點(diǎn)和噪聲問題也具有較強(qiáng)的處理能力，驗(yàn)證了本文網(wǎng)絡(luò)的強(qiáng)魯棒性。

圖13 辦公室場景的語義分割對比結(jié)果Fig.13 Comparative results of semantic segmentation of office scene

從以上對比實(shí)驗(yàn)可以看出，本文網(wǎng)絡(luò)對原始點(diǎn)云的質(zhì)量沒有嚴(yán)格的先驗(yàn)要求，對密度不均勻、存在離群點(diǎn)和噪聲問題均可有效改善并得到較為準(zhǔn)確的分割效果，具有較好的適應(yīng)性，故可認(rèn)為本文網(wǎng)絡(luò)在點(diǎn)云分割任務(wù)上具有較強(qiáng)的學(xué)習(xí)擴(kuò)展能力，分割表現(xiàn)更加出色。

3.3 點(diǎn)云稀疏性實(shí)驗(yàn)

點(diǎn)云投影密度是語義分割任務(wù)中的關(guān)鍵因素，直接影響分割效果，也影響點(diǎn)云語義分割網(wǎng)絡(luò)的性能，圖14 為實(shí)驗(yàn)中點(diǎn)云立體投影密度三視圖。

圖14 點(diǎn)云立體投影密度三視圖Fig.14 Three-view drawings of density of point cloud stereo projection

為驗(yàn)證本文網(wǎng)絡(luò)對不同密度的點(diǎn)云數(shù)據(jù)具有更強(qiáng)的特征提取能力，進(jìn)行了稀疏性實(shí)驗(yàn)，對采樣的點(diǎn)云密度分別設(shè)置為4 096、2 048、1 024 和512，在PointNet、PointNet++和本文網(wǎng)絡(luò)上分別進(jìn)行實(shí)驗(yàn)，采用具有代表意義的平均交并比（mIoU）評價(jià)指標(biāo)，對比分析結(jié)果如圖15。

圖15 稀疏性實(shí)驗(yàn)結(jié)果Fig.15 Sparsity experimental results

可以看出，在點(diǎn)云密度不同的情況下，各網(wǎng)絡(luò)具有不同的分割精度，隨著點(diǎn)云密度的下降，各網(wǎng)絡(luò)均表現(xiàn)出分割效果下降的趨勢，PointNet和PointNet++都有較為明顯的下降幅度，且當(dāng)點(diǎn)云數(shù)量減少到512和256時(shí)，即當(dāng)處理稀疏點(diǎn)云時(shí)，本文網(wǎng)絡(luò)表現(xiàn)出了較強(qiáng)的穩(wěn)定性。因此認(rèn)為，本文網(wǎng)絡(luò)對復(fù)雜局部結(jié)構(gòu)和稀疏點(diǎn)云密度條件下的語義分割具有魯棒性。

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文網(wǎng)絡(luò)的分割效果，選取S3DIS 數(shù)據(jù)集 中area（1、2、3、4、6）為訓(xùn)練 集、area5 為驗(yàn)證 集，在PointNet++的基礎(chǔ)上設(shè)計(jì)了幾何特征感知模塊（+GFSOP）、空間注意力模塊（+SAM）、通道注意力模塊（+CAM）和雙注意力融合模塊（+SCAM）（Spatial and Channel Attention Module）不同模塊組合下的消融實(shí)驗(yàn)，以mIoU、OA 和mAcc 為評價(jià)指標(biāo)，表2 為不同模塊組合下的分割效果對比。

表2 不同模塊組合的消融實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Results of ablation experiments of different module combinations unit：%

可以看出，以PointNet++為基準(zhǔn)網(wǎng)絡(luò)，添加GFSOP 模塊后，通過對點(diǎn)云特征補(bǔ)充幾何語義特征，經(jīng)過分層特征抽取實(shí)現(xiàn)多尺度的特征融合，使mAcc、OA 和mIoU 均有一定的提升，分別提升1.5、1.8 和1.9 個(gè)百分點(diǎn)。在對注意力機(jī)制作用的消融實(shí)驗(yàn)中，單獨(dú)加入CAM 即僅選擇性地強(qiáng)調(diào)相互依賴的通道關(guān)系使得網(wǎng)絡(luò)在mIoU 指標(biāo)上有0.9 個(gè)百分點(diǎn)的提升，而在準(zhǔn)確度上表現(xiàn)不甚突出，但相較于單獨(dú)加入SAM 選擇性地聚集每個(gè)位置的特征，還是有一定的優(yōu)勢。總結(jié)來說，單獨(dú)加入SAM 或CAM 對網(wǎng)絡(luò)分割效果的提升并不理想；在雙注意力機(jī)制下，將空間注意力和通道注意力融合使用，既考慮點(diǎn)云數(shù)據(jù)的通道依賴關(guān)系，也考慮空間依賴關(guān)系，該網(wǎng)絡(luò)在實(shí)驗(yàn)結(jié)果上表現(xiàn)出了較好的效果，mIoU 提升至57.9%，同時(shí)OA 提升至86.5%，較分別單獨(dú)使用兩個(gè)注意力模塊OA（84.7%、85.0%）相比，有了較好的表現(xiàn)，這意味著點(diǎn)云數(shù)據(jù)的通道特征和空間特征具有一定的互補(bǔ)性，將兩種特征結(jié)合能夠有效地表征更加豐富準(zhǔn)確的語義信息，進(jìn)而提高總體語義分割精度。在同時(shí)加入GFSOP和SCAM后，網(wǎng)絡(luò)模型則有了更加優(yōu)秀的表現(xiàn)，與基準(zhǔn)網(wǎng)絡(luò)模型相比，mIoU 提高了3.6 個(gè)百分點(diǎn)，OA 提高了2.4 個(gè)百分點(diǎn)，mAcc 提高了2.8 個(gè)百分點(diǎn)，優(yōu)于消融實(shí)驗(yàn)中其余各網(wǎng)絡(luò)。上述模塊間的消融實(shí)驗(yàn)結(jié)果表明，本文網(wǎng)絡(luò)對點(diǎn)云數(shù)據(jù)具有較好的學(xué)習(xí)能力，對點(diǎn)云全局和局部特征都實(shí)現(xiàn)了有效增強(qiáng)，對語義分割任務(wù)起到了關(guān)鍵作用，有效地提升了網(wǎng)絡(luò)的性能。

4 結(jié)語

語義分割是點(diǎn)云研究領(lǐng)域的一項(xiàng)具有重要意義和挑戰(zhàn)性的工作，本文提出了一種新的點(diǎn)云語義分割網(wǎng)絡(luò)。設(shè)計(jì)了點(diǎn)云的幾何特征感知模塊，獲取更加豐富的點(diǎn)云幾何特征，并利用分層特征提取思想實(shí)現(xiàn)多尺度特征提取；通過空間注意力和通道注意力加強(qiáng)點(diǎn)與點(diǎn)之間的相互聯(lián)系，實(shí)現(xiàn)對顯著性特征的自適應(yīng)篩選，強(qiáng)化重要語義信息在預(yù)測分割時(shí)的作用。實(shí)驗(yàn)結(jié)果表明，所提網(wǎng)絡(luò)在真實(shí)點(diǎn)云室內(nèi)場景的語義分割中具有魯棒性，在復(fù)雜局部結(jié)構(gòu)和稀疏點(diǎn)云密度條件下表現(xiàn)出較強(qiáng)的穩(wěn)定性，對輸入網(wǎng)絡(luò)的原始點(diǎn)云質(zhì)量沒有嚴(yán)格的先驗(yàn)條件，具有較好的適應(yīng)性和較強(qiáng)的學(xué)習(xí)擴(kuò)展能力，在較好地處理噪聲和離群點(diǎn)的同時(shí)，也有效改善了較為普遍的分割邊界不清晰的問題。分割邊界問題是目前點(diǎn)云語義分割的瓶頸之一，具有很高的研究價(jià)值，今后擬對此問題進(jìn)行進(jìn)一步的研究；并嘗試將網(wǎng)絡(luò)推廣到更為復(fù)雜的室外場景的語義分割工作。