基于自注意力特征融合組卷積神經網絡的三維點云語義分割

楊 軍，李博贊

（1.蘭州交通大學 測繪與地理信息學院，甘肅 蘭州730070；2.蘭州交通大學 自動化與電氣工程學院，甘肅 蘭州730070）

1 引 言

近年來，3D掃描技術的發(fā)展促進了智能駕駛［1-2］和增強現實［3］等新技術的應用，對場景的準確理解已成為人工智能領域的主要研究方向。為結合三維模型表面細節(jié)信息從而提高分割精度，研究人員利用二維圖像分割算法處理規(guī)則數據的優(yōu)勢，將一組點云投影為二維圖像便于學習點云特征，并將像素級語義標簽反投影到點云獲得分割結果［4］。但是，多視圖方法會不可避免地丟失某些具有鑒別力的幾何信息，并且投影視角的選擇也需要豐富的先驗知識。直接處理點云數據的方法能夠利用點云固有信息且不增加額外操作，可以充分獲取點云所有信息。然而，原始點云具有不規(guī)則、稀疏和無序結構等特點，需要構建局部鄰域圖或轉化為規(guī)則結構才能直接利用。基于體素［5］的方法將點云規(guī)則化為網格結構，很大程度上保留了物體的幾何信息，但該結構仍然無法細分物體邊界的幾何信息。此外，該結構通常受到存儲器的嚴格限制，高分辨率會消耗巨大的計算和存儲成本，低分辨率則容易出現嚴重的信息丟失問題。稀疏卷積［6］雖然能夠減少內存占用，但為了獲得更大的感受野，在低分辨率操作下多個類別會合并到一個網格從而影響分割結果。基于逐點的方法［7-9］雖然便于獲取局部幾何信息，但只有部分幾何信息對物體整體結構具有判別性，點的絕對位置信息和點對間的相對位置信息缺乏描述物體高級全局幾何結構的能力，而且網絡運行消耗大量時間用于構建局部點云數據，導致時間成本上升。

針對上述問題，本文提出了基于自注意力特征融合組卷積神經網絡（Self-attention Feature Fusion Group Convolutional Neural Network，SAFFGCNN）的點云細粒度分析方法。引入Transformer模塊將全局單點特征和局部幾何特征進行融合，提高特征的豐富性。提出了一種輕量級的圖卷積運算——代理點圖卷積，獲得深層細粒度的幾何特征，能夠簡化邊緣卷積操作降低內存消耗，對語義特征和局部幾何特征進行編碼，增強特征局部的上下文信息。通過多尺度策略不斷擴大局部鄰域感受野以學習局部幾何特征，增強網絡泛化能力，有利于捕獲高級語義的上下文細粒度特征。此外，多尺度點云特征拼接后輸入到分割模塊，可以提高網絡分割精度。

2 研究現狀

目前，三維模型語義分割主要有基于投影、基于體素和基于點云三類方法。投影方法利用多視圖表示場景物體表面信息，為提高分割效率，基于距離圖像的球面投影方法被提出。體素方法將點云轉化為密集體素網格表示，為了適應點云稀疏性和密度變化，用稀疏體素網格表示點云場景。點云方法直接對點云進行卷積操作，可以有效獲取點云數據的本征屬性，主要有基于遞歸神經網絡、構建點云卷積核和基于圖網絡三類方法。

2.1 基于投影的方法

由于點云的不規(guī)則性，許多研究首先將點云投影為鳥瞰圖像或距離圖像，再用二維卷積操作進行學習。Lawin等［4］首先從多個虛擬視角將點云投影到2D平面上，然后使用全連接層進行像素級語義分割，并將每張圖像的分割結果反投影到點云進行融合得到點的語義標簽。Milioto等［12］利用球面投影方法將點云轉換為距離圖像，并在圖像上進行二維全卷積操作；為修正反投影后物體邊緣部位的分割結果，在點云上利用高效的k近鄰搜索解決遮擋問題。徐等［13］在Squeeze-Seg模型［14］結構基礎上設計空間自適應卷積，它具有空間適應性和內容感知的能力，解決了標準卷積應用于LiDAR圖像導致的網絡性能下降的問題。

基于投影的方法的核心是將點云數據轉化為規(guī)則的二維圖像，利用現有成熟的二維卷積算法提取三維模型的表面細節(jié)信息。但該類方法主要存在兩點缺陷：一是模型的部分表面細節(jié)信息會由于物體遮擋而消失；二是經投影后產生的圖像中物體可能會出現扭曲現象，從而影響模型表面細節(jié)信息的獲取。

2.2 基于體素的方法

體素化的方法通常將點云轉變?yōu)槊芗W格，然后利用標準的3D卷積處理。黃等［5］在網絡訓練時將點云生成為一組占位體素網格，其標簽由周圍單元類別決定，然后將它輸入到3D CNN進行體素分割，將推斷的體素結果映射回原始點云產生逐點標簽。Graham等［6］提出了子流形稀疏卷積網絡，通過哈希表構建稀疏矩陣的索引關系，卷積的輸出只與被占用的體素相關，內存占用和計算成本大大減少，并且能夠確保卷積網絡的空間稀疏性不會消失，避免出現子流行膨脹問題。Choy等［15］提出一種用于時空三維點云數據的4D稀疏卷積網絡，并創(chuàng)建了稀疏張量自動微分的開源庫。所提出的廣義稀疏卷積能夠有效處理高維數據，顯著降低傳統(tǒng)3D卷積核計算成本，且該卷積核對于立方體結構的物體識別能力更強。

體素表示一定程度上保留了點云的鄰域結構，其數據格式能夠直接運用標準3D卷積進行學習。然而，體素化不可避免地丟失了細粒度幾何信息。為了解決信息丟失等問題，需要提高體素分辨率，而此操作易導致計算成本高和內存占用大等問題。雖然稀疏卷積能夠處理更小的網格結構且具有良好的性能，但是依然需要進行計算效率和體素比例的權衡。

2.3 基于點云的方法

PointNet［16］和PointNet++［17］開 創(chuàng) 了 基 于 多層感知機對點云直接進行操作的先例。蔣等［18］將編碼-解碼結構引入3D點云分割網絡中，在解碼器部分建立邊分支以提供上下文信息，通過分層圖設計使特征信息由粗糙到細致。黨等［19］提出分層并行組卷積，可以同時捕捉點云的區(qū)分性獨立單點特征和局部幾何特征，以較少的冗余信息增強特征的豐富性，提高網絡識別復雜類別的能力。胡等［20］提出了一種高效、輕量級的Rand-LA-Net網絡，通過局部特征聚集模塊擴大k近鄰點搜索范圍來減少信息損失，并利用隨機采樣降低了存儲成本，提高了計算效率。Landrieu等［21］將點云通過一系列相互聯系的簡單形狀構成超點，其屬性有向圖能夠捕獲豐富的上下文信息和幾何信息，同時超點能夠大大減少點云中點的數目，使網絡應用于大規(guī)模點云數據集。

直接處理和分析點云的方法需要獲取更精細的點云特征，才能達到細粒度點云分割任務的要求，但現有方法缺乏分辨相似物體幾何特征和局部細節(jié)結構的能力，對于具有抽象語義識別能力的高級全局結構信息缺乏考慮。此外，沒有考慮全局單點特征和低級局部幾何特征的聯系。

3 自注意力特征融合組卷積神經網絡

在自注意力特征融合組卷積神經網絡中，通過學習全局特征和局部幾何特征的深層隱含關系，獲得具有抽象語義識別能力的高級全局單點特征，提高了網絡在復雜環(huán)境下的物體分割能力。首先，通過MLP和代理點圖卷積獲得全局特征和局部幾何特征，加入組卷積操作減少冗余特征信息，獲得具有鑒別性的特征。其次，利用Transformer特征融合模塊增強不同特征間的聯系，獲得細粒度上下文信息。最后，通過多尺度特征融合擴大感受野獲得全局高級單點特征。

3.1 全局-局部組卷積

本文的全局-局部組卷積由兩部分組成：MLP組卷積和代理點圖組卷積。

MLP組卷積在減少計算復雜度和網絡參數量的同時，特征豐富性會因為組卷積產生的分組操作而降低。為了加強組間信息交流，將不同分組特征進行融合，以保證MLP組卷積層輸出特征的有效性。

組卷積操作先將每層的MLP分為N組，表示為其中l(wèi)為第l個卷積層。再對輸入特征進行MLP組卷積提取各個分組特征。第一組特征是第一組原始特征經過組卷積后的新特征，其余組特征為前一組新特征和自身經過組卷積后的新特征融合得到的結果。將所有分組的全局特征進行拼接操作得到MLP組卷積模塊在該層的輸出。MLP組卷積第l層的輸出結果如下：式中為第l層各組的全局單點特征為MLP組卷積在第l層輸出的全局單點特征。

MLP組卷積雖然能夠捕獲獨立的單點特征，但對幾何信息的獲取存在局限性。局部幾何信息包含點的位置信息以及點的相對位置，對于物體細粒度分割起到至關重要的作用。

本文以邊緣卷積為出發(fā)點設計代理點圖組卷積，將特征空間上的k近鄰搜索轉變?yōu)樵谠键c云空間中的k近鄰搜索。原始點云空間中點的位置是固定不變的，k近鄰圖能更好地表征物體的空間結構信息，獲得更具鑒別性的局部幾何特征信息。同時，由于原始點云位置是固定的，在特征空間上構造k近鄰圖無需重新計算，解決了計算代價大的問題。k近鄰圖的鄰域點在空間內接近，特征的豐富性差異小，為了保留關鍵幾何特征信息，將k近鄰點特征進行平均操作賦值到代理點，使用代理點和中心點進行幾何信息學習。通過對全部卷積層共享空間鄰接矩陣以減少內存消耗和計算開銷，能夠使特征映射的內存消耗從O（n×h×d）減少到O（n×d），大大提高了圖卷積提取幾何特征的效率。邊緣卷積與代理點圖組卷積的網絡結構如圖1所示。

圖1 邊緣卷積與代理點圖組卷積網絡結構Fig.1 Network structures of edge convolution and proxy point graph group convolution

為了在原始點云空間進行k近鄰搜索，首先要計算圖的空間鄰接矩陣G∈RN×N，其元素表示一組點在圖中是否相鄰。為計算鄰接矩陣G，需要計算點i和點j之間的歐氏距離D i，j：

式中p i∈R3和p j∈R3是兩個坐標向量。將G中每一行的元素進行二值化，k個最小的元素設為1，其余元素設為0，以此得到空間鄰接矩陣G∈RN×N。

其次，通過矩陣乘法求得局部鄰域的特征平均值，并將該特征值視為代理點特征，公式如下：

式中：y∈RN×d是由MLP組卷積獲得的點云全局特征，k為中心點i的鄰域點數目，Z為生成的代理點特征，其中Z i為第i個代理點的特征。

然后，使用中心點和代理點來計算局部幾何信息得到新的聚合特征，定義如下：

式中：f i為生成的第i個點幾何特征，y i為第i個點的全局單點特征，ReLU為激活函數，gΘ：Rd→Rd是具有可學習參數Θ的非線性函數。最后，通過在生成的幾何特征上融合輸入點的全局特征來定義局部幾何特征，即：

式中Y i為第i個點最終的局部幾何特征。

3.2 Transformer特征融合模塊

經過全局-局部組卷積模塊后，全局上下文特征和局部幾何特征的豐富性得到了增強，但是組卷積內部同層不同組之間缺乏信息交流，而且不同組卷積模塊之間沒有信息傳播，缺乏具有高級語義的局部上下文信息。因此，本文通過Transformer的自注意力機制獲得具有高級語義識別能力的特征。由于自注意力機制輸入為離散標記組成的序列，各分支特征被視為集合，其中每個1×1×C維特征等同于集合中的元素，并視為一個標記。分支以不同的關注方向對場景進行編碼，根據特征間的自注意力系數融合其他組的特征，使更新后的每組特征包含來自其他組的特征，利用不同特征的互補性促進模塊之間的信息交流，加強特征間的語義聯系。全局-局部特征的Transformer自注意力融合操作如圖2所示。

圖2 全局-局部特征的Transformer自注意力融合Fig.2 Transformer self-attention fusion of global-local features

為了減輕Transformer網絡計算代價，將較高分辨率的分支特征做平均池化下采樣處理為H×W×C的三維張量，再將兩者疊加形成維度為（2×H×W）×C的輸入張量，并嵌入一個維度一致的可訓練位置參數，使網絡在訓練時能夠理解不同標記之間的空間位置關系。自注意力輸出特征根據輸入張量的位置關系重新劃分為兩個H×W×C的特征圖，并通過雙線性插值上采樣到原始分辨率，再與原始分支特征逐元素求和。多次實驗結果表明，特征圖分辨率為H=W=8時效果最佳。

特征圖上的自注意力操作類似于將Transformer應用于圖像的工作［10-11］。設輸入序列表示為Fin∈RN×Df，其中N是序列中的標記數，每個標記由維數為D f的特征向量表示。首先，Transformer模塊使用線性投影來計算出每個標記的一組查詢向量Q、關鍵向量K和值向量V，計算公式為：

式中：B Q∈RDf×d k，B K∈RDf×d k和B V∈RDf×d v都是權重矩陣，目的在于將輸入特征映射到不同高維空間，增強模型表達能力，更好地捕獲Q，K和V之間的語義級別聯系。

其次，通過當前查詢向量Q和所有關鍵向量K之間的點積計算自注意力權重，將所有值向量和相應權重相乘并求和，得到該特征向量標記最終的自注意力輸出結果，計算公式如下：式中：D K用于在訓練過程中保持梯度值穩(wěn)定，防止Softmax（QKT）結果過大，導致梯度變小不利于反向傳播；Softmax函數用于確保所有自注意力權重的和為1。

最后，Transformer模塊使用MLP將自注意結果映射到與Fin同一維度，并計算輸出特征，即：

輸出特征Fout與輸入特征Fin具有相同的維度。

3.3 自注意力特征融合組卷積神經網絡

本文構建的自注意力特征融合組卷積神經網絡架構如圖3所示，主要由3個模塊組成：MLP組卷積、代理點圖組卷積和Transformer特征融合模塊。點云輸入到網絡前進行下采樣操作處理保證網絡訓練過程中能夠收斂，選擇最遠點采樣（Farthest Point Sampling，FPS）對場景進行均勻采樣，保留點云的原始空間結構。在網絡學習過程中，為了獲取全局單點特征和細粒度的幾何特征，通過MLP組卷積和代理點圖組卷積分別提取全局特征和局部幾何特征。然后，通過Transformer特征融合模塊將全局單點特征和局部幾何特征進行融合并增強，提高網絡識別復雜形狀物體的能力。為了提高分割準確率，將上一次下采樣后的特征映射結果輸入本次下采樣后的點云中來增加不同尺度局部區(qū)域的感受野，從而獲得具有高級語義的上下文細粒度特征。最后，將不同下采樣的特征映射進行拼接，對它進行全局平均池化操作加強特征映射和類別之間的關聯，使獲得的形狀級別的全局特征映射更加接近語義類別信息。

圖3 自注意力特征融合組卷積神經網絡Fig.3 Self-attention feature fusion group convolutional neural network

為了獲取每個點的點級別標簽，分割模塊需將全局特征映射從形狀級別傳播到點級別。通過第一次插值后的特征與對應點的原始特征相結合獲得M個點的點級特征，將點級特征輸入到多個MLP層和SeLU層獲得降維后點級特征，再通過第二次插值將M個點的點級特征傳播到原始點云，得到原始點云空間中所有點的新特征。使用兩個疊加的全連接層對點云特征進行分類，輸出N×B特征矩陣，其中N為原始空間內所有的點，B為每個點對應于每個類別的分數。每個點選取得分最高的類別作為其語義標簽，由此獲得點云場景的語義分割結果。

4 實驗結果與分析

為了測試SAFFGCNN對點云的細粒度形狀分析的有效性，在兩個大規(guī)模語義分割數據集S3DIS［22］和SemantiKITTI［23］上 評 估 了 網 絡 模 型性能。實驗中，在32 GB內存、Intel i7 8700k CPU和GeForce RTX 2080Ti圖形處理器的工作站上通過TensorFlow-GPU訓練模型，操作系統(tǒng)為Linux Ubuntu 16.04。SAFFGCNN的訓練過程采用基于動量的隨機梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化算法，采用Adam優(yōu)化算法更新SGD步長。

4.1 實驗數據集及評價指標

S3DIS［22］數據集由來自3個不同建筑的6個大型室內區(qū)域共計271個房間組成，每個房間都由一個中等大小的密集點云組成（約20 m×15 m×5 m），共標注了13個類別。實驗中使用標準的6重交叉驗證。

SemanticKITTI［23］數據集是目前最大的具有點級注釋的激光雷達序列數據集，包含了復雜的室外交通場景，由43 552個密集注釋激光雷達掃描組成22個序列，共包含19個有效類別。實驗中，數據集中序列00～10作為訓練集（其中序列08用作驗證集），序列11～21作為測試集。

平均交并比（mean Intersection over Union，mIoU）作為實驗結果的主要評估指標，其公式如下：

總體準確率（Overall Accuracy，OA）作為實驗結果的參考評估指標，用正確預測分類的點數和總體點數的比值表示：

4.2 語義分割評估

4.2.1 S3DIS數據集上的評估分析

為了驗證本文算法的有效性，在S3DIS數據集上進行了分割對比實驗，結果如表1所示。

表1 S3DIS數據集上不同方法的分割精度對比（六重交叉驗證）T ab.1 Comparison of segmentation accuracy of different approaches on S3DIS dataset（6-fold cross-validation）

本文算法在13個類別中的11個類別上獲得了最佳分割精度結果，尤其在光束、桌子、椅子和雜亂物體等類別上具有更好的分割精度。Point Transformer［24］設計自注意力層提取點云鄰域特征，能夠獲得充分的全局單點特征，但通過MLP獲得的位置信息主要用于生成查詢向量，僅簡單描述點對之間的相對位置關系，缺乏對幾何特征的進一步提取，網絡捕獲高級局部幾何特征信息的能力弱。本文通過代理點圖組卷積能夠獲得細粒度的幾何特征信息，引入自注意力機制探究全局特征和局部幾何特征之間的聯系，使網絡具備識別物體全局結構的能力，mIoU和OA分別提高了5.8%和2.9%。KPConv［25］手工設計固定數目的核心點學習局部鄰域點特征，但手工制作的核心點組合并不是最佳的，需要根據數據集或網絡架構進行優(yōu)化。此外，在網絡中加入核心點位置偏移訓練使球體擬合三維點云局部幾何結構，無法從根本上解決卷積缺乏靈活性的問題，不能夠模擬復雜三維場景中物體的位置變化。本文利用原始點云構造圖結構，能夠靈活且高效模擬點云的復雜空間變化和幾何結構，而且Transformer模塊能夠通過特征間關聯獲得局部上下文細粒度的幾何結構信息，mIoU和OA分別提高了8.7%和0.2%。

從圖4分割可視化結果中可以看出，網絡增強了識別細節(jié)采樣點幾何信息的能力，能夠更加準確地確定物體的邊界范圍，使本文算法的分割結果接近于真實標簽。圖4中虛線圓圈標記為分割結果不理想的部分，對于錯分割問題，網絡依舊對物體幾何結構信息做出比較準確的判斷；對于欠分割問題，網絡能夠識別物體位置范圍，減輕錯誤分類對正確結果的干擾。

圖4 S3DIS數據集分割結果的可視化Fig.4 Visualization of segmentation results on S3DIS dataset

4.2.2 SemanticKITTI數據集上的評估分析

大規(guī)模場景分割是一項具有挑戰(zhàn)性的任務，為了進一步驗證本文算法對于細粒度幾何特征分析的有效性，在大規(guī)模激光雷達點云數據集SemanticKITTI上進行了對比實驗，結果如表2所示。

表2 SemanticKITTI數據集上不同方法的分割精度對比Tab.2 Comparison of segmentation accuracy of different approaches on SemanticKITTI dataset

Rand LA-Net［20］采 用 隨 機 采 樣 高 效 處 理 大 規(guī)模點云，設計局部特征聚合模塊逐步增加點的感受野，防止采樣過程丟失關鍵信息，但在稀疏性較大的激光雷達數據集不可避免地會丟失場景邊緣信息。網絡會由于邊緣物體信息丟失缺乏對物體完整結構的學習，出現錯分割或欠分割。本文算法采用最遠點采樣更能表征場景的整體結構信息，保證網絡輸入能夠獲得邊緣物體的完整結構信息。而且，本文在原始點云構造的k近鄰圖經過最遠點采樣后，依舊能夠保留場景邊緣物體的整體幾何信息，保證特征的豐富性，在柵欄和其他地面等較稀疏的類別上mIoU比Rand-LA-Net分別 提高了9.8%和14.7%。PolarNet［28］設計極化鳥瞰圖平衡網格內點數，利用簡易PointNet將點轉換為固定長度表示，將該表示分配到環(huán)矩陣中相應的位置，通過環(huán)形卷積學習二維特征。雖然極化鳥瞰圖解決了點云稀疏性問題，但自上而下的處理方式破壞了物體的幾何結構信息，缺乏具有抽象語義識別能力的高級單點特征。而本文通過MLP組卷積獲取全局單點特征，再利用代理點圖卷積獲得具有鑒別性的高級單點特征，引入Transformer模塊學習點對之間的語義關系，獲得局部上下文細粒度的幾何信息，增強了網絡的識別分割能力，在貨車、摩托車和騎自行車的人等復雜結構類別的mIoU比PolarNet分別提高了15.4%，5%和3.3%。

（續(xù)表2）

從圖5可視化分割結果可以看出，本文算法具有提取局部上下文幾何信息的能力，在稀疏性較大的大規(guī)模激光雷達點云數據中依然有著良好的分割結果。復雜結構類別由于點云的稀疏性導致物體信息不充分，加大了網絡提取特征的難度，但本文對復雜類別精度相比其他方法有明顯的提升，原因在于特征融合過程中加強了全局信息和局部信息交流，獲得的上下文細粒度信息有助于提高網絡識別復雜形狀物體的能力，增強了語義分割的魯棒性。

圖5 SemanticKITTI數據集分割結果的可視化Fig.5 Visualization of segmentation results on SemanticKITTI dataset

4.3 消融實驗

S3DIS數據集中點云密度一致，物體信息豐富，點云下采樣操作對輸入信息損失較少，不同配置下的模塊性能都能夠充分發(fā)揮，對比實驗更具說服性。因此，在S3DIS數據集上進行了消融實驗。考慮網絡模型的各種設置，比較了模型在k近鄰點數不同下的性能，以驗證本文算法代理點圖組卷積和Transformer特征融合模塊的有效性。

4.3.1k近鄰點

鄰域點的數目影響網絡提取到的幾何特征的優(yōu)劣，較小的鄰域點數目k使網絡無法學習到有效的幾何特征，導致分割精度較差；而k的數量過大又會引入更多的噪聲，影響網絡對幾何特征的學習。從表3中可以看出，當k為8時，網絡總參數量Params和OA都較小，原因在于鄰域圖對物體幾何信息的描述不完整，網絡性能無法充分利用而造成欠分割問題。隨著k的增加，鄰域圖能夠更好地表征物體的幾何結構，網絡能夠充分挖掘局部上下文的幾何信息。但當k過大時，對物體的幾何結構描述無法帶來更大的優(yōu)勢，相反會造成更多冗余的局部幾何結構特征，影響具有區(qū)分性的局部幾何特征的貢獻程度，而且增加網絡計算量。

表3 鄰域點數量對分割結果影響的對比Tab.3 Comparison of influence of number of neighborhood points on segmentation results

4.3.2 P2GConv

為了驗證代理點圖組卷積（P2GConv）在保持較少的參數量的同時可以獲得與邊緣卷積（EdgeConv）相當的結果，對網絡分別使用P2GConv和EdgeConv，定量實驗結果如表4所示。使用P2GConv的網絡參數量更少，原因在于構建局部鄰域圖不需要重復計算中心點的鄰域點，取消了在特征圖上的k近鄰圖構建。此外，代理點是手工設計，計算邊緣特征時不會出現EdgeConv中添加中心點特征的操作。而在分割精度方面，P2GConv接近EdgeConv，原因：一方面在于代理點特征是鄰域點特征的平均值，場景中平面結構多且特征差異性小，代理點特征能夠表征局部鄰域點的特征信息，僅會損失特征的一小部分豐富性；另一方面，由于在原始空間構建的鄰域圖對物體幾何信息的描述更加準確，P2GConv網絡能夠獲得物體細粒度的幾何結構信息。

表4 邊緣卷積和代理點圖組卷積對比Tab.4 Comparison of EdgeConv and P2GConv

4.3.3 MLPGConv

MLP組卷積將全局單點特征輸入代理點圖組卷積，獲得有助于識別物體的高級全局單點特征，增強了特征的局部上下文信息。當刪除MLP組卷積操作后，局部幾何特征只對自身進行自注意力融合操作，融合后的特征依舊能夠充分表達局部區(qū)域的細節(jié)信息。但由于忽略每個點的絕對位置信息，缺乏從點云空間中學習到的全局單點結構特征，從而降低了特征豐富性，無法獲得具備高級語義識別能力的上下文語義信息，導致網絡識別能力下降而影響分割精度。雖然參數量有一定下降，但精度的增長對網絡整體性能的提升更大。實驗結果如表5所示，其中MLPG-NO表示不引入MLPGConv模塊。

表5 MLPGConv模塊有效性驗證Tab.5 Effectiveness verification of MLPGConv module

4.3.4 Transformer

網絡加入Transformer模塊的自注意力機制，分割精度和網絡參數量都有明顯增長。實驗結果如表6所示，其中Transformer-NO表示不引入Transformer模塊。網絡參數量增長在于：對特征的額外操作增加了網絡計算量。分割精度增長的原因在于點對之間的語義關系和局部細粒度的上下文信息。學習點對之間的語義關系能夠提高網絡識別復雜環(huán)境中物體的能力，減少錯分割現象。全局單點特征和局部幾何特征融合后獲得局部細粒度的上下文信息，獲得物體局部的幾何結構信息，解決了欠分割或過分割問題，提高了網絡細粒度分割精度。

表6 Transformer模塊有效性驗證Tab.6 Effectiveness verification of Transformer module

5 結 論

本文提出了一種自注意力特征融合組卷積神經網絡的三維點云語義分割算法。首先，利用MLP組卷積獲得全局點云特征；其次，通過代理點圖組卷積獲得細粒度的幾何特征信息；然后，通過Transformer特征融合模塊的自注意機制加強全局和局部幾何特征之間的聯系，挖掘局部上下文幾何信息；最后，通過多尺度操作擴大局部鄰域感受野，進一步增強捕獲細粒度局部上下文幾何信息的能力。通過輕量化特征提取網絡，以較少的冗余信息增強了特征的豐富性，實現了對點云的高性能處理，在S3DIS數據集和SemanticKITTI數據集上算法的分割精度分別達到79.3%和56.6%。

然而，本文算法仍存在一定的局限性，一方面在于網絡分析復雜環(huán)境下物體類別時存在不足，具有相似幾何結構特征的物體在空間上接近時，網絡對物體邊界點類別的判斷不準確，周圍類別影響網絡對物體整體結構的判斷，出現欠分割或錯分現象，網絡抗干擾能力有待提高；另一方面在于網絡處理稀疏性較強點云數據集時效果不理想，物體遠離傳感器導致描述同部件幾何信息的點云數目減少，影響網絡從采樣后點云學習物體的幾何信息。所以，在非常稀疏數據集下保留更豐富信息和有效處理場景邊緣物體是未來研究的重點。