增強點云局部顯著性特征的細粒度語義分割網

張坤，張麗婷，王曉紅，朱亞薇，周昆鵬

（河北科技大學 信息科學與工程學院，河北 石家莊 050000）

1 引言

點云語義分割在自動駕駛、工業(yè)控制、遙感測繪等領域有著重要的應用。語義分割［1］是計算機視覺中的主要任務之一，較分割目標的大小可以將點云語義分割技術劃分為粗粒度分割和細粒度分割兩類［2］。近年來，大多數(shù)學者以點云的粗粒度分割為研究對象，著眼于物體識別、目標跟蹤等方面的應用，然而卻忽略了細粒度語義分割，即物體部件級的分割。物體部件的語義信息在工業(yè)檢測以及機器人的運動控制等應用中起到了關鍵的作用。然而點云數(shù)據雜亂、無序且密度不均勻，對精準的語義分割造成了一定的困難，尤其是對于細粒度分割。物體部件在空間上具有相鄰關系，部件間的邊界特征相似度極高，為細粒度語義分割提出了較大的挑戰(zhàn)。

為了解決上述問題，Qi［3］等人建立局部區(qū)域，利用局部特征增強邊界的識別能力，Ye X［4］等人通過不斷改變感受野尺度的方法捕獲多尺度特征，學習更加全面且豐富細節(jié)結構。近年來，注意力機制在計算機視覺中得到了廣泛應用。注意力機制源于對人類視覺的研究，面對周圍復雜的信息，人類視覺系統(tǒng)會迅速將注意力集中在場景中最重要的區(qū)域上，這一選擇性感知機制極大地減少了人類視覺系統(tǒng)處理數(shù)據的數(shù)量，同時提高了視覺敏感度。利用注意力機制可以有效地提高網絡中神經元的計算效率，減少計算資源消耗，滿足復雜任務需求。結合局部多尺度特征的影響，受注意力在計算機視覺的應用的啟發(fā)，本文提出了一個增強點云局部顯著性特征的細粒度語義分割網（Fine-grained Semantic Segmentation Network for Enhancing Local Salient of Laser Point Cloud，ELSFNet），通過注意力機制構建數(shù)據上下文信息，提高三維點云數(shù)據特征計算能力，捕獲數(shù)據顯著特征，增強邊界點的特征差異度，滿足精準的細粒度分割需求，具體貢獻有：

（1）本文建立了基于幾何曲率改進的的最遠點采樣算法，結合球查詢建立多個點云局部數(shù)據子集，將點云數(shù)據進行區(qū)域劃分，針對局部數(shù)據子集建立多尺度高維特征提取器；

（2）設計面向點云多尺度特征的RNN 編碼器和解碼器，捕獲點云局部多尺度顯著性特征，引入注意力，獲得局部特征的顯著性，提高分割精確度；

（3）本文將ELSFNet 與PointNet，DGCNN，PointNet++，Point2Sequence 等多個網絡進行了實驗對比，實驗結果證明ELSFNet 網絡平均mIOU 和準確率均高于目前主流點云語義分割網，分別達到了85.2%和95.6%，尤其對于個別分割對象，ELSFNet 取得了該類對象的最高的mIOU。

2 相關工作

隨著激光雷達的發(fā)展，點云被應用于在車輛檢測［5］、遙 感圖像［6］、人臉 識別［7］、全息成像［8］、點云配準［9］及目標檢測［10］等領域，獲取的點云數(shù)據也愈加豐富。基于大量數(shù)據的指導，使得深度學習技術得到了快速發(fā)展。基于深度學習的點云語義分割的方法也越來越多，主要分為：基于體素化的語義分割方法、基于投影的語義分割方法和基于點表示的語義分割方法。

2.1 基于體素化的語義分割方法

由于點云數(shù)據的不規(guī)則結構，早期的點云通常通過體素化方法進行處理。例如：Huang 等人［11］將體素化的點云數(shù)據輸入3D 卷積神經網絡，實現(xiàn)語義分割。體素化算法不可避免地會導致數(shù)據精度的損失，從而影響分割效果。為了提高體素化方法語義分割的精準度，Tchapmi 等人［12］提出SEGCloud 語義分割網，用三維卷積對粗體素進行預測，通過三線插值傳遞回原始點云。Jiageng Mao 等人［13］利用Transformer 實現(xiàn)體素之間的遠程關系，提出了稀疏體素模塊和子流形體素模塊，有效地對空體素和非空體素位置進行操作。然而，體素結構是低分辨率形式，體素化所導致的數(shù)據損失使其語義分割精度很難提高，不適用于細粒度語義分割網絡。

2.2 基于投影的語義分割方法

Lawin 等人［14］采用多視圖投影的方法，將多視圖投影輸入到FCN 網絡，通過合成評估分數(shù)和計算語義標簽，從而實現(xiàn)語義分割。Tatarchenko等人［15］建立點云局部區(qū)域的切平面，并完成切平面投影，通過多投影面數(shù)據卷積實現(xiàn)語義分割。Wu 等人［16］提出了一種基于球面投影的分割方法。與單視圖投影相比，球面投影保留了更多的信息。徐等［17］提出了Squeeze-SegV3 網絡將點云投影二維空間中，設計空間自適應卷積，它具有空間適應性和內容感知的能力。View-GCN［18］通過多個視圖的特征融成為一個全局的三維體征，用來描述點云的分割。基于投影的點云語義分割效果對所選擇投影面的依賴較大，在細粒度語義分割中，使用投影方法很難捕捉到部件間數(shù)據特征變化。

2.3 基于點表示的語義分割方法

Qi 等人［19］2016 年首次提出可以直接作用于無序點云數(shù)據的PointNet 模型，PointNet 通過多層感知機（Multi-Layer Perceptron，MLP）生成全局特征描述符，實現(xiàn)點云語義分割。次年，Qi 等人改進PointNet 網絡，提出PointNet++［2］，增強了數(shù)據局部特征表示能力，語義分割效果得到了很大的改善。Engelmann 等人［20］構造EdgeConv操作，在保證置換不變性的同時捕獲局部幾何信息，邊數(shù)據的引入提高了點間的關聯(lián)特征計算能力，然而網絡的計算復雜度明顯增加。Thomas等人［21］使用一系列局部三維卷積核構造核點，學習局部點云的信息，并通過計算從點到核點的歐氏距離對特征進行加權，學習局部幾何特征。基于點云的語義分割網絡引入數(shù)據局部幾何特征有效地提高了語義分割效果。

此外，點云數(shù)據的多尺度、形狀等特征被引入語義分割網，提高網絡的空間信息表達能力。例如，Ye X 等人［3］利用逐點金字塔池化來捕獲點云局部多尺度上下文信息，從而提高語義分割效果。Keisuke等人［22］利用注意力機制提出了捕獲多尺度點云上下文的細粒度信息的語義分割網。Liu S 等人［23］利用點云形狀上下文信息，構造端到端的點云模型，捕獲聚合點云特征，實現(xiàn)點云語義分割。

本文采用基于點表示的語義分割方法，提出了ELSFNet 網絡，該網絡提出幾何曲率改進的最遠點采樣，通過不同維度的高維特征來提取點云的多尺度特征，使用seq2seq 的方法利用注意力機制將多尺度特征進行融合。捕獲點云數(shù)據局部顯著性特征，提高了部件邊界的識別能力，適用于部件級的分割，在語義分割方面取得了很好的效果。

3 點云細粒度分割網

3.1 問題描述

通過激光雷達采集的點云數(shù)據一般由空間坐標、顏色以及反射強度等信息組成。不同采集設備導致點云數(shù)據的屬性略有不同，其中空間坐標屬性是完整且不可或缺的。假設待分割的點云數(shù)據為P={pi|pi={z，y，z，α}}，其中空間坐標屬性為x，y，z，非空間屬性α。經過ELSNet 網絡，將輸入的點云P最終轉換成含有部件信息的點集C={Ci|Ci={x，y，z，a，c}}。

3.2 方法概覽

本文通過ELSFNet 網絡輸入只包含空間坐標屬性的三維點云數(shù)據（如圖2（a）所示），實現(xiàn)了點云部件級的分割（如圖2（f）所示）。整體設計如圖3 所示，分為局部多尺度特征計算模塊（MF）、局部多尺度特征融合模塊（AF）和部件分割3 個模塊。網絡實現(xiàn)具體步驟如下：

Step1：對輸入的點云數(shù)據（如圖2（a）所示）進行幾何曲率改進的最遠點采樣選取m個球心點形成點集S（如圖2（b）所示）；

Step2：利用球查詢建立局部數(shù)據子集G（如圖2（c）所示），獲取數(shù)據的細節(jié)信息；

圖1 問題描述Fig.1 Problem description

Step3：其次構建局部數(shù)據子集的多尺度特征含上下文信息的c向量（如圖2（f）所示），融合局部多尺度特征從而實現(xiàn)語義分割；

Step4：通過seq2seq 的方法引入注意力機制融合多尺度特征（如圖2（e）所示），最終得到每個點的語義標簽pi，class，如圖2（f）所示。

圖2 網絡流程Fig.2 Network process

3.3 局部多尺度特征計算模塊（MF）

為了更好地學習輸入點云局部特征，ELSFNet 設計了幾何曲率改進的最遠點采樣，原始的最遠點采樣，雖然采樣均勻，但是不能有效的捕獲點云之間的幾何關系。在進行最遠點采樣的同時，通過法向量計算相鄰點的曲率，構建曲率的正態(tài)分布，由正態(tài)分布可知，（μ-2σ，μ+2σ）包含的點的曲率相似性極大，為了保證分組結果的差異性以及分組的全面性，所以選擇曲率分布在（-∞，μ-2σ）∪（μ+2σ，+∞）這個區(qū)間的點進行幾何信息添加，最終形成集合S（S=S1∩S2）。

其中：式（1）是對輸入點云進行最遠點采樣，其中max表示兩點間的歐式距離的最大值，式（2）計算輸入的點云的曲率k，n表示點云的法向量，式（3）是對點云的曲率建立正態(tài)分布，μ表示曲率的均值，σ表示曲率的標準差。式（4）是選取曲率在（-∞，μ-2σ）∪（μ+2σ，+∞）這個區(qū)間的點。

ELSFNet 利用球查詢對三維物體的點云數(shù)據進行區(qū)域劃分。以采樣之后得到的點作為球的球心，為了全面覆蓋三維物體的所有點，本網絡給定了半徑R，R=｛r1，r2，…，rn｝，如圖4 所示。通過不斷地擴大半徑以及與周圍的附近區(qū)域的比較，每個區(qū)域選出k個點，進行區(qū)域劃分，得到m個區(qū)域，形成了集合G，如式（5）所示：

在CNN 網絡中，權重的更新并不能實現(xiàn)參數(shù)共享，同時反向傳播中梯度的更新只能對孤立點進行，失去了點之間的特征聯(lián)系，所以本文對gi∈G中每個點進行參數(shù)共享的MLP 操作，使得權重的更新不再依靠單獨的點，學習周圍點的關系。如式（6）所示，提出了多尺度特征提取器，設置2 個不同尺度的卷積核，對輸入的點云進行特征提取，獲取特征的顯著性。如圖5 所示，5（a）為原始飛機點云圖，5（b）為尺度1 所提取的特征權重的分布，5（c）為尺度2 所提取的特征權重的分布，根據圖中的特征顏色分布，可以很明顯地發(fā)現(xiàn)不同尺度下的特征顯著性不同。

圖3 整體網絡Fig.3 ELSFNet

圖4 球查詢Fig.4 Ball query

圖5 多尺度特征顯著性分布Fig.5 Multiscale feature significance distribution

其中：?i是不同尺度的MLP 操作，MAX 是最大池化操作，gi為本區(qū)域點集合。

3.4 局部多尺度特征融合模塊（AF）

為了更好地進行部件分割區(qū)分邊界點，融合不同尺度的高維點云特征，ELSFNet 構造了seq2seq 的自編碼器，通過構建注意力機制學習并增強顯著性特征的影響。seq2seq 模型一般由編碼器、注意力機制和解碼器組成。本文將時間序列輸入編碼器中，得到t時刻的隱藏狀態(tài)ht。使用RNN 作為解碼器，將解釋目標的時間序列輸入解碼器中，得到t時刻的隱藏狀態(tài)ht′。

ELSFNet 的編碼器中，將每個區(qū)域中多尺度的高維特征序列F，F(xiàn)=｛F1，F(xiàn)2｝輸入網絡中，得到這一時刻的隱藏狀態(tài)ht：

其中：f為非線性激活函數(shù)，這里使用的門控循環(huán)單元（Gated Recurrent Unit，GRU），ht是t時刻的隱藏狀態(tài)。

根據生成的特征表示向量c和給定生成目標，調整不同特征的影響力。

其中：a（t）是注意力向量，t是步長。

將維度更高的特征向量F1作為解碼器的輸入，對于初始狀態(tài)，使用零向量h0′作為隱藏狀態(tài)的輸入，則h1′為：

其中：f是是非線性激活函數(shù)。

在網絡中增強顯著性特征的學習和識別能力。ELSFNet 在解碼器中使用F1作為查詢內容Q，編碼器中的輸入作為查詢的鍵值K，輸出作為V，計算得到注意力a：

通過得到注意力向量對生成的特征表示向量進行調整。

含有上下文信息的向量c和解碼器的隱藏層通過一系列的非線性的操作：

最終使用softmax函數(shù)，計算出概率：

其中，Wc，Ws是指解碼器中學到的權重。

4 實驗結果與分析

實驗數(shù)據：本實驗采用ShapeNet Part 數(shù)據集，該數(shù)據集由斯坦福大學、普林斯頓大學和芝加哥豐田技術學院于2015 年聯(lián)合發(fā)布，包含16個類別的16 881 個三維點云模型，共涉及到50 個不同的部件類別，每個三維模型包含2～5 個不同的部件。該數(shù)據集含有豐富的形狀信息，每一個數(shù)據對象含有不同的部件，ELSFNet 使用該數(shù)據集可以學習到豐富的部件特征。

實驗環(huán)境：實驗硬件采用Intel E5-2683v3（28核2.0 GHz）+128 GB DDR4 ECC 寄存器和NVIDIA TITANX GPU。實驗軟件環(huán)境采用python3.7，pytorch1.0 以上。本實驗使用Adam作為模型的自適應估計優(yōu)化器，初始學習率為0.001。

4.1 參數(shù)設置和性能評估

4.1.1 Epoch 設置

為了確定所提出網絡模型ELSFNet 訓練周期的最佳值，將訓練周期值分別設置為100，150，200，250，300，實驗結果如圖6 所示。由圖6 可知，隨著訓練周期的增加，網絡的準確性不斷提高，在周期值設置為200 時，實驗效果最好。當實驗訓練周期為250，300 時網絡的準確性出現(xiàn)下降的現(xiàn)象。

4.1.2 Batch size 設置

圖6 Epoch 設置Fig.6 Epoch set up

設置ELSFNet 訓練周期200 時，實驗設定Batchsize 分別為4，6，8，16 進行測試，測試結果如圖7 所示，Batchsize 由4 增加到6 時，網絡準確性有明顯提升；由于三維點云數(shù)據稀疏，當Batchsize 值為4 時，不足以支撐數(shù)據特征的提取，導致分割效果差。增加Batchsize，可看到分割準確率的明顯提升。當Batchsize=16 時，實驗取得最高的mIoU，所以本實驗選定Batchsize 為16。

圖7 Batchsize 設置Fig.7 Batchsize set up

4.2 語義分割效果對比實驗

平均交并比（Mean Intersection over Union，mIoU），為語義分割的標準度量，計算兩個或幾個的交集和并集之比，在語義分割問題中，這兩個集合為真實值（ground truth）和預測值（predicted segmntatio）。本實驗計算每個形狀類別的mIoU，以及計算所有測試形狀的總的平均mIoU。

ELSFNet的結果 與PointNet（Qi et al.2017 b），PointNet++（Qi et al.2017c），Point2Sequence（Xinhai Liu，2019），DGCNN，SK-Net，SRINet，Pointseq2seq 進行了比較。在表1 中，報告了每個類別中ELSFNet 的性能以及所有測試形狀的平均mIoU。由實驗結果可知，飛機、茶杯、汽車、椅子、吉他和摩托車等類別取得了這幾種方法的最高的mIoU，分析可知，由于網絡多尺度以及注意力機制的加入，使得網絡對復雜的三維物體以及含有豐富類別的三維對象識別能力更強。與現(xiàn)有方法相比，ELSFNet 獲得了85.2%的最佳平均mIoU，表2 展示了ELSFNet預測結果的一些例子，標出了部分邊界處的分割效果，注明了該部分分割成果的正確率，其中ELSFNet 的結果與基本事實高度一致。

表1 實驗結果對比Tab.1 comparison of experimental results

表2 分辨率魯棒性可視化結果Tab.2 Comparison table of visual results of component segmentation

續(xù)表2 分辨率魯棒性可視化結果Tab.2 Comparison table of visual results of component segmentation

4.3 魯棒性實驗法

為測試網絡模型對于不同輸入點云數(shù)量具有一定分辨率魯棒性，改變輸入點云采樣數(shù)量，分別采樣512，1 024，2 048，2 560 個點進行測試，并與加入幾何信息的DGCNN［16］網絡進行了對比，結果如表4 所示。本網絡明顯優(yōu)于DGCNN，當輸入點云數(shù)量為2 048 時，網絡分割性能最優(yōu)，增加或減少輸入點數(shù)（相較于最優(yōu)輸入點數(shù)），分割精度均有小幅度下降。表3 為不同輸入點數(shù)的飛機分割可視化圖，即使最少的256 點也可以分割出機翼、機身和機尾等部位。以上實驗表明本文網絡模型可以有效提取點云特征信息，對點云分辨率具有一定魯棒性。

表3 分辨率魯棒性可視化結果Tab.3 Resolution robustness visualization results

表4 分辨率魯棒性結果Tab.4 Resolution robustness results （%）

4.4 消融實驗

為證明模型結構的有效性，將網絡模型的兩個核心模塊即多尺度構建模塊（MF）和多尺度融合模塊（AF），進行消融實驗。實驗結果如表5 所示，采用MF 的方式效果最差，因為單純采用構建多尺度特征并不能有力的去尋找高維特征的上下文聯(lián)系，以及顯著性高維特征。采用MF+AF 的組合方式效果最好，分割精度高，主要原因在于提取的多尺度局部特征通過注意力機制進行了加強，找到了顯著性特征，提高了邊緣、拐角區(qū)域的識別力。實驗結果證明了本文模型的有效性和可行性。

5 結論

本文提出了一種適用于三維點云細粒度分割任務的ELSFNet 網絡模型。首先采用幾何曲率改進的的最遠點采樣的方法，將點云數(shù)據進行區(qū)域劃分，構建局部多尺度特征。利用注意力機制對多尺度特征進行融合，得到局部顯著特征，最終與全局特征結合，形成特征描述子，并實現(xiàn)語義分割。

表5 消融實驗結果對比表Tab.5 comparison of ablation experimental results

為了驗證本文模型，將該模型在ShapeNet Part 數(shù)據集上進行實驗驗證，并與PointNet，PointNet++和Pointseq2seq 等網絡進行了對比，ELSFNet 分割效果得到了提升。實驗結果表明，本文提出的ELSFNet 網絡模型在點云數(shù)據的細粒度分割方面效果較好。在分割準確率方面，本文模型已經達到與當前眾多成熟模型分割性能一致的水平。

雖然本文提出的ELSFNet 能很好的提取點云數(shù)據細粒度的特征描述和數(shù)據局部特征之間的聯(lián)系。但是由于RNN 網絡本身是參數(shù)共享的神經網絡，隨著網絡的深層增加，梯度不斷累加就會造成網絡的梯度消失。今后，將嘗試提取點云深層次的幾何特征，融合到點云的高維特征中，進一步提高網絡的分割效率。