一種3D點云分割改進型邊緣特征提取網絡

向姝芬，毛 琳，楊大偉

(大連民族大學 機電工程學院，遼寧 大連 116605)

3D點云分割技術[1]已被廣泛應用在無人駕駛場景中，現有點云分割算法大多以點云坐標信息為輸入，利用邊緣提取算法提取邊緣特征，與全局特征融合獲取分割結果，但輸入的點云坐標信息數據量較大且具有無序性[2]，現有方法對邊緣特征的提取能力有限，不足以獲取完整的、表達能力較強的邊緣特征，導致點云分割不精確，因此怎樣獲取較為完整的點云邊緣特征成為熱點問題之一。

點云研究初期，Li Y、Hao S等人提出Pointnet[3]，利用多層感知機(Multilayer Perceptron，MLP)提取特征，但只考慮全局特征的完整性，忽略了局部特征，致使點云特征提取不全。在此基礎上，PointNet++基于分層抽取特征[4]的思想，單獨處理局部中的每個點，有效利用局部信息，但沒有考慮特征中心點與鄰近點之間的距離和邊緣向量，局部特征沒有得到精細化提取，使得點云分割效果一般。為解決此問題，動態圖CNN(Dynamic Graph CNN for Learning on Point Clouds，DGCNN)[5]和鏈接動態圖CNN(Linked Dynamic Graph CNN for Learning on Point Clouds，LDGCNN)[6]利用對邊緣特征的精細化處理，其中DGCNN基于邊緣卷積算子，利用最值近鄰算法(KNN)從點云中心點提取特征，再從其鄰域提取邊緣向量，在點云識別任務上獲得了當時最先進的結果。但DGCNN網絡依賴轉換網絡對點云進行旋轉，使得網絡模型相較于基礎網絡Pointnet復雜度增加，計算成本增大，同時在深度特征提取時無法提供有價值的邊緣向量。進一步地，LDGCNN刪除轉換網絡、減小網絡模型的大小，用K-NN和共享參數MLP提取中心點及其鄰居中的局部特征，鏈接來自不同動態圖的層次結構特征優化網絡體系結構，通過鏈接層次特征提取有用的邊緣矢量，在Modelnet和Shapenet兩個數據集上均達到了較為良好的效果。但在邊緣特征提取過程中，原始點云信息沒有得到保持，導致邊緣特征提取不完整，影響分割精度。

為獲取更豐富的邊緣信息，本文提出一種3D點云分割改進型邊緣特征提取網絡(3D Point Cloud Segmentation Edge Detection Network Based On LDGCNN，ED-Net)，網絡的基本結構為改進型邊緣特征提取單元，受到Resnet[7]提出的Shortcut連接法啟發，將MLP的輸入與輸出進行融合，獲取更豐富的目標輪廓信息。采用該單元的復合形式——邊緣特征提取單元復合結構，進一步增強點云目標邊緣特征，同時保證特征后原始信息的完整性。該網絡可以獲取比較完整的邊緣信息，有效提高點云目標邊界分割的準確性。

1 ED-Net網絡算法

LDGCNN網絡的核心單元為邊緣卷積層，邊緣卷積層由KNN、MLP和池化層構成，如圖1。邊緣卷積層中KNN結構對點云數據進行處理，得到具備顯著特征的關鍵點，MLP結構以關鍵點特征為輸入，輸出點云目標中的語義標簽信息，采用池化層處理進一步獲取最占優勢的特征，最終輸出經邊緣卷積層處理后的點云特征矩陣。在邊緣提取層中，MLP結構提取的語義標簽信息對網絡性能有較大影響，對該結構做進一步改進，有助于獲取表達能力更強的點云特征，提升模型性能。

圖1 LDGCNN中的邊緣卷積層

1.1 改進型邊緣特征提取單元

改進型邊緣特征提取單元是邊緣卷積網絡的基本組成單位，它由主副兩條干路組成，MLP所在的干路為主干路，捷徑連接的干路為副干路，改進型邊緣特征提取單元結構如圖2。

圖2 改進型邊緣特征提取單元

該單元的數學描述如下：

(1)

(2)

(3)

邊緣特征提取單元由前向網絡(主干路)和捷徑連接(副干路)構成實現。主干路執行網絡功能操作完成萃取信息的過程，副干路通過恒等映射保留原始數據，保證下一級結構信息的完整性。改進型邊緣特征提取復合結構如圖3。基于復合單元1的特點，復合單元2能獲得完整的輸入特征，二者相結合作為改進型邊緣提取模塊的核心結構，兩個單元的結合對原始特征的提取利用程度是衡量鏈式網絡有效性的重要標準。為保證特征信息的有效傳遞，將復合單元2的主干路與復合單元1的輸出主干路連接。

(4)

(5)

其中，MLP實現對融合后的y1特征的二次提取，得到更深層的提取結果。在第n單元中輸出結果yn相當于yn-1在經過MLP的特征提取后再與自身融合的結果。復合單元n中接受了復合單元n-1中的特征yn-1，基于捷徑連接結構，在傳遞過程中，特征得以完整保持，且借助MLP提取隱藏層特征，可實現特征進一步的加強深化，最終得到增強特征yn。

1.2 改進型邊緣特征提取結構

改進型邊緣特征提取結構由三個模塊組成，分別是模塊Ⅰ邊緣特征預處理、模塊Ⅱ邊緣特征增強和模塊Ⅲ最大池化層。改進型邊緣特征提取結構如圖4。

圖4 改進型邊緣特征提取結構

模塊Ⅰ邊緣特征預處理，輸入的點云信息通過KNN搜索，更新邊緣各點之間的連接關系，對輸入點云矩陣進行聚類，構造局部有向圖，得到含有邊緣特征信息x0的局部有向圖Tpart(DV,DE)。

模塊Ⅲ則是對局部邊緣圖提取最具優勢特征：

Li=fe(Tpart(pi,ei))=max{h(pi,ei1),h(pi,ei2)} 。

(6)

式中：pi是中心點；ei是邊緣向量；fe是特征提取函數。在此使用最大池化運算，利用模塊Ⅱ邊緣特征提取單元得到的隱藏層特征向量h(pi,eij)，從局部邊緣圖中提取最大特征Li。

1.3 ED-Net網絡算法步驟

基于Pointnet和Pointnet++在點云分割上的優勢，將LDGCNN網絡邊緣特征提取層中的卷積等效為MLP，構建完整的點云分割網絡體系，在相同周期內提高分割精度，提升點云分割的整體質量，整體網絡結構如圖5。

圖5 ED-Net網絡結構圖

算法實施步驟如下：

第1步：輸入點云三維坐標，通過KNN構造一個局部有向圖，并在局部有向圖中找出最占優勢特征點；

第2步：改進型邊緣特征提取模塊對含有最占優勢特征的輸入點云信息進行邊緣特征的提取，獲得最占優勢的邊緣特征；

第3步：將提取出的最占優勢邊緣特征通過共享MLP與全局特征進行融合，將融合特征信息送入MLP中計算分割分數，輸出點云分割結果。

2 實驗結果分析

本文在Tensorflow實驗平臺上，使用2張GPU訓練點云分割網絡模型。ED-Net訓練網絡模型相關參數設置見表1。點云分割采用的是Shapenet[8]零件數據集，包含來自多種語義類別的3D模型，這組數據集為每個3D模型提供許多語義標注，已經索引超過300萬個模型，其中22萬個模型被分為3 135個類別。在該實驗中用到該數據集的16個類別模型，由16 881個CAD模型組成，共用50個部分進行注釋。

表1 ED-Net訓練網絡模型相關參數設置

為評估算法的實現，體現該算法對零件目標的分割效果，將每個類別模型的IoU值及其平均值作為衡量標準檢驗分割精度。IoU是一種測量在特定數據集中檢測相應物體準確度的一個標準，其值越高，代表分割質量越好，算法性能越優，仿真結果對比見表2。

表2 ShapeNet數據集上的仿真結果

續表2 ShapeNet數據集上的仿真結果

仿真結果表明，改進型邊緣卷積網絡的平均IoU在第180周期為81.93%，高于作者LDGCNN同周期的80.76%，精度提升了1.17%。同周期平均IoU對比見表3。

表3 LDGCNN和ED-Net 180周期時平均IoU值對比

LDGCNN網絡和ED-Net網絡對同一組輸入點云模型的可視化對比如圖6，其中(a)～(e)的5組點云GT來自ShapeNet數據集。輸入相同點云類別模型，ED-Net能獲得更準確的邊緣信息，目標輪廓更清晰、顯著；其中真值對比更直觀地顯示對于輪廓更復雜的樣本模型，比如摩托車坦克等樣本，ED-Net對樣本的邊緣特征更敏感，邊緣刻畫更加細致，獲得的特征質量更高。

圖6 不同網絡模型可視化結果對比

3 結 語

針對3D點云對邊緣特征提取不完整導致分割精度不高的問題，本文提出ED-Net網絡算法，以改進型邊緣特征提取單元為核心，將單元內部MLP通過捷徑連接的方式進行連接，由此繼承不同層次的點云特征，實現網絡結構深化和特征的多角度增強，使邊緣特征信息更豐富，有效提高了3D點云的分割精度。ED-Net為無人駕駛識別邊緣特征提供了一種新的思路，在相同周期內提高了識別精度，使點云分割算法能更好地應用于無人車自主駕駛等場景。