基于多粒度特征的點云物體的分割與分類

王 勇 岳晨珂

(重慶理工大學兩江人工智能學院 重慶 400054)

0 引 言

3D數據通?？梢杂脦追N不同的格式表示,如RGB-D、深度圖、點云等。作為一種常用的3D數據表示形式,由于點云將原有的幾何信息保存在3D空間當中,并且不會進行離散化,因此在許多場景理解當中成為首選的表示形式。基于這些優勢,三維點云物體識別逐漸成為一個研究熱點,在生物識別、自動駕駛、場景理解、激光遙感等眾多領域都有廣泛的應用[1-2]。

點云物體的分割與分類任務是點云處理領域非常重要的任務。傳統的方法[3]利用數據點的特征權值構成多維特征向量,其中包括數據點的坐標、法矢量、高斯曲率和平均曲率,利用多層自組織特征映射網絡SOFM對多維特征向量來聚類,達到了區域分割的目的。Chua等[4]提出了一種點簽名法(Point Signature),該方法根據每個點的球半徑鄰域與物體的交線L所擬合平面的法向量與參考矢量定義旋轉角,從而計算簽名距離,即每個點的簽名。通過對所有模型的所有點的簽名進行預處理和存儲,可以實現有效的對象識別。目前點云很多的功能是針對特定的任務,手工提取相應的特征完成的[5]。而僅僅依靠手工提取很難提取到完整的幾何特征,很多時候無法對于某種特定的任務提取到最佳的特征組合,從而無法提高精度問題。隨著深度學習的快速發展,很多研究者都開始尋找使用深度神經網絡來自動學習點云特征的方法[6]。近年來深度學習也廣泛應用于點云識別領域,2015年Su等[7]采用三維物體多視角(Multi-view)的二位渲染圖片作為訓練數據,基于CNN對三維物體進行識別。Charles等[8]提出了一種基于體素CNN點云識別方法,該方法將點云數據進行柵格化處理,形成體素結構,然后再通過3D卷積操作進行處理,并且引入輔助的訓練任務來減小過擬合。還有一些利用樹形結構來規則化點云數據如OctNet[9]用輸入數據中的稀疏性,使用一組不平衡的八叉樹來對空間進行分層劃分,修改并實現了卷積運算,以適應混合網格-八叉樹數據結構。Klokov等[10]在2017年提出的Kd-Net利用Kd樹對點云空間進行劃分,其層次結構用作不同的特征形式。

目前主流的點云分割與分類網絡模型是Charles等[11]在2017年提出的PointNet網絡模型,首次使用深度網絡模型端到端地直接處理原始的無序點云數據。PointNet將原始全部點云數據的集合作為輸入,通過和一個T-Net網絡結構學習到的轉換矩陣相乘來對齊,保證了模型對于特定空間轉換的不變性,之后在特征的每個維度上使用MaxPooling操作得到全局特征,再根據不同結構完成分類和分割等任務并且在很多數據集上取得了不錯的效果。但該模型簡單粗暴地利用MaxPooling操作把所有點池化成了一個全局特征,而損失了每個點的局部特征信息,這使得識別局部點云問題的能力和對于復雜場景的泛化能力較差。

為了解決PointNet所存在的問題,設計一個基于多粒度特征的網絡分類模型,利用KNN(K-Nearest Neighbor)和FPS(Farthest Point Sampling)算法對點云數據進行多層次粒化操作,在對于不同粒度層進行特征提取,通過MaxPooling使得不同粒度層的特征進行結合以完成相應的分類和分割任務,并且取得了較好的效果。

1 相關工作

1.1 基于卷積的方法

卷積神經網絡(CNN)在2D圖像領域大放異彩,在許多的圖像處理任務中都達到了最先進的性能。使用離散化卷積的優勢在于,它能充分利用了數據的網格結構,而點云數據不具備這種網格結構。要想在點云上使用卷積操作有兩種方案:第一種是將點云數據轉換成適合離散卷積的數據形式,如體素[12];第二種是創建一種新的卷積形式來處理無結構的點云數據。最近,Boulch[13]在2020年提出的ConvPoint就利用卷積概念,使用多層感知機(MLP)學習到每個點中鄰近點的連續權重函數,計算出每個點的密度(Density),來解決點云采樣不均勻問題。圖1所示為CovnPoint 分類網絡框架圖。

圖1 CovnPoint 分類網絡框架圖

1.2 PointNet

目前已經有了很多使用深度學習對于點云物體進行分割和分類方法,但大多數研究方法在處理點云時通常會將其轉換成特定視角下的深度圖像或者體素(Voxel)等更為規整的格式以便于定義權重共享的卷積操作。而PointNet[11]方法允許直接輸入點云數據進行處理, 輸入為三通道點云數據(x,y,z),也可以有額外的通道比如顏色、法向量等,輸出整體的類別、每個點所處的部分、每個點的類別。對于目標分類任務,輸出為k個分數,分別對應k個可能的類別。對于語義分割任務,輸出n×m個分數,分別對應n個點相對于m各類別的分數。

在PointNet網絡模型中,輸入的點云數據先通過和一個T-Net網絡學習到的轉換矩陣相乘來對齊,保證了模型對于特定空間轉換的不變性。通過多次MLP對各點云數據進行特征提取之后,再用一個T-Net對特征進行對齊操作,然后在特征的各個維度上執行MaxPooling操作來得到最終的全局特征。圖2所示為PointNet的輕量級體系結構。n表示輸入點的數量,m表示每個點的學習特征尺寸。

1.3 多粒度特征

粒計算(Granular Computing)[14]是當前計算智能研究領域中模擬人類思維和解決復雜問題的新方法。點云數據包含很多局部空間信息,而很多方法只是對于整個點云數據單一地提取其局部空間信息[15-16],沒有完全利用點云數據的幾何空間結構。多粒度特征可以提取到點云不同層次的粒度特征信息,相比于單一地對于整個點云數據進行局部特征提取來說,多粒度特征[17]可以獲得更多的點云空間結構信息。

2 基于多粒度的點云分類分割模型

受到PointNet和粒計算思想和圖卷積思想的啟發,提出一種基于多粒度特征提取的分層網絡模型。通過構造局部鄰域圖,對每個點所攜帶的信息進行重新編碼,結合周圍鄰域和自身信息使得每個點攜帶局部信息,從而解決點云旋轉和平移的不變性問題。完整算法流程如圖3所示。

圖3 基于多粒度的點云分類分割模型算法流程

基于多粒度的點云分類分割算法描述:

輸入:點云數據(2 048, 3)。

輸出:分類任務:k分割任務:(2 048, c)。

1) 使用KNN+FPS算法對原始點云數據進行迭代特征聚集采樣至三個不同粒度層G1、G2、G3。

3) 對于每個粒度層提取到的特征圖進行MaxPooling操作得到每一層的全局特征描述符U1、U2、U3。

4) 對于分類任務,把不同粒度層提取到的特征進行堆疊操作得到全局特征,然后利用全連接網絡得到分類結果。

5) 對于分割任務,把不同粒度層提取到的特征分別進行repeat操作把每一粒度提取特征賦予所有點,然后進行維度疊加通過MLP得到最后分割特征圖。

2.1 粒化采樣層

(1)

邊緣函數的選擇對于每個點所攜帶的局部信息具有重要的影響,PointNet只對單個點進行編碼,沒有考慮到周圍局部特征信息,導致其識別特征的能力受到限制?？紤]到自身點和鄰域點所攜帶的幾何信息采用的邊緣函數定義為:

hθ(xi,xj)=hθ(xi,xi-xj)

(2)

這樣的結構同時結合了全局形狀信息以及局部領域信息。

把點云M進行最遠點采樣(FPS)采樣到N/2個點來傳入下一層粒度層,再重新計算每個點的鄰域信息進行特征提取。雖然越往下粒度層的點云會變得更稀疏,但其每個點所攜帶的信息更多,局部信息一層一層從上到下進行傳遞并且更加細化,每一層提取到的特征點也更加具體。實驗表明采用三個不同粒度層結構能獲得較好的性能。圖4表示?；蓸訉铀惴?。

圖4 粒化采樣層算法

2.2 網絡結構

為了獲得更好的點云分割與分類效果,需要獲得更為精細的點特征,因此采用多粒度特征提取思想,通過分層結構來更好地提取點云的局部特征信息,其網絡結構可分為兩部分,第一部分為多粒度特征提取結構如圖5所示,特征提取過程包括:

圖5 多粒度特征提取結構圖

1) 輸入層。具有N個點的點云模型N×S作為網絡的輸入,S=3每個點由xyz坐標組成。

2) ?；蓸訉?。把N個點的點云模型?；蓸映蒒/2×S×2形狀的點云模型作為下一粒度層的點云輸入。

3) MLP層。第一粒度層的MLP=(S,64,128,256)。第二粒度層的MLP=(2×S,64,128,256)。第三粒度層的MLP=(4×S,64,128,256,512)。

分類網絡如圖6所示。把每一粒度層提取到的點云特征進行池化操作(Pooling)得到三個一維向量,再把一維向量按照維度進行拼接成1 024維向量,輸入到全連接網絡當中進行分類操作。全連接層分為三層,每層的輸出維度為(512, 256, 40),在最后一層后面加入了Dropout層。

圖6 點云分類網絡

點云分割如圖7所示,把每一粒度層池化得到的一維特征向量復制給每個點,使得每個點都攜帶局部和全局的特征信息,通過拼接操作把不同粒度層提取到的不同特征信息拼接起來,通過MLP(512,256,128,k)對每個點進行分類操作,其中k為每個點所對應的類別數。

3 實驗與結果分析

3.1 訓練與參數

使用PyTorch深度學習框架,在ModeNet40和ShapeNet數據集上進行訓練和測試。實驗在Ubuntu 18.04.5系統下進行,配置顯卡微星GeForce RTX 2080 SUPER, Python 3.6, PyTorch-GPU 1.5.1。

在實驗中,采用ModeNet40數據集,該數據集一共9 843個訓練樣本,每個樣本有2 048個點,每個點由xyz三維坐標組成。ShapeNet數據集有12 137個訓練樣本,每個樣本有2 048個點,每個點由xyz三維坐標組成。對于鄰域圖中的k值分別選取了15、20、25進行實驗對比,實驗結果表明當k為20時模型效果最好。通過先前實驗對比,當粒度層數為三層時且點云數對半遞減時,效果明顯好于其他層數。根據先前工作研究,本文選取迭代次數200次,學習率為0.01,批訓練次數為32,使用ReLU激活函數,優化器采用自適應矩陣估計優化器(adam)。為了防止訓練過擬合,對于全連接層采取DropOut操作。

3.2 數據集

1) ModelNet40。

ModelNet40數據集包含40個類別的12 311個CAD模型,其中有9 843個模型用于深度網絡的訓練,2 468個模型用于測試。

2) ShapeNet。

ShapeNet數據集包含16物體類別,分別為Airplane、Bag、Cap、Car、Chair、Earphone、Guitar、Knife、Lamp、Laptop、Motorbike、Mug、Pistol、Rocket、Skateboard、Table。其中訓練樣本數為12 137個3D形狀,測試樣本數為2 874個3D形狀。物體分割中,16類物體總共標注了50種零部件。

3.3 實驗結果分析

1) 點云分類。

將模型在ModelNet40數據集上進行分類準確率與其他三維模型分類網絡作對比如表1所示。

表1 幾種模型在ModelNet40上的分類精度對比

可以看出本模型在ModelNet40數據集上的分類準確率更高,比PointNet的精度高出約5百分點,也遠高于PointNet++,并且本模型的訓練速度要優于PointNet++。當k=20的時候模型精度遠好于k為其他值。

在ShapeNet訓練集上進行分類準確率與其他模型做對比如表2所示。本模型在ShapeNet數據集上的分類精度也優于PointNet和PointNet++。跟分類實驗相同,當k取20時,實驗結果要好于其他值。

表2 幾種模型在ShapeNet上的分類精度對比

2) 點云分割。

ShapeNet數據集上評估了點云分割模型的性能。物體分割結果分別與Kd-Net、PointNet++、PointNet的分割結果通過所有形狀的總平均交并比(mIOU)和每個類的平均交并比(mIOU)的評價標準進行比較,結果如表3所示。比較Kd-Net和PointNet,由于本模型采用多粒度思想,通過鄰域圖有效地提取了點云的局部信息導致精度得到了較大提升,平均交并比提高了將近4百分點。對比PointNet++,本模型也略優,且速度上本模型也優于PointNet++。分割比較效果圖如圖8所示。

表3 ShapeNet數據集上的分割效果對比(%)

圖8 點云分割效果比對圖

4 結 語

采用多粒度思想,結合點云空間幾何結構設計出一種基于多粒度思想的深度學習點云識別網絡。該模型充分利用點云局部空間結構信息,對每個點的局部信息進行重新編碼,采用分層結構逐層提取點云特征,更有效地進行點云識別任務。在自動駕駛領域中,點云處理技術可以對傳感器獲取的點云地圖進行分析。本方法可以將先前技術所構建的點云地圖進行分割,可以把背景和前景實物區分開來,僅將前景點用于后續模塊處理,該方法可以顯著降低目標檢測的計算量,提高目標檢測的精度。本方法還可以用于識別3D道路中的交通線和路標等重要信息。

在ModelNet40和ShapeNet數據集上的實驗表明,本模型可以很好地提取點云的局部特征,在分割和分類任務上性能優于PointNet和PointNet++,并且對大規模點云數據表現出較好的識別潛能。