結合位置關系卷積與深度殘差網絡的三維點云識別與分割

楊軍,王連甲

(1.蘭州交通大學電子與信息工程學院,730070,蘭州; 2.蘭州交通大學測繪與地理信息學院,730070,蘭州)

近年來,深度學習已經在二維圖像處理如圖像分類[1-2]、目標檢測[3-4]和語義分割[5-6]等方面取得了顯著的成績。越來越多的研究開始對三維空間進行探索。三維點云由于其包含的信息豐富且數據結構簡單,成為了三維空間的主要數據表達方式。與此同時,三維(3D)激光掃描技術的興起使得點云數據的獲取成本快速降低,促進了許多依賴3D點云數據應用的發展,例如自動駕駛[7]、機器人[8]和三維重建[9]等。三維點云的識別與分割算法作為以上應用開發的技術基石具有重要研究意義。三維點云識別就是將輸入的三維點云模型進行分析并輸出模型所屬類別,而三維點云分割則是將輸入的點云場景中每個點都預測其所屬的物體或部件類別。然而,由于點云由三維空間中無序和不規則的點集組成,不能直接將處理二維圖像的深度學習方法直接用于三維點云處理,這使得該領域的研究備受關注。

早期的研究將三維點云投影至二維平面,再用成熟的二維圖像的卷積神經網絡模型提取特征。但是,多視圖方法會不可避免地丟失某些具有鑒別力的幾何信息,并且投影視角的選擇也需要豐富的先驗知識。基于體素的方法將三維點云規則化至三維體素塊,然后用三維卷積操作對體素塊進行處理。該類方法一定程度上保留了點云的幾何信息,然而將三維點云映射至三維體素的過程會消耗額外的內存與計算空間,并且無法細分物體邊界的幾何信息。以PointNet[10]為代表的基于點云的方法直接將原始點云輸入深度學習網絡進行處理,這樣能夠利用點云原始信息且不增加額外操作,可以充分獲取點云所有信息,但由于點云具有不規則、無序等特點,當前此類方法存在局部特征提取不充分,點云識別與分割精度不足等問題。

針對上述問題,本文提出了基于位置關系卷積與深度殘差網絡(positional relation convolution and deep residual network,PRCDRNet)的三維點云識別與分割算法。位置關系卷積可以對局部鄰域內點的語義特征與幾何位置關系特征進行編碼融合,增強局部特征的上下文信息。深度殘差模塊通過基本殘差單元的堆疊能夠對位置關系卷積得到的融合特征進行深層強化,充分提取深度語義信息,在獲得更精細的點云特征的同時,解決了因網絡層數加深而產生的網絡退化問題。主要貢獻與創新點有兩點:一是構建位置關系卷積,充分提取并融合局部鄰域內位置關系特征與幾何結構特征,得到更豐富的局部鄰域特征;二是引入深度殘差模塊,緩解因網絡層數加深產生的網絡退化問題,提升點云識別與分割準確率。

1 相關研究

目前,關于三維點云的分類與分割算法主要分為基于多視圖、基于體素與基于原始點云三類方法。

1.1 基于多視圖的方法

由于點云的不規則與無序性,早期的許多研究先將三維點云投影至二維平面,再使用現有的二維卷積神經網絡模型分析處理。Su等[11]首先將三維點云按照不同視角投影至二維平面得到二維投影視圖,然后將得到的二維投影視圖分別送入用于二維圖像分類的VGG[12]網絡進行特征提取,最后將提取到的特征進行池化操作得到點云的全局特征描述符。馮元力等[13]通過對三維模型進行球面深度投影得到球面全景圖,并將每個模型的球面全景圖從多個角度展開, 創建多幅平面圖像作為多分支的卷積神經網絡的輸入, 對多幅全景圖進行整合分析后可獲得三維點云的識別結果。Wei等[14]將二維投影視圖看作節點構造有向圖,然后將得到的節點特征最大池化后形成全局特征描述符,最后通過全連接層得到點云的識別結果。

基于多視圖的方法可以利用現有成熟有效的二維卷積神經網絡實現三維點云的識別與分割,但這種方法忽略了三維點云的空間內在幾何關系,且在投影時三維點云的部分信息會因為被遮擋而損失,從而影響識別精度。

1.2 基于體素的方法

基于體素的方法通常將三維點云映射至三維體素塊,然后使用標準的三維卷積處理。Maturana等[15]提出一種體素占用網絡VoxNet,把不規則的點云數據規則化為三維體素網格的形式,然后用三維卷積神經網絡處理三維體素網格獲得特征描述符。Choy等[16]提出一種用于時空三維點云數據的4D稀疏卷積網絡,并創建了稀疏張量自動微分的開源庫。所提出的廣義稀疏卷積能夠有效處理高維數據,顯著降低傳統3D卷積核計算成本,且該卷積核對于立方體結構的物體識別能力更強。文獻[17]在模型特征的提取過程中,使用堆疊小卷積核的深度卷積神經網絡以便更加有效地挖掘模型內部的隱含信息并提取體素矩陣的深層特征,提高了復雜3D模型識別準確率。

基于體素的方法在一定程度上保留了點云的三維幾何結構,然而體素化過程中體素塊大小的選擇會影響網絡性能,體素塊太大會丟失幾何細節,太小會增加計算成本與內存消耗。設計基于體素的點云處理算法需要進行計算效率和體素比例的權衡。

1.3 基于原始點云的方法

Charles等[10]首次提出了直接使用原始點云作為輸入的網絡PointNet,充分考慮了直接處理點云所需的置換不變性與平移旋轉不變性,利用多層感知機(multi-layer perceptron, MLP)學習每個獨立點的高維表征,然后采用最大池化層對所有點的高維特征進行聚合得到全局特征描述符。PointNet是直接處理原始點云方法的先驅工作,但是其只關注到每個點對于全局特征的影響,沒有考慮到局部特征。Qi等[18]在PointNet基礎上提出PointNet++網絡,通過劃分局部點云分層提取多尺度特征,將提取到的局部特征與全局特征充分融合得到點云語義特征。周鵬等[19]提出一種基于資源平衡的神經網絡架構搜索方法來實現三維點云模型的識別。Li等[20]利用點的規范順序,通過X-Conv操作符對輸入點和特征進行排列和加權,不同的輸入順序對應不同的X變換矩陣,并用常規卷積對重組后的點進行處理,解決了點云輸入無序的問題。Dang等[21]提出分層并行組卷積,可以同時捕捉點云的區分性獨立單點特征和局部幾何特征,以較少的冗余信息增強特征的豐富性,提高了網絡識別復雜類別的能力。PointWeb不僅考慮了局部鄰域中鄰近點與中心點的關系,還考慮到鄰近點的結構,通過連接局部區域中的每個點對,以獲得更具代表性的區域特征[22]。Wang等[23]提出邊緣卷積EdgeConv來生成描述點與其相鄰點之間關系的邊特征,將每個中心點與其k個最近鄰點連接起來構成局部鄰域來聚合本地上下文信息;成對的特征由MLP獨立編碼構成圖結構,并且在每層MLP編碼后動態更新圖結構,使得對不同規模與類型的點云得到更好的識別與分割結果。文獻[24]提出了一種輕量級的代理點圖卷積,能夠簡化邊緣卷積操作且降低內存消耗,獲得深層細粒度的幾何特征,并對語義特征和局部幾何特征進行編碼,增強了特征局部的上下文信息。PointConv通過使用MLP逼近卷積濾波器中的連續權重和密度函數,將動態濾波器擴展到新的卷積運算[25]。PointASNL使用自注意力機制構建自適應采樣(adaptive sampling,AS)模塊與局部-非局部(local-non local,L-NL)模塊提取特征,AS模塊可以自適應地調整最遠點采樣后的點坐標與特征,L-NL模塊用于捕獲采樣點的局部與全局依賴關系[26]。

基于原始點云的方法不需要將點云投影至二維平面或體素化,節省了計算消耗與內存空間,但現有的方法沒有充分利用點云最重要的幾何位置特征,缺乏對局部特征的精細提取。

2 位置關系卷積與深度殘差網絡

三維點云可以表示為空間中的一組無序點集。不同點云數據集包含的特征通道數并不統一。一般情況下,點云的輸入特征通道數等于3,表示每個點由三維坐標表示,不同的點云數據可能包含其他額外的特征信息,如顏色、深度或表面法向量等。在各種特征中最具代表性與決定性的特征是點云的位置坐標特征,因此本文重點關注點云的位置信息特征。在位置關系深度殘差神經網絡中,通過位置關系卷積(positional relation convolution,PRConv)將局部鄰域內當前點的語義特征、位置關系特征與幾何特征充分融合,得到點云局部區域的高級特征;將融合后的特征送入深度殘差模塊(deep residual block,DRB)進行深層語義特征提取,將得到的深層語義特征按順序分層送入位置關系卷積與深度殘差模塊即可得到包含豐富位置與幾何特征的點云全局特征。

2.1 位置關系卷積

二維(2D)圖像處理中的卷積操作是卷積神經網絡中的核心步驟,如圖1所示,大小固定的卷積核自左往右,從上而下的掃描整個圖像,經過反向傳播得到學習后的權重共享的核參數。二維卷積操作可以抽象表示為

圖1 二維圖像上的卷積操作

(1)

式中:Conv(·)表示卷積操作;v表示卷積核大小,例如1×1、3×3、5×5等;W(·)表示權重函數;Cv表示v范圍像素上的通道特征。

由于點云(point cloud)的無序性與不規則性,每個點并不固定在如二維圖像的規則網格中,因此不能直接使用二維卷積處理點云。當前主流處理方法如圖2所示,首先使用最遠點采樣(farthest point sampling,FPS)算法對輸入點云進行下采樣,確定局部區域的中心點,然后用k最近鄰(k-nearest neighbor,k-NN)分類算法確定中心點的k個鄰域點,再對局部區域內處理。點云的卷積操作可以抽象表示為

圖2 三維點云上的卷積操作

F(α+lα,β+lβ,γ+lγ)dlαdlβdlγ

(2)

式中:(α,β,γ)為點云通過FPS下采樣后任意點的坐標;L表示以(α,β,γ)為中心點以k個點為鄰域的局部區域;(lα,lβ,lγ)為局部鄰域中的任意點坐標;F(α+lα,β+lβ,γ+lγ)表示局部區域L內的通道特征。

現有的基于原始點云三維模型識別與分割方法大多數都采用如式(2)所示的方式進行點云的特征提取,不同的方法區別在于對權重函數W(·)的設計不同。如圖3(a)所示,圖中每個圓表示點云中的一個點,其中紅色表示點云下采樣后的中心點,藍色表示局部鄰域內的點,點與點間的連線表示點與點的不同關系,PointNet++首次考慮了局部鄰域內中心點與鄰域點各自獨立的特征,其卷積函數可表示為

(a)PointNet++

W=M(f(xj)),xj∈L

(3)

式中:M(·)表示權重共享的多層感知機;f(·)表示點的當前特征;xj為局部鄰域內任意點。DGCNN通過學習高維特征空間中的點關系來捕捉相似的局部形狀,如圖3(b)所示,其卷積函數可表示為

W=M[f(xj),f(xj)-f(xi)],xj∈L

(4)

式中:xi為局部鄰域中心點。PointWeb使用自適應特征調整模塊自適應地學習局部鄰域內每個點對之間的影響指標,如圖3(c)所示,其卷積函數可表示為

W=M[f(xj),Frel(xj,xh)],xh,xj∈L

(5)

(6)

式中:xh為局部鄰域內的任意點;Frel為自適應學習函數。

PointNet++考慮了局部鄰域內中心點與鄰域點各自獨立的特征,但是缺乏對鄰域內中心點與鄰域點關系的探索,DGCNN考慮了鄰域內中心點與鄰域點之間的關系,但是鄰域點與中心點的關系表示為點高維特征之間的運算,沒有重點關注點云最重要的位置與幾何特征,且隨著網絡層數加深,特征提取至高維時,網絡的運算量變得很大,計算效率大大降低。PointWeb不僅考慮了鄰域點與中心點的關系,還嘗試將鄰域內每個點的特征關聯起來,但是這樣會極大增加網絡的參數,造成特征冗余,增加運算成本。為了挖掘點云鄰域內的位置關系與幾何拓撲結構,更充分地提取點云的高級語義特征,本文提出了位置關系卷積,其中鄰域內點的關系如圖3(d)所示,可以表示為

W=M[f(xj),xi,(xj-xi),Di,j],xj∈L

(7)

Di,j=‖xj-xi‖2

(8)

式中:Di,j為鄰域中心點xi與鄰域點xj的歐氏距離。式(7)中位置關系卷積函數將局部鄰域特征f(xj)、局部鄰域中心點位置特征xi、鄰域內點與中心點的相對位置特征xj-xi和鄰域內點與中心點的歐氏距離特征拼接后送入MLP進行特征融合,融合過程中既保留了當前點的高級特征,增強了當前鄰域內中心點與鄰域點位置關系特征,又引入歐氏距離強化了局部鄰域內的幾何拓撲特征。

綜上,本文提出的位置關系卷積(positional relation convolution,PRConv)結構如圖4所示。圖中不同立方體表示位置關系卷積中產生的不同特征,矩形表示位置關系卷積中的運算操作,主要由兩條分支組成。上路分支通過對原始點云的位置信息進行運算得到局部鄰域內的強化位置特征與幾何特征;下路分支通過FPS、k-NN操作得到當前局部鄰域的高維語義特征。然后將兩條分支獲取的特征進行拼接后送入權重共享的MLP進行特征融合,最后對融合后的特征采用最大池化操作,輸出表征整個局部鄰域的高級語義特征。

圖4 位置關系卷積結構示意圖

2.2 深度殘差模塊

通過位置關系卷積,得到了整個局部鄰域的高級語義特征,但是僅通過位置關系卷積中的MLP不能充分提取局部鄰域中的深層特征。受ResNet[27]的啟發,本文引入殘差結構,構建了新的深度殘差模塊,在增加網絡深度,充分提取局部鄰域中深層特征的同時,降低梯度消失,緩解因網絡層數加深產生的網絡退化問題。

神經網絡需要使用MLP來提取三維點云的特征,普通MLP結構對通道特征的處理可以簡單表示為

Cout=f(Cin)

(9)

式中:Cin為輸入特征;Cout為輸出特征;f(·)為映射函數即MLP操作。MLP通過反向傳播更新網絡的參數,反向傳播過程中需要對參數求導數

(10)

由于當前網絡由多層MLP堆疊組成,當MLP層數過多時,反向傳播時會產生梯度消失的問題,即f′(Cin)接近于0。這會導致反向傳播過程難以進行,最終使MLP無法準確地提取通道特征。因此,ResNet提出一種殘差結構,可以簡單表示為

Cout=f(Cin)+Cin

(11)

此時對參數進行求導數可得到

(12)

當網絡包含的MLP層數過多,在反向傳播時會出現梯度消失問題,即f′(Cin)接近0時,MLP的梯度將大于等于1,在一定程度上解決了反向傳播中梯度消失問題。據此,本文設計了一個基本殘差單元(basic residual unit,BRU),如圖5所示,其中立方體表示特征,矩形表示批歸一化、激活函數等操作,其過程可以表示為

圖5 基本殘差單元結構示意圖

Cout=σ(B(M2(σ(B(M1(Cin)))))+Cin)

(13)

式中:σ(·)為激活函數;B(·)為批歸一化操作;M1(·)與M2(·)均為MLP操作,并且M1(·)與M2(·)輸入與輸出的通道數均等于Cin的通道數。

深度殘差模塊可由一個或多個基本殘差單元串聯組成。經過消融實驗,本文構建的深度殘差模塊由兩個基本殘差單元組成,其結構如圖6所示,其中立方體表示特征,矩形為基本殘差單元(BRU)。

圖6 深度殘差模塊結構示意圖

2.3 基于位置關系卷積與深度殘差網絡的模型架構

本文構建的基于位置關系卷積與深度殘差網絡的模型架構采用編碼器-解碼器結構,如圖7所示,其中矩形為位置關系卷積、插值等操作,不同顏色矩形塊的堆疊表示網絡各層輸出的特征。在將原始點云輸入編碼器之前,先將原始點云的初始特征映射至高維空間,使編碼器可以更充分地提取原始點云特征。為了充分挖掘點云的細粒度特征和多尺度上下文信息,編碼器采用4層結構設計,每一層包含下采樣、位置關系卷積模塊和深度殘差模塊。在第一層中,首先將原始點云嵌入得到的高維點云特征Fe采用FPS算法下采樣,并通過位置關系卷積模塊對鄰域內高維點云特征、位置關系特征與幾何結構特征進行拼接融合,然后將融合后的特征輸入深度殘差模塊充分提取局部鄰域的深層語義特征,最后輸出第一層結構提取到的淺層局部特征F1。通過相同的方法,可以得到更深層的局部特征F2與F3,直至最后在第四層輸出提取到的最高級局部特征F4。通過最大池化操作得到包含豐富上下文信息的點云全局特征Fg,送入設計的全連接層(fully connected layer,FCL)得到點云分類的概率預測得分1×C,C為點云類別數目。

圖7 基于位置關系卷積與深度殘差網絡的模型架構

解碼器同樣采用分層結構設計,每一層包含插值操作與MLP,插值操作用來實現分割所需的上采樣過程,MLP融合深層語義特征與淺層語義特征并對齊插值特征中的通道數。首先對局部深層特征F3與F4用距離插值方法[18]進行合并插值,并將得到的結果輸入MLP與局部深層特征F3的特征通道數對齊得到插值特征即解碼器的首層輸出FI4,通過相同的步驟可以分別得到插值特征FI3、FI2、FI1,插值特征FI1為編碼器的最終輸出。最后將全局特征與解碼器的最終輸出拼接后送入MLP得到點云分割的概率預測結果N×S,N為原始點云點的數目,S為每個點的語義類別數目。

3 實驗結果與分析

為了探究本文構建的基于位置關系卷積與深度殘差網絡(PRCDRNet)的模型對點云識別與分割的有效性,分別在三維點云分類數據集ModelNet40[28]與三維點云部件語義分割數據集ShapeNet Part[29]上評估了網絡模型的識別與分割性能。訓練和測試的實驗硬件為英特爾i9 10900k CPU和GeForce RTX3090 GPU(24 GB 顯存)顯卡,實驗環境與主要參數如表1所示。

表1 實驗環境與主要參數

3.1 三維點云識別實驗

本文選擇在ModelNet40數據集上進行三維點云識別實驗。ModelNet40數據集是由普林斯頓大學用CAD軟件構建的三維模型數據集,其包含來自40個類別的12 311個三維形狀,如飛機、汽車、鍵盤等。其中9 843個模型用于訓練,2 468個模型用于測試。采用總體精度作為識別的性能評估指標。

文中選取了基于多視圖、體素與原始點云3種方法中性能突出的網絡模型進行對比實驗,其中以基于原始點云輸入方法為主,并對較為經典且創新性較強的網絡模型與本文PRCDRNet模型進行了性能對比分析。在ModelNet40數據集上的實驗結果對比如表2所示。可以看出:本文算法在ModelNet40數據集上的總體精度達到了93.9%,由于本文采用的原始點云輸入的方法不需要將點云轉換為二維圖像與體素塊,減少了轉換過程中信息的丟失,大幅領先基于體素方法的VoxNet[15]10.9%,相比基于多視圖方法的MVCNN[11],總體精度超出3.8%;與基于原始點云輸入方法對比,比1 000個點作為輸入的PointNet++[18]的精度提升了3.2%,主要由于PRCDRNet模型中的位置關系卷積充分提取了局部鄰域內的位置關系特征與局部幾何特征;與網絡層數較深、參數量較大的KPConv[32]模型相比,PRCDRNet模型中的深度殘差模塊在增加網絡深度的同時降低梯度消失,緩解因網絡層數加深產生的網絡退化問題,使得總體精度提升了1%。此外,PRCDRNet模型僅采用1 024個點作為輸入,總體精度超過了以更多點或更多信息作為輸入的網絡模型,如SpiderCNN[30]、PointWeb[22]等。所以,本文提出的基于位置關系卷積與深度殘差網絡的模型具有較強的點云識別能力。

表2 不同網絡模型在ModelNet40數據集上的總體精度對比

PRCDRNet模型在ModelNet40數據集上的訓練輪次與總體精度的關系如圖8所示,可以看出訓練在50輪內快速收斂,在269輪訓練時達到最高識別精度。

圖8 訓練輪次與識別的總體精度

3.2 三維點云分割實驗

本文選擇在ShapeNet Part數據集上進行三維點云分割實驗。ShapeNet Part數據集包含16個類別的15 881個CAD模型,每個類別包含2～6個不同部件,共有50個部件語義標簽。在ShapeNet Part數據集上采用實例平均交并比MI與類別平均交并比MC作為網絡分割性能的評價指標,公式如下

(14)

(15)

式中:z為類別數;p為每個類別中點的個數;TP為預測結果是正類,真實標簽也為正類的點;FP為預測結果是正類,真實標簽為負類的點;TN為預測結果是負類,真實標簽為正類的點。

本文PRCDRNet模型和其他經典的網絡模型在ShapeNet Part數據集上的實驗結果對比如表3所示。可以看出,本文算法在ShapeNet Part數據集上的MC達到了最高的84.7%,MI達到了86.0%,高于大多數主流網絡模型。與DGCNN[23]模型相比,本文算法的PRConv在EdgeConv的基礎上融合了幾何關系特征豐富了提取到的語義特征,并且將高維空間中的鄰域空間搜索改為位置坐標鄰域搜索,降低了高維特征信息冗余,使得MI與MC分別提升了0.8%與2.4%。雖然MI略遜于PointASNL[26]0.1%,但在手提包、車輛、耳機、匕首等11個類別實現了最近分割性能。實驗結果充分證明,本文方法在點云語義分割任務中具有較強的競爭力。

表3 不同網絡模型在ShapeNet Part數據集上的分割結果對比

PRCDRNet模型在ShapeNet Part數據集上的訓練輪次與平均交并比的關系如圖9所示,可以看出訓練大概在120輪時收斂,在205輪時得到最佳分割結果。

圖9 訓練輪次與平均交并比

PRCDRNet模型在ShapeNet Part數據集上的分割結果可視化如圖10所示,第一行為真實標簽,第二行為PRCDRNet模型分割結果。可以看出,本文算法分割結果已接近于真實標簽,可以準確地提取到點云特征。

圖10 ShapeNet Part數據集分割結果可視化

3.3 消融實驗

3.3.1k近鄰點

本文提出的位置關系卷積在提取點云局部特征的過程中采用k-NN算法構建局部鄰域,鄰域點的數目k在一定程度上會影響網絡提取到的局部特征。較小的鄰域點數目構建局部鄰域速度相對較快,網絡計算量低,但是構建的鄰域范圍過小無法學習到全面的幾何特征,導致精度較低,而鄰域點數目過大會導致局部鄰域范圍重疊,會引入更多的噪聲,影響網絡對幾何特征的學習。當前主流網絡模型根據實驗將k設置為16、24、32等數值。此外,不同的數據集點云的規模大小也不統一,不同近鄰數目的選擇對不同的數據集的影響存在差異。本文分別在ModelNet40數據集與ShapeNet Part數據集上進行了消融實驗,測試了不同近鄰數目k對識別總體精度與分割精度的影響。從表4可以看出,當k為16時,網絡的總體精度與分割精度均較低,網絡的總體精度在k為24時達到最高,當k為32時,近鄰點過多反而導致了網絡在ModelNet40數據集上總體精度下降。由于點云分割數據集ShapeNet Part的輸入點是點云識別數據集ModelNet40的2倍,因此當近鄰點較大時,網絡能更充分地提取較大鄰域內的幾何特征,但如果近鄰點數目過大也會導致不同鄰域內的特征信息重疊冗余,影響分割結果。實驗表明,網絡的分割性能在k為32時表現最佳。

表4 近鄰數目對點云識別與分割結果的影響對比

3.3.2 基本殘差單元

本文提出了深度殘差模塊旨在加強提取局部鄰域中深層特征,緩解因網絡層數加深產生的網絡退化問題。深度殘差模塊由如圖4所示的一個或多個基本殘差單元(BRU)串連堆疊組成。為了驗證深度殘差模塊對點云識別與分割精度的影響,分別在Model-Net40數據集與ShapeNet Part數據集上進行消融實驗,實驗結果如表5所示。可以看出,當深度殘差模塊由2個基本殘差單元串聯組成時,點云的識別與分割效果最好,相較于沒有深度殘差模塊的網絡,總體精度提高0.5%,分割平均交并比提高0.2%。在一定配置下,深度殘差模塊能夠加強局部鄰域中深層特征的提取,提高點云的識別與分割精度。

表5 基本殘差單元數目對點云識別與分割精度的影響對比

4 結 論

本文提出了一種基于位置關系深度殘差神經網絡的三維點云識別與分割算法。首先,對原始點云做嵌入操作,獲得點云的高維特征表示。其次,通過FPS下采樣并用k-NN算法確定局部鄰域。然后,將局部鄰域分別輸入位置關系卷積對局部鄰域當前點的特征與局部鄰域內的幾何特征做融合并強化局部鄰域的中心特征,通過深度殘差模塊強化提取深層局部特征。分層重復以上步驟可以獲得點云的深層上下文特征,實現了點云的識別與分割處理。本文算法在ModelNet40點云分類數據集和ShapeNet Part點云分割數據集分別達到了93.9%總體精度與86.0%的平均交并比,具有較好的點云識別與分割能力。

本文算法在點云規模較小的識別任務取得了較好的成績,然而對于大規模點云分割任務的結果還不是很理想,仍然存在較大的改進空間。如何提高算法對大規模點云的分割能力并提升網絡的泛化性能,是未來繼續研究的方向。