基于點密度加權的多尺度分層點云識別網絡

秦鑫宇，韓 帥，沈學利，楊 瑩

1.遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105

2.中國科學院 海西研究院 泉州裝備制造研究所，福建 泉州 362216

近年來，隨著虛擬/現實、機器人技術、自動駕駛等領域的快速發展以及各種直接獲取3D數據的掃描設備（如：深度相機、LiDAR掃描儀、雷達等）的普及，3D點云的應用已越來越廣泛。3D 幾何數據可以提供3D 空間信息，并且受照明強度的影響較小，比RGB（紅色、綠色、藍色）圖像信息更魯棒。點云通常代表3D空間(R3)中的一組無序的3D 點，每個點都有x、y、z三個坐標，并且可能具有其他特征（如：RGB信息、法向信息等），它是3D 幾何數據最常見的表示形式。深度相機、LiDAR掃描儀和雷達的原始數據通常是點云，此外，幾何數據的其他3D 表示（例如網格、體素和深度圖像）也可以很容易地被轉換為點云[1]。因此，對點云數據的識別具有重要的意義。

在2D圖像領域，卷積神經網絡（convolutional neural network，CNN）取得了重大突破，極大地改善了大多數視覺任務的結果。在點云的深度學習中，希望將CNN在常規柵格數據（例如圖像）分析上的非凡成功應用到不規則3D點云的處理上。然而與具有規則像素排列的2D 圖像不同，通常點云數據的幾何形狀是由一組稀疏且無序的3D 點表示的，這樣的數據格式使得點云難以應用常規的CNN 進行卷積，因此對具有不規則結構的3D點云的分析更具有挑戰性[2]。

對此有不少學者針對點云數據的識別與分類提出了自己的改進方法，大致分為基于體素的方法、基于視圖的方法和基于幾何的方法。文獻[3]提出VoxNet，以實現對3D 對象可靠的識別。考慮到體素數據的高存儲、高計算成本和3D網格的分辨率通常較低等因素，利用體素網格的方法來處理大規模點云存在一定的問題。文獻[4]提出MVCNN，首次提出了基于視圖的方法，將多個視圖的特征最大池化為一個全局特征。文獻[5]首先獲得3D 形狀在不同尺度及視點下的深度圖和陰影圖，然后使用全卷積網絡對其進行特征學習。二維投影可能會由于自我遮擋而導致形狀信息丟失，并且通常需要大量視圖才能獲得良好的性能。文獻[6-7]采取手工提取特征并采用傳統機器學習的方法實現點云分類，此類方法未能獲取全部點云信息且特征的提取需要耗費較長時間[8]。文獻[9]提出了PointNet 網絡，可以直接對原始點云進行分類和分割，但由于PointNet無法獲取局部信息的缺點使它難以應對復雜場景的分析。文獻[10]對原始點云數據進行預處理和k-means聚類分析，并對處理后的數據通過PointNet網絡進行并行特征提取，以減少冗余的點云數據，提高訓練效率，但該方法的最終分類精度受k-means算法的k值影響較大。文獻[11-13]將PointNet作為特征提取器，遞歸地應用到多尺度的嵌套分區上以提取局部特征，并組合來自不同比例尺度的學習到的特征。該方法雖然可以對提取到的局部特征進行整合，但仍然僅會分別處理局域點集中的每個點，并且不會提取該點及其鄰居之間的關系，例如距離和邊緣向量。

為此，本文提出一種針對原始3D 點云進行卷積的新的卷積方式。在3D 空間中，可將此卷積運算符的權重視為相對于3D 參考點的局域3D 點坐標的連續函數，可以通過多層感知器（multi-layer perceptron，MLP）進行近似[14-16]。考慮到點云的非均勻采樣，本文使用高斯核函數進行核密度估計（kernel density estimation，KDE）[17]，經過由MLP 近似的密度函數以學習密度尺度，并結合點云中點的相對位置進行加權。此外，使用多尺度采樣分組方法對不同尺度范圍內的樣本進行細粒度識別，并在原始點集中引入了法向特征作為方向信息，以實現網絡性能的進一步提升。

1 相關算法

1.1 局域內K個點的點云卷積操作

卷積是分析數學中一種重要的運算，有著廣泛的運用。在2D圖像的處理中，常用的是2D卷積。對于函數f、g在(x,y)位置處的卷積的定義，通常如等式（1）、（2）所示[18]。

對2D 圖像的卷積過程可以解釋為等式（2）中的離散函數，整個卷積過程就是使用濾波器在2D 圖像表示的網格狀矩陣中滑動的過程。由于圖像的不同像素之間的相對位置始終是固定的，使得對于局部區域內的每個位置，濾波器都可以很容易地對圖像中每個像素的鄰域進行加權求和，進而得到該像素點的輸出值。

與圖像不同的是，點云具有更靈活的形狀。點云中點的位置坐標不在固定網格上，而是可以取任意連續值，因此每個局域內的不同點的相對位置是不同的，這時無法將傳統2D 圖像的離散卷積濾波器直接應用于點云。

圖1 顯示了圖像和點云之間的差異，如圖1（a）所示，在一個7×7 的圖像的局域范圍內，點之間是呈規則排列分布的，點與點間的距離只能獲得非常小的離散值，而如圖1（b）所示，在整個點云中不同的局部區域內，點云順序和相對位置可能有很大的不同。

圖1 柵格圖像與點云的對比Fig.1 Comparison between raster images and point clouds

為了使卷積與3D 點集兼容，本文提出了一種排列不變的卷積運算，首先將2D 離散卷積擴展至3D 空間，可以寫為如下形式：

圖2 局域內點云2D分布及對應權重Fig.2 2D point cloud distribution and corresponding weights in local region

如圖3 展示了局域內K個點的點云卷積操作，其中，Cin、Cout、Cmid分別代表輸入、輸出和中間層通道的尺寸，k代表第k(1 ≤k≤K)個鄰近點的索引。P∈RK×3，Plocal∈RK×3分別代表局域內點的相對位置和局域位置，其中，Plocal可以通過點的位置坐標減去局域中點的質心坐標來計算。使用到的MLP 網絡（包括密度網絡、權重網絡）均由1×1 的卷積實現。F∈RK×Cin、F?∈RK×Cout代表局域中點的輸入特征和經過MLP 網絡

圖3 局域內K 個點的點云卷積操作Fig.3 Point cloud convolution operation of K points in local region

1.2 改進的FPS算法

最遠點采樣（farthest point sampling，FPS）在點云研究中有著很關鍵的作用，在很多流行的點云模型中，都用到了該算法[20]。假設有n個點，從中按照FPS算法采樣出S個點(S

算法假設點pB是集合B里面的一個點，分別計算出pB到集合A中當前所有點的距離值，從計算出的距離值中選取最小值作為點pB到A的最短距離值。對于集合B里面的每個點piB{1 ≤i≤n?len(A)}，都可以計算一個最短距離值，從中選出最大的最短距離值對應的點作為新選中的點，移動到集合A中。按此方式，直到選出S個點為止。

步驟6 重復步驟5的流程，從集合B中依次采樣出所有滿足步驟5 條件的點，將其加入集合A中，直到集合A中包含S個點為止。

復雜度分析：

時間復雜度。每次選一個點，需要計算n個距離，選k個點，時間復雜度可以認為是O(kn)，由于k和n有一個常數比例關系，所以也可以認為是O(n2)。

空間復雜度。需要一個長度為n的數組，來記錄、更新每個點的距離值，所以復雜度為O(n)。

1.3 球域內點云的搜索與分組

通過改進的FPS 算法求得要采樣的S個中心點之后，需要對所有中心點周圍給定半徑所形成的球域內的K個最近鄰點（以及它們的特征）進行搜索并分組，文獻[21]提出一種query_ball_point方法，用于尋找二維局域內待查找點在給定半徑內的所有點。本文將其搜索空間維度由二維擴展至三維，即允許在S個中心點周圍給定半徑R的三維球域空間內對滿足條件的點云進行采樣并分組，此外，對給定半徑R內不足K個近鄰點的樣本點進行補齊，具體過程如下：

步驟1 計算每個采樣中心點與所有點的歐式距離dij(0

步驟2 將上一步中計算所得的dij分別與給定局域半徑R的平方進行比較，若dij小于等于R2，則搜索并返回每個采樣中心點周圍滿足條件的前K個最鄰近點所在的索引。特別地，假如出現不足K個最鄰近點的情況，則將不足的部分用第一個最鄰近點所在索引補齊。

步驟3 根據步驟2 所得的索引從原始點中分別采樣出S個采樣中心點周圍給定半徑R的局域內對應的K個最鄰近點（如圖4）。

圖4 采樣中心點周圍給定半徑局域內的K 個最鄰近點Fig.4 K nearest points within given radius of sampling center

1.4 非均勻采樣密度下的多尺度學習

通常，不同半徑區域中點集的密度可能不均勻，這種不均勻性為點云的特征學習帶來了重大挑戰，從密集區域中學到的特征可能無法推廣到稀疏采樣的區域，進而導致在稀疏點云數據訓練好的模型可能無法識別細粒度的局部結構。因此，為了捕獲密集采樣區域中的最佳細節，防止因局部區域采樣不足而造成模型性能的下降，在采樣分組的過程中，本文采用了多尺度方法[22]，以實現在更大的范圍內尋找更大的比例模式。

如圖5（b）所示，在訓練網絡時結合多尺度采樣分組的優化策略，具體過程如下：

圖5 兩種不同尺度的采樣分組方式Fig.5 Two grouping sampling methods with different scales

首先將降采樣后的點云數據劃分為具有不同尺度的分組層，分別為：低尺度s1、中等尺度s2和高尺度s3；然后分別使用其對應的點云卷積網絡（圖3）提取不同尺度下輸入的點云數據對應的深層抽象特征表示形式，提取到的s1、s2和s3對應深層抽象特征分別為Fs1、Fs2和Fs3；最后將不同尺度下學習到的特征Fs1、Fs2和Fs3進行特征拼接，以形成多尺度特征。

另外，對于訓練點集中的每個點，均以概率θ∈[0,0.95]隨機刪除，以保證用于訓練網絡的訓練集具有不同稀疏性（由θ確定）和不同均勻性（由dropout 的隨機性確定），以避免模型過擬合。在測試期間，均保留所有可用點。

2 基于點密度加權的多尺度分層點云識別網絡

由于PointNet[9]使用單個最大池化操作來聚合點云的全局特征，不能捕獲度量空間中點云的局部結構特征，限制了該網絡對細粒度點云的識別和泛化到復雜場景的能力，因此本文借鑒了PointNet++[13]的思路，設計了多尺度分層學習的網絡結構。如圖6所示，多尺度分層學習網絡主要由不同尺度下的多層抽象的3D點云卷積層構成，對于單尺度下單層抽象層來說，主要由采樣、分組、點云卷積3個操作組成，具體如下：

圖6 網絡的整體結構Fig.6 Overall network structure

輸入 點云集合P={xi,i=1,2,…,S}，其中，S為P中所包含的點云數目，xi={x1i,x2i,…,xC+D i}為P中第i個點對應的特征向量，其中，C+D為特征數目，C為點的坐標維度，D為點的特征維度；采樣中心點數S′；局域半徑R；每個子采樣中心點所形成的局域內包含的點數K。

輸出 具有S′個C維點的坐標和新的D′維點的特征維度的特征向量的點構成的一組子采樣點集P′={x′i,i=1,2,…,S′}，x′i={x1i,x2i,…,xC+D′i}為P′中第i個點對應的特征向量。

步驟1 采樣操作。對于給定大小為S×(C+D)的點集P，使用改進的FPS算法（1.2節）進行降采樣，采樣出S′個采樣點的集合{xi1,xi2,…,xiS′}作為采樣中心點集，其中xir是相對于其余點集{xi1,xi2,…,xir-1}而言在度量距離中最遠的點。

步驟2 分組操作。將大小為S×C的點集P的位置、大小為S′×C的采樣中心點集的位置、K值和R值作為輸入，在采樣中心點附近使用球域搜索算法（1.3節）給定半徑R的球域內進行搜索，找到與采樣中心點距離最近的前K個點的索引，并按其索引在點集P內進行劃分，找到每個采樣中心點所在局域內的K個點，輸出是大小為S′×K×(C+D)的分組后點集。

需要注意的是，每個組中采樣中心點對應局域內的點數K的密度是不同的，但是后續的3D點云卷積操作能夠將靈活數量的點轉換為固定長度的局域特征向量。

步驟3 點云卷積操作。使用3D點云卷積操作（1.1節）對每個局域內的點集進行精細特征提取，產生更高層次的抽象特征。具體來說，將分組后大小為S′×K×(C+D)的S′個局部區域的點集輸入到點云卷積網絡（圖3）之中進行細粒度特征提取，輸出大小為S′×(C+D′)的新的特征點集P′。

以上描述了單尺度下單層抽象層下特征提取的過程。在實驗過程中，對每層抽象層使用多尺度方法對降采樣后不同尺度的組內學習到的特征進行特征融合（1.4 節），以減少不同半徑局域內由點密度的不均勻性可能造成的模型性能下降。并采用分層學習架構，隨著局域尺度的逐層增大，每個點對應的特征越來越抽象，所對應的感受野也將越來越大。這個過程被重復，直到獲得整個點集的特征。

此外，加入法向特征作為方向信息，以進一步提高網絡性能。

3 實驗及結果分析

實驗環境如下：操作系統為CentOS 7，CPU 為i7-6850K CPU @ 3.60 GHz，GPU為帶有cuDNN庫的GTX 1080Ti，開發工具為Pycharm，編程語言為Python，在Pytorch（神經網絡庫，版本為1.3.1）和Open3D（3D 數據處理庫，版本為0.7.0）上執行，優化器為Adam。

3.1 在ModelNet10/40上的分類

本節分別在ModelNet40和ModelNet10兩個形狀分類基準庫上評估了本文提出的網絡模型。ModelNet40包含了40 個類別，12 311 個CAD 模型，其中9 843 個用于訓練，2 468 個用于測試[23]。而ModelNet10 僅有其中的10個類別，是一個小型數據集，數據集中部分CAD模型效果如圖7所示。

圖7 ModelNet數據集中部分CAD模型的效果圖Fig.7 Renderings of some CAD models in ModelNet dataset

表1 展示了本文提出的網絡模型與其他網絡模型在ModelNet40 和ModelNet10 數據集上的分類準確率對比。如表1 所示，在同為1 024 點的情況下，網絡在ModelNet40 上的整體分類準確率達到了92.8%，在ModelNet10上的整體分類準確率達到了94.7%，在以上兩個數據集上分類性能均優于先前研究人員提出的網絡模型。

表1 ModelNet10/40數據集上分類準確率的比較Table 1 Comparison of classification accuracy on ModelNet10/40 dataset

3.2 在Mnist和Cifar10上的分類

為了證明網絡中所提到的針對3D原始點云的卷積操作（1.1 節）等效于傳統的2D 卷積操作，在本節中，分別使用MNIST 和CIFAR-10 兩個圖像數據集為比較基準，與其他2D 和3D 網絡模型進行比較。對于MNIST圖像，首先將所有像素歸一化到[0，1]范圍內，選擇強度大于0.5 的所有像素作為有效像素，然后將圖像中的數字像素轉換為以圖像中心作為原點，坐標在[?1，1]范圍內的具有x、y坐標和灰度值特征的2D點，圖8描述了以MNIST 數據集上的數字“7”為例的圖像與點云數據間的格式轉換。對于CIFAR-10 圖像，將每張圖片的像素轉換為具有x、y坐標和RGB 特征的2D 點。最后，對經過處理后的點輸入到網絡之中，進行特征提取與模型預測。

圖8 圖像與點云數據間的格式轉換Fig.8 Format conversion between image and point cloud

表2、表3 分別展示了模型在CIFAR-10 和MNIST數據集上的分類結果，如表2、表3所示，對于CIFAR-10數據集，本文提出的網絡模型具有與其他網絡模型相媲美的性能，且精度遠高于PointCNN等3D網絡模型給出的結果。對于MNIST 數據集，雖然網絡模型與主流的網絡模型間僅存在有些許差距，但仍具有較高的識別精度。因此，通過本節實驗可以看出，網絡中所用到的卷積操作在圖像上的性能可以基本等效于傳統的2D卷積網絡。

表2 在MNIST數據集上的分類準確率Table 2 Classification accuracy on MNIST dataset

表3 在CIFAR-10數據集上的分類準確率Table 3 Classification accuracy on CIFAR-10 dataset

3.3 不同模塊的有效性

在本節中，主要通過消融研究的方式對網絡結構中使用到的不同模塊進行分析，以驗證本文所提出的方法的有效性。

首先，為了驗證改進的FPS 算法的有效性，將隨機采樣算法和改進的FPS采樣算法進行對比，分別使用隨機采樣算法和改進的FPS 采樣算法對原始點集進行采樣，采樣效果如圖9 所示，通過圖9（b）和圖9（c）的比較可以發現，FPS 采樣相對隨機采樣來說更加均勻，采樣范圍可以更好地覆蓋整個點集。

圖9 隨機采樣與FPS采樣的比較Fig.9 Comparison of random sampling and FPS sampling

改進的FPS算法用在點云的采樣中，可以更好地對CAD 物體模型的輪廓進行捕獲，進而學習到更好的特征（如圖10）。

圖10 改進的FPS算法在不同點的采樣效果Fig.10 Sampling effect of improved FPS algorithm at different points

除此之外，本節對法向特征和多尺度采樣分組方法的有效性進行驗證，通過采用法向特征和多尺度采樣分組前后對最終分類準確率的影響來衡量模塊的有效性，如表4所示。

表4 加入不同模塊前后的分類準確率對比Table 4 Comparison of classification accuracy before and after adding different modules

從表4可以看出，采用多尺度采樣分組相比于單尺度采樣分組而言，分類準確率提高了0.26個百分點。另外，采用法向特征特征比不采用法向特征提高了0.57個百分點，可以證明，引入多尺度采樣分組方法和法向特征可以進一步提升網絡的性能。

3.4 單個類別的分類準確率測試

表5 展示了在ModelNet40 訓練集上訓練好的模型對測試集中每個物體類別進行分類測試的準確率結果。從表5可以看出，分類準確率在90%～99%這個區間的物體類別較多，80%～89%這個區間的物體類別次之。飛機（airplane）、床（bed）、碗（bowl）、筆記本電腦（laptop）、顯示屏（monitor）這5個類別在測試集上的分類準確率最高，達到了100%。花盆（flower_pot）、床頭柜（night_stand）、衣柜（wardrobe）這3個類別在測試集上的分類準確率均低于80%，其中花盆的分類準確率最低，僅有25%，誤分率最高。

表5 ModelNet40數據集上每個類別的分類準確率Table 5 Classification accuracy for each category on ModelNet40 dataset

如圖11展示了部分被誤分類的物體的三視圖。圖11（a）中花盆和花瓶（vase）在形狀上相似，容易將花盆誤分類為花瓶。圖11（b）中某些種有植物的花盆由于植物的特征更為明顯，會將其誤分類植物（plant）。圖11（c）中瓶子的外形與花瓶也較為相似，在分類的過程中同樣會造成一定程度的誤分類。可以看出，物體形狀上的相似是造成誤分類的關鍵因素。

圖11 部分被誤分類的物體的三視圖Fig.11 Three views of partially misclassified object

4 結束語

本文提出一種融合多尺度與法向特征的3D點云卷積網絡，將傳統的2D卷積方法擴展到3D點云的卷積上來。通過使用MLP 來近似權重函數，使用高斯核密度估計和MLP來近似密度函數，使得3D點云在局域范圍內能夠保持其排列不變性和平移不變性，可以直接構建針對原始3D點云的深度卷積網絡。并融合多尺度方法和法向特征，使用分層學習架構進行點云的采樣、分組與特征提取，使得網絡能夠進行更細粒度的點云識別。本文提出的網絡模型在ModelNet40和ModelNet10點云數據集上分別取得了92.8%和94.7%的準確率，較之前的網絡模型在點云識別精度上有了一定的提升。此外，將MNIST、CIFAR-10 數據集中的圖像數據轉為點云數據并進行測試的實驗也證明了本文提出的網絡的性能能夠基本等效于傳統的2D卷積網絡。

考慮到當前網絡在運行時會消耗較多的GPU 資源，在以后的工作中，希望可以將網絡設計的更加輕量化，在保持精度變化不大的情況下，能夠在3D點云上實現較為高效的卷積。