索引邊緣幾何卷積神經網絡用于點云分類

周 鵬，楊 軍

(1.蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070；2.蘭州交通大學 測繪與地理信息學院，甘肅 蘭州 730070)

隨著激光雷達、RGB-D深度相機等三維掃描設備的廣泛應用，點云數據獲取更加便捷，針對點云數據的高效識別和分類已成為計算機視覺領域亟待解決的問題。以卷積神經網絡為代表的深度學習模型在二維圖像識別領域取得了巨大的成功。然而，由于點云模型具有無序性、稀疏性、數據有限性等特點，使得采用深度卷積神經網絡進行處理存在一定難度。一些研究將其轉換為體素[1-2]后使用卷積神經網絡進行處理，但轉換過程會帶來量化損失、局部特征信息丟失、計算效率低等問題。QI等[3]提出了可直接處理無序點云的PointNet模型，其采用多層感知機提取每個點的高維特征，在特征空間維度上使用最大池化進行特征融合，進而提取出點云的全局特征描述符用于三維模型分類。然而，PointNet僅關注點的全局特征，缺乏捕捉局部細粒度特征的能力。QI等[4]改進了PointNet，提出的PointNet++模型，在局部點云范圍內迭代使用PointNet提取多尺度特征。該網絡雖然考慮到點云的局部區域特征，但沒有考慮到點與點的位置關系，缺乏捕捉各個點之間幾何特征的能力，且PointNet++計算復雜度高，耗費更多的時間和硬件資源，限制了其在輕量化網絡環境中的應用。

5G時代的來臨和移動互聯網的快速發展，為便攜設備提供了更為廣闊的應用領域。對基于移動設備的三維模型識別與分類的應用，不僅要求構建的輕量級神經網絡具有架構精簡、訓練參數少、運行速度快等特點，而且要確保具有良好的識別分類性能。為提高小型嵌入式設備的處理能力，需要同時滿足存儲空間、功耗和運算速度的要求，設計適用于便攜式設備的輕量化深度神經網絡架構是解決該問題的關鍵，也逐步得到了學術界和工業界的廣泛關注[5]。閆林等[6]提出一種采用雙路神經網絡的輕量級模型，避免了多尺度學習引入的復雜結構和計算，挖掘了全局特征和局部細粒度特征，但該模型通過手動設置近鄰點參數，限制了算法對不同數據的適配能力。白靜等[7]提出面向點云模型分類的深度網絡原型，通過控制變量法完成網絡參數設置及優化，形成結構緊湊、參數合理的網絡模型，但其無法很好地捕捉由度量空間引起的局部結構問題，因而限制了該網絡對精細場景的識別和對復雜場景的泛化能力。文獻[8]采用全密集連接方法將網絡的所有卷積層互連，提高了特征的利用率，減少了每一層的參數大小，該網絡對大目標點云分類效果較好，但對小目標點云容易造成誤分類。文獻[9]提出一種無反饋的點跳躍框架PointHop，通過描述符來表示點及點上單跳鄰居之間的關系。為控制與點相關聯的屬性向量維度過快增長，引入Saab Transform[10]對每個PointHop單元的屬性降維。該架構雖然在訓練時間上大幅縮減，但網絡模型參數數量過多，易導致模型復雜度增加。文獻[11]提出了一種樹形結構的無監督的特征學習模型PointHop++，每個葉子節點對應一個標量特征，并根據特征的判別能力，引入交叉熵準則對特征進行自動排序，但該網絡將點云數據一次性輸入訓練，導致內存占用過大，訓練時間過長，難以實現輕量化。文獻[12]通過度量相鄰點之間的距離關系，采用邊緣卷積(Edge Convolution，EdgeConv)操作，一定程度上提高了網絡識別性能，但它僅考慮一個差值特征，忽略了鄰居點與中心點的方向問題，無法捕捉更抽象的深層語義特征信息。

鑒此，筆者提出基于索引邊緣幾何卷積神經網絡進行點云分類，該網絡在具有良好分類準確率的同時實現了輕量化。主要創新點和貢獻有：

(1) 在PointNet網絡的基礎上，設計輕量化網絡結構原型。對網絡原型中“非敏感層”結構進行裁剪，設置末尾卷積層的通道數為輸入層采樣點個數，達到與復雜深度網絡模型接近的匹配準確率。

(2) 考慮到不同特征空間之間的差異，在每一層定義新的局部區域。進行邊卷積之前，先根據k近鄰確定新的局部區域，再加入相鄰點之間的向量方向，使局部信息損失進一步降低。

(3) 構建索引邊緣幾何卷積神經網絡，將不同卷積層的輸出特征映射并進行索引跳躍連接，有效避免了深度神經網絡的梯度消失和梯度爆炸的問題，得到信息豐富的邊緣向量。

1 點云特征提取

傳統的點云特征提取方式，通常是為了解決特定領域的問題而設計的，很難推廣到新的特征提取任務。基于深度學習的點云特征提取可分為基于點的提取方法和基于樹的提取方法[13]。 前者直接將原始點云作為深度學習的輸入；后者首先使用一個k維樹(kd-tree)結構對點云進行規則化處理，再將處理后的數據提供給深度學習模型。Geo-CNN[14]對每個點及其局部鄰域應用一種稱為“GeoConv”的類卷積運算，在提取中心點與相鄰點的邊緣特征時，通過逐步擴大卷積的接受域，以分層提取特征并保持沿層次的點的幾何結構。考慮到點間的方向信息，計算點投影到極坐標的值，再與兩點之間的距離進行加權求和，解決了局部特征提取不全的問題。

1.1 基于邊緣卷積的特征提取

基于邊緣卷積的特征提取使用k近鄰的方式定義離某點最近的k個點為鄰近區域。首先提取中心點與鄰近點之間的邊特征，然后在邊特征上進行卷積操作。距離中心點Pxi最近的鄰域點集為{j：(i，j)∈ε}，與之相關的有向邊集合為 {(i，ji1)，…，(i，jik)}。邊緣特征定義為eij=hθ(Pxi，Pxj)，其中，hθ是使用可學習參數θ構成的非線性函數，在hθ操作上添加一個非對稱聚合操作Ψ，得到邊緣卷積第i個頂點的特征輸出：

(1)

將中心點的特征、中心點與鄰域點的特征差串聯后輸入多層感知器(Multi Layer Perceptron，MLP)，使邊特征融合點之間的局部關系和點的全局信息，即hθ(Pxi，Pxj)=hθ(Pxi，Pxj-Pxi)。在得到n個邊特征之后，進行最大池化得到該局部區域的單一特征，通過這種方式疊加多層卷積，逐層提取、整合局部信息。

邊緣卷積層局部鄰域圖的構造由多層感知機實現。對相鄰點的邊緣逐層卷積時，每一層都會輸出新的點云圖結構和特征空間，得到新的局部區域。引入點間差的方法，考慮了點之間的幾何相關信息，解決了PointNet和PointNet++架構中局部特征提取不全的問題，然而存在忽略點的方向信息的問題，所以筆者提出索引邊緣幾何卷積神經網絡(Index Edge Geometric Convolutional Neural Networks，IEGCNN)。

1.2 索引邊緣幾何卷積神經網絡的特征提取

圖1 點云的極坐標表示

索引邊緣幾何卷積神經網絡IEGCNN在邊緣卷積網絡中加入點的方向信息，用極坐標系對三維點云進行建模，將邊緣網絡架構中點與點之間的關系投影到三維坐標系。計算極坐標投影到不同坐標軸的值，并與兩點之間的距離進行加權求和，得到當前點的特征值。

如圖1所示，在極坐標系中設Pxj的坐標為(x，y，z)，對點Pxj進行三維坐標投影運算，得到其所在卦限的投影長度和夾角：

(2)

其中，Plj表示向量(x，y，z)的模長度，Pd表示投影長度，Pθ表示夾角。

假設一個F維點云含n個點{Px1，Px2，…，Pxn}∈RF，在F維點云中，n表示點的個數，F表示通道數。IEGCNN卷積層的輸入為n×?in，輸出為n×?out，?in和?out分別表示每一個點特征的輸入和輸出的維度。對于每個點，根據k近鄰(k-Nearest Neighbor，kNN)算法和網絡超參r構造局部球形鄰域(r表示球形鄰域半徑式(3))，可構造以Pxi為中心點的球形鄰域N(Pxi)，得到若干個鄰域點后計算出中心點Pxi的特征輸出Pxi′(式(1))，再計算中心點的特征向量(式(4))，其中，權值矩陣MF的維度為?in×?out。

N(Pxi)={Pxj|‖Pxj-Pxi‖≤r} ，

(3)

(4)

其中，f(pi| (l))表示pi點在l層的特征向量，MF表示用來提取中心點特征的權值矩陣，w(Pxi，Pxj，r)表示中心點Pxi和不同的鄰域點Pxj之間的距離加權，其隨‖Pxj-Pxi‖單調遞減。隨著半徑r的增大，球形鄰域的感受野逐漸增大，與中心點的權重函數w(·)的差異也會減小，其中w(Pxi，Pxj，r)=(r-‖Pxj-Pxi‖)2。h(Pxi，Pxj)表示邊特征，是該網絡架構中最重要特征的提取部分。在3D歐式空間中，向量可以表示為3個正交基的投影，投影的模長表示在對應方向上的“能量”，因而可將邊特征投影到3個正交基上，使用不同的權值矩陣提取各個方向的邊特征，再將3個方向的特征重新聚合以維持歐式幾何結構。基于極坐標的邊特征計算公式如下：

(5)

其中，D表示Pxi與Pxj所在的象限的三個正交基的集合；Md表示與方向相關的權值矩陣，用來提取不同方向的邊緣特征；cos2(Pθ)為系數，用以保證特征聚合時其和為1。

2 網絡原型設計與精簡

根據網絡輕量化的原則，在PointNet的基礎上，設計網絡結構原型如圖2所示。

通過簡化網絡結構，使網絡僅包含基本的卷積層、池化層和全連接層，實現網絡輕量化。為提取到點云的全局特征，采用最大池化層進行特征提取，設置卷積核大小為1×1。由于全連接層的每一個點都與上一層的所有點相連，綜合了前幾層的特征，因而全連接層的參數個數在整個網絡架構中最多，對全連接層參數個數和節點數的精簡是實現網絡輕量化的重要步驟。在網絡優化過程中，為探究某一層的參數對網絡性能的影響，可保持其他層的參數與網絡原型一致。

本實驗以ModelNet40為基礎數據集，通過以下流程確定網絡結構和參數。

圖2 網絡結構原型

2.1 確定網絡敏感層及卷積層個數和通道數

為精簡網絡結構，減少網絡參數，去除了空間轉換網絡(STN)。設定R、T、S、K、M和P分別為64、64、128、1 024、512和256，得到原型實驗結果。首先固定全連接層節點參數，調整T，S，K，M及P的參數值進行測試，實驗共分為4組(表1)。第1組G1用來測試網絡敏感層與非敏感層，通過逐步降低T和S的取值，分析實驗結果的準確率，發現T和S的取值對網絡整體性能影響很小，如圖3所示。

由式(6)得出，IEGCNN網絡通過多個卷積層計算h的值，τ的值由單個特征融合及最大池化操作計算，f的大小則與最大池化層和全連接層數量相關。通過逐層增加卷積層通道數實現對特征的深層提取。首層通道數的大小決定了整個網絡模型通道數的設置。這意味著首層卷積層、池化層和全連接層是網絡模型中的敏感層，直接影響著模型的整體性能。Block 3和Block 4在整個模型中的位置不與輸入層和最大池化層直接相連，其改變對網絡的整體性能影響不大，因而推斷其為非敏感層。實驗結果也驗證了推論的合理性。

經過測試，精簡模型能達到與網絡原型相當的分類效果，在ModelNet40數據集上，訓練42 min(0.7 h)時，準確率已趨于穩定，如圖4所示。

圖3 網絡原型中的非敏感層測試圖

2.2 確定全連接層個數和節點數

圖5 全連接層數量與分類準確率關系

全連接層在整個網絡中包含的參數最多，耗費更多的GPU資源。在卷積層確定后，通過調整全連接層個數和參數以確定最佳結構。首先確定全連接層的個數，通過對表1中G2組No.4與No.5、G1組No.3與G3組No.7進行分析，當全連接架構層數取1層時的分類準確率高于取2層時。圖5為全連接架構分別為2層和1層的分類準確率變化曲線，因而確定全連接層為1層。其次，確定全連接層取不同參數時網絡在訓練集上的分類準確率。

由表1中第4組數據G4可以看出，固定其他參數，K過小，網絡不能有效地擬合訓練數據；當通道數達到固定值后，再增加通道數并不能帶來新的性能提升，反而會造成網絡參數量的快速增加，當K的取值與采樣點的個數保持一致時分類效果最佳，故設置K為1 024，如圖6所示。

表1 參數取值與分類結果(ModelNet40數據集)

圖6 參數K與分類準確率關系

2.3 確定第1層、第2層卷積通道數

該模型輸入的點云為歐氏空間中點的子集，采用多層卷積對點云特征提取的過程，就是逐層抽象，不斷精煉知識的過程。通道數可以讓每一層學習到更加豐富的特征，其帶來的計算量是呈平方數增長的。對于任意一個模型來講，淺層的通道數是一個非常敏感的系數，涉及到后續卷積層通道數的設置。首層通道數如果設置過小，特征的捕獲能力將大幅下降，單純增加網絡深度會導致梯度彌散或梯度爆炸，而通道數的增加會帶來計算量呈平方數的增長。

對第1層卷積層的通道數進行實驗后發現，當通道數取值為64時效果最佳，取值32時分類性能較弱，取值128和256時分類性能不再提升。

第2層卷積層位于兩個卷積層之間，不與輸入層及池化層直接連接。為使點云特征維度逐步增大，架構中各個卷積層通道數采取逐步增大的方式進行，第2層的通道數設置應大于等于第一層通道數，小于等于第3層通道數。在該網絡框架中，通過網絡架構精簡操作，去掉了第3、4層卷積層，第2層直接與第五層 Block 5 卷積層相連，因而第2層的通道數應設置為64與1 024之間。通過實驗數據分析，準確率Accuracy的值隨R的變化呈現出正態分布規律，當R取值為128時，Accuracy達到最大值，這也符合點云特征提取過程中特征維度遞增的規律。從表1中G3組數據No.6至No.9，G4組數據No.13可以得出，當R取128時，分類準確率最高，如圖7所示。

圖7 參數R與分類準確率關系

2.4 設置索引跳躍鏈接

該網絡架構以模塊化方式處理點云數據，根據不同塊之間的幾何位置關系將特征進行合并及傳遞。本文提出一種索引跳躍鏈接(Index Hop Link，IHL)來記錄各個層的位置信息，根據索引信息將不同層的輸出特征映射并進行跳躍連接。為使網絡對點云輸入數據保證排列不變性，采用對稱函數方法，具體定義為

f(Px1，Px2，…，Pxn)=μ·λ·d·τ(h1(G1)，h2(G2)，…，hn(Gn)，…hN(GN)) ，

(6)

其中，Pxn表示原始輸入的點云，μ表示對特征通道融合，λ表示最大池化操作，d表示進行dropout操作，τ表示全連接操作；Gn表示第n層的特征輸出，GN表示網絡特征提取層的最后一層，Gn與GN在模型大小和排序方式上是不同的，通過hn進行索引、排序以及池化操作。

2.5 模型損失函數

網絡模型采用交叉熵(CrossEntropy Loss)計算損失函數，它主要用來度量同一個隨機變量中兩個不同概率分布間的差異性，即真實概率分布與預測概率分布之間的差異。交叉熵值越小，說明模型的預測效果越好。交叉熵H(p，q)定義如下：

(7)

其中，p(x)表示樣本的真實分布；q(x)表示模型的預測分布，可以通過反復訓練q(x)，使得q(x)的分布逼近真實分布p(x)。

2.6 模型優化方法

采用Adam法(Adaptive moment estimation)進行優化。該方法對每個參數梯度的一階矩陣估計和二階矩陣估計動態調整每個參數的學習率，利用動量和自適應學習率來加快收斂速度；經過偏置校正后，每一次迭代學習率都有確定范圍，模型參數規模穩定。

綜上所述，筆者構造的索引邊緣幾何卷積神經網絡IEGCNN模型結構如圖8(a)所示，共包含5層。

(1) 輸入層： 網絡輸入數據為包含有n個點的點云數據，表示為一個N×3的矩陣。

(2) 卷積層：包括Block 1、Block 2和Block 3，共3層。第1層為(64，3，1)，其中，64表示通道數，卷積核尺寸為1×3，步長為1×1；第2層為(128，1，1)；第3層為(1 024，1，1)。

(3) 池化層：位于第三層卷積之后，采用最大池化，得到一個1×1 024維的張量。

(4) 全連接層：以1×1 024維的張量為輸入，通過全連接層得到1×256維度張量輸出，為防止過擬合，在該池化層后加入DropOut層并設置大小為0.5。

(5) 輸出層：k維的輸出層和損失層(k表示輸出類的個數)，將模型分類結果進行輸出。

由于點云數據中每個點均由三維坐標(x，y，z)構成，相鄰點之間的關系是隨機的，沒有確切的關聯，因此，將步長設置為1×1以保持點間關系的獨立性。

(a) 模型結構

(b) 向量分解

圖8(b)描述了在三維坐標系中通過向量分解對點之間的幾何結構進行建模的過程。首先將邊緣特征沿3個正交方向分解，采用與方向相關的權重來提取方向信息，然后根據向量的方向對其進行聚合，構造點Pxi和點Pxj之間的邊緣特征，再通過聚合函數f(p| (l))計算p點在l層的特征向量。

根據模型結構，計算IEGCNN網絡的參數量，如表2所示。其中，n表示三維點的個數，k表示模型分類的個數。包括偏置項在內，共有(404 096+257k)個參數，在ModelNet40上約為0.61 M，在ModelNet10上約為0.41 M，其參數的數量和點云的輸入規模n沒有直接關系。該網絡具有較好的魯棒性，能適應不同規模的點云數據。此外，該模型的訓練時間與輸入點云的規模為線性關系，區別于MVCNN[15]網絡對應的二次方增長和體素方法[17]隨尺寸的三次方增長。

表2 IEGCNN參數量計算

通過索引特征傳遞，使當前索引從前一層的特性中提取新特性，結合前一層的特征計算邊緣，可以有效避免深度神經網絡的梯度消失和梯度爆炸的問題，從而得到信息豐富的邊緣向量。

目前，處理點云的方法采用ModelNet40或ModelNet10數據集最為普遍。該模型直接處理點云數據，對點云的采樣過程借鑒了PointNet，不同的是在特征提取過程中通過加入點的方向信息，引入索引邊緣卷積的方法，使特征提取更加充分。通過表1的多組實驗可以看出，所確定的模型參數在4組的實驗過程中均取得最佳表現，在處理ModelNet點云過程中具有較好的普適性。該模型使用k近鄰方式采樣，模型參數在KITTI、SEMANTIC3D、D3DIS等實景數據集中普適性較弱；具體原因在結論部分進行說明。

3 實驗結果與分析

3.1 實驗環境

筆者選擇ModelNet作為分類實驗數據集。ModelNet是Princeton大學公開的三維模型分類標準數據集，共有662類12 715個分類模型，分為ModelNet10和ModelNet40兩類。ModelNet10包含10類共4 899個模型，其中3 991個訓練樣本和908個測試樣本；ModelNet40包含40類共12 311個模型，其中9 843個用于訓練模型，2 468個用于測試。使用該類劃分方式進行測試的結果稱為實例準確率。如果將每個類別測試目錄前20個模型作為測試集，訓練目錄前80個作為訓練集進行劃分測試，則其測試結果稱之為類別準確率。本實驗選取實例準確率為測試結果。

本實驗的硬件環境為Intel Core i9-9900k CPU+GTX2080Ti (11GB顯存)GPU，軟件環境為Ubuntu18.04+CUDA 10.0.130+cuDNN7.4.2+Tensorflow1.13.2+Python2.7。實驗過程中，設置采樣點數為1 024，batch_size為16，learning_rate為0.001，momentum默認值為0.9，decay_rate為0.7；為方便與其他網絡架構進行對比，設置最大迭代次數max_epoch為默認的250次。

3.2 實驗結果分析比較

表3為不同模型分類方法的比較，下劃線“_”標記數據的為參考文獻作者測試的分類結果，波浪線“～”表示近似值。文中方法在ModelNet40上取得了約92.78%的分類準確率(表中用粗體字表示)，在ModelNet10上的分類準確率約為94.2%(表中用粗體字表示)，參數個數為0.61M，在同等參數個數情況下，取得了最好的成績。高于所有的基于多視圖分類網絡和大部分基于體素和點云的分類網絡。以下對實驗結果進行分析和討論：

1) 與基于多視圖融合網絡比較

基于多視圖融合的方法利用多個不同固定視角的投影將渲染圖輸入到卷積神經網絡中，卷積神經網絡從投影渲染圖中進行單視角特征提取，輸入要求為連續模型。而文中的IEGCNN網絡模型以稀疏、無序的點云作為輸入，網絡模型更加輕量化，參數僅約占基于Multi-view的0.4%，在ModelNet40和ModelNet10上分類準確率分別比Pairwise網絡提高了約2.08%和1.4%，這說明IEGCNN能很好地學習點云模型的本質特征。

2) 與基于體素網絡比較

基于體素的網絡由于發揮了深度學習的優勢，網絡層數可以搭建得更深，網絡結構可以更加復雜，體素化實現了在三維模型上直接做卷積與池化操作，但是限于分辨率的問題，會丟失三維模型的局部細節，卷積操作所消耗的時間資源更多。筆者提出的方法分類準確率僅比眾多體素方法中的VRN Ensemble低，在ModelNet40和ModelNet10數據集上分類準確率分別下降了約2.76%和2.94%。

VRN Ensemble訓練基于體素的可變自動編碼器，該網絡在ResNet的基礎上進行設計，深層的ResNet可以看做是不同深度的淺層神經網絡的集成，ResNet通過跳躍連接，增強了梯度的流動。基于體素的網絡充分發揮了深度學習的優勢。該網絡層數深達45層，網絡架構復雜，隨著深度的增加，網絡可以通過許多非線性映射和改進的特征表示來更好地近似目標函數。綜合以上原因，基于VRN Ensemble的網絡分類準確率高于文中方法，但該網絡訓練中需要對三維體素模型進行編碼和解碼操作，訓練時間最長，需要 6天。同時，基于體素的深度學習網絡均無法直接應用于無序、稀疏的點云模型，需要繁雜的體素化操作。筆者設計的網絡模型僅包含3層卷積層和一個全連接層，可以快速地直接處理點云。網絡參數約占VRN Ensemble方法的0.7%。文中方法卷積層為3層，VRN架構的卷積層為45層，在輕量級和實時性方面均占有優勢。

3) 與PointNet的比較

筆者設計的網絡架構，網絡參數約占PointNet的1%。使用ModelNet40和ModelNet10數據集，分類準確率分別提高了約3.58%和1.12%。IEGCNN比PointNet(Vanilla)的網絡參數約降低了0.19 M，但分類性能在ModelNet40和ModelNet10上分別提升了約5.58%和2.24%。實驗結果表明，本網絡架構在以原始點云作為輸入的網絡中，能滿足分類準確率和輕量化的需求。

4) 與LDGCNN和DGCNN的比較

IEGCNN相比DGCNN的分類準確率提高了約0.58%，網絡參數約占DGCNN的30%。雖然在ModelNet40上分類準確率比LDGCNN模型約低0.12%，但卷積層個數約占LDGCNN的60%，訓練時間約為LDGCNN模型的1/3。所以，單純地增加通道數量和全連結層的個數，并不一定能提高網絡架構的整體性能。

5) 與3DmFV和Point2Sequences網絡的比較

3DmFV把費舍爾向量作為卷積神經網絡的輸入，將點云體素化為標準的三維網格，解決了點云的無序性問題。由于費舍爾向量在計算的時候使用體素化網格，其計算量大，內存消耗也大，通過人工特征提取的方式，會導致信息的損失。Point2Sequences是一種基于循環神經網絡的模型，采用一種點云序列學習模型，通過捕獲點云局部區域內不同區域之間的相關性，將所有局部區域的特征輸入到一個循環神經網絡的編碼-解碼器中，實現區域特征的聚合。筆者提出的IEGCNN網絡在ModelNet40上，分類準確率比3DmFV 提高約1.68%，比Point2Sequences提高約0.18%，但是在ModelNet10上，比3DmFV和Point2Sequences分別降低了約1%和1.1%，原因是本架構舍棄掉了傳統的特征轉換層，卷積層個數、全連接層的個數和節點數大幅降低。在ModelNet10數據集中，由于訓練樣本和測試樣本的分布模式、模型數量的限制，導致沒有充分提取點云模型的特征。

表3 不同算法在ModelNet數據集上的分類結果

6) 精簡模型普適性分析

該網絡模型的框架基于PointNet設計，考慮到PointNet及PointNet++網絡結構中局部特征提取不充分的問題，提出引入點的方向信息的方法，結合邊緣索引跳躍鏈接，縮減網絡規模，減少模型中卷積層的個數，逐步改變各個卷積層通道數量，確定最佳模型參數。網絡結構的精簡，從理論上，對分類準確率會造成一定降低。作為對卷積網絡裁剪造成準確率降低的補償，文中將第2層卷積層(Block 2)的通道數由原模型的64提升到128，優化特征提取流程，采用索引特征傳遞，使特征丟失減少，提取更加全面。由實驗數據分析，精簡后的網絡模型能快速處理整個點云模型，在降低參數量的同時，分類精度有所提高，具有很強的普適性。

4 結束語

筆者提出一種層級特征提取框架來解決點之間局部幾何結構建模的問題。通過分析PointNet、PointNet++及DGCNN等點云模型及其在局部特征提取方面的特點，提出索引邊緣幾何卷積神經網絡IEGCNN，從每個點及其鄰域提取特征，計算中心點和其鄰域范圍內點的距離，并在邊緣卷積網絡中加入點的方向信息，將邊緣網絡架構中點與點之間的關系投影到三維坐標系，并分解為3個正交基，根據邊緣向量與基向量之間的夾角、中心點與鄰域點的距離進行特征聚合，從而對兩點之間的幾何結構進行建模。IEGCNN將卷積層減少至3層，為每層的輸出建立索引并傳遞至其他所有層，在同等規模參數量和通道數的網絡架構中取得了最好的分類效果。在訓練和識別時間上大幅縮短，具有快速處理點云數據的能力。該工作不僅在分類任務上取得了較好的效果，也為解決目標檢測網絡實時性問題提供了思路，在可移動設備部署及實時處理方面具有廣闊的應用前景。實驗中發現，筆者提出的方法存在以下不足：

(1) 使用的k近鄰采樣法，存在依賴訓練樣本，很難適應大規模數據集的問題，對k值的選擇還需進一步優化。

(2) 筆者采用基于均勻采樣的點云進行訓練，而實際場景中的點云往往是疏密不同的，這會導致實際場景點云中準確率降低。這可通過動態調整局部區域采樣點數量來優化。這都是需要繼續研究的方向。