基于鄰域參與的形狀感知卷積網絡的點云分析

張 杰，王佳旭，史路冰，高海悅

(遼寧師范大學 數學學院, 遼寧 大連 116029)

1 相關研究

隨著自主導航、機器人和虛擬現實等三維深度傳感器應用的不斷增多[1-2],需要處理的點云數據也日益增加,因此，對三維點云數據分析算法的需求也日益增多.近幾年來,深度學習方法開始在圖像分割和分類等方面得以成功應用[3].但是由于點云數據往往是不規則的,因此無法像圖像一樣直接作為深度學習的輸入.如何使用深度網絡對點云數據進行分析處理已經成為近些年的熱點問題之一[3-4].

為了能在點云上使用深度網絡, 一種常見的方法是將點云轉化為規則的圖像(基于圖像的方法)或體素(基于體素的方法).基于圖像的方法[2,5], 是從不同的角度將三維點云形狀投影到若干個二維視圖上, 然后在二維視圖上進行卷積操作, 最后將卷積得到的視圖特征聚合成低維的全局特征.但對于點云的分割問題, 將三維形狀投影到二維圖像, 可能會因為遮擋問題導致形狀信息的損失, 因此需要大量的圖像以提升分割的結果, 計算量較大.基于體素的方法[1,6], 是將輸入的三維點云轉換為規則的三維體素后, 直接在體素上進行三維卷積操作提取特征.此類方法雖然可以在一定程度上保留幾何結構, 但體素化卷積操作內部存儲成本消耗嚴重, 這使得捕獲高分辨率信息和細粒度特征變得困難[1-2,5].近幾年也不乏有一些解決方法[7-8], 但大都依賴于邊界體積的劃分, 而不是局部幾何形狀.

近年來, 基于點云表示的方法得到廣泛關注, 該類方法嘗試直接以三維點云數據作為輸入.PointNet[3]是用深度神經網絡直接處理點云的先驅者, 該方法首先通過共享的多層感知器(Multi-layer Perceptron, MLP)對每個點進行單獨學習實現點特征的提取, 再對點特征運用最大池化(Max Pooling)操作得到點云的整體特征.但PointNet在點特征的提取中忽略了局部結構.針對此問題, PointNet的作者對其進行了改進, 提出了一種新的深度神經網絡框架(PointNet++[4])實現局部結構的捕獲.其先將點云劃分為多個重疊的局部鄰域, 再利用PointNet對每一個小鄰域提取局部特征, 這些局部特征進一步組成更大的單位, 并被處理得到更高級的語義特征, 重復此過程直至得到整個點云的特征描述.PointNet++的這種分層神經網絡框架體現了卷積網絡從局部鄰域提取特征的思想, 受到眾多研究者的認可.但PointNet++在對局部鄰域提取特征時, 仍采用PointNet網絡, 沒有考慮點的鄰接信息.諸多后續工作針對如何在提取局部特征時加入鄰接信息展開討論.

為了在對局部鄰域進行特征提取時加入點的鄰接信息, 目前主流的方法是通過預測卷積算子的連續權重或特征函數來定義一個可學習的連續卷積層.對于連續函數, 卷積操作的定義如下：

(1)

其中，f是被卷積的特征函數,g是卷積核函數, 其可以用來計算每一點的卷積權重.點云可以看作是連續空間的非均勻采樣, 點云上每點的特征可以理解為三維空間連續函數的一個離散采樣.因此點云上的卷積運算一方面可以通過將散亂無序的采樣點規則化獲得; 另一方面可以通過估計散亂無序采樣點上的卷積權重獲得.

PointCNN[9]提出了一種χ-卷積, 該卷積先通過MLP從輸入點中學習一個χ-變換, 通過該變換對局部點云進行加權和排序, 然后對“重排”后的點特征進行卷積.理想情況下, χ-卷積的結果與鄰域點的順序無關, 但實際求得的χ-變換很難做到這一點.SPLATNet[10]和PCNN[11]都是將點特征插值到規則網格上，在網格上應用三維卷積，最后將特征再投影到原始點云上.然而插值函數和原始的特征函數之間存在誤差, 這使得卷積結果可能會偏離期望值.特別在采樣誤差較大的情況下, 插值函數很難恢復原始特征函數的細節, 影響卷積結果的性能.

另一類方法嘗試通過插值函數[12]、多層感知器(MLP)[13]或多項式函數[14]來估計連續的核函數g, 然后利用核函數直接預測散亂無序采樣點上的卷積權重, 再將權重和采樣點特征對應相乘求和, 實現局部鄰域的特征提取.然而, 由于這一類方法并沒有對采樣點的位置進行優化, 在非均勻采樣情況下, 卷積結果可能會偏離期望值.因此，這類方法需要引進其他技術對非均勻采樣進行補償, 如：蒙特卡羅卷積[15]以及一般化地離散卷積[12]使用密度函數來消減采樣密度的影響, 但這一類方法在學習位置與權重的關系時, 并沒有考慮點集的幾何形狀信息.為了解決該問題, Liu等人提出了形狀感知卷積神經網絡(RS-CNN[16]), 在局部鄰域的特征提取時考慮局部幾何形狀信息.與以往方法不同, RS-CNN不是以局部點集的位置坐標作為輸入, 而是設計了一個低維的幾何特征對采樣點的幾何形狀進行描述.然后通過MLP從低維的幾何特征中學習出對應權重對特征進行加權, 再對加權后的特征進行最大池化操作獲得鄰域的局部特征.RS-CNN在卷積操作時不僅可以很好地解決點云的無序問題, 而且對剛性變換魯棒, 在局部鄰域特征提取的同時考慮了每個點的自身位置和幾何屬性, 在點云聚類和分割中, RS-CNN取得目前領先的結果.然而, RS-CNN在權重的學習過程中沒有考慮局部鄰域的整體分布, 在構造鄰域點的低維幾何特征時只用到了當前點與鄰域點的位置關系; 在利用深度網絡學習權重的過程中亦是通過對每個點進行單獨學習實現的.

本文在RS-CNN的框架下提出一種新的深度點云卷積形式——鄰域參與的形狀感知卷積, 在權重的學習過程中不僅利用了每一點的位置和幾何屬性, 同時還考慮了局部點集的整體分布.該網絡采用了類似于PointNet分割網絡的框架對權重進行學習(權重學習網絡, WL-Net), 通過將鄰域點的局部編碼與鄰域的全局編碼串聯實現利用局部點集的整體分布對權重進行學習.具體來說, 對于輸入的局部鄰域, 首先通過MLP提取出點特征, 利用平均池(Average Pooling)獲得鄰域的全局特征, 然后再將全局特征和點特征進行串聯, 并利用MLP學習出每點的權重.通過權重與對應特征相乘, 獲得每一點的加權特征, 再對得到的加權特征采取最大池得到鄰域的局部特征.

2 算 法

2.1 分層卷積結構

本文采用類似PointNet++的分層結構.輸入為F1=(v1i,fv1i),i=1,2,…,N1, 即對于點集V1={v1i|v1i∈3}中的每一點v1i都對應一輸入特征fv1i∈C1, 其中，C1為輸入特征維度,N1為采樣點個數.在此基礎上構造其代表點集V2={v2i|v2i∈3},i=1,2,…,N2.V2中的點可以位于任意位置, 常用的構造方法是對V1進行隨機下采樣或最遠點采樣.接下來利用V2中的點將V1分割為N2個重疊的子點云, 每一子點云是以v2i為中心的局部鄰域Ni, 然后對每一子點云提取局部特征fv2i作為代表點v2i的提取特征, 集合F2=(v2i,fv2i),i=1,2,…,N2可以看成點云的更高級表示.對得到的F2重復上述過程, 直至得到整個點云的特征.

2.2 鄰域參與的形狀感知卷積

為方便敘述, 取V2中的一個代表點記為v, 并將其在V1中的鄰域記為N.其中，N是代表點v的K個近鄰點vi組成的鄰域, 鄰域中每個點對應特征向量fvi.受到RS-CNN啟發, 為了考慮每一點的形狀信息, 對每一鄰域點vi根據其與當前點v之間的位置關系定義一個10個通道的低維局部形狀向量hvi=(|v-vi|,v-vi,v,vi), 其中,|·|表示F范數, 該向量可以看成是vi的一個低級的形狀特征.對于鄰域N, 其輸入為F={(hvi,fvi)|vi∈N}, 本文通過WL-Net學習特征fvi的對應權重wvi, 然后對加權后的特征進行聚合, 并對聚合后的特征運用MLP進行升維, 對鄰域N提取更高維的特征向量.其具體過程如圖1所示, 以鄰域點對應的特征向量fvi和低維局部形狀向量hvi作為輸入, 先利用WL-Net學習每一特征向量fvi的權重.具體來說, 首先通過MLP對hvi進行拉伸, 提取每一點的C2維點特征, 然后利用平均池獲得鄰域的特征描述, 再將全局特征和點特征進行串聯, 實現將鄰域的整體形狀用于權重學習的目的.利用串聯特征經過MLP學習出與輸入特征具有相同維度的權重wvi.得到權重wvi后, 利用wvi對fvi進行加權, 然后對加權后的特征進行聚合, 并對聚合后的特征運用MLP進行升維, 進而得到鄰域的局部特征fsub.該過程可用公式表示如下：

圖1 算法流程圖

fsub=M(σ(A({wvi·fvi,?vi∈N}))),

(2)

其中,wvi是通過hvi利用神經網絡學習出的fvi對應的權重,·表示對應元素相乘, 函數A表示利用聚合函數對得到的加權特征進行聚合, 函數σ表示用非線性函數對加權后的特征進行激活,M表示利用MLP對激活后的特征進行升維, 得到鄰域的局部特征fsub.在上述步驟中, 當聚合函數A是對稱的, 才能實現點集的置換不變性.一般常用的操作有最大池化和平均池化.與RS-CNN和傳統的CNN類似, 本文選用最大池化實現加權特征集的聚合操作.權重wvi的學習是本文的關鍵步驟.為了可以在權重的學習過程中加入點集的整體分布, 本文提出了一個以局部點集整體為輸入的權重學習網絡(Weight-Learning Net, WL-Net).

2.3 權重學習

RS-CNN在構造低維局部形狀向量hvi時, 僅考慮了鄰域點和當前點的位置信息, 并沒有加入局部鄰域的整體形狀描述; 在利用hvi學習權重wvi的過程中, 亦是通過對hvi的獨立學習完成的, 沒有考慮vi的鄰接信息, 如圖1中的虛線所示.因此, RS-CNN在wvi的學習過程中沒有考慮點集的整體分布.事實上, 點集中每一點的權重不僅與其自身的位置和幾何屬性有關, 還應與點集的整體分布有關, 如圖2所示.圖中星形點為當前點, 方形點和三角形點為鄰域點,(a)和(b)具有不同分布, 方形點在(a)中為描述形狀的關鍵點, 但在(b)中為噪聲點.因此, 在(a)和(b)中學習到的權重應該不同.但由于RS-CNN在權重學習的過程中僅考慮了鄰域點和當前點的關系, 所以方形點在(a)與(b)中學習到的權重是一樣的.為克服這一問題, 本文加入了全局鄰域結構, 由于(a)與(b)的形狀分布不同, 所以二者的全局特征也不相同, 進而使得方形點在(a)與(b)中學習到的權重亦不同.

圖2 權重學習應考慮鄰域的整體形狀

為了能在權重學習過程中考慮鄰域的整體特征, 本文采用了類似于PointNet分割網絡的框架來構建WL-Net, 通過將鄰域點的點特征與鄰域的全局特征串聯, 實現利用局部點集的整體分布對權重進行學習, 如圖1中的上方深色陰影框所示.具體來說, 首先以鄰域內每一點的低維局部形狀向量hvi作為輸入, 通過MLP對每一點提取C2維度的點特征, 利用平均池化操作獲得鄰域的全局特征1×C2, 為了在權重學習過程中能夠考慮局部點集的整體分布, 將C2維度的全局特征與C2維度的點特征串聯, 每點得到一個(C2+C2)維度的特征向量, 最終通過MLP學習出與輸入特征具有相同維度的權重wvi.對輸入鄰域N, 用WL-Net進行權重學習時, 通過聚合函數的使用, 可以在理論上保證權重學習的結果對點排列順序不變.本文使用WL-Net來替代RS-CNN中的權重學習過程, 結果表明WL-Net有效地提高了RS-CNN網絡的性能, 并且在具有挑戰性的基準數據集和任務上均達到了與現有方法相同或更好的性能.

3 實驗結果及分析

為了對本文算法的有效性進行評估, 本節在不同任務和數據集上進行了測試.實驗分為3部分: 基于ModelNet40數據集的三維形狀識別(3.1節); 基于ShapeNet Parts數據集的三維模型語義分割(3.2節); 輸入數據及聚合函數對模型性能的影響(3.3節).算法在PyTorch下實現, 并在單個Nvidia GTX 1080Ti上進行訓練.

3.1 三維形狀分類任務

3.1.1 數據集

對于三維形狀分類任務, 選擇ModelNet40數據集[7]對算法性能進行評估.該數據集包括40個類別共12 311個模型, 其中9 843個模型用于訓練, 2 468個模型用于測試.本文訓練了以1 024個點為輸入的測試模型, 采樣數據是在文獻[3]提供的數據集上進行的, 該數據集將ModelNet40中的每一個模型轉化為包含2 048個點的點云模型.在訓練過程中, 本文采用了文獻[3]的方法對數據進行擴充, 一方面對輸入數據進行了拉伸, 尺度控制在[-0.66, 1.5]范圍內; 另一方面對數據進行平移, 控制在[-0.2, 0.2]范圍內.為了解決數據的過擬合問題, 在網格訓練過程中, 對于神經網絡單元執行50%比例的Drop out[17]技術.在測試過程中, 類似于文獻[3-4,16],對每個模型進行了10次隨機采樣, 并對預測結果取平均值.

3.1.2 實驗細節

對于RS-CNN, 本文使用作者文章中給出的2層單尺度鄰域架構.雖然RS-CNN作者指出, 在3層多尺度鄰域架構下可以得到更好的結果, 但是在網絡上僅提供了2層單尺度鄰域架構, 故使用此架構.為了能更好的對RS-CNN和RS-CNN+WL-Net的性能進行比較, 本文使用和RS-CNN相同的框架, 只是將RS-CNN中的權重的學習過程替換為本文提出的WL-Net.而且對于參數C,C1,C2及Cout的選取, 使用了和RS-CNN一樣的原則.

3.1.3 結果與討論

為了驗證本文算法的優越性, 本節就ModelNet40數據集上的分類結果,與其他先進方法進行了比較, 結果如表1所示.可以看出, 本文算法的分類準確率優于其他主流算法.RS-CNN+WL-Net在僅以1 024個點的坐標作為輸入的條件下,其準確率可以達到93.2%,優于PointConv[13]以5 000個點的坐標和法向作為輸入的結果.此外,可以觀察到,用本文提出的WL-Net替換RS-CNN中的權重學習過程,可以有效提高算法的性能(RS-CNN+WL-Net比RS-CNN高出0.3%).實驗結果表明了在權重學習過程中考慮鄰域整體分布的優越性.

表1 在ModelNet40上的分類準確率的比較

3.2 三維模型語義分割

3.2.1 數據集

對于三維模型語義分割任務,選擇ShapeNet Parts數據集對本文算法進行評估.ShapeNet Parts是一個由三維CAD模型對象表示的豐富的大型形狀數據集,包括了16個類別的16 880個模型,其中，14 006個模型用于訓練,2 874個模型用于測試.模型中的每一點對應一個部件標簽(這個數據集總共50個部件),平均每個模型由少于6個部分組成.每個模型采2 048個點用于訓練和測試.與RS-CNN類似,將模型的類別標簽對應的向量作為特征,與網絡的最后一個特征層輸出的特征串聯,用于預測每個采樣點的標簽.在測試過程中,對每個模型進行了10次隨機拉伸,并對預測結果取平均值.

3.2.2 實驗細節

對于RS-CNN深層網絡框架, 本文使用作者給出的4層多尺度鄰域架構.RS-CNN+WL-Net 仍使用和RS-CNN相同的框架和參數設計.

3.2.3 結果與討論

與三維形狀識別實驗相比, 三維模型語義分割需要更精細地識別每個點, 所以更加具有挑戰性.本節就ShapeNet Parts數據集上的語義分割結果, 與其他先進方法進行了比較.本文采用交并比(Intersection-over-Union, IoU)對分割結果實現定量的比較, 展示兩種平均的IoU(mIoU), 它們分別是在所有類別和所有實例中進行平均.表2總結了與現階段方法的定量比較.RS-CNN+WL-Net以86.4%的類別mIoU和84.2%的實例mIoU獲得了最好的語義分割性能.而且, 基于相同的網絡框架和參數設計, RS-CNN+WL-Net的類別mIoU和實例mIoU分別略高于RS-CNN.這些改進證明了本文提出的權重學習網絡的有效性.

表2 在ShapeNet Parts上的分割結果的比較

3.3 模型分析

3.3.1 稀疏數據上的分類結果分析

本節以ModelNet40數據集上的形狀分類任務為基礎, 對RS-CNN和RS-CNN+WL-Net在不同數量的輸入點下的性能進行了評估.本文在不同數量的采樣點下對模型進行訓練, 并利用訓練后的模型進行測試, 結果展示在圖3 中.實驗結果表明, RS-CNN+WL-Net在每個密度上都比RS-CNN精度要高.而且, 當輸入點數減少到128或64時, RS-CNN+WL-Net的性能可以達到90.6%和89.3%, 與PointNet++和PointNet在1 024個輸入點下的結果持平.但是, 當采樣點數量降低到128或64時, 在TITAN RTX GPU上, 每個樣本的推斷速度為1.4～0.7 ms, 這使得在實際應用中, 例如:自動駕駛、機器人交互, 實現低分辨率點云輸入的實時分類成為可能.

圖3 輸入點數量對網絡性能的影響

3.3.2 聚合函數的選擇

本節討論了不同聚合函數對網絡性能的影響, 本文算法在兩個位置使用了聚合函數: 一是在WL-Net中為了將鄰域的整體分布加入到權重學習中, 使用聚合函數獲得鄰域的整體編碼并與點特征相串聯; 另一個是對加權后的特征使用聚合函數, 即式(2)中的A.表3比較了RS-CNN+WL-Net在平均池化和最大池化下, 在Model-Net40數據集上的識別準確率.實驗結果表明, 所有構造方法的性能都優于原始RS-CNN算法的結果(92.9%).這有效的證明了, 權重學習過程中考慮鄰域整體分布的優越性.此外, 還可以看到, WL-Net中的聚合函數選擇平均池要優于最大池, 本文在WL-Net中使用平均池作為聚合函數, 而對加權后的特征使用最大池.

表3 聚合函數A的選取對網絡性能的影響

4 結 語

本文提出了一種在三維點云上直接進行卷積運算的新方法—鄰域參與的形狀感知卷積.該方法以RS-CNN框架為基礎, 先利用MLP學習每點的權重, 然后利用權重對輸入特征進行加權, 再通過聚合函數和MLP提取鄰域的整體特征描述.通過在權重的學習過程中引入鄰域的整體分布, 有效的提高了算法的準確度, 在多個具有挑戰性的基準數據集和任務上都取得了良好的性能.

通過估計連續的核函數, 然后通過核函數直接預測散亂無序采樣點上的卷積權重, 實現局部鄰域的特征提取, 是目前一種流行的卷積定義方式.但是, 現有的權重學習方法, 都是從點到點對應學習出權重, 無法體現從鄰域到每個點的權重學習過程.如何將鄰域支持的權重學習的思想應用到更多的前沿算法中, 如:PointConv[13]、SPLAT-Net[10]、GDCNN[12], 將是未來的一個重要工作.