基于深度學習方法的三維模型相似度計算

華順剛，李春澤

（大連理工大學機械工程學院，遼寧大連 116024）

0 引言

作為數字化制造技術的基礎，三維模型是重要的設計資源。研究和統計分析表明，通過重用三維模型，可有效降低產品的設計成本，加速產品再創新[1]。實現資源重用的三維模型檢索技術成為了計算機視覺、計算機圖形學領域的研究熱點[2]。其中，三維模型的識別與相似性比較是研究重點。目前主流的基于深度學習的三維模型識別方法主要有基于體素化、基于多視角及基于點云這3類方法。

（1）基于體素化（Volumetric）法。基于體素化法通過將三維模型表征為空間中的體素，然后對體素化模型進行三維卷積處理來識別模型[3]。體素化特征處理手段需要將三維模型變換成一個個小的三維特征塊，若分隔成較大的三維特征塊，則計算耗時短，但特征表達精度不足。若分割成較小三維特征塊，雖然特征表達精度可以滿足需求，但是后期處理的計算復雜度較高。因此這種處理手段存在難以平橫計算復雜度與精度的問題，在實際應用中受限。

（2）基于多視角（Multi-View）法。多視角法使用對三維模型的多視角采樣獲得的二維圖片來表征三維物體，此方法將傳統CNN（卷積神經網絡）應用于多張二維視角的圖片來表征三維模型[4]。這種方法相比于體素化方法，可以降低計算復雜度，提高識別效率。然而該方法受制于視角數量，無法感知三維模型的內部信息，因此對于特定形狀的三維模型識別精度較差。

（3）基于點云（Point Clouds）法。通過在三維模型的表面采樣出三維點云，然后用深度學習網絡來識別三維模型，這種基于點云采樣方式的采樣復雜度相比于體素化方法的計算復雜度較低，而又不受多視角方法的視角數量限制，同時可以感知到模型的內側表面信息，在深度神經網絡建模中，可以直接將三維點云輸入網絡進行建模識別，而無需進行特征預處理，因此成為了一種理想的三維模型的識別方法。其中PointNet[5]是相關工作的先驅，它直接處理三維點云數據，利用三維變換和特征轉換實現了點云數據的識別，PointNet++[6]是PointNet 的改進版本，它將點云劃分局部來識別。PointCNN[7]提出了直接在三維點云數據上進行卷積操作，PointConv[8]可以高效地對非均勻采樣的3D 點云數據進行卷積操作，該方法在多個數據集上實現了優秀的性能。因深度學習方法的可適應能力高，可以處理復雜的三維模型的點云，成為了目前的相關研究熱點。

本文將構建多種基于深度學習技術的點云模型識別方法，對各種方法進行優劣分析，并將這些方法應用于三維模型的識別中。同時將深度神經網絡中的抽象特征用于模型相似度計算中。本文的研究技術路線如圖1所示。

圖1 研究路線

首先在三維模型的表面采樣出三維點云，然后利用有標簽的三維點云數據訓練一個深度神經網絡模型，將網絡參數保存起來，再用訓練好的網絡來對新的三維點云模型進行識別，同時可利用網絡提取的的特征來計算兩個模型的形狀相似度。使用QT和C++語言編程實現了三維模型識別與模型相似度計算來驗證模型的應用可行性。該工具在輸入未知三維模型時可以識別模型的分類；輸入不同的三維模型時，則可以計算出它們的形狀相似度。

1 點云深度學習網絡

1.1 PointNet網絡

PointNet 是一個點云深度學習識別網絡，它采用了兩次STN（空間變換），第一次是對空間中點云進行調整，直觀上理解是旋轉出一個更有利于分類或分割的角度，比如把物體轉到正面；第二次是對提取出的64維特征進行對齊，即在特征層面對點云進行變換,然后采用MaxPooling（最大化池化）解決點云數據的無序性問題。網絡對每個點進行了一定程度的特征提取之后，MaxPooling 可以對點云的整體提取出全局特征。

1.2 PointNet++網絡

PointNet++是基于PoinNet 的改進版本，核心就是提出了多層次特征提取結構。具體來說就是先在輸入點集中選擇一些點作為中心點，然后圍繞每個中心點選擇周圍的點組成一個區域，之后每個區域作為PointNet的一個輸入樣本，得到一組特征，這個特征就是這個區域的特征。之后中心點不變，擴大區域，把上一步得到的那些特征作為輸入送入PointNet，以此類推。這個過程就是不斷的提取局部特征，然后擴大局部范圍，最后得到一組全局的特征，然后進行分類PointNet++還采用多尺度的方法解決樣本不均勻的問題，在樣本稀疏時模型更有魯棒性。

1.3 PointCNN網絡

PointCNN 提出了一種稱為X-變換的方法（X-Conv）。X-變換從輸入點學習到的一組權值X，這組權值可以對各點相關聯的特征進行重新加權和重排列。X-變換可以實現“隨機應變”，即當輸入點的順序變化時,X-變換能夠相應地變化，使加權和重排列之后的特征近似不變。輸入特征在經過X-變換的處理之后能夠實現計算結果與輸入點順序無關，同時也編碼了輸入點形狀信息的歸一化特征。在經過X-變換之后的特征上進行卷積能夠極大提高卷積核的利用率，從而大大提高卷積操作在無序數據上提取特征的能力。

1.4 PointConv網絡

PointConv 可以在點云上構建深度卷積網絡。它將卷積核看作3D點局部坐標的非線性函數，該函數由權重和概率密度函數組成。對于給定點，利用多層感知器學習權重函數，通過高斯核密度估計學習該概率密度函數。為了高效地計算權重函數，它提出了一種新型計算方法，使網絡規模顯著擴大，性能顯著提高。學習到的卷積核可用于計算3D空間中任何點集上的平移不變卷積和置換不變卷積。

2 三維模型識別

根據本文的研究路線（圖1），進行三維模型識別主要分為以下幾個步驟：點云掃描采樣，構建神經網絡，調用網絡識別模型。

2.1 點云掃描采樣

點云掃描采樣是指對三維模型的表面進行采樣，三維模型由網格構成，所含有的點數量不多，尤其在三維模型存在平面或者是簡單立方體的情況下點的數量更少。所以需要利用PCL[9]（Point Cloud Library）庫的Pcl_mesh_sampling 來提取更多點，因此本文先調用VTK[10]（Visualization ToolKit）讀取模型，設置需要的點數，以及采樣距離等參數，然后在三維模型表面采樣出固定點數的三維點生成點云。掃描采樣結果如圖2所示。

圖2 點云采樣

2.2 構建神經網絡

本文的軟件環境主要基于TensorFlow[11]平臺和Python 語言，硬件環境配置為Quad-Core Intel Core i7+16g，訓練集采用普林斯頓大學Modelnet40[12]，它包含約40 個對象類別（如飛機、汽車、家具等），用三角形網格表示的12 311個三維模型。每個模型采樣出2 048個點，數據為訓練集和測試集，訓練集有9 843 個模型，測試集有2 468 個模型。硬件環境配置為GTX1060+Intel 酷睿i5 8400+16g，內存軟件配置為Win10+TensorFlow1.10+Python3.7+CUDA9.0+cuDNN7.3，用時9 h訓練完成，訓練集準確度達到了97%左右，測試集準確度為85.3%左右。用TensorFlow平臺和Python編程語言搭建了PointNet++神經網絡，軟件配置Ubuntu16.0+TensorFlow1.14+Python3.5+CUDA9.0+cuDNN7.3，訓練集采用普林斯頓大學Modelnet40，迭代了8k次后，在測試集上準確率達到87.2%。用TensorFlow和Python語言搭建了PointCNN網絡，訓練集采用普林斯頓大學Modelnet40，軟件環境為MacOS+TensorFlow1.13+Python3.7，迭代26k次后。在測試數據集上的準確率達到了91.1%，在Py-Torch[13]平臺用Python語言搭建了PointConv網絡，軟件配置為MacOS+PyTorch+Python3.7，訓練集采用普林斯頓大學Modelnet40，迭代12k次后。在測試數據集上的準確度達到了92.1%。

2.3 對比分析

基于以上設置，對上述方法的準確率、參數量、迭代次數進行了對比。其中PointConv的識別準確率最高，但參數量較大，PointCNN的參數量最小，也能較快的收斂。PointNet的參數量最多，收斂也較慢。PoinNet++的收斂速度最快但是準確率一般。表1所示為各種點云識別模型的性能對比。

表1 基于深度學習的點云識別模型對比

2.4 識別三維模型

本文使用QT[14]和C++語言編程實現了三維模型識別工具，它先將三維模型采樣出固定點數的點云，然后輸入到訓練好的深度學習網絡中，得到該三維模型的預測分類。該工具在輸入未知三維模型時可以自動識別模型的分類，當輸入兩個三維模型時可以計算出它們的形狀相似度。如圖3所示為軟件界面及識別的實例，可見軟件成功識別了2個杯子模型并計算出了它們的相似度。

圖3 三維模型的識別

3 特征提取及相似度計算

3.1 特征提取

模型的特征是一組可以表征三維模型的形狀特點的信息，從訓練好的網絡中可以提取出三維模型的特征，然后基于提取的特征計算兩個模型的相似度。分別運用訓練好的PointNet、PointNet++、PointCNN、PointConv 網絡提取三維模型的特征。本文先將點云輸入到已經訓練完成的深度神經網絡中，提取出深度神經網絡的抽象特征層（輸入到分類器之前的一層）。因網絡結構不同，本文從PointNet 和PointNet++及PointConv提取了1 024維的數據，PointCNN提取了256維數據，每一維數據的范圍在0～1之間，因為這些特征具有識別能力的網絡的輸出特征，所以這些抽象出的特征信息表征了三維模型的形狀特點。為了驗證特征的相似性，本文使用TensorBoard 的t-SNE 將提取出的高維度的特征向量投影到二維空間，圖4所示為Modelnet40測試集輸入PointNet網絡后特征的投影圖，可見同一類型的三維模型投影在二維平面內的距離也是相近的。

圖4 PointNet中高維特征的t-SNE低維投影

3.2 相似度計算

相似度是衡量兩個三維模型結構形狀相似程度的一個值，通常用百分數來表示，利用提取出的抽象特征可以計算三維模型的相似度。特征的相似性度量方法主要有皮爾遜相關系數、歐式距離和余弦相似度等，一個好的三維模型相似性度量方法就是應該和人的視覺觀察一致。經試驗其中皮爾遜相關系數效果最好，它是衡量隨機變量X與Y相關程度的一種方法，相關系數的取值范圍是[-1,1]。相關系數的絕對值越大，則表明X與Y相關度越高。當X與Y線性相關時，相關系數取值為1（正線性相關）或-1（負線性相關），它的計算公式如下：

式中：E（X）、E（Y）為變量的期望；D（X）、D（Y）為變量的方差。

使用該公式計算出兩個模型提取出的特征的相關系數，用來表征模型的形狀相似度。用一個被檢索模型（杯子）分別與其他模型計算相似度，圖5所示為基于各種網絡提取的特征用皮爾遜相關性計算相似度的結果，圖片下方為皮爾遜相關系數。由圖可知，形狀相似的模型計算出形似度也相應較高。證明基于深度學習提取特征的方法計算的相似度與實際情況具有較高的吻合度，有一定的應用價值。

圖5 采用不同神經網絡的相似度計算結果比較

4 結束語

本文分析了多種目前最先進的點云數據的深度學習識別技術，并將其應用于三維模型的識別中。同時提出可利用深度神經網絡的抽象特征來進行模型的相似性計算。經過仿真實驗證明深度學習方法可以用于三維模型的建模識別中，且這種識別方法可以感知三維模型的內部信息。同時，將深度神經網絡的輸出特征作為三維模型的形狀特征，應用到三維模型檢索的相似度計算中來，彌補了一些底層特征與上層語義之間的鴻溝，可以有效地計算模型的相似度，在三維模型的檢索中具有一定的應用價值。