基于PointNet改進的無序工件點云配準算法*

梁艷陽，葉達游，周集華，黃子健，孫偉霖，石峰，王瓊瑤，曹梓涵，何春燕

（五邑大學智能制造學部，廣東 江門 529020）

0 引言

由于結構光傳感器等三維相機的快速發展，三維點云逐漸被應用于各個領域[1]。因此，關于三維點云處理算法發展得到更多的關注，例如目標識別、位姿估計[2]和逆向工程等。點云配準是三維點云的基礎技術，其原理是通過若干次旋轉、平移等剛性變換，將不同視角的點云統一到同一個參考坐標系。近年來，深度學習領域有很大的突破，三維點云配準效率和準確性逐漸提高，這給三維點云數據處理提供了很好的解決方案，也帶來了機遇和挑戰[3]。

傳統算法仍然是三維點云配準的常用方法。一種是基于局部特征的方法，通過特征描述符（如3DSC[4]、SHOT[5]）找到模板點云與目標點云之間的對應關系實現粗配準，再求解精確配準。另一種為全局特征最優方法實現最優配準，但全局特征最優方法效率較低。迭代最近點（ICP）[6]仍然是主流的點云配準方法之一，但容易出現過擬合，改進的ICP算法[7]的計算效率和精度逐漸提高。FGR[8]為快速全局配準算法，提取點云表面特征通過特征距離進行匹配。PFH 算法[9]利用直方圖對點云的幾何特征進行點云配準。文獻[10]提出采用因子分析法對點云進行表示，利用極大似然估計的方法求得因子載荷矩陣對含有噪聲點云的配準。

基于深度學習的點云配準研究也得到更多的關注，PointNet[11]是首個直接處理點云的神經網絡，以此為基礎設計出先進的算法。PointNetLK[12]把點映射到高維空間，使用LK光流算法，進行點云配準，但對于含有噪聲的點云數據魯棒性較低。SCANet[14]提出基于空間和通道注意力的網絡，用于兩個輸入全局特征向量之間的信息交互實現配準。ROPNet[15]使用代表重疊點提取全局特征來預測配準，將部分到部分的配準轉變為部分到完全的配準。

基于上述的現狀，本文研究引入基于PointNet 的點云配準網絡i-SAM，對無序工件三維點云進行位姿估計。首先利用三維軟件制作工件CAD模型，再基于CAD模型生成點云生成相應的無序工件數據集（WorkpiecesDataSet），用于配準算法訓練測試與優化，并建立位姿估計預測模型，對無序工件位精確姿參數進行求解，最后引導機器人實現無序工件抓取。

1 三維點云配準流程

1.1 算法流程

研究提出的點云配準算法流程如圖1 所示，無序工件三維點云配準算法的框架是利用PointNet 對點云數據進行編碼，分別對模板點云和目標點云進行特征提取，求解全局特征向量。根據兩組點云的特征向量計算初始變換矩陣，將求變換后的目標點云與模板點云輸入ICP模塊求解初始變換矩陣，最后通過多次迭代求解精確位姿矩陣，實現無序工件位姿估計。當達到設定的收斂閾值，結束迭代完成配準，最后通過奇異值分解（SVD）計算工件在空間的位姿參數。

1.2 構建網絡

三維點云具有無序性和幾何不變性，且保存了三維空間中原始的幾何信息，包括三維坐標、類別、法向量等。在對點云進行配準時，利用對稱函數以提供對輸入點云變換的不變性，而對稱函數的輸出向量稱為全局特征向量，點云全局特征向量包含點云的幾何信息和方向信息，可以通過比較點云的特征向量來求解兩片點云之間的變換關系。點云配準問題可以描述為給定兩片點云X∈RN×3和Y∈RM×3，計算得出一個剛性變換矩陣（R，t）。定義目標點云為PT和模板點云為PS，目標函數為φ，計算出剛體變換矩陣T∈SE(3)，使φ(PT)和φ(PS)之間的差異最小。

1.3 配準模塊

圖2 為算法的核心。將從結構光傳感器采集的點云（稱為目標點云PT）與對應要配準物體的已知模型的點云（稱為模板點云PS）作為輸入。SAM 包括特征提取層和回歸層。特征提取層分別將PT和PS輸入到PointNet 模塊，對每個點進行一維卷積運算提取點云特征。首先通過T-Net 模塊對數據做仿射變換，由共享的多層感知器（MLP），以連體結構排列，對點云逐點特征提取（64維）；接著采用仿射變換實現點云的旋轉平移不變性，避免損失過多的特征，需要將特征維度映射到高維度空間（1 024 維）。接著作最大池化操作（max-pool），得到全局特征。

圖2 單次配準模塊網絡結構

點云配準模塊的對稱最大集合函數用于尋找φ(PT)和φ(PS)的全局特征向量。全局特征串聯起來并作為輸入特征配準模塊，將2 片點云合并連接操作進行特征匹配。回歸層對PT和PS之間的變換進行預測。為避免過擬合以及提高配準效果，網絡設置了5 層全連接層FC（1024，1024，512，256，64）進行位姿估計。最后將變換后的目標點云（PT）和模板點云（PS）輸入ICP 模塊，輸出7 維向量位姿參數，前3 位代表位置參數t∈R3，后4位代表旋轉四元數q∈R4（qTq=1）。

1.4 迭代配準框架

在場景中，由于結構光三維相機采集到的點云數據通常為散亂的點。數據量大且含有一定量的噪聲點和離群點，存在著遮擋和點云不完整的情況。求得的整體變換不滿足精度要求。需要經過預處理等手段再運用迭代的方式獲取精確整體變換，求解位姿參數。每次使用SAM 進行配準時，將求得目標點云和模板點云之間的變換矩陣T（i）應用于目標點云。變換后的PT與PS作為下一個SAM 的輸入。當網絡進行多次迭代后，配準結果到達設定的收斂閾值時，表示迭代結束；最后將每次迭代所求的變換矩陣相乘求得整體變換矩陣，得到模板點云和目標點云之間的整體變換，如式（1）所示。迭代配準框架如圖3所示。

圖3 迭代配準框架

1.5 位姿估計

由式（1）求解得到整體變換矩陣T后，將求解得到整體變換矩陣利用矩陣奇異值分解（SVD）解出具體姿勢參數。

式中：X′= (xi-ux)=(x′i)；P′= (xi-ux) = (x′i)；ux=；δ1、δ2、δ3均為特征值。

1.6 損失函數

用于訓練點云配準網絡的損失函數的目的是使預測點云與模板點云之間的距離盡可能小。Earth Mover’s Distance（EMD）函數是對特征空間中的多維矩陣中某一維距離的一種度量。考慮S1，S2∈R3的大小相等s=。X和Y兩片點云之間的EMD表示為：

EMD Loss 函數對下一節描述的訓練數據集的學習比較有效，對于典型點云輸入也有比較高度準確的結果。

2 實驗與分析

2.1 網絡訓練

網絡訓練使用Adam 優化器對網絡，初始學習率為10-6，批次大小為64。實驗平臺為CentOS 7，配置一個NVIDIA Tesla V100 GPU 和一個Intel 6133 CPU 上訓練，CUDA 版本為11.2，Python 版本為3.7，網絡都在PyTorch架構上實現。并且使用收斂標準：

實驗根據各向同性的旋轉誤差Err(R)和平移誤差Err(t)來評估配準的點云配準精度，其中，

式中：R、t，分別表示預測變換和真實變換。通過計算歐拉角和平移向量的平均絕對誤差，評估各向異性旋轉均方誤差R(MSE,MAE)、 平移均方誤差t(MSE,MAE)。

無序工件CAD 數據集（WorkpiecesDataSet）包含4個不同類別的工件，每類工件800 個點云圖，共3 200個點云圖，設置訓練集為2 240 個訓練圖，測試集為960個測試圖。基于CAD 模型表面區域均勻采樣，使用最遠點算法得到一個完整的點云模型。數據集模型的歐拉角旋轉范圍為[90°，90°]，平移范圍為[-0.5，0.5]單位，在模板點云上應用隨機剛性轉換來生成目標點云。

另外利用結構光相機采集點云場景數據，制作場景數據集。每類工件約1 000 個點云圖，4 類工件約4 000個點云圖。首先進行點云預處理操作，使得點云數據更加平滑，再按要求生成場景數據集，用作網絡訓練與測試，按比例分成2 部分：一部分作為訓練數據（70%），另一部分為測試數據（30%）。

2.2 完整點云數據

實驗對上述WorkpiecesDataSet數據集添加隨機噪聲、離群點進行訓練，再使用測試集對網絡進行評估；數據集未含大區域不完整的點云。采取隨機種子點進行測試，以進行客觀的比較評價。實驗結果如表1、圖4 所示，i-SAM 與ICP、FGR、PointNetLK、PCRNet、ROPNet 算法對比有較高的配準案例數量，設置i-SAM 的迭代次數為8 次，成功配準的旋轉和平移誤差更小，由于經過多次迭代配準效率不及其他網絡，但也在可接受的范圍。

表1 WorkpiecesDataSet不可見形狀的測試結果

圖4 WorkpiecesDataSet的所見類別物體的測試及預測結果

2.3 不完整點云數據

在真實的場景中，從三維結構光相機采集到的點云有部分含有殘缺、不完整情況。在進行配準時，由于點云的部分輪廓特征缺失，導致配準得到的結果不太理想。實驗使用含有殘缺測試集測試i-SAM 的配準能力。測試集隨機產生殘缺、不同堆疊程度的模擬實際工況采樣，得到95%、90%、75%、60%、50%、25%完整度的點云，最后在訓練好的網絡模型進行點云殘缺配準測試。

配準結果如表2，在完整數據集上訓練，將不同比例不完整的目標點云匹配到工件源模型的測試結果如圖5所示。隨著點云的完整度降低，當點云完整性從95%下降到75%準確度略有下降，從60%降到50%時，配準精確度逐漸降低。說明i-SAM可以較好地處理小幅度缺失情況，成功配準結果的示例有較小的旋轉、平移誤差。當點云存在大面積遮擋的情況，由于缺失輪廓特征導致誤差較大。

表2 不同殘缺點云進行配準測試結果

圖5 在完整數據集上訓練，將不同比例不完整的目標點云匹配到工件源模型的測試結果示例

2.4 含噪聲點云數據

在不同的高斯噪聲數據下對部分可見性測試， 在含有0.01～0.20的高斯噪聲的測試集上進行測試。結果如圖6所示，圖中，縱軸是實驗配準成功率，即旋轉誤差小于成功標準的測試案例的數量，橫軸為不同的噪聲標準差值。PointNetLK 對噪聲非常敏感表現較差，i-SAM 在0.03～0.075 高斯噪聲表現比較穩定，成功配準的示例旋轉、平移誤差相對其他配準方法較小。

圖6 不同程度的高斯噪聲下各配準方法的表現

2.5 場景點云數據

使用結構光相機在真實場景、光照良好，并存在一定的堆疊、遮擋等缺陷同時含有隨機噪聲等干擾情況進采集無序工件點云場景數據，并對場景點云數據進行預處理與分割。對處理后的點云模型用于配準算法的評估。配準結果如表3，配準示例如圖7，實驗表明配準網絡在場景點云數據含有小面積遮擋場景、噪聲的情況下，i-SAM 與ICP、FGR、PointNetLK、PCRNet、ROPNet 算法對比在場景點云數據中能夠獲得較高的精度，配準結果的旋轉誤差、平移誤差更小。

表3 無序工件場景點云進行配準測試結果

圖7 不同配準方法對無序工件場景數據配準結果示例

3 結束語

實驗針對存在噪聲和堆疊工況下，無序工件點云配準結果精度不高、效率低等問題，研究提出i-SAM 網絡的點云配準方法。網絡基于PointNet 架構的編碼網絡，利用點云數據進行特征提取與特征匹配，并結合ICP 算法，最后進行多次迭代實現點云精確配準，以進行無序工件位姿估計。實驗使用無序工件數據集（Workpieces-DataSet）訓練并測試對網絡進評估，并使用結構光相機采集場景用于測試網絡性能。實驗證明提出的配準網絡對含有噪聲點云具有一定的魯棒性，對工件含有小面積遮擋場景，含有殘缺的情況下，配準框架以迭代的方式實現配準，能夠獲得較高及精度的位姿估計結果。