基于二次曲面拓撲關系的工件位姿估算方法*

徐進 李德平 柳寧

基于二次曲面拓撲關系的工件位姿估算方法*

徐進1,2李德平1,2柳寧1,2

（1.暨南大學信息科學技術學院 2.暨南大學機器人智能技術研究院）

針對Bin-Picking系統中工件6自由度位姿估算，基于全局和局部特征的點云匹配算法，對工業零件存在的一定局限性問題，提出一種基于二次曲面拓撲關系的工件位姿估算方法。該方法考慮到工業零件表面的曲面特征，利用圖結構描述曲面間拓撲關系；并通過子圖同構匹配完成目標對象的識別；最后利用曲面特征參數進行快速的位姿估算。實驗證明，該方法比傳統位姿估算方法更快速、準確，具有良好的魯棒性和可拓展性，能滿足工業實時性要求。

Bin-Picking；點云匹配；二次曲面；子圖同構

0　引言

在現代生產制造過程中，裝配是必不可少的環節，而工業機器人的分揀功能是自動化裝配過程中最基本的功能之一。基于3D視覺的分揀系統又稱為3D-Bin-Picking系統，其核心問題之一，是如何從散亂堆疊的工件中識別出最上層工件并獲取其6自由度位姿信息，該位姿信息是引導機械臂進行工件撿取的關鍵。

目前，針對物體位姿識別主要有2種方法：1）基于全局特征方法，先對點云場景進行分割，再計算每個點云聚類的全局特征，并與模型的全局特征庫進行匹配，從而得到其對應位姿，該方法的代表算法有VFH[1]，CVFH[2]和GFPFH等；2）基于局部特征方法，先分別對場景和模型進行關鍵點提取，然后計算每個關鍵點的局部特征，并對場景和模型的關鍵點進行基于局部特征的匹配，最后根據匹配對估算變換矩陣，該方法的代表算法有PFH[3]，FPFH[4]，SIFT[5]和SHOT[6]等。

以上方法對于紋理特征明顯的物體有較好的識別效果。但工業零件的表面多為規則二次曲面，有大量特征相似的關鍵點，缺乏紋理信息，使用上述方法對工業零件進行位姿識別會產生大量錯誤匹配對，無法計算出正確的位姿變換矩陣。為此，本文提出一種工業零件的位姿估算方法，該方法充分利用工業零件的二次曲面特征，能快速、準確地完成位姿估算。

1　工業零件的二次曲面表征

工業零件表面一般包含一個或多個二次曲面，具體包括平面、圓柱面、球面和圓錐面，分別用特征參數的方式描述，如表1所示。

表1　二次曲面的特征參數

通過二次曲面提取技術，可從點云中提取所需的二次曲面。目前常用的二次曲面提取算法主要有最小二乘法、區域生長法和RANSAC。如圖1所示，1個三通零件模型點云通過二次曲面提取技術，可分割成2個圓柱面點云。

圖1　三通零件的曲面特征表征

如圖2所示，對提取出來的2個曲面（圓柱面）擬合其特征參數中的軸線（點和軸向量）特征。這2條軸線可參數化地表示該三通零件模型，并包含其位姿信息。分別對模型點云和場景點云進行二次曲面提取及特征參數擬合，構成模型曲面庫和場景曲面庫。

圖2　模型參數化轉換示意圖

2　基于圖結構的曲面拓撲關系描述

提取模型和場景的二次曲面后，利用圖來描述它們的曲面間拓撲關系。

2.1　構造模型子圖

對工件模型構造模型子圖結構，如圖3所示。

1）對提取的曲面按照曲面類型和曲面參數進行編號，如平面①、平面②、柱面①、柱面②……；

2）計算每個曲面與其他所有曲面之間的以下關系：①質心距離；②軸向量或法向量之間的夾角（球面忽略），并把這2個值存儲在1個二維變量中；

3）以編號為頂點，對應編號間的關系為邊的權值，構造一個完全圖。

2.2　構造場景母圖

對場景點云構造場景母圖結構，如圖4所示。

圖4　構造場景母圖示意圖（圖中數字僅表示標識序號）

1）對提取的曲面按照曲面類型和曲面參數進行編號，其編號方式與模型子圖構造方法一致，且模型與場景中參數相同的同類曲面編號也應一致；

其中，代表該曲面的拓撲性質與模型中標準值的相近程度，越接近1，表示兩曲面拓撲關系越正確，并以為權值為這2個頂點構造邊；若超過閾值，則不為這2個頂點構造邊。該過程構造了1個有權無向圖。

2.3　子圖同構匹配

圖5　子圖同構映射

3　基于曲面特征參數估計工件位姿

子圖同構匹配識別場景中的最佳抓取對象，并建立該對象曲面與模型曲面一一對應的關系，利用對應曲面的特征參數可估算工件位姿。

如表1所示，在4種二次曲面中，除了球面只有1個空間向量（點）之外，其他曲面均有2個空間向量（點和方向），這些點和方向向量包含了曲面的位置和方向信息，因此可通過對對應曲面的空間向量的配準來完成模型與目標對象的配準。

圖6　通過子圖同構找到場景中的目標對象

圖7　根據特征參數配準三通零件對應軸線

上例中的三通零件利用了2條軸線參數（點和向量）進行位姿估算。理論上取任意2個線性無關的曲面（即軸線不平行，點不在軸線上）都可按照一定規則完成位姿估算，具體規則如表2所示。

表2　特征參數位姿估算規則表

4　實驗分析

為驗證本文提出方法的有效性，選取4種常見的工業零件作為實驗對象，每種工件取20種散亂擺放的場景模擬實際拾取情況，分別采用基于局部特征的SHOT算法及本文提出方法對場景中工件的位姿進行識別。各工件的CAD模型與采集的散亂堆疊的場景點云如圖8所示。

圖8　工業零件實驗數據集

圖9~圖12展示了本文提出方法對每個工件在其對應的5個場景中的識別結果。2種方法的實驗結果統計如表3所示。

圖9　工件一位姿識別結果

圖10　工件二位姿識別結果

圖11　工件三位姿識別結果

圖12　工件四位姿識別效果

表3　SHOT算法和本文提出方法的實驗結果統計表

由實驗結果可見，基于局部特征的SHOT算法對工業零件尤其是表面特征變化較小的零件（工件二和工件四均只含有2個圓柱面）的位姿識別率較低，遠達不到工業應用的準確性要求；且平均識別時間均在10 s以上，也達不到工業應用的實時性要求。相比之下，本文提出方法識別率都能保持在80%以上，且識別總時間均在5 s左右，識別率和識別速度均有了明顯的提高。另一方面，本文提出方法識別時間主要集中在曲面分割上，而位姿識別時間均在1 s以內。因此，在時間優化問題上，可以更集中于曲面提取的策略和算法優化，這也體現了該方法良好的拓展性。

5　結論

本文分析了一般工業零件的二次曲面特征，把位姿識別問題從以點為處理單元轉化為以特征曲面為處理單元，繼而建立工件和場景的子圖同構模型，并利用曲面特征估算對應的位姿。實驗證明，與基于局部特征的方法相比，該方法能更快速、準確地識別出工業零件的位姿，具有良好的工業應用價值。

[1] Rusu R B, Bradski G, Thibaux R, et al. Fast 3D recognition and pose using the Viewpoint Feature Histogram[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, October 18-22, 2010, Taipei, Taiwan. DBLP, 2014:2155-2162.

[2] Aldoma A, Vincze M, Blodow N, et al. CAD-model recognition and 6DOF pose estimation using 3D cues[C]. IEEE International Conference on Computer Vision Workshops, Barcelona, Spain, 2012:585-592.

[3] Rusu R B, Blodow N, Marton Z C, et al. Aligning point cloud views using persistent feature histograms[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, France, 2008:3384-3391.

[4] Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]. IEEE International Conference on Robotics and Automation, IEEE, 2009:3212-3217.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[6] Tombari F, Salti S, Stefano L D. Unique Signatures of Histograms for Local Surface Description[J]. Lecture Notes in Computer Science, 2010, 6313:356-369.

[7] Cordella L P, Foggia P, Sansone C, et al. A (sub)graph isomorphism algorithm for matching large graphs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 26(10):1367-1372.

A Method of Workpiece Pose Estimation Based on Quadric Topological Relation

Xu Jin1,2Li Deping1,2Liu Ning1,2

(1.College of Information Science and Technology, Jinan University 2.Robotics Research Institute of Jinan University)

For Bin-Picking system of workpiece 6-Dof position matching problem, point cloud based on global and local feature matching algorithm for industrial components has certain limitation, then put forward a kind of topological relations based on quadric surface scattered workpiece position estimation techniques, the proposed algorithm considering the surface characteristics of industrial components surface, graph is used to describe topological relations between surface and through the subgraph isomorphism matching complete target recognition, the use of surface characteristic parameters for pose estimation. Experimental results show that the method we proposed is faster and more accurate than traditional pose matching algorithm, and has good robustness and expansibility.

Bin-Picking; Point Cloud Matching; Quadrci Surfaces; Subgraph Isomorphism

徐進，男，1994年生，碩士研究生，主要研究方向：信號與信息處理。E-mail: 491886539@qq.com

國家自然科學基金（61775172）；廣東省自然科學基金（2018030310482）。