基于GraspNet的物體平鋪場景下類別導向抓取算法

中圖分類號：TP391 文獻標識碼：A

GraspNet-based Category-oriented Grasping Method for Object Planar Scenes

SONG Shimiao，GU Feifan，GE Jiashang，YANG Jie

Abstract： To solve the problem class-based grasping in multicategory tiled scenes，this paper adopts different feature fusion methods proposes a joint optimization algorithm MC-GSNet （Multi-Class GraspNet） that fuses category semantics grasping posture an optimization algorithm MT-GSNet （Multi-Task GraspNet） that builds a multitask learning model. The improved methods explicitly incorporate category information， optimize the generation logic grasp poses enhance the algorithm's adaptability success rate in multi-category object planar scenes. Experimental results on the public dataset GraspNet-lBillion demonstrate that the proposed methods significantly improve task adaptability grasping success rates in multi-category planar scenes. MC-GSNet MT-GSNet achieve 32.6% 43.9% average accuracy improvements in grasp detection， respectively； MT-GSNet exhibits superior adaptability to unseen objects due to its integration segmentation features. The experimental results in the simulation environment show that the grasp successful rates （GSR） MC-GSNet MT-GSNet reached 88.3% 95.0% respectively，which can meet the needs actual engineering deployment.

Keywords： grasping detection; category-oriented; feature fusion; GraspNet-lBillion

機器人抓取技術在結構化場景中已取得顯著進展，但在復雜平鋪場景，如平面上隨機的多個類別物體中仍面臨諸多挑戰[1]。傳統抓取算法依賴幾何特征或單一模態感知[2-3]，難以應對物體密集分布和類別多樣的情況?；谏疃葘W習的抓取檢測方法能夠充分學習場景的語義或幾何信息，大多以提升抓取精度為目的[4-8]，很少考慮面向目標抓取等各種下游任務的適用性。2020 年大規模數據集GraspNet-1Billon 的發布提出了一個抓取檢測通用框架GraspNet[9]，為抓取問題提供了一個通用的基準，越來越多的研究人員開始關注目標導向、任務導向的抓取問題。HGGD（Heatmap-Guided 6-D Grasp Detection）模型[10]創新性引入ResNet架構生成熱力圖，指導圖像空間中抓取位置的識別，并構建了多維特征表征體系對局部特征進行處理;基于點云的方法[11-13]通過逐點特征提取構建全局表征然后賦予抓取置信度參數，采用多層感知機（Multi-Layer Perceptron，MLP）對提取的全局特征實施深層編碼獲得更具判別性的特征表達;通過集成一個額外的分割分支的方法可以在雜亂場景中抓取特定的目標[14-16]，方法實用，但計算負載大、魯棒性和泛化能力弱。為此，針對多類物體平鋪場景下的按類抓取任務，本文在GraspNet的基礎上，采用基于分支結構和特征融合的思想[17-18]，提出了兩種類別導向的抓取網絡 MC-GSNet（Multi-class GraspNet）和 MT-GSNet（Multi-taskGraspNet），在物體點云數據上直接挖掘并學習點云類別特征，能夠利用類別語義信息引導抓取，提高了各類物體在不同的抓取位姿檢測精度和對下游類別導向任務的適應性。

1 面向平鋪場景的類別引導抓取優化方法

1.1 GraspNet網絡架構

端到端抓取姿態檢測網絡GraspNet的架構如圖1，PointNet + 十骨干網絡提取由 N 個點坐標組成的點云場景的幾何特征得到 M 個 C 維特征的點；經逼近網絡預測對應點的 V 個接近向量，輸出結果的含義如圖2。抓取操作網絡根據對應點的接近向量預測出平面內旋轉 R 、接近距離 d 、夾爪寬度和抓W取置信度 ，如圖3，輸出一個 K×R×3 的矩陣；容差網絡通過學習每個抓取姿態的擾動容忍度，輸出一個 K×R×1 的矩陣，模擬人類選擇容忍誤差較大的抓取姿態的行為。

GraspNet通過端到端的抓取位姿預測可以獲得較好的泛化性和魯棒性，但未充分結合場景中物體的類別語義信息，難以針對不同類別物體生成差異化的抓取策略。主要存在以下局限性：（1）未顯式引人物體類別標簽或語義特征，網絡僅依賴點云幾何特征進行抓取位姿預測。（2）GraspNet通過統一候選抓取點生成機制輸出的抓取位姿未按類別區分，無法滿足不同物體對抓取策略的差異化需求，導致部分抓取位姿在任務優先級上可能存在沖突。（3）GraspNet缺乏類別感知能力，僅依賴全局抓取置信度排序候選位姿，無法滿足按類別動態調整抓取順序的要求。GraspNet框架在復雜平鋪場景中以任務導向抓取的核心問題在于未能建立物體類別語義與抓取姿態之間的聯系。

1.2 類別語義與接近向量的聯合優化

在PointNet++主干網絡[19]上增加一個類別感知分支構建了雙分支聯合優化抓取框架MC-GSNet（Multi-classGraspNet）網絡結構如圖4。點編解碼器提取點云的 c 維全局幾何特征，類別感知全連接層將將預訓練的 K 類物體類別標簽映射為 K+1 維語義嵌入向量。幾何特征 F_geo 與語義嵌入向量 F_class 拼接生成增強特征向量 F_enhanced ，包含了點云坐標信息、語義嵌入向量和幾何特征，從而在逼近網絡中引入類別先驗約束。具體而言，幾何特征（維度1024）與語義嵌入向量（維度89）拼接生成維度為1113的增強特征向量。

在逼近網絡中，基于增強特征預測接近向量時，顯式考慮了物體類別信息。對每個候選抓取點，網絡預測其屬于各物體類別的概率分布 p_c∈R^K ，并通過類別概率加權調整接近向量的角度預測。例如對需要垂直抓取邊緣的類別（如杯子、碗），其對應的接近向量在垂直方向的置信度會被顯著強化。類別引導的接近向量預測機制能夠有效提升抓取位姿的類別適應性。優化目標包含幾何抓取損失和類別語義損失，幾何抓取損失 L_geo 沿用ApproachNet的角度差異損失，剔除了二元交叉熵損失，表示為

其中， N_reg 為點云的個數； v_ij?v_ij^* 分別為預測的逼近向量與標簽； 表示預測的逼近向量與對應的標簽之間的角度差異；1表示指示函數； s_ij，s_ij^* 分別表示預測的抓取置信度與其標簽； 表示回歸損失。

類別語義損失 采用帶溫度系數的交叉熵函數[20]，即

其中， N 為點云的個數； K 分類數； τ 為溫度系數，用于平衡類別分布平滑性的超參數； y_i，c 表示第 i 個點的類別為 c ； ?_i，c 與 p_i，k 分別表示第 i 個點預測為 Ψ_c 類和 k 類的概率。

兩類損失加權融合得到聯合損失函數，充分學習類別語義信息優化幾何抓取。聯合損失函數為

其中， λ₁，λ₂ 分別為逼近網絡損失函數與類別語義損失函數的權重，通過網格搜索[21]確定。

1.3點云分割與GraspNet的多任務學習

采用PointNet+十分割網絡[19]構建了端到端的多任務學習框架MT-GSNet（Multi-taskGraspNet），實現了點云語義分割與抓取位姿預測的同步進行，網絡架構如圖5。點編解碼器提取點云的 c 維全局幾何特征。點編碼器提取點云的全局特征，通過跳躍連接與上采樣再經過分割網絡的插值操作恢復點云分辨率，預測每個點的語義標簽 ，篩選出M 個候選點，采用交叉熵損失函數表達語義分割損失 L_seg 為。

其中， N 為點云的個數； K 為分類數； 分別為真實分割標簽和其預測。

分割任務要求網絡關注物體的語義邊界，抓取任務需要提取局部幾何特征，兩者目標差異導致特征學習時產生沖突。為避免多任務間的特征沖突，在訓練階段設計了動態門控模塊（Dynamic Gating Module，DGM），根據分割任務的置信度自適應調整抓取網絡的特征權重[22]。根據語義特征 的置信度在梯度優化階段自適應調整GraspNet中如 c 維幾何特征等參數的權重。通過動態任務權重分配機制，確保分割任務與抓取任務在訓練過程中能夠協同優化，避免某一任務主導訓練過程，數學描述為

F_fused=F_GraspNet?σ（F_seg）

其中， σ 為Sigmoid 函數； ? 表示逐元素相乘。

2 實驗及評估

2.1GraspNet-1Billion數據集及評價指標

數據集包含97 280張RGB-D圖像，在190個復雜場景下用RealSence和 Kinect相機拍攝，包含 88類物體，每個場景都密集注釋了物體的6－D位姿和抓取姿態，共有超過10億個抓取位姿。通過式（6）對RGB-D圖像進行數據處理為點云的形式參與網絡的訓練，得到像素坐標 （x，y） 點的深度值 為

其中， （X，Y，Z） 表示點云坐標； f_x，f_y 為相機的焦距； c_x，c_y 為圖像中心值。

評估指標采用Precision @k 作為預測的抓取位姿排名前 k=50 個的準確性，即

采用 AP_μ 為給定摩擦系數 μ 下的平均準確率，即

mAP表示在 Δμ=0.2 時 AP_μ 的平均值。此外，采用整體準確率（Overrall Accuracy，oAcc）評價 MC-GSNet的類別感知分支的類別感知能力，采用平均交并比（Mean Intersection over Union，MIoU）和oAcc評估MT-GSNet的分割任務性能。

2.2訓練細節及性能對比

實驗平臺是Ubuntu20.04，CPU為 Intel Corei5-12400F，16 GB RAM，GPU為 NVIDIA GTX1070Ti8G 。網絡由PyTorch實現，參數配置為 M=1 024，V=300，C=256，K=88， 的長度為88，旋轉角度分為12組，接近距離分為[1，2，3，4]4組，主干網絡有4個點集抽象層，半徑為[4，10，20，30] cm ，分組大小為[64，32，16，16]，分別對點云下采樣，采樣大小為 [2048，1024，512，256] ，GraspNet中的逼近網絡、抓取操作網絡和容差網絡分別由大小為（256，389，389）、（128，128，36）和（128，64，12）的MLP組成。合理選擇溫度值可調節輸出分布，提升模型在復雜場景下的魯棒性和泛化性。結合調參經驗與抓取任務的泛化性需求，設定 τ=3 。訓練集為100個場景，測試集90個場景分為有見過的物體（Seen）、未見過但相似的物體（Similar）和新物體（Novel）的場景各30個。訓練過程中從每個場景中隨機抽取2萬個點，采用Adam優化器進行訓練，初始學習率為0.001，批大小為1，50次后學習率下降到0.0001，80次后學習率下降到0.000 01。

不同網絡在GraspNet-1Billion數據集上的抓取檢測性能對比如表1。實驗數據表明，MC-GSNet、MT-GSNet算法的抓取檢測性能均顯著高于原始網絡，平均抓取精度分別提升了 32.6% 和 43.9% ，表明增加的類別特征或語義特征能改進基礎抓取檢測性能。分割網絡提取場景中物體的類別語義和分割語義，所以，MT-GSNet能更好的引導網絡抓取未見過的物體， AP_Novel 指標提升了 48.9% ，性能表現更優。

MT-GSNet的點云分割的可視化見圖6。在三維距離信息的基礎上，區分物體與桌面背景；利用分割的類別語義特征識別物體，提升在未見物體上的抓取性能。表1實驗結果表明，2024年提出的FlexLoG集成了場景熱力圖與2D目標檢測框的引導[23]，檢測性能更高，但MC-GSNet和MT-GSNet算法的計算效率更高，其中MC-GSNet的計算效率達最優達到31幀/s。

為避免MC-GSNet網絡的語義信息與幾何特征的干擾，通過消融實驗驗證不同融合策略的效果，消融實驗結果如表2。由表2可以看出，MC-GSNet算法的直接拼接在引人類別信息的同時保留了原始幾何特征的判別性;將幾何特征與類別語義嵌人向量加權融合因參數敏感性下降，影響了幾何特征，導致抓取性能下降，且加權融合使得計算復雜度升高，導致模型的計算效率下降。MC-GSNet 的分類性能和MT-GSNet的分割性能及點分類準確率見表3，不同網絡基于GraspNet-1Billion數據集的類別/目標導向抓取的性能見表4。

實驗數據表明，MC-GSNet、MT-GSNet 兩者有良好的分類/分割能力，且類別導向抓取能力相比Grasp-Net有顯著提升。MC-GSNet由于只融合了類別標簽，相比于MT-GSNet融合類別語義與分割特征，其提升幅度較小，特別是對未見過的物體類別導向能力不強。目前類別導向抓取能力最強的TOGNet是通過多模態人類引導實現的目標導向抓取檢測[25]。按照場景中有 Seen、Similar和 Novel物體，選取了3個場景的抓取位姿預測作為可視化展示，如圖7。在 Seen場景中預測非常成功且穩定，但在 Similar和Novel場景中有概率出現預測不出物體的抓取位姿，說明兩個模型對已知類別的物體有較強的感知能力，能夠穩定地引導按類別抓取，對未見過的物體識別能力還有待提升。

MC-GSNet

MT-GSNet

2.3 仿真實驗

為了驗證提出的算法的抓取能力和類別導向的能力，基于機器人操作系統（RobotOperating System，ROS）配置了仿真實驗環境，如圖8。兩個平鋪場景A、B中無遮擋的放置了6類物體，在兩個場景下分別用MC-GSNet 和 MT-GSNet 生成抓取位姿，驗證算法的性能。采用抓取成功率（Grasp Success Rate，GSR）和平均路徑規劃時間（Mean Path Planning Time，MPPT）來評價算法在仿真環境中的性能，為避免偶然性影響，每個場景進行10 次獨立實驗GSR 計算公式如式（9）。

其中， N_s 為成功次數。路徑規劃時間的測量范圍從算法輸出抓取位姿后開始計時，生成無碰撞軌跡并返回執行結果為止。

10次獨立實驗的結果如表5，性能對比如表6。

實驗數據表明，MT-GSNet的抓取成功率達到 95.0% ，高于MC-GSNet的 88.3% ，MT-GS-Net的平均路徑規劃時間較MC-GSNet縮短21.7% ；場景B中由于碗是倒扣狀態，其尺寸超出了夾爪的最大寬度，導致出現無法成功抓取，說明抓取性能受尺寸特性的影響；兩個場景中，由于剪刀的厚度問題，夾爪末端路徑規劃誤差增大，導致抓取成功率偏低，但總體上兩個算法對日常生活中的常見物體能夠實現穩健的抓取。兩種算法對場景A、B的抓取位姿識別如圖9，抓取動作示意如圖10。

3結論

針對平鋪場景下類別導向抓取姿態預測的任務，本文提出了基于GraspNet抓取框架的MC-GSNet與MT-GSNet算法，通過顯式引人類別信息與多任務協同優化，提升了多類別平鋪場景下的抓取性能。MC-GSNet基于類別概率加權機制優化抓取位姿生成邏輯，MT-GSNet通過語義分割與動態門控單元增強特征融合能力。實驗驗證了兩算法在已知類別物體上的有效性，對相似或新類別物體的抓取存在局限性，MC-GSNet適合計算資源受限且類別已知的場景，MT-GSNet適用于需高精度與強泛化能力的復雜場景。仿真結果表明，在平鋪場景中MC-GSNet與MT-GSNet算法表現良好，驗證了其有效性和實際部署的可行性。下一步的研究將通過探索多模態信息，增強對新物體的泛化能力，優化多類別物體有遮擋情況的場景下的任務導向抓取的能力。

參考文獻

[1]MOHAMMED MQ，CHUNG K L，CHYI C S. Review deep reinforcement learning-based object grasping：Techniques，open challenges， recommendations[J]. IEEE Access，2020，8：178450-178481.

[2]PRATTICHIZZO D，TRINKLE JC. Grasping [M]. Springer hbook robotics.Berlin： Springer， 2008.

[3]JIA P，LIWL，WANG G，et al. Optimal grasp planning foradexterous robotic h using the volume a generalized force ellipsoid duringaccepted flattning[J].International JournalAdvancedRobotic Systems，20l7，14（1）：87134.

[4]CHEN L，HUANGP，LIY，etal.Edge-dependent eficient grasprectangle search inrobotic graspdetectionJ].IEEE/ ASME Transactions on Mechatronics，2021，26（6）：2922-2931.

[5]DEPIERRE A， DELLANDReA E，CHEN L. Scoring graspability based on grasp regresson for better grasp prediction [C」//IEEE International Conference on Robotics Automation. Xian： IEEE，2021： 437o -4376.

[6]ZHU X P，WANG D，BIZA O，et al. Sample eficient grasp learning using equivariant models[C]/Conference on Robotics Science Systems. New York：Robotics-Science Systems，2022.

[7]王君嬋，洪俐，朱少龍，等．基于深度學習的病害識別方法研究[J]．農業展望，2023，19（8）：90－99.

[8] 張超，張海峰，張宇，等．深度學習在土壤監測中的應用及展望[J]．農業展望，2023，19（12）：81－86.

[9]FANG HS，WANG C，GOU M，et al. Graspnet-1billon：A large-scale benchmark for general object grasping[C]// IEEE/CVF Conference on Computer Vision Pattern Recognition.Seattle： IEEE，2020：11441-11450.

[10]CHEN S，TANG W，XIEP，et al. Eficient heatmap-guided 6-d grasp detection in cluttered scenes[J].IEEE Robotics Automation Letters，2023，8（8）：4895-4902.

[11]ZHAO B， ZHANG H，LAN X，et al. Regnet：Region-based grasp network for end-to-end grasp detection in point clouds[C]/IEEE International Conference on Robotics Automation. Xian： IEEE，2021： 13474-13480.

[12]WANGC，FANG H S，GOU M，et al. Graspnessdiscovery in cluters for fast accurate grasp detection[C]// IEEE/CVF International Conference on Computer Vision. Montreal： IEEE，2021： 15944-15953.

[13]LIU Z X，CHEN Z B，XIE SJ，et al. Transgrasp：A multi-scale hierarchical point transformer for7-d graspdetection[C]//International Conference on Robotics Automation. Philadelphia： IEEE，2O22：1533 -1539.

[14]LIU X， ZHANG Y，CAO H，et al. Joint segmentation grasp pose detection with multi-modal feature fusion network[C]//IEEE International Conference on Robotics Automation. London： IEEE，2023：1751-1756.

[15]LIU Z， WANG Z，HUANG S，et al. Ge-grasp：Eficient target-oriented grasping in dense cluter[C]// IEEE/RSJ International Conference on Intelligent Robots Systems.Kyoto：IEEE，2022：1388-1395.

[16]SUNDERMEYER M， MOUSAVIAN A， TRIEBEL R，et al. Contact-graspnet：Eficient 6-d grasp generation in cluttered scenes[C]/IEEE International Conference on Robotics Automation. Xian： IEEE，2021： 13438 -13444.

[17］張靖賢，楊杰，周萌萌，等．基于分支混合注意力機制的布局估計模型[J]．青島大學學報（自然科學版），2024，37 （3）：68-75.

[18］郭傳磊，楊杰，周萌萌，等．基于多粒度特征網絡的無監督換裝行人重識別算法[J]．青島大學學報（自然科學版）， 2024，37（3）：60-67，75.

[19]QI CR，YIL，SU H，et al. Pointnet ⁺⁺ ： Deep hierarchical feature learning on point sets in a metric space [C]// The 31st International Conference on Neural Information Processng Systems.Long Beach：Curran Associates Inc.，2017： 5105-5114.

[20]WANG F，LIU H. Understing the behaviour contrastive lossC]/IEEE/CVF Conference on Computer Vision Pattern Recognition. Nashville： IEEE，2021： 2495-2504.

[21]劉小生，章治邦．基于改進網格搜索法的 svm參數優化[J]．江西理工大學學報，2019，40（1）：5－9.

[22］孫海峰，穆正陽，戚琦，等．基于動態門控特征融合的輕量深度補全算法[J]．軟件學報，2023，34（4）：1765－1778.

[23]XIE P，CHEN S，TANG W，et al. Rethinking 6-d grasp detection：A flexible framework for high-quality grasping [DB/OL]. [2025-02-16]. https：//arxiv.org/abs/2403.15054.

[24]MA HX，HUANG D. Towards scale balanced 6-d grasp detection in cluttered scenes[C]/th Conference on robot learning.Atlanta：IEEE，2022，205：2004-2013.

[25]XIE P，CHEN S，HUD，et al. Target-orientedobject grasping via multimodal human guidance[DB/OL].[2025-02- 16].https：//arxiv.org/abs/2408.11138