基于多尺度特征融合的抓取位姿估計

肖賢鵬，胡 莉，張 靜，2，李樹春，張 華

1.西南科技大學 信息工程學院，四川 綿陽 621010 2.中國科學技術大學 信息科學技術學院，合肥 230026

盡管機器人對操作物體相對容易，但對任意物體的可靠抓取[1-3]仍然是機器人面臨的一個難題。這一問題的解決將推動機器人技術在工業(yè)領域的應用，比如零件裝配、裝箱和分類[4-5]。同樣，它也將推動輔助機器人領域的發(fā)展，即機器人與周圍環(huán)境進行交互，以滿足人類的需求。機器人抓取包括感知、計劃和控制[6-7]。作為一個起點，知道抓取哪個對象以及如何做是必要的研究方向。因此，對目標物體的機器人抓取候選對象進行準確多樣的檢測，將有助于實現(xiàn)更好的抓取路徑規(guī)劃[8]，提高基于抓取操作任務的整體性能。

目前，隨著深度學習在各種任務中的廣泛應用，基于深度學習的抓取位姿估計也取得了一定的研究成果。Redmon等人[9]提出一種基于卷積神經網(wǎng)絡的機器人抓取檢測的精確、實時方法，對可抓取邊界框執(zhí)行單階段回歸，而不使用標準滑動窗口或區(qū)域建議技術，通過使用一個局部受限的預測機制來預測每個對象的多個抓取候選；Kumra等人[10]提出利用場景RGB-D圖像預測平行板機器人抓取未知物體的最佳抓取位姿，該模型使用深度卷積神經網(wǎng)絡從場景中提取特征，然后使用淺層卷積神經網(wǎng)絡預測目標的抓取候選；Guo等人[11]提出了一種融合視覺和觸覺感知的融合深度體系結構，用于機器人抓取檢測，該模型使用觸覺數(shù)據(jù)輔助網(wǎng)絡更好地完成學習機器人抓取檢測任務的視覺特征；Chu等人[12]提出一種兩階段的深度學習架構來預測機器人的可抓取位置，將學習問題定義為零假設競爭分類問題而不是回歸問題進行預測。上述提到的深度網(wǎng)絡從不同方面解決抓取中的定位問題，但都使用單個高層特征圖進行回歸，使用的特征較少，會降低檢測準確率，基于此引入多尺度特征[13]來預測抓取候選，并將抓取網(wǎng)絡中的ROI Pooling替換為ROI Align來消除量化誤差。

1 抓取位姿

抓取位姿[14]采用五維抓取矩形框表示，描述了平行板夾持器在抓取物體之前的位置、姿態(tài)和打開距離。如圖1所示，紅線表示平行板夾持器，(x,y)表示夾持器的中心點坐標，θ表示夾持器相對于水平方向的角度，w表示夾持器的開口距離，h為夾持器寬度。

圖1 五維抓取框表示Fig.1 Five-dimensional grasp box representation

2 抓取網(wǎng)絡介紹

為引入更豐富的特征表示，學習更多的結構線索，本文采用ResNet-50作為主干網(wǎng)絡，設計一個更深層次的網(wǎng)絡模型，以改進機器人抓取檢測的特征提取。ResNet設計的殘差網(wǎng)絡解決了網(wǎng)絡加深所造成的梯度爆炸和梯度消失的問題。殘差網(wǎng)絡[15]由跳躍連接和標準卷積神經網(wǎng)絡組成，該設計允許網(wǎng)絡繞過輸入，并激勵卷積層作為殘差網(wǎng)絡的最終映射函數(shù)，以此來預測殘差。

抓取網(wǎng)絡具體結構如圖2所示，該網(wǎng)絡以RGD圖像作為輸入，并為圖像中的抓取對象預測具有方向和矩形邊框的多個抓取候選。其中藍色塊表示網(wǎng)絡層，灰色塊表示特征圖，抓取建議網(wǎng)絡（grasp proposal network，GPN）預測的輸出邊框中，黑線表示兩指夾持器的開口長度，紅線表示夾持器的平行板。

圖2 抓取網(wǎng)絡結構圖Fig.2 Grasp network structure diagram

2.1 特征金字塔網(wǎng)絡

抓取檢測中，由于小目標本身具有的像素信息較少，容易在下采樣過程中丟失特征，若直接利用單個高層特征進行邊框回歸和角度分類，會降低檢測準確率。為提升檢測效果，引入特征金字塔網(wǎng)絡（feature pyramid networks，F(xiàn)PN）進行多尺度融合，處理檢測過程中的尺度變化問題，提高小目標檢測的魯棒性。

如圖3所示，左側為ResNet特征提取網(wǎng)絡，選取該網(wǎng)絡的2~4卷積層的最后一個殘差塊特征作為FPN的特征，從高層特征上采樣實現(xiàn)特征融合，這樣既可以利用頂層的高語義信息，又可以利用底層的高分辨率信息。為了使所有級別的特征層通道數(shù)保持一致，先使用1×1卷積壓縮通道數(shù)，再與2倍上采樣后的上層特征圖相加。

圖3 FPN結構圖Fig.3 FPN structure chart

2.2 抓取建議網(wǎng)絡

作為抓取網(wǎng)絡的重要組成部分，抓取建議網(wǎng)絡（GPN）主要在整個圖像中生成抓取建議。和區(qū)域建議網(wǎng)絡（region proposal network，RPN）類似，抓取建議網(wǎng)絡在特征圖上滑動一個3×3的卷積核，使用卷積網(wǎng)絡構建與類別無關的候選區(qū)域。由于每個真實框具有不同的角度，為降低其在生成抓取建議時的難度，將每個有方向的邊框重置為具有垂直高度和水平寬度的矩形，如圖4所示，底部為真實框，頂部為重置后的邊框。

圖4 抓取邊框Fig.4 Grasp frame

GPN對網(wǎng)絡預測的邊框進行調整，利用變換參數(shù)得到和真實框更為接近的候選框，平移參數(shù)t x、t y和伸縮參數(shù)t w、t h具體表示如下：

式中，G、P、G*分別表示真實框、預測框和候選框，x、y表示邊框中心點坐標，w、h表示寬高。

用t i表示第i個抓取邊框的四維向量(x,y,w,h),p i表示對應邊框的預測概率，對于所有抓取建議，定義其損失為：

其中，Lgp_cls為抓取建議分類的交叉熵損失，Lgp_reg為抓取建議的L1回歸損失，Ncls和Nreg是歸一化因子，λ1是兩者之間的權重。

2.3 ROI Align

在常見的檢測網(wǎng)絡中，ROI Pooling的作用是使生成的候選框映射為固定尺寸的特征圖。這一操作存在兩次將浮點數(shù)量化為整數(shù)的過程，分別發(fā)生在對ROI坐標和對ROI劃分為等大子區(qū)域上的量化，導致最后的邊框定位存在一定的偏差。因此，本文采用RoI Align來進行區(qū)域特征映射。ROI Align取消了量化操作，對于量化中產生的坐標為浮點數(shù)的像素，采用了雙線性內插的方法來獲取像素值，從而將感興趣區(qū)域歸一化的過程轉化為一個連續(xù)的操作，解決了ROI Pooling操作中兩次量化造成的區(qū)域不匹配的問題。

2.4 抓取檢測

如果將RGB-D輸入圖像回歸到一個單一的5維抓取表示g={x,y,w,h,θ}，在預測非歐幾里德（非凸）空間中的坐標時會導致其回歸和標準L2損失表現(xiàn)不佳。基于此，將抓取表示的方向坐標θ量化為18個等長間隔，并將輸入/輸出映射為抓取方向的分類任務。并添加了一個非抓取收集定向類，用于使用零假設進行顯式競爭。如果所有方位分類器輸出的得分均低于非抓取類，則認為抓取建議不正確并拒絕。

用ρl表示經過Softmax層后得到l類的概率，βl表示對應的預測抓取框，則抓取框損失函數(shù)定義為：

其中，Lgrc_cls是抓取建議分類的交叉熵損失，Lgrc_reg是抓取框的L1回歸損失，λ2是回歸損失的權重，β*是真實抓取框。整個網(wǎng)絡總的損失函數(shù)為：

為了有效處理抓取建議方案，將ROI Align層集成到網(wǎng)絡中，這樣可以避免在感興趣區(qū)域內重新計算特征。ROI Align將抓取建議的所有特征疊加在一起，然后將這些特征反饋給兩個全連接層進行邊界框回歸和方向參數(shù)分類。

3 模型訓練及實驗結果分析

3.1 數(shù)據(jù)集及預處理

本文使用康奈爾抓取數(shù)據(jù)集，該數(shù)據(jù)集是最常用的抓取檢測數(shù)據(jù)集，由224個不同對象共885張圖像組成，每個物體在不同方向或姿勢上拍攝了若干幅圖像。

為適應ResNet-50網(wǎng)絡的輸入格式，用深度通道替換原圖中的藍色通道，深度圖由數(shù)據(jù)集中的點云數(shù)據(jù)進行歐式距離變換并進行深度圖修補得到。由于RGB數(shù)據(jù)在0~255之間，深度信息被歸一化到相同的范圍。同時，在訓練之前對數(shù)據(jù)進行擴充。首先，對圖像進行中央裁剪，得到一個351×351的區(qū)域，然后將裁剪后的圖像在0到360°之間隨機旋轉，中間裁剪為321×321。旋轉后的圖像在x和y方向上隨機平移最多50個像素。預處理為每張圖像生成1 000個增強數(shù)據(jù)。最后，將圖像大小調整為227×227，送入網(wǎng)絡進行訓練。

3.2 訓練

對整個網(wǎng)絡進行端到端的訓練，計算機采用Precision T7610工作站，E5-2600 V2處理器，32 GB內存，單nVidia Titan-XP卡。操作系統(tǒng)為Ubuntu16，在Tensorflow-GPU1.14、cuda-9.0、cudnn7.1下進行訓練，epochs和初始學習率分別設置為5和0.000 1，每10 000次迭代將學習率除以10。

3.3 評價標準

抓取參數(shù)[9-12]的精度根據(jù)預測框和真實框的接近度進行評估，具體指標如下：

（1）預測抓取框gp和真實框gt的夾角在30°以內；

（2）預測抓取框和真實抓取框的Jaccard指數(shù)大于0.25。

Jaccard指數(shù)如式（5）所示：

3.4 訓練結果及分析

為驗證網(wǎng)絡中各模塊的表現(xiàn)力，設計三組不同網(wǎng)絡結構進行訓練，并對訓練好的網(wǎng)絡模型進行測試，選擇所有抓取候選輸出中預測得分最高的邊框作為最終輸出。對實驗結果的計算使用五折交叉驗證集，將數(shù)據(jù)集劃分為5份，選取1份作為測試集，剩下4份用來訓練。分別逐圖像和物體兩種方法進行拆分。逐圖像拆分即把所有數(shù)據(jù)隨機劃分，可以驗證模型的泛化能力；逐物體拆分即把所有圖像中相同的物體分到相同的交叉驗證集中，可以測試網(wǎng)絡對新物體的泛化能力。測試結果如表1所示。

表1 不同網(wǎng)絡模型抓取檢測結果Table 1 Grasp detection results of different network models

由表1可以看出，在網(wǎng)絡結構中增加FPN結構，兩種測試精度分別提升0.5個百分點和0.6個百分點，將原結構中的ROI Pooling替換為ROI Align，檢測精度分別提升0.4個百分點和0.5個百分點，說明FPN和ROI Align可以提高網(wǎng)絡的檢測精度。

真實場景下，可行的抓取操作一般與物體自身的形狀和放置角度有關，僅給出一個抓取候選框可能完成不了抓取操作。因此，網(wǎng)絡輸出多個高置信度的候選抓取，以供后續(xù)計劃選擇。圖5為網(wǎng)絡輸出的檢測結果，其中圖（a）為不同測試對象輸出多個候選抓取框的檢測結果，圖（b）為輸出最高置信度候選框的檢測結果，圖（c）為同一個抓取對象不同角度放置的檢測結果。

圖5 抓取網(wǎng)絡檢測結果Fig.5 Grasp network detection results

表2為康奈爾RGB-D抓取數(shù)據(jù)集的矩形抓取檢測精度與之前工作的比較結果，所有實驗均在相同數(shù)據(jù)集和相同評價指標下完成，可以看到本文算法在以RGD圖像作為輸入時，預測精度均高于其他算法。逐圖像拆分時檢測精度為96.9%，逐對象拆分時，對新目標的檢測精度達到了97.2%。此外，在沒有深度信息的RGB圖像上進行實驗，圖像和對象拆分的檢測結果都低于RGD圖像，說明了深度圖像在檢測中的有效性。

表2 不同算法抓取檢測結果Table 2 Grasp detection results of different algorithms

比較表2的指標參數(shù)發(fā)現(xiàn)，本文算法為達到較高的抓取檢測精度，采用的抓取網(wǎng)絡結構相對復雜，計算速率比表中Kumra等人所提出單結構網(wǎng)絡有所下降。但本文算法檢測一幅圖像耗時約0.098 s，可滿足在真實場景下進行實時檢測和抓取操作的應用要求。

表3為檢測模型中不同Jaccard指數(shù)下的結果。隨著Jaccard指數(shù)的升高，抓取檢測的精度會逐漸下降，但即使在0.40 IOU的情況下，檢測精度仍具有競爭力。

表3 不同Jaccard指數(shù)下檢測準確率Table 3 Detection accuracy under different Jaccard indexes

4 抓取實驗與分析

4.1 硬件系統(tǒng)

為評估真實場景下視覺檢測和隨后執(zhí)行的抓取運動的性能，搭建了實物實驗抓取系統(tǒng)，如圖6所示。該系統(tǒng)主要由UR5機械臂、工作臺和Inter Realsense D415深度相機三部分組成，其中深度相機被固定在剛性支架上，與機械臂形成Eye-to-Hand手眼結構，并進行手眼標定，完成相機坐標系和機械臂末端坐標系的轉換工作。

4.2 實驗設計

為了較全面地評估系統(tǒng)性能，實際抓取操作抽樣得到以下12種實驗對象。如圖7所示，將實驗對象分為手動工具和生活用品兩組，每組6種實驗對象，手動工具組有鉗子、活動扳手、扳手、卷尺和大小螺絲刀，生活用品有美工刀、紙盒、紙杯、鼠標、網(wǎng)球和瓶子。

圖8為目標抓取流程圖。首先深度相機獲取工作臺上物體的彩色信息和深度信息，將深度信息進行深度圖修復后和彩色圖融合得到目標對象的RGD圖；然后將圖像以中心點為中點裁剪為227×227的圖像輸入網(wǎng)絡模型進行抓取框預測，得到多個預測框；最后通過手眼轉換矩陣將相機坐標系下的預測框信息轉換到機械臂末端工具坐標系執(zhí)行抓取。

4.3 實驗分析

實物實驗時，將每個物體按不同角度不同方向放置在工作臺上進行視覺檢測和實物抓取，每個物體進行50次實驗，視覺檢測以物體是否被預測出抓取框為檢測標準，抓取檢測以實際抓取成功與否作為評價指標。圖9為不同物體的檢測結果，其中圖（a）展示了抓取對象中較為典型的幾個物體的檢測結果，這幾個對象具有厚度小、形狀小、不規(guī)則的特征；圖（b）展示了同一對象在不同方向下的檢測結果。

圖9 實物檢測結果Fig.9 Physical test results

為了從多個候選框中選取具有代表性的抓取框進行一次性實物抓取，對一次視覺檢測中所有抓取框分別做置信度排序和距離中心點距離排序，選擇最高置信度和最靠近中心點的兩個框分別做抓取檢測，檢測結果如表4所示。

表4 實物抓取結果Table 4 Object grasp results %

從表中可以看出，實物抓取實驗中物體平均檢測精度為95.8%，最高置信度和靠近中心點的平均抓取精度分別為88.3%和90.2%，且中心點抓取比最高置信度抓取平均精度高1.9個百分點，除鉗子外的其他物體中心點抓取精度均高于最高置信度抓取。這是因為鉗子的手柄開合度會隨機變化，對抓取位姿的估計帶來了較大的干擾。

為進一步分析表4中不同目標檢測成功率、抓取成功率與目標特性之間的關系，繪制了圖10所示的物體檢測-抓取成功率折線圖。從圖中可以清晰看到：（1）目標檢測精度方面，紙盒、紙杯、鼠標、瓶子這幾種物體的檢測精度明顯優(yōu)于螺絲刀和扳手，原因是同樣距離成像時，前者外形尺寸大，圖像中有效像素占比高（扳手和螺絲刀因金屬鏡面反光，導致有效像素降低）；（2）在抓取精度上，紙盒、紙杯、鼠標、瓶子、卷尺這幾種物體的抓取精度明顯優(yōu)于扳手、美工刀、鉗子，前者相比后者，物體形態(tài)固定，且由于目標物體外形對稱性較強，外觀較為規(guī)則，擺放姿態(tài)有限，抓取成功率高。

圖10 物體檢測-抓取成功率折線圖Fig.10 Line graph of object detection-grasp success rate

5 結束語

本文針對機器人抓取成功率優(yōu)化問題，提出一種融合多尺度特征的抓取位姿估計方法，以改善抓取目標多樣性、位姿隨機性對機器人抓取任務適應性的不利影響。實驗結果表明，與當前主流算法相比，本文所提算法目標檢測準確率有明顯提升，在基于康奈爾抓取數(shù)據(jù)集開展的抓取位姿估計實驗中，仿真抓取位姿估計準確度達到了96.9%；實物抓取實驗中抓取目標檢測成功率達95.8%，機器人抓取成功率為90.2%，抓取成功率得到明顯改善。在接下來的工作中，將圍繞如何提高檢測準確率和抓取成功率繼續(xù)展開具體研究。