基于深度學習的目標識別與抓取研究*

申光鵬 苗鴻賓② 余 浪 蘇赫朋

（①中北大學機械工程學院，山西 太原 030051；②山西省深孔加工工程技術研究中心，山西 太原 030051）

在當下人工智能技術快速發展以及產業快速增長的時代，機械臂以其自由度高、工作空間大等特性，被廣泛用于特征異構的個性化產品裝配和物流等生產過程中，為生產效率的提高發揮著越來越重要的作用[1]。而機械臂最重要的工作環節就是抓取環節，如貨物分揀、物流分揀、工業生產等任務，因此機器人抓取問題受到了學者的廣泛關注[2]。

當前工業抓取上的許多機械臂大多被應用在點到點之間的操作[3]，在單一的環境下進行簡單的重復性抓取作業。如果作業環境變為較復雜的作業環境，例如抓取對象位置變化、抓取對象狀態變化等，這時就需要重新調整部署機械臂，每一次重新部署都會消耗人力物力[4]。所以如何讓機械臂能自主準確快速地獲得抓取目標物體的位置是一項非常值得研究的問題。隨著深度學習以及視覺檢測的深入發展，研究者發現可以通過深度學習結合視覺技術來解決機械臂的復雜抓取問題。

Lenz I 等[5]首次將深度學習應用到機械臂的抓取研究中，提出了一個具有兩個深度網絡的兩步級聯系統，此方法雖然在Cornell 抓取數據集上獲得了73.9%的抓取準確率，但是速度很慢，處理一張深度圖像的時間在10 s 以上。Mallick A 等[6]通過深度卷積神經網絡進行語義分割實現目標的檢測與抓取，在基于RESNET 的語義分割中，目標被精確地分割出來，并且不存在之前產生冗余的矩形形狀相關誤差，與單目標檢測器算法（YOLO）相比，該算法的檢測精度幾乎提高了一倍。該項工作雖然高效，但是同樣耗費時間。孫先濤等[7]采用通道注意力機制對YOLO-V3 進行算法改進，增強了對圖像特征的提取能力，提高了識別率，同時引入最小面積外接矩形算法，對抓取位姿和角度進行優化，提高了抓取效率，減小了抓取過程中產生的有害扭矩。Anjum M U 等[8]通過建立數學關系來估計目標到機械手坐標系的位置，同時提出一種減少誤差的方法，即捕捉多個圖像并逐漸向目標中心移動，該方法目標定位精度達到 99.785%，誤差減小到2 mm，可以有效地應用于機器人操作機。Morrison D 等[9]提出了一種新穎的方法來執行對象獨立的抓取合成從深度圖像通過深度神經網絡，將雜亂中的整體抓取成功率提高了10%，但是速度明顯下降。

從整體來看，機械臂抓取在工業生產中仍存在由于復雜作業環境、不同零件之間存在干擾等許多問題造成的不確定性以及不穩定性，因此本文提出了一種基于深度學習的目標識別及抓取方法，來減少抓取場景中物體位置的不確定性，提高檢測準確率和抓取成功率。本文抓取系統如圖1 所示。

圖1 抓取系統圖

（1）使用張正友標定法[10]獲取相機參數，之后確定電動夾爪的末端中心，用手眼標定的方式得到相機與機械臂末端夾爪之間的關系，由于實驗平臺是眼在手上（eye-in-hand）的方式，因此還需要獲得標定板與機械臂底座之間的關系，最后得到機械臂與相機之間的坐標轉換關系矩陣。

（2）在圖像處理階段，首先對要輸入的圖像進行預處理，將處理后的數據傳輸到采用CBAM[11]模塊改進的YOLO-V5 目標檢測網絡對目標物體進行檢測。

（3）PC 端與機械臂建立通信，實現目標的識別及抓取動作。

1 目標識別

自從卷積神經網絡（region proposals convolutional neural networks，R-CNN）[12]的概念被提出，由于其在視覺任務上的優秀屬性，基于卷積神經網絡的目標檢測算法開始了快速發展，先后出現了Fast R-CNN[13]、Faster R-CNN[14]、Mask R-CNN[15]等先區域推薦然后識別的兩階段檢測算法以及YOLO系列的直接預測結果輸出的一步目標檢測算法。同時，目標檢測算法與深度學習的結合使得目標識別在準確度和速度方面也有極大的提高。

1.1 YOLO-V5 算法

自Redmon 提出YOLO 算法以來，該算法不斷被優化，其檢測準確度和速度都在不斷上升。

YOLO 有端到端的網絡結構特性，其區別于之前的候選區域推薦和預測結果優化的兩步檢測方法，具有輸入一張圖像直接預測結果的特性，并且最大的特性就是檢測速度較快。2020 年Jocher 提出了YOLO-V5 算法，將CSP1_X 結構應用于Backbone主干網絡，另一種CSP2_X 結構則應用于Neck 中，加強網絡特征融合的能力。圖2 所示為YOLO-V5的網絡結構圖。

圖2 YOLO-V5 結構圖

1.2 算法優化

現在的YOLO-V5 檢測模型已經擁有了很好的檢測精度和檢測速度，但是依然有著改進空間。在目標識別中，如何讓檢測模型更快更好地識別圖像的特征并將之提取出來十分重要。本文在YOLOV5 檢測模型中引入一個輕量級的卷積注意力模塊CBAM，該模塊同時在通道和空間兩個維度上引入了注意力機制，在不顯著增加計算量和參數量的前提下能提升網絡模型的特征提取能力。

由圖3 可知，CBAM 由輸入、通道注意力模塊CAM（channel attention module）、空間注意力模塊SAM（spartial attention module）和輸出組成。

圖3 CBAM 結構圖

圖4 所示為通道注意力機制結構。通道注意力機制結構首先將輸入的特征圖經過兩個并行的平均池化層和最大池化層，將特征圖的高和寬變為1，然后經過Share MLP 模塊，在該模塊中，先壓縮通道數，然后再擴張到原通道數，經過ReLU 激活函數得到兩個激活后的結果。將輸出的兩個結果進行逐元素相加，再經過一個Sigmoid 激活函數特征加權得到輸出結果，最后乘以原圖變回原來的大小。

圖4 通道注意力機制結構

圖5 所示為空間注意力機制結構。空間注意力機制結構首先經過兩個并行的平均池化層和最大池化層突出特征區域，得到兩個1×H×W的特征圖，接下來經過一個卷積層卷積變為1 通道的特征圖，再由Sigmoid 函數歸一化得到新的特征圖，并生成空間注意力矩陣。最后經過加權操作為特征圖增加空間注意力，得到新的特征圖。

圖5 空間注意力機制結構

如圖6 所示，為了更好地加強改進后網絡的特征提取能力，本文將CBAM 模塊加入到原網絡Backbone 部分的C3 網絡結構中，形成了新的C3_CBAM 網絡結構。相較于單純的C3 網絡，添加CBAM 模塊的C3_CBAM 網絡，優點在于引入了注意力機制，可以使網絡加強對圖像的關注能力，提高特征提取能力，從而提升檢測效果。

圖6 網絡結構對比

2 機械臂抓取模型

2.1 五維抓取框

機器人想要準確地抓取目標物體，首要條件就是獲取待抓取物體的位姿信息[7]。現位姿表示方法多以3 自由度以及6 自由度為主，由于本文僅涉及平面工作臺上的目標物體的識別及抓取，因此本文采用Redmon J 等提出的機器人抓取參數表征方法，通過5 個參數來確定抓取框圖[16]，該方法由3 自由度擴展而來，如圖7 所示。

圖7 抓取框圖

五維抓取位姿的函數表示方法如下：

式中：（x,y）為矩形的中心； θ為矩形相對于水平軸的方向；h為高度；w為寬度。

2.2 抓取位姿估計

抓取位姿算法本質是使用主干網絡對于輸入的圖像進行特征提取，然后對目標抓取的{x,y,w,h}信息做回歸預測以及抓取角度做預測[17]。

結合實際情況，本文使用的抓取位姿估計算法是對單個目標進行位姿估計的單層網絡，主體為VGG-16 網絡[18]，有13 個卷積層和3 個全連接層。抓取網絡結構圖如圖8 所示。

圖8 抓取網絡結構圖

3 實驗設計及分析

3.1 目標檢測

本文目標檢測所采用的數據集是基于VOC2012格式的自建數據集進行目標檢測訓練，一共選取了8 個類別，分別為“apple”“box”“screwdriver”“scissors” “pincers ” “stapler ” “hammer”“key”。本文共采集了960 張圖像進行目標識別，其中900 張用于訓練模型，剩余60 張圖像用于測試。圖9 所示為檢測類別圖。

圖9 檢測類別圖

本文目標檢測主要采用的配置為：使用基于Windows 下的Pycharm 編譯軟件進行開發，環境配置主要為Python 3.9，使用Pytorch 深度學習框架，torch 版本為2.0.1+cu118，torchvision 版本為0.15.2+cu118。迭代次數epoch 為300 次。在訓練之后得到訓練權重，利用該權重文件對輸入的圖像進行檢測，得到輸出的預測結果和種類，以及兩個網絡特征圖的對比，如圖10 所示。

圖10 檢測結果圖

經計算得知，相比于改進前，加入CBAM 機制模型的網絡檢測的平均識別精度（mean average precision，mAP）從88.62% 增加到93.88%，提升了5.26%，同時可以清楚地看到集成了CBAM 的網絡對于特征圖的提取相比之前的方法更優秀。

本文提出的算法與Lenz I 等[5]的算法、YOLOV3[7]、YOLO-V3 改[7]、Morrison D 等[9]的算法、YOLO-V5 等5 種算法進行對比，對比指標為平均識別精度和檢測速度，對比結果見表1。

表1 算法對比表

由表1 結果可以得出，本文所提出算法平均精度與文獻[5]的基本持平，但是檢測速度方面領先了約13 s。與其他算法相比，平均精度分別提高了1.55%、1.23%、5.88%、5.26%，同時在速度方面并沒有出現明顯劣勢，表明了本文所改進的檢測模型有著較好的應用前景。

3.2 機械臂抓取實驗

本文所使用的機器人抓取系統主要包括AUBOi5 工業機器人、海康工業相機、PC 端、平行夾爪、KWR75 六軸力傳感器等。系統整體圖如圖11 所示。

圖11 系統整體圖

PC 端連接真實工業機器人和相機，進行圖像處理以及配合機械臂進行抓取工作。在抓取實驗中，機械臂須獲得目標物體的坐標信息，而機械臂是沒辦法直接使用相機獲取到的目標位置信息。想要實現機器人目標的抓取，就必須得到機器人末端坐標系和相機坐標系之間的轉換關系，即手眼標定。

本文實驗平臺的相機裝在機械臂末端，采用eye-in-hand（圖12）的方法進行手眼標定。

圖12 eye-in-hand

由于目標工件放置在二維平面的平臺上，因此選擇更方便的九點標定法，這種手眼標定方法是基于仿射變換的標定方法，實際標定僅需要目標工件相對工業機器人的基坐標系的二維坐標即可，較為方便且適合本文的標定模型。九點標定法通過仿射變換構建相機坐標系和工業機器人末端坐標系之間的坐標轉換關系，其中仿射變換主要包括縮放、旋轉、平移3 種變換方式，原理如下：

式中：u、v為相機像素坐標；x、y為工業機器人末端坐標； β為旋轉角度，Sx、Tx分別為x軸方向的縮放因子和平移系數，對應的Sy、Ty為y軸的相應系數。

對式（2）進行變換可得：

由式（3）可以看出，只需要獲得三組像素坐標和工業機器人末端坐標數據即可得到它們的映射關系，但是考慮到誤差因素的影響，一般選取九組數據完成標定，再用最小二乘法求解各個未知參數以優化提高標定精度。經過標定實驗之后，通過計算得到的機器人坐標和實際機器人坐標之間的誤差在0.1 mm 以內，可以滿足抓取實驗的要求。在完成標定以及坐標系的轉換之后，電腦獲得數據然后對機械臂進行控制，進行對目標物體的抓取。圖13 所示為抓取實驗。

圖13 抓取實驗

抓取實驗在3 種不同的光照環境下進行，來驗證改進后的方法對不同光照環境的適應性。3 種環境下的光通量大約為426 流明、267 流明、96 流明，來驗證改進后的方法對不同光照環境的適應性。抓取場景分別為在沒有雜物干擾和堆疊的情況下，以及在有雜物干擾和堆疊的情況下。本文在兩種抓取場景中分別進行了多次檢測和抓取實驗。

由表2 可明確看出，在進行實際抓取的實驗中，添加了CBAM 模塊的YOLO-V5 檢測模型在抓取平臺上進行抓取實驗時的平均檢測準確率相比較原YOLO-V5 模型抓取實驗的準確率提高了約4.1%。

表2 實驗抓取結果

4 結語

針對機械臂在工業生產中的復雜抓取作業環境，本文提出了基于深度學習的目標檢測及機械臂抓取方法。

（1）經實驗驗證，在加入CBAM 模塊后的YOLO-V5 目標檢測模型，在復雜抓取的作業環境下有更好的檢測效率，相較YOLO-V5 的識別率提高了5.26%。

（2）實驗結果表明，添加了CBAM 模塊的YOLO-V5 檢測模型在抓取平臺上進行抓取實驗時的平均檢測準確率，相較原YOLO-V5 模型抓取實驗的準確率提高了約4.1%。

（3）本文沒有提及具體抓取優化改進及抓取后的裝配問題，后續可在此方面深入研究。