基于深度學(xué)習(xí)的工業(yè)零件識(shí)別與抓取實(shí)時(shí)檢測(cè)算法

呂張成，張建業(yè)，陳哲鑰，劉浩

(1.天津工業(yè)大學(xué)機(jī)械工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué)天津市現(xiàn)代機(jī)電裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室，天津 300387)

0 前言

現(xiàn)在工廠使用的機(jī)械臂多以人工示教為主，控制機(jī)械臂以固定的流程和位置進(jìn)行作業(yè)。這種方式存在累計(jì)誤差，長(zhǎng)時(shí)間使用可能造成機(jī)器人抓取位置發(fā)生偏差。隨著機(jī)器視覺(jué)的發(fā)展，使得機(jī)器人的控制方式發(fā)生了改變。機(jī)器視覺(jué)的原理是將攝像頭采集到的圖像進(jìn)行實(shí)時(shí)處理，將處理結(jié)果作為控制機(jī)器人抓取的依據(jù)，其主要的處理過(guò)程包含：圖像預(yù)處理、目標(biāo)位置檢測(cè)、目標(biāo)空間三維坐標(biāo)計(jì)算和抓取位置標(biāo)定等。

文獻(xiàn)[1-2]中介紹了傳統(tǒng)的視覺(jué)抓取方案，需要人為進(jìn)行特征圖的提取和輸入，受主觀影響較大。傳統(tǒng)的視覺(jué)抓取局限很多，往往只能針對(duì)單一形狀的目標(biāo)進(jìn)行算法設(shè)計(jì)，與生產(chǎn)中多類(lèi)別、形狀多樣的情況不相匹配。同時(shí)，人工提取的特征受外界環(huán)境的影響，外部光照、擺放位置、拍攝角度等原因都會(huì)造成機(jī)器人抓取的失敗。深度學(xué)習(xí)在2006年被HINTON和SALAKHUTDINOV[3]提出之后，基于人為特征提取的圖像處理算法的優(yōu)勢(shì)越來(lái)越小。傳統(tǒng)的圖像處理大部分工作在人工提取目標(biāo)特征的過(guò)程，特征提取的好壞決定了算法的好壞。深度學(xué)習(xí)訓(xùn)練的本質(zhì)就是圖像特征提取的過(guò)程，通過(guò)大量的數(shù)據(jù)進(jìn)行模型學(xué)習(xí)提取特征，大大減小人為特征提取帶來(lái)的影響以及解決特殊場(chǎng)景特征對(duì)比困難的問(wèn)題。文獻(xiàn)[4]針對(duì)RGB-D圖像進(jìn)行處理并提出了一種兩步級(jí)聯(lián)的檢測(cè)系統(tǒng)，獲得了很好的實(shí)驗(yàn)效果。文獻(xiàn)[5]介紹了一種基于點(diǎn)云的位姿估算法，在3D神經(jīng)網(wǎng)絡(luò)PointNet中進(jìn)行位置估算，但是實(shí)際應(yīng)用受到物體遮擋的影響。結(jié)合深度學(xué)習(xí)和機(jī)械臂進(jìn)行分類(lèi)抓取的研究非常具有實(shí)際意義和使用價(jià)值，它可以對(duì)不同種類(lèi)、不同尺寸的物品進(jìn)行準(zhǔn)確的處理。此外，利用機(jī)械臂對(duì)工廠零件進(jìn)行分揀以代替人工作業(yè)，對(duì)于降低工作強(qiáng)度、提高工作效率和增加工作時(shí)長(zhǎng)具有重要的意義。

針對(duì)上述問(wèn)題，本文作者提出一種基于深度學(xué)習(xí)的多目標(biāo)工業(yè)零件抓取位置檢測(cè)算法，在零件分類(lèi)、剔除和篩選方面具有很好的實(shí)用性。在目標(biāo)檢測(cè)模塊使用現(xiàn)有的YOLOv5l深度神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練，提取工業(yè)零件特征。YOLOv5l采用端到端的處理方式，能夠?qū)崿F(xiàn)實(shí)時(shí)處理任務(wù)的目標(biāo)，完成工業(yè)零件目標(biāo)識(shí)別。將YOLOv5l處理好的目標(biāo)識(shí)別結(jié)果傳入改進(jìn)的生成抓取卷積網(wǎng)絡(luò)(GG-CNN)進(jìn)行最佳抓取位置的檢測(cè)。在GG-CNN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)，添加4個(gè)殘差模塊進(jìn)行特征的多次平層提取，提高抓取位置檢測(cè)的準(zhǔn)確性。當(dāng)目標(biāo)被檢測(cè)識(shí)別之后，進(jìn)行最佳抓取位置的識(shí)別，配合使用深度相機(jī)使得系統(tǒng)可以獲取目標(biāo)物體抓取位置的三維坐標(biāo)。最后基于ROS系統(tǒng)搭建ABBIRB120機(jī)器人的抓取實(shí)驗(yàn)平臺(tái)，其中各個(gè)模塊之間通過(guò)ROS節(jié)點(diǎn)進(jìn)行通信，利用ROS Master管理所有的變量和數(shù)據(jù)。

1 目標(biāo)檢測(cè)

YOLOv5算法是CNN卷積網(wǎng)絡(luò)的一種變種，算法本身去除了卷積神經(jīng)網(wǎng)絡(luò)的池化層和全連接層，整個(gè)運(yùn)算過(guò)程采用卷積進(jìn)行計(jì)算。通過(guò)對(duì)每個(gè)階段圖片進(jìn)行分割形成感受野，分階段進(jìn)行大、中、小目標(biāo)檢測(cè)。在算法內(nèi)部形成13像素×13像素、26像素×26像素、52像素×52像素3種不同的預(yù)選框，其中13像素×13像素形成的大感受野進(jìn)行大目標(biāo)的檢測(cè)，26像素×26像素和52像素×52像素分別進(jìn)行中等目標(biāo)和小目標(biāo)進(jìn)行檢測(cè)。YOLOv5還采用One-stage的方式極大地提高算法的精度和識(shí)別速度[6]。

1.1 目標(biāo)檢測(cè)模塊

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)由輸入端、Backbone、Neck、Prediction四部分組成，如圖1所示。輸入端采用Mosaic進(jìn)行數(shù)據(jù)增強(qiáng)，提高對(duì)小目標(biāo)的檢測(cè)能力[7]。運(yùn)用自適應(yīng)錨框計(jì)算和自適應(yīng)圖片播放提高神經(jīng)網(wǎng)絡(luò)的檢測(cè)速度，并對(duì)原始圖片進(jìn)行標(biāo)準(zhǔn)尺寸處理。Backbone部分包含F(xiàn)ocus結(jié)構(gòu)和CSP結(jié)構(gòu)，其中Focus結(jié)構(gòu)主要用于切片操作，通過(guò)3層下采樣卷積的改進(jìn)，不僅速度有所提高而且減少了數(shù)據(jù)信息的丟失。文中選用的YOLOv5l模型經(jīng)過(guò)Focus結(jié)構(gòu)和第一次卷積操作產(chǎn)生的特征圖大小為304像素×304像素×64像素，第二個(gè)卷積操作產(chǎn)生的特征圖大小為152像素×152像素×128像素，第三次卷積操作產(chǎn)生的特征圖大小為76像素×76像素×256像素，第四次卷積操作產(chǎn)生的特征圖大小為38像素×38像素×512像素，第五次卷積操作產(chǎn)生的特征圖大小為19像素×19像素×1 280像素。在YOLOv5中設(shè)計(jì)了2種不同的CSP結(jié)構(gòu)，其中CSP1_X用于Backbone，CSP2_X用于Neck模塊中[8]。CSP結(jié)構(gòu)借鑒了CSPNet的設(shè)計(jì)思路，主要將基礎(chǔ)層的特征映射劃分為兩部分，然后通過(guò)跨階段層次機(jī)構(gòu)合并的方式優(yōu)化梯度信息重復(fù)的問(wèn)題，減少計(jì)算量。為了更好地進(jìn)行特征融合，Neck模塊采用FPN+PAN結(jié)構(gòu)，結(jié)合CSP2結(jié)構(gòu)增強(qiáng)特征融合的效果[9]。輸出端則使用CIOU_Loss作為Bounding box的損失函數(shù)，以及DIOU_nms作為預(yù)測(cè)框的篩選，最終輸出目標(biāo)圖像。系統(tǒng)結(jié)構(gòu)及算法流程如圖2所示。

圖1 YOLOv5算法模型結(jié)構(gòu)Fig.1 YOLOv5 algorithm model structure

圖2 系統(tǒng)結(jié)構(gòu)及算法流程Fig.2 System structure and algorithm flow

1.2 目標(biāo)檢測(cè)模塊損失函數(shù)計(jì)算

在目標(biāo)檢測(cè)部分，采用CIOU_Loss的損失函數(shù)計(jì)算各預(yù)測(cè)框與實(shí)際標(biāo)注框之間的差距，用于模型不斷學(xué)習(xí)和更新權(quán)重[10]。與最初的IOU計(jì)算方法相比，CIOU的計(jì)算考慮到了重疊面積、中心點(diǎn)距離和長(zhǎng)寬比，計(jì)算得到的預(yù)測(cè)框和真實(shí)的標(biāo)注框之間的差距使得模型權(quán)重更新更為準(zhǔn)確[11]。DIOU_nms是在多個(gè)預(yù)測(cè)框之間進(jìn)行選擇，比較預(yù)測(cè)框之間的概率大小，選取數(shù)值最大的預(yù)測(cè)框。此部分NMS采用DIOU為主的檢測(cè)標(biāo)準(zhǔn)，當(dāng)多個(gè)目標(biāo)重合時(shí)也能更準(zhǔn)確地檢測(cè)出全部目標(biāo)物體。

(1)

(2)

(3)

其中：D2表示預(yù)測(cè)框與標(biāo)準(zhǔn)框之間的歐氏距離；DC表示最小對(duì)角矩陣的對(duì)角線距離；ν為引入的預(yù)測(cè)框與標(biāo)注框之間的長(zhǎng)寬比系數(shù)；Wgt、hgt分別為標(biāo)注框的長(zhǎng)、寬；WP、hP分別為檢測(cè)框的長(zhǎng)、寬。

2 抓取位置檢測(cè)

此部分在GG-CNN神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建了三層卷積、4個(gè)殘差和3個(gè)卷積轉(zhuǎn)置網(wǎng)絡(luò)。采用n通道輸入圖像信息并生成像素級(jí)抓取，通過(guò)三層卷積層的向下采樣提取特征卷積層從輸入圖像中提取特征；然后在卷積層的輸出中引入4個(gè)殘差層，使用殘差層能夠跳過(guò)全連接以更好地學(xué)習(xí)標(biāo)識(shí)函數(shù)。圖像通過(guò)卷積和殘差層后，其大小減小到56像素×56像素，為了在卷積運(yùn)算后更容易解釋和保留圖像的空間特征，使用卷積轉(zhuǎn)置運(yùn)算對(duì)圖像進(jìn)行上采樣。因此，在輸出端輸出與輸入端大小相同的圖像。

2.1 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

(4)

經(jīng)過(guò)四層殘差層后，隨著層次的遞增，特征的提取精度提高，并且解決了深度網(wǎng)絡(luò)造成的梯度消失問(wèn)題。殘差網(wǎng)絡(luò)會(huì)跳過(guò)全連接的方式，實(shí)現(xiàn)權(quán)重信號(hào)的跨層傳輸，改善梯度消失的狀況，解決網(wǎng)絡(luò)無(wú)法實(shí)現(xiàn)信息反向傳播的問(wèn)題。殘差網(wǎng)絡(luò)如圖3所示。改進(jìn)的GG-CNN算法模型結(jié)構(gòu)如圖4所示。

圖3 殘差模型結(jié)構(gòu)Fig.3 Residual model structure

圖4 改進(jìn)的GG-CNN算法模型結(jié)構(gòu)Fig.4 Improved GG-CNN algorithm model structure

2.2 抓取位置檢測(cè)模塊損失函數(shù)計(jì)算

在抓取框檢測(cè)階段采用了全新的矩陣框度量方式，與傳統(tǒng)的五參數(shù)矩陣框表示方法相比，新的矩陣框?qū)o(wú)用的height參數(shù)取代為一個(gè)權(quán)重，用來(lái)比較預(yù)測(cè)抓取框的權(quán)重大小，并且增加了抓取框的中心位置的z方向坐標(biāo)[12]。表達(dá)式如下：

Pf=(x，y，z，θf(wàn)，Wf，Q)

(5)

其中：x、y為抓取框的中心位置；z為抓取深度；θf(wàn)是相機(jī)相對(duì)于Z軸需要轉(zhuǎn)換的角度；Wf為抓取的寬度；Q為此抓取框的權(quán)重。

采用齊次坐標(biāo)變換矩陣，將圖形上的坐標(biāo)轉(zhuǎn)換為末端執(zhí)行器的坐標(biāo)位置，在世界坐標(biāo)下控制機(jī)械臂抓取目標(biāo)。

Pr=T2(T1(Pf))

(6)

其中：T1為圖像的坐標(biāo)信息轉(zhuǎn)換為相機(jī)的三維坐標(biāo)信息；T2為在世界坐標(biāo)系中將相機(jī)的坐標(biāo)最終轉(zhuǎn)化為末端執(zhí)行器的坐標(biāo)[13]。

此部分的神經(jīng)網(wǎng)絡(luò)采用Huber損失函數(shù)來(lái)進(jìn)行權(quán)重優(yōu)化。Huber函數(shù)是MAE函數(shù)和MSE函數(shù)的綜合體，使Huber函數(shù)在魯棒穩(wěn)定性上有了很高的提升。使用Huber Loss作為激活函數(shù)，對(duì)離群點(diǎn)有很好的抗干擾性，如公式(7)所示[14]：

L(Pfk，Plk)=

(7)

其中：Pfk代表預(yù)測(cè)框信息；Plk代表標(biāo)注框的信息。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 目標(biāo)檢測(cè)

文中對(duì)模型訓(xùn)練采用的是Ubuntu系統(tǒng)，配置參數(shù)為：GPU：GTX2070，CPU：inteli9 10980XE。模型訓(xùn)練設(shè)置超參數(shù)：基礎(chǔ)學(xué)習(xí)率base_lr為0.001；學(xué)習(xí)率衰減步長(zhǎng)為60 000；學(xué)習(xí)率的變化比率Gamma為0.01；訓(xùn)練迭代次數(shù)為50 000。

目標(biāo)檢測(cè)數(shù)據(jù)集采用自標(biāo)注的零件數(shù)據(jù)圖，通過(guò)數(shù)據(jù)增強(qiáng)的手段制作了3 000張數(shù)據(jù)圖，其中大目標(biāo)包含30%，中目標(biāo)包含30%，小目標(biāo)包含40%。目標(biāo)檢測(cè)數(shù)據(jù)集分為20個(gè)類(lèi)目，包含工業(yè)中常見(jiàn)零件，其中20種分類(lèi)分別命名為：optic-axis光軸、pedestal支撐座、belt pulley同步帶輪、coupling聯(lián)軸器、bearing軸承、pin銷(xiāo)釘、gimbal-joint萬(wàn)向節(jié)、fixed clip固定夾、bolt螺栓、nut螺母、gasket墊片、trapezoidal-nut梯形螺母、connector連接件、rectangular-piece直角件、connecting-plate連接板、gear-belt齒輪帶、key鍵、aluminium-product鋁型材、linear-bearing直線軸承、flange法蘭。

經(jīng)實(shí)驗(yàn)證明，在使用YOLOv5l模型和CIOU_Loss損失函數(shù)計(jì)算損失值的情況下，多目標(biāo)重合時(shí)模型能夠很好地被識(shí)別出來(lái)。其效果如圖5所示。

綜合比較YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x不同深度和網(wǎng)絡(luò)寬度神經(jīng)網(wǎng)絡(luò)的識(shí)別時(shí)間和計(jì)算效果，選取YOLOv5l作為文中算法的識(shí)別模型。對(duì)比結(jié)果如表1所示。

表1 YOLOv5不同模型在數(shù)據(jù)上識(shí)別結(jié)果Tab.1 Recognition results of YOLOv5 different models on data

3.2 抓取位置檢測(cè)

最佳抓取位置運(yùn)用更加輕量的網(wǎng)絡(luò)結(jié)構(gòu)，并與2019年的GG-CNN網(wǎng)絡(luò)進(jìn)行對(duì)比，在速度和準(zhǔn)確度上有了較大的提升。文中在GG-CNN的基礎(chǔ)上加入了殘差結(jié)構(gòu)，使得特征提取更加細(xì)致，對(duì)于小目標(biāo)的識(shí)別和框取有著更高的準(zhǔn)確性。實(shí)驗(yàn)表明：改進(jìn)后的神經(jīng)網(wǎng)絡(luò)比GG-CNN網(wǎng)絡(luò)在抓取精度上提高了15%，在計(jì)算時(shí)間只是增加了5%左右，更好地提高了時(shí)效性。該方法以目標(biāo)物體的多模態(tài)特征作為訓(xùn)練數(shù)據(jù)監(jiān)督訓(xùn)練階段，使用反向傳播算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行監(jiān)督微調(diào)。此部分?jǐn)?shù)據(jù)集使用的是Cornell抓取數(shù)據(jù)集以及Jacquard數(shù)據(jù)集。Jacquard數(shù)據(jù)集有240種不同的標(biāo)本，共計(jì)1 336張圖片，在每種圖片上都標(biāo)注了多個(gè)抓取位置；Cornell抓取數(shù)據(jù)集則包含了正負(fù)樣本用于對(duì)照。文中衡量標(biāo)準(zhǔn)為抓取點(diǎn)偏差小于5像素，抓取角度偏差小于30°，抓取寬度比小于0.8。相較于常用的預(yù)測(cè)框與標(biāo)準(zhǔn)框的貼合面積達(dá)到75%，預(yù)測(cè)框的抓取角度與標(biāo)注框的抓取角度小于30%的衡量標(biāo)準(zhǔn)更加精確[15]。仿真實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 改進(jìn)的GG-CNN多零件抓取結(jié)果Fig.6 Improved GG-CNN multi-part grasping result

對(duì)不同模型的訓(xùn)練數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，分別對(duì)Cornell抓取數(shù)據(jù)集以及Jacquard抓取數(shù)據(jù)集上的結(jié)果進(jìn)行分析，如表2所示。

表2 不同模型在抓取數(shù)據(jù)集上識(shí)別結(jié)果對(duì)比Tab.2 Comparison of recognition results of different models on the captured data set

3.3 零件抓取實(shí)驗(yàn)檢測(cè)

實(shí)驗(yàn)平臺(tái)的搭建用到的硬件包括計(jì)算機(jī)、ABBIRB120機(jī)器人實(shí)體、IRC5緊湊型控制柜、TP-Link路由器、攝像頭和多根超五類(lèi)網(wǎng)線。基于ROS平臺(tái)進(jìn)行系統(tǒng)搭建，建立平臺(tái)基礎(chǔ)[16]。在系統(tǒng)搭建中，TP-Link路由器是構(gòu)建局域網(wǎng)的重要組成部分，通過(guò)TP-Link路由器的LAN口可以將計(jì)算機(jī)、IRC5緊湊型控制柜和機(jī)器人連接在一起，并且可以通過(guò)TP-Link路由器的WAN口連接互聯(lián)網(wǎng)，提供網(wǎng)絡(luò)服務(wù)，下載實(shí)驗(yàn)平臺(tái)搭建所需要的依賴(lài)插件等必要的軟件。實(shí)驗(yàn)平臺(tái)連接示意如圖7所示，抓取實(shí)驗(yàn)過(guò)程如圖8-10所示。

圖7 實(shí)驗(yàn)平臺(tái)搭建硬件串聯(lián)示意Fig.7 Experimental platform construction hardware series

圖8 相機(jī)獲取工業(yè)零件圖像信息Fig.8 Image information of industrial parts acquired by camera

圖9 工業(yè)零件抓取機(jī)器人實(shí)物Fig.9 Entity of industrial parts grabbing robot

圖10 抓取實(shí)驗(yàn)過(guò)程Fig.10 Process of grabbing experiment：(a)obtain the image information；(b)grab the object；(c) move the object；(d)put in the specified location

4 結(jié)論

綜上所述，文中基于YOLOv5l神經(jīng)網(wǎng)絡(luò)和GG-CNN神經(jīng)網(wǎng)絡(luò)，提出了一種多目標(biāo)物體分類(lèi)和目標(biāo)抓取位置檢測(cè)方案，增強(qiáng)機(jī)械臂在復(fù)雜場(chǎng)景抓取的魯棒性。對(duì)不同尺寸、不同種類(lèi)的工業(yè)零件進(jìn)行分類(lèi)和抓取，通過(guò)實(shí)驗(yàn)證明了目標(biāo)檢測(cè)和抓取位置檢測(cè)算法的有效性。

隨著工業(yè)機(jī)器人學(xué)的發(fā)展和硬件設(shè)備水平的提升，更加復(fù)雜、智能的算法應(yīng)用可以更精確地優(yōu)化此系統(tǒng)和控制模型。