基于深度學習的無序件抓取實驗系統開發

邱 益， 張志浩， 梁 杰

（鄭州大學機械與動力工程學院，鄭州 450001）

0 引 言

機器人抓取技術是現代工業生產中重要的組成部分，廣泛應用于物流、制造、服務、醫療等領域［1-2］。傳統的機器人抓取不能適應待抓取目標無序、散亂的分布，將深度學習技術和現有機器人抓取技術相結合可解決上述不足［3］。隨著近些年人工智能技術的發展，越來越多的算法開始應用于生產實踐中，例如目標檢測算法在自動駕駛中的應用［4-6］。文獻［7］中采用Tensorflow開源框架實現了基于MobileNet SSD［8］的垃圾分揀實驗平臺，取得良好效果，但文獻僅介紹了如何復現過去成果。文獻［9］中以人機對弈為背景開發了工業機器人實驗教學平臺，該平臺采用的是傳統機器視覺技術，有待進一步結合基于深度學習的新算法。

本實驗平臺以工業標準件抓取為研究背景，采用深度卷積神經網絡實現了標準件識別、定位以及抓取姿態預測。該實驗平臺將算法理論和應用結合，采用開源的神經網絡框架實現算法，采用STM32配合步進滑臺完成硬件搭建，可用于機器人或人工智能的教育實踐，可將人工智能算法和工程實踐相結合，在實踐中鍛煉學生對于知識的理解與應用［10-12］。

1 平臺硬件設計

抓取平臺主要由單目工業攝像機、龍門式抓取平臺、搭載GTX1070顯卡的計算機、STM32單片機等組成。單目工業攝像機用于采集工作臺上待抓取零件的圖像信息以引導機械手準確抓取；三軸龍門式抓取平臺負責執行抓取動作，抓取平臺的末端執行器是兩指式氣動機械爪，實現物體的夾??；搭載GTX1070顯卡的計算機負責處理攝像機所采集到的圖像，通過運行目標檢測算法和抓取姿態預測算法來返回待抓取目標的類別、位置和機械手的抓取姿態；STM32單片機負責將計算機運算的結果轉換為龍門式抓取平臺的動作指令來控制機械手完成對應的抓取動作。抓取平臺的硬件設計架構如圖1所示。

圖1 抓取平臺的硬件架構

2 目標檢測和抓取姿態預測算法設計

2.1 基于內卷積的目標檢測算法

目標檢測技術作為機器視覺領域中基本的且極具挑戰性的研究方向，隨著神經網絡的應用，目標檢測技術在當今強大算力支撐下展現出令人驚艷的技術美學［13］。應用深度卷積神經網絡為計算子的目標檢測框架已經能夠在保證檢測精度的同時做到實時檢測。雖然現有框架在通用數據集上展現出較優的檢測性能，但是對于工業應用領域仍然存在特殊場景下的短板，這表現在低紋理信息微小零件存在難以檢出的缺陷。

為提高現有框架在工業零件抓取應用中的短板并盡可能地提高其檢測速度，本文綜合應用以下4種技巧提高現有框架的性能：

（1）為降低卷積運算的參數量，將內卷積作為基本運算子替代SSD目標檢測算法中原有的卷積運算，實現主干特征提取網絡的重構；

（2）為緩解小目標零件在淺層檢測時語義信息不足而深層檢測時特征信息丟失嚴重的矛盾，采用雙線性插值將高層特征融合于低層次特征后再作為有效特征層進行位置回歸和分類；

（3）為輕量化目標檢測框架并提高運算速度，在主干特征提取網絡引入Focus模塊并剪裁掉后3層卷積塊；

（4）為保證先驗框更加契合本項目的實際數據集，采用K-means聚類數據集，然后將聚類結果作為依據重新設計先驗框的分布。

優化后的目標檢測模型網絡結構如圖2所示。圖2中Focus模塊置于輸入張量和卷積塊之間，其目的是在不丟失輸入張量信息的前提下實現下采樣。該計算模塊的計算過程可以描述如下：首先對輸入三通道張量進行切片采樣，其采樣規則采用間隔采樣，即每隔1個像素進行1次采樣。用這樣的方式采樣出5個小的張量。然后再將采樣后的張量沿通道方向上拼接，拼接起來的圖片相對于原先的RGB三通道模式變成了12個通道，即最終得到了沒有信息丟失情況下的2倍下采樣特征圖。該模塊的計算過程描述如圖3所示。

圖2 目標檢測模型網絡結構圖

圖3 Focus模塊計算圖

原版SSD目標檢測算法的主干特征提取網絡采用的是VGG16網絡，該網絡存在參數量大且特征提取能力不強的缺點。為實現增效降參的目的，采用內卷積替換掉原版中標準的卷積運算子并采用特征金字塔的設計思想，實現多層級特征圖的融合。主干特征提取網絡的結構如圖4所示。

圖4 主干特征提取網絡的結構圖

內卷積是對現有標準卷積運算的重構，內卷積與標準卷積所不同的是：它實現了卷積核在通道上的共享，即實現了通道不變性和空間特異性［13］。采用該計算子可以在保證特征提取性能的同時大幅減少卷積神經網絡的參數冗余，進而實現目標檢測框架的輕量化。內卷積可表示為：

式中：H為內卷積計算子的卷積核；X為輸入張量；k代表后續卷積核大??；G代表involution操作的分組數；C為特征圖的通道數。

內卷積運算的卷積核并非固定，而是依賴于輸入張量。內卷積計算子的卷積核生成公式為

式中：W0、W1代表對輸入張量的一系列線性變換，這里采用1×1的卷積核實現對輸入通道的縮放；函數β為批標準化和非線性激活。內卷積的運算過程見圖5。

圖5 內卷積計算圖

由于小目標物體在經過多次卷積和下采樣后會丟失其信息，特別是對本數據集中的小沉頭螺釘，經過多次下采樣后僅剩幾個像素。很自然的想法是，將淺層的特征作為有效特征圖進行檢測，但是淺層特征圖的語義信息不足，難以滿足檢測要求。為緩解以上矛盾，設計了如下計算方法：

式中：Xi為有效特征層，從淺層到高層將主干網絡的3處節點作為有效特征層；函數U為雙線性插值運算；函數P為最大池化運算，以上2個函數其目是調節輸出特征圖的大小使得兩層特征圖可進行張量拼接；函數C為卷積核大小為1×1的卷積運算；函數B為類別預測計算和包圍框回歸運算，均采用標準卷積運算實現。

2.2 基于內卷積的機械手抓取姿態預測算法

由于目標檢測算法僅能夠識別目標物體類別和回歸最小包圍框，針對抓取的工況要求，目標物體相對于機械手的角度對抓取成功率的影響也是巨大的，特別是針對細長類零件，機械手的抓取角度異常重要。以細長類零件螺栓為例，可將其在工作臺上的姿態離散的分為4個類別，分類情況如圖6所示。由于是離散的真值姿態空間，所以可將姿態估計問題轉化為圖像分類問題，設計如圖7所示的卷積神經網絡對工作臺中的零件進行姿態預測。

圖6 螺栓姿態分類

圖7 標準件姿態預測網絡結構圖

該姿態預測神經網絡采用在內卷積運算子和激活函數之間布置批歸一化，以保證每個卷積塊的運算結果處于激活函數的敏感區，避免由于激活函數飽和而出現神經網絡模型在訓練過程中難以收斂的問題［14］：

為保證該姿態預測神經網絡的訓練效果，采用交叉熵損失函數作為該神經網絡訓練的損失函數。由于該標準件數據集中零件的姿態可以離散地分為4種，將這4種的姿態進行獨熱編碼后即可引入交叉熵損失，即

式中：k為分類的種類數；li為樣本獨熱編碼標簽；yi為神經網絡前向傳播運算結果。

3 算法訓練與實驗

3.1 目標檢測算法訓練實驗

選擇10個不同類別常見標準件為樣本，拍攝其在工作臺上不同姿態、位置上的圖片進行標注形成訓練數據集。訓練樣本集信息匯總見表1。

表1 訓練樣本集信息匯總表

訓練平臺采用GTX1070顯卡，經過500輪的訓練即可達到較為理想的識別效果。訓練結果和識別效果如圖8、9所示。

圖8 訓練樣本集信息匯總

圖9 目標識別效果

3.2 抓取姿態預測算法訓練實驗

由于樣本中長寬比較小的零件的姿態并不會對抓取造成影響，所以僅需將樣本集中具有細長特性的標準件取出制作樣本集進行抓取姿態估計即可，訓練樣本集信息匯總見表2。

表2 實驗A測量數據

本模型采用Tensorflow2神經網絡庫完成搭建，硬件環境為AMD 3500X處理器和GTX 1070顯卡。訓練優化方法采用AdaBound優化器。訓練迭代次數為600次，批處理參數設置為100，初始學習率設置為0.001。該模型的評價方法采用準確率來評價。

訓練的損失函數和驗證集準確率變化曲線如圖10所示。

圖10 損失函數和驗證集的準確率變化曲線

3.3 抓取實驗

本工業零件抓取實驗系統采用三軸龍門式機械手，抓取場景為標準件散亂、不堆疊地分布于平面工作臺上。抓取實驗平臺采用眼在手上的布置方式，通過標準標定板標定出相機內參以及像素坐標和機械手坐標之間的映射關系后即可應用于抓取。抓取實驗平臺實物如圖11所示。

圖11 抓取實驗平臺實物

每次將10個不同類別的工業零件混合后隨機散亂地丟放于平面工作臺上，然后機械手回零點拍照并完成識別，最后通過機械手將零件抓取到對應的物料框中。重復上述實驗過程并記錄抓取、分揀結果，將實驗結果匯總于表3（實驗次數為100）。根據匯總結果可知，對于長寬比較小的零件，影響抓取成功率的主要因素是目標檢測算法能否識別出其類別和位置。對于細長類零件，除以上因素外還會受到姿態預測是否正確的影響。另外，以上10分類標準件中，自攻螺釘和沉頭螺釘的識別率相對較低，考慮是由于自攻螺釘長寬比較大和沉頭螺釘過小的原因所致。

表3 零件抓取實驗結果匯總表

4 結 論

本文基于深度學習的目標檢測技術和工業零件抓取相結合，實現了工業生產的智能化分揀，改進了傳統工業機械臂不能自動識別、定位目標物體的不足。該工業零件抓取實驗系統應用了基于內卷積的輕量化特征提取網絡、基于上采樣和特征圖級聯結構的特征融合機制以及根據K-means聚類樣本來重設先驗框等技巧。本文的算法采用TensorFlow深度學習框架實現。抓取平臺的硬件部分由單目工業攝像機、三軸龍門機械臂、搭載GTX1070顯卡的計算機和STM32單片機等部分構成。該工業零件抓取實驗系統將傳統嵌入式控制技術和人工智能技術有機結合，實現了現有工業生產線抓取的智能化。同時，本實驗系統所采用的算法框架完全開源，可用于研究人員視覺算法驗證和人工智能教學。