基于NX MCD的工業機器人視覺分揀數字孿生系統設計

蘇建，慕存強，任善劍，王仁忠，黃婷，劉廣

(蘇州市職業大學機電工程學院，江蘇蘇州 215104)

0 前言

新一代信息技術與制造業的融合發展，加速了制造型企業數字化變革，促進了制造業數字化轉型，推動了企業數字化、網絡化、智能化的發展。數字孿生是伴隨新一代信息技術飛速發展的新興技術，它利用物理模型、傳感器更新、運行歷史等數據，集成多學科、多物理量、多尺度、多概率的仿真過程，在虛擬空間中完成映射，從而反映相應實體裝備的全生命周期過程，其本質就是信息世界對物理世界的等價映射。

數字孿生與智能制造的深度融合，是當前制造型企業快速發展的一個重要方向。企業融入數字孿生技術后，可以為物理世界中的產品開發、生產過程等建立虛擬模型，縮短了產品設計開發周期，實現生產過程的實時監控，優化生產設備的維護與管理等，有利于企業提高生產效率和產品質量。

當前，制造業中數字孿生技術的研究主要集中在數控加工領域中，如吳雁等人[1]實現了在MCD平臺上完成數控車床上下料機械手機電一體化概念設計與控制仿真；林裕程、韓勇[2]提出了基于TIA博圖和MCD的數控機床虛擬調試方案；趙輝等人[3]提出了全自動注塑機的虛擬調試方法。鄭魁敬等[4]、楊艷芳等[5]、趙丹丹[6]針對工業機器人的數字孿生技術開展了一些研究工作，但是基于視覺的工業機器人分揀作業數字孿生系統的研究還不夠深入。

針對生產過程中多類型、多顏色工件的檢測、識別與分揀作業，作者提出一個基于工業視覺的工業機器人分揀作業控制方案，應用NX MCD軟件構建了工業機器人分揀作業數字孿生系統，將工業視覺檢測到的工件數據映射到孿生系統中，實現高精度、高效率的工件虛實同步分揀作業，縮短了系統開發調試周期，實現了產品生產過程實時監控。

1 方案設計

針對一批底座、電機、減速器和法蘭工件，每種工件均有紅、黃、藍、黑4種不同顏色，現需要設計一個工業機器人分揀作業控制系統，實現不同顏色、不同類型工件的檢測、識別和分揀作業。

1.1 物理系統設計

融合工業視覺和以太網技術的工業機器人分揀控制系統[7]，可以提高工件識別準確率和分揀作業效率，如圖1和圖2所示。

圖2 數字孿生系統構建

該系統選用康耐視工業視覺檢測工件類型、顏色等特征數據；利用裝有雙功能末端工具的工業機器人進行工件分揀搬運；采用西門子S7-1200PLC進行硬件系統的組態、通信及流程控制；同時通過變頻驅動的輸送帶、步進驅動的打包分揀平臺、阻擋氣缸、檢測傳感器、人機界面等設備實現工件檢測與分揀作業流程。

1.2 數字孿生系統設計

為了實現系統的虛實同步作業，基于NX MCD軟件，構建一個工業機器人分揀作業數字孿生系統，系統包含工業機器人、工件輸送帶、工件分揀平臺、氣缸、傳感器等三維模型，將物理系統相關數據映射到孿生系統中，實現虛實同步的功能。數字孿生系統中相關模型的機電概念如表1所示。

表1 孿生系統模塊與機電概念

1.3 系統通信方案設計

此系統需要將視覺檢測到的數據實時發送給PLC，PLC將數據處理完成后發送給工業機器人，實現工件的檢測、識別、分揀等功能，還需要將物理系統中的相關數據實時映射到數字孿生系統中，因此需要構建一個包含工業機器人、PLC、工業視覺、HMI、變頻器、編程計算機、孿生系統等的以太網通信網絡，如圖2所示。同時需要利用相關軟件對物理和孿生系統中的數據進行分析與處理，如利用KeMotion軟件對工業機器人進行編程調試；利用In-Sight軟件進行工件特征學習與訓練；利用TIA Portal軟件對系統進行組態、通信及流程控制。為了能夠將孿生系統與物理系統進行虛實同步，需要將物理系統的控制量、狀態量等數據映射到孿生系統，利用KEPServer軟件實現TIA Portal和NX MCD之間的數據映射。

2 工件的視覺檢測與識別

此系統選用康耐視IS2000系列的智能相機，基于In-Sight軟件中視覺工具檢測工件的顏色、位置、直徑、孔數等數據，PLC接收到檢測數據后進行分析與處理，進而識別出工件的顏色、類型、位置等特征數據，以便工業機器人正確抓取并分揀工件。

2.1 視覺檢測原理

2.1.1 RGB顏色檢測原理

RGB顏色空間是以紅、綠、藍3種基本色為基礎，進行不同程度的疊加，產生各種各樣的顏色效果，也稱三基色模式[8]。3種基本色所占比例不同，得到的顏色就不同。在RGB顏色空間，任意色光F都可以用RGB 3種顏色不同分量的相加混合而成，如公式(1)所示：

F=r[R]+g[G]+b[B]

(1)

根據學習訓練的目標色光，在允許的誤差范圍內，根據公式(2)進行圖像二值化處理，根據公式(3)計算圖像中目標色光的像素總數。

(2)

(3)

其中：F0為目標圖像學習訓練得到的色光值；d為允許色光誤差；B(x,y)為允許誤差范圍內的二進制圖像；PN為目標顏色像素數和。

2.1.2 圖像匹配位置檢測原理

圖像匹配是應用計算機和相應的數學理論對給定圖像按照特定目的進行相應匹配處理[9]。匹配原理如下：在特定的搜索范圍內(如對稱圖像范圍為[-90°，90°])，將圖像模板T0(m0,n0)旋轉θ角度得到新的模板圖像Tθ(m0,n0)，然后與被搜索圖S(W,H)進行匹配，當新的模板圖像與搜索圖像中的部分區域達到一定相似度時，即可在搜索區域中獲得模板圖像的角度、x方向偏移量、y方向偏移量等特征數據。模板匹配公式如下所示：

(4)

其中：i、j為子圖左下角在被搜索圖S上的坐標；θ為模板旋轉角度。

2.1.3 圓孔及直徑檢測原理

圓孔檢測是模式識別領域和計算機視覺領域的重要研究內容[10]。基于霍夫變換[11]及相似度的圓孔檢測方法較為成熟。此例基于霍夫變換原理，對目標圖像進行濾波、二值化、邊緣檢測等預處理[12-13]，然后獲取若干封閉圖形邊沿，若邊沿滿足如下公式，則該封閉圖形邊沿即為圓孔。

(5)

其中：Rk(i,j)為圓的半徑；(i,j)為當前圓孔的圓心位置；k為目標圖像中圓孔個數。

2.2 特征學習

此系統選用In-Sight軟件中的顏色像素計數、圖案匹配、斑點計數和圓直徑4種工具來檢測工件的特征數據。其中，顏色像素計數工具需要關閉背光源，避免背光源太亮顏色失真，其他3個工具需要打開背光源，以便獲得清晰圖像。圖案匹配工具主要用來確定工件的位置和角度，而斑點和圓直徑用來區分工件的類型。以黑色減速器工件為例，該工件檢測圖像與特征數據如圖3—5所示。

圖3 關閉背光源

2.3 檢測數據處理

由于IS2000型號智能相機只能檢測工件特征數據，不能編寫數據處理腳本程序，因此需要將檢測到的特征數據發送給PLC，由PLC對特征數據進行處理，識別工件顏色與類型，確定工件位置。

圖6為工件顏色識別處理程序，其中KK、RR、YY、BB為檢測到的顏色標記。圖7為工件類型識別處理程序。

圖6 顏色識別

經測量，底座、法蘭、減速器和電機4種工件外圓直徑分別約為240、210、188、178個像素，且誤差不超過±2%。此處設定4種工件的外圓直徑界限為230、200、182、170像素，通過外圓直徑和工件圓孔數量結合的方式區分工件類型。圖8為工件位置數據處理程序。通過模板匹配獲取工件的特征數據，然后與基準位置作差獲取x方向、y方向偏移像素，再乘以像素當量Px，獲取偏移距離。為了確保數據轉化過程中小數點后1位數據不丟失，將偏移數據乘以10，機器人接收數據后再除以10。工件的高度經測量后有序存放在H數組中，根據工件類型進行調用。

圖8 工件位置處理程序

3 數字孿生系統的構建

3.1 工業機器人數字孿生系統構建

工業機器人數字孿生系統(如圖9所示)的機電概念主要由剛體、固定副、鉸鏈副、位置控制組成，如圖10所示。工業機器人由8個剛體組成：承重板、基座、關節1、關節2、關節3、關節4、關節5、關節6。工業機器人的各個關節之間通過6個鉸鏈副串聯而成，其中關節1鉸鏈副的基本件為基座，連接件為關節1，軸矢量方向向上，1軸電機限制角度范圍為[-175°，175°]；關節2鉸鏈副的基本件為關節1，連接件為關節2。依次類推，完成6個鉸鏈副的創建，并對應創建6個位置控制。

圖9 機器人孿生系統

工業機器人末端安裝了吸盤和手爪雙功能工具(如圖11所示)，其中吸盤工具的機電概念由剛體、滑動副、碰撞傳感器和彈簧阻尼器組成，如圖12所示；手爪工具機電概念由剛體、滑動副、位置控制和碰撞傳感器組成。通過固定副將工具安裝到工業機器人六軸法蘭上。

圖11 末端工具孿生系統

3.2 輸送帶數字孿生系統構建

輸送帶數字孿生系統的機電概念主要由剛體、傳輸面、碰撞體、滑動副、位置控制、碰撞傳感器組成，如圖13所示，其中拍照位阻擋氣缸、抓取位阻擋氣缸和空托盤庫為剛體，輸送鏈及輸送帶末端創建了碰撞體，輸送鏈上創建了一個傳輸面，拍照位氣缸和抓取位氣缸均創建了滑動副和位置控制，還創建了拍照位和抓取位兩個碰撞傳感器。

圖13 輸送帶機電概念

輸送帶的控制由PLC發送過來的輸送帶啟停信號CovSt和速度信號CovSp決定，在輸送帶信號適配器中創建real型參數CovSpd，添加bool型信號CovSt和real型信號CovSp，通過公式(6)實現輸送帶的控制。

CovSpd=If (CovSt) Then (CovSp) Else (0)

(6)

輸送帶上YV1和YV2兩個氣缸通過PLC的輸出信號控制。此處采用仿真序列實現，拍照位碰撞傳感器的下降沿觸發YV1氣缸伸出，拍照完成信號控制YV1氣缸縮回；抓取位碰撞傳感器的下降沿觸發YV2氣缸伸出，抓取完成信號控制YV2氣缸縮回，保證氣缸虛實同步控制。YV1氣缸控制仿真序列如圖14所示。

3.3 工件數字孿生系統設置

工業機器人視覺分揀數字孿生系統的難點是工件的正確識別與同步顯示。物理系統中，通過工業相機對工件的x、y方向偏移量、角度、顏色等特征數據進行檢測，通過PLC處理程序對工件類型進行識別，同時將識別后的工件類別、位置偏移量、工件顏色實時映射給數字孿生系統，數字孿生系統獲取數據后通過剛體質心、鉸鏈副、位置控制、顯示更改器等機電概念，實現工件虛實同步顯示。

3.3.1 工件位置確定

NX MCD中剛體確定后其質心也就確定了，即Px、Py、Pz質心值是唯一的，改變質心數值即可改變剛體的位置。將工件基準位置的質心與工業相機拍照獲取的偏移量進行代數和，實現工件隨機位置的正確顯示，x、y、z三個方向質心計算如下所示：

x=x0+Δx

(7)

y=y0+Δy

(8)

z=z0+Δz

(9)

其中：x0、y0、z0為工件基準位置的質心數據；x、y、z為工件實際位置的質心數據；Δx、Δy為工業相機檢測到的水平方向偏移量，Δz為工件的高度，用于隱藏和顯示工件。以上變量單位均為mm。

確定工件基準位置和初始位置質心數據后，即可在信號適配器中通過公式(10)確定x方向質心數值，y方向和z方向質心數值同理可得。

If ((基座號=1)&拍照完成&(工件類型=1)) Then

( 855.1+X方向偏移 )

Else ( Base1_X )

(10)

3.3.2 工件角度確定

數字孿生系統中工件的角度主要通過鉸鏈副和位置控制實現，將相機拍照獲得的角度與基準角度進行代數和，獲取工件實際角度值，從而使孿生系統中的工件與實際工件角度顯示一致。

如圖15所示，電機的鉸鏈副設置中，基本件為一個可移動的長方體，影藏于托盤輸送帶內部，鏈接件為電機。由于電機為對稱工件，設置上下限角度為[-90°，90°]。如圖16所示，電機位置控制的對象為電機鉸鏈副，通過最短路徑方式、360°/s速度旋轉到達目標角度，實現電機角度的控制。

3.3.3 工件顏色確定

為了保證工件顏色虛實同步，此處選用“顯示更改器”，依據顏色信息修改數字孿生系統工件的顏色。進入顯示更改器設置界面，選擇對象為電機剛體，單擊顏色可以修改并查看顏色的ID號，其中紅色為186、黃色為6、藍色為175、黑色為201。利用信號適配器，根據公式(11)確定當前工件的顏色ID。工件顯示及對應數據如表2所示。

表2 工件顯示及對應數據

If ((電機號=1)&拍照完成&(顏色號=1)) Then ( 186 )

Elsif ((電機號=1)&拍照完成&(顏色號=1)) Then ( 6)

Elsif ((電機號=1)&拍照完成&(顏色號=1)) Then ( 175)

Else (201)

(11)

4 PLC與工業機器人聯合編程與測試

PLC是整個系統的控制中心，它不僅控制工業相機拍照、獲取并處理視覺檢測數據，而且控制系統的作業流程，發送機器人工件取放數據，控制機器人分揀作業，還通過KEPServer軟件將數據發送并映射到NX MCD中，實現虛實同步。

為了提高機器人的作業效率，建立PLC和工業機器人以太網通信網絡，通過兩者聯合編程實現機器人快速分揀功能。如圖17所示，左側為機器人程序流程，右側為PLC程序流程，通過信號交互的方式可以減少機器人延時等待時間，在通信速率范圍內實現信號快速交互，確保數據的可靠發送和接收。PLC發送給機器人16個INT型數據，其中I0為控制字、I1為機器人工步、I3-I6為機器人抓取工件的x、y、z方向和旋轉角度A偏移數據，I7-I10為機器人放置工件的x、y、z方向和旋轉角度A偏移數據。機器人將O0狀態字實時發送給PLC，以便PLC確定機器人的當前狀態。

圖17 PLC和機器人編程流程

針對以上控制方案，對100個不同顏色、不同類型的工件進行測試，如圖18—21所示為藍色電機、紅色底座、黑色減速器和黃色法蘭4種工件的檢測、抓取、分揀的虛實同步效果圖。實驗結果表明：基于工業視覺的工件檢測與識別正確率為100%，機器人分揀速度達到20個/min。

圖18 藍色電機虛實同步

圖19 紅色底座虛實同步

圖21 黃色法蘭虛實同步

5 結束語

綜上所述，針對多顏色、多類型工件的工業機器人視覺分揀作業控制方案是可行的；利用In-Sight軟件中視覺工具能夠檢測到工件特征數據，并結合PLC程序正確識別工件；基于NX MCD軟件構建了工業機器人、輸送帶、工件等數字孿生系統，能夠與物理系統同步動作；通過工業機器人和PLC的聯合編程，簡化了機器人的程序、提高了機器人的作業效率。實驗證明，該系統工件識別正確率高，工件分揀效率高，數字孿生系統能夠實現虛實同步作業、動態監控和虛擬調試。