機(jī)器人視覺定位抓取教學(xué)案例設(shè)計

朱建江

(常熟理工學(xué)院 電氣與自動化工程學(xué)院，江蘇 常熟 215500)

0 引言

隨著我國勞動力成本的快速上漲，工業(yè)機(jī)器人在制造業(yè)中的應(yīng)用日趨廣泛。傳統(tǒng)的機(jī)器人上下料、碼垛搬運、分揀、裝配等作業(yè)通常需要預(yù)先進(jìn)行機(jī)器人示教，這種方式的示教點是固定的，當(dāng)工件位姿變化時往往會導(dǎo)致抓取作業(yè)失敗。采用機(jī)器視覺技術(shù)實現(xiàn)工件輪廓分割、計算工件中心坐標(biāo)和偏轉(zhuǎn)角，并反饋給機(jī)器人控制器，可適應(yīng)工件位姿變化，大大提高機(jī)器人工件抓取作業(yè)的柔性[1]。

機(jī)器人視覺定位抓取系統(tǒng)涉及到攝像機(jī)標(biāo)定、工件圖像分割、工件中心坐標(biāo)和偏移角度計算以及視覺系統(tǒng)與機(jī)器人控制系統(tǒng)之間的通訊等多種技術(shù)，理論抽象、知識點繁多，傳統(tǒng)的重原理、輕工程應(yīng)用的教學(xué)模式已經(jīng)無法滿足業(yè)界對應(yīng)用型人才的需求。案例教學(xué)法是一種啟發(fā)學(xué)生思考，培養(yǎng)學(xué)生探究能力，激發(fā)學(xué)生求知欲和學(xué)習(xí)興趣的有效方法[2]。設(shè)計合適的教學(xué)案例對于保證應(yīng)用型人才培養(yǎng)質(zhì)量至關(guān)重要。

教學(xué)案例的設(shè)計通常以典型工程應(yīng)用為背景，進(jìn)行相關(guān)知識點的分解-綜合，充分考慮案例的啟發(fā)性和綜合性，并與學(xué)生的認(rèn)知能力相適應(yīng)[3，4]。本文以機(jī)器人視覺定位抓取為應(yīng)用背景，分解該應(yīng)用所需的理論知識和實踐能力，設(shè)計機(jī)器人視覺定位抓取教學(xué)案例。通過案例驅(qū)動的理實一體化教學(xué)方式，激發(fā)學(xué)生學(xué)習(xí)興趣，培養(yǎng)學(xué)生問題分析、方案設(shè)計以及基本算法的綜合應(yīng)用能力，進(jìn)而提升學(xué)生解決實際工程問題的能力。

1 機(jī)器人視覺定位抓取系統(tǒng)

對于機(jī)器人2D視覺定位抓取系統(tǒng)，根據(jù)相機(jī)是否在機(jī)器人手臂上，可分為“eye-in-hand”和“eye-to-hand”兩種。本文以“eye-to-hand”為例。如圖1所示：整個系統(tǒng)主要由機(jī)器人系統(tǒng)和機(jī)器視覺系統(tǒng)組成。其中，機(jī)器人系統(tǒng)主要包括工業(yè)機(jī)器人、控制器、示教器、末端夾具。機(jī)器視覺系統(tǒng)的核心是由相機(jī)、鏡頭、光源組成的圖像采集單元和運行在計算機(jī)上的圖像處理軟件。視覺系統(tǒng)中的計算機(jī)與機(jī)器人控制器之間通過網(wǎng)線連接。實驗設(shè)備實物圖如圖2所示。

圖1 系統(tǒng)框圖

圖2 實驗設(shè)備實物圖

工件在輸送帶上輸送至傳感器位置，傳感器發(fā)出信號觸發(fā)光源開啟以及相機(jī)拍照，工件圖像通過計算機(jī)中編寫好的圖像處理軟件進(jìn)行圖像分割、提取工件輪廓、計算工件中心坐標(biāo)和偏移角度，并根據(jù)預(yù)先做好的手眼標(biāo)定結(jié)果，將圖像像素坐標(biāo)轉(zhuǎn)化成機(jī)器人坐標(biāo)。然后，通過socket通訊，將視覺系統(tǒng)的坐標(biāo)和角度數(shù)據(jù)傳給機(jī)器人系統(tǒng)。最后，機(jī)器人系統(tǒng)根據(jù)接收的坐標(biāo)數(shù)據(jù)和偏移角度數(shù)據(jù)與示教點數(shù)據(jù)比較，計算偏移量，引導(dǎo)機(jī)械手實現(xiàn)工件抓取，可很好地適應(yīng)工件位置的變化。

2 教學(xué)案例設(shè)計

機(jī)器人視覺定位抓取教學(xué)案例以行業(yè)典型應(yīng)用為背景，其設(shè)計方案涵蓋手眼標(biāo)定、圖像采集硬件選型、圖像分割、輪廓提取、形態(tài)學(xué)、特征提取、socket通訊等“機(jī)器視覺”課程多個知識點，案例具有典型性、綜合性和實用性。通過該教學(xué)案例，教師傳授側(cè)重問題的分析以及基礎(chǔ)算法的選用，側(cè)重知識點的綜合應(yīng)用以及方案的對比分析，引導(dǎo)學(xué)生理解“為什么”和“怎么用”，培養(yǎng)學(xué)生需求分析、圖像采集方案設(shè)計及實驗環(huán)境搭建、圖像處理方案設(shè)計以及軟件開發(fā)、手眼標(biāo)定、socket通訊程序開發(fā)等能力。

2.1 手眼標(biāo)定

手眼標(biāo)定的目的是為了獲得相機(jī)與機(jī)器人坐標(biāo)系之間的變換矩陣，以實現(xiàn)視覺系統(tǒng)的像素坐標(biāo)到機(jī)器人系統(tǒng)坐標(biāo)的轉(zhuǎn)換。其原理如圖3所示。

圖3 eye-to-hand手眼標(biāo)定坐標(biāo)變換原理

(1)

設(shè)機(jī)器人基坐標(biāo)系下標(biāo)定板上圓點的平面坐標(biāo)為(xw,yw),像素坐標(biāo)系下圓點坐標(biāo)為(u,v),根據(jù)公式(1)得到矩陣表達(dá)式為：

(2)

2.2 圖像采集

根據(jù)工件的具體檢測需求設(shè)計圖像采集方案并搭建實驗環(huán)境是視覺工程師必備的能力之一。主要涉及的知識點包括:視場的確定、相機(jī)分辨率計算及相機(jī)選型、焦距計算及鏡頭選型、打光方式確定及光源選型等。在教學(xué)過程中，首先，教師引導(dǎo)學(xué)生分析工件的形狀及尺寸、材質(zhì)的反光與透光性、各個檢測表面的粗糙程度以及相關(guān)檢測內(nèi)容等。然后，確定視場，根據(jù)檢測精度進(jìn)行相機(jī)、鏡頭的選型計算，本案例中選擇500萬像素工業(yè)相機(jī)、焦距16 mm鏡頭。最后，確定安裝高度和打光方案，本案例中選用環(huán)光源。

在采集圖像過程中，發(fā)現(xiàn)圖像采集硬件確定的情況下采集到的不同工件的圖像的灰度值仍然有比較大的變化范圍，同學(xué)們非常困惑。對此問題，引導(dǎo)學(xué)生觀察不同工件表面的顏色、粗糙程度等區(qū)別，導(dǎo)致對光的反射程度不同，因此造成灰度范圍變化較大，需要在圖像處理軟件中進(jìn)一步處理。

當(dāng)工件高度尺寸變化較大時，發(fā)現(xiàn)個別圖像存在失焦現(xiàn)象，引導(dǎo)學(xué)生加深對景深概念的理解。進(jìn)而在總結(jié)環(huán)節(jié)，進(jìn)一步強(qiáng)調(diào)設(shè)計圖像采集方案應(yīng)首重工件的分析。

2.3 工件檢測定位

工件檢測定位是實現(xiàn)機(jī)器人視覺定位抓取的關(guān)鍵步驟，采用的工件分割方法的魯棒性至關(guān)重要。

如圖4所示，即便在圖像采集硬件確定的情況下,因不同工件的表面粗糙程度、反光程度的差異性仍會導(dǎo)致圖像中工件的灰度變化范圍大，采用一個固定閾值進(jìn)行分割無法適應(yīng)所有圖像。因此，應(yīng)采用適應(yīng)每張圖像的參數(shù)化閾值分割方法。在教學(xué)過程中引導(dǎo)學(xué)生使用halcon軟件的灰度直方圖和特征檢測工具對一批工件圖像進(jìn)行分析，找出共性特征，確定圖像分割方案。經(jīng)分析發(fā)現(xiàn)，所有圖像中的工件灰度均高于背景灰度。因此，用一個通用方法先計算每張圖像的灰度均值，在此均值基礎(chǔ)上加一個偏移量，即可實現(xiàn)所有圖像的正確分割。圖像灰度均值計算公式如下：

圖4 工件樣品圖像

(3)

(4)

參數(shù)化閾值分割公式如下：

(5)

RO為圖像中的工件區(qū)域，off為偏移量。

工件區(qū)域分割出來之后，可采用halcon算子計算工件的中心坐標(biāo)(Row,Column)和偏轉(zhuǎn)角Angle。

area_center(RO,Area,Row,Column)

region_features(RO,'phi', Angle)

2.4 視覺系統(tǒng)與機(jī)器人系統(tǒng)通訊

如圖5所示，在視覺系統(tǒng)中創(chuàng)建socket服務(wù)端程序，在機(jī)器人系統(tǒng)中創(chuàng)建socket客戶端程序，兩者之間設(shè)置相同的端口號。服務(wù)端程序監(jiān)聽TCP/IP連接，連接成功后，通過SocketSend函數(shù)發(fā)送數(shù)據(jù)，機(jī)器人端通過SocketReceive函數(shù)接收數(shù)據(jù)。

圖5 socket通訊

3 教學(xué)案例實施

筆者設(shè)計了halcon程序，對40張圖片中的工件進(jìn)行圖像分割、輪廓提取、計算工件中心坐標(biāo)并根據(jù)標(biāo)定結(jié)果轉(zhuǎn)換成機(jī)器人坐標(biāo)，計算工件偏轉(zhuǎn)角度。以此培養(yǎng)學(xué)生掌握批量處理圖像、采用灰度直方圖工具和特征檢測工具分析工件特征、灰度均值計算、圖像分割、特征提取、區(qū)域中心坐標(biāo)及偏轉(zhuǎn)角計算，以及根據(jù)標(biāo)定結(jié)果進(jìn)行坐標(biāo)變換、視覺系統(tǒng)與機(jī)器人系統(tǒng)socket通訊程序編寫等基本技能，建立算法魯棒性的概念，重點培養(yǎng)學(xué)生圖像共性特征分析、方案設(shè)計及對比的能力，并鍛煉軟件開發(fā)能力。

如圖4所示，教學(xué)過程中首先引導(dǎo)學(xué)生分析不同圖像中的目標(biāo)與背景的共性的差異性特征，為設(shè)計圖像分割方案打好基礎(chǔ)。然后，引導(dǎo)學(xué)生對比固定閾值分割和根據(jù)每張圖像的灰度均值進(jìn)行參數(shù)化的閾值分割兩種方案。學(xué)生自己動手編程，發(fā)現(xiàn)采用固定閾值分割時，由于部分圖像(如圖4第1行第4列)中的工件灰度與背景灰度范圍有交叉，所以工件無法分割完整，40張圖像中有15張未能完全提取出工件。進(jìn)而，引導(dǎo)學(xué)生嘗試采用計算灰度均值、參數(shù)化閾值分割方法。學(xué)生采用參數(shù)化閾值分割方案后，因閾值參數(shù)具有很好的適應(yīng)性，40張圖中的工件被全部正確、完整地分割出來。在此基礎(chǔ)上，學(xué)生很快編好工件中心坐標(biāo)和偏轉(zhuǎn)角計算程序、socket服務(wù)端程序和客戶端程序。部分典型工件分割結(jié)果如圖6所示。最后，組織學(xué)生總結(jié)本案例中的問題分析、方案設(shè)計的關(guān)鍵點，形成解決實際工程問題的能力。

圖6 工件檢測定位

該教學(xué)案例以實際工程應(yīng)用為背景，采用問題導(dǎo)向方式，逐步引導(dǎo)學(xué)生參與問題分析、方案設(shè)計、方案對比直到最終解決問題，課堂互動性好，教學(xué)效果好。

4 結(jié)語

本文以實際工程應(yīng)用為背景，設(shè)計了機(jī)器人視覺定位抓取教學(xué)案例。通過案例驅(qū)動理實一體化教學(xué)的實施，加深了學(xué)生對攝像機(jī)標(biāo)定、工件圖像分割、中心點坐標(biāo)和偏轉(zhuǎn)角計算、視覺系統(tǒng)與機(jī)器人系統(tǒng)通訊等技術(shù)的理解，培養(yǎng)學(xué)生問題分析、方案設(shè)計以及基本算法的綜合應(yīng)用能力，進(jìn)而提升學(xué)生解決實際工程問題的能力。