工業(yè)機(jī)器人視覺檢測系統(tǒng)研究

文/王琳 張珊珊 潘艷飛 劉新

1 引言

云端激光打標(biāo)系統(tǒng)由工業(yè)機(jī)器人、智能相機(jī)和激光打標(biāo)機(jī)三個(gè)主要硬件部分加MES 排產(chǎn)下單系統(tǒng)組成，可通過手機(jī)端或PC 端遠(yuǎn)程下發(fā)個(gè)性化定制設(shè)計(jì)內(nèi)容。工業(yè)機(jī)器人是現(xiàn)代化自動(dòng)控制技術(shù)發(fā)展的一個(gè)重要的生產(chǎn)工具，通過示教編程或離線編程使其按照程序進(jìn)行一系列作業(yè)[1-3]。機(jī)器視覺以計(jì)算機(jī)視覺技術(shù)為基礎(chǔ)，對智能相機(jī)采集到的數(shù)據(jù)進(jìn)行處理分析[4]，包括物體的形狀、位置、顏色、角度等信息，智能相機(jī)控制系統(tǒng)將分析后的數(shù)據(jù)反饋給機(jī)器人控制器，機(jī)器人完成準(zhǔn)確的抓取動(dòng)作。

基于機(jī)器視覺和工業(yè)機(jī)器人技術(shù)，可以滿足工業(yè)生產(chǎn)的一些更加柔性化的需求，使工業(yè)的生產(chǎn)過程更加靈活，從而實(shí)現(xiàn)工業(yè)的小批量個(gè)性化生產(chǎn)[5]。基于視覺的工業(yè)機(jī)器人抓取技術(shù)是現(xiàn)如今和未來科技工業(yè)的必要研究內(nèi)容，目前已在多個(gè)領(lǐng)域內(nèi)廣泛應(yīng)用，如：汽車自動(dòng)化生產(chǎn)、智能交通系統(tǒng)、醫(yī)療診斷成像、元器件檢測、遙感圖像等諸多方面[6-9]。

就目前來說，國內(nèi)外針對視覺抓取系統(tǒng)的研究方向主要有1）手眼標(biāo)定方法2）特征提取算法3）與深度學(xué)習(xí)相結(jié)合的視覺抓取方法[10]。手眼標(biāo)定技術(shù)目前發(fā)展比較成熟，產(chǎn)生了深遠(yuǎn)的影響，比如早期的Tsai-Lenz、Navy等[11][12]手眼標(biāo)定算法。 Ying Wang 等[13]設(shè)計(jì)的清障機(jī)器人通過單雙目結(jié)合組成混合視覺系統(tǒng)對目標(biāo)物進(jìn)行特征提取。在數(shù)據(jù)引導(dǎo)的方法下，Sergry Levine[14]將深度學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人區(qū)分任務(wù)中，利用相機(jī)拍攝到的圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測機(jī)械手在空間的運(yùn)動(dòng)，該方法能夠有效并且實(shí)時(shí)控制機(jī)器人，成功掌握新的抓取目標(biāo)，最后通過連續(xù)伺服矯正錯(cuò)誤。而國內(nèi)視覺抓取系統(tǒng)的研究[15]偏向于幾何引導(dǎo)的方法，王朋強(qiáng)[16]將雙目視覺系統(tǒng)和機(jī)械臂結(jié)合，實(shí)現(xiàn)了對目標(biāo)的識(shí)別定位以及抓取。在國家的支持下，國內(nèi)也已有許多家公司以及科研單位在機(jī)器視覺領(lǐng)域取得了一系列成果，逐步的將機(jī)器視覺技術(shù)引入到對機(jī)器人的控制當(dāng)中[17]。

本文主要通過對基于視覺的機(jī)器人抓取系統(tǒng)的研究，實(shí)現(xiàn)對目標(biāo)物正反面的區(qū)分。主要過程如下：以使用一套云端激光名片盒打印系統(tǒng)為研究對象，在名片盒表面打印出所下的訂單，從而實(shí)現(xiàn)制造業(yè)中的個(gè)性化批量生產(chǎn)檢測。設(shè)計(jì)規(guī)則：將名片盒盒蓋一面作為工件的正面，另一面作為反面。在機(jī)器人抓取工件之前，待打標(biāo)的名片盒在工作候選區(qū)內(nèi)的空間位姿各不相同，工件正反面也處于隨機(jī)分布狀態(tài)。正常情況下，工業(yè)機(jī)器人末端執(zhí)行器抓取名片盒并翻轉(zhuǎn)，隨后將其移動(dòng)到激光打標(biāo)位置，最后執(zhí)行激光打標(biāo)的動(dòng)作，完成打標(biāo)任務(wù)，如果名片盒工件正面朝上，待機(jī)器人抓取后，激光打標(biāo)機(jī)將在反面位置完成打標(biāo)作業(yè)，這將導(dǎo)致不合格品產(chǎn)生。這就要求機(jī)器人能區(qū)分候選區(qū)所擺放目標(biāo)工件的正反面，只抓取其中反面朝上的工件。

2 系統(tǒng)平臺(tái)搭建

本文使用國產(chǎn)某型號六自由度工業(yè)機(jī)器人，搭建出基于視覺的工業(yè)機(jī)器人檢測檢測系統(tǒng)，如圖1所示。本系統(tǒng)利用某型號工業(yè)智能相機(jī)采集圖像，機(jī)器人獲取圖像中正確目標(biāo)工件的位置后，吸盤抓取目標(biāo)工件，調(diào)整位姿到激光打標(biāo)處進(jìn)行作業(yè)，激光打標(biāo)完成后將工件移動(dòng)到出口位置，完成一個(gè)工件的打標(biāo)任務(wù)檢測。系統(tǒng)通過以太網(wǎng)實(shí)現(xiàn)工業(yè)機(jī)器人、智能相機(jī)、激光打標(biāo)機(jī)以及計(jì)算機(jī)之間的通訊和信息處理。

3 機(jī)器人視覺檢測系統(tǒng)

機(jī)器人視覺檢測系統(tǒng)在計(jì)算機(jī)端對智能相機(jī)采集到的工作區(qū)域的圖像進(jìn)行預(yù)處理，快速地識(shí)別并定位圖像中的目標(biāo)工件，根據(jù)相機(jī)標(biāo)定參數(shù)，結(jié)合目標(biāo)工件的像素坐標(biāo)計(jì)算出六自由度工業(yè)機(jī)器人坐標(biāo)系中的位置坐標(biāo)，并將坐標(biāo)信息發(fā)送給機(jī)器人控制器，機(jī)器人執(zhí)行命令程序?qū)崿F(xiàn)抓取動(dòng)作。系統(tǒng)檢測任務(wù)利用視覺軟件來完成，通過計(jì)算機(jī)處理，只選擇反面朝上工件作為目標(biāo)工件。圖2為本文的系統(tǒng)工作流程示意圖。

3.1 相機(jī)標(biāo)定

圖1：機(jī)器人視覺檢測系統(tǒng)平臺(tái)

圖2：系統(tǒng)工作流程示意圖

圖3：標(biāo)定九宮格模板圖

相機(jī)標(biāo)定是一種利用所拍攝到工作區(qū)域的二維圖像信息來建立其與目標(biāo)工件三維空間位置坐標(biāo)對應(yīng)關(guān)系的技術(shù)，是識(shí)別并定位目標(biāo)物的基礎(chǔ)也是最重要的工作之一。基于視覺的工業(yè)機(jī)器人檢測系統(tǒng)使用的是單目相機(jī)，標(biāo)定的目的是尋找相機(jī)的內(nèi)外參數(shù)。一般來說，相機(jī)的標(biāo)定可以分為兩種方法：自標(biāo)定和依賴于參照物標(biāo)定。相機(jī)自標(biāo)定是通過拍攝周圍物體，依據(jù)數(shù)字圖像處理相關(guān)方法以及幾何計(jì)算來調(diào)節(jié)相機(jī)參數(shù)，標(biāo)定結(jié)果往往誤差較大，不適用于高精度的應(yīng)用場合。依靠參照物的相機(jī)標(biāo)定相比自標(biāo)定方法精度更高，通過相機(jī)成像，依據(jù)數(shù)字圖像處理方法，空間計(jì)算相機(jī)的內(nèi)外參數(shù)。本文采用依賴于參照物的方式進(jìn)行相機(jī)標(biāo)定。

圖4：相機(jī)標(biāo)定結(jié)果圖

圖5：圖形化開發(fā)平臺(tái)功能模塊部分示意圖

圖6：模板匹配結(jié)果圖

通過相機(jī)標(biāo)定來獲取攝像機(jī)的內(nèi)參和外參矩陣，同時(shí)得到每一副標(biāo)定圖像的旋轉(zhuǎn)和平移矩陣，內(nèi)參和外參可對智能相機(jī)拍攝的圖像進(jìn)行矯正，得到畸變相對較小的圖像。相機(jī)標(biāo)定以小孔成像為基本模型，成像模型以相機(jī)坐標(biāo)系作為中介，連接空間物體表面某點(diǎn)的三維世界坐標(biāo)系與二維圖像平面坐標(biāo)系，具體可分為圖像坐標(biāo)到相機(jī)坐標(biāo)的內(nèi)部參數(shù)標(biāo)定和相機(jī)坐標(biāo)到世界坐標(biāo)的外部參數(shù)標(biāo)標(biāo)定兩個(gè)過程。

本文采用九宮格標(biāo)定圖作為標(biāo)定模板，如圖3所示，圖片像素為320×480，實(shí)際測量九宮格兩點(diǎn)縱橫距離為30mm，依據(jù)小孔成像原理，可得出內(nèi)參矩陣K1，可將其從相機(jī)坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系上。

其中：(x0,y0)是圖像平面上的像素坐標(biāo)，fx,fy為相機(jī)透鏡的物理焦距長度與成像儀的每個(gè)單元尺寸sx,sy的乘積，s 為坐標(biāo)軸傾斜參數(shù)，理想情況下為零。

對相機(jī)進(jìn)行外部參數(shù)標(biāo)定，即可完成世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換，這是一個(gè)剛體變換的過程，只涉及旋轉(zhuǎn)和平移動(dòng)作。因此外參矩陣K2是旋轉(zhuǎn)矩陣R 和偏移矩陣T 的變換：

其中：(XC,YC,ZC),( XW,YW,ZW) 分別是相機(jī)坐標(biāo)系和世界坐標(biāo)系下的對應(yīng)位置坐標(biāo)，R是3×3 的正交單位矩陣，T 是三位平移向量，是1×3 的零向量，外參矩陣K2為4×4矩陣，只與相機(jī)外部參數(shù)有關(guān)。

實(shí)驗(yàn)計(jì)算內(nèi)、外參數(shù)矩陣即可完成相機(jī)標(biāo)定，結(jié)果圖如圖4。由于標(biāo)定出的標(biāo)定板世界坐標(biāo)系的原點(diǎn)與實(shí)際工業(yè)機(jī)器人坐標(biāo)系的原點(diǎn)（已被固定）不同，需利用示教器將工業(yè)機(jī)器人移動(dòng)到與標(biāo)定板原點(diǎn)重合處后進(jìn)行平移，調(diào)整計(jì)算使結(jié)果正確。

3.2 目標(biāo)定位檢測

目標(biāo)檢測定位是機(jī)器人實(shí)現(xiàn)自動(dòng)抓取的基礎(chǔ)，目前存在兩種目標(biāo)檢測的算法：基于模板匹配和基于特征匹配。考慮本文所研究的機(jī)器人抓取系統(tǒng)的應(yīng)用場景，目標(biāo)為統(tǒng)一鋁制名片盒（盒面為矩形），故本文采用基于模板匹配的目標(biāo)檢測定位方法，計(jì)算獲取目標(biāo)工件的中心點(diǎn)坐標(biāo)及其姿態(tài)。

本研究所使用智能相機(jī)配套搭載與其相適應(yīng)的圖形化開發(fā)平臺(tái)，其中包含有圖像采集、上傳、校準(zhǔn)工具、通訊工具、定位工具、預(yù)處理工具、測量工具和檢測工具等功能模塊，如圖5所示，為機(jī)器人抓取工件中進(jìn)行目標(biāo)的定位檢測提供了工具。該圖形化開發(fā)平臺(tái)與其他大多數(shù)圖像處理軟件相比較，有方便函數(shù)調(diào)用的優(yōu)點(diǎn)，只需根據(jù)實(shí)際使用的情況進(jìn)行搭建合理流程，調(diào)整模塊參數(shù)再進(jìn)行編譯運(yùn)行即可完成目標(biāo)定位檢測的任務(wù)。

3.2.1 目標(biāo)工件中心點(diǎn)坐標(biāo)

基于模板匹配的目標(biāo)檢測定位方法主要是將一個(gè)包含目標(biāo)形狀的圖像與相機(jī)采集圖像進(jìn)行匹配，其中獲取目標(biāo)工件（名片盒）中心點(diǎn)位置坐標(biāo)的步驟如下：

（1）設(shè)置學(xué)習(xí)區(qū)域。在圖像中設(shè)置學(xué)習(xí)的感興趣區(qū)域，包括區(qū)域的大小和位置信息，使該區(qū)域盡可能貼近圍繞目標(biāo)工件模型即名片盒子的邊緣，選擇該區(qū)域作為模板區(qū)域。

（2）設(shè)置搜索參數(shù)。針對名片盒在目標(biāo)區(qū)域內(nèi)的擺放位置是任意姿態(tài)的情況，需要設(shè)置搜索限制角度參數(shù)，該角度參數(shù)是搜索過程中允許旋轉(zhuǎn)的最大限度。

（3）設(shè)置模型位置參考點(diǎn)。名片盒模型中心點(diǎn)是機(jī)器手臂要抓取的位置點(diǎn)，學(xué)習(xí)區(qū)域貼近名片盒邊緣，故可將學(xué)習(xí)區(qū)域的中心位置點(diǎn)作為模型位置的中心點(diǎn)。

如圖6a 所示是學(xué)習(xí)模板，在工作區(qū)域放置名片盒的任意位姿相當(dāng)于在此學(xué)習(xí)模板的基礎(chǔ)上平移旋轉(zhuǎn)，用該學(xué)習(xí)模板進(jìn)行匹配可得到名片盒的位置中心點(diǎn)坐標(biāo)信息。圖6b 是經(jīng)過學(xué)習(xí)模板匹配定位識(shí)別的示意圖。

3.2.2 學(xué)習(xí)掩膜區(qū)分工件正反面

本文的研究目標(biāo)是利用標(biāo)記區(qū)分待激光打印名片盒的正反面，如圖7所示將名片盒背面做黑色標(biāo)記，以此區(qū)分工件的正反面，機(jī)器人抓取工作區(qū)域內(nèi)的帶黑色標(biāo)記名片盒，在激光打標(biāo)區(qū)設(shè)定位置翻轉(zhuǎn)手臂，使名片盒正面朝上后完成激光打標(biāo)任務(wù)。

圖像處理中對待處理的圖像進(jìn)行全部或局部遮擋來控制處理的區(qū)域或者過程，本文使用帶掩膜的學(xué)習(xí)模板，掩膜在這里起到屏蔽作用，用掩膜對圖像上的某些區(qū)域作屏蔽使其不參加處理或不參加處理參數(shù)的計(jì)算。采集帶黑色標(biāo)記的名片盒圖像提取其中的感興趣區(qū)域，利用圖形化開發(fā)平臺(tái)中帶掩膜學(xué)習(xí)模板模塊設(shè)置學(xué)習(xí)模板，設(shè)置參數(shù)，擦除其中的黑色區(qū)域剪切模板保存使用。計(jì)算機(jī)處理智能相機(jī)采集到的工作區(qū)域圖像，使用帶掩膜學(xué)習(xí)模板進(jìn)行模板匹配定位目標(biāo)工件，視野圖片中有黑色標(biāo)記的名片盒為待機(jī)器人抓取的目標(biāo)工件，無標(biāo)記的名片盒將不做處理。

3.3 機(jī)器人抓取運(yùn)動(dòng)

本研究所用的六自由度工業(yè)機(jī)器人開發(fā)模式采用WinCE 嵌入式系統(tǒng)標(biāo)準(zhǔn)開發(fā)模式：在宿主計(jì)算機(jī)上進(jìn)行程序開發(fā)，通過以太網(wǎng)將可執(zhí)行程序下載到GUC 一體化嵌入式運(yùn)動(dòng)控制器中使用，程序中包含IO 指令、控制指令、移動(dòng)指令、演算指令等。常用的指令如：

JUMP 跳轉(zhuǎn)指令；

CALL 調(diào)用子程序指令；

IF ELSE WHILE PAUSE判斷暫停語句。

示教器通過編程，使用這些指令來控制機(jī)器人的運(yùn)動(dòng)從而完成期望的系列動(dòng)作，部分程序代碼如圖8所示。

4 實(shí)驗(yàn)分析

本研究的工業(yè)機(jī)器人視覺檢測系統(tǒng)使用國產(chǎn)某型號六自由度工業(yè)機(jī)器人、某型號工業(yè)智能相機(jī)和激光打標(biāo)機(jī)，通過以太網(wǎng)進(jìn)行數(shù)據(jù)通訊，通過智能相機(jī)的配套軟件圖形化開發(fā)平臺(tái)進(jìn)行圖片處理，實(shí)現(xiàn)機(jī)器人的檢測抓取動(dòng)作。為了驗(yàn)證本文所研究的使用帶掩膜學(xué)習(xí)模板進(jìn)行帶黑色標(biāo)記的工件區(qū)分系統(tǒng)的實(shí)際效果及可行性，做出以下實(shí)驗(yàn)。本系統(tǒng)可準(zhǔn)確的完成圖像采集、顯示、相機(jī)標(biāo)定、模板采集、目標(biāo)定位、機(jī)器人控制的模塊功能。

如圖9所示，在試驗(yàn)臺(tái)工作區(qū)內(nèi)同時(shí)擺放多個(gè)工件，運(yùn)行機(jī)器程序，在計(jì)算機(jī)端觀察相機(jī)識(shí)別圖像處理情況，發(fā)現(xiàn)在窗口中，每次機(jī)器進(jìn)行定位抓取時(shí)均能抓取帶有黑色標(biāo)記的名片盒，且黑色標(biāo)記的形狀不會(huì)影響實(shí)驗(yàn)結(jié)果，但黑色標(biāo)記的整塊面積要制定合適的大小，當(dāng)超過這個(gè)數(shù)值時(shí)，將不能完成正反面區(qū)分的工作任務(wù)。定位方面，與實(shí)際位置坐標(biāo)的誤差在+1mm 之內(nèi)，姿態(tài)角度的誤差在+1°之內(nèi)，精度值滿足實(shí)際生產(chǎn)需求。綜上，實(shí)驗(yàn)結(jié)果表明本文的基于視覺的工業(yè)機(jī)器人檢測系統(tǒng)是具有實(shí)際的研究價(jià)值。

5 結(jié)語

工業(yè)機(jī)器人視覺檢測系統(tǒng)的研究目的在于有針對性的提升工廠生產(chǎn)效率。當(dāng)工廠收到云端新訂單任務(wù)，MES 系統(tǒng)進(jìn)行計(jì)劃排產(chǎn)。本文基于一套云端激光打標(biāo)系統(tǒng)進(jìn)行研究，結(jié)合計(jì)算機(jī)視覺技術(shù)知識(shí)，利用帶掩膜學(xué)習(xí)模板進(jìn)行目標(biāo)匹配的方法實(shí)現(xiàn)了對規(guī)則的目標(biāo)工件正反面區(qū)分，達(dá)到預(yù)期檢測效果。本文所研究的機(jī)器人檢測系統(tǒng)可以應(yīng)用在實(shí)際的生產(chǎn)環(huán)境中，選擇正確的工件，提高加工產(chǎn)品的效率和質(zhì)量。總的來說，基于視覺的工業(yè)機(jī)器人檢測系統(tǒng)是機(jī)器視覺技術(shù)和機(jī)器人控制技術(shù)的結(jié)合，是工業(yè)領(lǐng)域生產(chǎn)過程由自動(dòng)化向數(shù)字化、智能化發(fā)展的必經(jīng)之路。

圖7：帶掩膜學(xué)習(xí)模板設(shè)置圖

圖9：模板匹配結(jié)果圖