基于機(jī)器視覺的紗籠紗桿快速定位方法

張文昌，單忠德，盧 影

(1. 機(jī)械科學(xué)研究總院集團(tuán)有限公司 先進(jìn)成形技術(shù)與裝備國家重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 北京機(jī)科國創(chuàng)輕量化科學(xué)研究院有限公司，北京 100083)

紡織染整工藝自動(dòng)化過程需要對(duì)筒子紗進(jìn)行多次移載，其載具主要采用大尺寸(直徑為1～3 m)紗籠形式，紗籠上設(shè)計(jì)有密集排布的細(xì)長紗桿(幾十根至上百根)，在使用過程中紗桿易變形，需要頻繁進(jìn)行校對(duì)，且紗籠在各工藝工位移載時(shí)存在定位誤差，對(duì)機(jī)器人實(shí)現(xiàn)紗桿上筒子紗、鎖扣等工件的自動(dòng)化取放帶來了極大的困難。目前，紗桿校正以人工為主，并通過末端夾持器的優(yōu)化設(shè)計(jì)提高取放容錯(cuò)能力[1]，120根紗桿的紗籠校對(duì)時(shí)間需要半個(gè)小時(shí)，且受人為因素影響校正可靠性差，工業(yè)生產(chǎn)中自動(dòng)取放成功率不是很理想。

機(jī)器視覺作為非接觸、高精度檢測手段，一直是國內(nèi)外學(xué)者的研究熱點(diǎn)，廣泛用于質(zhì)量檢測[2-3]、目標(biāo)識(shí)別定位[4-5]、自動(dòng)化裝配[6-7]等行業(yè)。特別地，將視覺用于機(jī)器人的機(jī)器人視覺，顯著提升了裝備的自動(dòng)化水平：如Gu等[8]針對(duì)宇航輔助機(jī)器人抓取需求提出基于區(qū)域匹配和像素偏置的雙目視覺定位方法，該方法識(shí)別效率高，顯著提高了機(jī)器人對(duì)目標(biāo)抓取的靈活性；Kuo等[9]提出通過標(biāo)定好的單目相機(jī)結(jié)合機(jī)器人末端運(yùn)動(dòng)學(xué)，實(shí)現(xiàn)機(jī)器人末端姿態(tài)的檢測方法，用于機(jī)器人編碼器無效場景下的機(jī)器人末端定位；Frank[10]提出通過相機(jī)的二維圖像數(shù)據(jù)實(shí)現(xiàn)圓柱目標(biāo)的三維定位方法，從而引導(dǎo)機(jī)器人對(duì)圓柱目標(biāo)的空間抓取操作；Romulo等[11]在協(xié)同式自主機(jī)器人應(yīng)用方面，在每個(gè)機(jī)器人上安裝1個(gè)相機(jī)，通過同時(shí)采集的圖像對(duì)，實(shí)現(xiàn)目標(biāo)的空間定位；季旭全等[12]針對(duì)大型星載設(shè)備的裝配問題，采用機(jī)器學(xué)習(xí)和雙目視覺實(shí)現(xiàn)裝配體之間的位置測量，從而引導(dǎo)機(jī)械臂完成裝配作業(yè)。針對(duì)紗籠紗桿定位問題，紗桿密集排布及使用過程中易變形的特點(diǎn)給視覺定位帶來了新的挑戰(zhàn)，若采用單次拍照識(shí)別定位所有紗桿的模式，由于紗籠尺寸太大，大范圍光照環(huán)境的一致性難以保證，紗桿識(shí)別成功率低，且定位精度不高；若對(duì)紗籠上的所有紗桿逐個(gè)進(jìn)行拍照定位，由于紗籠紗桿數(shù)量較多，必然對(duì)生產(chǎn)節(jié)拍產(chǎn)生較大影響，從而影響生產(chǎn)效率。

考慮到紗桿固定于紗籠上，可將紗籠上的密集紗桿看作一個(gè)剛體處理，雖然紗桿易變形，但其變形周期較長，一般數(shù)周或數(shù)月累計(jì)的形變量才會(huì)對(duì)生產(chǎn)造成影響。鑒于這些特點(diǎn)，本文提出一種離線檢測與在線檢測相結(jié)合的機(jī)器人視覺定位方法，離線檢測單元在非生產(chǎn)時(shí)間進(jìn)行，結(jié)合機(jī)器人動(dòng)作逐個(gè)對(duì)紗籠上所有紗桿進(jìn)行檢測定位，并將所有紗桿的位置信息記錄在數(shù)據(jù)庫中，離線檢測單元根據(jù)實(shí)際工藝不定期對(duì)紗籠進(jìn)行檢測；在線檢測單元在生產(chǎn)過程中通過檢測少數(shù)紗桿，并結(jié)合離線檢測的紗桿位置信息采用最小二乘法計(jì)算得到紗籠的整體位姿偏移，然后根據(jù)紗籠位姿偏移計(jì)算得到所有紗桿的位置信息，從而引導(dǎo)機(jī)器人完成紗桿上工件的取放作業(yè)。針對(duì)紗桿識(shí)別可能失敗的情況，結(jié)合實(shí)際應(yīng)用提出了紗桿識(shí)別失敗時(shí)的解決方案，并對(duì)在線檢測的檢測成功率進(jìn)行分析，最后通過現(xiàn)場實(shí)驗(yàn)驗(yàn)證所提方法的有效性。

1 紗籠紗桿機(jī)器人視覺系統(tǒng)構(gòu)建

1.1 機(jī)器人視覺檢測系統(tǒng)組成

紗籠紗桿機(jī)器人采用手眼(eye-in-hand)視覺控制方式，視覺攝像頭安裝在機(jī)器人末端，用于對(duì)紗桿的拍照定位，如圖1所示。生產(chǎn)工藝過程中，紗籠隨托盤進(jìn)入相應(yīng)的機(jī)器人工位，機(jī)器人在視覺系統(tǒng)引導(dǎo)下，完成紗籠紗桿上工件的取放作業(yè)。

圖1 紗籠紗桿視覺機(jī)器人Fig.1 Vision robot of yarn-bars on yarn-cage. (a) General design structure; (b) Local structure

1.2 視覺檢測系統(tǒng)標(biāo)定

相機(jī)標(biāo)定是視覺定位系統(tǒng)的關(guān)鍵，由于被測紗籠處于固定平面，紗籠紗桿機(jī)器人視覺系統(tǒng)可簡化為二維測量系統(tǒng)。結(jié)合實(shí)際應(yīng)用，相機(jī)標(biāo)定以機(jī)器人坐標(biāo)系作為世界坐標(biāo)系，忽略鏡頭畸變及安裝誤差的影響，采用線性方法對(duì)相機(jī)進(jìn)行標(biāo)定。分別建立圖像像素坐標(biāo)系O-UV和平行于機(jī)器人坐標(biāo)系的機(jī)器人末端工具坐標(biāo)系O-XY，如圖2所示。

圖2 成像模型Fig.2 Imaging model

點(diǎn)P在O-XY坐標(biāo)系下坐標(biāo)記為[X，Y]T，其成像點(diǎn)Q在O-UV坐標(biāo)系下坐標(biāo)記為[U，V]T，則有：

(1)

式中：λ為圖形坐標(biāo)系單像素尺寸，mm；θ為2個(gè)坐標(biāo)系之間的旋轉(zhuǎn)角度，rad；Tx和Ty為2個(gè)坐標(biāo)系之間x和y向的偏移量，mm。

在eye-in-hand機(jī)器人視覺系統(tǒng)下，點(diǎn)P在機(jī)器人坐標(biāo)系下的坐標(biāo)(僅考慮x和y方向)為

(2)

式中，[xr，yr]T為當(dāng)前機(jī)器人坐標(biāo)。將式(2)代入式(1)得

(3)

視覺系統(tǒng)標(biāo)定即對(duì)λ、θ、Tx和Ty的標(biāo)定。采用文獻(xiàn)[6] 的標(biāo)定方法，將單點(diǎn)標(biāo)靶固定放置在相機(jī)下方，通過機(jī)器人運(yùn)行9個(gè)位置得到9組樣本，采用最小二乘法線性擬合，即可計(jì)算得到相機(jī)參數(shù)λ和θ。由于紗籠紗桿機(jī)器人不具備旋轉(zhuǎn)功能，工程應(yīng)用時(shí)Tx和Ty通過示教得到。

1.3 紗籠紗桿識(shí)別與定位

由于紗桿桿尖特征較為突出，視覺中桿尖識(shí)別圖像處理過程采用經(jīng)典的圖像識(shí)別與定位流程，主要包括平衡去噪、圖像銳化、圖像分割，以及幾何特征分析4個(gè)環(huán)節(jié)，對(duì)于圖像處理后的二值圖像，通過連通域的長度、寬度、面積，以及圓度特征進(jìn)行桿尖的識(shí)別，得到桿尖Q的圖像坐標(biāo)[U，V]T，如圖3所示。

圖3 紗桿識(shí)別Fig.3 Yarn-bar recognition

將識(shí)別結(jié)果代入式(3)，即可計(jì)算得到紗桿桿尖在機(jī)器人坐標(biāo)系下的坐標(biāo)。

2 紗籠紗桿離線檢測

紗桿易變形，需要頻繁進(jìn)行校對(duì)，因此，需要建立紗籠紗桿數(shù)據(jù)庫，記錄紗籠紗桿的位置信息。離線檢測即在生產(chǎn)線非工作時(shí)間，通過控制機(jī)器人使得攝像頭處于紗桿上方，然后拍照識(shí)別紗桿，以這種方式逐個(gè)對(duì)紗籠上所有紗桿進(jìn)行定位檢測并將檢測結(jié)果記錄到數(shù)據(jù)庫中。受工藝等因素影響，紗桿特征不能保證完全一致，加上光線條件不均衡，視覺系統(tǒng)對(duì)紗桿識(shí)別難以實(shí)現(xiàn)100%的成功率，針對(duì)識(shí)別失敗的情況，采用人工輔助的方式進(jìn)行校準(zhǔn)，如圖4所示。

圖4 手動(dòng)選擇紗桿特征Fig.4 Manual selection of yarn-bar

紗籠上紗桿數(shù)量記為n，紗桿位置記為Pi(i=1,2,…,n)。離線檢測整體流程如圖5所示。

3 紗籠紗桿在線檢測

(4)

式中：P′i為第i號(hào)紗桿當(dāng)前位置；Pi為第i號(hào)紗桿離線檢測時(shí)記錄的位置。

在線檢測在自動(dòng)化生產(chǎn)過程中進(jìn)行，通過檢測少數(shù)幾個(gè)紗桿計(jì)算得到當(dāng)前紗籠相對(duì)于與離線檢測時(shí)的位姿偏差，結(jié)合該紗籠在離線檢測時(shí)數(shù)據(jù)庫中的紗桿位置信息，計(jì)算得到紗籠上所有紗桿的當(dāng)前位置，從而引導(dǎo)機(jī)器人完成相應(yīng)的取放作業(yè)。

3.1 在線檢測算法

圖6示出在線視覺系統(tǒng)結(jié)合機(jī)器人對(duì)預(yù)先選定的m(2

圖6 在線視覺示意圖Fig.6 Online detection view

記U={a1,a2,…，ak}(k≤m)表示檢測成功的k個(gè)紗桿，建立誤差函數(shù)：

(5)

式中：Qai=[Xai，Yai]T(1≤i≤k)，為第ai號(hào)桿的在線檢測結(jié)果；εai=[εxai，εyai]T，為第ai號(hào)桿實(shí)測位置與計(jì)算位置的偏差，包括x向偏差和y向偏差。采用高斯牛頓法，將誤差寫成

(6)

將初始參數(shù)C0=[0，0，0]代入到誤差函數(shù)，則只要k≥2即可通過最小二乘法解得：

(7)

經(jīng)j(一般取j=3即可)次迭代收斂后，即可得到最終結(jié)果：

C≈Cj=Cj-1+ΔCj-1

(8)

在線檢測流程如圖7所示。

圖7 在線檢測流程Fig.7 Online detection flow

3.2 在線檢測紗桿選擇分析

通過最小二乘法進(jìn)行平面二維點(diǎn)匹配，從而得到二者之間的旋轉(zhuǎn)平移關(guān)系，以所計(jì)算的二維點(diǎn)數(shù)據(jù)對(duì)之間的誤差平方和最小作為優(yōu)化指標(biāo)，理論上最少只需要2組數(shù)據(jù)對(duì)即可，但針對(duì)紗籠紗桿定位問題，由于機(jī)械系統(tǒng)、電控系統(tǒng)、視覺測量系統(tǒng)等各環(huán)節(jié)均存在誤差，在線檢測時(shí)選定的紗桿數(shù)目和位置對(duì)測量精度有一定的影響，其影響滿足如下規(guī)律。

1)紗桿數(shù)目：識(shí)別出的紗桿數(shù)目越多，其結(jié)果魯棒性越好。

2)紗桿位置：識(shí)別出的紗桿位置相互之間距離越大，其結(jié)果魯棒性越好。

綜合考慮，在線檢測時(shí)應(yīng)盡量選擇外圍紗桿，且結(jié)合生產(chǎn)節(jié)拍的要求，盡量選擇更多的紗桿進(jìn)行檢測。

此外，實(shí)際工程應(yīng)用中，視覺系統(tǒng)對(duì)紗籠上紗桿的定位檢測不可能100%成功，即存在誤識(shí)別與識(shí)別失敗的情況。檢測m個(gè)紗桿，其中k個(gè)檢測成功，雖然k≥2時(shí)即可實(shí)現(xiàn)紗籠的整體位姿偏差計(jì)算，但需要結(jié)合實(shí)際生產(chǎn)中紗籠定位成功率、定位精度等具體工況，選擇k的最小條件。

4 實(shí)驗(yàn)測試與應(yīng)用驗(yàn)證

采用實(shí)際生產(chǎn)中典型規(guī)格紗籠紗桿拆裝鎖扣機(jī)器人進(jìn)行實(shí)驗(yàn)，對(duì)本文所提方法進(jìn)行驗(yàn)證。鎖扣機(jī)器人重復(fù)定位精度為±0.5 mm，紗籠直徑為2 m，紗桿個(gè)數(shù)為120，其布局如圖8所示。

圖8 120個(gè)紗桿布局Fig.8 Structure of 120 yarn-bars

4.1 離線檢測測試

按照第3節(jié)所述流程對(duì)該紗籠120個(gè)紗桿進(jìn)行定位檢測，如圖9所示。

圖9 離線檢測實(shí)驗(yàn)照片F(xiàn)ig.9 Offline detection photo

離線檢測整個(gè)工藝過程約需5 min完成，其中有 8個(gè)紗桿識(shí)別失敗，通過人工輔助校準(zhǔn)完成。離線檢測完成后的數(shù)據(jù)記錄到紗籠數(shù)據(jù)庫中。

為直觀觀測離線檢測的效果，每個(gè)紗桿檢測后，機(jī)器人運(yùn)行至校準(zhǔn)位置，并拍照確認(rèn)，如圖10所示。圖中十字線為基準(zhǔn)線，圖10(a)為校準(zhǔn)時(shí)采集的照片，圖10(b)為校準(zhǔn)后機(jī)器人根據(jù)校準(zhǔn)位置調(diào)整偏差后再次采集的照片。120個(gè)紗桿在檢測后均達(dá)到了圖10所示效果，即所有紗桿定位結(jié)果準(zhǔn)確可靠。

圖10 離線檢測效果比對(duì)圖Fig.10 Contrasting figures of offline detection. (a) Picture for error detection and correction; (b) Picture after correction

4.2 在線檢測測試

在線檢測選定檢測紗籠外圍的6個(gè)紗桿，為驗(yàn)證在線檢測的有效性，人為使紗籠產(chǎn)生一定的偏差。6個(gè)紗桿定位檢測總共耗時(shí)約17 s，結(jié)果如表1所示。

表1 在線檢測數(shù)據(jù)Tab.1 Online detection data

通過第3.1節(jié)所述方法，計(jì)算紗籠整體相對(duì)于離線數(shù)據(jù)偏差：

C=[-0.000 55，6.93，0.46]T

(9)

為驗(yàn)證在線計(jì)算結(jié)果的準(zhǔn)確性，采用離線檢測的模式檢測所有紗桿的實(shí)際位置，以在線檢測計(jì)算位置與實(shí)際位置的距離偏差作為誤差衡量依據(jù)，結(jié)果如表2所示。可知，120個(gè)紗桿的位置誤差最大誤差為0.75 mm，平均誤差為0.4 mm。

按照在線檢測結(jié)果引導(dǎo)機(jī)器人完成鎖扣的安裝，120個(gè)紗桿鎖扣安裝全部成功。紗籠鎖扣安裝總共耗時(shí)約為45 min，在線視覺檢測時(shí)間為17 s，所占節(jié)拍僅為0.63%，基本可以忽略。

由于視覺系統(tǒng)對(duì)紗籠上紗桿的定位檢測不可能100%成功，從識(shí)別出的結(jié)果中分別抽取2、3、4、5個(gè)紗桿各3組，進(jìn)行紗籠的定位計(jì)算，并進(jìn)行誤差分析，結(jié)果如表3所示。可以看出，按照實(shí)驗(yàn)所選的 6個(gè)紗桿進(jìn)行在線檢測，識(shí)別出的紗桿數(shù)目不小于3時(shí)，能夠得到較高的在線檢測精度。

4.3 在線檢測紗籠成功率分析

實(shí)際生產(chǎn)中，結(jié)合實(shí)驗(yàn)結(jié)果以k≥3作為紗籠定位成功的判定條件，紗桿識(shí)別成功率記為Pg，紗籠的定位成功率為Pl，依據(jù)本文實(shí)驗(yàn)條件，則

表2 在線檢測誤差Tab.2 Error of online detection

表3 少桿數(shù)紗桿在線定位檢測結(jié)果Tab.3 Online positioning detection data of yarn-bars with few count

(10)

根據(jù)離線檢測信息，120個(gè)紗桿中8個(gè)檢測失敗，即實(shí)驗(yàn)中紗桿的檢測成功率為93.33%，代入式(10)，得到在實(shí)驗(yàn)條件下，在線檢測紗籠定位成功率為99.974%，即平均約4 000個(gè)紗籠識(shí)別失敗1次。 在實(shí)際工藝生產(chǎn)中，單個(gè)紗籠生產(chǎn)節(jié)拍一般不低于30 min，即每天不超過50個(gè)紗籠，實(shí)驗(yàn)中的在線檢測成功率可實(shí)現(xiàn)不低于80 d的正常生產(chǎn)。

實(shí)驗(yàn)結(jié)果表明了本文所提方法的有效性和實(shí)用性。目前基于本文所提方法開發(fā)的鎖扣拆裝機(jī)器人視覺系統(tǒng)在染色工廠的自動(dòng)化生產(chǎn)線上得到應(yīng)用，使用效果良好。

5 結(jié) 論

本文結(jié)合紡織印染行業(yè)紗籠紗桿的特點(diǎn)，提出一種基于機(jī)器視覺的離線檢測與在線檢測相結(jié)合的紗籠紗桿快速定位方法，得到如下主要結(jié)論：

1)離線檢測單元在非生產(chǎn)時(shí)間進(jìn)行，不占用生產(chǎn)節(jié)拍，結(jié)合機(jī)器人動(dòng)作對(duì)紗籠上所有紗桿進(jìn)行檢測定位，并將所有紗桿的位置信息記錄在數(shù)據(jù)庫中，借助人機(jī)協(xié)同，離線檢測速度快，檢測結(jié)果準(zhǔn)確可靠。

2)在線檢測單元在生產(chǎn)過程中進(jìn)行，通過檢測少數(shù)紗桿，結(jié)合離線檢測的紗桿位置信息，采用最小二乘法計(jì)算得到紗籠的整體位姿偏移，并計(jì)算每個(gè)紗桿的位置從而引導(dǎo)機(jī)器人完成紗桿上工件的取放作業(yè)。根據(jù)現(xiàn)場實(shí)驗(yàn)條件選定6個(gè)紗桿，只要成功檢測3個(gè)紗桿即可實(shí)現(xiàn)紗籠紗桿高精度定位檢測，檢測速度快，僅占用生產(chǎn)節(jié)拍的0.63%，紗籠檢測定位成功率高達(dá)99.974%，魯棒性強(qiáng)，具有顯著的工程實(shí)用價(jià)值。