一種面向機(jī)器人抓取的鉚釘視覺識別與定位測量方法

王菲兒,姜濤,朱磊,陳胤竹,金子陽

(宿遷學(xué)院 機(jī)電工程學(xué)院,江蘇 宿遷 223865)

0 引言

抽芯鉚釘是航空航天領(lǐng)域常用的連接件,在飛機(jī)表面有大量的鉚釘,采用人工鉚接效率低、費(fèi)時而且價格昂貴,利用工業(yè)機(jī)器人進(jìn)行鉚接工作,節(jié)省了大量的時間和勞動力,提高了自動化水平。視覺系統(tǒng)在零件尺寸測量方面應(yīng)用越來越廣泛,也產(chǎn)生了視覺引導(dǎo)機(jī)器人抓取技術(shù)的研究和應(yīng)用[1-2]。利用視覺系統(tǒng)作為測量設(shè)備,對抽芯鉚釘進(jìn)行測量和定位,然后將測量到的位姿信息通過標(biāo)定變換到機(jī)器人坐標(biāo)系下[3],控制機(jī)器人進(jìn)行抓取,對提升自動鉚接效率具有重要意義。

大量的鉚釘散亂地堆疊在盒子容器中,需要識別與分割出鉚釘輪廓,對視覺識別與定位是個挑戰(zhàn)。針對具有特殊結(jié)構(gòu)的視覺測量,主要難點在于在圖像中提取被測特征。目前基于視覺或光學(xué)的鉚釘檢測方法主要集中在研究端面尺寸、平齊度等參數(shù)的測量。例如,王德重等[4]提出了利用雙目多線結(jié)構(gòu)光系統(tǒng)進(jìn)行鉚釘平齊度的測量方法,該方法通過重建鉚釘釘頭輪廓三維坐標(biāo),進(jìn)行鉚釘端面輪廓尺寸參數(shù)測量。該方法是基于三維點云處理的方法,較難實現(xiàn)自動化測量。類似地,國榮輝等[5]提出基于圖像-點云映射的鉚釘平齊度測量方法,提升了鉚釘測量的效率,其點云分割效果依賴于圖像處理結(jié)果。謝松樂[6]研制了基于機(jī)器視覺的鉚釘薄板幾何參數(shù)測量系統(tǒng),實現(xiàn)了鉚釘連接處尺寸特征的測量。XIE Q等[7]提出了一種基于三維點云的鉚釘端面尺寸自動分割與測量方法,但是其依賴大量的鉚釘真實端面點云,較為耗時。同樣,WANG Y F等[8]利用結(jié)構(gòu)光測量系統(tǒng)重建出鉚釘端面點云,然后從點云中提取特征得到鉚釘尺寸信息。除了鉚釘?shù)亩嗣娉叽?鉚釘整體尺寸測量對于確定鉚釘工藝參數(shù)具有重要意義,JIANG T等[9]研究了基于雙目的鉚釘骨架線三維重建方法,其可以得到鉚釘釘頭尺寸及鉚釘?shù)钠D(zhuǎn)角度,便于后續(xù)鉚釘分揀處理。石雙江等[10]研發(fā)了一種基于視覺測量的鉚釘分揀系統(tǒng),實現(xiàn)了鉚釘尺寸測量,但是其鉚釘圖像較為理想,在復(fù)雜背景下將失去效果。胡江濤[11]研制了一種基于視覺的鉚釘尺寸和缺陷檢測系統(tǒng),可實現(xiàn)鉚釘內(nèi)徑、埋頭角度、外圓直徑、表面缺陷等特征參數(shù)的測量。該測量系統(tǒng)魯棒性較差,對于有重疊交叉的鉚釘圖像處理效果有待提升。綜上所述,目前采用機(jī)器視覺進(jìn)行鉚釘尺寸測量的方法中,針對散堆抽芯鉚釘尺寸測量的研究較少,故面向自動化引導(dǎo)抓取的鉚釘測量系統(tǒng)仍具有較大研究空間。

本文針對機(jī)器人自動化鉚釘識別抓取應(yīng)用,研制了融合視覺測量的末端抓取機(jī)構(gòu),提出了一種基于多重腐蝕和膨脹算子的鉚釘釘頭圖像分割方法,基于PCA算法進(jìn)行抓取方向的提取和校正,利用單應(yīng)矩陣對機(jī)器人視覺系統(tǒng)進(jìn)行標(biāo)定,并開展實驗驗證了鉚釘圖像處理效果和機(jī)器人抓取效果。本文所提方法實現(xiàn)了在散堆狀態(tài)下鉚釘抓取點的定位測量,對提升機(jī)器人抓取和鉚接作業(yè)的自動化具有重要意義。

1 視覺引導(dǎo)機(jī)器人鉚釘抓取系統(tǒng)

1.1 系統(tǒng)構(gòu)成及工作原理

視覺引導(dǎo)機(jī)器人鉚釘抓取系統(tǒng)如圖1所示。主要包括1臺基于KUKA KR6 R900工業(yè)機(jī)器人,它通過6個伺服電機(jī)連接減速器、同步帶輪等驅(qū)動6個關(guān)節(jié)軸轉(zhuǎn)動,具有精度高、可編程等特點,有利于提高抽芯鉚釘抓取率,可控制錯誤率。此外系統(tǒng)還包括1臺可通過USB接口、DVI-I接口、互聯(lián)網(wǎng)及多核技術(shù)進(jìn)行連接的示教器;1臺具有無反射觸摸屏、集成USB接口、觸覺移動鍵、可熱插拔的示教器;2個Imaging工業(yè)相機(jī);1個具有黑色背景盒子容器以及自主研制的夾爪。圖1(a)中末端夾爪由1臺伺服電機(jī)通過減速器同步帶輪實現(xiàn)2個夾爪的嚙合與展開,在夾爪的兩側(cè)分別對稱設(shè)置2臺Imaging工業(yè)相機(jī),以此實現(xiàn)對于抽芯鉚釘?shù)亩ㄎ弧４送?除了傳統(tǒng)的夾取與嚙合結(jié)構(gòu),在夾具內(nèi)部設(shè)置有1個電磁裝置,使夾爪前端產(chǎn)生一定量磁場,磁場大小經(jīng)計算僅在夾爪靠近抽芯鉚釘時才具有一定吸附能力,以此方便夾爪更加迅速穩(wěn)固地夾取抽芯鉚釘。

圖1 雙目視覺輔助機(jī)器人鉚釘抓取的系統(tǒng)結(jié)構(gòu)圖

系統(tǒng)工作原理如下:雙目相機(jī)安裝在機(jī)器人末端,裝有鉚釘?shù)暮凶臃旁诠ぷ髌脚_上,鉚釘散亂放置在鉚釘盒子中。在進(jìn)行檢測與抓取控制之前,需要對整個系統(tǒng)進(jìn)行標(biāo)定。機(jī)器人每次運(yùn)動到一個示教點,觸發(fā)相機(jī)捕獲圖像,檢測出鉚釘?shù)奈蛔撕?通過標(biāo)定的轉(zhuǎn)換關(guān)系,將鉚釘位姿信息轉(zhuǎn)到機(jī)器人坐標(biāo)系下,控制機(jī)器人進(jìn)行抓取。

圖1(b)為鉚釘?shù)慕Y(jié)構(gòu)圖,抽芯鉚釘由釘頭和釘桿兩部分組成。機(jī)器人抓取的點為釘頭的e點,并且保證抓取的方向一致,針對不同的鉚釘和不同抓取次數(shù),抓取的方向均為da方向,故需要雙目測量的信息為抓取點e的坐標(biāo)和抓取角度α。

1.2 基于單應(yīng)矩陣的手眼標(biāo)定

假設(shè)散堆鉚釘近似分布在同一個平面內(nèi),則圖像平面和機(jī)器人抓取平面存在一一映射的關(guān)系。本文基于平面變換原理,采用單應(yīng)矩陣變換的方法,實現(xiàn)圖像坐標(biāo)系到機(jī)器人抓取坐標(biāo)系的標(biāo)定。單應(yīng)性變換從一個平面到另一個平面的透視投影,在相機(jī)標(biāo)定、相機(jī)成像、圖像拼接等領(lǐng)域應(yīng)用廣泛。單應(yīng)矩陣是3×3的矩陣,若兩個平面上的點(x,y)和(x′,y′)存在一一映射關(guān)系,則其單應(yīng)性變換公式如下:

(1)

式中:(x,y)、(x′,y′)分別表示原始點與對應(yīng)變換點的坐標(biāo);H為3×3單應(yīng)性矩陣。如令h33=1,則可將上式整理為Ax=b形式的矩陣方程。單應(yīng)性矩陣H的自由度為8,在相差一個尺度因子的情況下,需要4對特征點即可求解H各個元素的值,通過多組匹配點可對單應(yīng)矩陣進(jìn)行優(yōu)化:

(2)

具體實施時,在平面內(nèi)設(shè)置4個標(biāo)志點,保證4個標(biāo)志點在相機(jī)視野的同一平面內(nèi),記錄標(biāo)志點在圖像坐標(biāo)系下的坐標(biāo)。控制機(jī)器人移動,分別順序移動到標(biāo)志點中心位置,記錄此時機(jī)器人坐標(biāo)系下末端坐標(biāo)。將獲得的圖像坐標(biāo)系下和機(jī)器人坐標(biāo)系下的對應(yīng)點輸入單應(yīng)矩陣求解公式,計算出單應(yīng)矩陣數(shù)值,得到標(biāo)定結(jié)果。移動標(biāo)定板對標(biāo)定參數(shù)進(jìn)行檢驗。

2 散堆鉚釘抓取點識別與定位

本文提出了基于視覺的抽芯鉚釘測量圖像處理路線,如圖2所示。

圖2 抽芯鉚釘圖像處理算法流程圖

圖2展示了抽芯鉚釘圖像處理的路線,其主要目的是獲得鉚釘釘頭的圖像點以及鉚釘釘桿的朝向。首先,采集到圖像之后,對圖像進(jìn)行中值濾波和高斯濾波,去除圖像中的椒鹽噪聲和高斯噪聲。然后,對濾波后的圖像進(jìn)行多次腐蝕運(yùn)算,將高光部分腐蝕掉,去除了釘芯部分的圖像信息,同時保留釘頭的圖像信息。由于進(jìn)行了多次腐蝕運(yùn)算,圖像整體灰度降低,只需要設(shè)置很低的閾值即可滿足要求。接下來對圖像進(jìn)行多重膨脹操作,使得大部分釘頭圖像得到保留,再對圖像進(jìn)行查找輪廓處理,便得到圖像中所有的輪廓。為保證查找的輪廓是釘頭輪廓,進(jìn)行輪廓矩匹配。確定了釘頭輪廓之后便可以確定機(jī)器人抓取點坐標(biāo)。但是,為保證抓取方向一致性,必須確定抽芯鉚釘釘頭和釘桿的朝向。在圖像處理中,引入PCA算法,對檢測到的輪廓進(jìn)行主成分分析,并提出利用圖像掩膜相減的方法進(jìn)行主方向的校正。通過校正之后的主方向作為機(jī)器人抓取的角度。

2.1 釘頭檢測與抓取點計算

考慮到鉚釘是堆疊在黑色背景中的,并且在相對穩(wěn)定的測量環(huán)境中,圖像處理的主要目標(biāo)就是提取出鉚釘抓取部分的釘頭部分對應(yīng)的圖像。觀察鉚釘圖像可以看出,鉚釘是圓柱形,圖像具有高亮的部分,而且釘頭與釘芯亮度不同。因此,可采用形態(tài)學(xué)運(yùn)算進(jìn)行處理。

首先,對圖像進(jìn)行中值濾波和高斯濾波,去除圖像中的椒鹽噪聲和高斯噪聲。若原圖像為I0,經(jīng)過中值濾波和高斯濾波后,更新圖像I0。其次,對濾波后的圖像進(jìn)行多次腐蝕運(yùn)算。腐蝕運(yùn)算的目的是將高光部分的腐蝕掉,這樣操作的好處是去除了釘芯部分的圖像信息,同時保留了釘頭的圖像信息。鉚釘背景為黑色,利用腐蝕運(yùn)算可以將灰度較低的像素變?yōu)楹谏６x輸入圖像和輸出圖像分別為src和dst,定義5×5的腐蝕模板S。若腐蝕算子表示為⊙,腐蝕后的圖像為I1,則I1=I1(I0⊙S1)…S1,S1為腐蝕模板。接著,對圖像進(jìn)行二值化操作,二值化的閾值是需要確定的參數(shù),閾值化后的圖像I2可表示為

(3)

由于進(jìn)行了多次腐蝕運(yùn)算,圖像整體灰度降低,只需要設(shè)置很低的閾值即可滿足要求。接下來對圖像進(jìn)行膨脹操作,即I3=(I2⊕S2)…⊕S2,S2為膨脹模板。這個操作就擴(kuò)大了圖像白色區(qū)域的大小。大部分釘頭圖像得到保留,對圖像進(jìn)行查找輪廓處理,便得到圖像中所有的輪廓。最后,為保證查找的輪廓是釘頭輪廓,事先訓(xùn)練釘頭輪廓的樣本,然后將查找到輪廓的輪廓矩進(jìn)行相似度比較。

圖1中Vi(i=1,2,3)分別為鉚釘不同部分的輪廓,用Vij(xij,yij)表示對應(yīng)輪廓的圖像坐標(biāo),則釘頭部分輪廓質(zhì)心即為V1的矩心e=(xe,ye)。抓取的圖像坐標(biāo)計算完成后,利用單應(yīng)變換,可將其坐標(biāo)系轉(zhuǎn)至機(jī)器人末端坐標(biāo)系下。

2.2 基于PCA的抓取方向計算

Vij是圖像平面的一些散點,由于鉚釘結(jié)構(gòu)的特殊性,這些散點之間存在一定相關(guān)性,即散點的一個主方向與鉚釘軸線方向平行。根據(jù)PCA算法知,二維散點的主方向就是協(xié)方差矩陣的特征向量。從而,根據(jù)特征向量與圖像坐標(biāo)系的夾角可以確定α。對PCA進(jìn)行一定改進(jìn),即用SVD分解求解特征向量。由于協(xié)方差矩陣是正定矩陣,記為C=AAT=ATA。由SVD分解可知,A=USVT。其中,U是C的特征向量,V是C的特征向量,而S則是C特征值的平方根。所以,對C進(jìn)行特征值分解就等價于對A直接進(jìn)行SVD分解。這個過程省去了協(xié)方差矩陣的計算,因此效率更高。鉚釘輪廓的兩個主方向即為V=[v1,v2]。則抓取角度α=arctan(v12/v11),其中v11、v12為v1的兩個分量。

3 實驗及結(jié)果分析

3.1 釘頭定位測量結(jié)果與分析

獲得鉚釘圖像后,利用圖2的算法流程進(jìn)行鉚釘釘頭部分的識別與檢測。釘頭輪廓的檢測結(jié)果如圖3所示。

圖3 釘頭檢測圖像處理

圖3(a)是鉚釘原圖像,是鉚釘比較分散且曝光較低的情況,散堆的鉚釘之間有較少的相互遮擋。從圖3(a)可以看出,釘頭部分灰度值較高,具有較多的鉚釘且曝光較高,但是鉚釘之間的遮擋情況比較少。圖3(b)是經(jīng)過多次腐蝕處理之后,釘芯圖像幾乎消失。圖3(c)是經(jīng)過閾值化和膨脹處理,基本保留了所有的釘頭信息。圖3(d)經(jīng)過多次膨脹可以容易獲得釘頭輪廓圖3(f)。獲得鉚釘釘頭輪廓后,進(jìn)行鉚釘理想主方向檢測。以圖3(a)為例,計算所有檢測到的鉚釘位姿參數(shù)。部分鉚釘?shù)奈蛔藬?shù)據(jù)如表1所示。數(shù)據(jù)z方向相差不大,這與實際情況相符合,因為鉚釘基本位于同一個平面。

表1 34個鉚釘位姿參數(shù)

3.2 機(jī)器人抓取結(jié)果與分析

對于機(jī)器人抓取系統(tǒng),一次測量至少能準(zhǔn)確檢測到一個鉚釘,雙目測量結(jié)果可以滿足需求。根據(jù)測量結(jié)果和預(yù)先標(biāo)定的手眼矩陣,引導(dǎo)機(jī)器人進(jìn)行抓取動作。為驗證視覺引導(dǎo)機(jī)器人抓取精度,在標(biāo)定平面設(shè)置圓形標(biāo)記,通過視覺測量識別定位到圓形標(biāo)記點的圓心,然后將坐標(biāo)變換到機(jī)器人坐標(biāo)系下,控制機(jī)器人運(yùn)動。經(jīng)過圖像識別后的圓形標(biāo)志點坐標(biāo)變換到機(jī)器人坐標(biāo)系后,能夠通過控制機(jī)器人準(zhǔn)確定位到圓心處。為量化評價這一誤差,分別計算相機(jī)坐標(biāo)系下和機(jī)器人坐標(biāo)系下圓形標(biāo)志點圓心之間的位置。經(jīng)過計算得到距離誤差小于0.2mm,該精度完全可以保證鉚釘抓取。進(jìn)一步對鉚釘識別抓取進(jìn)行實驗驗證,如圖4所示。識別之后的鉚釘均能有效被抓取,說明鉚釘檢測的有效性。

圖4 機(jī)器人抓取實驗

4 結(jié)語

本文研究了面向機(jī)器人抓取的鉚釘視覺識別與定位測量方法。提出了形態(tài)學(xué)組合圖像處理方法,利用基于SVD分解的PCA算法初步確定釘頭輪廓主方向,接著利用圖像模板進(jìn)行主方向檢測。從實驗結(jié)果可以看出,本系統(tǒng)可以獲得相對穩(wěn)定的鉚釘檢測結(jié)果,測量的準(zhǔn)確度較高,機(jī)器人通過測量結(jié)果和預(yù)先標(biāo)定好的手眼矩陣可以實現(xiàn)準(zhǔn)確抓取。本文為抽芯鉚釘?shù)臋z測和定位測量提供了一種新的方法,為機(jī)器人視覺引導(dǎo)抓取提供了新的測量手段和工具。