一種應(yīng)用于法蘭盤裝配的定位方法

楊澤偉，祁宇明，2

（1.天津職業(yè)技術(shù)師范大學(xué)機(jī)器人及智能裝備研究院，天津 300350；2.天津職業(yè)技術(shù)師范大學(xué)天津市智能機(jī)器人技術(shù)及應(yīng)用企業(yè)重點(diǎn)實(shí)驗室，天津 300350）

隨著信息科學(xué)通信技術(shù)的發(fā)展及在制造業(yè)中的廣泛應(yīng)用，工業(yè)制造相關(guān)生產(chǎn)正朝著智能化、自動化的方向發(fā)展[1]，工業(yè)機(jī)器人在其中起到了重要作用。傳統(tǒng)的工業(yè)機(jī)器人只能按照已規(guī)劃好的軌跡運(yùn)行，主要應(yīng)用于一些結(jié)構(gòu)化情景，在噴涂、拋磨、裝配等非結(jié)構(gòu)化場景中，仍需人工配合作業(yè)，自動化程度不高[2]。而機(jī)器人結(jié)合視覺傳感器后，可以對目標(biāo)工件進(jìn)行定位，提高了機(jī)器人在裝配等作業(yè)場景中的自動化程度。現(xiàn)階段，在工業(yè)領(lǐng)域中應(yīng)用的定位方法主要有基于點(diǎn)特征類算法[3-5]、基于模板匹配算法[6-7]和基于深度學(xué)習(xí)類算法[8]。近年來，基于深度學(xué)習(xí)的目標(biāo)檢測與定位算法成為主流方法，此類算法常用的有R-CNN、Fast-RCNN、Faster-R-CNN、YOLO、SSD等，這些算法與傳統(tǒng)方法相比，雖然精度高，對遮擋、噪聲、光照有較強(qiáng)的魯棒性，但是訓(xùn)練時計算機(jī)所需內(nèi)存空間大，檢測效率低，定位精度依賴于訓(xùn)練模型的精確度，這極大地限制了其應(yīng)用[9]。針對法蘭盤的形狀特點(diǎn)，本文提出一種基于單目相機(jī)的定位方法。該方法可以快速地對法蘭盤進(jìn)行定位，解決了當(dāng)法蘭盤在傳送帶上隨意擺放時法蘭盤的定位問題，同時為法蘭盤和圓盤類工件的定位問題提供了思路。

1 圖像預(yù)處理

1.1 工件圖像二值化

工業(yè)相機(jī)采集到的圖像為RGB彩色圖像，對三通道依次進(jìn)行處理耗時較長。為了滿足系統(tǒng)的實(shí)時性，采用均值加權(quán)法將原始圖像灰度化為單一通道的圖像。因需使用連通域分析對法蘭盤的孔洞特征進(jìn)行提取，故先將圖像進(jìn)行二值化處理。Qtsu自動閾值算法對灰度直方圖為雙峰分布的圖像分割效果較好，且計算量較小，故本文采用Qtsu自動閾值法對圖像進(jìn)行二值化。Qtsu自動閾值法將0～255的每個整數(shù)值先假設(shè)為閾值，首先計算這256個值作為閾值時，前景與背景的灰度級方差，然后計算前景方差與背景方差的加權(quán)和，加權(quán)和最小的灰度值為該圖像的分割閾值[10]。二值化后的圖像中存在一些小的弧形連通域，會對孔洞特征的提取造成誤差，故將二值化的圖像做開運(yùn)算，將一些小連通域消除，減少面積較小的連通域?qū)B通域分析的干擾[11]。預(yù)處理的結(jié)果如圖1所示。其中，圖1（d）為對二值化進(jìn)行開運(yùn)算后的圖像，是將圖1（c）中的細(xì)小連通域去掉的結(jié)果。

圖1 圖像預(yù)處理

1.2 工件圖像邊緣檢測

常用的像素級邊緣提取算法有Sobel算子、Canny算子、LOG算子、Robert算子等。其中，Canny算子是一種滿足最有準(zhǔn)則的邊緣算子，其檢測結(jié)果包括了更多的邊緣信息[12]。使用Canny算子提取到像素級邊緣，為了提高定位的精度，需要對得到的邊緣進(jìn)一步處理得到亞像素邊緣。目前，亞像素邊緣提取的方法主要有矩方法、曲線擬合法、插值法。其中，矩方法的精度較高，本文使用矩方法中的Zernike矩進(jìn)行亞像素邊緣細(xì)化。亞像素邊緣階躍模型如圖2所示。圖2中：h為背景的灰度值；k為階躍灰度；l為圓心與邊緣的垂直距離；Φ為x軸與邊緣垂線的夾角。

圖2 亞像素邊緣階躍模型

Zernike的掩模為5×5，根據(jù)文獻(xiàn)[13]的方法，計算出h、k、l、Φ等參數(shù)后，通過式（1）選擇滿足條件的邊緣點(diǎn)

式中：μ1為第1類中k的平均值；μ2為第2類中k的平均值；μ為所有k的平均值。

計算類間方差

當(dāng)σ取得最小值時，得到的閾值為最佳閾值，也就是ε的最佳取值。由于模板的放大效應(yīng)，單位圓的半徑變?yōu)镹/2，修正后的亞像素邊緣坐標(biāo)為

式中：（xs，ys）為亞像素邊緣；（x，y）為Canny算子提取的邊緣；N為模板的大小。

亞像素邊緣提取的結(jié)果如圖3所示。

圖3 亞像素邊緣

1.3 孔洞特征提取

先對二值化后的圖像進(jìn)行連通域標(biāo)注，得到所有連通域后，通過面積作為閾值得到法蘭盤的孔洞區(qū)域。連通域標(biāo)記算法主要有像素標(biāo)記法、區(qū)域增長等。本文采用八鄰域連通域標(biāo)注[14]，連通域標(biāo)注的結(jié)果如圖4（a）所示。將通過面積閾值得到的孔洞區(qū)域設(shè)為ROI區(qū)域，在每個感興趣區(qū)域內(nèi)提取輪廓，根據(jù)輪廓點(diǎn)集分別計算它們的細(xì)長度。細(xì)長度是基于區(qū)域的形狀描述，使用旋轉(zhuǎn)卡殼法[15]得到ROI區(qū)域輪廓的最小外接矩形如圖4（b）所示。

圖4 孔洞特征提取

用其長邊除以短邊得到細(xì)長度。圓孔的細(xì)長度接近1，而長圓孔的細(xì)長度＞1，因此可以通過比較細(xì)長度識別法蘭盤上的圓孔與長圓孔。

通過預(yù)處理得到工件的二值化圖像，對二值化圖像進(jìn)行邊緣提取后，得到法蘭盤的亞像素邊緣，提取的邊緣用于最小二乘擬合，并對圖像的孔洞特征進(jìn)行提取，得到的孔洞特征用來對法蘭盤的旋轉(zhuǎn)角度進(jìn)行粗定位。

2 工件定位

2.1 坐標(biāo)系轉(zhuǎn)換

為了實(shí)現(xiàn)機(jī)械臂分揀裝配工件的任務(wù)，需要進(jìn)行攝像機(jī)標(biāo)定。將投影到相機(jī)平面的像素坐標(biāo)點(diǎn)投影到三維世界坐標(biāo)系中，確定相機(jī)坐標(biāo)系與世界坐標(biāo)系的相互轉(zhuǎn)換關(guān)系。本文相機(jī)標(biāo)定的模型為針孔模型，像素坐標(biāo)與世界坐標(biāo)系的映射關(guān)系為

式中：ZC為尺度參數(shù)；u、v為像素坐標(biāo)；XW、YW、ZW為世界坐標(biāo)；fx、fy、u0、v0均為相機(jī)內(nèi)參數(shù)；R為旋轉(zhuǎn)矩陣；T為平移矩陣；R與T均為相機(jī)的外參數(shù)矩陣。

法蘭盤的厚度是已知的，故此時ZW相當(dāng)于已知。先將參數(shù)矩陣合并為

再將ZW提取出來，得到

此時等式兩邊向量的維數(shù)相同，在等式兩邊乘以參數(shù)矩陣的逆矩陣得到像素坐標(biāo)中的點(diǎn)對應(yīng)的世界坐標(biāo)。

2.2 位置檢測

由于法蘭盤突出法蘭的邊耳輪廓會對圓的擬合造成誤差，需要將邊耳輪廓去除。先使用Shi Tomasi角點(diǎn)檢測算法[16]將法蘭盤邊耳輪廓處的4個拐點(diǎn)檢測出來，拐點(diǎn)提取如圖5所示。

圖5 拐點(diǎn)提取

檢測出4個拐點(diǎn)后計算其中1個拐點(diǎn)與其他拐點(diǎn)之間的距離，然后對求出的距離進(jìn)行排序，計算其中距離排在中間的點(diǎn)與該點(diǎn)之間連線的直線方程，直線方程為

對輪廓中的像素點(diǎn)進(jìn)行約束，約束條件為

式中：（x，y）為輪廓里像素點(diǎn)的坐標(biāo)。

將不滿足上式的像素點(diǎn)刪除，即將2條直線包圍區(qū)域內(nèi)的像素點(diǎn)去除掉，得到的輪廓如圖6所示。

圖6 去除邊耳后的輪廓

圓擬合常用的方法有霍夫圓檢測法、最小二乘擬合法、代數(shù)擬合法等。霍夫圓檢測法雖然可以檢測出圓，但其存在計算量較大，檢測精度不高等缺點(diǎn)。代數(shù)擬合法雖然精度較高，但計算量較大，難以滿足實(shí)時性的要求。基于最小二乘法圓擬合算法可以較好地提取圓信息[17]。因此，本文使用最小二乘法對邊緣像素進(jìn)行圓擬合。圓的一般方程為

式中：a、b、c為3個待求的未知量。

待擬合的點(diǎn)集為1.2節(jié)通過Zernike矩方法得到的輪廓像素點(diǎn)集（xi，yi），i∈（1，2，3…n），n為邊緣輪廓像素點(diǎn)的個數(shù)。殘差平方和F（a，b，c）可以表示為

為了得到使殘差平方和最小的a、b、c 3個參數(shù)，對3個未知參數(shù)求偏導(dǎo)，并令其值為0，其計算式為

將式（9）代入式（10）中，得

將擬合點(diǎn)集即邊緣點(diǎn)集（xi，yi）代入式（11）中，得到a、b、c參數(shù)的三元一次方程，將其求解得到a、b、c未知參數(shù)的值，再通過式（12）求得圓心和半徑的值為圓擬合的結(jié)果如圖7所示。

圖7 最小二乘擬合結(jié)果

得到中心點(diǎn)坐標(biāo)后，通過2.1節(jié)中的坐標(biāo)轉(zhuǎn)換得到法蘭盤中心點(diǎn)在世界坐標(biāo)系中的坐標(biāo)位置。

2.3 旋轉(zhuǎn)角度檢測

為了使機(jī)械臂將工件放置在正確位置，需要獲取工件的姿態(tài)信息，由于法蘭盤的形狀對稱，水平地放置在傳送帶上，故只需獲取法蘭盤繞其中心軸的旋轉(zhuǎn)角度，其具體步驟如下。

（1）旋轉(zhuǎn)角粗定位

在1.3節(jié)已識別出長圓孔區(qū)域，長圓孔中心位置的坐標(biāo)值通過統(tǒng)計特征矩計算，長圓孔的中心即其重心，重心的計算公式為

式中：mpq為像素點(diǎn)橫坐標(biāo)p次方與像素縱坐標(biāo)值q次方的積分；P為長圓孔區(qū)域的像素點(diǎn)集；xc、yc分別為長圓孔重心的橫、縱坐標(biāo)。

根據(jù)重心坐標(biāo)計算通過2個重心直線的傾斜角度，該傾角為輸出法蘭盤旋轉(zhuǎn)角度的粗定位。傾角θ的計算公式為

式中：（xc1，yc1）、（xc2，yc2）分別為2個長圓孔重心的橫、縱坐標(biāo)。

（2）旋轉(zhuǎn)角精定位

本文使用基于區(qū)域灰度值的模板匹配對輸出法蘭盤的旋轉(zhuǎn)角度精定位，該方法具有較高的魯棒性，是將模板從左到右，從上到下與待檢測圖片中與模板重合的部分進(jìn)行相似度計算。本文采用歸一化互相關(guān)算法——NCC算法，NCC算法對光照強(qiáng)度的線性變化適應(yīng)性強(qiáng)，抗干擾性能較好[18]，其計算公式為

式中：R為待檢測圖像與模板重合的部分與模板圖像的相似度；（x，y）為待檢測圖像中被模板覆蓋區(qū)域左上角的像素點(diǎn)；n、m為模板圖像的高與寬；I（x+i，y+j）為待檢測圖像中像素點(diǎn)（x+i，y+j）的像素值；T（i，j）為模板圖像中像素點(diǎn)（i，j）的像素值；Iˉ為待檢測圖像被模板圖像覆蓋區(qū)域的平均像素值；Tˉ為模板圖像素的平均值。

該方法較明顯的缺陷是當(dāng)工件發(fā)生旋轉(zhuǎn)時，模板圖像不能準(zhǔn)確地匹配出待檢測圖片中要匹配的位置，造成機(jī)械臂無法抓取到工件，從而使算法失效。因此，對該算法進(jìn)行改進(jìn)，將輸出法蘭盤的灰度圖像旋轉(zhuǎn)[θ-1°，θ-0.9°，θ-0.8°，…，θ+0.9°，θ+1°]，圖像旋轉(zhuǎn)的步長為0.1°，步長太大會影響定位的精度，而步長太小會增加計算量和系統(tǒng)處理時間，故選擇步長為0.1°，θ為上節(jié)中得到的直線傾角，然后將旋轉(zhuǎn)得到的20張圖像再與水平位置子圖進(jìn)行匹配，水平位置子圖如圖8所示。

圖8 水平位置子圖

匹配后每幅圖像都會得到一個最大的R值，將得到的20個R值進(jìn)行比較，R值最大的圖像就是與水平子圖匹配結(jié)果最好的圖像，其角度β就是工件與水平位置的角度，即工件繞其中心軸的旋轉(zhuǎn)角度。模板匹配結(jié)果如圖9所示。

圖9 模板匹配結(jié)果

對法蘭盤進(jìn)行定位得到法蘭盤中心的空間坐標(biāo)及法蘭盤繞軸心的旋轉(zhuǎn)角度，從而得到工業(yè)機(jī)器人的抓取位置及放置時機(jī)械臂末端工具的旋轉(zhuǎn)角度。

3 實(shí)驗

本文選用型號為MH2520S的工業(yè)鏡頭，該鏡頭焦距為25 mm，工業(yè)相機(jī)為大華12CG-E面陣彩色相機(jī)，相機(jī)的分辨率為1 280×960。相機(jī)固定在拍攝位置時，拍攝法蘭盤平面的視野為80 mm×60 mm，此時相機(jī)的拍攝精度為0.25 mm/pixel。使用Intel Core CPU，16 GB RAM的計算機(jī)平臺對圖像進(jìn)行處理，軟件測試平臺為Pycharm及OpenCV4.4庫。為驗證本文提出的基于單目相機(jī)的定位方法的有效性，將工件分別旋轉(zhuǎn)至-90°、-45°、0°、45°、90°，并擺放在不同位置，通過工業(yè)相機(jī)采集工件在這5個角度的圖像。通過對圖像進(jìn)行處理得到工件中心位置和繞主軸的旋轉(zhuǎn)角度，將其與工件的實(shí)際旋轉(zhuǎn)角度和位置進(jìn)行比較，算法有效性驗證如表1所示。

表1 算法有效性驗證

由表1可知，旋轉(zhuǎn)角度最大誤差為0.1°，平均誤差為0.08°，中心位置的定位誤差＜0.3 mm可以滿足工件裝配的精度。根據(jù)表1中程序運(yùn)行時間可知程序5次運(yùn)行的平均總時間為377.54 ms，說明本文的方法能夠快速定位，并獲得法蘭繞主軸的旋轉(zhuǎn)角度，滿足了機(jī)械臂對法蘭盤抓取和裝配的速度要求。

為了驗證本文所提方法的穩(wěn)定性，將法蘭盤隨意擺放在傳送帶上，采集50張?zhí)幱诓煌恢玫姆ㄌm盤圖像，使用采集到的圖像對其進(jìn)行定位，得到的算法穩(wěn)定性驗證如表2所示。

表2 算法穩(wěn)定性驗證

由表2可知，在多次測試后，平均定位誤差均較小，說明算法的穩(wěn)定性能較高。

4 結(jié)語

本文提出一種基于單目相機(jī)的快速識別及位姿估計方法。該方法可以對傳送帶上任意擺放的法蘭盤進(jìn)行快速定位：首先對法蘭盤進(jìn)行亞邊緣像素提取，然后使用最小二乘法對法蘭盤邊緣進(jìn)行圓擬合，實(shí)現(xiàn)了對法蘭盤中心的精確定位；通過模板匹配法獲得法蘭盤繞主軸的旋轉(zhuǎn)角度。本算法計算量小，位姿檢測用時少，精度高。本文所使用的方法還可以應(yīng)用到處理不同的法蘭盤和圓盤形工件上。需要指出的是，由于單目相機(jī)只能提取較少的圖像信息，下一步的研究將使用基于雙目視覺的位姿估計算法，利用本文提取出的特征點(diǎn)對法蘭盤的6D位姿進(jìn)行估計。