復(fù)雜多針腳異型元件的視覺精密定位研究

(華南理工大學(xué) 機(jī)械與汽車工程學(xué)院, 廣州 510640)

0 引言

PCB(printed circuit board)生產(chǎn)設(shè)備主要分為插件機(jī)和貼片機(jī)兩種。插件機(jī)和貼片機(jī)分別涉及的技術(shù)為THT(through hole technology)和SMT(surface mounted technology)。異型插件機(jī)是將異型電子元件插裝到PCB的自動(dòng)化設(shè)備，其中采用的機(jī)器視覺定位是影響插裝效果的核心技術(shù)[1]。

針對(duì)異形元件，本研究團(tuán)隊(duì)目前提出了基于旋轉(zhuǎn)立體視覺的異型元件針腳定位方法[2]，該方法采用背光源照明，獲取異型元件針腳不同角度的側(cè)面圖像，通過旋轉(zhuǎn)立體視覺[3]重建元件針腳末端特征點(diǎn)在空間中的位置，能更穩(wěn)定檢測元件針腳的圖像，獲得更高的針腳定位精度。由于該方法拍照角度間隔為且是均勻分布的，所以對(duì)于針腳較多的元件，在某些拍照角度下元件針腳會(huì)相互遮擋，難以獲得均分且間隔的針腳無遮擋拍攝角度。如果所獲取的圖像針腳互相遮擋，則難以提取準(zhǔn)確的針腳末端特征點(diǎn),如圖1所示。

圖1 針腳遮擋重疊圖像

本文在上述研究的前提下，提出了求取針腳相互無遮擋拍攝角度區(qū)間的求取方法，解決針腳遮擋的問題。并且對(duì)于針腳數(shù)目較多的元件，無法獲得均分無遮擋的均分拍照角度的情況，本文進(jìn)一步提出一種多針腳異型元件精密定位方法。對(duì)于針腳數(shù)目繁多，無遮擋拍攝角度區(qū)間有限的情況，為得到更精確的定位精度，通過增加一些拍攝角度進(jìn)行輔助定位。該方法同樣采用旋轉(zhuǎn)立體視覺定位系統(tǒng)獲取異型元件針腳的側(cè)面圖像，然后提取圖像各針腳末端邊緣點(diǎn)，得到若干條(由于遮擋原因，提取的邊緣點(diǎn)數(shù)量不定)反投影線，由不同角度的針腳圖像獲得的反投影線可以合成一個(gè)包絡(luò)圖，此包絡(luò)圖即為異形元件的針腳截面輪廓，基于此截面輪廓即可得到針腳糾偏數(shù)據(jù)。

上述針腳定位方法不直接提取單幅圖像的針腳末端點(diǎn)，而是通過增加旋轉(zhuǎn)成像次數(shù)，轉(zhuǎn)而求取各幅圖像針腳末端的亞像素邊緣點(diǎn)，形成反投影線簇，間接得到針腳末端截面圖像，進(jìn)一步求取針腳末端中心點(diǎn)，有效避免了某些成像角度下針腳相互重疊的影響。所以該方法能對(duì)較多針腳的異型元件進(jìn)行精確的定位。

1 無遮擋角度區(qū)間求取

圖2 針腳無遮擋角度區(qū)間示意圖

如圖2所示，以兩個(gè)針腳連線中心點(diǎn)O為遠(yuǎn)點(diǎn)，X軸與針腳連線重合，Y軸與針腳連線垂直，建立坐標(biāo)系O-XOYO。求得在該坐標(biāo)系下兩針腳的兩條內(nèi)公切線方程，如式子(1)。其中d,D分別為針腳直徑和兩針腳間距。

(1)

如圖1，以旋轉(zhuǎn)軸心(圓心)為原點(diǎn)，以直線CP方向?yàn)閅軸建立坐標(biāo)系C-XCYC,通過公式(2)的坐標(biāo)系變換可得到XCY坐標(biāo)系下的內(nèi)公切線方程。

(2)

其中:a,b,c為原直線一般方程系數(shù)，R3×3為坐標(biāo)系O-XoYo到坐標(biāo)系C-XCYC坐標(biāo)變換矩陣，可由3.2中系統(tǒng)標(biāo)定得到，a′b′c′為轉(zhuǎn)換后直線一般方程系數(shù)。

設(shè)轉(zhuǎn)換后公切線方程為:

ax+by+c=0

(3)

成像相機(jī)旋轉(zhuǎn)所得圓方程為:

x2+y2=l2

(4)

其中:l為相機(jī)光心與旋轉(zhuǎn)軸的距離。

由式子(3)和式子(4)可求得內(nèi)公切線與圓的交點(diǎn)坐標(biāo)為:

(5)

設(shè)該公切線與圓的交點(diǎn)為如圖1中的點(diǎn)t1和t2，則對(duì)應(yīng)的角度為:

(6)

同理可求得θ3，θ4,則兩針腳在該位姿狀態(tài)下的無遮擋角度區(qū)間為:

u=[θ1，θ3]∪[θ2，θ4]

(7)

由于插件機(jī)的夾頭和送料器的粗定位，元件抓取時(shí)會(huì)產(chǎn)生一定誤差范圍的偏移和旋轉(zhuǎn)，誤差為±e，如圖3所示。

圖3 粗定位誤差示意圖

由于圓半徑l遠(yuǎn)大于誤差e，故偏差對(duì)于元件旋轉(zhuǎn)較為敏感，并且只需得到粗略的角度范圍，考慮6種極限情況，如圖4所示，分別求取6種極限情況下的無遮擋角度區(qū)間，最后取交集，則獲得兩針腳在粗定位后的無遮擋角度區(qū)間U。

圖4 元件偏移極限

以此類推，對(duì)于多針腳元件，只要求取兩兩針腳無遮擋角度區(qū)間Ui，最后取其交集，即可到多針腳元件在旋轉(zhuǎn)拍照過程中的無遮擋角度區(qū)間為:

(8)

在無遮擋角度區(qū)間選取合適的拍攝角度，即可獲取無遮擋針腳圖像。

對(duì)于針腳數(shù)目適中的元件，可采取本研究團(tuán)隊(duì)的文獻(xiàn)[2]所述方法進(jìn)行針腳精密定位，只需獲得間隔的均分無遮擋拍照角度即可。但是當(dāng)針腳數(shù)目達(dá)到一定數(shù)量時(shí)，有限的針腳無遮擋拍攝角度，難于獲得均分的無遮擋拍攝角度，定位精度不夠。下文將提出一種針腳數(shù)目較多的元件定位方法。

2 多針腳元件定位系統(tǒng)

如前文所述，對(duì)于針腳較多的元件，本文提出的定位方法不直接求取單幅圖像的針腳末端點(diǎn)，轉(zhuǎn)而求取各幅圖像針腳末端的亞像素邊緣點(diǎn)，形成反投影線簇，間接得到針腳末端截面圖像，進(jìn)一步求取針腳末端中心點(diǎn)，有效避免了某些成像角度下針腳相互重疊的影響。方法涉及旋轉(zhuǎn)立體視覺的標(biāo)定，亞像素邊緣點(diǎn)和反投影線的求取。

2.1 旋轉(zhuǎn)立體視覺

物體的重建是通過點(diǎn)的重建來實(shí)現(xiàn)的，因?yàn)辄c(diǎn)是空間中最基本的元素。把空間中物體的特征點(diǎn)重建出來后，物體的大致輪廓就能顯示出來。當(dāng)圖像中的點(diǎn)通過反投影恢復(fù)空間中的點(diǎn)時(shí)，通過一個(gè)攝像機(jī)只能確定成像點(diǎn)在空間中的某根直線上，而不能確定點(diǎn)的確切位置，這根線即為反投影線。通過獲取空間物體某一截面的側(cè)面輪廓邊緣點(diǎn)，進(jìn)而構(gòu)建出反投影線，通過不同角度相機(jī)得到反投影線簇，其包絡(luò)線即為該物體某一截面的輪廓線，如圖5。這就是本文基于旋轉(zhuǎn)立體視覺的多針腳元件定位原理[4-6]。

圖5 旋轉(zhuǎn)立體視覺示意圖

2.2 系統(tǒng)標(biāo)定

文獻(xiàn)[2]提出了較為成熟的內(nèi)參標(biāo)定和旋轉(zhuǎn)軸標(biāo)定方法，本文沿用該方法進(jìn)行標(biāo)定[7-8]。因?yàn)檠b配過程的誤差，旋轉(zhuǎn)軸與相機(jī)光軸不會(huì)正交，具有一定的偏斜，如圖6，文獻(xiàn)[2]的旋轉(zhuǎn)軸標(biāo)定方法通過平面擬合以及圓弧擬合的方法可以獲得旋轉(zhuǎn)軸向量n(nx,ny,nz)和光心旋轉(zhuǎn)平面A,進(jìn)而得到旋轉(zhuǎn)軸與光心旋轉(zhuǎn)平面交點(diǎn)的空間坐標(biāo)OC(xc,yc,zc)。

圖6 旋轉(zhuǎn)軸

構(gòu)建以點(diǎn)OC為坐標(biāo)原點(diǎn)，旋轉(zhuǎn)軸為Y軸，光心旋轉(zhuǎn)平面為XOZ坐標(biāo)平面的空間坐標(biāo)系XCYCZC,如圖7。然后通過公式的羅德里格斯變換[9]和矩陣變換原理得到坐標(biāo)系OC-XCYCZC到初始位置相機(jī)坐標(biāo)系O-XYZ的坐標(biāo)變換矩陣R4×4。同理得到相機(jī)旋轉(zhuǎn)前后的關(guān)系矩陣Mlr4×4[2]。

圖7 構(gòu)建坐標(biāo)系

2.3 針腳末端亞像素邊緣提取

根據(jù)前文標(biāo)定得到的旋轉(zhuǎn)軸向量n(nx,ny,nz，可得到相機(jī)光心繞旋轉(zhuǎn)軸旋轉(zhuǎn)后得到的平面方程A為:

nxX+nyY+nzZ=0

(9)

該平面與相機(jī)成像平面存在一條交線，如圖8。相交直線方程為：

(10)

進(jìn)一步得到該直線在圖像坐標(biāo)系的方程為：

nxβu+nyαv-nxβu0-nyαv0+nzαβ=0

(11)

其中α,β,u0,υ0均為標(biāo)定所得相機(jī)內(nèi)參。

圖8 兩平面交線示意圖

目前亞像素邊緣提取方法較為成熟，本文沿用文獻(xiàn)[2]所提的空間矩不變方法提取亞像素邊緣。為得到針腳圖像在直線上的亞像素邊緣點(diǎn)，本文通過迭代的方式，逐步得到所需邊緣點(diǎn)坐標(biāo)[10]。

3 反投影線求取

由前述方法得到針腳圖像的亞像素邊緣點(diǎn)如圖9所示，每個(gè)邊緣點(diǎn)對(duì)應(yīng)一條反投影線，本文將通過相機(jī)成像模型求取該投影線。

圖9 針腳亞像素邊緣點(diǎn)

3.1 求取反投影線方程

根據(jù)相機(jī)成像模型[11]有式子(5):

(12)

其中:mij(i=1,2,3,j=1,2,3,4)由相機(jī)內(nèi)參矩陣M1和外參矩陣M2相乘得到,內(nèi)參矩陣可由標(biāo)定過程直接獲得。以初始位置相機(jī)坐標(biāo)系為世界坐標(biāo)系，前文所求相機(jī)關(guān)系矩陣Mlr4×4即為外參矩陣。公式(5)展開可以得到3個(gè)方程：

(13)

將公式(6)的第三個(gè)方程代入前兩個(gè)方程，可以進(jìn)一步消去Zc，得到：

(14)

式(7)為一個(gè)直線方程，假設(shè)前文得到的一個(gè)亞像素邊緣點(diǎn)Pb在圖像坐標(biāo)系的像素坐標(biāo)為Pb(ub,vb)，則根據(jù)式(7)可到該邊緣點(diǎn)的反投影線方程為：

(15)

3.2 反投影線的坐標(biāo)變換

前文所得各條反投影線方程是基于初始位置相機(jī)坐標(biāo)系的，為得到基于2.2節(jié)構(gòu)建的坐標(biāo)系OC-XCYCZC的反投影方程，需要對(duì)直線方程進(jìn)行坐標(biāo)變換。公式(9)對(duì)直線進(jìn)行坐標(biāo)變換，得到轉(zhuǎn)換后的直線方程系數(shù)。

(16)

基于坐標(biāo)系OC-XCYCZC的反投影方程為：

(17)

由于所提取亞像素邊緣點(diǎn)皆在前文所求交線L上，因此各邊緣點(diǎn)形成的反投影直線簇都位于光心旋轉(zhuǎn)平面上，形成平面直線簇，該直線簇可以得到平面包絡(luò)圖。

4 生成針腳末端截面包絡(luò)圖

由前文得到的反投影線簇可得到針腳末端截面包絡(luò)圖，進(jìn)一步提取包絡(luò)圖中各針腳中心坐標(biāo)，即可得到針腳的糾偏參數(shù)。

以光心旋轉(zhuǎn)平面為虛擬成像平面，各投影線所形成的包絡(luò)線圍成的區(qū)域，將生成針腳末端截面包絡(luò)圖，將針腳截面區(qū)域灰度值置為0，其余像素點(diǎn)灰度值置為255，成像示意圖如圖10。 通過提高虛擬成像的像素點(diǎn)數(shù)，可以得到相對(duì)更高的定位精度。

圖10 虛擬成像平面針腳成像示意圖

采用上述方法得到二值針腳末端截面圖像。該圖像相當(dāng)于元件各針腳被光心旋轉(zhuǎn)平面所截的圖像。 理想情況下，各條反投影線都和針腳柱面相切。對(duì)于圓形截面針腳，理想情況下得到的針腳末端截面包絡(luò)圖有一個(gè)最大內(nèi)切圓，該圓即為針腳末端實(shí)際截面。所以，為提高針腳定位精度，本文將求取各針腳末端截面包絡(luò)圖的最大內(nèi)切圓，并得到該圓的圓心坐標(biāo)，如圖11所示。

圖11 針腳末端截面

提取間距最大的兩個(gè)針腳的圓心C1(x1,y1),C2(x2,y2)。根據(jù)式(11)，即可得到針腳的糾偏參數(shù)。

(18)

5 實(shí)驗(yàn)與結(jié)果分析

本文采用異型元件插件機(jī)進(jìn)行實(shí)驗(yàn)。采用背光源照明，映美精 DFK23G445 相機(jī)和 Computer-35 mm鏡頭進(jìn)行元件圖像采集，采集圖像大小為像素,軸驅(qū)動(dòng)電機(jī)采用Panasonic-MMMA3ACN1A 伺服電機(jī)，實(shí)驗(yàn)裝置如圖12所示。

圖12 實(shí)驗(yàn)裝置

為驗(yàn)證本文提出的基于多針腳電子元件的針腳定位方法，本文采用如圖13所示電子元件為實(shí)驗(yàn)對(duì)象，該元件為dp15母頭，具有雙排共15針腳。

圖13 dp15電子元件

為求得該元件無遮擋拍照區(qū)間，需得到該元件尺寸參數(shù)，如圖14所示。下文實(shí)驗(yàn)精度分析，采用針腳橫向間距l(xiāng)=2.77 mm為標(biāo)準(zhǔn)間距，e=k-1作為誤差分析參數(shù)，其中k為本文所述方法所求針腳間距。

圖14 元件模型

5.1 無遮擋拍照角度區(qū)間求取實(shí)驗(yàn)

由前文所述方法，求得無遮擋拍照角度區(qū)間如表1所示。

表1 元件無遮擋拍照角度區(qū)間 (°)

該元件在圖所示實(shí)驗(yàn)裝置下，共有6個(gè)無遮擋拍照角度區(qū)間，現(xiàn)于這6個(gè)區(qū)間內(nèi)獲得較為均勻的8個(gè)拍照角度分別為：48°、80°、100°、132°、226°、260°、280°、312°。

經(jīng)過30次重復(fù)性夾取拍照實(shí)驗(yàn)，在上述八個(gè)拍照角度下，均未出現(xiàn)針腳相互重疊遮擋現(xiàn)象。可見本文提出的求取無遮擋拍攝角度方法，能夠穩(wěn)定可靠的獲得無遮擋針腳圖像。

5.2 定位精度實(shí)驗(yàn)

獲得無遮擋針腳圖像后，為驗(yàn)證本文所提出的定位方法的精度，將求得30次重復(fù)性實(shí)驗(yàn)的誤差e=k-1的平均值和標(biāo)準(zhǔn)差，進(jìn)行精度分析，結(jié)果如表2所示。

表2 針腳間距誤差 (mm)

由結(jié)果可見，誤差平均值與最大值均滿足插件精度，且標(biāo)準(zhǔn)差較小，定位精度足夠可靠和穩(wěn)定。

5.3 效率分析

本文在配置為CPU i5-5200U 3.30 GHz、8 GB 內(nèi)存的計(jì)算機(jī)上用C++驗(yàn)證本文方法計(jì)算效率。

因?yàn)椴寮C(jī)對(duì)元件針腳有粗定位，虛擬平面上生成的針腳截面區(qū)域只會(huì)形成在一定像素范圍內(nèi)，通過選取合適的像素區(qū)域，可大幅縮短形成包絡(luò)圖和內(nèi)接圓的耗時(shí)。本文采用優(yōu)化后的程序?qū)υ搶?shí)驗(yàn)元件進(jìn)行30次重復(fù)實(shí)驗(yàn)，得到各元件平均定位耗時(shí)。

表3 定位效率 (ms)

結(jié)果如表3所示，提取每幅圖像針腳亞像素邊緣點(diǎn)的速度較快，平均耗時(shí)僅需6.834 ms,形成針腳包絡(luò)圖耗時(shí)較多，占據(jù)大部分計(jì)算時(shí)間，經(jīng)過優(yōu)化像素搜索區(qū)域，平均耗時(shí)為83.235 ms。定位方法平均總耗時(shí)為143.191 ms，由文獻(xiàn)[2]可知，傳統(tǒng)底部拍照定位方法需要將原件移至底部相機(jī)上方進(jìn)行拍照，該動(dòng)作耗時(shí)為300～400 ms。本文所提方法無需該動(dòng)作，減少了這部分時(shí)間，所以插件總時(shí)間符合插件機(jī)插件要求。

6 結(jié)論

本文提出了一種多針腳異型元件的定位方法，并提出了初步求取元件針腳無遮擋拍照角度的方法，搭建了旋轉(zhuǎn)立體視覺實(shí)驗(yàn)裝置，進(jìn)行針腳定位實(shí)驗(yàn)分析。實(shí)驗(yàn)表明，本文所提出的定位方法，對(duì)于多針腳異型元件具有良好的定位可靠性和穩(wěn)定性，定位精度和效率均滿足插件要求。后續(xù)會(huì)對(duì)更多復(fù)雜多針腳元件進(jìn)行實(shí)驗(yàn)和分析，完善該定位方法。