自動(dòng)編程器視覺(jué)定位算法研究*

張 超，段發(fā)階，董宇青，陳 偉，王 凱

(天津大學(xué)精密測(cè)試技術(shù)及儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津300072)

編程器用來(lái)燒錄芯片如 EPROM、EEPROM、Flash、MCU、PLD等，可以采用一臺(tái)計(jì)算機(jī)帶幾臺(tái)編程器的方式進(jìn)行量產(chǎn)編程，可以提高工作效率和減少生產(chǎn)成本。全自動(dòng)編程器通過(guò)機(jī)械喂料，視覺(jué)定位，將芯片準(zhǔn)確的放到芯片槽上，實(shí)現(xiàn)無(wú)人操作自動(dòng)化編程，是編程器生產(chǎn)的巨大飛躍，同時(shí)也是國(guó)家大力扶植的產(chǎn)業(yè)。

視覺(jué)定位是全自動(dòng)編程器實(shí)現(xiàn)產(chǎn)業(yè)化中的難點(diǎn)和重點(diǎn)。機(jī)械喂料中的氣吸和運(yùn)動(dòng)平臺(tái)產(chǎn)生的機(jī)械摩擦，使得定位困難。具有魯棒性的視覺(jué)定位算法[1－5]為系統(tǒng)實(shí)現(xiàn)的關(guān)鍵所在。方曉勝等[6]通過(guò)對(duì)BGA封裝芯片進(jìn)行定位，但是對(duì)TQFP，PLCC等封裝并不適合，盧成靜，黃桂平等[7]對(duì)圓的定位算法進(jìn)行研究，比較和分析質(zhì)心法和擬合法。邢德奎等[8]對(duì)鏡頭畸變進(jìn)行了分析和補(bǔ)償，[9－12]也提出了自己的算法。以上算法對(duì)不同封裝芯片都沒(méi)有提出通用性的視覺(jué)定位計(jì)算方法。我們通過(guò)對(duì)徑向畸變不敏感的圓形靶標(biāo)得到單目二維視覺(jué)測(cè)量的攝像機(jī)參數(shù)。通過(guò)種子自增長(zhǎng)法提取目標(biāo)，通過(guò)質(zhì)心算法獲得中心坐標(biāo)，通過(guò)霍夫變換提取直線，獲得旋轉(zhuǎn)角度，保證視覺(jué)反饋控制的精確性。

1 單目二維視覺(jué)攝像機(jī)標(biāo)定

如圖1(a)所示，是實(shí)驗(yàn)中拍攝到的原始靶標(biāo)圖像。如圖1(b)所示是經(jīng)過(guò)中值濾波后的圖像。可以看出，經(jīng)過(guò)中值濾波后的圖像質(zhì)量得到了明顯的改善。

圖1 原始圖像和預(yù)處理圖像

在采集的靶標(biāo)圖像中包含了12個(gè)完整的圓和7個(gè)殘缺的圓，標(biāo)定中需要確定12個(gè)完整圓的圓心用于線性擬合，而對(duì)于7個(gè)殘缺的圓應(yīng)該予以濾除，這個(gè)過(guò)程可以通過(guò)目標(biāo)標(biāo)記實(shí)現(xiàn)。目標(biāo)標(biāo)記是對(duì)二值化后的目標(biāo)圖像中的多個(gè)感興趣區(qū)域采用不同的灰度值進(jìn)行標(biāo)記，選擇合適的閾值(閾值大小通過(guò)實(shí)驗(yàn)數(shù)據(jù)判斷一般為單個(gè)圓形像素總數(shù)大小的1/10)即可將較小的目標(biāo)區(qū)域或噪聲剔除。我們提出了改進(jìn)的基于種子自增長(zhǎng)法的目標(biāo)標(biāo)記方法:圖2是種子自增長(zhǎng)法的程序流程圖。圖3是經(jīng)過(guò)目標(biāo)標(biāo)記后的圖像，不同的灰度表示不同的目標(biāo)對(duì)象。用重心算法計(jì)算被標(biāo)記的12個(gè)對(duì)象的重心，即可進(jìn)行下一步的線性擬合。

圖2 種子自增長(zhǎng)法流程圖

圖3 目標(biāo)標(biāo)記后的圖象

如表1所示，是通過(guò)重心算法12個(gè)目標(biāo)圓的圓心坐標(biāo)和對(duì)應(yīng)的物空間坐標(biāo)。

設(shè)有n 組二維坐標(biāo)點(diǎn)yi(yi0，yi1)，xi(xi0，xi1)，求最優(yōu)矩陣使得取最小值，通過(guò)最小二乘法，最優(yōu)解為

表1 標(biāo)定點(diǎn)坐標(biāo)實(shí)驗(yàn)測(cè)試數(shù)據(jù)

表2 線性擬合各點(diǎn)的誤差

2 芯片定位算法研究

芯片定位需要計(jì)算的兩個(gè)關(guān)鍵參數(shù)是中心坐標(biāo)和旋轉(zhuǎn)角度，圖4是相機(jī)拍攝的芯片原始圖像。由于芯片在圖像中的目標(biāo)較大，我們采用種子自增長(zhǎng)法標(biāo)記出目標(biāo)芯片，還可以濾除一些圖像預(yù)處理中無(wú)法除掉的大面積噪聲或污漬。

圖4 原始目標(biāo)圖像

圖5是經(jīng)過(guò)中值濾波，二值化和種子自增長(zhǎng)法目標(biāo)標(biāo)記之后的圖像，印字的存在不便于后續(xù)的處理，需要消除目標(biāo)中印字的影響。我們可以對(duì)背景和印字進(jìn)行二次目標(biāo)標(biāo)記，選擇合適的閾值，即可實(shí)現(xiàn)對(duì)印字的填充。經(jīng)過(guò)二次目標(biāo)標(biāo)記后的圖像，如圖6所示。

圖5 處理后的圖像

圖6 二次目標(biāo)標(biāo)記后的圖像

經(jīng)過(guò)上述一系列圖像處理后，接下來(lái)需要檢測(cè)圖像中白色矩形區(qū)域的中心和旋轉(zhuǎn)角度。檢測(cè)方法種類較多，以下將分別采用三種方法進(jìn)行測(cè)量，并對(duì)檢測(cè)的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。

(1)霍夫變換法

通過(guò)霍夫變換檢測(cè)目標(biāo)區(qū)域中的四條邊界線，計(jì)算邊界線的角度即為芯片的旋轉(zhuǎn)角度，同時(shí)根據(jù)邊界線的四個(gè)交點(diǎn)可進(jìn)一步計(jì)算出矩形區(qū)域的中心。如圖7是經(jīng)過(guò)霍夫變換后的圖像，圖中紅條是經(jīng)過(guò)標(biāo)記后的直線。選擇直線段中的最長(zhǎng)線段，可以準(zhǔn)確的計(jì)算出芯片的旋轉(zhuǎn)角度，但如何從多條直線中準(zhǔn)確的挑選出四條邊界線是需要解決的問(wèn)題，因此，霍夫變換不適合用于對(duì)中心的檢測(cè)。

圖7 霍夫變換后圖像

(2)四點(diǎn)定位法

四點(diǎn)定位法是通過(guò)找到矩形的四個(gè)角點(diǎn)來(lái)計(jì)算出芯片的中心和旋轉(zhuǎn)角度。對(duì)角點(diǎn)的定位可以通過(guò)行掃描和列掃描實(shí)現(xiàn)。首先，對(duì)圖像從上向下進(jìn)行行掃描，掃描到的第一個(gè)點(diǎn)作為矩形的第一個(gè)角點(diǎn)。然后對(duì)圖像從下向上做同樣的掃描，掃描得到的第一個(gè)點(diǎn)作為矩形的第四個(gè)角點(diǎn)。相同的方法進(jìn)行列掃描，可依次得到剩下的兩個(gè)點(diǎn)。為了避免在矩形的旋轉(zhuǎn)角度較小時(shí)，行掃描和列掃描得到相同的點(diǎn)，對(duì)于掃描的方向需做一定的規(guī)定，如圖8是掃描示意圖。這種通過(guò)掃描的方法可以達(dá)到較快的速度，并能較為準(zhǔn)確的得出中心和旋轉(zhuǎn)角，但是當(dāng)預(yù)處理得到的圖像四個(gè)角比較圓滑時(shí)，會(huì)產(chǎn)生較大的誤差。

圖8 四角點(diǎn)掃描示意圖

(3)重心定位法

通過(guò)求解重心來(lái)定位矩形區(qū)域的中心是最直觀簡(jiǎn)單的方法，而且能達(dá)到較快的速度和精度，但明顯的缺點(diǎn)是無(wú)法計(jì)算芯片的旋轉(zhuǎn)角度。

經(jīng)過(guò)以上的分析對(duì)比可知，三種方法具有各自的特點(diǎn)，在實(shí)際中，我們可以選擇其中的一種或多種組合。我們采用霍夫變換求角度和重心算法求中心相結(jié)合的方法。如表3所示，是通過(guò)三種方法對(duì)圖4中的芯片求解得到的中心坐標(biāo)和旋轉(zhuǎn)角度。從表中可以看出，三種方法得到的結(jié)果相差較小，說(shuō)明所選用的圖像處理算法具有合理性。

表3 三種方法求解的實(shí)驗(yàn)數(shù)據(jù)對(duì)比

3 實(shí)驗(yàn)

在實(shí)驗(yàn)室條件下搭建二維機(jī)械臂模擬系統(tǒng)。兩根導(dǎo)軌通過(guò)正交的放置用于模擬物空間的x軸和y軸，其中一根導(dǎo)軌固定在另一根導(dǎo)軌之上，導(dǎo)軌的運(yùn)動(dòng)通過(guò)運(yùn)動(dòng)控制卡進(jìn)行控制。需要定位的芯片被放置在兩根導(dǎo)軌的交叉處。照明系統(tǒng)選用日本的CCS光源，并采用直射的方式照射在需要檢測(cè)的芯片上。系統(tǒng)的工作流程如下:芯片隨著導(dǎo)軌的運(yùn)動(dòng)進(jìn)入相機(jī)視野后，通過(guò)相機(jī)進(jìn)行定位，相機(jī)計(jì)算出芯片的坐標(biāo)后，通過(guò)坐標(biāo)變換轉(zhuǎn)化為其在物空間的坐標(biāo)，并計(jì)算出其與目標(biāo)點(diǎn)之間的坐標(biāo)偏差，計(jì)算的結(jié)果通過(guò)USB傳遞給上位機(jī)，上位機(jī)根據(jù)坐標(biāo)偏差向兩根導(dǎo)軌發(fā)出相應(yīng)命令。導(dǎo)軌在運(yùn)動(dòng)控制卡的控制下運(yùn)動(dòng)到目標(biāo)位置。

4 結(jié)論

文中結(jié)合自動(dòng)編程器反饋控制的需要，對(duì)自動(dòng)定位視覺(jué)算法進(jìn)行了深入的研究。表明圓形靶標(biāo)在單目二維視覺(jué)攝像機(jī)標(biāo)定中具有很高的魯棒性，通過(guò)霍夫變換，四點(diǎn)定位，重心算法對(duì)芯片實(shí)時(shí)定位進(jìn)行比較研究，實(shí)驗(yàn)表明采用霍夫變換求角度和重心算法求中心相結(jié)合的方法可以實(shí)現(xiàn)定位。

[1]解楊敏，史航，劉強(qiáng)．高精度貼片機(jī)視覺(jué)定位系統(tǒng)的研究與設(shè)計(jì)[J]．裝備制造技術(shù)，2007，12:39 －41．

[2]汪宏昇，熊飛，史鐵林．高速高精度的機(jī)器視覺(jué)定位的算法[J]．光電工程，2005，32(9):71 －74．

[3]梁偉文，馬如震．基于視覺(jué)定位的高精度多功能貼片機(jī)技術(shù)[J]．機(jī)電工程技術(shù)，2005，34(3):86 －88．

[4]李建平，鄒中升，王福亮．熱超聲倒裝鍵合機(jī)視覺(jué)定位系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]．電子技術(shù)應(yīng)用，2006，6:12 －15．

[5]劉一凡．基于視覺(jué)定位的微小芯片插片機(jī)控制系統(tǒng)的研究[J]機(jī)床與液壓，2008，36(11):94 －96．

[6]方曉勝，胡躍明，高紅霞．BGA芯片的高速高精度視覺(jué)檢測(cè)與定位算法[J]．電子工藝技術(shù)，2006，27(5):262 －268．

[7]盧成靜，黃桂平，李廣云．視覺(jué)檢測(cè)中圓形標(biāo)志的定位方法研究[J]．宇航計(jì)測(cè)技術(shù)，2008，28(2):5 －13．

[8]邢德奎，達(dá)飛鵬，張虎．圓形目標(biāo)精密定位方法的研究與應(yīng)用[J]．儀器儀表學(xué)報(bào)，2009，30(12):2593 －2598．

[9]李君蘭，張大衛(wèi)，王以忠．面向IC封裝的顯微視覺(jué)定位系統(tǒng)[J]．光學(xué)精密工程，2010，18(4):965 －970．

[10]袁鵬，胡躍明，劉海明．貼片機(jī)屏蔽罩視覺(jué)定位算法研究[J]．計(jì)算機(jī)測(cè)量與控制，2009，17(6):1141 －1142．

[11]趙杰，高強(qiáng)，程萬(wàn)勝．基于單CCD視覺(jué)定位的BGA自動(dòng)貼裝系統(tǒng)設(shè)計(jì)[J]．哈爾濱商業(yè)大學(xué)學(xué)報(bào)，2008，24(2):178 －181．

[12]張勇斌，盧榮勝，劉晨．一種視覺(jué)定位系統(tǒng)的標(biāo)定新方法[J]．電子質(zhì)量，2003，8:9 －10．