亞像素技術(shù)在表面貼裝電子組件對(duì)準(zhǔn)中的應(yīng)用

李西兵，范彥斌

(1.齊齊哈爾大學(xué)機(jī)電工程學(xué)院，黑龍江齊齊哈爾161006;2.佛山科學(xué)技術(shù)學(xué)院機(jī)電工程學(xué)院，廣東佛山528000)

在表面貼裝電子組件的生產(chǎn)過程中，對(duì)表面貼裝電子組件產(chǎn)品進(jìn)行缺陷檢驗(yàn)是一個(gè)不可或缺的工藝環(huán)節(jié)。隨著電子元器件的小型化、組件密度不斷增大和被測(cè)電子組件電路越來越復(fù)雜，借助高倍數(shù)放大鏡，已不能滿足現(xiàn)代測(cè)試工藝的要求，這種目視檢驗(yàn)方法對(duì)產(chǎn)品質(zhì)量的判斷較大程度上取決于人的經(jīng)驗(yàn)，使檢驗(yàn)結(jié)果因人為因素可比性較差，一致性和可靠性難以得到保證，檢驗(yàn)與分析過程復(fù)雜，檢測(cè)人員長(zhǎng)期工作造成用眼疲勞，勞動(dòng)強(qiáng)度大，成本趨高，不能實(shí)現(xiàn)實(shí)時(shí)流程控制和批量生產(chǎn)質(zhì)量預(yù)報(bào)，對(duì)生產(chǎn)過程中的貼裝電子組件缺陷原因不能做到及時(shí)發(fā)現(xiàn)、預(yù)報(bào)與修正。貼裝電子組件中電子元器件幾何尺寸差別小、顏色組合多、密度大、批量與品種多以及日復(fù)一日的重復(fù)性工作引起的心理疲勞和視覺疲勞是造成目視檢驗(yàn)人員這種檢驗(yàn)偏差的主要原因[1－2]。隨著計(jì)算機(jī)圖像處理和模式識(shí)別技術(shù)的不斷發(fā)展，計(jì)算機(jī)視覺硬件設(shè)備成本的不斷下降，這種方法很自然地被拓展到其他感興趣的研究領(lǐng)域，在很大程度上提高了對(duì)電子產(chǎn)品質(zhì)量進(jìn)行監(jiān)測(cè)和檢測(cè)、故障趨勢(shì)預(yù)報(bào)和決策維修的效率[3－6]。AOI技術(shù)近年來的發(fā)展速度很快，并可定性和定量地對(duì)電子組件貼裝進(jìn)行分析、監(jiān)測(cè)和檢測(cè)。如何有效輔助電子產(chǎn)品質(zhì)量檢測(cè)及其實(shí)施技術(shù)的研究與應(yīng)用，已成為國(guó)內(nèi)外電子行業(yè)近年來在該學(xué)科領(lǐng)域的研究熱點(diǎn)，并已取得了一些研究和應(yīng)用進(jìn)展[7]。

局部圖像拼接前的對(duì)準(zhǔn)關(guān)系到圖像拼接后的精度與圖像質(zhì)量，文中針對(duì)如圖1所示的圓、橢圓、正方形和長(zhǎng)方形等4種常用對(duì)準(zhǔn)標(biāo)記，圖像的分辨率為0.128 mm/pixel，分別采用亞像素技術(shù)與普通技術(shù)方法進(jìn)行對(duì)準(zhǔn)點(diǎn)匹配研究，以獲得更好的拼接精度與圖像質(zhì)量。

圖1 4種常用對(duì)準(zhǔn)標(biāo)記

1 亞像素輪廓檢測(cè)與計(jì)算算法

在考慮攝像、噪聲等各種影響因素的綜合作用下，一幅CCD 圖像中的背景像素與實(shí)物像素的灰度值是在一定的范圍內(nèi)變化，因此，有必要對(duì)輪廓像素位置點(diǎn)的數(shù)據(jù)提取采用其相鄰像素位置點(diǎn)的灰度值來進(jìn)行線性插值或拋物線插值的方法進(jìn)行計(jì)算，為了減小各種噪聲等環(huán)境因素在輪廓像素位置點(diǎn)數(shù)據(jù)提取時(shí)產(chǎn)生的誤差，文中采用最佳閾值法來抵消部分誤差。由于CCD數(shù)字?jǐn)z像機(jī)的分辨率高，因此每個(gè)像素所代表的尺寸較小，所以可以將實(shí)物輪廓在單個(gè)像素區(qū)域內(nèi)的變化曲線簡(jiǎn)化為直線，然后根據(jù)其線性關(guān)系，通過誤差分析，選擇最佳閾值來進(jìn)行計(jì)算。為了減小存儲(chǔ)容量與節(jié)省計(jì)算時(shí)間，文中針對(duì)每一幅CCD數(shù)字圖像都采用從左到右、從下到上的順序提取像素點(diǎn)進(jìn)行計(jì)算，其最佳閾值的選取方法見文獻(xiàn)[8]。簡(jiǎn)化后的輪廓計(jì)算方法如圖2所示，圖中列出了像素區(qū)域中實(shí)物輪廓所有可能出現(xiàn)的情況，其右圖為其對(duì)應(yīng)的灰度值圖[9]。

圖2 輪廓計(jì)算的分類

(1)若Hi，j+1≥Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如圖2(a1)所示;或Hi，j+1＜Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如圖2(b1)所示，則其計(jì)算公式為:

(2)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j≥Hthre，如圖2(c1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j＜Hthre，如圖2(d1)所示，則其計(jì)算公式為:

(3)若Hi，j+1＜Hthre，Hi，j≥Hthre，Hi+1，j＜Hthre，如圖2(e1)所示;或Hi，j+1≥Hthre，Hi，j＜Hthre，Hi+1，j≥Hthre，如圖2(f1)所示。則其計(jì)算公式為:

以上各式中:Hthre為閾值;x，y為輪廓邊界在像素(i，j)中的坐標(biāo)值;Hi，j為像素(i，j)的灰度值。

對(duì)于通過提取并采用原始方法與采用亞像素方法得到的輪廓截面數(shù)據(jù)分別使用一個(gè)三維數(shù)組保存起來，由于涉及到x值與y值，因此，數(shù)組的大小應(yīng)為整幅CCD 圖像像素?cái)?shù)的2倍，以分別存放輪廓邊界點(diǎn)位置處所得到的x值與y值，即:對(duì)輪廓邊界像素點(diǎn)(i，j)處得到的x值與y值分別存入A[i][j][0]與A[i][j][1]中，同時(shí)對(duì)這個(gè)輪廓邊界像素點(diǎn)位置進(jìn)行灰度值標(biāo)定，以最后方便對(duì)標(biāo)定的像素點(diǎn)采用一定的輪廓跟蹤方法，把對(duì)應(yīng)存儲(chǔ)在數(shù)組中的輪廓像素點(diǎn)位置數(shù)據(jù)按一定的跟蹤順序讀取出來，并依次保存在一個(gè)數(shù)據(jù)文件中，其跟蹤準(zhǔn)則與方法見參考文獻(xiàn)[10－11]。經(jīng)過輪廓檢測(cè)與計(jì)算后得到的輪廓形狀如圖3所示。

圖3 4種常用標(biāo)記的輪廓

2 標(biāo)記輪廓數(shù)據(jù)提取

為了方便地對(duì)提取的輪廓數(shù)據(jù)進(jìn)行誤差分析，首先需采用NURBS曲線擬合方法對(duì)輪廓數(shù)據(jù)進(jìn)行曲線擬合。針對(duì)上面保存在數(shù)組中實(shí)物輪廓的數(shù)據(jù)，怎樣按照輪廓像素點(diǎn)位置的先后順序讀取出來，并保存在以*.dat為后綴的文件中，這對(duì)于一個(gè)三維數(shù)組來說，要從數(shù)學(xué)角度來采用合適的規(guī)律進(jìn)行排序是非常困難的，因此，文中提出了一種以CCD數(shù)字圖像本身實(shí)體灰度值作為搜索對(duì)象的搜索方法，由于數(shù)組中元素是與CCD數(shù)字圖像中像素位置一一對(duì)應(yīng)的，因此，只要找到實(shí)體輪廓的像素位置點(diǎn)，就可以讀取三維數(shù)組中所對(duì)應(yīng)的輪廓像素位置點(diǎn)數(shù)據(jù)。其搜索方法如下:

(1)由于對(duì)實(shí)物輪廓進(jìn)行檢測(cè)時(shí)已經(jīng)根據(jù)閾值對(duì)CCD數(shù)字圖像進(jìn)行了二值化處理，因此，首先可以按照從左到右、從下到上的搜索順序?qū)ふ业?個(gè)像素值標(biāo)記為1的輪廓像素位置點(diǎn)，即找到的第1個(gè)像素值標(biāo)記為1的像素點(diǎn)一定是最左下方的輪廓像素位置點(diǎn)，記為A0，并把這點(diǎn)的輪廓位置檢測(cè)值保存在相應(yīng)的數(shù)據(jù)文件中。由于A0是實(shí)物最左下方的輪廓像素位置點(diǎn)，因此它的左上方、上方、右上方與右方這4個(gè)相鄰像素位置點(diǎn)中至少有1個(gè)像素位置點(diǎn)是輪廓像素位置點(diǎn)，所以只需要將這4個(gè)方向上相鄰像素點(diǎn)依次從左上方開始按照順時(shí)針方向，以角度增量45°進(jìn)行搜索，找到的下一個(gè)像素值標(biāo)記為1的像素位置點(diǎn)就是與A0相鄰的第1個(gè)輪廓像素位置點(diǎn)，記為A1，并把這點(diǎn)的輪廓位置檢測(cè)值緊接點(diǎn)A0數(shù)據(jù)換行保存在相應(yīng)的數(shù)據(jù)文件中。

(2)此時(shí)搜索起點(diǎn)換成A1，將輪廓像素位置點(diǎn)A0指向輪廓像素位置點(diǎn)A1的方向矢量，以點(diǎn)A0為原點(diǎn)，進(jìn)行逆時(shí)針方向旋轉(zhuǎn)90°，所得到新方向作為當(dāng)前的搜索方向，因?yàn)橹挥性谶@個(gè)新的搜索方向上才有可能存在輪廓像素位置點(diǎn)，因此，同樣從輪廓像素位置點(diǎn)A1開始，按新的當(dāng)前搜索方向，以順時(shí)針方向和角度增量為45°進(jìn)行搜索，找到與輪廓像素位置點(diǎn)A1相鄰的第一個(gè)輪廓像素位置點(diǎn)，記為A2，并把這點(diǎn)的輪廓位置檢測(cè)值緊接點(diǎn)A1數(shù)據(jù)換行保存在相應(yīng)的數(shù)據(jù)文件中。

(3)為了確保搜索一圈后結(jié)束搜索，需要對(duì)新搜索得到的點(diǎn)與第一個(gè)輪廓像素位置點(diǎn)進(jìn)行比較，即如果A2與A0相同，則表明經(jīng)過一圈搜索后回到了輪廓的起點(diǎn)，則停止搜索;否則從點(diǎn)A2開始，重復(fù)步驟(2)繼續(xù)搜索下一個(gè)輪廓像素位置點(diǎn)，直到找到第一個(gè)輪廓像素位置點(diǎn)A0為止，從而可以得到所有的輪廓像素位置點(diǎn)A0，A1，…，An的坐標(biāo)值，直到所有的輪廓位置檢測(cè)值都按照一定順序保存在相應(yīng)的數(shù)據(jù)文件中為止。

3 標(biāo)記輪廓重建

在工業(yè)產(chǎn)品幾何形狀的描述中，NURBS 方法作為唯一數(shù)學(xué)描述方法已經(jīng)成為曲線、曲面造型技術(shù)發(fā)展趨勢(shì)中最重要的基礎(chǔ)。針對(duì)經(jīng)過數(shù)字圖像處理后得到的輪廓像素位置點(diǎn)數(shù)據(jù)文件中的海量數(shù)據(jù)，并考慮實(shí)物輪廓的封閉性，文中采用封閉3次NURBS曲線來對(duì)實(shí)物的輪廓進(jìn)行反求重建是非常合適的。

n個(gè)數(shù)據(jù)點(diǎn)的封閉三次NURBS曲線定義如式(1)所示[12]:

其中:0≤u≤1;Pi是特征多邊形頂點(diǎn)位置矢量;wi是相應(yīng)控制點(diǎn)Pi的權(quán)因子;Ni，3(u)是3次B 樣條函數(shù);公式中u為變量，i=0與i=n時(shí)為同一個(gè)數(shù)據(jù)點(diǎn)。

分別采用傳統(tǒng)計(jì)算與亞像素方法計(jì)算后所得的數(shù)據(jù)進(jìn)行NURBS曲線重建標(biāo)記輪廓如圖4所示。

圖4 4種常用標(biāo)記的輪廓重建

4 標(biāo)記對(duì)準(zhǔn)誤差分析

采用標(biāo)記的理論輪廓曲線上任意點(diǎn)A(x，y)到過此點(diǎn)的法線與標(biāo)記輪廓重建曲線的交點(diǎn)A'(x'，y')之間的距離作為任意點(diǎn)A(x，y)處重建輪廓的絕對(duì)誤差值|δAA'|。針對(duì)標(biāo)記的理論輪廓曲線，按等弧長(zhǎng)的方式采集100個(gè)數(shù)據(jù)點(diǎn)，分別與傳統(tǒng)算法、亞像素算法所得到的重建輪廓進(jìn)行絕對(duì)誤差分析，其比較結(jié)果如圖5所示。

圖5 4種常用標(biāo)記重建輪廓的誤差

由圖5可知:對(duì)于圓形標(biāo)記，采用傳統(tǒng)算法重建的標(biāo)記輪廓，其最大誤差為0.248 mm (約1.94 pixel)，平均誤差為0.110 mm (約0.86 pixel)，而采用亞像素算法重建的標(biāo)記輪廓，其最大誤差為0.070 mm (約0.55 pixel)，平均誤差為0.038 mm (約0.30 pixel);對(duì)于橢圓形標(biāo)記，采用傳統(tǒng)算法重建的標(biāo)記輪廓，其最大誤差為0.271 mm (約2.12 pixel)，平均誤差為0.110 mm (約0.86 pixel)，而采用亞像素算法重建的標(biāo)記輪廓，其最大誤差為0.069 mm (約0.54 pixel)，平均誤差為0.040 mm (約0.31 pixel);對(duì)于正方形標(biāo)記，采用傳統(tǒng)算法重建的標(biāo)記輪廓，其最大誤差為0.188 mm (約1.47 pixel)，平均誤差為0.107 mm (約0.84 pixel)，而采用亞像素算法重建的標(biāo)記輪廓，其最大誤差為0.037 mm (約0.29 pixel)，平均誤差為0.026 mm (約0.20 pixel);對(duì)于長(zhǎng)方形標(biāo)記，采用傳統(tǒng)算法重建的標(biāo)記輪廓，其最大誤差為0.194 mm (約1.52 pixel)，平均誤差為0.115 mm (約0.90 pixel)，而采用亞像素算法重建的標(biāo)記輪廓，其最大誤差為0.036 mm (約0.28 pixel)，平均誤差為0.022 mm (約0.17 pixel)。在如圖5所示的4種標(biāo)記輪廓上分別均勻?qū)ΨQ采用200個(gè)數(shù)據(jù)點(diǎn)，取其平均值作為重建輪廓的中心點(diǎn)坐標(biāo)，得到其中心點(diǎn)坐標(biāo)誤差如表1所示，表中δx、Px，δy、Py，δs、Ps分別代表水平方向、豎直方向、連線方向與中心點(diǎn)的距離誤差(mm)、像素誤差(pixel)。

表1 4種常用標(biāo)記重建輪廓的中心點(diǎn)誤差

圖6為4種標(biāo)記傳統(tǒng)算法與亞像素算法的重建輪廓中心點(diǎn)坐標(biāo)誤差對(duì)比圖，各種標(biāo)記圖的左側(cè)為傳統(tǒng)算法的誤差，右側(cè)為亞像素算法的誤差。

從圖5、圖6與表1可知:采用亞像素算法重建輪廓的誤差相比采用傳統(tǒng)算法重建輪廓的誤差要減小2/3～4/5，采用正方形標(biāo)記或長(zhǎng)方形標(biāo)記的輪廓誤差要比采用圓形標(biāo)記或橢圓形標(biāo)記的輪廓誤差小;采用標(biāo)記的中心對(duì)準(zhǔn)要比采用輪廓對(duì)準(zhǔn)誤差小，同樣采用正方形標(biāo)記或長(zhǎng)方形標(biāo)記的中心點(diǎn)誤差要比采用圓形標(biāo)記或橢圓形標(biāo)記誤差小。

圖6 4種常用標(biāo)記重建輪廓的中心點(diǎn)誤差對(duì)比圖

5 結(jié)論

通過對(duì)表面貼裝電子組件上的4種常用標(biāo)記進(jìn)行分析，可以得到如下結(jié)論:

(1)采用亞像素方法對(duì)表面貼裝電子組件進(jìn)行對(duì)準(zhǔn)要比采用傳統(tǒng)像素方法的對(duì)準(zhǔn)精度高，其對(duì)準(zhǔn)誤差可以減小2/3～4/5，即其對(duì)準(zhǔn)精度可以提高約兩倍;

(2)采用正方形或長(zhǎng)方形標(biāo)記要比采用圓形或橢圓形標(biāo)記的對(duì)準(zhǔn)精度高，采用傳統(tǒng)算法時(shí)誤差減小約1/4，采用亞像素算法時(shí)誤差減小約1/2;

(3)采用標(biāo)記中心點(diǎn)對(duì)準(zhǔn)要比采用標(biāo)記輪廓對(duì)準(zhǔn)精度高，其誤差減小約1/2。

通過分析可知:宜采用正方形或長(zhǎng)方形作為表面貼裝電子組件的標(biāo)記，通過亞像素方法對(duì)標(biāo)記數(shù)據(jù)進(jìn)行處理，把標(biāo)記中心點(diǎn)作為對(duì)準(zhǔn)點(diǎn)，可以使對(duì)準(zhǔn)誤差減小到約0.2 pixel，且當(dāng)噪聲一定的情況下，采用亞像素方法對(duì)精度的提高更明顯。

【1】王凡，姜建國(guó)，申潔琳.SMT 質(zhì)量檢測(cè)中的AOI技術(shù)及應(yīng)用[J].現(xiàn)代電子技術(shù)，2011，35(9):179－182.

【2】王賢辰.自動(dòng)光學(xué)檢測(cè)系統(tǒng)在SMT 中的應(yīng)用[D].北京:北京交通大學(xué)，2009.

【3】LI Xibing，BAO Li，WANG Shigang，et al.Study on Image Mosaic ＆ Registration of Electronic Component through Surface Mounting Technology[J].Advanced Materials Research，2012，345:113－118.

【4】金剛.PCB AOI 關(guān)鍵技術(shù)及一種基于亞像素檢測(cè)和智能形狀分析的AOI系統(tǒng)[J].印制電路信息，2011，19(4):100－105.

【5】鄭李明，王興松.斜拉橋拉索徑向畸變CCD 圖像的邊緣檢測(cè)與圖像提取[J].機(jī)械制造與自動(dòng)化，2008，37(6):107－110.

【6】代小紅，王光利.基于模式識(shí)別的零件表面瑕疵圖像提取的設(shè)計(jì)與實(shí)現(xiàn)[J].表面技術(shù)，2011，40(5):109－112.

【7】李程鵬.AOI技術(shù)在表面貼裝質(zhì)量智能檢測(cè)中的應(yīng)用研究[D].廣州:華南理工大學(xué)，2010.

【8】李西兵，范彥斌.一種提高復(fù)雜產(chǎn)品ICT 切片輪廓反求精度的方法[J].中國(guó)機(jī)械工程，2005，16(2):152－155.

【9】范彥斌，李西兵.一種基于復(fù)雜產(chǎn)品ICT 切片圖像的輪廓提取算法[J].中山大學(xué)學(xué)報(bào):自然科學(xué)版，2004，43(3):21－24.

【10】謝鳳英，趙丹培.Visual C++數(shù)字圖像處理[M].北京:電子工業(yè)出版社，2008.

【11】陸宗騏，金登男.Visual C++.NET 圖像處理編程[M].北京:清華大學(xué)出版社，2006.

【12】希爾，克雷.計(jì)算機(jī)圖形學(xué)[M].胡事民，等，譯.北京:清華大學(xué)出版社，2009.