基于形狀匹配的片狀元件貼片角度糾偏算法

房曉偉 ，段 潔，安志勇，李華杰

FANG Xiao-wei1 , DUAN Jie1 , AN Zhi-yong1, LI Hua-jie2

（1.長春理工大學 光電工程學院，長春 130000；2.長春工業大學，長春 130012）

0 引言

機器視覺技術應用于貼片機中幾乎成為高性能貼片機的一個標志，并已廣泛應用于表面組裝自動化生產線上，現代先進的組裝設備大多裝載相應級別的機器視覺系統[1]。機器視覺對元件吸取的角度偏差檢測具有高精度、無損傷、無接觸等優勢。其中偏差角度定義為圖像坐標系橫軸與元件單側邊界直線的夾角。該偏差來自抓取元件的機械誤差以及元件運輸過程中產生的誤差。元件角度糾偏的作用是對有偏差的元件進行修正，使其能夠正確貼片。

目前常用糾偏方法有模式匹配法和形狀匹配法。模式匹配法由于計算量較大，多數由上位機控制，計算速度較慢，所以不能滿足現代生產需求。本文的形狀匹配法是采用FPGA做圖像處理，完全嵌入式，使用單指令數據流算法以及最小二乘擬合算法，速度快、精度高。經過實驗驗證，此算法穩定可靠，速度和精確度有明顯提高。

1 形狀匹配計算概述

1.1 形狀匹配基本概念

在視覺領域里，形狀與圖像是緊密聯系的，形狀所包含的信息量遠遠多于紋理和顏色所含有的信息量，是一種相對更高一層的圖像特征。形狀匹配的準確性由形狀提取的好壞所影響。好的形狀描述可以將復雜的形狀匹配問題變得簡單化，更有效率，而差的形狀描述則往往得不到滿意的結果。所以形狀描述的提取在形狀匹配的過程中具有極其關鍵的作用。

形狀描述一般分為基于輪廓的形狀描述方法和基于區域的形狀描述方法[2]。基于輪廓的形狀描述方法需要提取的就是形狀的輪廓信息。基于區域的形狀描述方法就是通過對閉合的曲線內部的像素點提取形狀的某些特征進行描述。由于片狀元件特征的提取是基于輪廓的描述，所以后面的研究也主要是基于輪廓上的信息進行形狀匹配。

1.2 形狀匹配計算流程

在形狀匹配領域，將物體看作是一系列離散點的集合，物體的形狀信息就可以通過表示物體的離散點集合或其子集來獲得[3]。基于輪廓的形狀匹配方法如圖1所示。

圖1 形狀匹配流程圖

1）圖像采集

對于要進行形狀匹配的圖像進行采集信息。實驗中用VITA1300 CMOS做圖像采集。

2）邊緣檢測

邊緣指的是圖像中像素的值有突變的地方，對于元件則指引腳與背景之間像素的差異。邊緣檢測主要有Sobel、Prewitt、Roberts等。由于Sobel算子相對于其他算子具有邊緣定位準確、靈活性強、對噪聲有抑制作用，則采用Sobel算子對圖像進行邊緣檢測，從而識別出片狀元件的每個引腳邊緣[4]，Sobel算子如圖2(a)、(b)所示。

圖2 Sobel算子及3×3像素區域

利用FPGA中shiftram例化截取出3×3像素點，假設圖2(c)中符號代表3×3像素區域的圖像點，則有公式(1)：

其中，Gx為圖像在x方向梯度算子，Gy為圖像在y方向梯度算子，Δf為梯度的模值。

3）二值形狀

圖像二值化是將圖像上的0～255級灰度像素值通過設定的閾值T映射為0或255，利用FPGA中的比較器，像素點（x,y）處的梯度模值Δf大于或等于T，認為該點是目標的邊緣點，否則為背景值零。二值化之后的圖像凸顯出感興趣的目標輪廓。圖3(a)是灰度圖像。圖3(b)是經過Sobel邊緣檢測且二值化處理之后的圖像，從而得到清晰的元件引腳輪廓，以便于后面的引腳檢測。

圖3 邊緣檢測前后處理效果圖

4）形狀描述

如圖3(b)所示，每個元件引腳輪廓類似圓形，由于元件引腳輪廓區域在10×10大小的像素區域內，而二值化之后的圖像只有0和1，所以用1bit表示像素值。所以利用FPGA中shiftram做矩陣[7]，例化10個位寬為10bit為的D觸發器，可以有效地代表了10×10bit圖像矩陣區域，從而可離散地擬合出圓形的形狀。

5）形狀匹配

FPGA內部進行形狀匹配，對圖像從第一行開始從左至右，從上至下遍歷整幅圖像尋找形狀相匹配的引腳，并記錄相應的元器件引腳坐標，將檢測的坐標值鎖存在lcd_xpos_r，lcd_ypos_r，同樣方法就可檢測出多個引腳的坐標值。用(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分別代表元件引腳坐標的值。

整個過程沖分發揮FPGA計算速度的優勢，即外部單指令觸發，FPGA收到觸發信號之后內部采集一整幀圖像，采集的過程中對圖像數據流進行形狀匹配，利用上述方法計算出每個引腳的坐標值。從而大大提高計算速度及精度。

2 片狀元件角度糾偏算法

2.1 偏差產生原因

貼片頭吸取元器件，移動至上視攝像機的位置上方，由于吸取元件、運輸等一系列動作，元件不可避免地會出現偏差，也就是說，有些元件擺放角度會有偏差，如圖4所示，那么僅僅依靠貼片頭的X,Y軸電機運動無法滿足現代貼片機精確要求[5]。所以有必要精確計算元件角度。

圖4 片狀元件在供料盤中角度偏移示意圖

2.2 糾偏方法

想要得到元器件的角度偏差，就要擬合元件邊界直線，則可以利用最小二乘法擬合出元件邊界直線，利用最小二乘法對于直線的擬合是一種有效的工具[6]。對圖像中離散的目標進行擬合，可得到連續的函數，從而確定目標的各個參數。

已知一系列點坐標(x1,y1)、(x2,y2)…(xn,yn)，擬合出直線方程為y=kx+b，則有式(2)和式(3)：

為了方便程序實現，設計中最小二乘法所采用的是式(2)和式(3)的結合，如式(4)所示：

將1.2節(5)形狀匹配中得到的坐標點(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)帶入式(4)，得出直線方程y=kx+b之后，則利用反三角函數，如式(5)所示：

其中θ為圖4中的偏差角。如圖3(c)為直線擬合示意圖。

如圖5(a)所示是原件未經過糾偏的貼片圖，偏差比較明顯，無法使用。如圖5(b)所示是原件糾偏之后的貼片圖，已經能達到現代貼片的需求。所以該文方法是可行有效的。

圖5 元件糾偏前和元件糾偏后貼片圖

3 實驗與分析

為了提高片狀元件角度糾偏的速度及精確度，利用FPGA并行執行的優勢，結合最小二乘法，并根據設計資源的要求，所以本設計采用Altera Cyclone IV EP4CE115F23I7為圖像處理芯片進行數據運算，此型號為Altera Cyclone IV系列容量最大的一款處理芯片，具有10W LEs。圖6為實驗系統工作框圖，FPGA內部工作流程如下：

1）FPGA對獲取的圖像進行Sobel邊緣檢測并且進行二值化處理得到元件引腳輪廓。

2）針對元件引腳輪廓，FPGA內部做圓形的形狀匹配，獲取每個引腳的中心坐標。

3）對獲取元件引腳坐標進行最小二乘法擬合直線，利用三角函數得到元件角度偏差。

圖6 系統工作框圖

圖像傳感器接口為parallel CMOS，它有1個幀同步、1個行同步、1個時鐘和8位數據信號。FPGA接收圖像數據流，FPGA內部進行元件引腳坐標檢測。如圖7是FPGA SignalTap時序示意圖，data[2:9]為圖像數據流，cmos_vsync、cmos_href分別為行、場信號，cmos_pclk為圖像時鐘信號，lcd_xpos、lcd_ypos為元件引腳坐標輸出信號。

圖7 SignalTap時序圖（截圖）

采用嵌入式FPGA圖像處理系統，主要解決上位機耗時長的問題。FPGA在圖像處理及坐標計算速度方面比上位機有明顯的優勢，并結合最小二乘法進一步提高了計算精確度。

3.1 直線擬合測試實驗

對于圖3(a)所示元件，在圖像坐標系中的引腳測試坐標值如表1所示，圖像的左上角表示原點，從左向右、從上到下分別為X,Y的正方向。由于擬合出元件單側直線就可以得到元件偏差角度，所以表1為元件單側引腳坐標值。其中引腳標號順序左上角為1腳，自左至右共4腳。

表1 FPGA實測數據

利用前面介紹的式(4)和式(5)則可以計算出k=0.0413。則偏差角度θ=arctan(k)≈2.37℃。

3.2 算法的綜合性能比較

表2 FPGA和Labview對比實測數據

由于貼片頭的機械誤差范圍在-10℃和10℃之間，所以本測試范圍為-10℃和10℃之間。表2是FPGA形狀匹配和Labview模式匹配兩者計算時間以及精確度對比。

從表2中可以看出，相對于上位機Labview模式匹配，利用FPGA做形狀匹配的快速糾偏算法進一步提高了計算精度，并且計算時間上明顯減少。實驗結果表明該文算法是可行有效的。

4 結束語

根據現代貼片機要求速度快，精度高的特點，對片狀元件角度糾偏算法進行了深入的研究，提出了基于FPGA形狀匹配快速糾偏算法，結合最小二乘法來完成片狀元件的角度糾偏算法，有效地提高了系統計算速度及精確度，經過大量實驗測試，該算法可以良好應用于元件的角度糾偏，并對元件角度的變化具有良好的適應能力。

[1]許海麗.基于OpenCV的SMT糾偏貼片視覺系統的研究[D].江蘇:蘇州大學,2013.

[2]余江.基于輪廓的形狀匹配方法研究[D].安徽:安徽大學,2013.

[3]周瑜,劉俊濤,白翔.形狀匹配方法研究與展望[J].自動化學報,2012,38(6):889-910

[4]白穎杰.基于機器視覺的圖像處理與特征識別方法的研究[D].重慶:重慶大學.2010.

[5]余大偉.視覺系統在貼片機貼片頭定位與片狀元件檢測糾偏中的應用研究[D].江蘇:蘇州大學,2010.

[6]王力.基于機器視覺的貼片元件定位系統的研究與開發[D].江蘇:蘇州大學,2010.