基于機器視覺的SOP芯片引腳缺陷檢測系統(tǒng)設計*

李本紅，張淼，歐幸福

(1.佛山職業(yè)技術學院，廣東佛山528137;2.廣東工業(yè)大學自動化學院，廣州510006)

基于機器視覺的SOP芯片引腳缺陷檢測系統(tǒng)設計*

李本紅1*，張淼2，歐幸福1

(1.佛山職業(yè)技術學院，廣東佛山528137;2.廣東工業(yè)大學自動化學院，廣州510006)

為解決人工檢測SOP芯片引腳缺陷所存在的諸多問題，設計一套基于機器視覺的SOP芯片引腳缺陷自動檢測系統(tǒng)。系統(tǒng)采用ARM-DSP雙核架構快速地實現圖像采集、處理和特征提取以及外圍應用功能，設計基于動態(tài)閾值的快速分割算法來獲取芯片的特征圖像，采用灰度躍變檢測引腳中點、中點直線擬合和引腳間距統(tǒng)計等方法實現對SOP芯片引腳缺陷的自動檢測。實驗結果表明該系統(tǒng)快速、準確、可行。

圖像處理;芯片引腳缺陷;圖像分割;直線擬合;間距統(tǒng)計

在IC集成芯片器件生產過程中，芯片的外觀質量檢測是其中一項必不可少的環(huán)節(jié)，包括IC芯片的引腳尺寸、殘缺、偏曲、間距不均、平整度差等檢測項目，而上述質量問題會直接影響電路產品的質量。目前IC集成芯片器件的外觀質量檢測主要采用人工目檢方法。人工目檢方法雖方便直接，但存在以下幾個方面的問題:(1)人工目檢方法不能實現24 h不間斷工作，工人工作強度大，易造成視覺疲勞，導致誤檢，直接降低產品檢測的可靠性;(2)人工目檢的質量判斷標準不易量化，導致檢測結果穩(wěn)定較差;(3)由于IC集成芯片尺寸較小，受限于人眼的識別能力，人工目檢的檢測速度和精度較低，使得檢測效率低、人力成本較高。上述因素在較大程度上制約了我國IC集成芯片生產行業(yè)的發(fā)展，如何改進生產檢測工藝，實現檢測方法的智能化和自動化，提高微觀級別工藝檢測精度和效率，降低成本，促進大規(guī)模集成電路工業(yè)化生產技術的升級，成為產業(yè)發(fā)展的迫切需要。

1 系統(tǒng)總體

系統(tǒng)是由背景光源及驅動電路、線陣式CCD工業(yè)相機及其輔助裝置、FPGA圖像采集電路、基于DSP和ARM雙處理器結構的嵌入式圖像處理和控制部分、信號輸出部分等組成［4］。系統(tǒng)框圖如圖1所示。

嵌入式圖像處理和控制部分是系統(tǒng)的核心，主控制器采用三星公司的S3C6410ARM處理器，配置、移植Linux操作系統(tǒng)，協處理器使用TI公司的TMS320C6678DSP處理器。系統(tǒng)硬件原理圖框圖如圖2所示。

圖1 系統(tǒng)結構框圖

圖2 系統(tǒng)硬件原理圖

DSP協處理器主要接收來自FPGA圖像采集電路傳送過來的IC芯片圖像數據，完成圖像預處理、分割、模板匹配、缺陷分析等復雜的圖像處理工作，將圖像處理結果發(fā)送給ARM主控制器，同時以AV信號輸出給顯示器進行顯示。

ARM主控制器主要完成人機交互、任務管理、數據輸入輸出、外部設備的控制和通信等系統(tǒng)的基本運行。(1)通過操作觸摸屏查看圖像處理結果等數據，設置、處理系統(tǒng)參數等;(2)接收光纖傳感器的芯片位置觸發(fā)信號，通過光源控制器點亮環(huán)形LED光源，觸發(fā)CCD工業(yè)相機拍攝芯片圖像; (3)采集、處理和控制電機轉速、加減速及正反轉。(4)將檢測結果數據存儲到硬盤中，以待日后查閱、統(tǒng)計應用等;(5)根據圖像處理結果，控制剔除裝置剔除缺陷芯片;(6)通過以太網連接器實現遠程監(jiān)控。

2 系統(tǒng)硬件設計

2.1 圖像采集電路

CameraLink是一種機器視覺應用領域廣泛采用的基于物理層的LVDS的數據串行通信協議。由于CameraLink串行通信信號分為電源信號、視頻數據信號(ChannelLink標準)、相機控制信號、串行通信信號和視頻數據信號，采用低壓差分信號LVDS進行傳輸，而FPGA處理器使用的是LVTTL或LVCOMS電平信號，所以本文使用SN65LVDS94、 SN65LVDS391和SN65LVDS179對CameraLink信號進行轉換。其中SN65LVDS94用于4路視頻圖像數據信號X0:X3的轉換，SN65LVDS391用于4路工業(yè)相機控制信號CC1:CC4的轉換，SN65LVDS179用于一對異步串行通信控制信號的轉換。具體電路如圖3所示。

圖3 圖像采集電路

2.2 圖像處理電路

為滿足ARM主處理器和DSP協處理器之間高速的數據傳輸要求，本文采用基于IDT70261的雙端口RAM的接口電路，通過IDT70261芯片兩組獨立數據接口D0L-D15L和D0R-D15R實現S3C6410和TMS320C6678連接。ARM和DSP的連接電路圖如圖4所示。

圖4 ARM與DSP連接電路圖

2.3 ARM外圍控制電路

主控制器S3C6410的外圍控制電路主要包括觸摸屏顯示器、以太網接口電路、電機控制電路、環(huán)形光源控制電路、光纖傳感器、硬盤存儲器以及次品分揀裝置等部分，外圍控制電路如圖5所示。觸摸屏顯示器、以太網接口和硬盤存儲器通過自身獨立接口與主控制器連接，用戶系統(tǒng)操作、遠程通信和信息存儲等功能;光纖傳感器用于獲取芯片在檢測平臺上的位置信息;S3C6410通過通用I/O口GPC1與運放耦合電路連接，并經由固態(tài)繼電器控制檢測平臺驅動電機，控制電機的正反轉和加減速，耦合電路和固態(tài)繼電器保障控制端和電機強電端之間互不干擾;環(huán)形光源控制電路通過通用I/O口GPC2控制，實現環(huán)形光源的點亮和熄滅;芯片次品剔除裝置由通用I/O口GPC3控制輔助吹氣裝置，實現芯片次品的剔除動作。

2.4 VGA接口電路

VGA顯示接口電路模塊主要用于顯示DSP協處理器實時圖像處理結果。在接口電路高性能的ADV7123譯碼器芯片實現3路10 bit RGB顏色信息的數模轉換。為使輸入RGB數據的位數與Camera-Link工業(yè)相機的像素位數一致，在接口電路中將3路數據輸入端的低兩位接地置零，如圖6所示。

圖5 ARM外圍控制電路

圖6 VGA顯示接口電路

3 系統(tǒng)軟件設計

3.1 系統(tǒng)軟件實現流程

集成芯片引腳缺陷檢測算法包括對SOP集成芯片的引腳尺寸偏差、殘缺、偏曲、間距不均等類型缺陷的檢測，算法流程圖如圖7所示。

具體步驟如下:

(1)圖像采集模塊通過Camera Link從CCD工業(yè)相機獲取芯片圖像，并傳輸給圖像處理協控制器DSP。

(2)協處理器DSP對原始芯片圖像進行濾波降噪等預處理，利用模板匹配算法獲取芯片位置信息和角度信息，根據位置信息和角度對預處理芯片圖像旋轉至準水平位置，并設置合理尺寸的ROI區(qū)域，提取ROI區(qū)域內的芯片圖像。

(3)利用數學形態(tài)學腐蝕膨脹算法對ROI區(qū)域的芯片圖像進行處理，進一步去除干擾噪聲。

(4)利用迭代閾值分割法對ROI區(qū)域的芯片圖像進行而知分割，提取芯片輪轂圖像。

(5)通過直線擬合算法獲取芯片兩側的邊緣函數、斜度和左右頂角坐標。

(6)由芯片的左右頂角坐標，計算芯片引腳根部擬合直線，并從引腳根部開始沿引腳方向，按像素遞增，設置n條與引腳根部擬合直線平行的掃描直線。

(7)沿芯片引腳根部擬合直線檢查像素灰度值，得到芯片引腳根部中心點坐標，計算引腳間距;沿n條掃描直線檢測像素灰度，得到引腳在該處位置的中點，根據引腳的所有中點信息，計算引腳長度、平直度和偏曲度，根據上述計算結果判斷是否存在尺寸偏差、殘缺、偏曲和間距不均等缺陷。

圖7 缺陷檢測算法流程

3.2 圖像分割算法

芯片目標圖像分割是芯片圖像的關鍵，本文采用實現芯片圖像從背景圖像中快速分割提取［5-6］。

(1)根據芯片圖像的全局灰度直方圖計算出最大灰度值Gmax和最小灰度值Gmin，設初始閾值為:

(2)使用初始閾值Gmen將原始圖像分割為目標圖像T和背景圖像B，并分別計算其灰度均值:式中，G(i，j)為像素點灰度值，N(i，j)像素點的加權系數。

(3)根據步驟(2)的灰度均值計算第2次分割閾值:

(4)若Tk+1=Tk，則程序執(zhí)行結束，Tk為最佳分割閾值;否則令k=k+1，跳轉至步驟(2)繼續(xù)循環(huán)執(zhí)行直至迭代計算得到最佳閾值。

3.3 缺陷識別算法

芯片引腳缺陷檢測算法是系統(tǒng)軟件實現的核心［7-9］，本文采用的缺陷檢測算法如下:

(1)由芯片的左右頂部(底部)頂角坐標，設置引腳根部中點掃描直線，沿該直線檢測所有n個引腳根部的中點坐標(xi，0，yi，0)，計算兩兩相鄰引腳根部中點的間距，即為引腳根部間距，公式如下:

若si大于最大預設間距Smax或si小于最小預設間距Smin，則判斷引腳根部間距存在缺陷或引腳缺失。

(2)通過最小二乘法將管腳的根部中點坐標擬合成直線，該直線公式如下:

(3)同理，沿引腳方向按像素點遞增，擬合與引腳根部中點掃描直線平行的其余m條引腳中點掃描直線，m的大小為引腳長度方向的像素點個數值，直線公式如下:

其中:根據式(7)檢測引腳像素值，得到該掃描直線上的引腳第i個引腳的第j個中點的坐標為(xi，j，yi，j)，根據式(5)計算第j條掃描直線方向的兩兩引腳中點間距，根據結果判斷是否存在引腳殘缺或偏曲。

(4)根據每一個引腳中點坐標(xi，j，yi，j)，擬合出每一個引腳的直線函數:其中:

計算每一個引腳的中點擬合直線的斜度Ki=，若大于最大預設斜度=+ε或小

4 實驗結果及分析

系統(tǒng)圖像傳感器采用30萬像素的嘉恒OK_AM1121型1/3英寸黑白面陣CCD工業(yè)相機，分辨率為640×480，曝光時間850μs;配備6 mm的T2616FICS-3型Computar鏡頭;背景光源使用奧普特OPT-RI5030白色LED環(huán)形光源，同時將EMCV(Embedded Computer Vision Library)移植至系統(tǒng)DSP協處理器上完成圖像的預處理等工作。

4.1 芯片圖像提取

使用上述算法對2 000幅SOP型芯片圖像進行測試驗證，現選取4幅有代表性的圖像予以說明，其中圖8是引腳合格的芯片圖像，其中，從左至右分別為原始圖像、旋轉至準水平圖像、裁剪圖像、濾波降噪圖像、二值分割圖像和開關運算后圖像。圖9～圖11是有引腳缺陷的3類不合格芯片圖像。

圖8 合格芯片引腳提取算法效果

圖9 引腳缺失提取算法效果

圖10 引腳殘缺提取算法效果

圖11 引腳偏曲提取算法效果

從上述測試可以看出，采用本文的圖像預處理方法能完整提取芯片引腳圖像，通過圖像裁剪減少信息冗余，與濾波算法結合降低圖像噪聲干擾，使用迭代閾值二值分割算法能快速計算芯片圖像最佳分割閾值，提取引腳圖像。

4.2 引腳缺陷檢測

根據SOP芯片常用封裝標準，引腳間距為1.27 mm，引腳長度為2.54 mm。結合系統(tǒng)的標定和芯片圖像的測量統(tǒng)計結果，引腳平均長度為46個像素，引腳平均間距為23個像素，合格芯片引腳個數為單列14個，按照設計要求設定合格引腳間距誤差為不超過5個像素。

在提取芯片引腳圖像的基礎上，對圖9～圖11的引腳圖像使用本文的缺陷檢測方法，分別設置35條灰度躍變檢測直線，獲取引腳根部、端部和其他部分的中心坐標，記錄引腳根部中心個數分別為14、13、14和14個，則圖9所示的芯片缺失1個引腳;計算每條掃描直線上每兩個引腳中心坐標的間隔距離si，如表1所示，其中圖8所示芯片引腳間距均在標準范圍內，圖9～圖11所示芯片引腳分別存在缺失、殘缺、偏曲等缺陷。

圖12左圖為各類型芯片缺陷檢測結果圖，紅線為引腳中點灰度檢測基準和引腳中點，右圖為沿引腳中點灰度檢測基準的灰度變化及灰度變化導數圖，其中淺色曲線為沿灰度檢測基準線上像素灰度變化曲線，深色曲線為灰度導數曲線。

通過對2 000個SOP集成芯片進行檢驗，可得系統(tǒng)的引腳缺陷檢驗出錯率為0.5%，且其中0.2%錯判現象為合格產品被誤判為次品，系統(tǒng)可滿足實際生產的需要。

表1 引腳中心間距si統(tǒng)計結果

圖12 引腳缺陷檢測結果

5 結束語

本文提出了整個SOP芯片引腳缺陷檢測系統(tǒng)的硬件設計和軟件算法設計;借助ARM主處理器在監(jiān)視控制、人機交互等方面的優(yōu)勢和DSP協處理器強大的數字圖像處理能力，采用了ARM+DSP的雙處理器結構實現缺陷檢測算法和系統(tǒng)應用功能的快速處理;設計了迭代閾值二值分割算法和數學形態(tài)學算法相結合的方法完成引腳圖像的有效提取，設計了基于灰度躍變檢測引腳中心點的引腳缺陷識別方法。從實驗結果看來，該方法檢測效率高、穩(wěn)定性好，滿足工程的實際應用。

［1］夏鏈，賈偉妙，崔鵬，等.基于機器視覺的BGA芯片缺陷檢測及其MATLAB實現［J］.合肥工業(yè)大學學報(自然科學版)，2009，32(11):32-38.

［2］朱更明，李方敏.芯片管腳缺陷在線視覺檢測系統(tǒng)研究［J］.電子制作，2015，30(9):1866-1873.

［3］劉建峰，李承峰.基于機器視覺的IC芯片外觀檢測系統(tǒng)［J］.計算機工程與應用，2009，45(35):46-51.

［4］黃偉基，謝云.基于ARM與DSP的PET瓶蓋缺陷在線檢測系統(tǒng)的設計［J］.機床與液壓，2013，41(7):174-180.

［5］Ma Yide，Dai Ruolang，Li Lian.An Counting and Segmentation Method of Blood Cell Image With Logical and Morphological Featureofcell［J］.Chinese Journal of Electronics，2002，11(1):53-55.

［6］丁倩雯.基于FPGA的自適應像素分割算法設計與實現［J］.電子器件，2015，38(3):510-555.

［7］劉泉，胡文娟.基于機器視覺的PCB缺陷檢測系統(tǒng)設計與研究［J］.電子器件，2007，30(2):550-556.

［8］鄭金駒，李文龍，王瑜輝，等.QFP芯片外觀視覺檢測系統(tǒng)及檢測方法［J］.中國機械工程，2013，24(3):290-298.

［9］何榮芳，孫長庫，王鵬，等.SMT封裝電路板三維在線檢測技術［J］.傳感技術學報，2015，28(2):290-297.

李本紅(1974-)，男，漢族，籍貫湖南省祁陽縣，現為佛山職業(yè)技術學院電氣自動化專業(yè)電子技術講師，主要研究方向為自動控制系統(tǒng)的設計與分析，lbh_1974@163.com;

張淼(1968-)，漢族，籍貫廣東省廣州市，華南理工大學博士，現為廣東工業(yè)大學自動化學院教授，主要研究方向為圖像處理、模式識別，bezhangm@ gdut.edu.cn;

歐幸福(1985-)，男，漢族，籍貫湖南省衡陽市，2013年于廣東工業(yè)大學獲碩士學位，現為佛山職業(yè)技術學院電氣自動化專業(yè)講師，主要研究方向為數字圖像處理，機器視覺，adaouxingfu@163.com。

SOP Chip Pins Defect Detection Based on Machine Vision System Design*

LIBenhong1*，ZHANGMiao2，OU Xingfu1

(1.Foshan Vocational and Technical College，Fushan Guangdong 528137，China;2.Guangdong University of Technology，Guangzhou 510006，China)

In order to solve the problems in manual inspection of SOP chip defect，design an automatic detection system of SOP chip defect based on machine vision.The system uses ARM-DSP dual-core architecture to achieve these functions rapidly such as image acquisition，processing and feature extraction as well as peripheral applications.It designed a fast segmentation algorithm based on dynamic threshold to get the chip feature image and used themethods of grayscale transition detector pin midpoint，midpoint line fitting and pin spacing statistical to realize automatic detection of the SOP chip pin defect.Experimental results show that the system is fast，accurate and feasible.

image processing;chip pin defect;image segmentation;line fitting;spacing statistics

C:7230;6340

10.3969/j.issn.1005－9490.2017.01.033

TP391.41

:A

:1005－9490(2017)01－0171－08

項目來源:廣東省教育部產學研重大專項項目(2012A090300005)

2016-01-31修改日期:2016-03-14