基于機器視覺的電子連接器缺陷檢測系統的設計

譚臺哲　寧華龍

1(廣東工業大學計算機學院　廣東 廣州 510006)2(河源廣工大協同創新研究院　廣東 河源 517000)

?

基于機器視覺的電子連接器缺陷檢測系統的設計

譚臺哲1,2寧華龍1*

1(廣東工業大學計算機學院廣東 廣州 510006)2(河源廣工大協同創新研究院廣東 河源 517000)

摘要針對電子連接器組裝過程中，存在Pin腳間距和平整度不一致等問題，設計一個基于機器視覺的電子連接器缺陷檢測系統。在Canny算法的基礎上，給出一種新的檢測算法。實驗證明，相比與人工檢測的方法，該系統設計方案的檢測速度和精度都得到了明顯提升，能夠適應和滿足自動化工業生產的需求。

關鍵詞機器視覺電子連接器數學形態學亞像素

0引言

連接器是一種經常使用的電子元器件，主要用于電路內部隔處架起橋梁使電流流通。FPC電子連接器作為電子連接器的新技術，是在柔性線路板的基礎上發展起來的一種非常精密的電子元件。隨著電子行業在我國迅速發展，中國變成了世界化的電子元器件生產基地，各種電子元器件的生產規模不斷擴大。隨著電子產品的消費不斷增加，電子連接器生產規模的擴大，對產品質量的要求迅速提升，使產品質量檢測在連接器生產步驟中成為至關重要的環節。

在電子連接器生產過程中，Pin腳在組裝時，由于氣缸運動存在受力不均的情況，導致Pin腳出現傾斜，影響產品的最終質量，因此，在生產過程中有必要引入檢測方法。傳統的檢測方法是人工在放大鏡前檢查電子連接器，這也是目前實際中常見的應用方法。其主要過程為當產品在產線上組裝工序完成后，工作人員使用光學影像測量儀以及相應模具對第一批產品手動進行精確測量，稱之為首檢。使用這種方法可實現對生產過程進行動態跟蹤控制，降低不良率[1]。其后，大量的人工在放大鏡前檢查電子連接器，這種方法完全依靠人的視覺直覺，準確率低，精度沒有保障；而視覺檢測方法是通過對圖像的處理，來檢測電子連接器的平整度和pin腳間距，以判定生產的工件是否合格，這是目前通行的檢測方法。生產電子連接器時，根據生產制造工藝，pin腳之間的間距定和pin腳的平整度，其檢測精度要求±0.01 mm。然而當前許多自動化生產中仍以人工手段檢測電子連接器，即通過人眼來分辨電子連接器的pin腳平整度和間距，這根本無法達到檢測的精度要求，并且人眼容易疲勞，人工檢測存在著諸多弊端。

由于電子連接器圖像的結構穩定、特征明顯，因此很適合使用自動化的手段代替人工進行檢測。事實上，已有很多將機器視覺應用于電子連接器檢測的應用[1-4]。文獻[1,2]中提出了基于機器視覺檢測的電子連接器的兩個核心問題：對每個pin腳的邊緣檢測和去除邊緣毛疵即圖像去噪。文獻[1]提出一種基于閾值分割的亞像素精度邊緣再檢測算法；文獻[2]使用Sobel邊緣檢測算法；文獻[4]提出利用數學形態學消除噪聲點，提出了自適應雙閾值Canny邊緣檢測。本文基于專業機器視覺庫Halcon[7-9]，設計一個將Canny邊緣檢測與亞像素相結合的視覺檢測系統。

1系統總體方案設計

本檢測系統安裝在一套自動化生產線上，其生產線主要有伺服馬達、機械導軌、氣閥等。配合生產線，本系統主要由圖像采集系統和數字圖像處理系統組成。在檢測時，生產線將產品送入傳送裝置，再由伺服馬達控制氣閥利用吸嘴將要檢測的工件吸起，并置于檢測平臺上，此時，光源頻閃曝光。然后，PLC程序發送信號控制CMOS攝像機對待檢連接器進行拍照，再由千兆網接口傳人計算機的圖像處理系統。通過系統軟件的計算評估，將處理結果顯示出來并通知PLC控制模塊，由PLC控制模塊決定工件的不良排除操作[10]。系統工作流程如圖1所示。

圖1　系統工作流程圖

2光學硬件選型

系統的光學硬件選型主要有：工業相機、工業鏡頭和特定的光源等。工業相機的選擇和實際的工件尺寸決定了系統的檢測精度，本系統使用Basler500萬像素黑白相機acA2500-14gm，分辨率達到0.01 mm，可使得pin腳的邊緣能夠更加準確地定位到，從而保證定位的精度能夠滿足生產工藝的要求。鏡頭的選擇要根據工作視野和工作距離來確定，檢測微小元器件時，一般會選擇放大鏡頭、遠心鏡頭等，本系統選用的是工作距離為110 mm的遠心鏡頭[21]。光源選擇的合適與否直接影響著視覺系統的應用效果。依據LED燈的工作原理[11]，本系統選用LED藍色同軸光源。同軸光的結構特點為：(1) 高密度排列LED，亮度幅度提高；(2) 獨特散熱結構，提高穩定性，延長壽命；(3) 高級鍍膜分光鏡，減少光損失；(4) 成像清晰，亮度均勻。因此同軸光發出的光線均勻反射到光源發出口，面分布均勻性和方向均勻性都很好，可以將表面相對復雜的物體或圖片照射出比較均勻的效果，并且藍色光源波長短，不易形成衍射現象。

3視覺軟件設計

系統實驗對象是某公司生產的pin腳間距為0.5 mm的電子連接器，其產品pin腳數目變化范圍為：4pin到60pin。由于篇幅限制，本文以20pin的產品為例進行描述，主要針對pin腳間距和平整度兩種外觀檢測項目進行討論。電子連接器檢測工件的部分視圖如圖2所示。

圖2　電子連接器部分視圖

3.1軟件設計中的關鍵技術

根據檢測產品采集圖像的結構可知，該系統的關鍵技術就是pin腳邊緣精確定位以及基準線的檢測。采用圖3電子連接器的圖像數據進行描述，算法主要分三步：(1) 電子連接器的粗定位；(2) pin腳邊緣和基線的精確定位檢測；(3) 計算pin腳的間距和平整度，判斷生產的電子連接器是否合格。

圖3　電子連接器原圖與初步定位效果圖

3.1.1電子連接器的粗定位

在本視覺系統中，由于機械移位誤差，使得工件在圖像中并不一定總處于同樣的位置和方向，因此本文設計系統檢測算法時，對這種位置的變化做出相應的考慮。

首先，使用大津法(OTSU)分割出圖像的電子連接器和基線部分[12,21]。其算法的基本原理是：分割出圖像前景目標的最好閾值T是使得類間方差最大化的閾值，即：

α2=q1((μ1-μ)2+q2(μ2-μ)2

(1)

其中，α2為類間方差，q1是灰度值大于閾值T的類的概率，q2是灰度值不大于閾值T的類的概率，而μ是兩類的類間均值。

最佳閾值T就是使得α2最大的灰度值。本系統利用閾值T，將電子連接器和基線區域同背景分開，其原圖與粗定位的效果見圖3。

3.1.2pin腳邊緣和基線的精確定位

利用大津法(OTSU)、數學形態學方法[13-15,21]處理后的圖像得到pin腳和基線ROI的粗定位。為了對pin腳邊緣和基線進行精確定位，本文對pin腳和基線ROI區域進行亞像素算法處理。對于亞像素插值算法，其主要目的是提高像素點的精度，目前一個像素點的實際尺寸為0.01 mm。為了達到更高的精度，將粗定位圖像中的一個像素點使用2×2的矩陣像素點代替。其具體算法描述如下：

將圖4中的Ai j像素點使用Ai j 0、Ai j 1、Ai j 2、Ai j 3代替。

圖4　亞像素插值

采用式(2)的插值算法，以Ai j 0為例進行說明：

(2)

其中，Ai j、Ai-1 j-1、Ai-1 j、Ai j-1代表圖像中像素點的灰度值T為一個閾值。通過T來判斷Ai j是否為邊緣點，經過實驗驗證，當T取值為40時，達到較好的邊緣判斷效果。對于圖像的邊界插值，本文采取將原像素點的值直接賦值給2×2的矩陣像素點。

對于pin腳和基線的邊緣檢測，本文在亞像素插值圖像以及已有的Canny邊緣檢測算法[4,16-18]的基礎上提出一種改進的方法。傳統的Canny算子在選取高低閾值的時候，無法避免人為因素的影響，不具有自適應和性魯棒性，不適合當前的工程應用[4]。因此，本文通過對pin腳、鐵片具體屬性的分析，使用一種自適應選取閾值的邊緣檢測算法，并對邊緣點的選取算法作了相應的改進，以適應實際生產需要。在已有的自適應閾值的基礎上，即文獻[4]中的方法，選出的高低閾值Tl和Th。對于大于Tl而小于Th的點該如何劃分以獲取更確切的邊緣，本文提出以下自適應邊緣點選取方法：

首先，根據Canny算子計算出原圖像I的梯度圖像D。且設大于等于高閾值Th的點屬于C1類，小于等于低閾值Tl的點屬于C2類，中間部分為C3類。為了減小計算量，根據高低閾值，可以先去除C2類的點。再根據各個pin腳的位置生成相應的測量框R，在測量框的內部選取大于高閾值Th一類點中，選取梯度最大的點Dmax(i,j)作為搜索邊緣點的一個種子點。然后在Dmax(i,j)的八鄰域內搜索，查找其中梯度最大的點D(i′,j′)，這完成了搜索的初始化條件。

其次，進行邊緣點搜索，在初始化條件的基礎上，對測量框內部查找，其滿足迭代條件的邊緣點，其迭代描述如下：

(1) 令D1=Dmax(i,j)，D2=D(i′,j′)，其為梯度值。

(2) 搜索區域內部屬于C3類的點中局部梯度最大的點D3，設找到的D3點的坐標為(i″,j″)。

(3) 分別計算D3點到D1、D2點的街道距離d13和d23，公式如下：

(3)

(4) 為了排除噪聲點的干擾D3點到D1、D2點的距離之和要小于k。由于D1和D2點對于D3點的影響不同，D3點離D2點較近，離D1點較遠，因此引進兩個影響因子α、β，且考慮梯度的限定。這里再引進一個梯度影響因子c作用與距離之上，實現動態梯度閾值的查找邊緣點，則計算找到的D3點是否滿足如下條件：

αd13+βd23≤2ck

(4)

(5) 如果D3點滿足式(4)，則將D3點視為邊緣點，然后令D1=D2，D2=D3，重復步驟(2)-步驟(4)，當局部區域內沒有點滿足條件時結束。使用如上的算法得到的檢測效果見圖5。

圖5　改進算法檢測效果

本文中提出的改進算法，相比與文獻[4,16-18]，其檢測的精度有較大的改善，文獻[4]中的檢測精度為±0.02，本文的檢測精度為±0.01，詳細結果見3.2節。

3.1.3計算pin腳間距和平整度

3.2實驗結果

本文共采用3組100個pin腳數目為20的產品進行實驗，將其同人工檢測作比較，其中產品的誤判率和漏判率如表1所示。

表1　實驗結果統計表

分析導致檢測誤判、漏判的原因發現：由于生產產品的過程中會產生塑料廢屑附著在產品上，導致檢測邊緣時產生很大的偏差；基線的設定是由機械安裝完成的，但是機械安裝不能保證基線完全水平，這對于取平均值的算法造成很大的影響。因此在算法中加入機械修正算法，補償機械造成的偏差。補償后以三組1000個樣本進行驗證，其實驗結果見表2。

表2　機械修正后的檢測結果

在驗證測量結果時，將這個系統檢測的結果同測量精度為0.005 mm的二次元測量結果進行對比，以驗證檢測結果的精度，其部分pin腳的平整度數據見表3。

表3　數據精度驗證

4結語

通過對電子連接器生產行業進行深入的調查研究，目前多數廠家仍然以人工手段完成其性能的評估和檢測，這樣的檢測速度和精度已無法滿足現有的工業自動化生產需求。因此，設計實現基于專業機器視覺庫HALCON的電子連接器自動化缺陷檢測系統代替人工檢測應運而生。本文提出基于亞像素精度的自適應邊緣檢測算法，此算法能夠實現對電子連接器邊緣的精確定位，提高檢測結果的精度。本系統已經運用于多家電子連接器自動化生產產線上，運行穩定，能夠很好地滿足自動化工業生產的需求。但是本設計方案也存在不足：(1) 系統對于工作的環境(包括機械環境和光源環境)比較敏感，一般要求必須固定基本的工作環境。(2) 系統中采用了機械設置基線的方法，引進了機械誤差。

參考文獻

[1] 褚娜.FPC連接器高精度缺陷檢測技術研究[D].中國計量學院,2013.

[2] 褚娜.FPC連接器焊腳外觀檢測關鍵技術研究[J].中國計量學院學報,2012,23(3):268-273.

[3] 李峰峰.電子元器件外觀檢測系統的研究與開發[D].華南理工大學,2012.

[4] 黃杰賢.FPC外觀缺陷自動光學檢測關鍵技術研究[D].華南理工大學,2012.

[5] 張洪濤,段發階,丁克勤,等.帶鋼表面缺陷視覺檢測系統關鍵技術研究[J].計量學報,2007,28(3):216-219.

[6] 張洪濤,段發階,葉聲華.一種快速亞像素邊緣檢測方法研究[J].計量學報,2002,23(4):263-270.

[7] 章毓晉.機器視覺和圖像技術[J].自動化博覽,2009,26(2):20-25.

[8] 楊少榮,吳迪靖,段德山.機器視覺算法與應用[M].北京:清華大學出版社,2009.

[9] 李景峰,楊麗娜,潘恒.Visual C++串口通信技術詳解[M].機械工業出版社,2010.

[10] Xia N J,Cao Q X,Fu Z.A Machine Vision System of Ball Grid Array Inspection on RT-Linux OS[C]//2004 International Conference on the Business of Electronic Product Reliability and Liability,Shanghai,2004:81-85.

[11] 耿春明,蔡東寶.基于計算機視覺的機械零件檢系統設計[J].計算機測量與控制,2012,20(1):38-39.

[12] Tian H,Srikanthan T,Asari K V.The Segmentation algorithm of improvement a two-dimensional Otsu and application research[C]//2010 2nd International Conference on Software Technology and Engineering(ICSTE),2010,25(1):76-79.

[13] Hu Jinmei,Li Zuoyong.Medical image segmentation algorithm based on the improved mathematical morphology[J].Computer Simulations,2011,28(5):299-302.

[14] Chen Tingting,Cheng Xiaoping.Image segmentation using fuzzy morphology and morphological watershed algorithm[J].Journal of Southwest University,2008,30(3):142-145.

[15] Wei Qiangqiang.Showdown:Mathematical morphology and its application in the image edge detection[J].Science and Technology Information,2010,10(2):38-42.

[16] Mukhopadhyay S,Chanda B.Multiscale Morphological Segmentation of Gray-scale Images[J].IEEE Transactions on Image Processing,2003,12(5):533-549.

[17] Wood S L,Qu G Y.A Modified Gray Level Morphological Gradient with Accurate Orientation Estimates and Reduced Noise Sensitivity[C]//Proceedings of the 34th Asilomar Confcrence on Signals,Systems and Computers,IEEE Press,2000:926-930.

[18] 余洪山,王耀南.一種改進型canny邊緣檢測算法[J].計算機工程與應用,2004,40(20):27-29.

[19] Maragos P.Tutorial on advances in morphological image processing and analysis[J].Optical Engineering,1987,26(7):623-632.

[20] Serra J.Image analysis and mathematical morphology[M].New York:Academic Press,1982.

[21] 戰蔭偉,付波.打印機顯示模塊的機器視覺檢測系統的設計[J].計算機工程與設計,2014,35(4):1491-1495.

DESIGN OF MACHINE VISION-BASED DEFECT DETECTION SYSTEM FOR ELECTRONIC CONNECTORS

Tan Taizhe1,2Ning Hualong1*

1(SchoolofComputer,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)2(SynergyInnovationInstituteofGDUT,Heyuan517000,Guangdong,China)

AbstractAiming at the problem of inconsistencies of Pin feet spacing and flatness in electronic connector assembly process, in this paper we design a machine vision-based defect detection system for electronic connectors. Meanwhile, based on Canny algorithm we present a new detection algorithm. It is verified by experiment that compared with manual detection methods, the design scheme of the system significantly improves the detection speed and accuracy, it is able to adapt to and meet the needs of automated industrial production.

KeywordsMachine visionElectronic connectorsMathematical morphologySub pixel

收稿日期：2014-12-02。高等院校學科建設專項(12ZK0362)。譚臺哲，副教授，主研領域：計算機機器視覺。寧華龍，碩士。

中圖分類號TP391.4

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.054