基于機器視覺的PCBA元器件實時檢測系統(tǒng)

閆夢濤，蘇 瑋，冉海周

(浙江理工大學 信息學院，浙江 杭州 310018)

0 引言

近年來，印刷電路在全球電子元件中產(chǎn)值穩(wěn)定增長，而伴隨著整機產(chǎn)品品種結構的調(diào)整，印刷電路板(Printed Circuit Board，PCB)的面積已大大減小，其精度、復雜度迅速提高，印刷電路板組裝件(Printed Circuit Board Assembly，PCBA)的檢測必將朝著自動化、可視化的計算機檢測方向發(fā)展[1]。目前，我國檢測PCBA板元器件技術設備已經(jīng)在一些大公司生產(chǎn)線上投入使用，此設備的出現(xiàn)幾乎完全替代人工操作，提高了產(chǎn)品質(zhì)量和生產(chǎn)效率，但是設備成本極高，一套自動光學檢測系統(tǒng)價值幾十萬美元，甚至高達數(shù)百萬美元[2]，如此高額的成本對于大部分中小企業(yè)來說是不能接受的，也是不切實際的。

由美國國家儀器公司 ( National Instruments，NI)提出的虛擬儀器 (Virtual Instruments，VI)技術[3]以其開放靈活、高效便捷、成本低廉、維護方便、功能強大等突出優(yōu)勢迅速為工業(yè)界廣泛接受，針對現(xiàn)在AOI所存在的價格成本的問題，本文介紹一種基于虛擬儀器的PCBA元器件實時檢測系統(tǒng)，本系統(tǒng)硬件只需要一臺CCD相機和一套箱式光源配合lABVIEW14.0的軟件平臺運用IMAQ Vision圖像處理模塊[4]進行PCBA板的精準測量，可見本系統(tǒng)成本是極其低的，有利于投入市場供給中小型企業(yè)使用，提高其產(chǎn)品競爭力。

1 系統(tǒng)總體設計

檢測系統(tǒng)整體結構包括圖像采集系統(tǒng)和圖像處理系統(tǒng)，圖像采集系統(tǒng)由I/O接口設備與CCD相機組成，圖像處理系統(tǒng)由LABVIEW中IMAQ Vision圖像處理模塊所組成。

1.1 系統(tǒng)硬件結構

由于采用了虛擬儀器技術，省去了大部分昂貴的硬件設備，系統(tǒng)只需要1臺CCD相機、1個箱式光源和1臺計算機作上位機。

CCD相機固定在箱式光源中心處，其電源線與外界電源連接，USB線與圖像處理系統(tǒng)的USB接口連接，箱式光源的電源線與外界電源連接。箱式光源的底面為正方形，距離在線流水線40 cm。

1.2 系統(tǒng)軟件設計

系統(tǒng)軟件部分采用 LabVIEW14.0(Laboratory Virtual Instrument Engineering Workbench)作為開發(fā)工具，由I/O接口設備[5]完成對圖像的采集，以圖形化的編程語言，利用 PC 計算機強大的軟件功能實現(xiàn)數(shù)據(jù)的運算、分析和處理，從而進行PCBA 的檢測。

系統(tǒng)軟件整體流程如圖1所示，當通過流水線PCBA板進入系統(tǒng)時，系統(tǒng)首先會利用CCD相機對PCBA板進行局部圖像聚焦從而采集局部的小圖，當采集的圖像到一定數(shù)值后，開啟拼接線程對采集到的圖像進行拼接，當PCBA板無縫進入系統(tǒng)，圖像處理系統(tǒng)會進行分板處理，得到拼接后的測試圖后逐步加入檢測隊列，進行檢測。

圖1 系統(tǒng)軟件整體流程

2 系統(tǒng)功能實現(xiàn)

2.1 圖像采集

由于PCBA板進入系統(tǒng)時間是隨機的，本系統(tǒng)設置一個事件等待觸發(fā)，當PCBA板離開系統(tǒng)的時候要合理地判斷板子離開的時機，停止圖像采集線程。本文采用圖像機構相似度(SSIM)[6]等于0.75作閾值來判斷板子進入和離開的時機。圖像采集軟件流程如圖2所示。

圖2 圖像采集流程

本系統(tǒng)圖像結構相似度(SSIM)采用的是LABVIEW IMAQ Vision模塊如圖3所示。

圖3 SSIM(結構相似度)

圖像結構相似度從圖像組成的角度將結構信息定義為獨立于亮度、對比度的反映場景中物體結構的屬性，并將失真建模為亮度、對比度和結構3個不同因素的組合[7]。本系統(tǒng)用在PCBA沒進入系統(tǒng)時的圖片tt.jpg與進入系統(tǒng)的照片進行結構相似度對比，發(fā)現(xiàn)其亮度、對比度和結構都有很大區(qū)別，經(jīng)過反復試驗，選用結構相似度等于0.75作為閾值，從而達到圖像采集的目的。

2.2 圖像拼接

圖像拼接的一般流程包括圖像預處理、圖像配準和圖像融合3步[8]。由于本系統(tǒng)安裝在固定的實時流水線上，圖像間的旋轉(zhuǎn)誤差很小可以忽略，所以拼接時只考慮平移變換，忽略圖像的旋轉(zhuǎn)[9]；此外，在線檢測中拼接速度太慢將會影響生產(chǎn)的效率，所以算法不能太復雜，當圖像采集照片大于一定張數(shù)時，圖像拼接線程就會開啟。

算法原理如圖4所示，圖像采集到的圖片肯定會有相互重疊的區(qū)域，圖片A和圖片B的黑色部分就是重疊的區(qū)域，拼接就是把圖片A和圖片B中重合部分刪除，并把兩圖像融合到一個坐標系下。

圖4 算法原理

系統(tǒng)拼接步驟如下：① 從圖片A中自上往下選取一行像素值，從圖片B中自下往上選取一行像素值；② 對以上2行像素值進行線性相關系數(shù)[10]計算，得出線性先關系數(shù)值并記錄；③ 繼續(xù)從圖片B中往上取一行像素，重復步驟2；④ 經(jīng)過反復以上步驟多次后，記錄下相似度值最大的那行線性相關系數(shù)所在的圖像位置；⑤ 在圖B這個位置以下區(qū)域選取一段區(qū)域作為彩色模板匹配[11]的模板，在圖片A中從上往下進行彩色膜板匹配，得出匹配分數(shù)和匹配位置；⑥ 根據(jù)匹配位置分別對圖像A、B進行裁剪，將裁剪后圖片轉(zhuǎn)化為數(shù)組，進行數(shù)組的連接，將得到的圖像數(shù)組轉(zhuǎn)化為圖像，實現(xiàn)圖像融合。

由于彩色模板匹配是R、G、B三種通道進行模式匹配加權得到的，拼接質(zhì)量非常高，但是計算量很大，所以本系統(tǒng)步驟①、②、③、④是求出線性相關系數(shù)，先粗略估計匹配區(qū)間，匹配區(qū)間里進行匹配，減少了計算量，提高了效率，上述步驟中的線性先關系數(shù)計算公式為：

(1)

式中，zx和zy是X和Y標準化的z值，z值計算為數(shù)組每一項想去其均值后除以其標準差，均值計算公式為：

(2)

式中，n是X中的元素數(shù)。標準差計算公式為：

(3)

彩色模板匹配是LABVIEW IMAQ Vision模塊如圖5所示。

圖5 彩色模板匹配

2.3 圖像分板

當多個PCBA板無縫進入系統(tǒng)時，若沒有分板處理，圖像采集系統(tǒng)會反復采集相同的圖像存入一個文件夾，圖像拼接系統(tǒng)會拼出多個相連的PCBA板相連的照片，就沒法有效地進行實時檢測，本系統(tǒng)對模板圖下邊緣部分圖像保存到內(nèi)存里，當圖像采集線程采集的圖像的張數(shù)到某個閾值的時候不斷與采集線程的圖像做彩色模板匹配，并記錄匹配分數(shù)，當匹配到原圖像時，停止拼接線程，圖片計數(shù)清零并把拼接后的圖像送入檢測隊列，實現(xiàn)分板，具體步驟如下：

① 在預先設置好的模板中截取與圖像下面部分高度為拍照聚焦框高度一半的矩形區(qū)域，并把圖像灰度化，并用此區(qū)域作為灰度模板匹配模板[12]如圖6所示。

圖6 圖像分板步驟

由圖6(a)可知，聚焦框的拍照的圖片高度為648px，截取離模板下邊緣320px位置的圖像作為灰度模板匹配的模板如圖6(b)所示。

② 設置拍照張數(shù)的閾值，當拍照大于這個數(shù)值的時候，匹配模板就會不斷去匹配拍下的照片，并得出匹配分數(shù)。

③ 當匹配分數(shù)大于800，表明已經(jīng)匹配到原圖像，此時停止拼接線程并把拼接圖像送入檢測隊列，計數(shù)清零，圖像采集線程繼續(xù)采集圖像。

由于匹配模板高度是聚焦框的一半，匹配模板區(qū)域比較大，匹配計算量比較小，不會影響匹配時間，本分板灰度模板匹配是基于LABVIEW的IMAQ Vision模塊，如圖7所示。

圖7 灰度模板匹配

2.4 檢測

檢測步驟的算法流程如圖8所示。

圖8 檢測流程

經(jīng)過拼接而來的測試圖和實際模板間空間位置上會出現(xiàn)誤差，這樣會使元器件定位的時候造成困難，本文采用彩色模板匹配方式進行校準，校準步驟如下：

① 在模板處設置一塊校準區(qū)域MARK，作為彩色模板匹配的模板；

② 在測試圖上進行彩色模板匹配，得出匹配分數(shù)以及匹配位置；

顧名思義，人生價值觀是指關于人生價值的根本觀點和看法，說到底就是對人生目的和人生意義的認識。人生價值觀決定人生態(tài)度。而人生價值觀又是由人生的理想和信念所決定。有了偉大的理想和信念才能樹立正確的人生價值觀。因此，我們論及方志敏的人生價值觀，首先必須了解方志敏的人生理想和信念。

③ 計算出這個校準區(qū)域在測試圖上像素的誤差；

④ 根據(jù)計算出來的的像素誤差對測試圖像進行增減。

本檢測原理是測試板與模板通過一些預處理[13]對比分析得出結論，本系統(tǒng)對不同元器件采用不同的預處理方式，對于顏色比較鮮艷的元器件(比如說綠色電容)去噪后二值化，通過對比其1的個數(shù)判斷是否存在；對于幾何特征比較明顯的元器件(比如插座)采用彩色模板匹配通過匹配分數(shù)來判斷是否存在；對于電解電容這種判斷極性的元器件，先采用霍夫變換[14]找到圓本體，然后二值化[15]通過圓環(huán)周圍像素點為0的個數(shù)判斷極性等等。

3 系統(tǒng)實驗結果與分析

3.1 系統(tǒng)界面

當運行軟件時，系統(tǒng)會跳到軟件登陸界面如圖9(a)所示，系統(tǒng)有檢測員、糾錯員和管理員3個入口，不同人用不同密碼選擇不同入口就可以進入相應的界面，進行操作，管理員進入系統(tǒng)通后回會跳入模板管理界面如圖9(b)所示，設置模板時對不同元器件對不同預處理，如圖9(b)右邊顯示有跳線-孔位、二極管管腳、二極管匹配、彩色模板匹配、模板匹配、電解電容、顏色提取、相似度、插座和彩色二極管等針對不同元器件不同預處理的方法。

圖9 系統(tǒng)界面

由于方法眾多，本文只展示綠色電容顏色提取的方法(如圖10所示)，通過調(diào)整R、G、B三個分量值把模板和測試板空板進行二值化，可以看出測試0的個數(shù)(黑色區(qū)域)占模板0的個數(shù)0.852 4，如果此此測試板沒有綠色電容就是空板下，0的個數(shù)占模板0的個數(shù)0.053，所以可以通過設置一個閾值來加以判斷。

3.2 圖像采集

由于采用的是結構相似度為0.75作為拍照閾值，拍照后照片會編號存入指定目錄下，如圖11所示。

圖10 綠色電容顏色提取方法界面

圖11 圖像采集小圖

3.3 圖像拼接與分板

經(jīng)過反復試驗，拼接后的照片(圖12)和原照片的結構相似度作為拼接質(zhì)量[16]，從拼接開始到拼接結束的時間算為拼接總時間，本實驗對單塊板子進行拼接，拼接質(zhì)量為0.95，時間為1.45 s。

圖12 拼接照片

通過數(shù)據(jù)發(fā)現(xiàn)本拼接是能適應流水線上的實時PCBA檢測的。

經(jīng)過反復實驗，實驗結果如圖13所示。由圖13和下面的檢測結果可知，系統(tǒng)能夠準確地分開PCBA板。

圖13 分板效果圖

3.4 檢測

對PCBA所有元器件都畫框后，與拼接后的照片進行對比，如圖14所示。圖14(a)是個沒有錯誤的板子，所以檢測結果為ok，圖14(b)是有缺少下面綠色電容的板子，與模板對比，系統(tǒng)會找出錯誤元器件并直接顯示出來并報警。

圖14 檢測界面

本文設計了一款基于機器視覺的PCBA元器件檢測系統(tǒng)，采用LABVIEW的IMAQ Vision圖像處理模塊，通過大量實驗證明本系統(tǒng)能夠適應高速流水線下的PCBA板的在線實時檢測。

4 結束語

本文設計了一款基于機器視覺的PCBA板的實時檢測系統(tǒng)，從圖像采集到圖像拼接、分板最后到圖像檢測逐步介紹了本系統(tǒng)的關鍵性技術，本系統(tǒng)在NI公司的LABVIEW開發(fā)平臺下，采用IMAQ VISION模板進行圖像處理檢測，開發(fā)硬件成本較低，可以在中小企業(yè)生產(chǎn)使用，目前本系統(tǒng)在實驗室組裝并研發(fā)，并已經(jīng)在浙江杭州達峰科技有限公司部署使用。實際應用結果表明，系統(tǒng)的檢測誤報率低、檢測速度快、且占有資源少，能夠適應高速流水線下的PCBA板的在線實時檢測。

[1] 黃楠，劉光昌.基于LABVIEW的PCBA計算機視覺檢測系統(tǒng)[J].計算機工程與設計，2005，26(10)：2783-2887.

[2] 陳臣.硬刷電路板的自動光學檢測系統(tǒng)的設計與研究[D].南京：南京航天航空大學，2010.

[3] 劉娜.基于LabVIEW的虛擬儀器[J].上海計量測試,2017(4)：7-9.

[4] 劉金橋，王春耀，吳金強，等.基于LabVIEW和IMAQ Vision的農(nóng)產(chǎn)品顏色識別研究[J].農(nóng)機化研究，2009(3)：50-52.

[5] 張霞.LabVIEW中的I/O接口設備驅(qū)動[J].電子測試，2007(11)：80-82.

[6] 付燕，史小雨.基于結構相似度的無參考遙感圖像質(zhì)量評價[J].科學技術與工程，2007(25)：108-144.

[7] 田浩南，李素梅.基于邊緣的SSIM圖像質(zhì)量客觀評價方法[J].光子學報.2013(01)：110-114

[8] 熊哲源，熊小敏，吳勝益，等.圖像拼接技術研究綜述[J].信息技術，2015(1)：15-16.

[9] 秦益雯，馬祥林.基于LABVIEW的圖像拼接技術在PCB板在線檢測系統(tǒng)中的應用[J].常州信息職業(yè)技術學院學報，2011，8(4)28-33.

[10] 湯嘉立，杜卓明.基于局部線性相關的信號去噪方法[J].計算機應用研究，2008(4)：1-7.

[11] 張紅民.基于模板匹配的彩色圖像自動拼接方法[J].微機發(fā)展，2003(7)：40-42.

[12] 陳麗芳，劉淵，須文波.改進的歸一互相關法的灰度圖像模板匹配方法[J].計算機工程與應用，2011(26)：181-183.

[13] 胡穎，王東.基于MATLAB的圖像預處理技術研究[J].遼寧師專學報(自然科學版)，2012(2)：57-59.

[14] 孫豐榮，劉積仁.快速霍夫變換算法[J].計算機學報，2001(10)：1102-1109.

[15] 江明，劉輝，黃歡.圖像二值化技術的研究[J].軟件導刊，2009(4)：175-177.

[16] 蔣剛毅，黃大江，王旭，等.圖像質(zhì)量評價方法研究進展[J].電子與信息學報，2010(1)：219-226.