基于機器視覺的PCBA元器件實時檢測系統

閆夢濤，蘇 瑋，冉海周

(浙江理工大學 信息學院，浙江 杭州 310018)

0 引言

近年來，印刷電路在全球電子元件中產值穩定增長，而伴隨著整機產品品種結構的調整，印刷電路板(Printed Circuit Board，PCB)的面積已大大減小，其精度、復雜度迅速提高，印刷電路板組裝件(Printed Circuit Board Assembly，PCBA)的檢測必將朝著自動化、可視化的計算機檢測方向發展[1]。目前，我國檢測PCBA板元器件技術設備已經在一些大公司生產線上投入使用，此設備的出現幾乎完全替代人工操作，提高了產品質量和生產效率，但是設備成本極高，一套自動光學檢測系統價值幾十萬美元，甚至高達數百萬美元[2]，如此高額的成本對于大部分中小企業來說是不能接受的，也是不切實際的。

由美國國家儀器公司 ( National Instruments，NI)提出的虛擬儀器 (Virtual Instruments，VI)技術[3]以其開放靈活、高效便捷、成本低廉、維護方便、功能強大等突出優勢迅速為工業界廣泛接受，針對現在AOI所存在的價格成本的問題，本文介紹一種基于虛擬儀器的PCBA元器件實時檢測系統，本系統硬件只需要一臺CCD相機和一套箱式光源配合lABVIEW14.0的軟件平臺運用IMAQ Vision圖像處理模塊[4]進行PCBA板的精準測量，可見本系統成本是極其低的，有利于投入市場供給中小型企業使用，提高其產品競爭力。

1 系統總體設計

檢測系統整體結構包括圖像采集系統和圖像處理系統，圖像采集系統由I/O接口設備與CCD相機組成，圖像處理系統由LABVIEW中IMAQ Vision圖像處理模塊所組成。

1.1 系統硬件結構

由于采用了虛擬儀器技術，省去了大部分昂貴的硬件設備，系統只需要1臺CCD相機、1個箱式光源和1臺計算機作上位機。

CCD相機固定在箱式光源中心處，其電源線與外界電源連接，USB線與圖像處理系統的USB接口連接，箱式光源的電源線與外界電源連接。箱式光源的底面為正方形，距離在線流水線40 cm。

1.2 系統軟件設計

系統軟件部分采用 LabVIEW14.0(Laboratory Virtual Instrument Engineering Workbench)作為開發工具，由I/O接口設備[5]完成對圖像的采集，以圖形化的編程語言，利用 PC 計算機強大的軟件功能實現數據的運算、分析和處理，從而進行PCBA 的檢測。

系統軟件整體流程如圖1所示，當通過流水線PCBA板進入系統時，系統首先會利用CCD相機對PCBA板進行局部圖像聚焦從而采集局部的小圖，當采集的圖像到一定數值后，開啟拼接線程對采集到的圖像進行拼接，當PCBA板無縫進入系統，圖像處理系統會進行分板處理，得到拼接后的測試圖后逐步加入檢測隊列，進行檢測。

圖1 系統軟件整體流程

2 系統功能實現

2.1 圖像采集

由于PCBA板進入系統時間是隨機的，本系統設置一個事件等待觸發，當PCBA板離開系統的時候要合理地判斷板子離開的時機，停止圖像采集線程。本文采用圖像機構相似度(SSIM)[6]等于0.75作閾值來判斷板子進入和離開的時機。圖像采集軟件流程如圖2所示。

圖2 圖像采集流程

本系統圖像結構相似度(SSIM)采用的是LABVIEW IMAQ Vision模塊如圖3所示。

圖3 SSIM(結構相似度)

圖像結構相似度從圖像組成的角度將結構信息定義為獨立于亮度、對比度的反映場景中物體結構的屬性，并將失真建模為亮度、對比度和結構3個不同因素的組合[7]。本系統用在PCBA沒進入系統時的圖片tt.jpg與進入系統的照片進行結構相似度對比，發現其亮度、對比度和結構都有很大區別，經過反復試驗，選用結構相似度等于0.75作為閾值，從而達到圖像采集的目的。

2.2 圖像拼接

圖像拼接的一般流程包括圖像預處理、圖像配準和圖像融合3步[8]。由于本系統安裝在固定的實時流水線上，圖像間的旋轉誤差很小可以忽略，所以拼接時只考慮平移變換，忽略圖像的旋轉[9]；此外，在線檢測中拼接速度太慢將會影響生產的效率，所以算法不能太復雜，當圖像采集照片大于一定張數時，圖像拼接線程就會開啟。

算法原理如圖4所示，圖像采集到的圖片肯定會有相互重疊的區域，圖片A和圖片B的黑色部分就是重疊的區域，拼接就是把圖片A和圖片B中重合部分刪除，并把兩圖像融合到一個坐標系下。

圖4 算法原理

系統拼接步驟如下：① 從圖片A中自上往下選取一行像素值，從圖片B中自下往上選取一行像素值；② 對以上2行像素值進行線性相關系數[10]計算，得出線性先關系數值并記錄；③ 繼續從圖片B中往上取一行像素，重復步驟2；④ 經過反復以上步驟多次后，記錄下相似度值最大的那行線性相關系數所在的圖像位置；⑤ 在圖B這個位置以下區域選取一段區域作為彩色模板匹配[11]的模板，在圖片A中從上往下進行彩色膜板匹配，得出匹配分數和匹配位置；⑥ 根據匹配位置分別對圖像A、B進行裁剪，將裁剪后圖片轉化為數組，進行數組的連接，將得到的圖像數組轉化為圖像，實現圖像融合。

由于彩色模板匹配是R、G、B三種通道進行模式匹配加權得到的，拼接質量非常高，但是計算量很大，所以本系統步驟①、②、③、④是求出線性相關系數，先粗略估計匹配區間，匹配區間里進行匹配，減少了計算量，提高了效率，上述步驟中的線性先關系數計算公式為：

(1)

式中，zx和zy是X和Y標準化的z值，z值計算為數組每一項想去其均值后除以其標準差，均值計算公式為：

(2)

式中，n是X中的元素數。標準差計算公式為：

(3)

彩色模板匹配是LABVIEW IMAQ Vision模塊如圖5所示。

圖5 彩色模板匹配

2.3 圖像分板

當多個PCBA板無縫進入系統時，若沒有分板處理，圖像采集系統會反復采集相同的圖像存入一個文件夾，圖像拼接系統會拼出多個相連的PCBA板相連的照片，就沒法有效地進行實時檢測，本系統對模板圖下邊緣部分圖像保存到內存里，當圖像采集線程采集的圖像的張數到某個閾值的時候不斷與采集線程的圖像做彩色模板匹配，并記錄匹配分數，當匹配到原圖像時，停止拼接線程，圖片計數清零并把拼接后的圖像送入檢測隊列，實現分板，具體步驟如下：

① 在預先設置好的模板中截取與圖像下面部分高度為拍照聚焦框高度一半的矩形區域，并把圖像灰度化，并用此區域作為灰度模板匹配模板[12]如圖6所示。

圖6 圖像分板步驟

由圖6(a)可知，聚焦框的拍照的圖片高度為648px，截取離模板下邊緣320px位置的圖像作為灰度模板匹配的模板如圖6(b)所示。

② 設置拍照張數的閾值，當拍照大于這個數值的時候，匹配模板就會不斷去匹配拍下的照片，并得出匹配分數。

③ 當匹配分數大于800，表明已經匹配到原圖像，此時停止拼接線程并把拼接圖像送入檢測隊列，計數清零，圖像采集線程繼續采集圖像。

由于匹配模板高度是聚焦框的一半，匹配模板區域比較大，匹配計算量比較小，不會影響匹配時間，本分板灰度模板匹配是基于LABVIEW的IMAQ Vision模塊，如圖7所示。

圖7 灰度模板匹配

2.4 檢測

檢測步驟的算法流程如圖8所示。

圖8 檢測流程

經過拼接而來的測試圖和實際模板間空間位置上會出現誤差，這樣會使元器件定位的時候造成困難，本文采用彩色模板匹配方式進行校準，校準步驟如下：

① 在模板處設置一塊校準區域MARK，作為彩色模板匹配的模板；

② 在測試圖上進行彩色模板匹配，得出匹配分數以及匹配位置；

顧名思義，人生價值觀是指關于人生價值的根本觀點和看法，說到底就是對人生目的和人生意義的認識。人生價值觀決定人生態度。而人生價值觀又是由人生的理想和信念所決定。有了偉大的理想和信念才能樹立正確的人生價值觀。因此，我們論及方志敏的人生價值觀，首先必須了解方志敏的人生理想和信念。

③ 計算出這個校準區域在測試圖上像素的誤差；

④ 根據計算出來的的像素誤差對測試圖像進行增減。

本檢測原理是測試板與模板通過一些預處理[13]對比分析得出結論，本系統對不同元器件采用不同的預處理方式，對于顏色比較鮮艷的元器件(比如說綠色電容)去噪后二值化，通過對比其1的個數判斷是否存在；對于幾何特征比較明顯的元器件(比如插座)采用彩色模板匹配通過匹配分數來判斷是否存在；對于電解電容這種判斷極性的元器件，先采用霍夫變換[14]找到圓本體，然后二值化[15]通過圓環周圍像素點為0的個數判斷極性等等。

3 系統實驗結果與分析

3.1 系統界面

當運行軟件時，系統會跳到軟件登陸界面如圖9(a)所示，系統有檢測員、糾錯員和管理員3個入口，不同人用不同密碼選擇不同入口就可以進入相應的界面，進行操作，管理員進入系統通后回會跳入模板管理界面如圖9(b)所示，設置模板時對不同元器件對不同預處理，如圖9(b)右邊顯示有跳線-孔位、二極管管腳、二極管匹配、彩色模板匹配、模板匹配、電解電容、顏色提取、相似度、插座和彩色二極管等針對不同元器件不同預處理的方法。

圖9 系統界面

由于方法眾多，本文只展示綠色電容顏色提取的方法(如圖10所示)，通過調整R、G、B三個分量值把模板和測試板空板進行二值化，可以看出測試0的個數(黑色區域)占模板0的個數0.852 4，如果此此測試板沒有綠色電容就是空板下，0的個數占模板0的個數0.053，所以可以通過設置一個閾值來加以判斷。

3.2 圖像采集

由于采用的是結構相似度為0.75作為拍照閾值，拍照后照片會編號存入指定目錄下，如圖11所示。

圖10 綠色電容顏色提取方法界面

圖11 圖像采集小圖

3.3 圖像拼接與分板

經過反復試驗，拼接后的照片(圖12)和原照片的結構相似度作為拼接質量[16]，從拼接開始到拼接結束的時間算為拼接總時間，本實驗對單塊板子進行拼接，拼接質量為0.95，時間為1.45 s。

圖12 拼接照片

通過數據發現本拼接是能適應流水線上的實時PCBA檢測的。

經過反復實驗，實驗結果如圖13所示。由圖13和下面的檢測結果可知，系統能夠準確地分開PCBA板。

圖13 分板效果圖

3.4 檢測

對PCBA所有元器件都畫框后，與拼接后的照片進行對比，如圖14所示。圖14(a)是個沒有錯誤的板子，所以檢測結果為ok，圖14(b)是有缺少下面綠色電容的板子，與模板對比，系統會找出錯誤元器件并直接顯示出來并報警。

圖14 檢測界面

本文設計了一款基于機器視覺的PCBA元器件檢測系統，采用LABVIEW的IMAQ Vision圖像處理模塊，通過大量實驗證明本系統能夠適應高速流水線下的PCBA板的在線實時檢測。

4 結束語

本文設計了一款基于機器視覺的PCBA板的實時檢測系統，從圖像采集到圖像拼接、分板最后到圖像檢測逐步介紹了本系統的關鍵性技術，本系統在NI公司的LABVIEW開發平臺下，采用IMAQ VISION模板進行圖像處理檢測，開發硬件成本較低，可以在中小企業生產使用，目前本系統在實驗室組裝并研發，并已經在浙江杭州達峰科技有限公司部署使用。實際應用結果表明，系統的檢測誤報率低、檢測速度快、且占有資源少，能夠適應高速流水線下的PCBA板的在線實時檢測。

[1] 黃楠，劉光昌.基于LABVIEW的PCBA計算機視覺檢測系統[J].計算機工程與設計，2005，26(10)：2783-2887.

[2] 陳臣.硬刷電路板的自動光學檢測系統的設計與研究[D].南京：南京航天航空大學，2010.

[3] 劉娜.基于LabVIEW的虛擬儀器[J].上海計量測試,2017(4)：7-9.

[4] 劉金橋，王春耀，吳金強，等.基于LabVIEW和IMAQ Vision的農產品顏色識別研究[J].農機化研究，2009(3)：50-52.

[5] 張霞.LabVIEW中的I/O接口設備驅動[J].電子測試，2007(11)：80-82.

[6] 付燕，史小雨.基于結構相似度的無參考遙感圖像質量評價[J].科學技術與工程，2007(25)：108-144.

[7] 田浩南，李素梅.基于邊緣的SSIM圖像質量客觀評價方法[J].光子學報.2013(01)：110-114

[8] 熊哲源，熊小敏，吳勝益，等.圖像拼接技術研究綜述[J].信息技術，2015(1)：15-16.

[9] 秦益雯，馬祥林.基于LABVIEW的圖像拼接技術在PCB板在線檢測系統中的應用[J].常州信息職業技術學院學報，2011，8(4)28-33.

[10] 湯嘉立，杜卓明.基于局部線性相關的信號去噪方法[J].計算機應用研究，2008(4)：1-7.

[11] 張紅民.基于模板匹配的彩色圖像自動拼接方法[J].微機發展，2003(7)：40-42.

[12] 陳麗芳，劉淵，須文波.改進的歸一互相關法的灰度圖像模板匹配方法[J].計算機工程與應用，2011(26)：181-183.

[13] 胡穎，王東.基于MATLAB的圖像預處理技術研究[J].遼寧師專學報(自然科學版)，2012(2)：57-59.

[14] 孫豐榮，劉積仁.快速霍夫變換算法[J].計算機學報，2001(10)：1102-1109.

[15] 江明，劉輝，黃歡.圖像二值化技術的研究[J].軟件導刊，2009(4)：175-177.

[16] 蔣剛毅，黃大江，王旭，等.圖像質量評價方法研究進展[J].電子與信息學報，2010(1)：219-226.