一種應用于PCB裸板質量檢測的圖像拼接算法

裴新權， 周亞麗， 張奇志， 劉 俊

(1. 北京信息科技大學 自動化學院， 北京 100192； 2. 北京昆侖通態自動化軟件科技有限公司， 北京 100085)

一種應用于PCB裸板質量檢測的圖像拼接算法

裴新權1， 周亞麗1， 張奇志1， 劉 俊2

(1. 北京信息科技大學 自動化學院， 北京 100192； 2. 北京昆侖通態自動化軟件科技有限公司， 北京 100085)

在印刷電路板(PCB)裸板質量檢測中，針對單次拍攝完整PCB裸板無法獲取高分辨率、高精度圖像的問題，根據機器視覺原理和數字圖像處理技術設計并實現了一種針對PCB裸板質檢的圖像拼接算法。該算法首先利用SURF算子實現圖像特征提取，然后在隨機抽樣一致算法的基礎上優化匹配結果，最后采用保留PCB缺陷特征的改進加權融合方法進行圖像融合，完成視覺系統中的PCB圖像拼接。實驗結果表明，該算法可以有效地對PCB裸板圖像進行無縫拼接，同時能夠將未拼接圖像因精度低而漏檢的瑕疵部分清晰展現并輸出檢測結果，以備后續對PCB裸板進行綜合質檢，可應用在公司實際產品檢測中，具有良好的工程實用性。

圖像拼接； 印刷電路板質檢； SURF特征； 視覺檢測

0 引 言

印刷電路板(Printed Circuit Board,PCB)是集成各種電子元器件的信息載體，在工業生產中，PCB板的故障往往是由于板上的一些細微缺陷而造成的，這些細微缺陷如果不能在生產線上及早和準確地發現，可能導致整塊成品印制板報廢或嚴重影響其可靠性，從而增加生產成本，降低產品合格率[1]。針對北京昆侖通態自動化軟件科技有限公司工廠生產的PCB裸板中個別瑕疵品存在焊盤缺失、虛焊、走線偏移等問題，設計了一套機器視覺檢測系統對PCB裸板質量進行檢測。為保證檢測精度，視覺系統對采集圖像的細節要求較高，傳統的一次成像方法在檢測大幅面或線路微細的PCB板時會丟失很多細節信息。為保證獲取高精度圖像，需要實現一種可保留缺陷特征的PCB裸板拼接算法。

圖像拼接技術是把針對同一場景的相互有部分重疊的一系列圖片合成一張大的寬視角的圖像，拼接后的圖像要求盡可能與原始圖像接近、無失真、無明顯縫合線，其過程主要包括特征提取、圖像配準、圖像融合[2]。針對圖像特征，國內外學者已經提出了許多成熟的局部特征算法，常用的有Harris角點[3]、SIFT(Scale-invariant Feature Transform)特征點[4]、SURF (Speed-up robust features)特征點[5]。此外，針對圖像的配準和拼接也呈現了許多研究成果，趙向陽等[6]提出了一種基于Harris角點的自動穩健拼接算法。王娟等[7]對圖像拼接技術進行了綜述并對多種算法進行了比較。周劍軍等[8]利用引導匹配改進RANSAC(Random Sample Consensus)算法提高了單應性矩陣的估算準確度。2011年,涂春萍等[9]提出基于Harris角點配合Hu矩提高圖像拼接算法的魯棒性。張永宏等[10]驗證了SURF算法在圖像拼接應用中相比SIFT的速度提升。瞿中等[11]提出了一種利用最佳縫合線算法和改進加權融合算法消除圖像拼接接縫和鬼影的方法。權巍等[12]利用SURF算法配合RANSAC算法對圖像進行實時跟蹤；印度學者Reshma Raj等[13]利用SURF算子提取特征應用于圖像篡改檢測中；王棟等[14]提出了利用Hough變換對PCB進行自動光學檢測的快速配準方法；李衛中等[15]利用圖像的特征指標計算權值圖實現融合圖像的細節保留。

本文在上述成果的基礎上，對應用于PCB裸板質量檢測中的圖像拼接技術展開研究，并構建了實際的實驗平臺。利用Microsoft Visual Studio 2010平臺研究和實現一種滿足PCB視覺檢測系統要求的軟件拼接算法。實驗結果表明，該算法可以在保證速度的基礎上，獲得滿足檢測需求的拼接圖片，在無縫拼接完成的同時，不會改變瑕疵部分的特征，為針對PCB裸板檢測提供了一種可行的技術方法。

1 圖像拼接算法實現

1.1 圖像的獲取

PCB裸板圖像布線方式復雜，檢測的主要目標有焊盤、絲印、走線等，圖像具有線條都為直線，焊盤都為圓孔或連通區域的特點。一般PCB圖像的目標信息和背景信息區分較為明顯，僅存在少量的噪聲，目標灰度值與背景灰度值之間差別也比較明顯。因此在PCB圖像采集中，主要工作是避免不當操作導致的成像相對位置變化、光照不均勻等問題對圖像效果產生的負面影響。

1.2 圖像配準

圖像配準是圖像拼接的關鍵技術，依據相似性度量來決定圖像間的變換參數，使從不同傳感器、不同視角、不同時間獲取的同一場景的兩幅或多幅圖像，變換到同一坐標系下，在像素層級獲得最佳匹配，找出兩幅圖像間相同或相似度較大的對應特征點進行配準，對參考圖像和待拼接圖像中的匹配信息進行提取，根據尋找出的最佳匹配，完成圖像間的對齊[7]。

SURF算法是在SIFT算法的基礎上采用局部特征，通過積分圖像和離散小波變換響應相結合，生成SURF描述子，采用Haar特征，引入積分圖像簡化計算，能夠大大降低檢測特征點的計算量，并且對圖像的平移、旋轉、縮放等變化具有良好的不變性。

首先對圖像每個像素計算Hessian矩陣以得到對其特征的描述，Hessian矩陣是SURF特征檢測的核心，該矩陣測量一個函數的局部曲率，依靠該矩陣行列式的局部最大值來定位特征點的位置。對于空間中的任意一點(x,y)，該像素點的Hessian矩陣定義為：

(1)

(2)

通過Hessian矩陣行列式的計算可以初步得到SURF算法的特征點。為了方便計算與應用，Herbert Bay等[5]提出將盒式濾波器與原始圖像的卷積Dxx、Dxy、Dyy作為模板分別替代Lxx、Lxy、Lyy，從而得到近似Hessian矩陣Happrox，并且為了平衡準確值與近似值之間的誤差引入權重系數，該權重系數隨尺度變化，近似簡化后矩陣的行列式：

det(Happrox)=DxxDyy-(wDxy)2

(3)

式中:w為該權重系數，該值通常近似取為0.9。對上式計算所得的值設定一個閾值，只有當det(Happrox)大于該閾值時，才進行極值點的判斷，極值判斷則在該點的所在層和其上下層中對應的3階立體鄰域來進行非極大值抑制值計算，將27個響應點值中最大值點設為特征點。隨后統計特征點鄰域內的Haar小波變換，利用Haar小波模板求取x和y兩個方向上的Haar小波特征響應總和，對計算得到的響應值按距離賦予高斯權重系數，然后對加權后的響應值進行直方圖統計[4]。對在不同角度時的Haar小波響應值相加得到一個新的矢量，選取其中響應值最大的矢量方向作為該特征點的主方向，以確保算法具有不隨圖像旋轉而變化的特性，根據主方向，將特征點的鄰域旋轉到該角度，完成對特征點的描述[10]。完成特征點描述后，以特征點為中心，將坐標y軸旋轉到特征點的主方向，選取以特征點為中心邊長為20S(S為該點所在的尺度)的正方形區域，將該區域平均劃分為16個子區域，計算每個子區域中每個像素點的Haar小波響應，由于每個特征點存在16個子塊，每個子塊4個特征矢量，所以要用共64維特征矢量來描述一個特征點[10]。相比SIFT的128維矢量，SURF降低了描述子的維度，也降低了運算量、提高了計算速度。

1.3 圖像誤匹配剔除

由于在PCB裸板中存在著大量形狀一致或相似的焊盤、走線，匹配后的特征點對中有可能還存在著一些誤匹配的部分。實際應用中，很難保證通過僅比較特征點描述子就得到完全正確的匹配，因圖像特征的不同可能存在部分圖像錯誤匹配相對較少，而部分圖像出現大量錯誤匹配的情況。所以有必要對誤匹配的點對進行剔除，從而求取出精確的變換模型。

隨機抽樣一致(RANSAC)算法，是一種估計數學模型參數的迭代算法，針對所有的粗匹配點，設置一個允許誤差值，將第一步匹配的點對分成“內點”和“外點”兩部分，進而將錯誤的匹配點篩選掉，將算法的運行速度和匹配精度進行提升，最后根據“內點”數據來進行參數估計，估算變換矩陣[8]。在一組包含“外點”的觀測數據集中，采用不斷迭代的方法，尋找最優參數模型，將不符合最優模型的“外點”在迭代中剔除。

此外，RANSAC是一個具有不確定性的算法，它運行后的效果存在一定概率條件下的合理性，為了讓其得到的結果更精準，可通過提高迭代次數使其獲得更好的結果[12]。采用RANSAC算法尋找一個最佳單應性矩陣H，矩陣大小為3×3，如下式所示：

(4)

式中：(x,y,1)T和(x′,y′,1)T分別表示兩圖像上對應點的齊次坐標；H為一個具有8個參數的矩陣，通常令h9=1來歸一化矩陣。由于單應性矩陣有8個未知參數，至少需要8個線性方程求解，對應到點位置信息上，一組點對可以列出2個方程，則至少包含4組匹配點對。假設進行重復N次隨機采樣，確定一個恰當的采樣次數N，以保證此時采樣的4對匹配點均為內點的概率足夠高。設以P來表示此概率，一般取95%。設Pa為任何一對匹配點是內點的概率，則，

ε=1-Pa

(5)

為任何一對匹配點為外點的概率。那么采樣到N次時，

(1-Pa)N=1-P

(6)

得出需要采樣的次數：

(7)

最后根據N次采樣利用RANSAC算法找到滿足該矩陣的數據點個數最多的最優參數矩陣。

1.4 圖像融合

對于配準后的圖像，根據其獲得的變換矩陣投影到參考圖像上即可實現圖像的拼接。但是，由于圖像采集時所帶來不同圖像間的光照、視野等差異，直接拼接的圖片在相結合的部分會出現可見的拼接縫隙，并且有些情況下會造成圖像模糊，導致拼接效果變差[11]。圖像融合技術則可以平滑過渡并消除拼接縫隙，從而實現無縫拼接，此外，結合工程實用性，算法實現結果還應盡量保證不因圖像融合處理而損失原始圖像的信息，即保留PCB裸板原有的細節以備后續質量檢測，保證不會因融合圖像而丟失缺陷特征。

在融合過程中，非重疊區域的像素仍然可以取原圖各自的像素灰度，而重疊區域內像素灰度選取則不能直接使用其中任一幅圖像的灰度值。為了消除圖像光強或色彩的不連續性，讓圖像在拼接處的光照強度平滑過渡，需要對兩幅圖像的對接區域進行灰度調整，使拼接位置附近的圖像協調一致。目前使用最廣泛的灰度調整算法是漸進漸出處理法，即在重疊部分由前一幅圖像的灰度逐漸過渡到后一幅，以實現無縫拼接。

本文采用以漸進漸出方式實現加權平均融合算法，對圖像重疊區域的像素值先進行權重分配再疊加平均，使重疊部分緩慢過渡。為兩幅圖像中重疊部分分別定義一個權值，取為α1和α2，其中α2=1-α1，定義I1(x,y)和I2(x,y)分別代表待拼接的兩幅圖像，I代表融合后的圖像：

(8)

在重疊部分中，權值α1作為漸變因子由1漸漸過渡到0，α2由0漸漸過渡到1，在這個過程中重疊區域的圖像就由第1幅圖像緩慢過渡到了第2幅圖像，即消除了拼接的痕跡，通過這樣的漸進變化就使重疊部分的圖像進行了漸進融合，大大改善了拼接效果。

2 實 驗

2.1 實驗平臺

圖1為實驗室自行研制的PCB裸板質量檢測系統實驗平臺裝置。實驗中采用北京昆侖通態自動化軟件科技有限公司生產制造的PCB-A623-37.63V1.1版本的PCB裸板進行試驗。

圖1 PCB裸板質檢系統實驗平臺

實驗系統由60 cm×60 cm×60 cm黑色吸光布攝影棚包裹以減小反光；實驗選用24 V供電正面紅色環形無頻閃發光二極管陣列光源RL-132-20-R進行照明，以突出顯示被測物體邊緣、獲取清晰圖像；圖像采集裝置采用500萬像素工業相機配合35 mm鏡頭拍攝圖像，拍攝距離為32.67 cm。拍攝方式采用的嵌入式一體化觸摸屏配合可編程邏輯控制器(Programmable Logic Controller，PLC)驅動滾軸絲桿XY滑臺平移PCB裸板進行拍攝，單次平移距離為橫向6 cm、縱向3.5 cm。

2.2 實驗結果

實驗計算機的硬件環境為：CPU Intel core i5-3317U，主頻1.70 GHz，內存4.00 GB。由于篇幅有限，實驗結果部分采用2幅圖像間拼接的過程作介紹，完成算法的驗證，所選圖像為圖2右下角2張圖像。

(1) 圖像獲取。圖像采集的方式為利用實驗平臺平移PCB板依次拍攝，所拍攝到的PCB裸板圖像如圖2所示，6張圖片即可覆蓋整個PCB裸板，每張圖像與其待拼接的圖像均有約15%的重疊部分。

圖2 實驗拍攝的6張PCB裸板圖像

(2) 圖像配準實驗。圖3表示兩幅圖像初步匹配對應的特征點。觀察可以發現存在一些誤匹配的特征點，需要進一步剔除。

圖3 初步提取特征匹配

(3) 誤匹配剔除實驗。圖4表示經過RANSAC算法提純后的匹配特征點對。從圖3和圖4的對比實驗來看，通過RANSAC算法進行誤匹配點剔除后，原有的錯誤匹配都被消除了，匹配點對由原來的154減少為115。

圖4 剔除誤匹配后的匹配特征點

(4) 圖像融合實驗。兩幅圖像融合后的圖片如圖5所示，可見拼接效果良好，經過加權平均后拼接的圖像消除了拼接縫隙。

圖5 融合后的圖像

為了進一步展示融合效果，將圖5紅線框出部分進行放大，圖6(a)為未采用加權平均融合拼接的局部放大圖像，可以見到明顯的拼接痕跡，這會嚴重影響后續缺陷檢測的結果，圖6(b)為采用加權平均融合拼接后的局部放大圖像，相同位置的拼接縫隙被很好地消除了，證明了算法的可行性和良好的工程實用性。

實驗在拼接圖像完成后還驗證了算法在融合的同時能否保留缺陷特征，如圖7(a)為采用一次成像的方式獲取的圖像，該圖像的缺陷由于成像分辨率過低沒有被體現出來，而圖7(b)為采用6次局部拍攝拼接而成的圖像，在拼接之后還能夠保留缺陷特征，并可以被檢測出來，進一步證明了在PCB裸板檢測中圖像拼接算法的意義和實用性。

(a)(b)

圖6 紅框部分局部放大對比普通融合

圖7 一次成像與拼接圖像缺陷特征對比

3 結 語

本文提出針對PCB裸板質量檢測的圖像拼接算法能夠完成質檢所需拼接效果。實驗結果表明，采用SURF算法配合RANSAC和加權平均融合進行PCB圖像拼接是切實可行的，并且拼接效果良好，能夠消除拼接縫隙并保留PCB原有的缺陷特征，可作為解決PCB裸板圖像拼接問題的一種參考方法。

[1] 王 棟，解則曉. 基于形態學的PCB缺陷快速檢測技術[J]. 計算機科學，2016,43(6):184-186.

[2] Richard S. Image alignment and stitching:A tutorial[J]. Foundations and Trends in Computer Graphics and Vision, 2006, 2(1): 1-104．

[3] Harris C, Stephens M. A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference． Manchester. UK:SpringerVerlag, 1988: 147-151．

[4] Lowe D. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[5] Herbert B, Tinne T, Luc V. SURF:Speeded up robust features[C]//Proceedings of the 9th European Conference on Computer Vision. Graz, Austria: ECCV,2006:404-417.

[6] 趙向陽，杜利民. 一種全自動穩健的圖像拼接融合算法[J]. 中國圖象圖形學報, 2004, 9(4):417-422.

[7] 王 娟，師軍，吳憲祥. 圖像拼接技術綜述[J]. 計算機應用研究, 2008, 25(7):1940-1947．

[8] 周劍軍，歐陽寧，張 彤，等. 基于RANSAC的圖像拼接方法[J]. 計算機工程與設計,2009,30(24):5692-5694.

[9] 涂春萍，柴亞輝，李廣麗，等. 一種基于Harris角點特征精確匹配的圖像拼接方法[J]. 實驗室研究與探索, 2011,30(10):40-43.

[10] 張永宏，楊 戈，郝培培，等. 基于SURF特征的PCB圖像拼接算法研究[J]. 制造業自動化, 2013,35(4):71-74.

[11] 瞿 中，喬高元，林嗣鵬. 一種消除圖像拼接縫和鬼影的快速拼接算法[J]. 計算機科學, 2015,42(3):280-283.

[12] 權 巍，包鐵壯，白寶興，等. SURF與RANSAC算法結合的圖像跟蹤方法[J].計算機仿真, 2016, 33(9):268-272.

[13] Reshma R, Niya J. Keypoint extraction using SURF algorithm for CMFD[C]//Proceedings of the 6th International Conference On Advances In Computing and Communications. Cochin, India:ICACC,2016:375-381

[14] 王 棟，馬純永，陳 戈. 一種新型的PCB圖像快速配準算法[J].計算機科學,2016,43(6):152-155.

[15] 李衛中，易本順，邱 康，等. 細節保留的多曝光圖像融合[J]. 光學精密工程, 2016,24(9):2283-2292.

An Image Stitching Algorithm for Quality Inspection of PCB

PEI Xinquan1, ZHOU Yali1, ZHANG Qizhi1, LIU Jun2

(1. School of Automation, Beijing Information Science & Technology University, Beijing 100192, China;2. Beijing Kunluntongtai Automation Software Technology Corporation, Beijing 100085, China)

For the quality inspection of the bare printed circuit board (PCB), according to the requirements for high resolution and high accuracy of image acquisition, an image stitching algorithm for quality inspection of PCB bare board was designed and implemented. Firstly, the speed-up robust features (SURF) algorithm was used to extract image features. Secondly, the random sample consensus (RANSAC) algorithm was used to eliminate false matching points. Thirdly, the algorithm calculated the transformation relationship between two images. Finally, an improved weighted fusion method for image fusion was used to complete the image stitching. The experimental results show that the algorithm can stitch pictures seamless without missing the bad features in a quick and efficient way for the quality inspection of PCB bare board, and has good engineering practicability.

image stitching; printed circuit board (PCB) inspection; SURF feature; vision detection

2016-11-20

國家自然科學基金資助項目(11672044，11172047)

裴新權(1992-)，男,蒙古族，河北承德人，碩士生，主要從事圖像處理與計算機視覺研究。

Tel.:18610994221; E-mail:peixinquan@126.com

周亞麗(1968-)，女，遼寧沈陽人，教授，碩士生導師，主要從事機器人控制及信號處理研究。

Tel.:010-82426920; E-mail:zhouyali@bistu.edu.cn

TP 391.41

A

1006-7167(2017)08-0024-05