芯片載帶缺陷的機(jī)器視覺檢測方法

魏鴻磊，蔣志留，徐家恒，孔祥志，商業(yè)彤，童強(qiáng)

芯片載帶缺陷的機(jī)器視覺檢測方法

魏鴻磊，蔣志留，徐家恒，孔祥志，商業(yè)彤，童強(qiáng)

（大連工業(yè)大學(xué) 機(jī)械工程與自動化學(xué)院，遼寧 大連 116034）

針對芯片包裝載帶在生產(chǎn)過程中經(jīng)常出現(xiàn)的型腔底部和邊緣變形、穿孔等缺陷的檢測問題，提出一種機(jī)器視覺檢測方法。首先離線準(zhǔn)備配準(zhǔn)模板及標(biāo)準(zhǔn)模板圖像，然后根據(jù)模板在生產(chǎn)過程中進(jìn)行在線檢測。在檢測過程中由傳感器觸發(fā)采集待檢測型腔圖像，然后通過模板匹配 方法配準(zhǔn)模板圖像和待檢測圖像，并進(jìn)行異或運(yùn)算檢測兩圖像差異從而定位缺陷。實驗證明邊緣變形檢測最大錯誤率為0.45%，底部變形檢測最大錯誤率為0.50%，穿孔檢測最大錯誤率為0.35%，每幀圖像檢測平均耗時為0.22 s，滿足用戶錯誤率不超過1%和每幀耗時不超過0.5 s的要求。該方法能夠?qū)崟r檢測芯片載帶邊緣變形、穿孔等缺陷，有效地實現(xiàn)載帶加工生產(chǎn)過程中的質(zhì)量監(jiān)控。

芯片載帶；缺陷檢測；機(jī)器視覺；圖像異或運(yùn)算

芯片制造完成后一般要包裝到載帶中交付用戶。使用載帶包裝能防止芯片受到污染和損壞，也有利于使用貼片機(jī)自動貼片。由于載帶型腔是通過真空吹塑成型產(chǎn)生的，易出現(xiàn)變形、穿孔等缺陷，因此在生產(chǎn)時必須對載帶型腔質(zhì)量進(jìn)行監(jiān)測。人工監(jiān)測經(jīng)常會出現(xiàn)漏檢，生產(chǎn)企業(yè)迫切需要載帶檢測的自動化設(shè)備。

隨著電子信息技術(shù)的發(fā)展，多種新興技術(shù)應(yīng)用于物體的表面缺陷檢測。在眾多檢測方法中，基于機(jī)器視覺的缺陷檢測技術(shù)具有適用范圍廣、精度高且檢測效率高等優(yōu)點[1]，廣泛應(yīng)用于多種行業(yè)，如在工業(yè)中用于金屬產(chǎn)品表面缺陷檢測[2-5]、工件外形缺陷檢測[6-7]、板材表面缺陷檢測[8]、包裝行業(yè)印刷質(zhì)量檢測[9-11]、鞋底質(zhì)量檢測[12]；在農(nóng)業(yè)中用于胡蘿卜表面?zhèn)蹤z測[13]；在交通管理中用于交通標(biāo)志污損檢測[14]等。機(jī)器視覺技術(shù)在芯片載帶質(zhì)量檢測中也有應(yīng)用，如毛偉民等[15]先檢測載帶結(jié)構(gòu)邊緣，然后對邊緣進(jìn)行鏈碼追蹤，并根據(jù)追蹤結(jié)果確定壓痕位置；石韻昭等[16]將載帶圖像劃分成小矩形區(qū)域，并通過對各區(qū)域的灰度值和梯度值進(jìn)行分析確定是否存在缺陷。由于載帶類型很多，型腔形狀各異，型腔底部經(jīng)常有各種突起的結(jié)構(gòu)在圖像上形成黑斑，上述方法難以靈活區(qū)分缺陷和正常結(jié)構(gòu)，而且一般情況下缺陷圖像對比度很低，難以穩(wěn)定地通過邊緣檢測、灰度值和梯度值檢測到，從而導(dǎo)致漏檢，又由于吹塑時溫度變化導(dǎo)致型腔底部經(jīng)常出現(xiàn)灰度變化而導(dǎo)致虛檢，因此可靠性不高。為實現(xiàn)在載帶生產(chǎn)中實時有效地進(jìn)行質(zhì)量監(jiān)控，提出利用光照突出缺陷，將待檢測圖像與標(biāo)準(zhǔn)模板圖像配準(zhǔn)并進(jìn)行異或運(yùn)算從而定位缺陷的方法。

1 載帶缺陷檢測裝置

實驗裝置見圖1，主要采用分辨率為3 072×2 048的?？低昅V?CE060?50GM黑白工業(yè)相機(jī)、16 mm焦距的定焦鏡頭，以及邊長為150 mm的正方形中孔平板光源照明，功率為10.5 W。相機(jī)垂直安裝于載帶上方，由于載帶尺寸不同，安裝高度根據(jù)載帶的尺寸進(jìn)行調(diào)整，保證成型機(jī)一次吹塑出的一組型腔（一般為3～8個）都能收入相機(jī)視野，并有良好的成像質(zhì)量進(jìn)行檢測。

圖1 實驗裝置

在平板光源發(fā)出垂直均勻的光線照射下，載帶的平面部分能夠垂直反射光源到鏡頭形成亮圖像，而其他部分將光線反射到別處形成暗圖像，從而能夠突出型腔結(jié)構(gòu)和缺陷特征，見圖2。

2 載帶缺陷檢測

缺陷檢測依照生產(chǎn)過程中吹模和拉帶交替完成的一組型腔作為檢測對象，檢測過程分為離線設(shè)置和在線檢測2部分，見圖3。

2.1 檢測流程

首先離線設(shè)置模板，即操作人員通過工業(yè)相機(jī)采集標(biāo)準(zhǔn)載帶圖像，然后送上位機(jī)提取ROI圖像并生成配準(zhǔn)模板。在生產(chǎn)過程中進(jìn)行在線檢測，即每次拉帶后由傳感器觸發(fā)相機(jī)采集圖像，并傳送到上位機(jī)與模板圖像配準(zhǔn)后進(jìn)行比較。若判斷結(jié)果為存在缺陷，則停機(jī)報警以提醒工作人員進(jìn)行處理，否則繼續(xù)進(jìn)行下一組載帶的檢測。

2.2 離線設(shè)置

圖2 載帶缺陷

圖3 檢測流程

圖4 設(shè)置索引孔ROI及檢測ROI

2.2.1 像素當(dāng)量標(biāo)定

當(dāng)相機(jī)視野不同時，像素當(dāng)量也不同。為了計算缺陷實際物理面積大小需要進(jìn)行像素當(dāng)量標(biāo)定。按設(shè)計規(guī)范所有規(guī)格載帶的索引孔間距都是4 mm，可以用來計算像素當(dāng)量。首先根據(jù)索引孔ROI裁出索引孔圖像，然后按如述步驟計算像素當(dāng)量。

1）使用Canny算子提取索引孔邊緣。

式中：=4 mm為索引孔實際物理尺寸。

由于文中標(biāo)定的目的是為了計算缺陷實際物理面積，以方便于閾值的設(shè)定，因此對標(biāo)定精度要求不高，實驗證明上述標(biāo)定方法能夠滿足要求。

2.2.2 匹配模板設(shè)定

檢測采用基于形狀的模板匹配方法[16]，將分割出ROI區(qū)域的圖像T作為模板圖像。按式（2）用Sobel算子對模板圖像進(jìn)行卷積以計算各像素的梯度。

2.3 在線圖像配準(zhǔn)

在待檢測圖像上掃描匹配，在每個掃描位置根據(jù)式（4）都可計算出一個小于1的相似度分值，取最大的分值為最終相似度，如果最終相似度大于預(yù)定閾值（文中設(shè)為0.5）則認(rèn)為匹配成功，如算法1所示。

算法1 圖像配準(zhǔn) 輸入：待測圖像I，模板圖像T，模板向量集T，可能的最大位置偏差，匹配閾值T輸出：配準(zhǔn)參數(shù)1: for ; ;; do2: for ; ;; do3: 用在I中截取圖像塊E4: 根據(jù)式（1）計算E的方向向量集E5: 按式（3）計算E與模板T的相似度S6: If S>T then 7: If max

2.4 缺陷檢測

如圖5所示，首先對齊待檢測圖像和標(biāo)準(zhǔn)模板圖像，然后進(jìn)行圖像異或運(yùn)算以定位區(qū)別，即為缺陷，算法描述如下。

2）提取ROI圖像E，然后根據(jù)式（5）與模板圖像T進(jìn)行異或運(yùn)算得到異或圖C，見圖5。

式中：1為有缺陷；0為沒有缺陷；為允許的灰度偏差值，文中設(shè)為50。

3）對異或圖用5×5的模板進(jìn)行形態(tài)學(xué)開運(yùn)算處理，以消除噪聲干擾。

4）當(dāng)異或圖C上檢測出缺陷區(qū)域面積大于預(yù)設(shè)閾值時，用十字星標(biāo)明缺陷位置并報警等待人工處理。

3 實驗

在實際生產(chǎn)中，缺陷是很少出現(xiàn)的，而實驗需要多種缺陷大量集中在一條載帶上，因此企業(yè)現(xiàn)有的缺陷載帶無法滿足實驗條件，為此通過人工仿真缺陷的方法制備實驗載帶。通過觀察大量的實際缺陷，在一盤已經(jīng)生產(chǎn)完成的載帶上人工生成缺陷。該載帶共計2 000個型腔，在其中300個型腔中人為制造了缺陷，包括邊緣變形100個，底部變形100個，底部穿孔100個。此次實驗在企業(yè)生產(chǎn)現(xiàn)場進(jìn)行，將經(jīng)上述處理的載帶安裝在真空吹塑成型機(jī)上，模擬生產(chǎn)過程以使實驗條件與生產(chǎn)條件相同，實驗環(huán)境見圖6。采用的工控機(jī)CPU型號為Intel i5–2500（主頻為3.3 GHz），內(nèi)存為4 G。

因生產(chǎn)車間上午光線很強(qiáng)而晚上光線較暗，為減少環(huán)境光變化的影響，首先關(guān)掉照明光源，并將鏡頭光圈調(diào)小且將曝光時間變短，得到全黑圖像，然后打開照明光源并增大亮度，直到最佳成像。在實際測試中發(fā)現(xiàn)在光線較強(qiáng)的上午，將光源調(diào)到最大功率時成像仍然較暗。由于使用條件和成本的限制無法更換更大功率的光源，也無法加裝暗箱，只能通過增大光圈達(dá)到有效成像，但此時環(huán)境光的影響將無法避免。為評估光線變化的影響程度，在不同時間段共進(jìn)行了10次實驗。上午9時設(shè)置了模板并開始第1次實驗，其后實驗中模板再沒有修改過。

圖6 實驗環(huán)境

在企業(yè)實際生產(chǎn)過程中，由于灰塵、設(shè)備振動、光照變化等原因很容易造成圖像中出現(xiàn)噪聲影響。如果缺陷報警閾值設(shè)得過小，容易造成虛警，影響生產(chǎn)效率，設(shè)得過大又容易造成漏檢，因此按企業(yè)要求在程序中設(shè)置了可修改的閾值參數(shù)，由現(xiàn)場工程師根據(jù)生產(chǎn)經(jīng)驗動態(tài)調(diào)整，以保證虛警率和漏警率都在合理范圍內(nèi)。按照企業(yè)要求，實驗中缺陷報警閾值設(shè)定為1 mm2。

實驗結(jié)果見表1—3，其中虛警數(shù)是沒有缺陷但被誤報的次數(shù)，漏警數(shù)是有缺陷但漏報的次數(shù)，虛警率和漏警率是虛警數(shù)和漏警數(shù)占型腔總數(shù)的百分比。

由表1—3可知，邊緣變形檢測最大錯誤率為0.45%，底部變形檢測最大錯誤率為0.50%，底部穿孔檢測最大錯誤率為0.35%，均小于用戶錯誤率不超過1%的要求。從不同時間實驗錯誤率變化情況看，下午錯誤率明顯上升，夜晚最大，分析原因是模板上午9時設(shè)置，隨著時間的推移，外界光線變化導(dǎo)致圖像發(fā)生輕微變化引起錯誤率上升。底部變形檢測錯誤率最高，分析原因是底部變形對光線變化更為敏感，且隨著實驗多次重復(fù)進(jìn)行底部變形情況慢慢緩解，從而引起漏警率上升。示例檢測結(jié)果圖像見圖7。

表1 邊緣變形檢測實驗結(jié)果

Tab.1 Experimental results of edge deformation detection

表2 底部變形檢測實驗結(jié)果

Tab.2 Experimental results of bottom deformation detection

表3 底部穿孔檢測實驗結(jié)果

Tab.3 Experimental results of bottom perforation detection

圖7 缺陷檢測結(jié)果示例

4 結(jié)語

在利用平板光源照明突出缺陷特征的基礎(chǔ)上，通過模板匹配方法配準(zhǔn)模板圖像和待檢測圖像，并進(jìn)行異或運(yùn)算檢測兩圖像差異進(jìn)行芯片載帶缺陷檢測。實驗結(jié)果顯示每幀圖像檢測平均耗時0.22 s，邊緣變形檢測錯誤率為0.45%，底部變形檢測錯誤率為0.50%，穿孔檢測錯誤率為0.35%，滿足企業(yè)錯誤率不超過1%和每幀耗時不超過0.5 s的要求。實驗結(jié)果表明該方法能夠?qū)崟r檢測芯片載帶邊緣變形、穿孔等缺陷，有效地實現(xiàn)載帶加工生產(chǎn)過程中的質(zhì)量監(jiān)控。以文中方法為基礎(chǔ)設(shè)計的監(jiān)測軟件已經(jīng)在企業(yè)得到了實際應(yīng)用，有效地提高了工作效率、檢測精度和穩(wěn)定性，取得了良好的效果。

[1] 李少波, 楊靜, 王錚, 等. 缺陷檢測技術(shù)的發(fā)展與應(yīng)用研究綜述[J]. 自動化學(xué)報, 2020, 46(11): 2319-2336.

LI Shao-bo, YANG Jing, WANG Zheng, et al. Review of Development and Application of Defect Detection Technology[J]. Acta Automatica Sinica, 2020, 46(11): 2319-2336.

[2] XU Jian-liang, MAO Jian-hui, ZHOU Ming-an, et al. Research on Surface of Casting Defect Detection Based on Machine Vision Technology[J]. Computer Science and Application, 2020, 10(1): 44-50.

[3] MIN Yong-zhi, XIAO Ben-yu, DANG Jian-wu, et al. Real Time Detection System for Rail Surface Defects Based on Machine Vision[J]. EURASIP Journal on Image and Video Processing, 2018, 2018(1): 1-11.

[4] LIU Jin-xing, HAN Xian-wei, GAO Wei, et al. Vehicle Cup-Holder Defect Detection System Based on Machine Vision[J]. Computer Science and Application, 2019, 9(6): 1085-1094.

[5] SUN Jun, LI Chao, WU Xiao-Jun, et al. An Effective Method of Weld Defect Detection and Classification Based on Machine Vision[J]. IEEE Transactions on Industrial Informatics, 2019: 15(12): 6322-6333.

[6] 李永敬, 朱萍玉, 孫孝鵬, 等. 基于形狀模板匹配的沖壓件外形缺陷檢測算法研究[J]. 廣州大學(xué)學(xué)報(自然科學(xué)版), 2017, 16(5): 62-66.

LI Yong-jing, ZHU Ping-yu, SUN Xiao-peng, et al. Shape Defect Detection Algorithm of Stamping Parts Based on Shape Template Matching[J]. Journal of Guangzhou University (Natural Science Edition), 2017, 16(5): 62-66.

[7] WANG Jiao. Research on Detection Method of Radiator Brazing Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2020, 9(3): 163-169.

[8] HUANG Yuan-min, YI Ming, YANG Man, et al. Research on Automatic Detection Method of Plate Surface Defects Based on Machine Vision[J]. Artificial Intelligence and Robotics Research, 2019, 8(3): 109-117.

[9] HE Tao, CAO Yu-tong, ZHANG Meng-qi, et al. Design of Flexible Packaging Defect Detection System Based on Machine Vision[J]. Journal of Image and Signal Processing, 2021, 10(1): 28-35.

[10] WANG Shuo, XU Jiang-feng, WANG Fang-zhou, et al. Identification and Detection of Surface Defects of Outer Package Printed Matter Based on Machine Vision[J]. Journal of Korea Technical Association of the Pulp and Paper Industry, 2020, 52(2): 3-11.

[11] 楊健, 辛浪, 豆昌軍. 基于機(jī)器視覺技術(shù)的瓶蓋劃痕檢測[J]. 包裝工程, 2019, 40(13): 227-232.

YANG Jian, XIN Lang, DOU Chang-jun. Bottle Cap Scratch Detection Based on Machine Vision Technology[J]. Packaging Engineering, 2019, 40(13): 227-232.

[12] LI Rui-zhi, TIAN Fang, CHEN Shi-qiang. Research on Surface Defect Detection Method of E-TPU Midsole Based on Machine Vision[J]. Journal of Computer and Communications, 2020, 08(11): 145-160.

[13] XIE Wei-jun, WANG Feng-he, YANG De-yong, et al. Research on Carrot Surface Defect Detection Methods Based on Machine Vision[J]. IFAC-Papers On Line, 2019, 52(30): 24-29.

[14] 劉見平, 趙麗, 牛樹云, 等. 基于形狀模板匹配的交通標(biāo)志污損檢測方法研究[J]. 公路交通科技(應(yīng)用技術(shù)版), 2018, 14(12): 270-273.

LIU Jian-ping, ZHAO Li, NIU Shu-yun, et al. Research on Traffic Sign Defilement Detection Method Based on Shape Template Matching[J]. Highway Traffic Technology (Application Technology Edition), 2018, 14(12): 270-273.

[15] 毛偉民, 蘆俊, 朱衛(wèi)良, 等. 基于邊緣檢測的載帶壓痕檢測[J]. 計算機(jī)測量與控制, 2010, 18(7): 1483-1484.

MAO Wei-min, LU Jun, ZHU Wei-liang, et al. Tape Impresses Test Based on Edge Detection[J]. Computer Measurement & Control, 2010, 18(7): 1483-1484.

[16] 石韻昭, 倪軍, 李寧釧, 等. 基于機(jī)器視覺的雙工位載帶檢測系統(tǒng)研究[J]. 計量學(xué)報, 2019, 40(2): 196-200.

SHI Yun-zhao, NI Jun, LI Ning-chuan, et al. Research on Duplex Carrier Detection System Based on Machine Vision[J]. Acta Metrologica Sinica, 2019, 40(2): 196- 200.

Machine Vision Detection Method for Chip Carrier Defects

WEI Hong-lei, JIANG Zhi-liu, XU Jia-heng, KONG Xiang-zhi, SHANG Ye-tong, TONG Qiang

(School of Mechanical Engineering and Automation, Dalian Polytechnic University, Liaoning Dalian 116034, China)

An efficient and accurate machine vision detection method was proposed to detect the deformation and perforation at the bottom and edge of the cavity of chip packaging carrier tape. The registration template and standard template images are prepared offline and then detected online during production. During the detection process, the cavity image to be detected is triggered by the sensor, and then the template image and the image to be detected are registered by the template matching method, and the XOR operation is performed to detect the difference between the two images so as to locate the defect. Experiments show that the maximum error rate of edge deformation detection is 0.45%, the maximum error rate of bottom deformation detection is 0.50%, and the maximum error rate of perforation detection is 0.35%. The average detection time of each frame is 0.22 s, which meets the user's requirement that the error rate is less than 1% and the time of each frame is less than 0.5 s. This method can detect the edge deformation and perforation of the chip in real time, and effectively realize the quality monitoring in the process of chip loading processing.

chip carrier; defect detection; machine vision; image XOR operation

TS254.9

A

1001-3563(2022)11-0183-06

10.19554/j.cnki.1001-3563.2022.11.024

2021–06–24

遼寧省教育廳2021年度科學(xué)研究經(jīng)費(fèi)面上項目（LJKZ0535，LJKZ0526）；2021年度本科教育教學(xué)綜合改革項目（JGLX2021020，JCLX2021008）

魏鴻磊（1973—），男，博士，大連工業(yè)大學(xué)副教授，主要研究方向為機(jī)器視覺及機(jī)電一體化系統(tǒng)設(shè)計。

童強(qiáng)（1989—），男，博士，大連工業(yè)大學(xué)講師，主要研究方向為機(jī)器視覺及增材制造關(guān)鍵技術(shù)。

責(zé)任編輯：曾鈺嬋