基于YOLO算法與機(jī)器視覺的晶圓片表面缺陷檢測(cè)研究

于志斌，胡泓

（哈爾濱工業(yè)大學(xué)（深圳）機(jī)電工程與自動(dòng)化學(xué)院，廣東 深圳 518000）

0 引言

近年來(lái)，伴隨著我國(guó)通信、計(jì)算機(jī)、消費(fèi)電子、汽車、新能源、人工智能、物聯(lián)網(wǎng)等終端應(yīng)用領(lǐng)域需求的全面上漲，半導(dǎo)體分立器件行業(yè)的市場(chǎng)規(guī)模穩(wěn)步增長(zhǎng)[1]。在分立器件晶圓的生產(chǎn)制造過(guò)程中，由于車間環(huán)境、人為操作等因素的影響，晶圓表面不可避免會(huì)出現(xiàn)一些缺陷。這些缺陷不僅影響晶圓片的外觀，也會(huì)影響最終分立器件的性能。晶圓缺陷檢測(cè)是保證后續(xù)產(chǎn)品質(zhì)量的重要環(huán)節(jié)。

傳統(tǒng)的人工目視檢測(cè)[2]存在工作效率低、檢測(cè)率準(zhǔn)確性不高、主觀性強(qiáng)等缺點(diǎn)，使基于機(jī)器視覺的自動(dòng)光學(xué)檢測(cè)（AOI）替代傳統(tǒng)的人工檢測(cè)成為重要趨勢(shì)。本文針對(duì)分立器件晶圓片的特點(diǎn)，提出基于YOLO算法與機(jī)器視覺的晶圓片表面缺陷檢測(cè)算法。

1 晶圓表面缺陷分類

本文的研究對(duì)象是基于GPP工藝的分立器件晶圓，晶圓表面的完整晶粒結(jié)構(gòu)如圖1所示，由內(nèi)而外分別包括金屬層、氧化層、玻璃層和玻璃保護(hù)層。晶圓表面缺陷主要有氧化層殘留、劃痕和氧化層不規(guī)則等。針對(duì)目前已有的晶圓樣本，介紹本文的晶粒定位算法和缺陷檢測(cè)算法。

圖1 晶粒示意圖

2 基于YOLO v4的晶粒定位算法

2.1 數(shù)據(jù)擴(kuò)充

為避免數(shù)據(jù)集不足造成訓(xùn)練過(guò)程中產(chǎn)生過(guò)擬合問(wèn)題，筆者通過(guò)調(diào)節(jié)亮度和對(duì)比度、色彩抖動(dòng)、翻轉(zhuǎn)、縮放、高斯模糊、添加椒鹽噪聲等方法，對(duì)原有的晶粒數(shù)據(jù)集進(jìn)行增廣。通過(guò)以上方式，將原有的905張晶粒圖像數(shù)據(jù)集擴(kuò)增至6530張。

2.2 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)，如圖2所示

圖2 YOLO v4網(wǎng)絡(luò)結(jié)構(gòu)

a.YOLO v4的主干特征提取網(wǎng)絡(luò)選擇了更大視野、更多參數(shù)的CSPDarknet53，利用CSP模塊在保證模型具有較高的識(shí)別準(zhǔn)確率的同時(shí)降低模型迭代時(shí)的計(jì)算量。主干網(wǎng)絡(luò)激活函數(shù)改成Mish函數(shù)，可以優(yōu)化梯度流。Mish函數(shù)表達(dá)式為：

b.YOLO v4在CSPDarknet53網(wǎng)絡(luò)的最后一個(gè)特征層的卷積中加入SPP結(jié)構(gòu)，用四種不同尺度的池化核做最大池化處理，用以增加感受野，維持模型推理速度的同時(shí)也能更好地分別上下文特征。

c.在三個(gè)有效特征層上使用了PANet結(jié)構(gòu)，減少淺層特征信息傳輸損失的同時(shí)更好地利用精確位置信息。

2.3 損失函數(shù)

邊框回歸損失公式為：

v是衡量縱橫比一致性的參數(shù)，其表達(dá)式為：

置信度損失和分類損失的計(jì)算可以通過(guò)交叉熵的方式計(jì)算得出。

2.4 訓(xùn)練過(guò)程

模型參數(shù)中，輸入圖像為608×608像素，每次訓(xùn)練輸入的圖像數(shù)量為64，動(dòng)量設(shè)置為0.949，權(quán)重衰減因數(shù)設(shè)置為0.0005，學(xué)習(xí)率設(shè)為0.001。使用GTX 1080Ti型號(hào)的GPU經(jīng)過(guò)4500epoch訓(xùn)練達(dá)到穩(wěn)定狀態(tài)。如圖3所示。

圖3 損失函數(shù)變化圖

2.5 晶粒定位效果

將訓(xùn)練好的YOLO v4網(wǎng)絡(luò)進(jìn)行晶粒定位實(shí)驗(yàn)。如圖4所示，YOLO v4深度學(xué)習(xí)網(wǎng)絡(luò)能夠很好地對(duì)晶圓圖片中的晶粒位置進(jìn)行預(yù)測(cè)。

圖4 損失函數(shù)變化圖

3 晶粒缺陷檢測(cè)算法

此外，針對(duì)每種可能出現(xiàn)的缺陷類型，需要設(shè)計(jì)基于機(jī)器視覺的檢測(cè)算法。

3.1 氧化層殘留缺陷檢測(cè)

氧化層殘留的搜索區(qū)域如圖5（b）所示，該缺陷的灰度值相對(duì)于金屬層表面的灰度值較低，圖5（c）是圖5（b）閾值化后得到的二值圖。運(yùn)用開運(yùn)算去除這些金屬層小區(qū)域的干擾，得到如圖5（d）的搜索區(qū)域，這些位置同時(shí)存在著臟污和氧化層殘留缺陷。為了區(qū)分開，需要將潛在缺陷區(qū)域的顏色與氧化層的顏色進(jìn)行對(duì)比。氧化層可以通過(guò)閾值化后尋找特定大小的輪廓，進(jìn)而得到氧化層區(qū)域，如圖5（e）。為了衡量區(qū)域之間的色差，選擇均勻性較好的CIELAB顏色空間，并采用更接近人眼對(duì)顏色判斷的CMC（l:c）色差公式用于辨別這兩種缺陷，原理如下。

圖5 氧化層殘留缺陷檢測(cè)流程圖

CIELAB顏色空間[3]由明度L*和色品a*和b*三個(gè)分量組成。CMC（l:c）[4]色差公式引入明度和彩度兩個(gè)權(quán)重因子，接近人眼對(duì)顏色的感受，其公式如下。

式中：當(dāng)潛在缺陷區(qū)域與氧化層的色差小于一特定值時(shí)，判斷是氧化層殘留缺陷，否則是臟污缺陷。氧化層殘留缺陷檢測(cè)結(jié)果如圖5(f)所示。

3.2 劃痕缺陷檢測(cè)

劃痕的搜索區(qū)域如圖6(b)所示，圖6(c)是圖6(b)閾值化得到的二值圖。由直接二值化得到的劃痕可能出現(xiàn)局部斷開的情況，形態(tài)學(xué)膨脹可以避免這個(gè)問(wèn)題，膨脹后的二值圖如圖6(d)所示。接著，從高亮區(qū)域中篩選出劃痕缺陷。

圖6 劃痕缺陷檢測(cè)流程圖

3.3 氧化層不規(guī)則缺陷檢測(cè)

氧化層不規(guī)則缺陷主要表現(xiàn)為氧化層內(nèi)輪廓在局部產(chǎn)生了凸缺陷，如圖7(b)所示。凸缺陷可以用凸包來(lái)解決，針對(duì)氧化層內(nèi)輪廓上有限個(gè)點(diǎn)，能夠?qū)⑦@些點(diǎn)圍住的最小凸多邊形就是凸包。氧化層不規(guī)則可以用凸缺陷的深度[5]來(lái)刻畫，即凸缺陷的最遠(yuǎn)點(diǎn)到凸包的距離d，如圖7(c)所示。算法步驟就是遍歷每個(gè)凸缺陷，判斷不規(guī)則度是否超過(guò)設(shè)定的閾值。如存在這樣的凸缺陷，那么此晶粒便存在氧化層不規(guī)則缺陷，并顯示出來(lái)，如圖7(d)所示。

圖7 氧化層不規(guī)則缺陷檢測(cè)流程圖

4 實(shí)驗(yàn)結(jié)果與分析

基于QT搭建了如圖8所示的界面，將基于YOLO v4的定位算法和缺陷檢測(cè)算法集成為一套軟件測(cè)試系統(tǒng)，能夠?qū)崟r(shí)進(jìn)行晶粒定位和缺陷檢測(cè)。

圖8 在線測(cè)試軟件系統(tǒng)

絡(luò)的檢測(cè)效果。各指標(biāo)的定義為：

為進(jìn)一步分析基于YOLO v4的晶粒定位方法的識(shí)別效果，與灰度模板匹配法、形狀模板匹配法和輕量卷積神經(jīng)網(wǎng)絡(luò)法進(jìn)行比較，對(duì)比的結(jié)果見表1。

表1 晶粒定位算法實(shí)驗(yàn)結(jié)果

為了對(duì)本文的圖像處理算法進(jìn)行性能評(píng)估，筆者收集了包含各缺陷類型的晶粒圖片作為測(cè)試樣本，結(jié)果如表2所示。

表2 缺陷檢測(cè)算法實(shí)驗(yàn)結(jié)果

5 結(jié)語(yǔ)

針對(duì)GPP工藝的分立器件晶圓表面存在氧化層殘留、劃痕和氧化層不規(guī)則等缺陷類型，筆者提出一種基于YOLO算法和機(jī)器視覺的晶圓表面缺陷檢測(cè)方法。構(gòu)建晶粒的數(shù)據(jù)集，對(duì)晶粒的數(shù)據(jù)集進(jìn)行圖像增廣，解決圖像數(shù)量偏少的問(wèn)題。訓(xùn)練YOLO v4網(wǎng)絡(luò)用于晶粒定位，實(shí)驗(yàn)結(jié)果表明，筆者提出的定位方法明顯優(yōu)于其他三種定位方法，識(shí)別精度達(dá)98.07%，平均耗時(shí)為23.6ms。針對(duì)氧化層殘留缺陷，開運(yùn)算去除小區(qū)域，利用顏色空間轉(zhuǎn)換和色差公式確認(rèn)缺陷的色彩。針對(duì)劃痕缺陷，膨脹操作使?jié)撛趧澓蹍^(qū)域聯(lián)通，再利用聯(lián)通區(qū)域的面積和最小外接矩形的長(zhǎng)寬比識(shí)別劃痕。針對(duì)氧化層不規(guī)則缺陷，根據(jù)凸缺陷的特征識(shí)別該缺陷。實(shí)驗(yàn)結(jié)果表明，筆者提出的檢測(cè)方法具有成功率高、實(shí)時(shí)性強(qiáng)等優(yōu)點(diǎn)，檢測(cè)成功率達(dá)93.84%，單幅圖像檢測(cè)時(shí)間不超過(guò)40ms，可以實(shí)現(xiàn)對(duì)晶圓表面缺陷的快速準(zhǔn)確檢測(cè)。