基于錨點集優化的硅片圖像缺陷檢測方法

王曉茹，張雪英+，黃麗霞，趙利軍，肖方生，王安紅

(1.太原理工大學 信息與計算機學院,山西 太原 030024；2.太原科技大學 電子信息學院,山西 太原 030024；3.中國電子科技集團公司 第二研究所，山西 太原 030024)

0 引 言

近年來，隨著圖像處理技術的發展，用機器視覺代替人類視覺進行硅片圖像的缺陷檢測，已成為光伏硅片生產線上必不可少的環節。通過對硅片圖像中缺陷的形狀、類型、面積、位置的分析計算[1],實現大規模工業生產過程的無損檢測需求。

然而，由于硅片缺陷圖像目標區域小、對比度低、光照不均勻，現有機器視覺算法識別硅片缺陷會存在以下問題：①工業圖像對比度低，很難區分背景中的小目標和其它雜物，導致檢測精度降低；②卷積神經網絡的多層次池化操作會使得目標區域變得更小[2]，例如每一個32×32像素大小的區域經過五層卷積后最多輸出1個像素；③Faster R-CNN默認的錨點框尺寸較大，訓練過程中易導致RPN產生的候選區域和真實(ground truth，GT)區域之間重疊比例小于閾值而被誤認為負樣本，從而導致硅片缺陷的漏檢[3]，因此標準檢測方法的錨點默認設置不適用于硅片缺陷數據的訓練和檢測。

基于以上分析，本文提出一種錨點集的優化方法，并將之用于Faster R-CNN網絡進行真實工業現場的硅片圖像缺陷檢測。首先，根據GT box的大小和期望的定位精度，通過數學理論分析，得到優化后的候選窗錨點集，并推導出可提取的最小目標區域的anchor尺寸；最后，通過調整檢測階段非極大值抑制(NMS)獲取錨點的數量，提高檢測速度。實驗結果表明，優化錨點集后網絡模型的檢測精度和速度都有明顯提高。

1 相關工作

領域內對硅片缺陷檢測的研究已有大量成果，但大多基于機器視覺的傳統技術，主要依賴銳化、平滑等預處理算法和人工設計的缺陷特征[4]，會使得檢測過程存在較多主觀導向，設計過程比較耗時，最終得到的特征也參差不齊，泛化能力差。不同于傳統的方法，基于深度學習的Faster R-CNN[5]檢測技術近年來取得突破性進展，通過在原始圖像中利用區域建議網絡采用滑動窗口的方式提取面積尺寸各異的候選錨點(anchor)，并直接連接RoI pooling層進行感興趣區域[6]的選擇，實現了真正意義上端到端的實時目標檢測，使得精度和速度都得到明顯提升。

本文汲取Faster R-CNN框架中RPN網絡使用卷積結構產生候選窗的特點，并針對真實工業場景的硅片檢測問題，設計和推導優化的候選窗錨點。因而下面將介紹Faster R-CNN檢測網絡的原理及所用的特征提取網絡——深度殘差神經網絡。

1.1 Faster R-CNN檢測網絡框架

Faster R-CNN的網絡框架如圖1所示，主要由卷積特征提取網絡(convolution neural network,CNN)、區域建議網絡(region proposal network,RPN)、分類定位網絡3部分組成。該算法實現步驟為：

(1)將任意大小的圖片輸入到CNN網絡(ZF-Net、VGG、ResNet-50)，通過多個激活的卷積層自動提取圖像特征，得到具有代表性的多個特征圖；

(2)RPN網絡使用深度卷積神經網絡得到的卷積特征進行區域建議，并自動生成候選框；

(3)將RPN生成的區域建議映射到CNN網絡的最后一層卷積的特征圖上，然后通過感興趣區域池化(region of interest pooling, RoI pooling)層得到固定大小的特征圖；

(4)利用softmax分類層進行具體類別的判斷，同時利用邊框回歸層獲得物體的精確位置。

1.2 深度殘差神經網絡—ResNet

Faster R-CNN使用CNN網絡進行特征提取，這是由于CNN可以避免顯式特征的設計和抽取，隱式地從訓練數據中進行特征學習[7]。傳統的CNN網絡或全連接網絡在完成圖像分類問題時，當卷積層達到一定深度后，其分類精度不升反降，導致網絡訓練結果達不到預期。為了保證缺陷檢測模型的優質性，在基于Faster R-CNN的檢測架構中，特征提取的部分采用深度殘差神經網絡(residual neural networks，ResNet)[8]，通過堆疊多個如圖2所示的殘差塊(residual block)結構，來解決網絡加深所帶來的梯度消失、網絡退化問題。

圖2 Residual block結構

由圖2可知，殘差網絡ResNet是在疊加的CNN網絡基礎上使用了一種“shortcut connection”的連接方式，通過直接將輸入信息繞道傳到輸出，只學習殘差的方式，保護信息的完整性，簡化學習目標和難度。這種連接方式通過反向傳播減弱網絡層數加深時造成的梯度爆炸問題[9]，一定程度上加快神經網絡的收斂，達到提高訓練精度的效果。

2 本文所提出的硅片缺陷檢測模型

針對硅片缺陷圖像的特點，本文提出了一種硅片缺陷檢測模型——基于優化錨點集的Faster R-CNN模型。首先，使用Faster R-CNN檢測網絡，以ResNet-50為基準網絡進行特征提取；然后，在訓練前對數據進行擴充，防止過擬合；最后，根據期望的定位精度，通過數學理論分析推導出一種優化的錨點集，并利用優化后的錨點集訓練缺陷檢測模型。其整體檢測流程如圖3所示。

圖3 硅片缺陷檢測流程

2.1 Faster R-CNN和ResNet-50的融合網絡

本文采用一種兩階段的Faster R-CNN網絡檢測技術進行工業場景的硅片圖像缺陷檢測。首先通過RPN網絡預先產生優化的候選錨點，生成感興趣區域，然后利用ImageNet上預訓練好的權重模型對RPN和Fast R-CNN聯合訓練，使得缺陷檢測模型很快趨于收斂，得到優化的硅片缺陷檢測模型。

為了獲得缺陷圖像的深層語義信息，在特征提取網絡部分，選用ResNet-50模型，且殘差網絡在ImageNet上進行了預訓練。在工業背景下，由于硅片檢測要求復雜度小，功耗低，因此選擇ResNet-50的淺層結構進行特征提取，然后將第五層卷積網絡結構附著在RPN之后。這里每個殘差塊都采用瓶頸結構，包含兩個1×1的卷積操作，第一個1×1卷積是為了減少輸入的特征圖數量，第二個1×1卷積是為了保證卷積的同時完成維度上的適應，這樣既能減少計算量，又能通過3×3卷積融合各個通道的特征。具體結構如圖4所示。

圖4 ResNet-50中的殘差塊

ResNet-50是由16個圖4所示的殘差塊堆疊而成的50層網絡，詳細結構信息見表1。在神經網絡中，網絡模型的深度對檢測性能會產生重要的影響，通常，卷積神經網絡模型越深，檢測精度越高[10]。因此，實驗部分還比較了幾種不同的CNN架構(ZF-Net、VGG)，研究不同深度的卷積特征提取網絡對檢測性能的影響。

2.2 目標函數

所提模型的損失函數L如下所示

表1 ResNet-50網絡結構信息

2.3 訓練集構建

硅片缺陷主要包括缺角和裂紋兩種類型。由于工業生產環境下的有缺陷的硅片較少，而且工業相機采集等設備上的客觀因素，導致實驗原始數據集數量較少，無法滿足大型卷積神經網絡的訓練要求，且訓練過程容易產生過擬合。因此，本文通過將原始圖像進行對稱、旋轉、鏡像以及調整亮度等方式擴充訓練樣本，通過同態濾波增強目標區域和背景的灰度差異，如圖5所示。

圖5 訓練集示例

2.4 錨點集的問題分析及優化推導

2.4.1 固定尺度錨點的不足分析

在區域建議生成階段，RPN會預先設置一個固定尺寸的錨點，通過變換尺度(scales)和長寬比(ratios)，每個像素特征點會對應k(k=scales×ratios)個錨點，為了訓練RPN，Faster R-CNN為每個錨點分配一個二值類別標簽[11]，通過判斷預測的錨框與真實框GT box之間的重疊比(intersection over union, IoU)來判斷是否為正標簽，通常認為IoU≥0.7的錨點為正標簽。

傳統的Faster R-CNN生成錨框時，尺寸建議使用類似{1282，2562，5122}的二次冪，長寬比選取{1∶1、1∶2、2∶1}，這種錨點選擇在VOC 2007之類的數據集上表現很好，在這些數據集中，目標區域通常相對較大，占總圖像面積比例也相對較大，因此這些錨點大小更適合于大型對象。對于硅片缺陷圖像中以裂紋缺陷為代表的小目標對象，錨點尺寸的默認設置太大，通常導致訓練過程中候選區域和目標區域的交并比小于閾值而產生漏檢，雖然ResNet通過增加跨連接層來規避局限性，仍無法顧及到更多的邊界細節。為了解決這一問題，通常使用二進制方案添加額外的錨點，但是這種方法可能無法生成具有足夠重疊的錨點集[12]。本文從理論上估計錨點的大小，結合硅片缺陷檢測問題，設計并使用性能更好的候選框。

2.4.2 錨點集的優化推導

如圖6所示，假設Sgt是真實框Bgt的邊長，Sa是錨點Ba的邊長，當Sa≥Sgt時，錨框Ba和真實框Bgt的交并比可以表示為

(1)

圖6 錨框大小選擇

(1)錨點集的最大值

針對圖6(a)所示的情況，假設Sgt與Sa正相關，相關因子為a，即Sa≥aSgt且a≥1，則IoU表示為

(2)

通常在檢測中，當IoU超過一定的閾值t時才能將RPN產生候選框歸類為正例，即IoU≥t，求解Sa，可以得到

(3)

特殊地，對于Sa=aSgt時，有

(4)

(2)錨點集的最小值

為了研究特征圖分辨率對RPN識別小目標的潛在影響，考慮圖6(b)中的情況，假設正方形真實框Bgt，存在具有相同尺度和高寬比的錨框Ba，在最壞的情況下，這兩個框彼此相隔一定距離d/2[14]，這些框之間的IoU可以表示為

(5)

對于式(5)，求解IoU(Bgt,Ba)≥t時的Bgt，對于最小可檢測物體的尺寸，得到以下關系

(6)

從方程(6)可知，假設t=0.5，求解可得最小可檢測物體的尺寸大小為Sgt≈44px，其中px為像素，這表明對于卷積塊的末端，需要產生更高分辨率的特征圖，對于conv4特征圖(d=8)，最小可檢測物體的尺寸大小為Sgt≈22 px，因為用于分類的對象都大于30 px，且錨點的選用采用二進制方案，所以，選用的最小錨點尺寸為32。

綜合以上分析，并通過表2中硅片數據集中缺陷區域的平均大小，可以計算得出錨點集A={32，45，64，128，181，256}。

表2 硅片缺陷數據集構成

3 實驗與分析

本文實驗在caffe的開源平臺下進行，系統環境為臺式機(Intel Xeon(R) CPU E5-2620 v4 @ 2.10 GHz×14，128 G內存)，采用NVIDIA GTX 1080Ti的GPU進行并行加速。網絡訓練過程中設置初始學習率為0.001，動量為0.85，權重衰減率為0.0004，采用隨機梯度下降法優化訓練，總迭代為7萬次。

3.1 實驗數據集

實驗所采集到的圖片為1812張硅片缺陷圖像，大小為2048×1700，類別為裂紋和缺角兩類，其中裂紋又根據尺寸分為4種類型：點狀、線形、裂縫、斷裂，這兩類硅片缺陷數據集構成見表2。其中，訓練集圖片數量為1500張，包括1000張裂紋圖片和500張缺角圖片；測試集圖片數量為312張，包括212張裂紋圖片和100張缺角圖片。且裂紋圖片中每張圖片含有2-3個不同大小的裂紋缺陷。

3.2 實驗結果與分析

實驗選用平均準確率均值(mean average precision，mAP)作為硅片缺陷檢測的主要性能指標。為了評價本文方法的性能，我們從特征提取網絡的選取、錨點集的優化、不同錨點數量的對比這三方面進行實驗。

3.2.1 特征提取實驗

Faster R-CNN使用CNN網絡進行特征提取，CNN的結構對特征學習能力至關重要，因此，本節分別使用基于ZF-Net、VGG和ResNet-50幾種卷積網絡的Faster R-CNN模型對硅片圖像進行檢測，研究特征提取網絡對檢測性能的影響，檢測結果見表3。

表3 不同特征提取網絡的Faster R-CNN模型識別性能對比

從表3可以看出，使用較大型的VGG16網絡和更深的ResNet-50網絡訓練時mAP均能達到91.5%左右，由此可見，卷積神經網絡模型越深，檢測精度越高，因此，后續實驗選用VGG16和ResNet-50作為基準網絡進行實驗對比。表3也可得到，對于硅片缺陷類型而言，缺角可以100%檢測到，但裂紋的檢測效果較差，這是由于裂紋圖像中的絕大部分缺陷區域面積都較小，在錨點中所占的比例也就很小，多為小目標檢測，這樣在訓練過程中由于候選區域和GT重疊比例過小而被標定為負樣本并舍棄，因此針對裂紋圖像特點的實驗設計是本文的重點。

3.2.2 錨點集優化的實驗

為了驗證錨點集理論推導的有效性，本文在裂紋數據集上評估了錨點大小的選擇，實驗結果見表4。

表4 所提的優化錨點集訓練模型的平均準確率對比/%

從表4中可以看到，根據GT圖像集合推斷得到的錨點集方法比無優化的Faster R-CNN效果更好，使裂紋缺陷的檢測準確率獲得明顯的提升，這是因為優化后的錨點集更好覆蓋了數據集中的小目標區域，對面積較小的目標檢測更具有代表性。另外，VGG網絡的準確率提升了1.8%，ResNet-50提升了4.2%，這說明，由于網絡層數的加深，以及錨點集的重新選擇，ResNet-50可以學習更多的特征信息，擁有更強的表征能力，也提高了Faster R-CNN網絡對小目標的敏感度和魯棒性。

3.2.3 不同錨點數量的對比實驗

綜合以上實驗，理論優化錨點集之后可以很好覆蓋標記的GT圖像，提高裂紋缺陷檢測率，且ResNet-50有對小目標較強的敏感度，因此本節選用ResNet-50為基準特征提取網絡，基于優化后的錨點集對裂紋和缺角兩種缺陷進行檢測。

為了提高檢測速度，Faster R-CNN算法在非極大值抑制(non-maximum suppression，NMS)后用了300個錨點進行檢測[15]，而重新選定的錨點集可以很好地覆蓋目標區域，因此，減少NMS后選用的錨點數量，對比實驗結果見表5。

表5 所提方法的缺陷檢測結果對比

由表5可知，根據GT圖像優化錨點集后的Faster R-CNN，不僅對裂紋區域的檢測結果明顯提升，對缺角區域的平均準確率依舊100%，這是由于RPN產生錨點時會變換不同的尺度和長寬比，縮放比例后的錨點可以很好覆蓋不同大小的硅片缺陷類型，從而對較大面積的缺角區域檢測準確度不會有所影響。另外，調整NMS后選取的候選框數目后，雖然精度相比94.25%略微有所損耗，但檢測速度獲得顯著提升，可以在不損失精度的情況下提升檢測速度，實現缺陷區域的精確定位。

3.2.4 缺陷檢測結果可視化

基于優化錨點集的Faster R-CNN硅片圖像缺陷檢測結果如圖7所示。圖7(a)是對裂紋的檢測結果，圖7(b)是對缺角的檢測結果，從這些結果中可以看出對于不同大小的兩種缺陷，由于重新選擇了新的錨點集，因此裂紋和缺角都可以實現精確檢測與定位。在檢測結果中，方框代表模型所檢測出的缺陷的具體位置，其上方字母及數字代表模型對缺陷區域的分類結果：硅片圖像缺陷分類及類別得分。

圖7 硅片缺陷檢測結果可視化

4 結束語

根據復雜的工業生產背景下硅片缺陷圖像的數據特點，提出了一種優化錨點集的缺陷檢測方法，解決了傳統檢測技術中模型參數和數據特點不匹配的問題。針對該問題，從期望的定位精度中推導出提取的最小缺陷區域的大小，得到優化的錨點集，并用于訓練缺陷檢測模型，從而提高了Faster R-CNN對裂紋圖像的檢測精度和效率。從實驗結果和分析可以看出，在不損失精度的情況下，提出的檢測模型實現了檢測速度的大幅度提高。盡管通過深度學習技術實現的檢測方法準確率較高，但這些方法時間復雜度較高，因此，為了建立高效的缺陷檢測系統，下一步的研究工作包括網絡結構的優化和檢測速度的進一步提升。