基于深度學習的零件表面缺陷檢測與識別

蔡 航，茅 健，周玉鳳，李彬鵬

(上海工程技術(shù)大學機械與汽車工程學院，上海 201620)

0 引言

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種識別二維或三維數(shù)據(jù)的多層神經(jīng)網(wǎng)絡(luò)，與其他基于深度學習的網(wǎng)絡(luò)相比，CNN 網(wǎng)絡(luò)有很多獨特的優(yōu)勢，能夠有效提高網(wǎng)絡(luò)模型的圖像處理的準確率。

近年來，隨著對卷積神經(jīng)網(wǎng)絡(luò)的不斷探索與應(yīng)用，研究該網(wǎng)絡(luò)的學者越來越多，發(fā)表了大量基于卷積神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)。Christian Szegedy 等人[1]在AlexNet算法模型的基礎(chǔ)上提出了GoogLeNet模型，通過增加其網(wǎng)絡(luò)深度使模型在訓練中取得更好的效果，他們還提出了一種新的結(jié)構(gòu)--Inception 結(jié)構(gòu)；何凱明等人[2]設(shè)計了深度殘差網(wǎng)絡(luò)ResNet 模型，新增了冗余模塊，能深化網(wǎng)絡(luò)到101層、152層等更深的層次，特征的提取錯誤率也降到了3.6%。Residual-Attention[3]、DenseNet[4]、SENet[5]等算法，在圖像識別領(lǐng)域得到了廣泛應(yīng)用，取得了優(yōu)異的識別效果，如在特征提取網(wǎng)絡(luò)中，特征的提取錯誤率已降到2.2%。

綜合所述，本文針對銑削零件表面缺陷識別分類問題，在ResNet 網(wǎng)絡(luò)基礎(chǔ)上設(shè)計CNN 網(wǎng)絡(luò)結(jié)構(gòu)模型，實現(xiàn)銑削零件表面缺陷的檢測分類。

1 數(shù)據(jù)采集與預(yù)處理

銑削零件的缺陷圖像由設(shè)備PV5040-DCC 影像測量儀進行采集，采集缺陷圖像如圖1所示。

圖1 缺陷采集圖像

在深度學習中，由于缺乏數(shù)據(jù)支撐而降低網(wǎng)絡(luò)的性能，尤其在深度神經(jīng)網(wǎng)絡(luò)中，訓練數(shù)據(jù)量的優(yōu)化會使它的性能隨之提升。由于缺陷類型的不一致，缺陷最終的識別準確率將有所下降，而且在數(shù)據(jù)量很小的情況下，很可能會導(dǎo)致識別誤差，針對此現(xiàn)狀，本文設(shè)計基于深度卷積對抗生成網(wǎng)絡(luò)(DCGAN)[6]的數(shù)據(jù)擴增算法，本文算法優(yōu)化措施為：①使用更容易收斂的激活函數(shù)；②在每個卷積層后面都使用BN 層加速模型收斂；③移除全連接層，并使用全局池化層；④取消最大池化，下采樣通過stride=2的卷積實現(xiàn)。

本文設(shè)計的DCGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。如銑削零件表面缺陷，假設(shè)每個圖像樣本的大小為256×256，網(wǎng)絡(luò)中每一層的卷積核尺寸為5×5，輸出的特征圖進行都進行歸一化處理，模型的衰減值設(shè)置為0.9，eclipse設(shè)置為0.00006；由圖3 可知，在迭代次數(shù)為1000 后，模型損失基本不變，所以設(shè)定該模型的訓練迭代的次數(shù)為1500。

圖3 生成器D與判別器G的損失與訓練迭代的關(guān)系

在完成一系列的網(wǎng)絡(luò)訓練后，DCGAN 網(wǎng)絡(luò)生成的缺陷樣本部分如圖4所示。生成的圖像與實際圖像基本一致，這一過程使得生成樣本更接近真實獲取圖像的狀態(tài)，提高了缺陷數(shù)據(jù)庫的多樣性。

圖4 生成缺陷樣本圖

2 基于深度學習的檢測與識別算法

基于深度學習技術(shù)的目標識別檢測技術(shù)主要分一階段算法和二階段算法[7]，他們可以自動提取訓練集中的圖像特征，無需人工干預(yù)，且檢測效率和檢測精度比傳統(tǒng)的檢測方法更高，檢測結(jié)果更準確。

一階段算法主要有SSD算法、YOLO系列算法等；二階段算法主流算法有R-CNN 算法、Fast R-CNN 算法和Faster R-CNN 算法等。通常，使用二階段算法檢測物體的精度高于一階段算法。因此，本文基于改進的Faster R-CNN[8]目標檢測算法建立表面缺陷檢測模型，應(yīng)用于銑削零件表面缺陷檢測。

2.1 特征提取網(wǎng)絡(luò)優(yōu)化

Faster R-CNN 的特征提取網(wǎng)絡(luò)為VGG16，該網(wǎng)絡(luò)是生成候選框的主要網(wǎng)絡(luò)。但是，該網(wǎng)絡(luò)對參數(shù)的量要求高，并且隨著網(wǎng)絡(luò)的加深，將面臨梯度消失的風險，VGG16t 網(wǎng)絡(luò)的性能就會大大降低，無法保證在一定的時間內(nèi)將缺陷的特征充分提取。

⑴ResNet網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)ResNet 將底層網(wǎng)絡(luò)的先驗知識引入網(wǎng)絡(luò)訓練里，使深層網(wǎng)絡(luò)表現(xiàn)穩(wěn)定。ResNet 網(wǎng)絡(luò)引入了一個殘差模塊，如圖5所示。

圖5 殘差網(wǎng)絡(luò)基本單元

殘差網(wǎng)絡(luò)由圖5的基本單元堆疊形成，左側(cè)為殘差模塊，右側(cè)為bottleneck模塊。通過計算時間和性能的考慮，本文選擇ResNet-50和ResNet-101進行實驗。

⑵ResNext網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)有效解決了網(wǎng)絡(luò)層深度與模型識別準確率的矛盾，同時又要面臨新的復(fù)雜的網(wǎng)絡(luò)計算難題。受到了VGG 網(wǎng)絡(luò)和Inception 網(wǎng)絡(luò)思想的啟發(fā)，Xie 等人[9]構(gòu)建了ResNext 網(wǎng)絡(luò)，在同一層級特征圖下使用多個相同的結(jié)構(gòu)并將其融合，不增加參數(shù)難度的前提下，提高了網(wǎng)絡(luò)的擬合能力。

ResNext 網(wǎng)絡(luò)的一個block 結(jié)構(gòu)如圖6 所示，它使用大小為1×1、3×3的卷積和殘差網(wǎng)絡(luò)的短連接來構(gòu)建網(wǎng)絡(luò)，同時采用分組并行卷積的方法，將高維卷積轉(zhuǎn)化為低維卷積，32 組相同的拓撲結(jié)構(gòu)平行的堆疊以獲取特征。這種算法保證網(wǎng)絡(luò)實現(xiàn)正常的擬合，同時也可以保持原有計算量，有效地優(yōu)化了網(wǎng)絡(luò)的檢測準確率。本文選擇ResNext-101 作為特征提取網(wǎng)絡(luò)來進行實驗，并將其與上述殘差網(wǎng)絡(luò)進行比較，進而獲得最佳的backbone。ResNext-101 網(wǎng)絡(luò)的結(jié)構(gòu)與ResNet-101相似，只需要用圖6所示的block結(jié)構(gòu)替換對應(yīng)的殘差結(jié)構(gòu)。

圖6 ResNet塊(左)和ResNext塊(右)

2.2 RoI Pooling層的改進

⑴RPN網(wǎng)絡(luò)輸出的ROI區(qū)域需要在輸入到分類與回歸模塊前進行池化操作統(tǒng)一尺寸。因為在RoI Pooling的過程中會有兩次邊界量化取整操作，而在此之后現(xiàn)邊界框和最初的邊界框偏離，導(dǎo)致目標定位不準。

何凱明等使用RoI Align[10]改進了RoI Pooling層。在映射目標區(qū)域時，不要對所有生成的浮點邊界進行量化，而是把區(qū)域進行劃分成幾個小單元，并且不必量化各個單元的邊界。使用雙線性插值法，得到了各單元內(nèi)四個點坐標，以減少誤差，其原理如圖7所示。

圖7 ROI Align原理圖

RoI Align優(yōu)化了量化方法，但每個單元內(nèi)部插值點數(shù)目僅和周圍的四個整數(shù)位置像素點相關(guān)，且插值點數(shù)目不能自適應(yīng)調(diào)整，無法將梯度表達出來，因而還存在提升的空間。

PrRoI Pooling 不進行量化，且邊界框坐標具有連續(xù)梯度。對于特征圖F 而言，本文用wi,j表示離散坐標(i，j)處特征圖上的特征，雙線性差值的使用可讓輸出的離散特征圖被模型看作是連續(xù)的，此時可用(x,y)表示圖像內(nèi)任何連續(xù)空間的坐標。函數(shù)表達式如下：

其中，IC(x,y,i,j)=max(0,1-|x-i|)×max(0,1-|y -j|)為插值系數(shù)。

bin={(x1,y1),(x2,y2)}表示為一個RoI 區(qū)域的一個單元，其中(x1,y1)和(x2,y2)代表左上與右下兩個對角點的連續(xù)坐標。最后使用二階積分來實現(xiàn)給定單元和特征圖F的池化操作，公式如下：

由于這種方法避免了任何量化，所以公式⑵是可微的，對于x的偏導(dǎo)，有：

對于其他變量的偏導(dǎo)也類似。

PrRoI Pooling、PrRoI Align 和RoI Pooling 這三種類型的池化方式比較如圖8 所示，虛線表示圖像的特征再某一單元中的實際位置。RoI Pooling 不劃分單元，其池化方式是通過求二階積分的均值實現(xiàn)，該方式下輸出的特征圖可以看作是連續(xù)的，缺陷特征的信息完整，從而精準的獲取細小缺陷的位置。所以本文使用PrRoI Pooling池化方式實現(xiàn)模型的池化操作。

圖8 三種池化方式的示意圖

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集的制作

銑削零件缺陷原始圖像樣本共十張，分辨率為256×256。采用DCGAN 網(wǎng)絡(luò)擴增數(shù)據(jù)，共有缺陷樣本數(shù)據(jù)2000 張，數(shù)據(jù)集擴增后各類樣本數(shù)量見表1。DCGAN 網(wǎng)絡(luò)生成圖像如圖9。從缺陷樣本中隨機選取600張作為測試集，其余1400張作為訓練集。

表1 數(shù)據(jù)集擴增后各類樣本數(shù)量

圖9 DCGAN擴充樣本圖

3.2 實驗

⑴訓練參數(shù)設(shè)計

使用改進后的Faster R_CNN 深度學習網(wǎng)絡(luò)訓練時選取Adam 算法對學習率進行自動學習更新，初始學習率設(shè)置為0.001；迭代次數(shù)設(shè)置為10000，批尺寸大小設(shè)置為64；Relu 函數(shù)為激活函數(shù)；將L1 正則化函數(shù)加入模型中，正則化系數(shù)設(shè)置為1e-5；選取CDIoU Loss 函數(shù)作為損失函數(shù)，動量參數(shù)設(shè)為0.9；錨框尺度設(shè)置為[8,16,32]、比例為[0.5,1,2]。

⑵特征提取網(wǎng)絡(luò)選取實驗

為了選擇合適的特征提取網(wǎng)絡(luò)進行銑削零件缺陷檢測，實驗分別選擇ResNet-50，ResNet-101和ResNext-101 作為Faster R-CNN 框架的backbone，對表面缺陷進行檢測，并在同一測試集上進行測試。在實驗中，使用平均精度均值(mAP)和平均檢測時間作為評價指標評估檢測模型的檢測性能，實驗結(jié)果如表2所示。

表2 各網(wǎng)絡(luò)評價指標對比

由表2 可知使用ResNet-50，ResNet-101 和ResNext-101 幾種網(wǎng)絡(luò)作為模型的backbone 分別進行訓練時，他們的模型的檢測性能mAP 值分別為94.7%,95.3%和98.4%。從平均檢測精度來看，ResNet-101網(wǎng)絡(luò)的性能最強，mAP 值為98.4%；在檢測速度方面，ResNet-50 的其檢測速度最快。ResNext-101 網(wǎng)絡(luò)在mAP 值上的貢獻程度彌補了該網(wǎng)絡(luò)在平均檢測時間指標上的不足，在實際中需要足夠高的識別準確度，因此本文中Faster R-CNN 模型的backbone 選定為ResNext-101 網(wǎng)絡(luò)。當使用ResNext-101 網(wǎng)絡(luò)作為檢測模型的backbone 時，零件表面缺陷每一類的AP 值如圖10所示。

圖10 四種缺陷平均檢測精度(AP)圖

從圖10 可以看出，當使用ResNext-101 網(wǎng)絡(luò)作為檢測模型的backbone 時，檢測模型對于四種缺陷的檢測精度都非常出色，每種缺陷的AP都在96.5%以上。

⑶整體缺陷檢測結(jié)果與分析

600 張缺陷樣本測試集的檢測結(jié)果如表3 所示。每張測試圖片包含正常區(qū)域和缺陷區(qū)域，漏檢(False Negative,FN)表示是沒有檢測到缺陷目標或缺陷目標小部分被檢測出(LOU<0.35)，漏檢率(Miss detect rate,MDR)的計算方法見式⑷；過檢(False Positive,FP)表示的非缺陷目標被定義為缺陷，過檢率(Over detect rate,ODR)計算方法見式⑸；正確檢測樣本數(shù)占總樣本數(shù)的比例定義為正確檢測率(Correct detect rate,CDR)，其計算方法見式⑹。

表3 Faster R-CNN檢測結(jié)果

當未處理銑削圖像背景紋理時，F(xiàn)aster R-CNN 模型檢測基本失效，正確率只有33.3%，而處理后正確率提高了66.7%。當缺陷圖片不足時，使用原Faster RCNN 檢測時，模型的MDR 與ODR 都偏高，此時模型在進行缺陷檢測時對圖片噪聲的魯棒性較差，會導(dǎo)致模型檢測精度降低；當經(jīng)過DCGAN 算法擴充缺陷數(shù)據(jù)集和對檢測模型的特征提取網(wǎng)絡(luò)改進后，缺陷檢測模型的檢測準確率提升了13.4%，該模型的最終檢測率為98.7%。在檢測細小缺陷時，本文對Faster RCNN 算法的特征提取網(wǎng)絡(luò)和ROI Pooling 層進行改進，使得新模型能夠準確定位微小缺陷，且能更好的框選出缺陷位置，檢測缺陷效果如圖11所示。

圖11 改進前后Faster R-CNN檢測結(jié)果對比

3.3 實驗總結(jié)

本文改進的Faster R-CNN 網(wǎng)絡(luò)具有98.7%的檢測精度，但仍存在總體檢測速度不夠快問題，檢測一張分辨率為256×256 的圖像平均耗時0.3s，檢測速度難以滿足實際工業(yè)檢測的需求。因此，在確保不降低檢測精度的前提下，對檢測模型進行輕量化設(shè)計以提高檢測效率，是該檢測網(wǎng)絡(luò)未來的改進方向。

4 結(jié)束語

本文提出了一種針對銑削零件表面缺陷檢測的方法。在將銑削零件背景紋理抑制的基礎(chǔ)上，將DCGAN 網(wǎng)絡(luò)應(yīng)用到零件缺陷檢測中，對銑削零件的缺陷圖片數(shù)據(jù)集進行增強；對傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)中特征提取網(wǎng)絡(luò)、ROI Pooling 層做改進設(shè)計，缺陷檢測正確率達98.7%，提高Faster R-CNN 網(wǎng)絡(luò)模型的識別精度以及對微小缺陷的識別能力，實現(xiàn)了零件表面缺陷檢測識別。