改進(jìn)Yolo V3 算法在工件缺陷檢測(cè)中的應(yīng)用

石振華，陳 杰

（貴州大學(xué)人民武裝學(xué)院信息工程系，貴州 貴陽(yáng) 550025）

1 引言

缺陷檢測(cè)是工件生產(chǎn)過(guò)程中的重要環(huán)節(jié)之一。工件缺陷很大程度上影響了其表面質(zhì)量及物理性能。隨著智能制造、工業(yè)4.0等概念的相繼提出，依靠人工檢測(cè)的方式已無(wú)法滿足企業(yè)對(duì)生產(chǎn)效率的需求，企業(yè)轉(zhuǎn)型日益迫切[1]。基于機(jī)器視覺(jué)的檢測(cè)方法是實(shí)現(xiàn)工件表面缺陷檢測(cè)的有效途徑。

現(xiàn)有的缺陷檢測(cè)方法大都是基于傳統(tǒng)機(jī)器學(xué)習(xí)方法。即先對(duì)圖像進(jìn)行濾波等預(yù)處理，經(jīng)人工特征提取圖像特征后再進(jìn)行缺陷識(shí)別。例如，文獻(xiàn)[2]使用Contourlet 變換將樣本分解為不同方向及尺度的子帶，用以形成高維特征向量，隨后將降維處理后的特征向量送入SVM 分類器中進(jìn)行鑄坯缺陷識(shí)別，取得了優(yōu)于基于Gabor 小波特征提取得到的識(shí)別方法；文獻(xiàn)[3]針對(duì)形態(tài)復(fù)雜的工件表面缺陷難以分類問(wèn)題，提出了一種基于缺陷自適應(yīng)聚類的方法，該方法通過(guò)改進(jìn)局部密度峰值確定聚類中心點(diǎn)和數(shù)目后，使用譜多流形聚類法分離缺陷并實(shí)現(xiàn)檢測(cè)，實(shí)驗(yàn)結(jié)果均優(yōu)于Kmeans 聚類法、普聚類法；文獻(xiàn)[4]提出一種基于像元搜索算法的缺陷檢測(cè)算法，以解決復(fù)雜背景下工件表面缺陷難以區(qū)分的問(wèn)題，該方法使用改進(jìn)濾波算法對(duì)圖像去噪，之后以像元搜索法確定背景、初始目標(biāo)及偽目標(biāo)區(qū)域，取得了較高的準(zhǔn)確度。以上方法實(shí)現(xiàn)過(guò)程中，樣本預(yù)處理方法及特征選擇將對(duì)缺陷檢測(cè)質(zhì)量?jī)?yōu)劣性產(chǎn)生影響。

近年來(lái)，深度學(xué)習(xí)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得了較大突破。其中，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的目標(biāo)檢測(cè)算法正逐漸開(kāi)始應(yīng)用在工業(yè)領(lǐng)域[5-6]。擬將目前性能較優(yōu)秀的Yolo V3 深度目標(biāo)檢測(cè)網(wǎng)絡(luò)[7-9]應(yīng)用于工件表面缺陷檢測(cè)，并針對(duì)數(shù)據(jù)集特點(diǎn)調(diào)整模型結(jié)構(gòu)和預(yù)處理方式，以改善檢測(cè)方法的魯棒性，提升檢測(cè)性能。

2 數(shù)據(jù)增強(qiáng)

用于驗(yàn)證所提方法可行性的實(shí)驗(yàn)對(duì)象為一種環(huán)形工件。該工件具有形狀穩(wěn)定、單一、樣本數(shù)量較少的特點(diǎn)。原始圖像均為使用工業(yè)灰度相機(jī)拍攝到的環(huán)形工件缺陷圖，包含無(wú)缺陷、表面劃痕、表面凹坑、表面磨損共計(jì)200 張圖像，每一類樣本數(shù)量均為50 張。為使得檢測(cè)過(guò)程滿足工業(yè)領(lǐng)域?qū)崟r(shí)性和準(zhǔn)確性的需求，此處將原始圖像尺寸歸一化為320*320 大小，這樣的尺寸可以令算法在不破壞圖像有用信息的前提下，提升檢測(cè)速度。此后對(duì)歸一化后的圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作[10]。數(shù)據(jù)增強(qiáng)方法主要選取了旋轉(zhuǎn)、平移、縮放及水平翻轉(zhuǎn)。這些方法并沒(méi)有改變圖像中的像素值大小，而僅僅是變換了像素值的位置。所以，具有平移不變性學(xué)習(xí)能力的卷積神經(jīng)網(wǎng)絡(luò)能自適應(yīng)地學(xué)習(xí)到更多有用的、高維度的特征用于后續(xù)的識(shí)別及定位過(guò)程，避免出現(xiàn)過(guò)擬合現(xiàn)象。數(shù)據(jù)增強(qiáng)流程，如圖1 所示。

圖1 圖像預(yù)處理流程Fig.1 Image Preprocessing Process

3 基于Yolo V3 的表面缺陷檢測(cè)模型

Yolo 目標(biāo)檢測(cè)的基本思想是使用回歸方式獲取圖像的類別和位置。該方法先后共有3 個(gè)版本，各版本均不斷與先進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)和檢測(cè)思想相結(jié)合以提升模型性能，是實(shí)際工程中常使用的目標(biāo)檢測(cè)算法。其中，Yolo V3 因使用了殘差神經(jīng)網(wǎng)絡(luò)DarkNet53 作為特征提取網(wǎng)絡(luò)，在保證檢測(cè)速度的前提下得到了更高的識(shí)別正確率，故這里所提表面缺陷檢測(cè)方法將以Yolo V3 目標(biāo)檢測(cè)網(wǎng)絡(luò)為基礎(chǔ)進(jìn)行調(diào)整。具體所設(shè)計(jì)的模型結(jié)構(gòu)，如圖2 所示。

圖2 缺陷檢測(cè)模型結(jié)構(gòu)圖Fig.2 Defect Detection Model Structure

圖中，DBL 的全稱為Darknetconv2d-BN-Leaky，即在卷積層后加入了批標(biāo)準(zhǔn)化（Batch Normalization，BN）與Leaky ReLU 激活函數(shù)。使用BN 可以使得輸出特征各維度均值為0，方差為1。這使得當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，參數(shù)更新過(guò)程的網(wǎng)絡(luò)層次耦合問(wèn)題得以解決，并保留了網(wǎng)絡(luò)的非線性變化能力。BN 算法可表示如下[11]：

式中：γ、β—自適應(yīng)學(xué)習(xí)參數(shù)；x^i—標(biāo)準(zhǔn)化后的像素點(diǎn)，更新方式為反向傳播算法。BN 的作用是使特征具備一定的非線性。Leaky ReLU 隸屬ReLU 激活函數(shù)類，ReLU 函數(shù)類中各激活函數(shù)的不同之處主要在于對(duì)負(fù)值區(qū)間的映射。Leaky ReLU 函數(shù)的表達(dá)式如下：

式中：ai—固定參數(shù)，取值范圍為（1，+∞）。

殘差塊Res 由殘差單元及DBL 構(gòu)成，樣本圖像在DarkNet網(wǎng)絡(luò)中的變化過(guò)程和該網(wǎng)絡(luò)具體的殘差結(jié)構(gòu)，如表1 所示。

表1 DarkNet 參數(shù)設(shè)置表Tab.1 Parameter Setting Table of DarkNet

標(biāo)準(zhǔn)Yolo V3 網(wǎng)絡(luò)選擇8 倍降采樣后的特征圖為基礎(chǔ)用于檢測(cè)對(duì)象中的小目標(biāo)。由于環(huán)形工件的表面缺陷普遍尺寸較小，這樣的處理方式容易丟失微小缺陷位置信息，導(dǎo)致最后出現(xiàn)錯(cuò)檢或漏檢現(xiàn)象。為解決上述問(wèn)題，此處構(gòu)建的網(wǎng)絡(luò)將8 倍降采樣后的特征圖進(jìn)行2 倍上采樣后，與之前4 倍降采樣后的特征圖進(jìn)行拼接，以獲取原始樣本圖像中更多的小目標(biāo)信息。經(jīng)過(guò)特征提取后，Yolo V3 借鑒了Faster R-CNN 中anchor boxes 的思想，以Kmeans 聚類的方式選取固定大小的區(qū)域候選框（anchors）。具體地，采用平均重疊度（Average Intersection over Union，Avg IoU），即生成的RoI 與真實(shí)目標(biāo)窗口（Ground Truth，GT）交集與并集的比例值的平均值作為判別依據(jù)，其目標(biāo)函數(shù)為：

式中：B和C—檢測(cè)目標(biāo)及簇的中心；n和k—樣本數(shù)量與簇的個(gè)數(shù)；nk—第k個(gè)聚類中心中的樣本數(shù)量；i與j—樣本即聚類中心的索引值；IIoU（B，C）—簇的中心框與聚類框的交并比。

Yolo V3 在COCO 數(shù)據(jù)集中共使用3 種下采樣尺度（8、16、32 倍）對(duì)應(yīng)的9 種大小候選框用于目標(biāo)檢測(cè)。為保證算法的快速性和實(shí)用性，這里僅選擇4 倍及8 倍降采樣后的兩種尺度進(jìn)行聚類，以得到適合檢測(cè)環(huán)形工件缺陷的初始候選框，減少冗余候選框的產(chǎn)生。最終得到的六組預(yù)選框的參數(shù)為：（18，26）、（28，25）、（25，35）、（36，45）、（51，32）、（35，56）。

Yolo V3 是一個(gè)端到端的網(wǎng)絡(luò)模型，其訓(xùn)練時(shí)的損失函數(shù)主要包括如下四個(gè)部分：中心坐標(biāo)損失、寬高坐標(biāo)損失、預(yù)測(cè)類別損失及置信度損失。其中，中心坐標(biāo)損失可表示為：

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)機(jī)構(gòu)主要由圖像采集模塊及分析模塊構(gòu)成。前者的主要組成為：工業(yè)灰度相機(jī)、LED 弧形光源、鏡頭以及遮光板，其整體結(jié)構(gòu)，如圖3 所示。

圖3 圖像采集模塊實(shí)物圖Fig.3 Image Acquisition Module

分析模塊的組成為：Intel Core i7 9700K 處理器，主頻3.6GHz；內(nèi)存為32GB；GPU 選用兩塊GeForce 1080TI；操作系統(tǒng)為Ubuntu14.04.2；深度學(xué)習(xí)框架選用Keras。實(shí)驗(yàn)前將預(yù)處理后的4 類樣本（含無(wú)缺陷樣本）共計(jì)1000 張圖像打亂，從每一類樣本選取80%作為訓(xùn)練集，余下20%作為驗(yàn)證集。

網(wǎng)絡(luò)訓(xùn)練時(shí)的主要參數(shù)設(shè)定，如表2 所示。此后，將整個(gè)數(shù)據(jù)集遍歷40 次，所得到的表面缺陷檢測(cè)網(wǎng)絡(luò)訓(xùn)練損失函數(shù)曲線，如圖4 所示。

表2 訓(xùn)練參數(shù)設(shè)置表Tab.2 Training Parameter Setting

圖4 損失函數(shù)變化曲線圖Fig.4 Loss Function Curve

4.1 表面缺陷檢測(cè)網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

網(wǎng)絡(luò)性能評(píng)價(jià)主要依據(jù)訓(xùn)練好的網(wǎng)絡(luò)是否具備良好的魯棒性，即網(wǎng)絡(luò)在驗(yàn)證集中的表現(xiàn)。驗(yàn)證集主要由未經(jīng)訓(xùn)練的200 張樣本圖像構(gòu)成，每種類別均有50 張圖像，部分圖像含有多種缺陷，此處將其歸類于每一類樣本中。得到的最終檢測(cè)效果，如圖5所示。

圖5 檢測(cè)效果圖Fig.5 Test Effect Drawing

為定量地衡量檢測(cè)結(jié)果，此處以準(zhǔn)確率AR、召回率Re 作為性能評(píng)價(jià)指標(biāo)，兩者可由下式表示：

式中：XTP—正確預(yù)測(cè)到缺陷的數(shù)量；XFP—在沒(méi)有缺陷的情況下錯(cuò)誤預(yù)測(cè)到缺陷的數(shù)量；XFN—在有缺陷的情況下預(yù)測(cè)結(jié)果為正常的數(shù)量；XTN—在正確預(yù)測(cè)到無(wú)缺陷的數(shù)量。

上述指標(biāo)計(jì)算結(jié)果，如表3 所示。同時(shí)可繪出檢測(cè)結(jié)果的混淆矩陣圖，如圖6 所示。

表3 驗(yàn)證集檢測(cè)結(jié)果Tab.3 Validation Set Test Results

圖6 檢測(cè)結(jié)果混淆矩陣圖Fig.6 Confusion Matrix of Test Results

從表3 和圖6 可知，缺陷檢測(cè)網(wǎng)絡(luò)在驗(yàn)證集中取得了較好的檢測(cè)效果。總共僅有10 個(gè)樣本出現(xiàn)了漏檢、錯(cuò)檢情況。其中，正常樣本和劃痕缺陷、劃痕樣本與凹坑樣本最易出現(xiàn)混淆，少量的凹坑樣本和磨損樣本會(huì)相互誤判。此外，樣本圖像的成像質(zhì)量、預(yù)處理方式也會(huì)對(duì)最終的實(shí)驗(yàn)結(jié)果造成一定影響，但實(shí)驗(yàn)結(jié)果仍滿足實(shí)際生產(chǎn)中對(duì)檢測(cè)精度的要求。

4.2 網(wǎng)絡(luò)性能對(duì)比結(jié)果

為進(jìn)一步測(cè)評(píng)網(wǎng)絡(luò)性能，實(shí)驗(yàn)選取經(jīng)典的機(jī)器學(xué)習(xí)圖像檢測(cè)方法，即特征提取+BP 神經(jīng)網(wǎng)絡(luò)[12]、特征提取+SVM[13]，以及基于VGG-16 的Faster RCNN 網(wǎng)絡(luò)[14]、未針對(duì)本數(shù)據(jù)集改進(jìn)的Yolo V3深度學(xué)習(xí)網(wǎng)絡(luò)與所提網(wǎng)絡(luò)進(jìn)行缺陷檢測(cè)實(shí)驗(yàn)對(duì)比。前兩種機(jī)器學(xué)習(xí)模型通過(guò)OpenCV 庫(kù)中detectMultiScale 函數(shù)實(shí)現(xiàn)多尺度目標(biāo)檢測(cè)，所有檢測(cè)模型均在相同的訓(xùn)練集、驗(yàn)證集中訓(xùn)練和測(cè)試。各模型的主要特征提取方式及在驗(yàn)證集中的實(shí)驗(yàn)結(jié)果，如表4 所示。

表4 各模型運(yùn)行結(jié)果對(duì)比表Tab.4 Comparison of Model Operation Results

從表中可知，所提檢測(cè)方法在準(zhǔn)確率上優(yōu)于其與對(duì)比方法，單次運(yùn)算速度為0.032s，能保證大多數(shù)情況下的檢測(cè)需求。由于針對(duì)實(shí)驗(yàn)中的環(huán)形工件缺陷特點(diǎn)修改了用于特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，該方法比未經(jīng)改進(jìn)的標(biāo)準(zhǔn)Yolo V3 網(wǎng)絡(luò)具有更好的表現(xiàn)。同時(shí)，三種深度學(xué)習(xí)方法正確率明顯優(yōu)于常規(guī)機(jī)器學(xué)習(xí)方法，這主要是因?yàn)樯疃葘W(xué)習(xí)網(wǎng)絡(luò)能自適應(yīng)的學(xué)習(xí)和保留圖像的高維特征，從而免去了根據(jù)人工經(jīng)驗(yàn)手動(dòng)提取特定特征這一步驟。

5 結(jié)論

提出了一種基于Yolo V3 目標(biāo)檢測(cè)模型的表面缺陷檢測(cè)方法。首先，在圖像預(yù)處理階段使用了數(shù)據(jù)增強(qiáng)方法，擴(kuò)充了樣本數(shù)量，為后續(xù)深度學(xué)習(xí)的訓(xùn)練過(guò)程提供保證，避免出現(xiàn)過(guò)擬合；其次，針對(duì)環(huán)形工件缺陷數(shù)據(jù)集形狀單一、缺陷尺寸普遍偏小的特點(diǎn)，選擇4 倍、8 倍降采樣后的特征圖進(jìn)行融合用于檢測(cè)對(duì)象中的小目標(biāo)，并減少預(yù)選框的數(shù)量，保證了算法的準(zhǔn)確性和實(shí)時(shí)性；最后，搭建圖像采集模塊和分析模塊進(jìn)行實(shí)驗(yàn)，以準(zhǔn)確率和召回率作為指標(biāo)評(píng)估算法效果，并與其它類型的檢測(cè)網(wǎng)絡(luò)對(duì)比，驗(yàn)證了所提方法的有效性。但是，由于實(shí)驗(yàn)對(duì)象僅為環(huán)形工件缺陷樣本，這里所提方法的適用對(duì)象具有一定局限性，未來(lái)將繼續(xù)結(jié)合更多的網(wǎng)絡(luò)結(jié)構(gòu)，探討該方法在不同數(shù)據(jù)集及工況下的改進(jìn)思路。