改進(jìn)PSO-YOLOv5的金屬表面缺陷檢測方法

蔡聰藝

（漳州職業(yè)技術(shù)學(xué)院，福建 漳州 363000）

0 引言

金屬作為工業(yè)產(chǎn)品的重要原材料之一，在加工過程中不可避免地會出現(xiàn)裂紋、劃痕等損傷，金屬表面的損傷會帶來產(chǎn)品的質(zhì)量和美觀缺陷，嚴(yán)重的會導(dǎo)致企業(yè)的品牌質(zhì)量下降、成本增大等問題［1-2］。傳統(tǒng)的人工檢測主觀因素影響較大，存在漏檢、成本高以及效率低等突出問題。隨著機(jī)器視覺技術(shù)和圖像處理技術(shù)的發(fā)展，基于計算機(jī)圖像分析處理的金屬表面缺陷自動檢測系統(tǒng)已經(jīng)得到了廣泛應(yīng)用，該系統(tǒng)能夠有效地提高檢測的精度和速度。

早期的金屬表面缺陷檢測主要分為傳統(tǒng)的圖像處理方法和基于人工提取特征的機(jī)器學(xué)習(xí)方法［3］，與傳統(tǒng)的人工檢測相比，機(jī)器視覺技術(shù)在一定程度上改善了人工檢測效率低、準(zhǔn)確度差的缺陷。但是容易受到周圍環(huán)境的影響，因此難以大范圍應(yīng)用。隨著計算機(jī)視覺技術(shù)的不斷發(fā)展，采用深度學(xué)習(xí)方法來檢測金屬表面缺陷受到了國內(nèi)外學(xué)者的廣泛關(guān)注，文獻(xiàn)［4］提出了基于聚類的Faster R-CNN算法，利用K-MeansII聚類生成錨點方案，提高零件表面的檢測精度；文獻(xiàn)［5］利用YOLOv3檢測鋁型材表面缺陷，將原始圖像與預(yù)處理后的圖像融合，增強(qiáng)魯棒性；文獻(xiàn)［6］結(jié)合金字塔與殘差融合的方法對YOLOv3算法進(jìn)行改進(jìn)，提高了鋼材表面劃痕的檢測精度。基于YOLO系列的改進(jìn)算法在數(shù)據(jù)處理和網(wǎng)絡(luò)篩選方面均具有較好的效果，可以通過增強(qiáng)原始數(shù)據(jù)抽取、對數(shù)據(jù)集進(jìn)行聚類劃分、引入損失函數(shù)等方法來提高缺陷檢測的準(zhǔn)確性。然而，在金屬表面缺陷檢測中，仍然存在缺陷尺度過小導(dǎo)致的檢測不靈敏、結(jié)果無效和漏檢等問題。

本文結(jié)合現(xiàn)有深度學(xué)習(xí)目標(biāo)檢測的方法，在原有的YOLOv5網(wǎng)絡(luò)上結(jié)合了PSO算法優(yōu)化網(wǎng)絡(luò)的頸部部分，同時應(yīng)用了自適應(yīng)錨框計算并使用反向傳播神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行訓(xùn)練，得到最終的深度卷積神經(jīng)網(wǎng)絡(luò)，以期進(jìn)一步提高小目標(biāo)情況下的缺陷檢測精度。

1 YOLOv5介紹

1.1 基本原理

YOLOv5是YOLOv4的迭代版，是以Darknet-53為特征的網(wǎng)絡(luò)結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)，提高了檢測的精度、速度，目前普遍應(yīng)用于視頻和實時目標(biāo)等的檢測中［7］。與之前的YOLO模型相比，YOLOv5的模型所占內(nèi)存大幅度減小，可以說YOLOv5以最小的網(wǎng)絡(luò)擁有了最快的速度和AP精度，圖1是YOLOv5的結(jié)構(gòu)示意圖。

圖1 YOLOv5結(jié)構(gòu)示意圖

從圖1可以看出，YOLOv5由輸入端、基準(zhǔn)網(wǎng)絡(luò)端、Neck網(wǎng)絡(luò)、Head輸出端和代表輸入圖像的輸入端組成。輸入端階段通常包括圖像預(yù)處理階段，在此階段，輸入圖像被縮放到網(wǎng)絡(luò)的輸入端并歸一化。在網(wǎng)絡(luò)訓(xùn)練階段，YOLOv5使用Mosaic數(shù)據(jù)提高了操作增強(qiáng)模型的訓(xùn)練速度和網(wǎng)絡(luò)精度［8］。此外，對基準(zhǔn)網(wǎng)絡(luò)部分進(jìn)行改進(jìn)，添加了基準(zhǔn)網(wǎng)絡(luò)Focus結(jié)構(gòu)和Neck網(wǎng)絡(luò)，使基準(zhǔn)網(wǎng)絡(luò)增強(qiáng)了提取通用特征的特異性和魯棒性。

1.2 YOLOv5檢測原理

YOLOv5利用特征金字塔網(wǎng)絡(luò)（FPN）來提取多尺度特征圖層，有針對性地提高小目標(biāo)的被檢測概率。YOLOv5將淺、深層特征相互融合，可以得到3個特征圖，3個特征圖均具有不同比例，可檢測3種尺度目標(biāo)物，通過區(qū)分來提高檢測精度。利用3個比例尺的特征圖探測目標(biāo)，每個比例尺產(chǎn)生3個Anchor Box，共9個Anchor Box。在預(yù)測過程中，通過PSO算法預(yù)測Anchor Box的尺寸，圖2是預(yù)測框示意圖。

圖2 預(yù)測框示意圖

如圖2所示，輸入圖像首先被劃分為S×S網(wǎng)格，每個網(wǎng)格的寬度、高度分別為cx、cy，相對于錨盒偏移量的網(wǎng)格輸出分別為tx、ty、tw、th，然后預(yù)測框坐標(biāo)公式為：

其中：bx、by是預(yù)測框的原點坐標(biāo)；bw、bh分別為預(yù)測框的寬度和高度；pw、ph分別是Anchor Box的寬和高。

在此基礎(chǔ)上，應(yīng)用基于統(tǒng)計學(xué)習(xí)理論中最小二乘支持向量機(jī)（LS-SVM）算法對圖像進(jìn)行分類［9］，通過加入激活函數(shù)Sigmoid的使用將預(yù)測值tx和ty映射到［0，1］范圍內(nèi)，然后設(shè)置置信度閾值，篩選出不符合的預(yù)測框，最后用非極大值抑制方法去除冗余預(yù)測框［10］。

YOLOv5一般按三種不同尺度（32×32、16×16和8×8）對特征圖層進(jìn)行劃分，此方法雖然可以一定程度提高多目標(biāo)的檢測，但仍然對金屬可能出現(xiàn)的表面缺陷檢測不敏感，因此有必要對YOLOv5進(jìn)行改進(jìn)，來提高小缺陷目標(biāo)檢測的精確性?；诖思夹g(shù)缺陷，本文提出了一種基于多尺度融合深度學(xué)習(xí)的改進(jìn)算法來實現(xiàn)金屬零件表面缺陷的自動檢測［11］。

2 YOLOv5改進(jìn)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

針對網(wǎng)絡(luò)結(jié)構(gòu)部分，基于傳統(tǒng)YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)，本文新增圖層以提高目標(biāo)檢測能力。通過分析不同類型噪聲與原始圖像之間的差異，提出了基于深度學(xué)習(xí)框架下的去噪方法，并將其應(yīng)用于增強(qiáng)現(xiàn)實系統(tǒng)，最后利用實驗數(shù)據(jù)驗證該方案的有效性及實用性。改進(jìn)后的網(wǎng)絡(luò)模型如圖3所示，虛線框為新增尺度為104×104的特征圖層。

圖3 改進(jìn)后的算法結(jié)構(gòu)

在Darknet-53中，經(jīng)過兩次向上采樣，將第二個殘差塊的淺層輸出融合網(wǎng)絡(luò)的深層輸出，然后通過卷積得到一個104×104的新特征圖層，縮小了原始圖像的尺寸，從而能得到更多的網(wǎng)格，使網(wǎng)絡(luò)具有更好的提取特征性能。

因為網(wǎng)格大小對目標(biāo)物的尺寸具有敏感性，通過將淺層、深層特征相融合，創(chuàng)建有利于檢測小目標(biāo)的特征層，提高模型檢測小目標(biāo)的能力，提高模型整體精度。在網(wǎng)絡(luò)中，增加1個特征圖層使Anchor Box數(shù)目增加到12個，也提高了檢測密度。

最后利用上述算法來進(jìn)行驗證，在多個真實數(shù)據(jù)集上分別實現(xiàn)了基于深度卷積神經(jīng)網(wǎng)絡(luò)的多尺度、高分辨率遙感影像的道路識別和分類。可以看到，特征層數(shù)目的疊加可以增多劃分缺陷目標(biāo)的尺寸層次，從而提高了網(wǎng)絡(luò)對多缺陷目標(biāo)的綜合檢測能力。

2.2 基于PSO的YOLOv5改進(jìn)算法

已有的缺陷檢測算法可以有效檢測缺陷，然而需要在多次訓(xùn)練過程中不斷調(diào)節(jié)以達(dá)到最好的訓(xùn)練效果。粒子群算法（Particle Swarm Optimization，PSO）是一種群智能算法，由于其收斂速度快、全局尋優(yōu)能力強(qiáng)等多方面的優(yōu)點受到了廣泛關(guān)注［12］。它通過迭代找到隨機(jī)粒子群的最優(yōu)解，每次迭代來跟蹤粒子的“極值”來更新位置和速度信息。粒子速度計算公式如下：

其中：i=1,2,…,N,N是群中粒子的總數(shù)，vi表示粒子的速度，xi是粒子的當(dāng)前位置，c1、c2是學(xué)習(xí)因子，rand()是介于（0，1）之間的隨機(jī)數(shù)。

結(jié)合粒子群優(yōu)化算法和YOLOv5改進(jìn)對金屬表面進(jìn)行缺陷檢測，具體步驟如下：

（1）在YOLOv5算法中增加一個特征圖層，尺度為104×104，比原算法多一尺度，即形成一個四尺度的預(yù)測模型，有效解決了小目標(biāo)檢測的敏感性問題，進(jìn)一步提升表面缺陷檢測精度和準(zhǔn)確性。

（2）引入DIoU損失函數(shù)，使邊界框的距離測量和交叉問題得到處理，從而使模型的運動軌跡更加精確，模型收斂速度加快。

（3）利用PSO網(wǎng)絡(luò)對網(wǎng)絡(luò)的特征提取模塊進(jìn)行優(yōu)化，進(jìn)一步提高特征提取的精度，獲取最優(yōu)的特征類型，減少網(wǎng)絡(luò)損失，從而提升網(wǎng)絡(luò)的檢測精度。

3 實驗結(jié)果

3.1 實驗平臺搭建

實驗運行環(huán)境如表1所示。

表1 實驗硬件描述

3.2 數(shù)據(jù)處理

數(shù)據(jù)集來源：漳州職業(yè)技術(shù)學(xué)院自行收集整理的NEU-DET鋼材表面缺陷數(shù)據(jù)集［13］。

圖像類別：包含6種類型的缺陷，即裂紋、雜質(zhì)、斑塊、Pitted_surface、Rolled-in_scale和劃痕。

圖像數(shù)量：每種類型的缺陷圖片包含300幅尺寸為1800×416的圖像，共計1800張。

圖像增強(qiáng)技術(shù)：提取的圖像進(jìn)行90度和180度旋轉(zhuǎn)，調(diào)整圖像的飽和度和對比度。

缺陷定位：使用xml格式定位缺陷位置并對其進(jìn)行分類。

圖像預(yù)處理：包括灰度化處理和二值化處理等一系列操作。

數(shù)據(jù)集劃分：數(shù)據(jù)集按8:2的比例隨機(jī)分為訓(xùn)練集和測試集，即1440張圖像劃分訓(xùn)練集和360張圖像劃分測試集。

3.3 模型訓(xùn)練

根據(jù)本文提出的改進(jìn)PSO-YOLOv5算法，該算法的初始設(shè)置情況為：初始學(xué)習(xí)率值為1/1000，為防止數(shù)據(jù)出現(xiàn)過擬合，設(shè)置權(quán)重衰減系數(shù)為5倍的初始學(xué)習(xí)率值［15］，當(dāng)訓(xùn)練迭代次數(shù)達(dá)到960次時，學(xué)習(xí)率相應(yīng)地減少10倍。實驗前期共設(shè)置了2批次尺寸，batch_size設(shè)置為4。模型訓(xùn)練目標(biāo)的類別置信度閾值是0.5，DIoU閾值是0.45。當(dāng)兩個預(yù)測框之間的DIoU值超過了設(shè)置閾值時，則刪除該預(yù)測框。最后將輸入圖像進(jìn)行分類處理后，輸出結(jié)果作為最終結(jié)果。

評價指標(biāo)主要分為速度指標(biāo)和精度指標(biāo)兩大類。速度指標(biāo)為同一運行條件下每秒處理的圖片數(shù)量或單張圖片處理所需時間。精度指標(biāo)采用精確率（Precision，P）、召回率（Recall，R）和平均準(zhǔn)確率（Mean Average Precision，MAP）三項作為網(wǎng)絡(luò)模型的性能指標(biāo)。P、R和MAP公式如下：

式中：TP—正確預(yù)測的正例；FP—錯誤預(yù)測的負(fù)例；FN—錯誤預(yù)測的正例；N—檢測類別數(shù)的數(shù)量；AP—每種檢測類型的準(zhǔn)確性。

3.4 結(jié)果與分析

為了驗證本文方法的優(yōu)越性，首先將其與主流算法進(jìn)行了性能比較，然后通過消融實驗驗證了改進(jìn)PSO-YOLOv5算法的有效性。

（1）與當(dāng)前主流算法的對比實驗

改進(jìn)PSO-YOLOv5與Faster R-CNN等4種算法的評價指標(biāo)詳見表2。

表2 算法的計算結(jié)果對比

所有模型均是在初始學(xué)習(xí)率0.001，DIoU閾值為0.5的條件下計算，共訓(xùn)練了1080個epoch。由表2計算結(jié)果可知：本文提出的改進(jìn)PSO-YOLOv5算法以67.76%的平均準(zhǔn)確率、68.56%的精確率、75.89%的召回率均排各項第一，證明改進(jìn)的PSOYOLOv5算法在金屬缺陷檢測時，在相同條件下能夠獲得更高的準(zhǔn)確率、更好的魯棒性以及更快的收斂速度，其綜合性能優(yōu)于其他幾種算法。在運行效率方面，本文方法的FPS為31.6frames/s，快于Faster RCNN的13frames/s和SSD的29.7frames/s。雖 與YOLOv2和YOLOv3的檢測速率相比稍低，但由于改進(jìn)的大規(guī)模輸出網(wǎng)絡(luò)結(jié)構(gòu)、DIoU損失和PSO網(wǎng)絡(luò)的改進(jìn)，檢測精度最高。

綜上，相較于目前主流的金屬表面缺陷檢測算法，如Faster R-CNN、YOLOv3等，本文所提出的改進(jìn)PSO-YOLOv5算法具有最高的檢測精度，同時檢測速度也適中。結(jié)合檢測精度與檢測速度這兩個指標(biāo)，本文提出的PSO-YOLOv5整體效果最優(yōu)。

（2）消融實驗

為了進(jìn)一步驗證本文提出的改進(jìn)算法的有效性，將改進(jìn)的PSO-YOLOv5金屬缺陷檢測方法與原始YOLOv5算法進(jìn)行性能對比，實驗結(jié)果如圖4所示。

圖4 PSO-YOLOv5和YOLOv5檢測結(jié)果對比

對比檢測所有的小缺陷目標(biāo)，改進(jìn)的PSO-YOLOv5比YOLOv5算法在六項表面缺陷類型的檢測上均具有較好的檢測精度。根據(jù)圖4可知，在裂紋、雜質(zhì)等6項金屬表面缺陷類型中，PSO-YOLOv5比YOLOv5的檢測精度高。其中氧化鐵皮壓入和裂紋類型檢測精度提高較多，均超過14%，且氧化鐵皮壓入精度提高值最大，達(dá)15.24%；斑塊類缺陷檢測精度提高值最小，為6.88%。改進(jìn)的PSO-YOLOv5算法的平均檢測精度為79.97%，YOLOv5算法的平均檢測精度為69.60%，PSO-YOLOv5較其提高了10.37%，表明改進(jìn)PSO-YOLOv5算法可以顯著提高金屬表面缺陷檢測的精度。

4 結(jié)語

本文算法融合增加了特征圖層的尺度，引入DIoU損失函數(shù)和PSO算法，最后通過加入卷積層增強(qiáng)圖像細(xì)節(jié)處理得到一種新的基于YOLOv5與CNN結(jié)合的金屬表面缺陷檢測方法。實驗結(jié)果表明，本算法在平均準(zhǔn)確率、精確率、召回率方面均比目前流行的如YOLOv5、Faster R-CNN等算法具有較大的優(yōu)越性，極大提高了金屬表面缺陷的檢測精度和準(zhǔn)確性，滿足了金屬缺陷檢測精度的要求。