基于改進YOLOv5算法的鋼鐵表面缺陷檢測

張世強, 史衛(wèi)亞, 張紹文, 王甜甜

(1.河南工業(yè)大學信息科學與工程學院, 鄭州 450001; 2.河南工業(yè)大學糧食信息處理與控制教育部重點實驗室, 鄭州 450001; 3.河南工業(yè)大學人工智能與大數(shù)據(jù)學院, 鄭州 450001)

鋼鐵行業(yè)是中國國民經(jīng)濟的重要支柱產(chǎn)業(yè)之一,然而在鋼材實際生產(chǎn)制造過程中,由于各種因素的影響,不可避免地會使個別生產(chǎn)的鋼鐵表面產(chǎn)生缺陷,例如,氧化軋皮、劃痕等不同種類的表面缺陷。鋼鐵表面缺陷的產(chǎn)生不僅會影響鋼材的外觀,而且會使其抗腐蝕性、堅固性等性能嚴重下降,影響正常使用[1]。一旦具有缺陷的鋼鐵在實際生產(chǎn)建設中被投入使用,會造成不可逆的安全問題和嚴重的經(jīng)濟損失。因此,探索出一種高效、精確、快速的鋼鐵表面缺陷檢測算法有著重要意義。

一般而言,人工進行鋼材表面缺陷檢測的方法存在易受人工主觀判斷、檢測環(huán)境差、危險系數(shù)高等問題,同時基于傳統(tǒng)機器視覺檢測方法存在易受光線、復雜背景干擾等因素的影響,已經(jīng)無法滿足現(xiàn)代高要求的鋼材表面缺陷檢測要求。而基于深度學習目標檢測算法得益于卷積神經(jīng)網(wǎng)絡能夠在訓練階段自動完成對目標特征的提取,讓其有著強大的通用性,目前眾多學者已對基于深度學習的缺陷檢測展開了大量的研究,提出了諸多檢測方法。朱洪錦等[2]使用輕量級網(wǎng)絡MobileNet改進了主干網(wǎng)絡,減少了參數(shù)量,加入空洞卷積和Inception結(jié)構(gòu),提高了模型對小目標缺陷的關注度并加深網(wǎng)絡深度。吳昉等[3]針對焊縫缺陷,提出并行殘差注意力模塊,提升網(wǎng)絡模型的表達能力,設計端到端注意力引導感知的網(wǎng)絡模型,并在X射線焊縫數(shù)據(jù)集上驗證了模型的有效性,滿足了焊縫缺陷的高精度檢測。王紅星等[4]針對銷釘缺陷檢測目標小且依賴上下文信息等問題,提出改進的Cascade RCNN(region-based convolutional neural networks)雙階段模型,減少了誤報率并使得最終mAP(mean average precision)提升7.8%。程婧怡等[5]在YOLOv3的基礎上額外增加一個小感受野的特征圖層,并引入DIoU(distance-IoU)損失函數(shù),加強小型缺陷的特征提取和定位,從而解決小型鋼材缺陷漏檢和缺陷特征不清晰的問題。曹義親等[6]構(gòu)建了一種帶殘差邊的特征金字塔結(jié)構(gòu),并在網(wǎng)絡中加入了多頭注意力機制等,使模型能夠兼顧到更多的特征位置和語義信息,改善了模型特征提取能力不足、模型感受野受限等問題,提高了網(wǎng)絡的檢測精度。李鑫[7]在模型的骨干網(wǎng)絡中加入注意力機制,在模型的頸部網(wǎng)絡中增加一個檢測層,強化了特征提取能力,并使用深度可分離網(wǎng)絡減小模型參數(shù)量,在使模型輕量化的同時更加準確、快速地檢測出鋼材表面缺陷的種類和位置。Guo等[8]為滿足檢測模型輕量化的要求,使用MobileNet-v3作為YOLOv4的主干網(wǎng)絡,并引入反向殘差結(jié)構(gòu)和通道注意力機制提高缺陷檢測精度。魯鑫等[9]針對煙條拉線頭缺陷檢測,提出了一種改進的AAS-YOLO(adaptive anchor size with YOLOv4)算法,輕量化模型結(jié)構(gòu)并減少計算量又提高了模型對缺陷的定位精度和檢測速度。

針對鋼材數(shù)據(jù)集表面缺陷目標存在利用特征少、易受噪聲影響、目標尺度跨度大和定位精度要求高等問題,現(xiàn)提出一種改進的YOLOv5算法,使得算法對鋼材表面缺陷的識別準確率和檢測速度得到了提高,并在NEU-DET數(shù)據(jù)集上驗證了算法的有效性。主要在模型中加入CA(coordinate attention)注意力機制的ASPP(atrous spatial pyramid pooling),擴大模型感受野和多尺度感知能力的同時能更好地獲取特征信息;模型中加入改進的SK(selective kernel attention)注意力機制,使模型能更好地利用特征圖中的頻率信息,能夠更好地過濾由背景產(chǎn)生的噪聲,提升模型的表達能力;將模型損失函數(shù)替換為SIoU(SCYLLA-IoU),提升模型檢測性能的同時加快模型的收斂。

1 YOLOv5算法介紹

YOLOv5是目標檢測算法的一種,具有檢測速度快、精度高等優(yōu)點。YOLOv5在整體模型不變的基礎之上,根據(jù)其深度和寬度的不同有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種不同規(guī)模的版本。其中YOLOv5s模型深度最小,特征圖寬度最小,因此采取YOLOv5s作為所有改進方案的基線模型。YOLOv5s的模型結(jié)構(gòu)如圖1所示。

由圖1可以看出,YOLOv5s模型主要由輸入端、主干網(wǎng)絡、頸部網(wǎng)絡以及頭部網(wǎng)絡四部分組成。其中模型的主干網(wǎng)絡由切片(Focus)、卷積(Conv)、瓶頸層(C3)和空間金字塔池化(SPP)等模塊組成,用于在不同圖像細粒度上聚合并形成圖像特征。頸部網(wǎng)絡采用FPN(feature pyramid networks)[10]+PAN(path aggregation network)[11]結(jié)構(gòu),用于進行特征融合并將融合后的圖像特征傳遞到頭部結(jié)構(gòu)。頭部結(jié)構(gòu)對圖像特征進行預測,生成邊界框并預測類別及置信度。

2 改進YOLOv5s模型

2.1 CA-ASPP模塊

YOLOv5s中SPP模塊采用不同尺寸的最大池化方式,進行多尺度特征融合,而ASPP[12]在其基礎之上加入不同倍率的空洞卷積,確保模型在不丟失分辨率的情況下擴大卷積核的感受野,提升模型性能。ASPP結(jié)構(gòu)如圖2所示。

為了加強模型對特征、位置感知的敏感性并防止模型在卷積過程中一些重要特征的丟失,在ASPP中引入坐標注意力機制[13],CA能夠使模型更加了解應該關注哪些內(nèi)容和位置,這能讓模型更能有效地提取特征信息,進一步提高檢測率。CA結(jié)構(gòu)如圖3所示。

CA主要由坐標信息嵌入和坐標注意力生成兩部分構(gòu)成。坐標信息嵌入為能使用精確的位置信息捕捉到空間上的遠程交互信息,將全局平均池化(global average pooling,GAP)得到全局信息分解為兩個1D的特征嵌入操作。對于輸入特征圖X∈RC×H×W,分別使用池化核大小為(H,1)或(1,W)沿水平和垂直兩個方向?qū)γ總€通道進行編碼。那么第c個通道,高為h,寬為w的輸出特征表示為

(1)

(2)

兩個特征向量zh、zw,一個用于獲取長距離依賴

圖1 YOLOv5s網(wǎng)絡結(jié)構(gòu)Fig.1 YOLOv5s network structure

圖2 ASPP網(wǎng)絡結(jié)構(gòu)Fig.2 ASPP network structure

關系,一個用于保留特征精確的位置信息,使網(wǎng)絡能更準確地定位重要特征。

為了利用坐標信息嵌入產(chǎn)生的特征,在坐標注意力中,將式(1)、式(2)中產(chǎn)生的聚合特征zh、zw進行拼接,然后傳入變換函數(shù)F1中,經(jīng)過激活函數(shù)σ后得到水平和垂直兩個方向的中間特征表示f∈RC/r×(H+W),其中r表示下采樣比例。公式為

f=σ[F1([zh,zw])]

(3)

然后將中間特征f沿分別沿著水平和垂直兩個空間維度將其拆分為兩個獨立的特征圖張量fh∈RC/r×H和fw∈RC/r×W,再利用兩個1×1卷積Fh和Fw將fh和fw變換到和輸入X同樣的通道數(shù),得到結(jié)

圖3 CA網(wǎng)絡結(jié)構(gòu)Fig.3 CA network structure

果表達式為

gh=σ[Fh(fh)]

(4)

gw=σ[Fw(fw)]

(5)

最后對gh和gw擴展作為注意力權(quán)重,CA最終輸出表達式為

(6)

CA簡單靈活即插即用,在幾乎不增加模型參數(shù)量的情況下提升網(wǎng)絡的精度。因此將其加入ASPP中,即CA-ASPP,并替換原YOLOv5s中的SPP模塊,在提高模型感受野的同時使模型對特征方向、位置感知更加敏感。CA-ASPP網(wǎng)絡結(jié)構(gòu)如圖4所示。

2.2 MS-SK模塊

為了提升模型的表達能力,在模型中引入改進的輕量級通道注意力機制SK[14]。具體而言,SK由多分枝操作(Split)、特征融合(Fuse)和特征相加(Select)三部分構(gòu)成。SK的基礎結(jié)構(gòu)如圖5所示。

(7)

圖4 CA-ASPP網(wǎng)絡結(jié)構(gòu)Fig.4 CA-ASPP network structure

圖5 SK網(wǎng)絡結(jié)構(gòu)Fig.5 SK network structure

(8)

(9)

然后通過GAP來嵌入全局信息,來生成通道信息S∈RC。具體而言,S的第c個元素通過空間維度H×W來計算縮小U,公式為

(10)

式(10)中:Fgp為全局平均池化。為了實現(xiàn)對特征的精確和自適應指導,通過全連接層來實現(xiàn)創(chuàng)建壓縮特征Z∈Rd×1,公式為

Z=Ffc(S)=δ[Β(WS)]

(11)

式(11)中:δ為ReLU激活函數(shù);Β為批歸一化;W∈Rd×C。在特征Z的指導下,跨信道軟注意能夠自適應地選擇不同空間尺度的信息。公式為

(12)

Select對各個卷積核的通道注意力進行融合,得到最終的特征圖V,表達式為

(13)

對于一般通道注意力而言,都是以GAP來計算每個通道的標量值,并用來作為其對應通道的注意力權(quán)重,例如SE[15],CBAM[16]等。輸入特征圖X∈RC×H×W,得到通道注意力結(jié)果m∈RC×1×1。如公式(14)所示。但是GAP簡單地去均值這種做法無法充分的獲取每個通道的多樣性的信息。

m=GAP(X)

(14)

文獻[17]在頻率分析的基礎上,證明了GAP是離散余弦變換DCT(discrete cosine transform)的零頻分量,并表明在通道注意力中僅使用GAP信息(既零頻分量)會丟失其他頻率分量的特征信息,因此引入了多頻譜通道注意力(multi-spectral channel attention,MSCA)。為了能更好地利用特征圖中不同頻率的信息,MSCA將特征圖按通道數(shù)均分,使用不同頻率分量分別計算出各個通道頻率分量的結(jié)果,MSCA網(wǎng)絡結(jié)構(gòu)如圖6所示。為改善SK中存在的上述問題,將SK中的GAP替換為MSCA,提出一種改進的SK稱為MS-SK。

(15)

圖6 MSCA網(wǎng)路結(jié)構(gòu)Fig.6 MSCA network structure

式(15)中:ui、vi為Xi頻率分量的2維指數(shù);Xi,h,w為輸入的第h和w個通道;Freqi為C′維的向量。將所有組的向量Freqi拼接,就得到多頻譜向量F,即

F=cat([Freq0,Freq1,…,Freqn-1])

(16)

多頻譜通道注意力計算過程表達式為

m=sigmoid[fc(F)]

(17)

式(17)中:fc( )為全連接函數(shù);sigmoid為激活函數(shù)。

綜上所示,用MSCA替換SK中的GAP之后,MS-SK整體計算過程仍如式(13)所示,唯一的變化就是將生成通道信息S∈RC的式(10)中的GAP更換為MSCA,那么S的第c個元素通過空間維度H×W計算縮小的U公式為

Sc=MSCA(Uc)

(18)

2.3 SIoU損失函數(shù)

目標檢測算法在訓練時必須降低邊界框回歸損失,使得預測框在預測過程中更加接近真實框的位置和尺寸。為加快模型的收斂速度,在模型中使用SIoU[18]。SIoU由角度損失(angle cost)、距離損失(distance cost)、形狀損失(shape cost)和IoU損失(IoU cost)四部分組成。

(1)角度損失的定義為

(19)

式(19)中:ch為真實框和預測框中心點的高度差;λ為真實框和預測框中心點的距離,各自定義為

(20)

(21)

(22)

(2)距離損失定義為

(23)

(3)形狀損失定義為

(24)

(4)IoU為預測框(prediction,Pre)和真實框(ground truth,GT)之間的交并比,公式為

(25)

綜上所述,最終的SIoU損失公式為

(26)

圖7 MS-SK網(wǎng)路結(jié)構(gòu)Fig.7 MS-SK network structure

3 實驗結(jié)果與分析

3.1 實驗環(huán)境及數(shù)據(jù)集

本文實驗環(huán)境的軟件和硬件配置如表1所示。

本文實驗所用數(shù)據(jù)集為NEU-DET鋼材表面缺陷數(shù)據(jù)集,數(shù)據(jù)集圖片類別為灰度圖,包含Crazing(CR)、Inclusion(IN)、Patches(PA)、Pitted Surface(PS)、Rolled-in Scale(RS)、Scratches(SC)六種缺陷類型,其中每個缺陷類別為600張,共計1 800張圖片,部分數(shù)據(jù)集圖片如圖8所示。

訓練數(shù)據(jù)集中每個類別的分布如表2所示。

由圖9所示數(shù)據(jù)集缺陷寬高比分布圖可知,數(shù)據(jù)集不同類別的缺陷在位置、形態(tài)、大小上差異很大。因此,為增加模型的泛化能力防止過擬合,在訓練過程中使用數(shù)據(jù)增強以及標簽平滑策略。模型訓練以300個epoch為一輪,batch size大小為16,訓練過程中使用余弦退火算法調(diào)整學習率和Adam優(yōu)化器優(yōu)化參數(shù)。保持上述基礎參數(shù)不變,以YOLOv5s為基線模型,逐步添加改進方案進行訓練和測試,并和當前部分主流模型對比分析各模型的參數(shù)和性能。

表1 實驗環(huán)境的軟件和硬件配置Table 1 The software and hardware configuration of the experimental environment

圖8 數(shù)據(jù)集部分圖片F(xiàn)ig.8 Partial pictures of the dataset

表2 訓練數(shù)據(jù)集類別分布Table 2 Class distribution of training dataset

圖9 數(shù)據(jù)集缺陷寬高分布Fig.9 Defection width and height distribution of dataset

3.2 算法評價指標

為分析模型參數(shù)和檢測標準,使用平均精度(average precision,AP)作為每個缺陷類別的評估指標,使用平均精度均值(mean average precision,mAP)、檢測速度FPS(frames per second)和模型參數(shù)量評估模型整體網(wǎng)絡性能。AP和mAP具體計算公式為

(27)

(28)

(29)

(30)

式中:P、R分別為準確率和召回率;N為類別數(shù)。

3.3 實驗及結(jié)果分析

3.3.1 CA-ASPP實驗

為了驗證模型引入CA-ASPP模塊的有效性,分別將ASPP和CA-ASPP模塊加入YOLOv5s模型中與YOLOv5s原SPP模塊做了對比試驗。模型分別使用SPP、ASPP和CA-ASPP性能效果如表3所示。

表3 模型分別使用SPP、ASPP和CA-ASPP性能效果Table 3 The performance effect of the model using SPP, ASPP and CA-ASPP respectively

從表3中可以得出,YOLOv5s模型原SPP的mAP為75.28%;使用ASPP替換SPP后,mAP提升至75.96%,相比于SPP模塊mAP提升了0.68%;模型使用CA-ASPP之后,mAP提升至76.67%,相比于SPP模塊mAP提升了1.39%,相比于ASPP模塊mAP提升了0.71%。因此在Yolov5s模型中引入CA-ASPP模塊對其性能的提升具有有效性。

3.3.2 MS-SK實驗

為了驗證本文改進注意力的有效性,分別選取了SE、CBAM、ECA[19]、CA等注意力機制分別加入基線YOLOv5s模型中進行檢測性能對比,具體結(jié)果如表4所示。

從表4中可以得出,除SE使得模型檢測效果稍微下降以外,余下所有通道注意力模塊都對模型性能有一定的提升。其中CBAM使得模型提升了近一個百分點,ECA使得模型效果增益0.63%,CA使得模型檢測性能提升1.32%,而本文提出的MSSK則在原SK使模型性能提升1.67%的基礎之上提升至2.04%。綜上所述,本文提出的MS-SK對模型的性能提升是有效的。

表4 模型分別使用不同注意力效果Table 4 Model using different attention effects

3.3.3 檢測效果對比

為了更加直觀地顯示出改進模型和基準模型檢測能力的區(qū)別,分別使用改進模型和原模型對測試集部分圖片進行檢測,檢測結(jié)果對比如圖10所示。

從檢測數(shù)據(jù)中對比看出,相比于原YOLOv5s模型,改進之后的模型對測試圖檢測效果有了明顯的提升,其中缺陷類別Inclusion、Patches和Scratches最為明顯,在原模型檢測中檢測效果差,且大多都存在較多漏檢目標,改進后的模型不僅檢測效果得到了明顯的提升,而且對缺陷的定位也更加準確。

3.3.4 不同算法模型性能對比

為了進一步評估本文改進算法的性能,在相同數(shù)據(jù)集劃分的基準下,選取了幾種主流的目標檢測算法,如SSD[20],RetinaNet[21],YOLOx[22]等不同算法和本文改進算法進行檢測性能比較。具體結(jié)果如表5、表6所示。

根據(jù)表5對比數(shù)據(jù)可以看出,改進算法有效對各個類別缺陷檢測的AP值都有一定的提升,尤其對Crazing和Inclusion兩種缺陷類別的提升最為明顯;根據(jù)表6可以看出,本文改進模型mAP優(yōu)于一些目前主流檢測算法。相比SSD模型提升19.03%,相比YOLOv3模型提升7.0%,相比YOLOv5s原模型提升2.85%,相比YOLOx(s)模型提升1.32%。同時模型具有較高的檢測速度,達到了103.9 frame/s,實現(xiàn)了對缺陷目標的實時檢測。

綜上所述,本文所提出的改進模型在檢測精度和速度等方面均優(yōu)于主流目標檢測算法,用少量的復雜度開銷換取較高檢測精度的提升是極具性價比的,能夠更好地投入使用鋼材表面缺陷檢測任務。

圖10 模型檢測結(jié)果對比Fig.10 Comparison of model detection results

表5 不同算法檢測的各類別平均精度AP值對比Table 5 Comparison of the average precision AP value of each category detected by different algorithms

表6 各模型檢測性能對比Table 6 Comparison of detection performance of each model

3.3.5 消融實驗

為驗證本文提出三個改進方案的有效性,用數(shù)據(jù)集NEU-DET且以原YOLOv5s為基線網(wǎng)絡模型設計了一組消融實驗,實現(xiàn)過程中環(huán)境及參數(shù)設置均保持不變,具體如表7所示。

由表7可知,在單個改進方案中,CA-ASPP模塊的添加使得基線模型增加了1.39%,說明采用添加了CA注意力機制的ASPP模塊能夠在擴大模型感受野的同時,加強了模型對缺陷特征、位置感知的敏感性,使得模型性能得到提升;改進的SK注意力模型MS-SK使得模型mAP提升了2.04%,其原因在于,MS-SK能夠更好地利用特征圖中不同頻率的信息,能夠獲取更加豐富的目標特征,從而更好地預測目標,提升模型的表達能力;采用SIoU替換GIoU加快了模型的收斂速度并使得模型的檢測能力提升了0.18%。在進一步逐步進行消融實驗過程中發(fā)現(xiàn),無論是單獨采用MS-SK模塊,還是兩兩組合模塊中,MS-SK模塊都對模型的增益效果貢獻最大。原因在于NEU-DET數(shù)據(jù)集表面缺陷目標存在利用特征少、定位精度要求高和樣本不均勻等問題,而MS-SK不僅使用不同的卷積核進行特征獲取,再通過分支處理最后進行特征融合,而且MS-SK彌補了通道注意力機制只關注零頻的不足,能夠使得模型利用不同頻率的信息,增加了模型的特征提取能力和檢測能力。

從消融實驗中得出的數(shù)據(jù)發(fā)現(xiàn),最終改進的模型得到的缺陷類別AP中,除Pitted Surface和Rolled-in Scale的類別AP稍低于只添加MS-SK和MS-SK+SIoU模塊改進的模型的AP,其余缺陷類別均為最高,尤其是Crazing和Inclusion缺陷類別AP的提升最為明顯,這使得模型表現(xiàn)最優(yōu),整體mAP效果最好。

4 結(jié)論

鋼鐵產(chǎn)業(yè)是中國最主要的經(jīng)濟產(chǎn)業(yè)之一,可用于軍工、航天和日常生活的各個領域,可以說是整個國家經(jīng)濟發(fā)展的命脈。提升鋼材表面質(zhì)量管控對提升鋼材性能有著重要意義。本文提出了一種改進的鋼材表面缺陷檢測算法,改進的YOLOV5s模型對比原模型和幾種主流的目標檢測算法,檢測性能具有明顯的優(yōu)勢。相比于原YOLOV5s模型,在模型參數(shù)量增加2.6 M的情況下,mAP提升了2.85%,檢測速度可達103.9 frame/s。改進模型對各個缺陷類別的檢測精度均有不同程度的提升,其中缺陷類別Crazing和Inclusion的檢測精度提升最為明顯。但改進方案給模型增長了一定的參數(shù)量且Crazing缺陷檢測問題仍是主要問題,且后續(xù)本文將繼續(xù)展開研究,使模型輕量化并進一步提升模型檢測速度及檢測精度。

表7 改進方案的消融實驗Table 7 Ablation experiments of the improved scheme