基于改進YOLOv5算法的鋼材表面缺陷檢測

摘 要：針對鋼材表面缺陷檢測的難點，提出一種基于YOLOv5算法的鋼材表面缺陷檢測方法。采用二等分的方法進行數據擴充，提高了模型的魯棒性和泛化性；加入了通道注意力機制，提升了網絡對重要特征的提取能力；增加了全局上下文特征提取模塊，增強了模型對全局上下文特征的提取能力以及對不同尺寸缺陷的檢測能力；增加了微小目標檢測頭，提升了網絡對于微小瑕疵的檢測能力。改進后的算法在NEU-DET數據集和GC10-DET數據集上的檢測精度分別達到了83.1%和76.24%，較原YOLOv5算法提升了8.11個百分點和6.03個百分點。實驗結果表明，改進后的算法性能優異，具有先進性，可以為鋼材表面缺陷檢測提供新的研究思路，助力于工業生產與發展。

關鍵詞：鋼材表面缺陷檢測；深度學習；目標檢測；YOLOv5；空洞卷積；微小目標檢測頭

中圖分類號：TP311 文獻標識碼：A 文章編號：2095-1302（2025）03-00-05

0 引 言

鋼材是一種被廣泛使用的金屬材料，在汽車制造、船舶與海洋工程、航空航天等領域有著重要作用。但是在鋼材的實際生產中，難免出現劃痕、裂縫、夾雜物等缺陷。這些缺陷嚴重影響了鋼材的強度、韌性、硬度等性能。因此，為了保證鋼材的生產質量，需要對鋼材表面缺陷進行檢測[1]。

在日常生產中，對于鋼材表面缺陷的問題，常使用人工觀測的方法進行檢測，但是這種檢測方法效率低下，且容易出現漏檢等問題。隨著深度學習的飛速發展，目標檢測算法在鋼材表面缺陷檢測中得到廣泛應用。使用目標檢測算法對鋼材表面進行檢測具有兩個顯著優勢。首先，使用目標檢測算法進行鋼材表面缺陷檢測可以自動識別和定位缺陷，節省大量的人工成本。其次，使用目標檢測算法可以在短時間內處理大量的樣本，這種高效的識別方式極大地提高了生產效率[2]。

基于目標檢測算法的鋼材表面缺陷檢測可以分為兩類。一類是單階段目標檢測算法，如：SSD[3]、YOLO[4]等。另一類是兩階段目標檢測算法，如：R-CNN[5]、Faster R-CNN[6]等。文獻[7]對YOLOv3單階段目標檢測算法做出了改進，通過加權 K-means 聚類算法優化先驗框參數，并基于NEU-DET數據集進行訓練與測試，實驗結果表明，其精度和圖像處理能力基本可以滿足工業需求。文獻[8]采用CNN+Transformer的方法進行檢測，其中CNN與Transformer分別負責提取局部和全局信息。基于NEU-DET數據集的實驗結果表明，此算法的性能基本可以滿足工業需求，但是由于Transformer參數量較大，對檢測速度會有所影響。不同于上述使用單階段目標檢測算法，文獻[9]采用兩階段目標檢測算法Faster R-CNN并基于NEU-DET數據集進行鋼材表面缺陷檢測研究，檢測精度（mAP）達到了82.3%。盡管上述方法相較于常見算法在速度和檢測精度方面都有所提升，但提升幅度有限，且速度與精度之間無法達到平衡。因此，在鋼材實際生產中，迫切需要一種能夠在缺陷檢測速度和精度之間取得平衡的算法。

本文提出了一種基于YOLOv5算法[10]的鋼材表面缺陷檢測模型，以解決鋼材表面缺陷檢測過程中常見的問題。具體地說，本文以YOLOv5算法為基礎，針對鋼材缺陷樣本質量差的問題，運用SE注意力機制模塊提取重要特征，增強網絡檢測能力。針對鋼材表面缺陷檢測中缺陷尺寸相差較大且尺寸分布不均勻的問題增加了全局上下文特征提取模塊。針對鋼材表面缺陷檢測中微小缺陷較難檢出的問題提出了增加微小目標檢測頭的方法。 針對長方形樣本無法適配Mosaic數據增強以及數據量不足的問題提出二等分數據增強算法。

1 改進的YOLOv5算法

1.1 通道注意力機制SE模塊

在鋼材缺陷檢測中，樣本質量的好壞是決定檢測結果的重要因素。然而鋼材生產線環境一般無法控制，導致采集到的圖片參差不齊。較差的樣本會極大地降低鋼材缺陷的檢測準確率。因此，本文將SE模塊加入YOLOv5算法主干網絡可以在網絡提取特征后為特征圖添加一個通道注意力掩碼，以增強模型提取重要通道特征的能力，抑制較差樣本中的干擾特征，提高模型整體性能。

SE模塊的整體結構如圖1所示。特征圖輸入SE模塊將經過平均池化結果壓縮為與原輸入特征通道數相同的向量，計算公式如下：

（1）

接著，通過全連接、激活函數ReLU、全連接、激活函數Sigmoid操作生成通道注意力掩碼1×1×C，以表征輸入特征每個通道的重要程度，之后將通道注意力掩碼與原輸入特征每個通道進行點乘，得到經通道注意力機制加權后的輸出特征。

1.2 全局上下文特征提取模塊

全局上下文特征提取模塊結構如圖2所示，其主要由普通卷積、空洞卷積、1×3和3×1卷積、CBAM（Convolutional Block Attention Module）模塊組成。其中，普通卷積主要負責特征提取和通道維度的變換。通過并聯不同空洞率的空洞卷積，可以獲取不同尺寸的感受野，解決因鋼材樣本表面缺陷尺寸差異較大而導致漏檢的問題。與普通卷積相比，空洞卷積在獲得同等大小的感受野時具有計算量較小的優勢。1×3和3×1卷積主要用于提取特征圖的邊緣特征和細節特征，以確保能夠準確檢測位于鋼材邊緣的缺陷。此外，當五條支路獲取圖像多尺度特征后，經過CBAM混合注意力模塊再與輸入特征融合，即可得出最終的全局上下文特征。

簡而言之，假設XContext與YContext是全局上下文特征提取模塊的輸入與輸出，則全局上下文特征提取模塊可表示為：

YContext=FContext（WContext ， XContext） （2）

式中：FContext表示全局上下文特征提取網絡；WContext表示FContext的網絡參數。

全局上下文特征可以增強模型對于不同尺度缺陷的提取能力，進而增強模型檢測的準確率，這一結論將在實驗中得到證明。

1.3 微小目標檢測頭

為提高鋼材表面缺陷檢測準確率，本文在原YOLOv5算法的基礎上不僅添加了全局上下文提取模塊，還添加了一個檢測頭，主要用于鋼材表面微小缺陷的檢測，如圖3所示的Neck網絡中灰色部分。

如果忽略SPPF后新增的全局上下文特征提取模塊，輸入微小目標檢測頭的特征圖就是將原YOLOv5第17層提取得到的特征圖進行進一步的特征提取與升維。假設輸入原圖尺寸為640×640×3，那么輸入微小目標檢測頭前的Neck網絡會將尺寸為256×80×80的特征圖升維至128×160×160并輸入至微小目標檢測頭，由于特征圖尺寸較大，所以其感受野較小。因此與原YOLOv5算法相比，新增的檢測頭能夠檢測更小的目標。

簡而言之，假設XEighteen是第20層CSP2_1模塊的輸入特征圖，YTwenty-Four是第25層CSP2_1模塊的輸出特征圖，則新增微小目標檢測頭部分可以表示為：

YTwenty-Four=FTiny（WTiny ， XEighteen） （3）

式中：FTiny表示微小目標檢測頭的Neck部分網絡；WTiny表示FTiny的網絡參數。

由于負責提取特征圖并輸入至微小目標檢測頭的卷積核的感受野較小，因此微小目標檢測頭大幅度增加了模型對微小缺陷的檢出能力，進而增強了網絡的檢測準確率，這一結論將在實驗中得到證明。

2 數據準備

2.1 數據集

2.1.1 NEU-DET數據集

NEU-DET數據集為東北大學發布的熱軋帶鋼的表面缺陷數據集。NEU-DET數據集包含6個類別的缺陷，分別是：劃痕（Sc）、裂縫（Cr）、氧化皮（RS）、夾雜物（In）、點蝕表面（PS）以及斑塊 （Pa）。每種類別都有300張圖像，共1 800個樣本，采用灰度圖像的形式呈現，圖像尺寸為200×200。部分帶標簽的圖像如圖4所示。

2.1.2 GC10-DET數據集

GC10-DET為真實工業場景中收集的鋼材表面缺陷數據集。GC10-DET數據集包含10個類別的鋼材表面缺陷，分別是：腰部折痕 （Wf）、沖孔（Pu）、折痕（Cr）、焊縫（Wl）、軋坑（Rp）、新月形縫隙（Cg）、夾雜物（In）、水斑（Ws）、絲斑（Ss）、油斑（Os）。共3 570個樣本，采用灰度圖像的形式呈現，圖像尺寸為2 048×1 000。部分帶標簽的圖像如圖5所示。

2.2 數據集預處理與二等分數據增強

通過數據增強可以增加樣本的多樣性，提升模型的泛化性和魯棒性。在本文改進的YOLOv5算法中，采用了多種數據增強方法，包括Mosaic數據增強、隨機水平翻轉、圖像縮放和圖像平移。其中，圖像縮放系數設為0.5，圖像平移系數設為0.1。需要注意的是，GC10-DET數據集中樣本的長寬差距較大，具體如圖6所示。這會導致在使用Mosaic數據增強時產生大量無效區域。因此，針對上述問題對GC10-DE 數據集中的樣本進行了二等分處理。將GC10-DET數據集中2 048×1 000的圖像分成兩張1 024×1 000的圖像，當分割線穿過瑕疵時會根據左圖或者右圖剩余面積是否占原面積10%來判定是否保留此缺陷。二等分處理不僅解決了上述問題還增加了樣本數量，進而增加了模型的泛化性。

3 仿真實驗

3.1 配置環境及評測標準

本文實驗使用的編譯環境為PyCharm，代碼基于Pytorch框架編寫，Python版本為3.8，CUDA版本為11.6。CPU采用Intel Core i7-12700，GPU采用RTX 3090 24 G顯卡。實驗平臺的相關硬件參數見表1。

在訓練過程中，將本文改進的YOLOv5算法的訓練批次設置為100，使用隨機梯度下降算法，初始學習率為0.01，衰減系數為0.000 5，動量設置為0.937。

本文主要通過平均精度以及召回率（Recall）兩個指標對模型的性能進行評估，表達式如下：

（4）

Recall= （5）

式中：TP表示正樣本預測為正；FN表示正樣本預測為負；Recall表示召回率；AP表示某一類的準確率；mAP表示所有類的平均準確率。

此外，本文還將算法每秒處理圖像的幀數（FPS）作為輔助評估標準。

3.2 實驗結果

為驗證改進方法的有效性，首先對本文提出的上下文特征提取模塊和微小目標檢測頭模塊進行消融實驗，實驗結果見表2。

上述實驗證明了SE模塊、全局上下文模塊和微小目標檢測頭均能提升模型的整體性能。

其次，對于數據預處理中提出的二等分操作也進行了對比實驗，實驗結果見表3。

實驗證明，二等分操作對網絡性能的提升有著顯著的作用。

最后將改進的YOLOv5算法與現有算法進行對比，結果見表4。

從表4中可以看出，改進的YOLOv5模型與SSD、Faster-RCNN、原YOLOv5、YOLOv7模型相比，mAP有著明顯的提升。此外，相比于原YOLOv5算法，改進后的算法在兩個數據集上的召回率分別增加了10個百分點和12個百分點。充分說明了改進后的算法可以有效提升模型對于各尺寸鋼材缺陷的檢出能力。改進效果如圖7所示。

4 結 語

本文基于YOLOv5算法提出了一種改進算法，用于鋼材表面缺陷檢測。在該算法中，引入了SE注意力模塊，以增強模型提取重要特征的能力，抑制質量較差樣本中的干擾特征帶來的負面影響；引入了全局上下文特征提取模塊，通過并聯不同的卷積層，使網絡能夠提取多尺度的特征，從而增強模型對不同尺寸缺陷的檢測能力；采用了CBAM模塊，以增強模型對全局上下文信息的提取能力、魯棒性和泛化性。此外，針對鋼材微小缺陷容易漏檢的問題，提出了微小目標檢測頭，該微小目標檢測頭相比原始的YOLOv5檢測頭具有更小的感受野，從而極大地提高了對鋼材較小尺寸缺陷的提取能力。通過在兩個數據集上的對比實驗可知，改進的YOLOv5算法在mAP和Recall方面均有提升。此外，該算法的性能也優于現有大部分算法，進一步證明了本文提出算法的先進性。此外，本文提出的網絡結構尚存優化潛力，將會在后續的研究中進一步優化。本文提出的網絡結構能夠應用到其他需要微小目標檢測的工作生產領域，可以為鋼材表面缺陷檢測提供新的研究思路，助力工業生產與發展。

注：本文通訊作者為付興魁。

參考文獻

[1] WEN X， SHAN J， HE Y， et al. Steel surface defect recognition： A survey [J]. Coatings， 2022， 13（1）： 17.

[2] WANG Y， WANG H， XIN Z. Efficient detection model of steel strip surface defects based on YOLO-v7 [J]. IEEE access， 2022， 10： 133936-133944.

[3] YANG F， HUANG L， TAN X， et al. FasterNet-SSD： A small object detection method based on SSD model [J]. Signal， image and video processing， 2023， 18： 173-180.

[4] LI M， WANG H， WAN Z. Surface defect detection of steel strips based on improved YOLOv4 [J]. Computers and electrical engineering， 2022， 102： 108208.

[5] FU M， WU J， WANG Q， et al. Region-based fully convolutional networks with deformable convolution and attention fusion for steel surface defect detection in industrial Internet of Things [J]. IET signal processing， 2023， 17（5）： 12208.

[6] YE X， YE J， HE Z， et al. A novel defect detection method for ferrite shield surface defects by improved faster R-CNN [J]. Scientific programming， 2022.

[7] 李維剛，葉欣，趙云濤，等. 基于改進YOLOv3算法的帶鋼表面缺陷檢測[J]. 電子學報，2020，48（7）：1284-1292.

[8] 唐東林，楊洲，程衡，等. 淺層卷積神經網絡融合Transformer的金屬缺陷圖像識別方法[J]. 中國機械工程，2022，33（19）： 2298-2305.

[9] HE Y， SONG K， MENG Q， et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features [J]. IEEE transactions on instrumentation and measurement， 2020， 69（4）： 1493-1504.

[10] SHI J， YANG J， ZHANG Y. Research on steel surface defect detection based on YOLOv5 with attention mechanism [J]. Electronics， 2022， 11（22）： 3735.