基于正則化YOLO的鋼表面缺陷檢測方法

摘" 要：鋼鐵表面常常顯示出錯綜復雜的紋理模式，這些模式與缺陷相似，給準確識別實際缺陷帶來挑戰。該研究在基線模型YOLOv8s的基礎上提出一種基于正則化YOLO框架的鋼表面缺陷檢測方法。首先，在C2F框架中嵌入了坐標注意力（CA），利用輕量級注意力模塊增強骨干網絡的特征提取能力。其次，頸部設計采用可變形卷積（DCN）來加權融合多尺度特征圖，增強特征融合能力。最后，對模型的損失函數進行正則化，提高模型的泛化性能。模型在NEU-DET數據集上達到77.94%的mAP0.5。相比基線模型提升2.39%。事實證明該方法更適用于工業檢測。

關鍵詞：YOLOv8s；鋼表面缺陷檢測；CA；DCN;正則化

中圖分類號：TG441" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）11-0168-05

Abstract： Steel surfaces often display intricate texture patterns that are similar to defects， posing a challenge to accurately identify actual defects. In this study， a steel surface defect detection method based on the regularised YOLO framework is proposed based on the baseline model YOLOv8s. Firstly， coordinate attention （CA） is embedded in the C2F framework to enhance the feature extraction capability of the backbone network using a lightweight attention module. Secondly， the neck design employs deformable convolution （DCN） to weight the fusion of multi-scale feature maps to enhance the feature fusion capability. Finally， the loss function of the model is regularised to improve the generalisation performance of the model. The model achieves 77.94% mAP0.5 on the NEU-DET dataset. a 2.39% improvement over the baseline model. The method proved to be more suitable for industrial inspection.

Keywords： YOLOv8s; Steel Surface Defect Detection; CA; DCN; regularization

在鋼材的生產和使用過程中，表面缺陷的產生是不可避免的。這些缺陷會對鋼的性能和壽命產生重大影響。因此，深入研究和解決鋼材表面缺陷檢測問題[1]顯得尤為迫切和必要。

特征提取是缺陷檢測任務的核心步驟。在工業生產過程中，鋼材表面缺陷的檢測通常依賴于人工目視檢查。然而，這種檢查的產品質量受限于檢查人員的經驗，雖然消耗了大量人力資源，但也存在漏檢和誤檢的問題。為了克服這些問題，隨著機器視覺技術的進步，圖像和視覺處理方法被越來越廣泛地應用于表面缺陷檢測。1983年，美國Honeywell公司開發了基于CCD的表面缺陷檢測設備，這極大地推動了機器視覺在該領域的發展。為了提取缺陷特征，研究人員提出了各種算法。例如，Guo[2]將Kirsch和Canny算子相結合，提出了一種邊緣檢測算法，該算法已成功應用于檢測陶瓷表面的氣泡和坑缺陷。此外，Nieniewski等[3]基于形態學開發了鐵軌缺陷特征提取系統，而Liu等[4]則提出一種新型自參照圖像分解算法，用于鋼板表面缺陷圖像的檢測。然而，傳統機器視覺算法的設計往往難以滿足各種不同缺陷檢測場景的需求。為此，隨著深度學習的快速發展，基于該技術建立缺陷檢測模型已成為當前的研究熱點。

與傳統方法相比，深度學習方法具有高精度、快速和適應性強等優點。當前根據檢測階段的數量不同，基于深度學習的缺陷檢測算法主要分為2類：第一類是兩階段檢測算法，該算法需要先生成候選區域，然后對候選區域進行識別；這種方法存在檢測時間過長和檢測速率較低的問題，具體的有R-CNN[5]、Fast R-CNN[6]等方法；第二類是單階段檢測算法，其中包括YOLO系列和SSD系列；這些算法可以直接對圖像進行檢測，具有更快的檢測速度。其中，YOLOv8作為YOLO系列的最新模型，具有更高的檢測精度和更小的模型參數量。因此，本文基于YOLOv8s網絡對鋼表面缺陷檢測任務進行改進和優化。

1" YOLOv8s算法介紹

YOLO是一種一階段目標檢測算法，其不僅注重準確性，還注重速度。YOLO由輸入（Input）、骨干網絡（Backbone）、頸部網絡（Neck）和頭部網絡（Head）4個部分組成。YOLO算法已經經過多個版本的迭代，YOLOv8算法是2023年1月10日由Ultralytics公司發布的，這是之前許多YOLO算法的又一次升級。YOLOv8對目標的具體檢測和識別過程如圖1所示。首先，圖像被縮放到適當的大小，然后輸入到卷積神經網絡（CNN）中。通過骨干網絡、頸部網絡和頭部網絡獲取檢測器的位置、大小和類別，并利用損失函數計算預測幀與真實幀之間的差距。使用梯度下降迭代來縮小預測幀和真實幀之間的差距。最后，在總迭代次數中，取損失函數最小的權重矩陣和偏差，以獲取待檢測目標的預測信息。YOLOv8算法與YOLOv3和YOLOv5算法相似，其包含5個版本，分別是YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x，這5個不同版本的基本結構都是一樣的，只是在網絡深度與廣度上有差異。本文在微小目標檢測的速度和精度之間進行了平衡，選擇YOLOv8s網絡作為基本的網絡模型。

2" 算法改進

現有模型在檢測小缺陷或細微差異方面顯示出有限的敏感性，同時也缺乏魯棒性。具體而言，在本研究中使用的鋼表面缺陷數據集中，缺陷的類別尺度存在顯著變化，而缺陷圖像的質量受到取樣環境的影響，造成了模糊的邊緣特征。當將YOLOv8s作為缺陷檢測的基線模型時，檢測微小缺陷的準確性較低，并且模型展現出較差的泛化性能。因此，本文提出一種基于正則化YOLO的鋼表面缺陷檢測方法，在基線模型YOLOv8s的基礎上將坐標注意力機制CA（Coordinate Attention）集成到YOLOv8的骨干網絡中，增強骨干網絡對空間信息的捕捉能力，從而提高模型對關鍵邊緣的缺陷特征的表征能力。同時，在頸部網絡使用DCN 的融合策略，用于替代標準的Concat操作，以增強網絡對多尺度特征圖的特征融合。此外，引入正則化約束到損失函數中，以提高模型在缺陷檢測中的泛化性能。圖2展示了改進YOLOV8s的網絡結構。

2.1" 具有嵌入式注意力的輕量級CA-C2F

由于鋼表面缺陷在取樣時，取樣背景相對較暗，往往導致缺陷邊緣比較模糊，不利于模型識別。因此，為彌補YOLOv8s在識別缺陷圖像中重要信息方面的不足，提高其在目標空間信息定位的能力。本研究將CA注意力機制嵌入到基線模型的第8層C2F結構中，增強模型的感知能力。

CA通過以下2個步驟捕捉精確位置信息：嵌入坐標信息和生成坐標注意力權重。如圖3（a）所示，首先將原始輸入特征圖進行初始的平均池化，然后分別在水平和垂直方向進行通道編碼。分別生成水平方向和垂直方向的注意力權重向量。這些向量以互補的方式應用于原始輸入特征圖中，促進模型對缺陷特征的增強表示。最后，CA輸出帶權重的特征圖yc（i，j），其計算公式為

式中：xc（i，j）表示原始輸入特征圖，g（i）和g（j）分別表示沿著水平和垂直方向獲得的缺陷特征關注度權重向量。

YOLOv8的C2F結構具有2種存在形式。在骨干網絡中的C2F和在頸部網絡中的C2F。C2F的主要功能在于將低層特征圖與高層特征圖融合。低層特征圖具有更詳細的信息，但缺乏豐富的語義和上下文信息。高層特征圖充斥著語義和上下文信息，但犧牲了詳細信息。C2F有效地整合了低層和高層特征圖的優勢。如圖3（b）和圖3（c）所示，本研究將CA嵌入到第8層C2F的瓶頸部分，旨在提高C2F對低層特征圖的邊緣感知和高層特征圖的紋理信息特征提取能力。這種方法不僅突出了重要的缺陷信息，還增強了特征圖細節和語義信息的獲取，從而顯著提高了準確性。

2.2 改進融合策略的DCN-Concat

高層特征圖和低層特征圖在讀取不同類別的缺陷信息方面對模型的貢獻應該不同，但原始的Concat結構無法區分這些差異。本文引入了可變形卷積DCN的加權融合策略，創建了DCN-Concat。通過設置不同的權重值來區分特征圖的融合貢獻，增強了頸部網絡在拼接特征信息時對不同尺度缺陷特征的融合能力，提高了模型檢測的準確性和效率。

傳統的特征融合方法對所有輸入特征一視同仁，忽略了不同尺度特征圖對融合輸出的貢獻。DCN的融合策略為每個輸入分配了額外的權重，使網絡能夠在訓練過程中確定每個輸入特征的重要性，并不斷調整融合權重。融合權重法調整公式如下

式中：ω（pn）表示卷積核在pn位置處的權重，Δpn表示特征圖在p0+pn處的偏移量，x（p0+pn+Δpn）表示特征圖在p0+pn+Δpn位置處的特征值，Δmk表示權重系數。

本研究在模型的頸部網絡引入了DCN的加權融合策略，用DCN-Concat替代了原始的Concat模塊。這個新模塊通過引入一個權重系數Δmk來學習采樣點的權重。對于不感興趣的區域，權重系數Δmk被分配一個小的值，反之則分配一個較大的值。與以前的Concat模塊相比，DCN-Concat提供了更先進的特征融合和轉換機制，使模型更適用于缺陷檢測應用，能夠精確控制特征融合過程。

2.3" 正則化約束下的交叉熵損失函數

傳統算法的改進不可避免地增加了模型的復雜性，往往忽視了模型的泛化性能要求。在當前的深度學習模型設計中，如何平衡模型的復雜性和泛化能力是一個重要的挑戰。雖然復雜的模型結構通常在特定的訓練數據集上能夠達到高精度，但過度的復雜性也會導致過擬合問題。為了改善這個問題并提高模型在各種類型的缺陷檢測中的泛化性能，一種有效的策略是在損失函數中引入正則化約束，以控制模型的復雜性并提高泛化能力。在本研究中，對基線模型的損失函數進行了關鍵調整：在交叉熵損失上添加了對模型結構參數的正則化約束。

YOLOv8的損失函數包括分類損失和邊界框損失的加權和，具體公式為

式中：BCE（二進制交叉熵）用于分類損失，CLOU（完全IOU）與DFL（分布焦點損失）是邊界回歸損失的2部分。

BCE（Binary Cross-Entropy）在機器學習和深度學習中被廣泛使用，特別是在處理二元分類問題時，用于衡量實際標簽與模型預測之間的差異。在本研究中，我們考慮基于模型結構參數向二元交叉熵損失函數添加正則化約束，構成了正則化二元交叉熵（RBCE）損失，以提高泛化性能。RBCE損失函數的定義如下

該公式的第一部分表示標準的二進制交叉熵，其次是正則化約束項。wi表示模型的權重參數，在本研究中使用YOLO的預訓練權重進行訓練，wi是其中模型結構的權重參數，λ是控制正則化程度的超參數。通過引入懲罰項，權重參數的值被壓縮，可能減少到接近零的數值，從而降低了模型的空間復雜性。這樣可以避免模型過度依賴訓練數據中的特定特征，并在學習過程中得到更簡潔特征表示。該方法不僅能減少訓練數據中的預測誤差，還更加注重控制模型的空間復雜性。希望通過壓縮參數，消除模型對不必要的關注，從而優化其整體性能。

3 實驗結果與分析

3.1" 數據集

本文采用鋼表面缺陷公共數據集NEU-DET來訓練和驗證模型，該數據集由鋼板表面的6種不同類型的缺陷組成：裂紋、夾雜物、補丁、麻面、氧化皮及劃痕。該數據集共包含1 800張鋼板表面缺陷圖像，每種缺陷類型300個樣本。每張圖像的大小為200×200，并以灰度圖像的形式提供。數據集按照8∶2的比例分為訓練集和驗證集。訓練集包含1 440張圖像，驗證集包含360張圖像。

3.2" 實驗設備及評價指標

本文所有實驗都是在ubuntu18.04系統下進行的，硬件配置：CPU為12vCPU，Intel（R） Xeon（R） Platinum 8255C CPU；GPU為RTX 2080Ti，11GB CPU；編譯環境為 python3.8.1+pytorch1.8.1+cuda11.1。

實驗時，初始學習率為0.01，批次大小為16，輸入圖片大小為200×200，訓練周期為200。

本文實驗使用平均精度（mAP0.5）、精確度（P）、召回率（R）來評估模型性能。具體的計算公式如下

式中：真陽性（TP）表示由模型正確識別的缺陷數量，假陽性（FP）是指被錯誤地分類為缺陷的無缺陷表面的實例，而假陰性（FN）表示模型未能檢測到的缺陷實例。P（R）表示點召回率下的查準率值。意味著在mAP計算期間IoU閾值被設置為0.5。也就是說，僅當檢測框與真實框的目標之間的IoU大于0.5時，檢測才是正確的。

3.3" 消融實驗

表1顯示了漸進消融實驗的結果。對模型的第一次改進mAP0.5增加了1.33%，準確度提高了0.78%，這表明本文所構造的CA-C2F輕量級模塊對提高模型的性能確實有積極的作用。

模型的第2個改進在于通過DCN-Concat對不同層級的特征進行加權融合。根據實驗結果，準確率從71.38%提高到74.39%，表明改進后的模型在預測正類方面更加準確；多尺度特征在融合中的貢獻差異確實可以增強模型的性能。盡管召喚率有些許下降，但是這并不影響模型在檢測性能方面的提升。

模型的第3個改進涉及在損失函數中引入正則化項。根據實驗結果，模型在多個關鍵性能指標上顯示出改進，特別是在精確度、召回率、平均精度上。此外，正則化項的添加似乎在一定程度上抵消了DCN引起的召回率下降，同時保持了模型在準確率和平均精度方面的優勢。

3.4" 對比實驗

根據表1，最終改進后的模型不管在精確度，召回率還是平均精度方面都相對基線模型YOLOv8s有所提升。證明本文所采用的改進方法是有效的，更加符合工業檢測要求。

4" 結束語

本文介紹了一種針對鋼材表面缺陷的正則化YOLO缺陷檢測模型。該模型將CA整合到骨干網絡的C2F模塊中，創建了一個輕量級的CA-C2F，并用DCN-Concat替換了頸部網絡的Concat，從而增強了網絡性能。最后，將正則化約束融入模型的損失函數中，得到了優化的YOLO缺陷檢測模型。實驗結果表明：①輕量級的CA-C2F模型能專注于缺陷特征的流動，幫助骨干網絡提取更加細致的特征。②DCN-Concat對輸入賦予額外的權重，能夠改善了多尺度特征圖的融合，使其具有不同的信息焦點。這樣增強上下文和詳細信息之間的聯系，提升了特征融合能力。③將正則化約束添加到交叉熵損失中不僅能簡化模型結構，同時也能提升模型檢測性能，加強模型泛化能力。

雖然本文在改進平均精度方面取得了一定的進展，但值得指出的是，該研究是以監督方式進行的，并且在實際的應用中需要高昂的人力成本才能獲得足夠的鋼材缺陷標記數據。在工業實際任務中，鋼材表面缺陷種類繁多、形狀復雜，如何在缺乏標簽的情況下挖掘和學習有效的特征將是一個嚴峻的挑戰。

參考文獻：

[1] 宋育斌，孔維賓，陳希，等.鋼材表面缺陷檢測研究綜述[J/OL].軟件導刊，1-9[2024-0311].http：//kns.cnki.net/kcms/detail/42.1671.tp.20240126.0858.002.html.

[2] GUO M， HU L， ZHAO J. Surface defect detection method of ceramic bowl based on Kirsch and Canny operator[J]. Acta Optica Sinica， 2016， 36（9）： 0904001.

[3] NIENIEWSKI M. Morphological detection and extraction of rail surface defects[J]. IEEE Transactions on Instrumentation and Measurement， 2020， 69（9）： 6870-6879.

[4] LIU K， LUO N， LI A， et al. A new self-reference image decomposition algorithm for strip steel surface defect detection[J]. IEEE Transactions on Instrumentation and Measurement， 2019， 69（7）： 4732-4741.

[5] 鄧慧，曾磊.基于改進Faster R-CNN的熱軋帶鋼表面缺陷檢測[J/OL].控制工程，1-7[2024-03-13].https：//doi.org/10.14107/j.cnki.kzgc.20220095.

[6] 楊莉，張亞楠，王婷婷，等.基于改進Faster R-CNN的鋼材表面缺陷檢測方法[J].吉林大學學報（信息科學版），2021，39（4）：409-415.