












摘" 要:針對鋼材焊縫表面缺陷檢測中因缺陷尺度小、形態多變及缺陷與背景對比度低等因素導致的誤檢率與漏檢率偏高問題,提出一種基于改進YOLOv8模型的輕量化焊縫表面缺陷檢測方法。首先,在模型主干網絡引入空間金字塔分解(SPD)模塊,以增強模型對小尺度缺陷的檢測能力;其次,在特征融合網絡嵌入SimAM注意力機制,強化模型對低對比度缺陷的特征表征能力;再次,采用Wise-IoU替代傳統邊界框回歸損失函數,優化模型定位精度;最后,通過ADown模塊改進下采樣方法,有效保留焊縫缺陷的細節特征。實驗結果表明:改進模型的檢測精度、召回率與平均精度均值(mAP)分別提升了3.7%、1.6%和3.6%,其綜合性能優于原始模型及其他主流目標檢測模型,為工業場景下的焊縫缺陷檢測系統部署提供了有效解決方案。
關鍵詞:焊縫缺陷檢測;YOLOv8;SPD模塊;SimAM注意力
中圖分類號:TP183;TP391.4" 文獻標識碼:A" 文章編號:2096-4706(2025)03-0044-06
Lightweight Weld Surface Defect Detection Method Based on Improved YOLOv8
CHEN Xin, XU Hui, ZHANG Zimian, XIONG Tiejun, CHEN Zengxiong
(Hunan Branch of China UNICOM, Changsha" 410014, China)
Abstract: Aiming at the problems of high 1 detection rate and missed detection rate in steel weld surface defect detection due to factors such as small defect scale, variable morphology and low contrast between defects and background, a lightweight weld surface defect detection method based on improved YOLOv8 model is proposed. Firstly, the Spatial Pyramid Decomposition (SPD) module is introduced into the model backbone network to enhance the model's ability to detect small-scale defects. Secondly, the SimAM is embedded in the feature fusion network to enhance the feature representation ability of the model for low contrast defects. Thirdly, Wise-IoU is used to replace the traditional bounding box regression loss function to optimize the localization accuracy of the model. Finally, the down-sampling method is improved by the ADown module to effectively retain the detailed features of the weld defects. The experimental results show that the detection accuracy, recall rate and mean Average Precision (mAP) of the improved model are increased by 3.7%, 1.6% and 3.6%, respectively. Its comprehensive performance is better than the original model and other mainstream object detection models, which provides an effective solution for the deployment of weld defect detection systems in industrial scenarios.
Keywords: weld defect detection; YOLOv8; SPD module; SimAM
0" 引" 言
鋼材作為鐵、碳等元素的合金金屬材料,在現代社會的各行各業中占據著極其重要的地位,應用廣泛。鋼材表面焊縫缺陷檢測是對焊接質量的檢驗,目的是保證產品結構的完整性、可靠性和安全性[1]。同時,缺陷檢測數據的積累也為焊接工藝的優化提供了寶貴反饋,有助于持續改進焊接質量[2]。綜上所述,鋼材焊縫缺陷檢測對于提高鋼材產品質量、減少安全風險、降低人工和材料成本、優化焊接工藝等方面均具有重要意義。
近年來,機器視覺技術和目標檢測技術日益成熟,為鋼材焊縫缺陷檢測注入了新質生產力。基于手動特征提取的焊縫缺陷檢測存在需要手動設計特征提取器且適應性差的問題[3]。以RCNN[4]、FastRCNN[5]和Faster-RCNN[6]為代表的兩階段檢測模型,先在圖像中提取出一系列感興趣區域,然后對這些區域進行分類和邊界框回歸。兩階段模型檢測精度良好,但速度相對較慢。為滿足實時檢測場景的需求,以SSD[7]和YOLO[8]系列為代表的一階段檢測算法應運而生。它們直接在模型中同時預測目標物體的類別和位置,無須生成感興趣區域,因此檢測速度更快。
在焊縫缺陷檢測場景中,Chen等人[9]提出了一種基于YOLOv3的軋鋼表面缺陷檢測方法,采用輕量級的MobileNetV2作為特征提取器以提升檢測速度。Han等人[10]提出了一種新穎的兩階段邊緣復用網絡(TSERNet),該網絡由預測和細化兩個結構組成,并結合缺陷的邊緣特征,有效增強了帶鋼表面缺陷的表征能力。Xu等人[11]提提出了改進YOLOv7的管道焊縫表面缺陷檢測模型,設計了一個Le-HorBlock模塊,并引入了坐標注意力機制,以減少焊縫缺陷的漏檢。李闖等人[12]提出了PCYOLOv7-tiny方法,該方法在YOLOv7-tiny模型的基礎上融合了可變形卷積和輕量化卷積,有效提升了檢測速度。楊杉等人[13]使用形變卷積和空洞卷積改進MaskRCNN模型,使局部圖像能夠獲取全局圖像特征信息,能更好地提取不規則缺陷的特征。唐茂俊等人[14]采用FPN多尺度結構和DCR解耦分類細化結構改進Faster-RCNN模型,以增強對小目標缺陷的檢測能力。吳忍等人[15]將基于IoU值的三層級聯結構與FasterR-CNN結合進行焊縫缺陷檢測。
目前,基于深度學習和計算機視覺的鋼材焊縫缺陷檢測方法取得了一定成果,但在模型的精度和速度上仍有待優化。本文以鋼材焊縫表面缺陷為研究對象,基于目前性能優異的YOLOv8模型對缺陷檢測方法進行改進,研究出一種輕量化和精度平衡的YOLO-WD模型,以期滿足生產環境中實時檢測的要求。
1" 改進的YOLOv8方法
在YOLOv8模型[16-17]的基礎上,對模型結構進行優化,使其更適用于復雜焊縫缺陷的快速準確檢測。具體改進方法如下:在YOLOv8模型的骨干網絡中引入SPD模塊[18],在頸部網絡中,引入SimAM注意力機制[19],使用ADown[20]替換原有的下采樣方法;替換邊界框回歸損失函數為Wise-IoU[21];這些改進有效增強了模型對小目標缺陷、形狀多變缺陷的特征提取能力,在保持模型輕量化的情況下,提升了模型的檢測精度。改進的YOLOv8模型結構如圖1所示。
1.1" SPD模塊
在本文所采集的焊縫表面缺陷數據集中,飛濺類別的缺陷目標尺寸較小,使用YOLOv8基礎模型進行預測時,發現存在漏檢問題。因此,在對YOLOv8模型進行改進時,將SPD模塊添加到其骨干網絡中,以彌補圖像中小尺寸缺陷特征信息提取不足的缺陷。
SPD模塊是SPD-Conv的重要組成部分,其結構如圖2所示。具體來說,SPD-Conv由一個空間到深度層(Space-to-depth, SPD)和一個無步長卷積層(Non-strided Conv)組成。它通過完全摒棄步長卷積和池化操作,來提升對小目標的檢測效果。
在傳統的CNN結構中,由于卷積層和池化層的使用,存在目標細粒度信息丟失的問題。在解決鋼材焊縫表面缺陷檢測問題時,由于部分焊縫缺陷尺寸較小,CNN中的池化層和大步長卷積可能導致目標細節信息丟失,致使小尺寸缺陷被漏檢或誤檢。而SPD模塊將空間信息轉換為通道信息,保留了輸入特征中的所有信息。這意味著即使在網絡深層,也能夠保持高分辨率的特征圖,有利于精確定位和識別小尺寸的焊縫缺陷。
1.2" 嵌入SimAM注意力模塊
在鋼材焊縫表面缺陷檢測任務過程中,存在缺陷與背景物體對比度較低的情況。為了使模型能夠自適應地著重關注特征不明顯的缺陷目標,本文采用自注意力機制模塊(SimAM),以此增強模型的特征提取能力,降低背景物體的干擾。在不增加模型參數量的基礎上,提高焊縫缺陷檢測的精度,并通過消融實驗來驗證 SimAM 模塊的有效性。
SimAM通過對特征圖進行自適應加權,從而提高網絡對關鍵特征的關注程度。如式(1)~(3)所示,它通過最小化能量函數來計算鋼材焊縫特征圖中每個神經元的權值。第i個神經元的最小能量函數為。其中t表示目標神經元,x表示相鄰神經元,λ表示超參數,表示所有神經元在單通道上的均值,表示所有神經元在單通道上的方差。計算式如下:
(1)
(2)
(3)
(4)
式中,的值越小表示焊縫特征圖目標神經元與其他神經元的區分度越高,即表明該神經元越重要,特征圖上每個神經元的權重等于1/。輸出特征圖X '如式(4)所示,E為鋼材焊縫特征圖所有神經元 值集合,而Sigmoid激活函數的作用是限制E值過大。SimAM的整體結構如圖3所示。首先,將原始特征圖輸入SimAM注意力機制進行自適應加權。然后,使用Sigmoid做權重歸一化,并將計算出的神經元權重與原始特征圖相乘。最終,得到加權的輸出特征圖。
1.3" 下采樣模塊Adown
ADown模塊是YOLOv9模型中的重要組成部分,其主要用于特征提取和下采樣操作。如圖4所示,ADown模塊將輸入特征圖切分為兩部分,使用兩個卷積層并行處理,從而提高計算效率。接著,該模塊通過平均池化和最大池化對特征圖進行下采樣,這不僅可以減少模型的參數量和計算量,還能有效保留重要的特征信息。通過在YOLOv8的頸部網絡中引入ADown模塊,模型的輕量化得以實現,同時焊縫缺陷檢測的精度也得到了提升。
1.4" 損失函數改進
在焊縫缺陷檢測任務中,存在許多形狀多變的缺陷,并且不同類別樣本存在不平衡的問題。因此,優化對形狀多變缺陷的檢測也是本項研究的核心工作之一。YOLOv8模型的邊界框回歸損失函數采用的是CIoU Loss[22],計算式為:
(5)
式中,b和bgt分別表示預測框和真實框的中心點,ρ表示兩框中心點的歐式距離,α表示權重平衡函數,v表示框的長寬比度量函數,c表示預測框和真實框的最小外接矩形的對角線長度。
CIoU損失函數在判斷長寬比大、形狀不規則的物體時存在一定局限性,并且未考慮不同質量樣本之間的平衡問題。在焊縫缺陷檢測中,由于焊縫缺陷與背景的對比度較弱,且目標尺寸差異較大,因此,本文采用WIoU損失函數替換CIoU函數,以處理目標邊界模糊以及不規則目標的檢測難題。WIoU引入了動態非單調聚焦機制,能夠較好地解決質量較好與質量較差樣本間的懲罰平衡問題。這使得WIoU能夠聚焦于正常質量的邊界框,更精準地定位和識別圖像中的多尺度目標,進而提升模型的檢測性能。其計算式為:
(6)
(7)
(8)
式中,(x,y)和(xgt,ygt)分別表示預測框和真實框的中心點坐標;Wg和Hg表示最小外接矩形框的寬和高,上標*表示將Wg和Hg從計算圖中分離出來,以防止RWIoU產生阻礙收斂的梯度。LIoU∈[0,1]表示IoU損失函數;RWIoU∈[1,exp]表示Wise-IoU的懲罰項,用于加大普通質量錨框的LIoU;表示一個批次內LIoU的平均值;r表示梯度增益系數,用于聚焦普通質量的錨框;α、δ表示超參數,控制β和r的映射,針對不同數據集,可調整α和δ;β表示離群度,用于描述錨框的質量,離群度小則錨框質量高。
2" 實驗與分析
2.1" 數據集處理
目前,在鋼材焊縫表面缺陷檢測領域,公開的圖像數據較為稀缺,尚未有相對全面的公開數據集。本文的實驗數據集主要來源于GitHub以及百度、谷歌等平臺,共收集了1 152張焊縫表面缺陷圖像。圖像中的焊縫缺陷包含飛濺、凹坑、接口不良、缺損和未融合這5個類別,如圖5所示。使用LabelImg工具進行缺陷標注,根據以往的模型訓練經驗,將數據集按照8∶2的比例劃分為訓練集和測試集,其中訓練集包含921張圖像,測試集包含231張圖像。
2.2" 實驗環境和參數設置
本文中所有實驗均在64位CentOS 7.4操作系統下開展,所使用的GPU為NVIDIATeslaT4,顯存為16 GB。編程語言采用Python,基于PyTorch 2.0.0框架進行模型訓練,借助Cuda 11.7進行加速計算,Torchvision版本為0.15.0。模型訓練時的參數設置如表1所示。
2.3" 消融實驗
為驗證本文改進模型的有效性,對改進模型開展了消融實驗。以YOLOv8n模型作為基準模型,將精確率(P)、召回率(R)、平均精確率均值(mAP)、模型權重(Weights)和推理時間(T)作為性能評估指標,結果如表2所示。
由表2可知,試驗2在原始YOLOv8n模型的骨干網絡中加入SPD模塊后,模型的精確率、召回率和mAP分別提升了0.4%、1.8%和1.8%,而模型權重僅增加了0.3 MB,推理時間僅增加了0.6 ms。
試驗3在YOLOv8n的頸部網絡中引入SimAM模塊,相較于試驗1,雖然召回率有所降低,但精確率和mAP分別提高了5.5%和0.2%,模型大小和推理時間基本保持不變。
試驗4將SPDConv模塊和SimAM模塊進行組合,其中模型的召回率和mAP相較于試驗3分別提升了3.5%和2.1%,而模型權重僅增加0.3 MB。此外,單張圖像的推理時間為10.4 ms,達到了實時檢測速度。
試驗5在試驗4的基礎上,將原始YOLOv8n模型的回歸損失函數修改為WIoU,相比試驗4,模型的mAP和權重大小保持不變,召回率增加了1.1%,雖然精確率有所下降,但提升了模型的邊界框回歸能力。
試驗6在試驗5的基礎上,引入ADown模塊替換原有的下采樣方法。相較于試驗5,模型的精確率和mAP分別提升了1.7%和1.3%。此外,模型權重減少了0.2 MB,推理時間減少了0.1 ms。最終,將試驗6的模型簡稱為YOLO-WD。
綜上所述,本文改進的YOLO-WD模型在保持模型輕量化的前提下,減少了焊縫缺陷檢測的漏檢和誤檢情況,并且實現了較高的推理速度。
2.4" 模型對比實驗
將本文改進的YOLO-WD模型與YOLOv5n、YOLOv7-Tiny、YOLOv9-T和YOLOv10等主流檢測模型進行定量對比,實驗結果如表3所示。
根據表3的試驗結果可知,YOLOv8n在參數量及模型權重大小均小于YOLOv7-Tiny和YOLOv9-T這兩個單階段模型的情況下,其精確率、召回率和mAP均優于YOLOv7-Tiny和YOLOv9-T;YOLOv5n的召回率和mAP略高于YOLOv8n,然而YOLOv5n的推理時間更長;YOLOv10n模型的參數量、計算量和推理時間優于YOLOv8n,但在精確率、召回率和mAP方面均不及YOLOv8n;YOLOv10s模型的精確率和mAP略高于YOLOv8n,但召回率稍顯不足。此外,該模型的參數量、計算量較多,輕量化程度欠佳。本文改進模型YOLO-WD的精確率、召回率和mAP均優于YOLOv8n以及其他主流目標檢測模型。相比于YOLOv8n,雖然模型的參數量和推理時間稍有增加,但依然實現了模型的輕量化以及良好的實時推理速度。通過以上分析可以看出,本研究提出的YOLO-WD模型在多個指標方面均展現出優越性。
2.5" 可視化分析
為驗證本文改進的YOLO-WD模型在實際場景中的性能,選取了包含中小目標、前景與背景對比度弱等不同場景的缺陷圖像進行測試,檢測結果如圖6所示。通過直觀對比發現,由于YOLO-WD引入了能夠保留圖像通道維度中所有信息的SPD結構,應用自注意力機制模塊(SimAM),并且采用輕量化的下采樣模塊ADown,將邊界框回歸損失函數替換為WIoU,相比于YOLOv8n模型,YOLO-WD捕捉到了更多的焊縫缺陷特征信息。在面對小尺寸缺陷、對比度弱缺陷的情況時,減少了對缺陷的漏檢和誤檢。綜合來看,對于不同尺寸的鋼材焊縫缺陷檢測,改進的YOLO-WD模型呈現出更優的檢測水平。
3" 結" 論
本研究以鋼材焊縫表面存在的多類缺陷為研究對象,提出一種輕量化的焊縫表面缺陷檢測算法,實現了焊縫缺陷的快速檢測。在YOLOv8n的基礎上,將SPD模塊引入骨干網絡,以提升小目標的檢測精度;在YOLOv8n的頸部網絡中引入SimAM注意力機制,在未增加模型參數量的情況下,提升了模型的精確度;使用Wise-IoU作為損失函數,提升了模型的邊界框回歸能力;采用ADown輕量化下采樣模塊,既可以減少模型參數量,又可以進一步細化焊縫缺陷特征。最終,各類缺陷的精確率、召回率和平均精確率均值分別提高了3.7%、1.6%和3.6%。
本研究建立的模型在收集的5類焊縫缺陷檢測任務中取得了良好效果,但由于焊縫表面缺陷種類繁多、同類缺陷差異大,且實驗樣本不夠豐富。因此,下一步的研究工作將豐富焊縫表面缺陷的種類和樣本數量,提升模型的泛化性。同時,將模型進行量化加速后,部署在邊緣設備上,以增加模型的應用價值。
參考文獻:
[1] 李亞森,李曄,李趙輝.基于深度學習的焊縫缺陷檢測方法綜述 [J].焊接技術,2024,53(4):6-13.
[2] 劉政達.復雜焊縫外觀質量自動檢測及評估方法研究 [D].長春:吉林大學,2024.
[3] 李蕾.基于機器視覺的管道內焊縫表面缺陷識別技術研究 [D].西安:西安石油大學,2023.
[4] DONG C,ZHANG K,XIE Z Y,et al. An Improved Cascade RCNN Detection Method for Key Components and Defects of Transmissi Onlines [J].IETGeneration, Transmission amp; Distribution,2023,17(19):4277-4292.
[5] WANG X L,SHRIVASTAVA A,GUPTA A. A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017:3039-3048.
[6] LIU R,YU Z H,MO D L,et al. An Improved Faster-RCNN Algorithm for Object Detection in Remote Sensing Images [C]//2020 39th Chinese Control Conference(CCC).Shenyang:IEEE,2020:7188-7192.
[7] ZHAI S P,SHANG D R,WANG S H,et al. DF-SSD: An Improved SSD Object Detection Algorithm Based on DenseNet and Feature Fusion [J]. IEEE Access,2020,8:24344-24357.
[8] JIANG P Y,ERGU D,LIU F Y,et al. A Review of YOLO Algorithm Developments [J].Procedia Computer Science,2022,199:1066-1073.
[9] CHEN X C,LYU J,FANG Y L,et al. Online Detection of Surface Defects Based on Improved YOLOV3 [J].Sensors,2022,22(3):817.
[10] HAN C J,LI G Y,LIU Z. Two-Stage Edge Reuse Network for Salient Object Detection of Strip Steel Surface Defects [J].IEEE Transactions on Instrumentation and Measurement,2022,71:1-12.
[11] XU X Q,LI X. Research on Surface Defect Detection Algorithm of Pipeline Weld Based on YOLOv7 [J/OL].Scientific Reports,2024,14(1):1881[2024-07-16].https://link.springer.com/article/10.1038/s41598-024-52451-3.
[12] 李闖,馬行,穆春陽,等.改進YOLOv3的輕量級鑄件焊縫表面缺陷檢測 [J].組合機床與自動化加工技術,2024(1):156-159+163.
[13] 楊彬,亞森江·木沙,安波.改進Mask RCNN的焊縫缺陷檢測 [J].機械設計與制造,2023(6):157-161.
[14] 唐茂俊,黃海松,張松松,等.改進的Faster-RCNN在焊縫缺陷檢測中的應用 [J].組合機床與自動化加工技術,2021(12):83-86.
[15] 吳忍,孫淵.級聯結構與Faster R-CNN相結合的焊縫缺陷檢測 [J].組合機床與自動化加工技術,2022(2):59-62+67.
[16] 李茂,肖洋軼,宗望遠,等.基于改進YOLOv8模型的輕量化板栗果實識別方法 [J].農業工程學報,2024,40(1):201-209.
[17] 李先旺,賀歲球,賀德強,等.基于改進YOLOv8的地鐵列車焊縫缺陷輕量化檢測方法 [J].廣西大學學報:自然科學版,2024,49(3):540-552.
[18] SUNKARA R,LUO T. No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects [C]//Machine Learning and Knowledge Discovery in Databases.Grenoble:Springer,2022:443-459.
[19] YANG L X,ZHANG R Y,LI L D,et al. SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks [C]//Proceedings of the International Conference on Machine Learning.Jeju Island:PMLR,2021:11863-11874.
[20] WANG C-Y,YEH I-H,LIAO H-Y Mark. YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information [J/OL].arXiv:2402.13616 [cs.CV].[2024-07-12].https://doi.org/10.48550/arXiv.2402.13616.
[21] TONG Z J,CHEN Y H,XU Z W,et al. Wise-IoU: Bounding Box Regression Loss With Dynamic Focusing Mechanism [J/OL].arXiv:2301.10051 [cs.CV].[2024-05-26].https://doi.org/10.48550/arXiv.2301.10051.
[22] ZHENG Z H,WANG P,LIU W,et al. Distance- IoU Loss: Faster and Better Learning for Bounding Box Regression [J/OL].arXiv:1911.08287 [cs.CV].[2024-05-13].https://doi.org/10.48550/arXiv.1911.08287.
作者簡介:陳新(1974—),男,漢族,湖南新化人,首席技術總監,工程師,碩士,研究方向:5G網絡創新應用、工業互聯網;通信作者:張孜勉(1990—),男,漢族,湖南常德人,高級技術總監,博士,研究方向:計算機視覺、圖像處理與識別。