基于距離感知的金屬缺陷樣本標簽分配算法

摘要：針對金屬表面缺陷檢測模型在訓練過程中正負樣本分配時不考慮金屬表面缺陷的寬高比、對目標分布的定位能力差等問題，提出了距離感知的動態標簽分配（DDA）算法。DDA不改變原有檢測模型的結構也不增加計算開支，根據真實框的幾何特性提出新的距離損失計算范式，以優化寬高比懸殊的回歸問題，將迭代過程中的回歸偏移量解碼為預測框坐標，最后計算預測框、錨框和真實框三者之間綜合交并比信息，動態地選擇正負樣本以提高訓練精度。在武漢某鋼廠冷軋帶鋼表面缺陷檢測中進行了驗證，并引入公開的熱軋帶鋼表面缺陷數據集進行了泛化試驗，檢測效果均有顯著改善，對金屬表面質量規范有實際應用價值。

關鍵詞：目標檢測；樣本選擇策略；寬高比；金屬缺陷檢測；距離回歸損失函數

中圖分類號：TP391.4

DOI：10.3969/j.issn.1004-132X.2024.09.013

Label Assignment Algorithm for Metal Defect Samples Based on Distance-awareness

ZHU Chuanjun1 LIANG Zeqi1 FU Qiang1 ZHANG Chaoyong2

1.School of Mechanical Engineering，Hubei University of Technology，Wuhan，430068

2.State Key Lab of Digital Manufacturing Equipment amp; Technology，Huazhong University ofScience and Technology，Wuhan，430074

Abstract： The distance-aware dynamic label assignment（DDA） algorithm was proposed to address issues such as the lack of consideration for aspect ratio of metal surface defects and poor localization ability towards target distribution during the allocation of positive and negative samples in training processes of metal surface defect detection model. DDA did not change the structures of original detection model and did not increase computational expenses. A new distance loss calculation paradigm was proposed based on geometric characteristics of real frame to optimize the regression problem with a wide aspect ratio. The regression offset in iterative processes was decoded as predicted frame coordinates. Finally， the comprehensive intersection and union ratio information were calculated among the predicted frame， anchor frame and real frame， and positive and negative samples were dynamically selected to improve training accuracy. It was verified through the surface defect detection task of cold-rolled strip in a steel plant in Wuhan， and a public hot-rolled strip surface defect data set was introduced for generalization testing. The detection results are significantly improved， which has practical application values for metal surface quality specifications.

Key words： object detection； sample selection strategy； aspect ratio； metal defect detection； distance regression loss function

0 引言

金屬板材在現代冶金和制造業中扮演著重要的角色，具有高強度，良好的耐磨性、耐腐蝕性和導熱性等多種優點，是機械制造、航空軍工和國防科技等領域理想的原材料［1］。然而，在金屬板材的生產過程中，受到多種技術因素的影響，不可避免地會對金屬表面產生損傷［2］，這些表面缺陷直接影響產品的外觀、機械性能、耐腐蝕性和耐久性以及加工性能［3］。由于金屬板材產出量巨大，技術要求也越來越嚴格，故為保證生產質量，在生產流程中增加金屬表面質量實時檢測環節十分必要。

相比傳統的金屬表面缺陷檢測算法［4-6］，基于深度學習的目標檢測方法可以同時分類和定位生產過程中的多種缺陷。李維剛等［7］改進了YOLOv3模型，通過淺層特征和深層特征多尺度融合檢測帶鋼表面缺陷。馬曉鋒等［8］提出了一種結合GAN與PSPNet的檢測方法，引入Swish激活函數進行動態分割和空洞卷積獲取全局信息。以上兩種方法通過改變結構以增強模型對上下文信息的利用度，但模型分支太多，增加了模型訓練時間。ZHANG 等［9］提出了一種融合注意力機制的改進PP-YOLOE-m模型，用于引導小目標缺陷特征提取以提高檢測精度。唐東林等［10］設計了輕量級卷積神經網絡融合transformer的金屬缺陷識別方法，同時引入注意力模塊學習重要特征信息。以上兩種方法通過增加注意力模塊以增強模型對特征的提取能力，但存在結構復雜、參數冗余的問題。

總體上，這些優化策略通過對原檢測模型結構上的改動，提高了對特征信息的學習能力，但實際金屬表面缺陷的寬高比存在差異，正負樣本劃分條件可能不同。如果樣本標簽無法正確分配，增強模型的學習能力，同樣會對背景與噪聲進行學習，從而難以提高檢測性能。標簽正確分配和預測框快速并準確地回歸是檢測模型性能的核心要點［11］，正樣本提供了目標的位置和類別信息，負樣本提供了背景和非目標的信息，模型需學習區分目標和非目標區域，從而準確預測目標類別。如何劃分正樣本和負樣本將決定網絡如何學習和收斂。

FreeAnchor算法［12］通過最大似然估計，將樣本匹配方式改為自由匹配，但在出現高質量錨框時，無法很好地自適應調節。ZHANG等［13］提出了動態樣本選擇（adaptive training sample selection，ATSS）策略來根據真實框的形狀和大小自適應地計算閾值，然而，真實框大小和錨框大小在訓練過程中保持不變，未根據模型的學習狀態進行調整。錨框概率分配算法（probabilistic anchor assignment algorithm，PAA）［14］篩選綜合損失最小的k個錨框作為正樣本，通過高斯混合模型（Gaussian mixture model，GMM）對其聚類，使用投票機制的后處理方法得到最終正樣本。然而該方法也未考慮真實缺陷目標的寬高比。

綜上，現有的金屬表面檢測模型和正負樣本分配算法存在的問題包括：未考慮金屬表面缺陷的真實寬高比懸殊帶來的樣本分配問題；未考慮迭代過程中樣本的真實訓練狀態，難以通過固定的真實框與錨框的交并比得到準確預測信息；未利用真實框的實際寬高比幫助模型更好地理解和預測金屬表面缺陷。

針對上述問題，本文提出了一種距離感知的動態標簽分配（distance-aware dynamic label assignment，DDA）算法。該算法的第一步是使用聚焦的距離回歸損失函數（FMDPIoU），充分利用真實框的寬高比幾何特性，通過計算矩形邊界框之間的點最小距離來確保預測框與真實框的大小一致。第二步是將回歸偏移量解碼為預測框坐標，然后計算真實框與預選框以及真實框與錨框之間的組合交并比，通過計算組合均值和組合標準差來確定閾值，并自適應地調整正負樣本標簽。

1 距離感知邊界框損失函數

金屬表面缺陷相對于其他目標有兩點不同：缺陷目標基本沒有重疊和目標寬高比例較為懸殊。目前常見的邊界框損失函數有DIoU［15］、EIoU［16］和CIoU［17］：

式中，IoU為預測框和真實框的交并比。

如圖1所示，通過對損失度量指標的分析得出，邊界框回歸損失函數所需要的計算因素主要包括真實框Bgt和預測框Bprd的最小外接矩形面積C、非重疊面積Bgt∩Bprd、中線距離ρ以及寬度和高度的偏差V，它們都可以通過真實框和預測框的左上角和右下角點的坐標來確定。

對于上述邊界框損失函數，當預測框與真實框具有相同的寬高比但寬度值和高度值完全不同時，無法繼續進行有效的優化。為了解決上述問題，本文提出一種聚焦的距離感知回歸損失函數（FMDPIoU），如下所示：

式中，γ為抑制異常值的抑制程度參數，γ∈（0，1］。

在計算邊界框回歸損失問題中，高質量的錨框與低質量的錨框比例不平衡不利于訓練。通過引用抑制程度參數γ來提高高質量錨框的表征權重，使梯度在回歸誤差小的時候快速增大，而在回歸誤差大的時候逐漸減小，通過控制對高質量錨框的聚焦度來提高邊界框回歸的準確性。

3 實驗結果及分析

3.1 實驗配置

本文實驗使用Linux操作系統，基于Pytorch學習框架，使用GPU加速，軟硬件參數見表1。

3.2 數據集構建和評價指標

本研究使用的金屬表面缺陷數據集是在武漢某鋼廠的冷軋帶鋼生產線上使用移動工業相機采集的。數據集包含2400張缺陷圖像，圖像像素均為376×376。缺陷類型分為點坑、斷裂、劃痕、拉傷、麻點和起皺6種。數據集被隨機劃分為訓練集、驗證集和測試集，比例為8∶1∶1。使用Label Image-Master工具對數據集進行標注。標注方法如圖6所示。圖6a展示了缺陷采集工業相機，圖6b展示了標注界面，圖6c展示了標注后的結果。標注后的位置信息以.txt文件的形式存儲，并經過歸一化處理。

用精度來評估模型尋找正樣本的能力。召回率表示在正樣本的基礎上最終被正確預測的概率。均值平均精度（mAP）根據精度和召回率綜合決定。準確率、召回率和mAP越高，模型推理速度越快，模型性能越好。

3.3 DDA算法實驗實現細節

與ATSS策略類似，DDA算法適用于流行的2D目標檢測模型。為達到金屬表面缺陷檢測的最佳效果，本文實驗主要基于YOLOv8［18］，模型訓練分類統一采用FocalLoss［19］損失函數。

實驗統一使用隨機梯度下降法SGD優化器對模型進行優化，初始學習率為0.01，權值衰減參數為5×10-4，批量大小設為16，訓練周期為200 epoch。

3.4 檢測結果與分析

當模型訓練完成后，通過訓練日志中的數據記錄，繪制相應的曲線來評估結果。

3.4.1 邊界框回歸函數評估

圖7展示了在相同條件下，未考慮缺陷寬高比的CIoU損失函數和FMDPIoU損失函數在10、50、200輪迭代下的真實框和錨框優化過程。CIoU損失函數在迭代過程中，使用交集面積減去并集面積作為懲罰項。這導致收斂過程緩慢，定位出現失誤。另一方面，FMDPIoU損失函數通過最小點距離損失計算邊界框回歸過程中預測框與真實框之間的相似性，從而提高收斂速度和回歸精度。此外，通過引用抑制程度參數，FMDPIoU損失函數可以控制對高質量錨框的聚焦度，從而進一步提高邊界框回歸的準確性。

3.4.2 DDA算法損失閾值評估

DDA算法對迭代過程中的邊界框回歸偏移量進行解碼，根據樣本的真實訓練狀態動態分配標簽。從圖8中可以看出，對比ATSS策略，DDA算法在早期訓練階段的回歸損失并沒有太大的差異。而隨著訓練過程的進行，預測框交并比逐漸主導組合交并比，并隨著訓練和預測信息的正向反饋，迭代過程中動態優化標簽分配。更低的回歸損失表明本文的模型可以選擇具有更高質量邊界框的正樣本，因為更準確的預測邊界框會產生更低的回歸損失，預測目標的平均精度提高了約4%。

3.4.3 DDA算法正樣本數量變化評估

圖9所示為模型訓練迭代過程中，每一批次所有缺陷圖片中所含的正樣本平均數量，共計3萬次迭代。圖9a所示為ATSS策略根據真實框的形狀和大小自適應地計算閾值后分配的正樣本數量，數量動態變化。由圖9b可以看出，DDA算法的樣本數量也不固定。通過補充樣本訓練狀態時的預測框的信息反饋，正樣本數量主要集中在12到15之間，有更好的樣本匹配穩定性。

3.4.4 整體檢測性能對比

采用DDA算法的YOLOv8和原始網絡在金屬表面檢測任務中的邊界框損失值和精度值的對比如圖10所示。由圖10a可知，FMDPIoU損失函數得益于幾何特性的簡化計算，訓練前期損失快速下降并且損失較CIoU函數更小，表明利用實際邊界框的損失函數具有更快的收斂速度和更準確的回歸結果。由圖10b可知，使用DDA算法的YOLOv8由于動態的正負樣本分配策略的相對復雜性，前期準確率浮動較大，但隨著正樣本數量逐漸分配正確，準確率穩步提升并超越原始算法。

為進一步驗證DDA算法對金屬表面缺陷的檢測性能，引入由東北大學制作的熱軋帶鋼表面缺陷公共數據集NEU-DET，在訓練條件相同的情況下，分別在兩個數據集上使用YOLOv8和SSD進行訓練，并和添加DDA算法的模型進行比較。最終使用最優訓練權重在相同測試集上進行評估，對比結果如表2所示。

由表2可知，在兩個不同數據集中，相較于基線模型，加入DDA算法后mAP都明顯提高，并且檢測速度也具有優勢。這不僅進一步證明了DDA算法對帶鋼表面缺陷檢測的適用性，也通過補充的公共數據集訓練驗證了DDA算法對不同金屬表面缺陷的泛化能力。

為了更好地說明DDA算法對寬高比懸殊目標的作用，本文選擇兩種數據集中的一些類別，如裂紋、劃痕、腐蝕、內含物等，采用ATSS、PAA和DDA算法分別對以上類別進行識別，結果如圖11所示。動態樣本選擇算法的使用使識別結果相較于原檢測模型都有一定提高。DDA算法利用真實框的實際寬高比幫助模型更好地理解和預測金屬表面缺陷，使模型對這些缺陷的識別度更高，目標框選更準確。

模型是否使用DDA算法對兩種帶鋼數據集缺陷的檢測對比結果如圖12所示。結果表明，引入DDA算法的YOLOv8不僅可以精確識別多個帶鋼表面缺陷，還可以準確定位寬高比較大且易于定義為負樣本的目標，從而很好地完成缺陷目標檢測任務。此外，綜合考慮兩種不同金屬表面數據集的實驗結果，DDA算法對金屬板材表面缺陷具有較好的泛化性。

以上實驗結果表明，正負樣本的正確分配對模型的檢測能力至關重要，并且DDA算法在提高檢測準確性方面發揮了重要作用。

4 結論

本文提出了一種用于金屬表面缺陷檢測的距離感知的動態標簽分配算法（DDA）。該算法充分利用實際金屬表面缺陷的寬高比特性，對寬高比懸殊的目標樣本分配更加合理，增強了模型學習正負樣本的表征能力。通過在冷軋帶鋼產線上的實際驗證以及公開熱軋帶鋼數據集上進行泛化實驗，結果表明，DDA算法在不改變模型結構或增加參數量的情況下，具有出色的檢測性能。該算法顯著提高了金屬表面缺陷檢測的準確性，對保障工業金屬板材的生產質量具有實際意義。

在后續工作中，將考慮分類損失對動態樣本分配閾值的影響，通過綜合損失篩選出損失更小的正樣本，以減小計算成本并進一步提高算法性能。

參考文獻：

［1］LUO Qiwu， FANG Xiaoxin， LIU Li， et al. Automated Visual Defect Detection for Flat Steel Surface：a Survey［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（3）：626-644.

［2］SONG Guorong， SONG Kechen， YAN Yunhui. EDRNet：Encoder–Decoder Residual Network for Salient Object Detection of Strip Steel Surface Defects［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（12）：9709-9719.

［3］HE Yu， SONG Kechen， MENG Qinggang， et al. An End-to-end Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（4）：1493-1504.

［4］馮永毅. 基于人工免疫方法的帶鋼表面缺陷分割［D］. 成都：電子科技大學， 2007.

FENG Yongyi. Segmentation of Strip Surface Defects Based on Artificial Immune Method［D］.Chengdu：University of Electronic Science and Technology of China， 2007.

［5］PSUJ G. Multi-sensor Data Integration Using Deep Learning for Characterization of Defects in Steel Elements［J］. Sensors， 2018， 18（1）：292.

［6］WANG Jinjiang， FU Peilun， GAO R X. Machine Vision Intelligence for Product Defect Inspection Based on Deep Learning and Hough Transform［J］. Journal of Manufacturing Systems， 2019， 51：52-60.

［7］李維剛， 葉欣， 趙云濤， 等. 基于改進YOLOv3算法的帶鋼表面缺陷檢測［J］. 電子學報， 2020， 48（7）：1284-1292.

LI Weigang， YE Xin， ZHAO Yuntao， et al. Strip Steel Surface Defect Detection Based on Improved YOLOv3 Algorithm［J］. Acta Electronica Sinica， 2020， 48（7）：1284-1292.

［8］馬曉鋒， 夏攀， 劉海生， 等. 全位置焊接熔池的深度學習檢測方法［J］. 機械工程學報， 2023， 59（12）：272-283.

MA Xiaofeng， XIA Pan， LIU Haisheng， et al. Deep Learning Detection Method of All-position Welding Pool［J］. Journal of Mechanical Enginee-ring， 2023， 59（12）：272-283.

［9］ZHANG Yang， LIU Xiaofang， GUO Jun， et al. Surface Defect Detection of Strip-steel Based on an Improved PP-YOLOE-m Detection Network［J］. Electronics， 2022， 11（16）：2603.

［10］唐東林， 楊洲， 程衡， 等. 淺層卷積神經網絡融合Transformer的金屬缺陷圖像識別方法［J］. 中國機械工程， 2022， 33（19）：2298-2305.

TANG Donglin， YANG Zhou， CHENG Heng， et al. Metal Defect Image Recognition Method Based on Shallow CNN Fusion Transformer［J］. China Mechanical Engineering， 2022， 33（19）：2298-2305.

［11］FU Guizhong， SUN Peize， ZHU Wenbin， et al. A Deep-learning-based Approach for Fast and Robust Steel Surface Defects Classification［J］. Optics and Lasers in Engineering， 2019， 121：397-405.

［12］ZHANG Xiaosong， WAN Fang， LIU Chang， et al. FreeAnchor：Learning to Match Anchors for Visual Object Detection［EB/OL］. arXiv， 2019［2023-11-10］. http：∥arxiv.org/abs/1909.02466.

［13］ZHANG Shifeng， CHI Cheng， YAO Yongqiang， et al. Bridging the Gap between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection［C］∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE， 2020：9756-9765.

［14］KIM K， LEE H S. Probabilistic Anchor Assignment with IoU Prediction for Object Detection［C］∥European Conference on Computer Vision. Cham：Springer， 2020：355-371.

［15］ZHENG Zhaohui， WANG Ping， LIU Wei， et al. Distance-IOU Loss：Faster and Better Learning for Bounding Box Regression［J］. Proceedings of the AAAI Conference on Artificial Intelligence. New York， 2020：12993-13000.

［16］ZHANG Yifan， REN Weiqiang， ZHANG Zhang， et al. Focal and Efficient IOU Loss for Accurate Bounding Box Regression［J］. Neurocomputing， 2022， 506（C）：146-157.

［17］ZHENG Zhaohui， WANG Ping， REN Dongwei， et al. Enhancing Geometric Factors in Model Learning and Inference for Object Detection and Instance Segmentation［J］. IEEE Transactions on Cybernetics， 2022， 52（8）：8574-8586.

［18］CORCEIRO A， ALIBABAEI K， ASSUNO E， et al. Methods for Detecting and Classifying Weeds， Diseases and Fruits Using AI to Improve the Sustainability of Agricultural Crops：a Review［J］. Processes， 2023， 11（4）：1263.

［19］LIN T Y， GOYAL P， GIRSHICK R， et al. Focal Loss for Dense Object Detection［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（2）：318-327.

（編輯 王旻玥）

作者簡介：

朱傳軍，男，1971年生，副教授。研究方向為智能制造及工業設備智能化。E-mail：zcj2579@126.com。

收稿日期：2023-11-15

基金項目：國家自然科學基金國際（地區）合作與交流項目（51861165202）；廣東省重點領域研發計劃（2019B090921001）