基于改進YOLOX的鋼材表面缺陷檢測研究

摘" 要： 針對目前單階段目標檢測網絡YOLOX的特征提取能力不足、特征融合不充分以及鋼材表面缺陷檢測精度不高等問題，提出一種改進YOLOX的鋼材表面缺陷檢測算法。首先，在Backbone部分引入改進的SE注意力機制，增添一條最大池化層分支，進行權重融合，強化重要的特征通道；其次，在Neck部分引入ASFF模塊，充分利用不同尺度的特征，更好地進行特征融合；最后，針對數據集所呈現的特點，將IOU損失函數替換為EIOU損失函數，改善模型定位不準確的問題，提高缺陷檢測精度。實驗結果表明，改進的YOLOX算法具有良好的檢測效果，在NEU?DET數據集上的mAP達到了75.66%，相比原始YOLOX算法提高了3.74%，較YOLOv6提升了2.76%，檢測精度優于其他主流算法。

關鍵詞： YOLOX； 單階段目標檢測網絡； SE注意力機制； ASFF模塊； 表面缺陷檢測； EIOU損失函數

中圖分類號： TN911.73?34； TP34""""""""""""""""" 文獻標識碼： A"""""""""""""""""""" 文章編號： 1004?373X（2024）09?0131?08

0" 引" 言

鋼材作為一種重要的工業產品正隨著經濟的發展擴張規模、提升產量，盡管目前生產制造水平有了巨大的進步，但在鋼材的生產和加工過程中，很容易受到各種不良因素的影響，從而使鋼材表面產生多種類型的缺陷[1]。比較常見的缺陷有劃痕、孔洞、裂紋，這些不同類型的缺陷會使得鋼材的耐久性、使用強度急劇下降，缺陷會隨著時間影響正常使用，甚至會造成不可預料的后果，所以，迅速而精確地識別鋼材表面的缺陷變得至關重要。

在AI技術日益成熟的今天，計算機視覺逐步取代了傳統的檢測手段。計算機視覺可以較好地解決傳統檢測方法漏檢率高、成本高等缺點，它在圖像分類、人臉識別和目標檢測等領域得到了廣泛應用[2]。近年來，在金屬表面缺陷檢測領域，文獻[3]提出了一種基于自適應空間特征融合結構與EIOU損失函數的改進YOLOv4算法，提高了檢測精度。文獻[4]在YOLOv4的基礎上設計了一個并行的雙通道注意力模塊，提出了YOLO?DCSAM算法對鋁帶缺陷進行檢測。文獻[5]基于YOLOX模型，結合新型特征提取網絡ECMNet與數據增強方法，提出了E?YOLOX算法。文獻[6]在YOLOv7的基礎上融合了加權雙向特征金字塔，并采納了多頭注意力機制MHSA和SPD卷積結構，從而增強了缺陷檢測的準確性。面對帶鋼表面缺陷檢測中的低速率和實時性問題，文獻[7]采用了多尺度檢測策略并融入空間注意力策略，進而設計了一種對YOLOv4的實時檢測優化方案。

本文基于YOLOX目標檢測算法，采用YOLOX_S作為預訓練模型，目標是在維持檢測速度的基礎上，進一步優化鋼材表面缺陷的檢測準確性。對于引入的SE注意力機制進行改進，添加一條全局最大池化層，增強特征提取能力；添加ASFF模塊，使得不同尺度的特征之間更好地融合；將損失函數替換為EIOU損失函數，計算回歸框寬高的差異值取代了縱橫比，加速了網絡收斂的同時提高了回歸精度。改進后的檢測網絡在NEU?DET鋼材表面缺陷數據集上有了較明顯的提升。

1" 相關工作

1.1" YOLOX算法

YOLO系列算法[8]是一種基于深度學習和卷積神經網絡的目標檢測方法，具有檢測精度高、速度快的特點。YOLOX算法[9]在YOLOX系列算法中處于較先進的版本，YOLOX?s網絡于2021年提出，其主要由主干網絡（Backbone）部分、特征提取網絡（Neck）和用于結果預測的檢測頭（YOLO Head）等三部分構成。首先，圖像被送入主干網絡以抽取特征，得到三種不同尺度的特征圖，隨后這些特征圖被送入PAFPN網絡進行進一步的特征強化與融合；接著，PAFPN對深層特征進行上采樣，同時對淺層特征執行下采樣，通過這兩種方式結合形成了一個更為豐富的特征表示；最終，這一強化后的特征圖被送入YOLOX?Head的解耦部分，輸出預測結果。YOLOX最大的改進就是采用Anchor?free檢測算法，取消了在預測端使用多個錨框預測目標的類別以及位置，解決了數據冗余問題，這樣使得檢測頭的參數量大大降低。YOLOX的核心創新在于實施了Anchor?free的檢測策略，摒棄了傳統的多錨框預測方式，從而減少了數據的冗余性并顯著減少了檢測頭的參數。此外，YOLOX引入了SimOTA動態匹配技術。這種技術通過評估預測框與實際框的重合度來確定每個實際框的特征點數，它根據特征點的預測精度和實際框的覆蓋度構建成本矩陣，并選擇成本最低的特征點作為實際框的正樣本。

1.2" SENet注意力機制

SENet[10]代表了一種經典的通道注意力策略，它主要側重于挖掘特征通道間的相互作用，從而使模型能夠識別各通道特征的關鍵性。簡單概括就是增強重要特征，抑制不重要的特征。SE單元結構如圖1所示。

SE單元的操作流程可以概括為三個核心階段：

1） “壓縮”階段。其中輸入特征圖被轉化為一個通道級的描述，對每個通道進行全局平均池化。這不僅壓縮了特征的空間維度，還為每個通道提供了一個全局響應的描述，從而捕獲了全局上下文信息。

2） “激勵”階段。它的目的是學習通道間的依賴關系，這是通過兩個全連接層實現的，其中第一層降低了權重因子的維度，以減少計算復雜性，然后通過ReLU激活函數增強非線性；第二層則將權重因子的維度恢復到原始大小，為每個通道生成一個權重。

3） 進入“重新加權”階段。這里的目標是利用上一步得到的通道權重來調整原始特征圖。每個通道的特征值都乘以其相應的權重，從而強化或弱化某些特征通道。整體而言，SENet的這種注意力機制強調了通道間的依賴性，使模型能夠更加聚焦于重要的特征，從而提高了特征的區分能力。

2" 改進的YOLOX算法

本研究為鋼材表面缺陷特征提出了一種基于YOLOX的優化檢測模型，其整體架構如圖2所示。

2.1" 改進的SENet注意力機制

為了融合不同類型的全局信息，進一步提高目標檢測模型的特征提取能力和魯棒性，本文提出了一種改進方法，通過在Squeeze部分添加全局最大池化分支，結合全局平均池化和全局最大池化的優點，使模型能夠捕獲更豐富、更具表現力的描述符。這種組合使得網絡能夠更好地適應目標的尺寸、形狀和紋理變化。改進方法實際上引入了一種更豐富的特征選擇策略，該策略關注整體特征的平均信息和局部最顯著信息，從而提高模型的判別能力。除此以外，輸出的池化層還會分別經過1×1卷積，映射成相應的權重，這使得模型可以在訓練過程中學習如何根據不同任務和場景調整全局平均池化和全局最大池化的權重。這種自適應學習策略有助于提高模型的泛化能力，使模型在處理多樣性較大的目標檢測任務時具有更好的性能。在最終步驟中，將SE單元中的標準全連接層替換為1×1的卷積操作，不僅有效地降低了模型的參數數量，還有助于避免過擬合現象，從而提升了模型的適應性。改進后的SE單元結構如圖3所示。

2.2" 引入ASFF算法

傳統的目標檢測算法通常采用簡單的特征融合策略，然而這些方法對于不同尺寸的目標難以有較好的檢測結果。為了解決這一問題，本文提出了ASFF（Adaptive Spatial Feature Fusion，自適應空間特征融合）算法[11]，ASFF是一種用于目標檢測任務中的特征融合方法，可以幫助模型捕捉不同尺度的缺陷目標，讓模型有更好的檢測精度。ASFF算法的關鍵思想是在多尺度特征之間進行自適應權重分配，以實現更好的融合效果，ASFF結構如圖4所示。

圖4中，輸入通過PAFPN輸出三個特征圖。本文從上到下對它們進行編號：特征圖[X1]、[X2]、[X3]。不同顏色的箭頭表示不同特征圖中的特征傳遞。[X1]具有最大的感受野，stride為32，適合檢測圖片中比較大的缺陷；[X3]具有最小的感受野，stride為8，適合檢測比較小的缺陷；[X2]的感受野介于兩者之間，stride為16，檢測中等尺寸的缺陷。

ASFF將PAFPN網絡的輸出（[X1]、[X2]、[X3]）作為三個特征圖融合的輸入。ASFF的計算過程包括兩部分：特征調整和自適應融合。特征調整包括將特征圖縮放到待融合特征圖的大小，以確保在融合過程中特征圖的大小保持一致。[X1→3]表示將[X1]縮放到[X3]大小后的圖像。自適應融合是通過網絡訓練三個權重圖[α]、[β]和[γ]，并將它們與輸入特征圖相乘。

以圖4中ASFF?3的輸入為例：首先，對[X1]、[X2]和[X3]進行特征縮放，分別得到[X1→3]、[X2→3]和[X3→3]；然后，使用網絡訓練與[X1→3]、[X2→3]和[X1→3]大小相同的三個權重圖（[α]、[β]和[γ]），并逐點將每個權重圖與每個輸入相乘，以確定輸入特征圖[X]中每個像素的激活和抑制，從而實現特征融合；最后，逐點相乘后將獲得的三個矩陣相加，得到ASFF中小目標的特征融合結果輸出。上述計算的公式如式（1）所示：

[ASFF?3=X1→3?α3+X2→3?β3+X3→3?γ3]" （1）

通過這樣的計算，來檢測小目標的特征圖[X3]中豐富的小目標特征。同時，在特征圖[X3]中過濾出大目標和中等目標特征的激活值，使模型更加關注小目標的檢測。鋼材表面缺陷數據集包含大量的小目標，引入ASFF可以盡可能地融合這些小目標的特征，提高小目標的檢測效果。

2.3" 引入EIOU損失函數

YOLOX的損失函數由三個關鍵部分組成：類別損失[Lossclg]、置信度損失[Lossobj]、邊界框的位置回歸損失[Lossreg]。在這三者中，類別損失和置信度損失都采用二值交叉熵損失函數作為其計算基礎，而對于位置損失，選擇[IOU_Loss]作為核心計算方法，如式（2）所示：

[Loss=wiouLossreg+Lossobj+Lossclg]" （2）

然而，[IOU_Loss]存在一些明顯的缺陷：例如，當預測的邊界框與實際的目標框沒有交集時，IOU就不能準確地描述兩者之間的距離關系，這會導致損失函數在某些情況下變得不可導。此外，即使是固定的IOU值，也不能真實地反映兩個框的實際交叉情況。

為了克服這些問題，研究者提出了[GIOU_LOSS]損失函數[12]。這個新的損失函數旨在改進[IOU_LOSS]中的相交問題，使其更加準確。但是，[GIOU_LOSS]也并非沒有缺點。當預測框完全嵌套在目標框內，或者與目標框的寬和高完全對齊時，GIOU函數會自動退化為IOU。如圖5所示，灰色框為目標框，白色為背景。

[GIOU_Loss=1-IOU+C-（A∪B）C] （3）

式中[C]是預測框與目標框的最小外接矩形區域。

為了解決GIOU存在的問題，研究者提出了[DIOU_Loss] [13]。與[GIOU]不同，[DIOU_Loss]并不是簡單地考慮兩個邊界框的重疊面積，而是采用了一種新的方法，即通過最小化兩個邊界框中心點之間的標準化距離來加速損失的收斂，如圖6所示。進一步地，CIOU損失函數在DIOU的基礎上引入了一個新的概念，即邊界框的縱橫比。這一改進使得CIOU能夠更準確地回歸目標框。具體來說，CIOU的計算包括了一個額外的懲罰項[αν]，該懲罰項考慮了預測框與真實框之間的縱橫比差異，從而更好地衡量兩者之間的長寬比。計算公式如下：

[CIOU_Loss=1-IOU+ρ2b，bgtc2+αν] （4）

式中：[αν]是衡量長寬比的影響因子；[ρ2（b，bgt）]表示預測框與目標框中心點的歐氏距離；[c]是兩框最小外接矩形的對角線長度。

盡管[CIOU_Loss]在多個方面都進行了改進，但在處理縱橫比時仍有一些不足。它主要是通過一個參數[ν]來描述兩個框的縱橫比差異，但這種方法并不能準確地捕捉到框的實際寬高差異。為了更精確地描述這種差異，研究者們進一步改進了CIOU，提出了[EIOU_Loss][14]。此外，為了更好地關注優質的錨框，[EIOU_Loss]還結合了Focal機制。

EIOU在CIOU的基礎上進一步細化，它將縱橫比的參考量分解，單獨對目標框和錨框的長度與寬度進行計算和優化，該損失函數包含三個部分：重疊損失、中心距離損失、寬高損失，前兩部分延續CIOU中的方法，但是寬高損失直接使目標盒與錨盒的寬度和高度之差最小，使得收斂速度更快，計算公式如下：

[EIOU_Loss=1-IOU+ρ2b，bgtc2+ρ2w，wgtC2w+ρ2（h，hgt）C2h] （5）

式中：[Cw]和[Ch]是覆蓋兩個Box的最小外接框的寬度和高度。

3" 實驗與結果分析

實驗使用的環境配置如表1所示。

3.1" 數據集

數據集采用NET?DET數據集。NEU?DET是東北大學發布的專門針對帶鋼表面缺陷的數據集，它涵蓋了6種主要的缺陷類別：裂紋（crazing）、夾雜（in?clusion）、斑塊（patches）、劃痕（scratches）、麻點（pitted_surface）和氧化鐵皮壓入（rolled?in_scale）。整體數據集包括1 800張200×200的灰度圖像，每種缺陷各有300張。為了研究，將數據按8∶2的比例分為訓練集（1 440張）和測試集（360張）。缺陷樣例如圖7所示。

為了全面評估模型的性能，本文選用了兩個核心指標：平均精度（AP）和均值平均精度（mAP）。此外，還參考了每秒檢測幀數（單位：f/s）、精確率（[P]）和召回率（[R]）。通過將[P]和[R]作為坐標軸，可以繪制[P?R]曲線，其中AP代表該曲線下的面積。一個較大的面積意味著更高的AP值，反映出模型的準確性。mAP則是各類別AP的平均，而FPS衡量了模型的檢測速度。

3.2" 實驗結果分析

3.2.1" 消融實驗分析

為了深入了解這三種改進策略對模型的貢獻，實驗以YOLOX_S作為基準，在NEU?DET數據集上進行了消融實驗。所有的環境和參數配置都保持一致，具體的檢測結果如表2和表3所示。

由表2、表3可知，裂紋類別、麻點類別、氧化鐵皮類別有明顯的精度提升，mAP提高了1.58%。實驗3采用的是改進的SE注意力機制，與初始SE注意力機制相比，裂紋類別和麻點類型的檢測精度略有提升，總體的檢測精度也有了一定提升，實驗3證明了在參數量沒有較大變化的條件下，改進的SE注意力機制是有效的。實驗4所采取的改進點可以有效提高模型特征融合的能力，在原有特征的基礎上進行特征的二次融合，能夠獲取更加豐富的特征，從而更好地進行預測。由表3可知，檢測精度也有略微提升。實驗5使用EIOU損失函數作為模型的位置回歸損失，可以一定程度上改善缺陷的識別能力。實驗6～實驗8采用不同策略兩兩結合進行檢測，結果發現兩兩組合進行檢測，在FPS差距不大的情況下，最終檢測精度都優于采用單一策略。實驗9將三種改進策略都融入進YOLOX網絡中，取得了最好的結果。圖8是訓練過程中mAP變化圖。圖9是各個缺陷類別mAP變化圖。

3.2.2" 不同注意力機制結果對比

為了更有力地說明選擇SENet作為改進點的理由，在Backbone部分輸出之后、Neck輸入之前，本文引入了多種常見的注意力機制（ECANet[15]、CBAM[16]、CA[17]、FCANet[18]）進行比較，從中選擇檢測精度最高的注意力機制作為模型的改進點，評價指標為mAP值。實驗結果如圖10所示。

通過圖10可以得知，針對本文中的檢測任務，SE注意力機制的檢測精度在測試中的注意力機制精度最高，可以有效提高模型對缺陷的關注程度，加強重要的特征，所以引入SE注意力機制優化YOLOX檢測模型。

3.2.3" 不同算法模型對比

為了比較本文改進算法和其他算法的檢測效果，在同一個NEU?DET數據集劃分基準的前提下，采用SSD[19]、Mask?RCNN[20]、YOLOv5以及比較新的YOLOv6[21]進行對比實驗，結果見表4。

3.2.4" 檢測相關對比

為了進一步證明算法改進的有效性，更加直觀比較改進后的YOLOX模型與原模型的實際檢測效果，隨機選取了部分數據集，對部分缺陷圖片進行檢測，檢測效果如圖11所示。

對比改進前后可以看出，原始的YOLOX模型存在置信度比較低這一不足，改進后的YOLOX模型缺陷檢測的置信度相比原YOLOX模型有了一定的提高，除此以外，缺陷的定位也比原始模型更加精確。

為了驗證改進算法的通用性，額外選取北京大學公開的印刷電路板缺陷數據集進行驗證，數據集有6個類別，分別為漏焊（Missing_hole）、缺口（Mousebite）、開路（Opencircuit）、短路（Short）、毛刺（Spur）、余銅（Spuriouscopper）。

改進方案取得的數據如表5所示。檢測效果如圖12所示。

4" 結" 語

本文對YOLOX算法進行改進，優化鋼材表面缺陷檢測問題，提出了一種改進的SE注意力機制，進一步增強模型對特征的提取能力；添加了最大池化層分支，與平均池化層進行權重融合，充分利用Backbone提取的特征，取得更好的檢測效果；引入ASFF算法模型捕捉不同尺度的缺陷目標，能夠更有效地進行特征融合，使得小目標的檢測精度有所提升；將IOU損失函數替換為EIOU損失函數，改善模型定位不準確的問題，加強了模型對缺陷目標的識別能力。實驗結果驗證了所做的改進是有效的。后續將會對裂紋類別的缺陷進行更深層次的研究，進一步改善此類別檢測精度不高的問題，提升模型總體的檢測精度以及檢測速度。

注：本文通訊作者為蔣三新。

參考文獻

[1] 王浩然.基于YOLOv5的鋼材表面缺陷檢測研究[D].桂林：廣西師范大學，2022.

[2] 李鑫，汪誠，李彬，等.改進YOLOv5的鋼材表面缺陷檢測算法[J].空軍工程大學學報（自然科學版），2022，23（2）：26?33.

[3] 葉欣.基于深度學習的熱軋帶鋼表面缺陷檢測算法研究[D].武漢：武漢科技大學，2021.

[4] MA Z X， LI Y B， HUANG M H， et al. A lightweight detector based on attention mechanism for aluminum strip surface defect detection [J]. Computers in industry， 2022， 136： 103585.

[5] 曹義親，周一緯，徐露.基于E?YOLOX的實時金屬表面缺陷檢測算法[J].圖學學報，2023，44（4）：677?690.

[6] 齊向明，董旭.改進Yolov7?tiny的鋼材表面缺陷檢測算法[J].計算機工程與應用，2023，59（12）：176?183.

[7] 鄒旺，吉暢.一種改進YOLOv4?tiny的帶鋼表面缺陷實時檢測方法[J].機械科學與技術，2023，42（6）：883?889.

[8] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： Unified， real?time object detection [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 779?788.

[9] GE Z， LIU S T， WANG F， et al. YOLOX： Exceeding YOLO series in 2021 [EB/OL]. （2021?08?06） [2022?01?15]. https：//arxiv.org/abs/2107.08430.

[10] HU J， SHEN L， ALBANIE S， et al. Squeeze?and?excitation networks [EB/OL]. [2023?10?30]. http：//arxiv.org/abs/1709.01507.

[11] LIU S T， HUANG D， WANG Y H. Learning spatial fusion for single?shot object detection [EB/OL]. [2019?12?03]. http：//arxiv.org/abs/1911.09516.

[12] REZATOFIGHI H， TSOI N， GWAK J Y， et al. Generalized intersection over union： A metric and a loss for bounding box regression [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2019： 658?666.

[13] ZHENG Z， WANG P， LIU W， et al. Distance?IoU loss： Faster and better learning for bounding box regression [C]// The Thirty?fourth AAAI Conference on Artificial Intelligence. New York： IEEE， 2020： 12993?13000.

[14] ZHANG Y F， REN W Q， ZHANG Z， et al. Focal and efficient IOU loss for accurate bounding box regression [J]. Neurocomputing， 2022， 506： 146?157.

[15] LIU T， LUO R， XU L， et al. Spatial channel attention for deep convolutional neural networks [J]. Mathematics， 2022， 10（10）： 1750?1759.

[16] WOO S， PARK J， LEE J Y， et al. CBAM： Convolutional block attention module [C]// 2018 European Conference on Computer Vision （ECCV）. Heidelberg， Germany： Springer， 2018： 3?19.

[17] HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2021： 13713?13722.

[18] QIN Z， ZHANG P， WU F， et al. FcaNet： Frequency channel attention networks [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York： IEEE， 2021： 763?772.

[19] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot multibox detector [C]// Proceedings of 14th European Con?ference on Computer Vision. Heidelberg： Springer， 2016： 21?37.

[20] HE K， GKIOXARI G， DOLLáR P， et al. Mask R?CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. New York： IEEE， 2017： 2961?2969.

[21] LI C Y， LI L L， JIANG H L， et al. YOLOv6： A single?stage object detection framework for industrial applications [EB/OL]. [2024?03?19]. https：//doi.org/10.48550/arXiv.2209.02976.

Steel surface defect detection algorithm based on improved YOLOX

LIU Yi， JIANG Sanxin

（School of Electronics and Information Engineering， Shanghai University of Electric Power， Shanghai 201306， China）

Abstract： In view of the unsatisfied feature extraction capability， inadequate feature fusion， and low accuracy in steel surface defect detection in the current single?stage object detection network YOLOX， a steel surface defect detection algorithm based on improved YOLOX is proposed. An improved SE attention mechanism is introduced into the Backbone， adding a pooling layer branch to fuse the weight and strengthen important feature channels. An ASFF （adaptively spatial feature fusion） module is incorporated in the Neck to fully utilize features of different scales and achieve better feature fusion. On the basis of the characteristics of this dataset， the IOU loss function is replaced by EIOU loss function， so as to eliminate inaccurate model positioning and improve the accuracy of defect detection. Experimental results demonstrate that the improved algorithm has good detection performance， which achieves mAP （mean average precision） of 75.66% on the NEU?DET dataset， increasing 3.74% in comparison with that of the original YOLOX algorithm， and 2.76% over that of the YOLOv6 algorithm. Therefore， the detection accuracy of the proposed algorithm outperforms that of the other mainstream algorithms.

Keywords： YOLOX; single?stage object detection network; SE attention mechanism; ASFF module; surface defect detection; EIOU loss function

DOI：10.16652/j.issn.1004?373x.2024.09.024

引用格式：劉毅，蔣三新.基于改進YOLOX的鋼材表面缺陷檢測研究[J].現代電子技術，2024，47（9）：131?138.

收稿日期：2023?12?18"""""""""" 修回日期：2024?01?10

劉" 毅，等：基于改進YOLOX的鋼材表面缺陷檢測研究

劉" 毅，等：基于改進YOLOX的鋼材表面缺陷檢測研究

劉" 毅，等：基于改進YOLOX的鋼材表面缺陷檢測研究

作者簡介：劉" 毅（1999—），碩士研究生，主要研究方向為深度學習與圖像處理、缺陷檢測。

蔣三新（1975—），博士研究生，講師，主要研究方向為機器視覺、深度增強學習等。