改進YOLOX-S的偏光片表面缺陷檢測算法

陳 樂，周永霞，祖佳貞

中國計量大學 信息工程學院，杭州 310018

制造業是我國國民經濟的主體，由百余名專家制定的《中國制造2025》旨在推動中國基本實現工業化，邁入制造強國行列。質量為先是其中一大基本方針，如何保證產品的質量是其中一個關鍵問題。高質量的產品通常更容易受到消費者的青睞，能給企業帶來更高的價值。但在工業實際生產過程中，由于機械設備、制作工藝和復雜環境等多方面的影響會導致產品表面存在各種缺陷，表面缺陷不僅會影響產品的外觀，甚至會對產品的使用性和可靠性產生負面影響。表面缺陷檢測是工業生產中控制產品質量的重要技術之一，旨在發現產品的各種外觀缺陷。

偏光片全稱偏振光片，是液晶顯示器的重要組成部分，對成像效果有著重要的影響。偏光片的缺陷不僅會降低液晶顯示器的顯示質量，甚至可能造成整個液晶面板的報廢。偏光片原材料的選取，偏貼的生產工藝，產品的運輸存儲等都會影響質量，會導致偏光片表面存在凸包，凹包，劃傷，臟污等缺陷。在過去，傳統的表面缺陷檢測通常采用人工檢測的方式，這種方式不僅效率低下，而且檢測結果顯著受到檢測人員主觀性的影響。考慮到效率，成本等問題，研究高效，穩定的偏光片自動檢測技術具有重要的意義。

傳統的機器視覺檢測缺陷主要通過處理待檢測產品的圖像，例如Yen等人[1]提出了一種高效的光學檢測系統，使用條紋結構光照明和圖像處理檢測偏光片薄膜的微小凸起缺陷。賴文威[2]采用線性條紋結構光照明，增強了缺陷成像，達到了更好的檢測效果。但是上述方法通常需要手動設計和提取特征，并且提取的特征缺少泛化能力，難以滿足復雜的表面缺陷檢測需求，無法平展。

深度學習和卷積神經的網絡的出現解決了傳統機器學習方法的局限性。Liu等人[3]提出一種由非對稱卷積模塊組成的輕量級深度卷積網絡，大大減少了網絡參數量，降低模型的復雜度，能夠滿足工業生產中的實時檢測要求。但缺陷檢測不僅關注是否有缺陷和類別，也關注缺陷的位置，以此幫助分析和改進產品制作工藝。

隨著深度學習的進一步發展，產生了一系列高效的目標檢測算法，按是否存在顯式的感興趣區域特征提取模塊，可以分為單階段網絡，代表網絡為SSD和YOLOV3等；雙階段網絡，代表網絡為Faster-RCNN等。按是否顯式定義先驗框，可以分為Anchor based目標檢測網絡，代表為Faster RCNN，Retinanet和YOLOV3等；Anchor free目標檢測網絡，代表網絡為FCOS，ATSS和YOLOX等。李春霖等人[4]提出了一個基于YOLOV3-Tiny-D的輕量級目標檢測網絡，在保證檢測精度的同時，顯著提高了檢測精度，有效檢測出臟污、劃痕及標記三類缺陷。夏禹等人[5]提出了基于改進Faster-RCNN的偏光片表面缺陷檢測網絡，針對小目標缺陷，引入特征金字塔（FPN）增強了網絡的檢測能力。

Anchor based目標檢測網絡依賴先驗框的聚類結果，如果出現極端比例的先驗框，可能對網絡產生負面作用。針對上述問題，考慮設計一種不基于先驗框的缺陷檢測網絡。YOLOX是單階段Anchor free目標檢測網絡，具有精度高，速度快的特點，并且不依賴于先驗框。同時針對表面缺陷存在的三個挑戰，即缺陷尺度差異大，缺陷形狀變化大和檢測效率低下。本文在YOLOX-S網絡的基礎上進行改進。最后通過在建立的偏光片數據集上進行缺陷檢測實驗，驗證本文方法的可行性和有效性。本文主要貢獻總結如下：

（1）設計采集方案，獲取偏光片表面圖像，建立四類缺陷的數據集。

（2）針對不同缺陷的存在尺度差異大的問題，提出了自適應平衡特征金字塔模塊（ABFP），能夠有效地將有多尺度特征融合，同時增加了一個檢測分支，提高網絡多尺度檢測能力。

（3）針對缺陷形狀變化大的問題和檢測效率，在合適的位置引入注意力機制，避免引入過多注意力模塊帶來的參數量。現有檢測網絡通常將注意力機制添加于多級特征，即每級特征都需要引入一個注意力模塊。在提出的自適應平衡特征金字塔模塊中，本文將注意力模塊應用于平衡后的單一特征，保證網絡性能的同時，避免大量引入注意力模塊帶來的參數量。

（4）在網絡訓練過程中，引入Mish激活函數，同時優化損失函數，使用CIOU損失函數替代IOU損失函數，有效降低邊界框回歸損失。

1 YOLOX算法以及網絡改進

1.1 YOLOX算法網絡結構

YOLO系列以優秀的實時檢測性能為優勢，在不同的領域獲得了廣泛應用。在YOLO系列及其變種中，主流的YOLOV3與YOLOV5都是Anchor based目標檢測方法，預測結果受先驗框的聚類結果影響，極端比例的先驗框會影響模型的檢測性能。YOLOX[6]是最近對YOLO系列的改進結果，融合了YOLO系列的優點，并引入了新的技術，使得檢測性能達到了新的高度。其中，引入標簽分配策略，解決了檢測性能受先驗框影響的問題。YOLOX按網絡深度和網絡寬度可分為S，M，L等版本，綜合考慮檢測精度和檢測速度，本文選擇YOLOX-S作為偏光片表面缺陷檢測任務的基準。YOLOX算法的網絡結構圖如圖1所示。整個網絡由三部分組成：骨干網絡（Backbone）、頸部（Neck）和檢測頭（Head）。其中Backbone網絡用于提取輸入圖像的特征、Neck網絡用于將Backbone提取的特征進行多尺度特征融合，Head網絡用于回歸和分類，即識別和定位。

圖1 YOLOX網絡結構Fig.1 Network structure of YOLOX

YOLOX采用了YOLOV5的骨架，使用修改后的CPSNet（Modified CSP v5）作為特征提取網絡，其中包含了Focus，CBS，CSP和SPP結構。Focus層使用了切片操作，完成下采樣的同時，避免參數的大量增加。CBS層包括了卷積運算（Conv），批歸一化（BN）和激活函數（SiLU）。SPP層通過三個不同尺度的最大池化（卷積核大小分別為5×5，9×9，13×13）和卷積來擴大感受野。Neck部分采用FPN[7]或PAN[8]作為其特征融合的網絡。

Head部分相比YOLOV5，采用了解耦頭（decoupled head），兩個分支分別負責對目標的分類和定位，使得兩個任務解耦，提升了網絡的檢測精度和收斂速度。同時以標簽分配的方式關聯預測框和標簽替代了用Anchor based方式提取預測框和標簽比對，使得整個網絡成為Anchor free，大大減少了參數量。在標簽分配策略上，分為兩步，首先采用Multi positives方法，將目標中心點所在網格3×3鄰域都作為正樣本，完成初步篩選。這種方法緩解了正負樣本不平衡的問題；最后使用SimOTA算法完成精細化篩選。

1.2 改進的YOLOX算法

1.2.1 自適應平衡特征金字塔

主干中的深層高級特征具有更多的語義信息，而淺層低級特征具有更多的邊緣，紋理信息。特征融合是一種將多層次特征進行集成的方法，特征融合得不充分，會限制當前模型整體性能。

FPN使用自頂向下的結構和橫向連接融合深層特征和淺層特征。它可以使淺層特征的特征圖包含深層特征的語義信息。然而，FPN僅考慮了豐富淺層特征的語義信息，沒有考慮將淺層信息融入深層特征中。PAN通過向FPN額外添加自底向上的結構，來進一步增強深層特征中的淺層信息。然而，PAN僅考慮了將相鄰層次的特征信息進行融合。Pang等人[9]在Libra R-CNN中提出了BFP（balanced feature pyramid），通過求平均值的方法將不同層次的特征進行融合。然而，BFP沒有考慮不同層次特征的貢獻不同。

為此，本文在BFP的基礎上改進，提出了自適應平衡特征金字塔（ABFP）模塊，充分考慮各個層次特征的重要性，通過引入可學習的特征圖權重，自適應地平衡各個層次的特征信息。ABFP結構如圖2。它包括三個步驟：縮放、集成和恢復。

圖2 自適應平衡特征金字塔模塊結構Fig.2 Structure of ABFP

集成階段，與BFP通過簡單平均獲得平衡的特征圖不同，本文引入三個可學習的權重{ω3,ω4,ω5}，通過softmax將權重歸一化，使其值處于[ ]0,1之間。然后，將歸一化參數與相應層級的特征圖相乘，并將它們相加，最后添加一個3×3的卷積對融合后的特征圖進行細化。計算公式如式（3）、（4）所示：

恢復階段，將細化后的特征分別調整為3個原始層級特征的大小，方法與縮放階段相同。同時還將恢復得到的各層級特征與相加，以增強原始特征，得到最終的特征圖{P3,P4,P5}。通過這種方法，可以同時融合從低級到高級的多級特征。計算公式如式（5）～（7）所示：

此外，為了增強檢測網絡對大尺度缺陷的檢測能力，本文額外增加了一個分支P6，它由P5添加一個核大小為3，步長為2的卷積直接得到，避免了過多參數的引入。P6計算公式如式（8）所示：

1.2.2 注意力機制

由于偏光片表面缺陷的形狀不同，因此引入注意力機制來關注更重要的特征信息。本文使用CBAM（convolutional block attention module）注意力模塊來增強通道和空間特征信息，使網絡能生成更精細的缺陷檢測特征。

CBAM由通道注意力模塊和空間注意力模塊串聯而成，CBAM的整體框架如圖3所示。

圖3 CBAM結構圖Fig.3 Structure of CBAM

目前先進的目標檢測網絡通常在Head之前將注意力機制應用于多級特征，具體結構如圖4（a）。注意力機制模塊可以增強提取到的特征并提高檢測網絡的精度，但該模塊的插入需要一定的計算成本。針對多級特征，每級特征需要添加一個注意力模塊，典型的FPN和PAN需要3個注意力模塊，這在一定程度上限制了目標檢測網絡的性能。

圖4 注意力框架Fig.4 Framework of attention

為了更有效地利用注意力機制，本文將注意力模塊應用于ABFP中的平衡特征圖，即集成階段的最終輸出，具體結構如圖4（b）。當增強后的特征圖被縮放為多尺度特征圖時，特征已經被均勻的增強。相比FPN和PAN，該方法只需添加一個注意力模塊，這大大降低計了算成本。

1.2.3 Mish激活函數

文獻[10]中實驗結果表明，在分類任務中，針對CIFAR-10，IMAGENET-1K兩個數據集，引入Mish激活函數的分類網絡性能大多數情況優于SiLU激活函數。同時隨著網絡深度的增加，Mish的優勢更明顯。針對YOLOX的主干網Modified CSP v5，本文模型將網絡中的SiLU激活函數替換為Mish激活函數。SiLU和Mish激活函數如式（9）、（10）所示：

SiLU和Mish激活函數如圖5所示。Mish具有平滑、連續、自正則和非單調的特點，與SiLU相同，二者都有下界，無上界的特性，利于網絡參數的優化。

圖5 SiLU和Mish激活函數曲線Fig.5 SiLU and Mish activation function curves

1.2.4 損失函數改進

YOLOX算法中，損失函數主要由三個部分組成：邊界框回歸損失、邊界框置信度損失和分類預測損失。為了指導網絡學習，使預測框更接近目標框，YOLOX采用了IoU損失函數計算邊界框的回歸損失。IoU損失函數常作為簡單的測量標準應用于目標檢測任務，該函數可以有效的反映出模型生成的預測框與真實框之間的重疊程度[11]。

IoU損失函數可以直觀地反映出預測框與目標框的對比效果，但也存在一些缺點：（1）如圖6（a）所示，當目標框A和預測框B不相交時，無法反映兩個目標框的距離，同時IoU=0，梯度函數為0，網絡無法優化。（2）當IoU值一定時，目標框A和預測框B情況不唯一，無法準確反映兩個矩形框的相交情況，如圖6（b）和（c）所示。IoU計算公式如式（11）所示：

圖6 預測框與目標框相交情況圖Fig.6 Graph of intersection of prediction and ground truth

為了解決上述問題，本文使用CIoU替換IoU作為邊界框回歸損失函數。它在考慮重疊情況的同時，考慮了目標框與預測框中心點的距離以及兩個矩形框形狀的相似性。CIoU公式如式（12）～（14）所示：

其中，IoU為目標框與預測框交集與并集的比值，ρ表示兩個點的歐式距離，b表示預測框的中心點坐標，bgt表示目標框的中心點坐標，c表示目標框與預測框的最小外接矩形的對角線距離，α是權重系數，v用于計算目標框和預測框的長寬比相似性，w、h表示預測框的寬度和高度，wgt、hgt表示目標框的寬度和高度。

2 實驗結果與分析

2.1 數據集

本文實驗所用數據集是通過搭建的圖像采集系統收集，圖像采集系統基本結構如圖7所示。在圖像采集時，使用平行光源進行打光，8K線掃相機采集圖片。

圖7 圖像采集系統Fig.7 Image acquisition system

通過上述系統采集到偏光片表面的灰度圖若干張，然后從圖片中手動裁取448×448且帶有缺陷的圖片654張，選擇偏光片在偏貼工藝中常出現的四類缺陷作為缺陷目標建立樣本數據集，分別為凸包（Convex）、凹包（Concave）、劃傷（Scratched）和臟污（Stained）。

首先將這些圖片按554∶100隨機劃分為訓練集和測試集，在訓練前通過左右翻轉、隨機縮放裁剪等數據增強擴增到10 464張。圖8展示了偏光片表面數據集中的4類缺陷，紅框內是需要檢測出的缺陷。

圖8 偏光片表面缺陷Fig.8 Polarizer surface defects

2.2 模型訓練

模型訓練和性能評價均在GPU服務器上完成，服務器配置為：Intel?Xeon?CPU E5-2630 v4@2.20 GHz處理器，TITAN X顯卡，顯存12 GB，Ubuntu 16.04.6 LTS操作系統。使用pytorch深度學習框架和MMdetection目標檢測工具箱進行網絡的搭建和訓練。訓練參數設置統一如下：采用隨機梯度下降法訓練，動量和權重衰減分別設置為0.9和0.000 5，采用余弦退火學習率策略，最小學習率0.05。針對特征圖權重，單獨設置學習率為0.1，其他參數學習率設置為0.01。單次訓練樣本數量（batch）設置為16，訓練迭代次數（epoch）設置為100，在最后20個訓練迭代中，關閉數據增強。訓練集預處理僅采用Mosaic、Mixup[12]兩種數據增強策略。

2.3 評價指標

為評估訓練所得模型的檢測效果，選取平均精確均值mAP（mean average precision）作為模型檢測性能的評估指標。mAP由準確率P（Percision）和召回率R（Recall）計算而得，是所有缺陷類別平均精度AP（average precision）的均值。P、R、AP和mAP計算公式如式（15）～（18）所示：

其中，TP（true positive）表示預測正確的正樣本；TN（true negative）表示預測正確的負樣本；FP（false positive）表示預測錯誤的正樣本；FN（false negative）表示預測錯誤的負樣本。APi表示第i類缺陷平均精度。

除檢測性能外，本文還關注模型的部署性和檢測效率，通過參數量（Parameters）、計算量（Flops）和FPS（frames per second）來評估模型。其中，參數量和計算量用來衡量模型的大小和計算復雜度，FPS則用于評估模型的檢測速度。

2.4 實驗結果和分析

2.4.1 對比其他目標檢測網絡

為了評估所提出方法的有效性，本文在PSD數據集上進行實驗，將改進的YOLOX-S模型與其他通用目標檢測網絡進行對比。為了確保實驗的公平性和數據的有效性，所有的網絡均在相同的軟硬件環境下進行訓練和測試，評價指標為IoU=0.5時四類缺陷的AP值和mAP，還有IoU=0.5：0.95的mAP，即IoU的值從0.5取到0.95，步長為0.05，計算這些IoU下的mAP的平均值。此外，為了更好地比較網絡性能，特別地將模型的主干網在表中標明，其中Modified CSP v5是YOLOV5中初次使用的特征提取網絡。實驗結果見表1。

表1 PSD數據集上對比通用目標檢測網絡Table 1 Comparison of general object detection networks on PSD dataset 單位：%

本文將所有網絡模型分為兩類，分別是Anchor Based和Anchor Free，在選取用于對比的其他目標檢測網絡時，盡可能選擇模型復雜度接近的網絡，便于對比網絡的檢測性能和檢測速度。可以看到，除CornerNet主干網為HourgalssNet-104外，其他網絡的主干網深度十分接近，值得注意的是YOLOV5和YOLOX主干網的網絡深度將受到網絡深度因子的影響，具體地說，S的深度因子為0.33，M的深度因子為0.67。

可以看出本文模型在scratched和stained兩類缺陷上的AP、mAP50和mAP50：95均優于其他模型，特別地，scratched類缺陷檢測精度比TOOD高0.69個百分點，mAP50比TOOD高了0.67個百分點。同時concave和convex兩類缺陷分別只低于該類缺陷檢測精度最高值0.67和0.33個百分點。

實驗結果表明，本文對YOLOX-S的改進是有效的，能夠明顯提升偏光片表面缺陷的檢測精度。比如concave類缺陷，本文模型該類缺陷的AP50比YOLOX-S（FPN）提升了5個百分點，scratched類的AP50比YOLOX-S（FPN）提升了2.21個百分點，同時mAP50和mAP50：95分別提升了1.86和1.34個百分點。此外，本文還和其他目標檢測網絡部署性和檢測效率進行對比，即參數量和計算量和檢測速度，比較結果見表2。

表2 目標檢測網絡模型復雜度分析Table 2 Object detection network model complexity analysis

從比較結果可知，本文模型在提升檢測精度的同時增加了網絡模型的復雜度和計算量，犧牲了一定的檢測效率，檢測速度分別比YOLOX-S（PAFPN）和YOLOX-S（FPN）分別慢了11 FPS和21 FPS，但檢測速度仍快于Faster RCNN、SSD、Retinanet、FCOS和ATSS。本文模型檢測速度仍在實際工業生產中的要求內。

此外，與目前先進的Anchor Free目標檢測算法VFNet、TOOD和CenterNet++相比，本文模型在略微提升精度的同時，大幅度提升檢測速度，分別高出19 FPS、24 FPS和39 FPS。

參數量和計算量對比YOLOX-S（PAFPN）和YOLOX-S（FPN）有了一定的增加，但仍比大部分目標檢測網絡具有更少的參數量和計算量，具有較好的可部署性。

使用YOLOX-S（FPN）、YOLOX-S（PAFPN）和本文模型分別對測試集進行檢測，結果如圖9所示。從圖9前兩列中看出，對比其他兩個模型，本文模型能夠檢出所有缺陷，降低缺陷漏檢率。從圖9后兩列中看出，本文模型對大目標缺陷的檢出能力提高，同時定位的精度也相比YOLOX-S（PAFPN）有所提升，即預測框更加接近目標框。上述現象表明，改進后的模型能夠有效地融合多級特征，提高缺陷的檢出率和定位精度。

圖9 檢測效果對比Fig.9 Comparison of detection effects

2.4.2 消融實驗

在本節中，本文通過在PSD數據集上進行消融實驗證明本文在YOLOX模型上改進內容的有效性。實驗使用mAP50和mAP50：95評價模型的檢測性能。本文將YOLOX-S（FPN）作為基準網絡，并在上面做出改進。消融實驗結果如表3所示，其中，各模型含義如下，N1：Base表示基準網絡；N2：表示在N1基礎上，使用PAFPN替換FPN；N3：表示在N1基礎上，使用ABFP替換FPN；N4：在N3基礎上增加一個檢測分支P6；N5：在N4基礎上，引入一個CBAM；N6：在N5基礎上，使用CIOU損失函數優化邊界框回歸損失；N7：在N6基礎上，使用Mish激活函數替換SiLU激活函數。

表3 消融實驗Table 3 Ablation experiment 單位：%

從N1與N2結果可以看出，PAFPN通過增加自底向上的結構，將淺層信息融入深層特征中，提升了檢測精度，mAP50：95提升了0.48個百分點。從N2與N3結果可以看出，ABFP通過對多級特征直接加權求和，融合了跨級特征，檢測性能得到提高，其中mAP50提高了0.76個百分點。N4～N7展示了其他改進對模型檢測性能的提升。

圖10展示了特征圖權重{ω3,ω4,ω5}的學習曲線。本文在訓練開始時將三個權重的值設置為0.33，隨著訓練迭代次數的增加，它們的值不斷學習、更新至逐漸穩定。通過圖10，可以發現三個權重的最終值大小不同且有明顯差異，表明BFP中直接融合的多級特征貢獻不同，ABFP中引入的特征圖權重可以幫助多級特征更高效地融合，提高模型的多尺度檢測能力。

圖10 訓練過程中特征圖權重學習曲線Fig.10 Feature map weight learning curve during training

圖11展示了模型訓練中IoU損失的變化曲線，從中看出CIoU損失函數的引入，使得損失中的IoU Loss顯著降低。在訓練過程中，幫助預測框更好地向目標框擬合。

圖11 訓練過程中IoU損失變化曲線Fig.11 IoU loss curve during traing

結果表明，隨著本文所提出的改進逐步添加在基準網絡上，模型的檢測性能逐漸提高。最后，添加了所有改進的網絡達到了最佳的檢測性能。證明本文所提出的每處改進對于模型獲得最佳缺陷檢測性能結果都是必要的。

3 總結

為了解決偏光片表面缺陷檢測中缺陷尺度差異大大，缺陷形狀變化大的問題，本文提出了一種改進YOLOX-S模型的偏光片表面缺陷檢測模型，同時與YOLOV3，YOLOV5等模型相比，不依賴于候選框，具有更少的超參數，使模型更容易訓練。首先將多級特征融合方法從FPN替換為ABFP，將跨級特征直接融合，使特征融合更充分。其次引入CBAM注意力模塊，針對插入位置，作了設計，以減小引入注意力的代價。此外，使用CIoU損失函數替換IoU損失函數，使預測框更好地向著目標框優化。最后，使用Mish激活函數替代SiLU激活函數，幫助模型更好地訓練，并有效擬制過擬合。實驗結果表明，基于YOLOX-S的改進模型能夠更好地檢測出尺度差異大的缺陷，盡管檢測速度有所下降，但仍能滿足工業生產上的需求。

本文不足之處是對臟污的檢測精度提升微小，后續改進模型，進一步增強對缺陷形狀變化的感知能力。