基于YOLOv5和生成對抗網絡的塑料標簽缺陷檢測

莊昌乾，李璟文

(1.江南大學 理學院，江蘇 無錫 214122；2.江西盛泰光學有限公司，江西 新余 336600)

0 引言

自動化缺陷檢測對于先進制造中產品的質量控制至關重要，現已被廣泛應用于檢測各種產品生產過程中的異常和缺陷[1-2]。印刷塑料標簽作為一種獨特的標識和質量指標，展現了商品的信息、制造商的設計理念，也代表了產品的質量。但由于生產設備參差不齊、生產工藝標準不同、操作人員誤操作等外部因素，在實際制造過程中，塑料標簽表面可能會出現各種類型的缺陷。一些最常見的缺陷包括異物、重影、劃痕、墨點、指紋、線條缺失。這些缺陷不可避免地會影響產品的質量和外觀，因此在制造過程中檢測和識別這些缺陷，從而確保產品的整體質量是非常必要的。

目前，最常見的檢測方法仍依賴人工篩選[3]。然而，這種方法不僅勞動強度大，而且容易受到主觀因素、疲勞程度和檢驗員經驗的影響，導致誤檢漏檢現象頻繁發生，整體準確率和效率較低。此外，另一個明顯的缺點是，這種技術從根本上難以與自動化制造過程無縫銜接與兼容。

機器視覺是一種更好的缺陷檢測方法，該方法依靠高速相機采集樣本圖像，通過算法進行圖像處理，從而識別和分類各種缺陷[4-6]。目前，大多數研究都局限于基于經典圖像處理方法(如振幅閾值、圖像去噪與增強、圖像分割和特征提取)的決策算法[6]。另一類缺陷檢測依賴于基于頻譜的算法，它將圖像信息轉換到頻域(例如Gabor變換，傅里葉變換等)[7]。該方法在發現紋理特征背景下的瑕疵具有一定的優勢，已應用于織物瑕疵檢測。然而，由于塑料標簽缺陷的復雜性，單幅圖像中可能存在多個、多種缺陷，使用傳統的圖像處理技術對多尺度缺陷進行定位和識別具有很大的挑戰性。

隨著計算機視覺的快速發展，深度學習模型開始被應用于工業產品檢測。到目前為止，已經有許多基于不同網絡模型和算法的目標檢測器用于缺陷檢測[8-10]。這些檢測器主要分為單階段和雙階段檢測器。其中，基于雙階段檢測算法的典型模型有：Region-CNN (R-CNN)[8]、Fast Region-based CNN (Fast R-CNN)[9]、Faster Region-based CNN (Faster R-CNN)[10]。在這些方法中，涉及兩個階段(即generating candidate regions和classifying proposal regions)，這通常需要較長的處理時間。另一方面，單階段檢測器只需要通過一次神經網絡，并在短時間內預測所有邊界框及其類別概率，因此更適合有實時需求的場景。最常見的單階段檢測器有YOLO[11-15]、SSD[16]、和CornerNet[17]。其中，YOLO是一種非常先進的目標檢測器，因為它能夠實時檢測物體，并具有良好的精度和魯棒性，已在許多工業場景中用于缺陷檢測。例如，在文獻[18]中，作者展示了一個多注意力深度學習網絡，以解決紡織圖像中多個和多尺度缺陷共存的問題。在文獻[19]中，作者開發了一個基于YOLO-v3的端到端缺陷檢測模型。在文獻[20]中，作者展示了一種改進的MS-YOLOv5網絡，該網絡采用多流網絡，旨在提高對鋁表面缺陷的識別，對7種類型缺陷的總體準確率達到87.4%，且檢測性能沒有明顯的不平衡。盡管研究人員在表面缺陷檢測方面進行了大量的研究，但很少有人嘗試解決工業應用中對塑料標簽物瑕疵缺陷的高精度、高效率檢測需求的日益增長。

此外，基于深度學習的缺陷檢測技術的另一個難點在于，它們往往需要大量帶注釋的訓練樣本，而這些樣本本身數量較少，或收集起來很耗時。在某些情況下，特別是在訓練深度神經網絡模型時，缺陷樣本較少，可用的數量遠遠不能滿足需求。缺陷樣本的不足已成為各種自動化缺陷檢測系統設計和部署的瓶頸。最近的一些研究嘗試采用few-short learning，即從極其有限的訓練樣本中學習來解決這一問題[21-22]。然而，它們的性能相當有限，離實際應用還很遙遠。解決缺陷樣本不足的一種最直接的方法是使用數據增強方法來豐富數據集的數量和多樣性，從而訓練出更好的缺陷檢測網絡模型。

因此，在本文的工作中，為了克服現有塑料標簽缺陷檢測方法的局限性，并解決可用缺陷樣本不足的問題，我們使用單階段檢測器(即YOLOv5)進行缺陷檢測，并使用生成對抗網絡(GAN，generative adversarial network)進行數據增強和缺陷樣本合成。由于傳統的GAN在合成缺陷圖像時存在局限性，因此，我們采用了一種專門用于生成形狀不規則、分布隨機且尺寸不同缺陷樣本的Defect-Gan，通過模擬缺陷生成(defacement)和缺陷圖像重建(restoration)的過程，我們可以巧妙地利用大量的正常樣本來生成具有高保真度和多樣性的缺陷樣本。通過使用擴增數據集訓練目標檢測器，并對網絡的超參數進行優化，可以顯著提高目標檢測器的準確率和精度。此外，為了模擬該方法在實際生產中的應用場景，我們設計并定制了一臺半自動的圖像采集機械平臺用于采集圓柱樣品表面的印刷標簽，以及一個自主開發的圖像處理和統計分析軟件。本文所開發的方法和平臺可以很容易地推廣并應用到其他工業質量控制和缺陷檢測系統中。

1 方法

1.1 基于YOLOv5的目標檢測

自2016年首次亮相以來，YOLO已經有了很大的發展和升級。即使最新的版本是YOLOv7(仍在更新中)，YOLOv5仍然被認為是迄今為止最受歡迎的實時目標檢測算法之一，由于其在卷積神經網絡領域的最佳優化策略，它在精度、效率和識別模型等方面都優于其他目標檢測算法。YOLOv5的網絡結構圖可分為Input、Backbone、Neck、Head四部分，如圖1所示。

圖1 YOLOv5架構

具體來說，YOLOv5的Input主要包括三種策略：馬賽克數據增強(mosaic data enhancement)、自適應錨點計算(adaptive anchor calculation)和自適應圖像縮放(adaptive image scaling)。首先，采用馬賽克數據增強算法[23]，通過翻轉、裁剪、縮放等操作，對4張缺陷圖片進行隨機拼接，提高模型訓練效率，增強網絡的魯棒性。為了適應不同的數據集，YOLOv5在輸入上集成了自適應錨幀計算。因此，當使用不同的數據集進行訓練時，初始錨盒的計算可以自動執行和更新。

YOLOv5的Backbone主要使用Focus結構和CSP(cross-stage particle network)結構，通過多次卷積和池化操作從輸入圖像中提取不同維度的特征圖。采用Bottleneck CSP，將基礎層的特征圖分成兩部分，再通過CSP進行合并，減少了計算量。最后，SPP(spatial pyramid pooling)結構從不同尺度提取特征，生成三尺度特征圖，以提高檢測精度[24-26]。

在Neck中，YOLOv5使用FPN(feature pyramid network)和PAN(pixel aggregation network)來融合特征層，并在三個不同尺度的特征層上實現預測。其中FPN[27]是一個自頂向下的結構，它將高層特征通過上采樣和底層特征做融合得到進行預測的特征圖。PAN[28]是一個自底向上的特征融合層，對FPN進行補充，并將底層的定位特征傳遞上去。這兩種方法都有助于增強特征融合能力，增強定位的可移植性，提高檢測精度。

作為最后的檢測步驟，Head用于檢測物體的位置和類別。在Precision中，使用GIoU作為邊界框的損失函數，表示為：

(1)

(2)

式中，A、B為GT框(the ground truth box)和預測框，C為A、B的最小閉合框。IoU由預測框與GT框的交互作用定義，它代表了預測的邊界框和GT在目標區域的大小。GIoU是減去C框中與A和B不重疊的面積之比得到的值。因此，GIoU越大，性能就越好。

1.2 合成數據的生成

足量的注釋數據集在基于深度學習的目標檢測和目標分類中至關重要。缺乏缺陷樣本會導致訓練過程過擬合、檢測精度差、泛化能力差等問題。然而，在某些情況下，很難獲得用于訓練模型的足夠數據集。為了解決這一問題，可以采用數據增強算法來提高網絡的泛化能力。在本節中，我們展示了兩種合成圖像生成方法(即生成缺陷圖像的傳統方法和基于深度學習的Defect-GAN方法)。

生成缺陷圖像最直接的方法是使用傳統技術，包括幾何變換(例如，旋轉、翻轉、平移)、顏色空間變換(例如，隨機改變圖像的色調、飽和度、亮度和對比度)、Kernel濾波器、隨機擦除、混合圖像和復制/粘貼[29]。

本工作中使用的第二種方法是使用GAN自動合成缺陷樣品[30-32]。其基本思想是將兩個神經網絡結合起來，同時訓練一個生成器來生成逼真的假圖像，以及一個鑒別器來區分生成的圖像和真實的圖像。

圖2 GAN架構

生成器(G，generator)將一個固定長度的隨機向量作為輸入，并學習模擬生成原始數據集包含的缺陷樣本。然后將生成的樣本和原始數據集的樣本輸入鑒別器(D，discriminator)，鑒別器學習區分合成圖像和真實圖像。生成器的目標是創建與原始圖像盡可能相似的樣本圖像，從而欺騙鑒別器，使其相信合成樣本是真實的。因此，生成器和鑒別器可以被認為是在進行極大極小值的博弈，其中生成器的目標是最大化鑒別器將生成的圖像標記為真實樣本的概率，鑒別器的目標是最小化將真實數據標記為真實樣本的概率。

迄今為止，研究者已經提出了許多不同的GAN架構[33-40]，用于面部表情編輯、圖像修補、風格翻譯、超分辨率等。其中包括用于生成人臉圖像的StyleGan2[33]，用于圖像到圖像轉換任務的pix2pixGan[34]，將黑白照片轉換為彩色，以及用于擴大生物醫學圖像數據集的CycleGAN[35]。然而，這些方法在用于生成高保真缺陷樣本時存在局限性。在最近的另一篇文章中，作者提出了Defect-GAN[36]，它是專門為生成缺陷樣本而設計的。在這個體系結構中，通過模擬缺陷生成(即在正常樣本上生成缺陷)和缺陷圖像重建(即將缺陷樣本恢復到正常樣本)的過程，我們可以巧妙地利用大量的正常樣本來生成缺陷樣本。Defect-Gan的結構如圖3所示。

生成器采用了一個編碼器-解碼器幀，它首先對輸入圖像進行編碼，步幅為4，然后將其解碼為原始大小。此外，由于塑料標簽上的一些缺陷通常具有復雜且不規則的形狀，且具有隨機變化，因此使用傳統的GAN建模具有困難。為了緩解這種情況，我們采用了一種自適應噪聲引入機制，該機制結合了隨機性來模擬缺陷內的隨機變化。有了這樣的配置，我們可以生成更真實的缺陷樣本，提高保真度和多樣性。判別器的主要架構沿用了StarGan[37]，它使用PatchGan[34]和一個分類指標來預測生成的缺陷類別來區分假樣本和真實樣本。

在數學上，D和G使用極小極大博弈來生成與現實圖像難以區分的圖像，我們采用的對抗性損失為[37]：

Ex，c[log(1-Dsrc(d(x，c)))]

(3)

其中：G生成一個圖像d(x，c)，條件是輸入圖像x和目標缺陷標簽c，而x試圖區分真實和虛假的圖像。Dsrc(x)為D給出的源的概率分布。

(4)

(5)

前者是對D進行優化，將真實的缺陷樣本分類到目標類別，后者是對G進行優化，生成目標類別c的缺陷樣本。因此，通過最小化對抗和分類損失，我們可以在目標類別中生成真實的樣本圖像。

1.3 模型評價指標

在本節中，我們將簡要描述用于評估模型性能的指標。我們使用精度P(定義為正確分類的缺陷產品占分類器所劃分的所有缺陷產品的比例)和召回率R(定義為正確分類的缺陷產品占缺陷產品數量的比例)來計算模型的平均精度(mAP，mean average precision)：

(6)

式中，N表示N個分類，AP表示平均準確率，計算方法如下：

(7)

(8)

(9)

其中：TP為真正例，表示本文算法提取的缺陷與人工標注的缺陷相符合。類似的，FP為假正例，表示本文算法能提取到缺陷，而實際無缺陷；FN為假反例，表示本文算法未提取到缺陷，而實際有缺陷。此外，利用精準率-召回率曲線(PR曲線)和F1分數來評估我們的模型性能。其中PR曲線是精準率與召回率的關系圖，精確率和召回率是一對相互矛盾的指標，一般來說高精準率往往意味著低召回率，反之亦然。為了獲得優秀的模型，需要綜合P和R，因此曲線越靠近圖的右上角，說明模型的性能越好。但一般來說，算法之間的PR曲線彼此交錯，很難分辨優劣，所以實際中常用F1分數來衡量。F1定義為：

(10)

2 實驗裝置

2.1 實驗裝置

現實場景中涉及塑料標簽種類繁多。在我們的初步研究中，我們將主要針對印刷在圓柱表面上的半透明塑料標簽。它主要有六種不同的缺陷類型，即異物、重影、劃痕、墨點、線條缺失、指紋。由于基材的透明性，事實上，其中一些缺陷很難通過簡單的人工檢查來識別。當檢查人員經過幾個小時的操作后出現視覺疲勞時，情況會變得更糟。在本節中，我們首先介紹自動采集樣本圖像的實驗設置。我們的裝置主要由機械平臺、光學照明、圖像采集、圖像處理與缺陷檢測與顯示五個模塊組成，如圖4(a～e)所示。

為了模擬真實的工業檢測場景，該物體被放置在定制的機械臺上，可以同時進行一維平移和360度旋轉。具體地說，該物體被放置在可旋轉的支架上，如圖4(c)所示。當物體被傳送到指定位置時，編碼器提供一個基于距離的觸發信號。為了用線掃描相機(Linea2，Dalsa，Canada)獲得圓柱形物體上標簽的清晰2D圖像，物體的旋轉速度和掃描速率必須完美同步。當物體到達指定位置時，旋轉電機單元開始旋轉圓柱形物體。同時將圖像通過GigE接口發送給計算機，然后重構成展開的塑料標簽二維圖像，如圖4(d)所示。物體旋轉與相機之間的精確同步是在水平軸和垂直軸上獲得可重復分辨率和相同分辨率的關鍵。為了保障采集的標簽圖像不失真，同軸度必須得到保證。最后，自主開發的圖形用戶界面(GUI，graphical user interface)上可對樣本進行圖像的自動采集、處理和統計分析，如圖4(e)所示。當用戶從GUI界面發出“采集圖像”的請求時，平臺開始旋轉，并同時打開線掃光源進行照明。在界面上展示了原始圖像、檢測到的缺陷以及不同缺陷的實時更新和直方圖。在我們的初步研究中，我們發現，即便使用半自動化的處理，采集足夠的樣本圖像也是一個耗時的過程，當需要大量缺陷圖像時，該方法仍有一定的局限性。事實上，正如我們將在下面的工作中展示的那樣，通過使用數據增強，可以方便地合成缺陷圖像。此外，需要說明的是，根據樣品的特性和檢驗要求，光學照明可以采用不同的配置。特別是為了突出塑料表面的輕微劃痕，可采用低角度照明。此外，通過在光源前安裝偏振濾光片，我們可以避免來自反射表面的眩光。在圖5中，我們展示了通常出現在塑料標簽上的六種主要缺陷類型。

圖4 5個模塊示意圖

圖5 塑料標簽的6種主要缺陷類型

2.2 塑料標簽數據集

原始數據集是使用圖4所示的裝置獲得的343張圖像(512×512像素)，其中共包括6種類型的缺陷(即墨點、指紋、異物、重影、劃痕和線條缺失)。考慮到樣本不足，我們采用傳統數據增強方法和生成對抗網絡Defect-GAN進行數據增強，相應的圖像和注釋數量如表1所示。

表1 每個數據集中圖像和注釋的數量 個

2.3 計算機環境

圖像處理和分析的計算機環境定義如下：CPU，Intel(R)Core (TM)i7-11700KF@3.60GHz 8-core CPU；GPU，NVIDIA GeForce RTX3060Ti；SSD，1TB；pro-gramming languages，Python3.9；Framework，Pytorch 1.7.1；deep learning accelerator，CUDA 11.0 and CUDNN 11.1；IDE：Spider 3.9。

3 結果與討論

在這項工作中，訓練前的參數設置如下：image size：512×512；learning rate：0.001；Optimizer：stochastic gradient descent (SGD)；momentum，0.937；weight decay：0.005；batch size：64；epoch：600。

為了可視化YOLOv5在數據增強后的提升，我們分別給出了原始數據集訓練的YOLOv5模型，以及傳統增強和GAN增強后的YOLOv5模型的度量曲線。目標檢測算法利用訓練損失和驗證損失來判斷模型是否穩定。YOLOv5的損失可以進一步分為box_loss、obj_loss和cls_loss，它們是算法進行目標預測效果的指標。如圖6所示，用原始數據集訓練的模型，曲線不僅不穩定，而且不收斂。相比之下，當使用增強數據集訓練時，模型在100次迭代后變得穩定并且變化最小，并且在兩種情況下，mAP都有很大的改進。

此外，我們還比較了不同網絡模型的F1_curve和PR_curve。如圖7(a～c)所示，我們繪制了F1_curve，這是一個同時考慮了模型的準確性和召回率的度量。曲線越高，模型的性能越好。我們可以看到，在所有類別的數據增強后，YOLOv5的F1_curve變得更高。為了評估目標檢測器在各種閾值下的性能，我們還繪制了P_R曲線，如圖7(d～f)所示。值得注意的是，我們可以看到，使用GAN增強數據集訓練的YOLOv5所包圍的區域比使用原始數據集和傳統增強數據集訓練的YOLOv5所包圍的區域要大，這表明模型獲得了明顯的增強。

前三列是box loss，objectness loss，和classification loss。右邊的兩列是訓練過程中的precision和recall，以及驗證過程中的mAP。圖6 訓練和驗證過程的輸出

第一、第二和第三列分別對應原始數據集、傳統增強后和GAN增強后的結果。圖7 YOLOv5下不同數據集的F1_curve和PR_curve比較

最后，利用不同的網絡模型進行實際檢測分類的結果如圖8所示。圖中的標簽顯示了分類結果及其置信度分數。第一行是用原始數據集(方案1)訓練的YOLOv5對每個缺陷的檢測結果，第二行和第三行分別是用傳統數據增強方法(方案2)和Defect-GAN生成對抗網絡(方案3)訓練的YOLOv5對每個標簽缺陷的檢測結果。從圖8中可以清楚地看到，使用方案1時未發現的一些缺陷在使用方案2和方案3時可被發現。此外，對于已識別的缺陷，方案3的置信度評分普遍高于方案1和方案2，這表明分類精度有所提高。結果表明，方案3檢測性能最好，幾乎所有缺陷類型都能被準確識別和分類。

圖8 使用原始數據集訓練模型(方案1)，經過傳統增強(方案2)和GAN(方案3)增強后，同一數據集的實際檢驗和分類結果

為了使實驗結果更加直觀，我們在表2中列出了三個主要性能指標。可以很好地觀察到，與使用原始數據集相比，使用合成圖像訓練模型的精度、召回率和mAP都得到了提高。當采用生成對抗網絡合成的數據進行訓練后，檢測器的mAP已經超達到99.5%，可以滿足絕大多數工業應用場景的需求。我們的實驗證明，為了達到預期的性能，有足夠的的數據是很重要的。此外，Defect-GAN能夠生成具有高保真度和多樣性的缺陷圖像，從而提高目標檢測器的精度。本工作的實驗結果也證實了Defect-GAN在缺陷合成的保真度、多樣性和可轉移性方面的優越性，尤其適用于工業質量控制和缺陷檢測。

表2 方案1、2、3性能比較

此外，為了進一步驗證YOLOv5在工業缺陷檢測方面的優越性和適用性，我們將其性能與Faster-RCNN算法進行了比較。實驗結果如圖9所示。可以看出，在每個數據集的檢測結果中，YOLOv5在整體性能上優于Faster RCNN。特別是在原始數據集上訓練模型時，mAP從48.6%提高到71.7%，達到了23.1%的顯著提高。同樣，當模型使用合成數據集訓練時，分別有20.6%和16.1%的改善。

圖9 使用兩種不同算法(YOLOv5和Faster RCNN)時mAP對比圖

4 結束語

總之，在本文中，我們研究并開發了一個用于圓柱表面塑料標簽的自動檢測和分類平臺。我們的主要結論是，通過數據增強合成缺陷圖像可以顯著提高目標檢測器的準確性和泛化能力。我們選擇YOLOv5作為目標檢測器，因為它具有良好的效率、精度和魯棒性。針對實際中缺陷樣本不足的問題，我們探究了兩種數據增強方法。通過使用傳統的數據增強方法和Defect-GAN網絡訓練模型，整體精度得到了很大的提高。所展示的數據增強方法可以合成具有良好多樣性和保真度的缺陷圖像，能夠解決網絡訓練過程中樣本不足的問題，從而提高預測和分類精度。我們相信合成數據的生成可以推廣到數據集有限的其他場景，因此特別適用于需要實時缺陷檢測和分類的工業應用。

在后續研究中，我們將繼續提高超小目標檢測算法的精度和泛化能力，并進一步開發復雜的集成軟件，用于各種工業場景下的實時缺陷檢測和質量控制。