基于深度學(xué)習(xí)的瓷磚表面缺陷檢測(cè)數(shù)據(jù)增強(qiáng)方法

摘要：瓷磚表面缺陷不僅影響外觀，還可能縮短使用壽命并帶來裝修安全隱患。針對(duì)YOLOv8深度模型進(jìn)行瓷磚表面缺陷檢測(cè)時(shí)，需構(gòu)建有效的訓(xùn)練數(shù)據(jù)集以保證模型的穩(wěn)定性，提出基于深度學(xué)習(xí)的瓷磚表面缺陷檢測(cè)數(shù)據(jù)增強(qiáng)方法。首先，通過高分辨率線陣相機(jī)采集瓷磚圖像，并結(jié)合公共的紋理瓷磚數(shù)據(jù)集，構(gòu)建瓷磚數(shù)據(jù)集；然后，利用Copy-Paste算法對(duì)瓷磚圖像的缺陷目標(biāo)進(jìn)行分割、變換并粘貼到新的背景圖像中，以提高YOLOv8深度模型的表面缺陷檢測(cè)性能。實(shí)驗(yàn)結(jié)果表明，該方法構(gòu)建并增強(qiáng)的瓷磚數(shù)據(jù)集可有效提高YOLOv8深度模型的瓷磚表面缺陷檢測(cè)能力。

關(guān)鍵詞：瓷磚表面缺陷檢測(cè)；深度學(xué)習(xí)；數(shù)據(jù)增強(qiáng)；Copy-Paste算法；YOLOv8深度模型

中圖分類號(hào)：TP27"""""""""""""文獻(xiàn)標(biāo)志碼：A """"""""""文章編號(hào)：1674-2605（2024）06-0009-05

DOI：10.3969/j.issn.1674-2605.2024.06.009 """"""""""""""""""""開放獲取

Data Enhancement Method for Ceramic Tile Surface Defect Detection"""""""""Based on Deep Learning

YANG Xuexian

（Keda"Industrial Group Co.，"Ltd.，"Foshan"528313， China）

Abstract："Surface defects on ceramic tiles not only affect their appearance， but may also shorten their service life and pose safety hazards to decoration. When using YOLOv8 deep model for tile surface defect detection， it is necessary to construct an effective training dataset to ensure the robustness of the model. A deep learning based"data augmentation method for tile surface defect detection is proposed. Firstly， a high-resolution linear array camera is used to capture images of ceramic tiles， and combined with a public texture ceramic tile dataset， a ceramic tile dataset is constructed; Then， the Copy Paste algorithm is used to segment， transform， and paste the defect targets of the tile image into a new background image to improve the surface defect detection performance of the YOLOv8 depth model. The experimental results show that the method constructed and enhanced the tile dataset can effectively improve the tile surface defect detection ability of YOLOv8 depth model.

Keywords： ceramic tile surface defect detection; deep learning; data enhancement; Copy-Paste algorithm; YOLOv8 deep model

0 引言

瓷磚的全球年產(chǎn)量高達(dá)百億平方米，被廣泛應(yīng)用于建筑裝修、室內(nèi)裝飾等領(lǐng)域。然而，在瓷磚生產(chǎn)過程中，成型、燒制、拋光及磨邊等工藝流程都可能導(dǎo)致產(chǎn)品表面出現(xiàn)缺陷^[1]。因此，瓷磚表面缺陷檢測(cè)是保證產(chǎn)品質(zhì)量的關(guān)鍵環(huán)節(jié)。

相關(guān)技術(shù)人員在瓷磚表面缺陷檢測(cè)領(lǐng)域開展了大量的研究。文獻(xiàn)[2]提出一種基于統(tǒng)計(jì)的自適應(yīng)檢測(cè)算法，利用特殊波段的成像雷達(dá)系統(tǒng)對(duì)多種類型的瓷磚進(jìn)行裂紋檢測(cè)，準(zhǔn)確率超過90%。文獻(xiàn)[3]提出一種基于廣義低秩逼近的缺陷區(qū)域提取方法，用于瓷磚表面缺陷檢測(cè)，準(zhǔn)確率達(dá)到94.46%。文獻(xiàn)[4]提出一種

顯著性目標(biāo)檢測(cè)方法，利用注意力機(jī)制的高頻抑制原理提取紋理瓷磚的表面缺陷特征，綜合檢測(cè)率達(dá)到96%以上。但上述方法的檢測(cè)性能依賴人工設(shè)計(jì)的算法或圖像特征，泛化性較差。

隨著人工智能技術(shù)的飛速發(fā)展，基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法具有高效、高精度、靈活等特點(diǎn)，正越來越多地應(yīng)用于缺陷檢測(cè)任務(wù)。文獻(xiàn)[5]提出一種基于生成對(duì)抗網(wǎng)絡(luò)的多階段圖像生成算法，利用迭代和超分辨率重建網(wǎng)絡(luò)生成大尺寸、高精度的紋理瓷磚圖像，以保證生成圖像風(fēng)格的一致性。文獻(xiàn)[6]提出一種基于注意力機(jī)制的復(fù)雜紋理小目標(biāo)檢測(cè)方法，結(jié)合通道注意力機(jī)制增強(qiáng)目標(biāo)信息，提高了小目標(biāo)的分割效果。此外，基于YOLOv8的小目標(biāo)缺陷檢測(cè)算法^[7]，通過修改主干網(wǎng)絡(luò)、特征金字塔或優(yōu)化損失函數(shù)，可提高模型對(duì)中小目標(biāo)的注意力。文獻(xiàn)[8]提出一種基于深度置信網(wǎng)絡(luò)的檢測(cè)方法，利用最大熵分割法獲取缺陷特征，實(shí)驗(yàn)誤檢率小于20%。文獻(xiàn)[9]提出一種基于改進(jìn)YOLOv6的檢測(cè)算法，引入注意力機(jī)制提高了深度模型的檢測(cè)準(zhǔn)確度。文獻(xiàn)[10]提出一種基于卷積降噪自編碼器的紋理瓷磚缺陷定位方法，通過在不同尺度上的高斯金字塔重建圖像塊，實(shí)現(xiàn)無監(jiān)督的缺陷檢測(cè)。文獻(xiàn)[11]采用無監(jiān)督多尺度特征集合的全卷積自編碼器，可有效檢測(cè)各類型的紋理缺陷。文獻(xiàn)[12]設(shè)計(jì)了特征提取解碼器和任務(wù)解碼器，以獲得ROI區(qū)域，幫助恢復(fù)紋理表面缺陷特征，獲得了較為精確的缺陷定位。文獻(xiàn)[13]提出一種基于注意力增強(qiáng)的FU- Net無監(jiān)督缺陷分割方法，利用編碼與解碼特征的融合，改善重構(gòu)圖像的細(xì)節(jié)并抑制背景干擾。文獻(xiàn)[14]提出一種無監(jiān)督的特征記憶重排網(wǎng)絡(luò)，采用背景重建的思想，在潛在空間中構(gòu)造一個(gè)正常的特征記憶庫，以利用全局特征模塊進(jìn)行缺陷重建并實(shí)現(xiàn)缺陷定位。

深度模型的檢測(cè)性能通常與訓(xùn)練數(shù)據(jù)集的質(zhì)量和規(guī)模密切相關(guān)。但受限于復(fù)雜的生產(chǎn)流程和采集設(shè)備，獲取瓷磚缺陷圖像較為困難且費(fèi)時(shí)費(fèi)力，導(dǎo)致瓷磚表面缺陷檢測(cè)模型的訓(xùn)練數(shù)據(jù)集為小樣本且分布不均勻，模型的穩(wěn)定性較差。為此，本文提出一種基于深度學(xué)習(xí)的瓷磚表面缺陷檢測(cè)數(shù)據(jù)增強(qiáng)方法。

1 瓷磚數(shù)據(jù)集的制作及預(yù)處理

本文通過高分辨率線陣相機(jī)PX-HC-8K04T-00-R采集瓷磚圖像540幅（瓷磚類型1），每幅圖像的尺寸為600"mm"×"600"mm，原始分辨率為8"192"×"8nbsp;192"像素，如圖1（a）所示。此外，本文瓷磚數(shù)據(jù)集還融合了廣東工業(yè)智造創(chuàng)新大賽復(fù)賽中的紋理瓷磚數(shù)據(jù)集（瓷磚類型2，圖像2 000幅，分辨率在1 022～2 178像素之間），如圖1（b）所示，有效增加了紋理瓷磚圖像的數(shù)量，使數(shù)據(jù)集覆蓋更多類型的缺陷特征，以增強(qiáng)數(shù)據(jù)集的泛化性。

深度模型在獲取圖像特征時(shí)，會(huì)對(duì)圖像進(jìn)行多尺度縮放。若輸入圖像的分辨率過大，細(xì)小缺陷會(huì)變得更小，甚至消失。故需要采用滑窗切圖算法，將大分辨率的圖像切分成小分辨率的子圖像，以減少圖像縮放對(duì)細(xì)小缺陷的影響。此外，還可以利用滑窗切圖算法統(tǒng)一兩種類型紋理瓷磚圖像的分辨率。在滑窗切圖過程中，利用標(biāo)注信息有目的地篩選缺陷所在的子圖像，可過濾掉無效的純背景區(qū)域，減小模型訓(xùn)練負(fù)擔(dān)，提高模型訓(xùn)練效率。經(jīng)過背景去除與滑窗切圖后，兩種類型的紋理瓷磚圖像合成一個(gè)瓷磚數(shù)據(jù)集。該瓷磚數(shù)據(jù)集缺陷類型主要有崩角（angle）、崩邊（edge）、溶洞（fusion-hole）、針孔（pin-hole）、黑斑（black-spot）等5種，如圖2所示。其中，崩角、崩邊大都為中尺寸目標(biāo)，少量為小尺寸目標(biāo)，本文將其作為檢測(cè)目標(biāo)之一。而其他的缺陷類型，如劃痕、白斑等，由于數(shù)量極少，未作為檢測(cè)目標(biāo)。

2 "Copy-Paste數(shù)據(jù)增強(qiáng)

利用高斯模糊對(duì)目標(biāo)對(duì)象的周邊像素進(jìn)行平滑處理，即將中間像素與周圍像素以正態(tài)分布權(quán)重進(jìn)行加權(quán)平均，可較好地完成背景圖像與目標(biāo)對(duì)象的邊緣過渡，使生成的缺陷圖像更貼近真實(shí)圖像。

Copy-Paste算法在像素級(jí)層面上，通過粘貼不同規(guī)模的缺陷對(duì)象到新的背景圖像中，生成大量具有新特征的數(shù)據(jù)。這個(gè)過程具有較大的隨機(jī)性，具體表現(xiàn)在選擇缺陷對(duì)象的隨機(jī)性、選擇背景圖像的隨機(jī)性、缺陷對(duì)象仿射變換的隨機(jī)性以及選擇粘貼位置的隨機(jī)性，這些隨機(jī)性保證了新構(gòu)建的瓷磚數(shù)據(jù)集的多樣性。另外，Copy-Paste數(shù)據(jù)增強(qiáng)對(duì)每個(gè)類別圖像的操作具有獨(dú)立性，即可針對(duì)其中的一個(gè)類別圖像進(jìn)行增強(qiáng)，從而有助于緩解數(shù)據(jù)類別不平衡的問題。

Copy-Paste數(shù)據(jù)增強(qiáng)的流程如圖5所示。

1）"隨機(jī)選擇缺陷：從原始的瓷磚數(shù)據(jù)集中，提取包含崩邊、崩角、針孔、溶洞和黑斑等缺陷的瓷磚圖像作為缺陷數(shù)據(jù)集，并從中隨機(jī)選擇包含同一類缺陷的瓷磚圖像作為目標(biāo)對(duì)象。

2）"判斷缺陷類型：由于崩邊、崩角缺陷通常只出現(xiàn)在瓷磚的邊角位置，且具有如直角、水平線或垂直線等特征。若采用隨機(jī)仿射變換，會(huì)破壞這些特征，使圖像數(shù)據(jù)失真。因此，在進(jìn)行仿射變換前，需要先判斷缺陷類型。

3）"仿射變換：針對(duì)崩邊、崩角缺陷，進(jìn)行限制性仿射變換，主要進(jìn)行縮放操作；針對(duì)針孔、溶洞和黑斑等缺陷，進(jìn)行隨機(jī)仿射變換。

4）"背景融合：隨機(jī)選擇一幅沒有缺陷的純背景圖像，針對(duì)崩邊、崩角缺陷，選擇隨機(jī)的邊角位置進(jìn)行融合；針對(duì)針孔、溶洞和黑斑等缺陷，選擇隨機(jī)的中間位置進(jìn)行融合。

5）"高斯模糊：利用高斯模糊對(duì)融合的缺陷對(duì)象邊緣進(jìn)行平滑處理。

6）"重復(fù)上述流程，直至收斂，便可獲得設(shè)定數(shù)量的瓷磚缺陷數(shù)據(jù)。

3 實(shí)驗(yàn)

為驗(yàn)證本文方法對(duì)提高YOLOv8深度模型表面缺陷檢測(cè)精度的有效性，探究Copy-Paste數(shù)據(jù)增強(qiáng)的最優(yōu)比例。實(shí)驗(yàn)在CPU為AMD Ryzen 5 3600XT 6核，GPU為NVIDIA GeForce RTX3080，內(nèi)存為64"GB的環(huán)境下進(jìn)行，在Windows 10系統(tǒng)下基于Python語言和PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)。

為了便于統(tǒng)計(jì)，本實(shí)驗(yàn)采用的Copy-Paste數(shù)據(jù)增強(qiáng)的圖像均融合一個(gè)缺陷對(duì)象，如表1所示。其中，Base表示沒有利用Copy-Patse數(shù)據(jù)增強(qiáng)的原數(shù)據(jù)集；level 1～level 5表示利用Copy-Patse數(shù)據(jù)增強(qiáng)后，根據(jù)增加的數(shù)據(jù)量占整個(gè)數(shù)據(jù)集的比例分成的5個(gè)等級(jí)。

由表1可知：隨著Copy-Paste數(shù)據(jù)增強(qiáng)比例的增加，YOLOv8深度模型的表面缺陷檢測(cè)的平均精度（mean average precision， mAP）呈現(xiàn)先降低后升高的趨勢(shì)；但隨著Copy-Paste數(shù)據(jù)增強(qiáng)比例的進(jìn)一步增加，mAP升高的幅度減弱，其比例特性如圖6所示。

剛在瓷磚數(shù)據(jù)集加入Copy-Paste數(shù)據(jù)增強(qiáng)的瓷磚缺陷數(shù)據(jù)時(shí)，因?yàn)榧尤肓嗽瓉頉]有的新特征，增加了數(shù)據(jù)集的泛化性，所以會(huì)導(dǎo)致YOLOv8深度模型的mAP有所降低。但隨著Copy-Paste數(shù)據(jù)增強(qiáng)比例的增加，YOLOv8深度模型在訓(xùn)練過程中學(xué)習(xí)到新的特征后，mAP開始穩(wěn)步提升。而隨著Copy-Paste數(shù)據(jù)增強(qiáng)比例的進(jìn)一步增加，因YOLOv8深度模型能學(xué)習(xí)到的目標(biāo)特征已經(jīng)非常有限，且Copy-Paste數(shù)據(jù)增強(qiáng)的瓷磚缺陷數(shù)據(jù)越來越多，導(dǎo)致出現(xiàn)mAP升高幅度變緩的現(xiàn)象。

由圖6可以看出，最優(yōu)的Copy-Paste數(shù)據(jù)增強(qiáng)比例約為22%，此時(shí)既可以穩(wěn)定增加YOLOv8深度模型表面缺陷檢測(cè)的mAP，也不會(huì)過度稀釋原有的瓷磚數(shù)據(jù)集。因此，新構(gòu)建的瓷磚數(shù)據(jù)集可由78%的原始數(shù)據(jù)和22%的Copy-Paste數(shù)據(jù)增強(qiáng)的瓷磚缺陷數(shù)據(jù)組成，即有5 469幅分辨率為512×512的圖像。

4 結(jié)論

本文提出一種基于深度學(xué)習(xí)的瓷磚表面缺陷檢測(cè)數(shù)據(jù)增強(qiáng)方法。該方法可在像素級(jí)層面上，豐富瓷磚圖像的缺陷目標(biāo)數(shù)量，并提供新的缺陷特征，同時(shí)保留了缺陷的類別及位置信息，避免了低效的人工標(biāo)注。Copy-Paste數(shù)據(jù)增強(qiáng)的性能驗(yàn)證以及最優(yōu)比例實(shí)驗(yàn)，驗(yàn)證了本文方法應(yīng)用于YOLOv8深度模型檢測(cè)瓷磚表面缺陷的有效性。

?The author（s） 2024. This is an open access article under the CC BY-NC-ND 4.0 License （https：//creativecommons.org/licenses/ by-nc-nd/4.0/）

參考文獻(xiàn)

CAO T L， SONG K C， XU L K， et al. Balanced multi-scale target score network for ceramic tile surface defect detection[J]. Measurement，"2024，224：113914.

AGARWAL S， SINGH D. An adaptive statistical approach for non-destructive underline crack detection of ceramic tiles using millimeter wave imaging radar for industrial application[J]. IEEE Sensors Journal， 2015，15（12）：7036-7044.

王燕星.結(jié)構(gòu)型紋理背景工業(yè)產(chǎn)品圖像缺陷檢測(cè)研究[D].北京：北京交通大學(xué)，2018.

歐陽周，張懷亮，唐子暘，等.復(fù)雜紋理瓷磚表面缺陷檢測(cè)算法研究[J].西北工業(yè)大學(xué)學(xué)報(bào)，2022，40（2）：414-421.

LU J， SHI M， LU Y， et al. Multi-stage generation of tile images based on generative adversarial network[J]. IEEE Access， 2022，10：127502-127513.

ZHOU Y， GUO X. Small target segmentation method in complex background based on attention mechanism[C]//2021 IEEE International Conference on Consumer Electronics and Computer Engineering （ICCECE）， 2021： 104-107.

WANG Y， ZHANG K， WANG L， et al. An improved YOLOv8 algorithm for rail surface defect detection[J]. IEEE Access， 2024，12：44984-44997.

毛昭輝，張庭.火電機(jī)組軸承表面細(xì)小缺陷深度檢測(cè)方法仿真[J].計(jì)算機(jī)仿真，2020，37（3）：409-413.

趙澤民.基于改進(jìn)YOLOv6的軋鋼表面細(xì)小缺陷檢測(cè)研究與應(yīng)用[D].太原：中北大學(xué)，2024.

MEI S， YANG H， YIN Z. An unsupervised-learning-based approach for automated defect inspection on textured surfaces [J]. IEEE Transactions on Instrumentation and Measurement， 2018，67（6）：1266-1277.

YANG H， CHEN Y， SONG K， et al. Multiscale feature-clustering-based fully convolutional autoencoder for fast accurate visual inspection of texture surface defects[J]. IEEE Transactions on Automation Science and Engineering， 2019， 16（3）： 1450-1467.

HE K， LIU X， LIU J， et al. A multitask learning-based neural network for defect detection on textured surfaces under weak supervision[J]. IEEE Transactions on Instrumentation and Measurement， 2021，70：1-14.

CAO X， CHEN B， HE W. Unsupervised defect segmentation of magnetic tile based on attention enhanced flexible U-Net[J]. IEEE Transactions on Instrumentation and Measurement， 2022，71：1-10.

YAO H， YU W， WANG X. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing[J]. IEEE Transactions on Automation Science and Engineering， 2023，20（4）：2616-2635.

GHIASI G， CUI Y， SRINIVAS A， et al. Simple"Copy-Paste is a strong data augmentation method for instance segmentation"[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，"2021： 2918-2928.

作者簡(jiǎn)介：

楊學(xué)先，男，1969年生，學(xué)士，高級(jí)工程師，主要研究方向：機(jī)械及自動(dòng)化。E-mail："yangxx@kedachina.com.cn