基于深度學(xué)習(xí)的瓷磚在線快速無損檢測系統(tǒng)開發(fā)*

張濤川，段春梅

(佛山職業(yè)技術(shù)學(xué)院，廣東 佛山 528137)

0 引言

隨著瓷磚的廣泛應(yīng)用，對瓷磚的質(zhì)量要求越來越高。在實際生產(chǎn)中，質(zhì)量檢測是瓷磚生產(chǎn)線上一個非常重要的環(huán)節(jié)，很多企業(yè)都利用自動化機器檢測瓷磚的平整度和尺寸，但是一些常見的表面缺陷如裂紋、色差、凸塊、凹陷、孔洞和劃痕等還是依靠人工檢測[1]。為了推進瓷磚表面缺陷檢測的自動化，提高檢測的準(zhǔn)確率，很多學(xué)者采用不同的技術(shù)對瓷磚表面缺陷檢測進行研究。段春梅等[2]提出一種基于傅里葉變換的隨機紋理瓷磚表面缺陷高精度檢測方法，對采集的瓷磚圖像首先利用傅里葉變換得到頻率譜圖像，然后研究截止頻率參數(shù)對濾波的影響，設(shè)計最優(yōu)化濾波器進行濾波，再通過傅里葉逆變換獲得重構(gòu)圖像，達到抑制背景紋理信息，加強缺陷區(qū)域信息的目的，最后通過閾值化和形態(tài)學(xué)操作獲得缺陷區(qū)域。李軍華等[3]提出一種有效的多特征融合算法用于瓷磚缺陷檢測，該方法提取了改進后的SIFT和顏色矩的特征，然后將兩種區(qū)域特征分配權(quán)重進行融合，將融合的特征向量輸入到SVM分類器進行缺陷分類識別。張軍等[4]針對通過小波變換與形態(tài)學(xué)融合的差影法提取裂紋邊緣、花紋及部分背景信息，以減少背景區(qū)域?qū)θ毕輽z測的干擾。

近年來，圖像處理技術(shù)和機器視覺技術(shù)成為各種產(chǎn)品的缺陷檢測主流技術(shù)，但是由于表面缺陷具有任意形狀、大小和方向的特點，無法獲得標(biāo)準(zhǔn)缺陷特征描述，因此很多專家將深度學(xué)習(xí)應(yīng)用于缺陷分類和識別。本文以瓷磚為研究對象，結(jié)合機器視覺技術(shù)和深度學(xué)習(xí)對瓷磚表面缺陷進行自動檢測。

1 瓷磚在線快速無損檢測系統(tǒng)設(shè)計開發(fā)

為了采集瓷磚圖像，進行缺陷分類識別，本文設(shè)計了瓷磚在線快速無損檢測系統(tǒng)。該系統(tǒng)適用于不同尺寸的瓷磚快速檢測，包括移動瓷磚的傳送模塊、相機、激光器、支架。傳送模塊包括傳送首端、檢測區(qū)以及傳送末端。相機和激光器分別通過相機支架和激光器支架設(shè)置在檢測區(qū)的兩端，可自由調(diào)節(jié)高度和角度。檢測區(qū)的兩側(cè)均設(shè)有照明光源，光源均為方形光源。瓷磚在線快速無損檢測系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1 瓷磚在線快速無損檢測系統(tǒng)結(jié)構(gòu)示意圖

將瓷磚放入搭建好的檢測平臺上，通過傳送帶傳送瓷磚，當(dāng)瓷磚到達檢測區(qū)時，打開激光器與相機，相機將拍攝到的瓷磚圖片上傳至電腦，進一步進行缺陷檢測分析處理。其中，在檢測之前需要調(diào)節(jié)好相機的光圈、焦距和相機位置，調(diào)節(jié)好激光器的位置，保證激光器垂直于瓷磚表面。

2 數(shù)據(jù)采集與預(yù)處理

目前沒有開放的瓷磚樣本數(shù)據(jù)集，所以項目團隊與企業(yè)合作，由企業(yè)提供包含裂紋、黑點、劃痕和無缺陷的四類瓷磚樣品，通過樣機平臺采集樣本圖片，并采用翻轉(zhuǎn)、亮度調(diào)整等變換方法對樣本進行數(shù)據(jù)增強，有效地解決了訓(xùn)練樣本不足的問題。

對瓷磚樣本圖片采用雙邊濾波器進行降噪，保持邊緣細節(jié)平滑的操作。其雙邊濾波器的數(shù)學(xué)定義[5-6]為：

(1)

(2)

(3)

其中：g(x,y)為雙邊濾波后的圖像；Оx,y為以(x,y)為中心的空間領(lǐng)域像素集合；f(x,y)為Оx,y領(lǐng)域的中心像素值；σd、σr為雙邊濾波的參數(shù)；c為常數(shù);(m,n)為窗口模板的中心坐標(biāo)。

由于缺陷區(qū)域梯度信息對缺陷識別更加敏感，則采用梯度算法對所有采集的原始圖像進行梯度計算得到梯度圖像。梯度算法采用了Sobel算子，其計算公式如公式(4)～公式(6)所示[7]：

(4)

(5)

(6)

其中：Gr(x,y)為g(x,y)的梯度圖像；Gx和Gy分別為Sobel算子在水平方向和垂直方向上的卷積結(jié)果。

在Sobel算子檢測到的梯度圖像邊緣的基礎(chǔ)上，采用最佳閾值分割算法得到缺陷分割后的效果圖，如圖2所示。其中黑色區(qū)域為背景，白色區(qū)域為瓷磚表面所有缺陷。

圖2 圖像缺陷分割效果圖

3 深度學(xué)習(xí)模型設(shè)計

本文基于Alexnet網(wǎng)絡(luò)設(shè)計了一種以原始圖像和缺陷分割圖像為輸入圖像的雙流卷積神經(jīng)網(wǎng)絡(luò)模型。選擇雙流網(wǎng)絡(luò)可降低從RGB圖像單流網(wǎng)絡(luò)中提取有效缺陷特征的難度，以便有效且容易地識別瓷磚圖像的缺陷。雙流網(wǎng)絡(luò)模型如圖3所示。

圖3 雙流網(wǎng)絡(luò)模型

特征提取網(wǎng)絡(luò)由5層卷積層構(gòu)成，卷積層的設(shè)計與ALEXNET相同[8]。通過不同的卷積核提取不同的圖像特征，全連接層可以充當(dāng)分類器的作用，將卷積層提取的特征映射到新的特征向量中。本文采取的特征融合方式為決策級融合，特征融合的策略為最大值融合策略[9]。將融合好的特征輸入到全連接層，最后輸入到SVM分類器，得到缺陷分類結(jié)果。

4 實驗分析

本文將通過檢測平臺采集的樣本圖片進行了預(yù)處理及分類，總共有3 548張樣本圖像，針對裂紋、凸塊、凹陷、劃痕4種缺陷和無缺陷的5種類別進行分類識別，將獲得的瓷磚樣本圖像的數(shù)據(jù)集分成訓(xùn)練集、驗證集和測試集3部分，具體數(shù)據(jù)如表1所示。

表1 瓷磚樣本圖像數(shù)據(jù)集

本文采用有監(jiān)督訓(xùn)練方式，輸入圖像分別為瓷磚的原始圖像和其相對應(yīng)的缺陷區(qū)域圖像，其都有相對應(yīng)的“類別標(biāo)簽”，類別標(biāo)簽總共有五種，分別為裂紋、凸塊、凹陷、劃痕和無缺陷。在網(wǎng)絡(luò)訓(xùn)練和測試過程中，隨機抽取10次樣本進行訓(xùn)練，得到的雙流神經(jīng)網(wǎng)絡(luò)和單流神經(jīng)網(wǎng)絡(luò)檢測結(jié)果如表2所示。

表2 雙流神經(jīng)網(wǎng)絡(luò)和單流神經(jīng)網(wǎng)絡(luò)檢測結(jié)果比較

所采用的模型在訓(xùn)練集和驗證集上的準(zhǔn)確率和損失值隨迭代次數(shù)的變化情況分別如圖4和圖5所示。

由圖4和圖5可知：隨著訓(xùn)練迭代次數(shù)的增加，準(zhǔn)確率曲線平穩(wěn)增大，損失曲線平穩(wěn)減小，曲線相對平衡，波動較小。所提方法在6個epoch和300次迭代中都能獲得令人滿意的收斂效果。

圖4 訓(xùn)練集和驗證集的準(zhǔn)確率隨迭代次數(shù)的變化情況

圖5 訓(xùn)練集和驗證集的損失值隨迭代次數(shù)的變化情況

5 結(jié)語

本文提出了將雙流卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于瓷磚表面缺陷的分類和識別，這是第一次將雙流網(wǎng)絡(luò)應(yīng)用于瓷磚缺陷檢測，也是本文的一個重要創(chuàng)新。本文設(shè)計了不同的實驗，進行了大量的比較分析，驗證了提出的雙流卷積神經(jīng)網(wǎng)絡(luò)模型的有效性。但是本文的瓷磚樣本數(shù)據(jù)集不包括復(fù)雜背景圖案的瓷磚缺陷檢測，這也是后期需要研究的主要內(nèi)容。