基于深度學習的點膠缺陷檢測

文/查廣豐 胡泓

在工業生產中，以往的人工檢測由于其費時費力而不再受到關注，在對產品進行缺陷檢測時，更多的是采用機器視覺的方法，從而達到提高生產效率和降低成本的目的，進而使得產品更加具有競爭力。目前，在機器視覺方面有兩類算法，分別為數字圖像處理算法和基于卷積神經網絡的深度學習算法。

目前有許多學者在點膠缺陷檢測領域提出了基于數字圖像處理的方法，如莊付等人[1]利用傳統圖像處理技術對太陽電池串滴膠質量進行檢測，主要通過圖像處理等操作得到膠層的面積、質心以及自定義的復雜度公式進行對膠層的質量判定，雖然可作為一種太陽電池串滴膠的質量評價標準，但是整個過程較為繁瑣，需要特定制定各種標準，算法泛化性不足。陶思理等人[2]研究出了一套用于檢測干電池封膠質量的視覺檢測系統，該系統能夠對干電池封膠過程中的多種缺陷進行識別，但該系統的圖像處理效率低，圖像傳輸效率還需要改進。

現如今，隨著計算機性能的不斷提升，機器學習在缺陷檢測這一領域由淺層次結構模型慢慢過渡到深層次結構模型，例如支持向 量 機[3](Support Vector Machines，SVM)、Boosting[4]、最大熵方法[5](如 Logistic Regression，LR等)這一系列的淺層次結構模型在處理圖像、視頻、語音、自然語言等高維數據方面表現較差，特征提取難以滿足要求，而深度學習技術彌補了這一缺陷，在提取物體深層次的結構特征方面更具有優勢。在工業缺陷檢測這一領域中，深度學習有著至關重要的作用。李致金等人[6]提出一種基于主成分分析法的深度學習模型，構建印刷標簽檢測系統，從中進行信息提取和學習處理。毛欣翔等人[7]構建了基于YOLOv3模型的連鑄板坯表面缺陷檢測平臺。姚明海等人[8]運用深度學習模型對磁片表面缺陷進行檢測，并達到了良好的效果。

本文的研究對象是膠條。膠條的缺陷主要分為以下幾種：多膠、少膠、斷膠、扭曲以及含有氣泡。膠條的主要缺陷如圖1所示。

1 深度學習模型選擇

一般在利用深度學習算法進行缺陷檢測時，首先要確定的是網絡模型。因為膠條種類分為6類，類別數量不是很多，故我們初步選擇Alex、Mobile以及Lenet-5三種比較簡單的網絡模型。在實驗中，我們采集的缺陷圖片數量為：正常1300張、膠條扭曲355張、膠條斷膠413張、膠條多膠492張、膠條少膠624張、膠條含有氣泡506張，總計3690張圖片。在此基礎上，我們分別利用三種模型對其進行訓練，最終得到的模型檢測效果以及單張圖片檢測時間如表1所示。

從表1中可以發現，Lenet-5模型的準確率相對最高，同時其單張圖片的檢測時間也是最少，所以本文最終選擇Lenet-5模型。

2 經典Lenet-5模型結構

Lenet-5模型是Yann LeCun[9]提出的一種經典的卷積神經網絡，最先用于手寫數字識別，對于圖像特征提取非常有成效。該模型網絡結構圖如圖2所示，在不包括輸入層的情況下，整個模型總共為7層，其中包括卷積層、池化層以及全連接層三種類型。

2.1 卷積層

卷積網絡運算之所以能夠改進傳統的機器學習系統，是因為其含有以下三個特點：稀疏交互、參數共享以及等變表示。首先，第一個特征是稀疏交互，主要通過將卷積核的大小改變為遠小于輸入大小來實現，從而減少模型訓練的計算負荷并降低模型的存儲要求；其次，第二個特征是參數共享，其特征在于在模型的同一個層中使用相同的參數，這對模型的存儲也提供了巨大的便利；最后，第三個特點是等變表示，主要是指輸出隨著輸入的變化而變化，它的變化方式是一致的，利用此性質可以方便的處理圖形或者時間序列。卷積層得到的特征圖為每個卷積核通過“滑動窗口”的方式提取出輸入數據不相同位置的特征[10]。該特征圖是由輸入圖像與卷積核卷積運算之后加上一個偏置，然后通過激活函數得到的。卷積公式為：

式中，l代表的是目前的卷積層數，k為卷積核，b表示加在每一個卷積核上的偏置，*代表卷積運算，Mapj表示第j個特征圖，f代表激活函數。

以圖2中的C3層為例，它的上層為S2。S2層中共含有6個特征圖，尺寸為14×14。C3層的卷積核的尺寸大小為5×5，卷積步長為1，且不進行全0填充操作，所以C3層得到的特征圖尺寸大小為(14-5+1)/1=10，即10×10，特征圖的個數，即卷積核的個數為16。卷積的過程示意圖如圖3所示，圖中l-1層的特征圖尺寸為6×6×1，經過與l層的卷積核卷積運算之后得到了4×4×6的特征圖，即每一個卷積核都會與特征圖進行卷積運算，從而得到新的特征圖，而卷積核的個數也就等于得到的特征圖的個數。C3層包含的參數個數為卷積核參數和偏置項之和，則每個特征圖的參數為5×5+1=26個，故訓練時總共的訓練參數為26×16=2416個，連接數為10×10×16×(25+1)=41600個。

表1：各模型的精度以及單張圖片測試時間

表2：經典Lenet-5模型連接參數

表3：改進Lenet-5模型連接參數

表4：改進Lenet-5模型性能表

2.2 池化層

池化層主要是將某一區域的最大值或者平均值來代替這一區域范圍在神經網絡上的輸出，有效地縮小矩陣的尺寸，從而減少最后全連接層中的參數。最常用的兩種池化方法是最大值池化(max-pooling)和平均值池化(meanpooling)，具體公式為：

式中，pool(.)代表的是池化函數，最大值池化則取一定范圍下的像素最大值作為輸出結果，平均值池化則說明將某范圍下的像素平均值作為輸出結果，每個特征圖包括參數β和b[11]。

以池化層S4為例，其中包括16個特征圖，特征圖中的每一個節點都是以C3層中2×2的局部領域作為輸入的，步長為2，由此可得到輸出層的尺寸為輸入出層的四分之一，即5×5。池化過程示意圖如圖4所示，圖中l-1層的特征圖尺寸為4×4，在經過池化之后，得到的是2×2的特征圖。一般來說，池化層內的參數都是人為設定的，所以不需要進行訓練。

3 改進訓練方法

從數據上可以看到，經典Lenet-5模型的準確率也只有75%，并不能滿足我們的需求，所以我們需要對訓練方法進行改進。本文打算從兩個方面對訓練方案進行改進，一是通過數據增強得到更多的訓練數據，二是對經典的Lenet-5網絡結構進行改進。

3.1 數據增強

由于實際含有的圖片比較少，而在對模型進行訓練時，神經網絡的參數數量又非常巨大，要想使得這些參數正常工作則需要大量的數據進行訓練，一種方法是獲得新的數據，但由于成本較高，故不推薦，第二種方法是對數據進行增強，即利用已有的數據進行例如翻轉、平移或旋轉等操作，增加樣本數量，提高算法的精度。本文中采用亮度和對比度變換兩種操作。

圖1：點膠缺陷樣品圖

在實際生產中，由于現場環境的多變、機器的抖動和光源的變換都會引起圖像上亮度和對比度的變化。對圖片進行適當的亮度和對比度變換，能夠有效的增強算法的魯棒性。圖5展示了進行亮度變換的效果圖。

3.2 改進Lenet-5模型

由于采集到的數據圖片尺寸為800×600，每張圖片包含的信息量太大，并且某些缺陷特征并不是很明顯，顯然經典Lenet-5網絡模型會因為網絡的學習能力不足而產生過擬合，因此不能夠很好的對圖片進行而分類。故本文對網絡結構進行了改進，首先將輸入層的大小由32×32改為28×28，再將圖2中的F5和F6兩個全連接層合并為一層，同時加上dropout層，最后通過softmax激活函數輸出，具體的結構參數變化見表2和表3。

從表中可知，模型由之前的7層變為6層，減少了網絡的臃腫度，同時在F5全連接層中加入了dropout，

dropout是Hinton[12]在2012年提出的，是對具有深度結構的人工神經網絡進行優化的方法，在學習過程中通過將隱含層的部分權重或輸出隨機歸零，降低節點間的相互依賴性，從而實現神經網絡的正則化，降低其結構風險。圖6展示了神經網絡在使用dropout前后的對比圖。

4 點膠缺陷識別實驗分析

4.1 實驗平臺及方法

圖2：經典Lenet-5模型結構

圖3：卷積過程示意圖

本文實驗設備為個人筆記本電腦，操作系統是Windows 64位，CPU為Inter(R) Core(TM) i5-3230M (頻率2.60GHz)，計算機內存為4G。在運用深度學習時的框架為Tensorflow，訓練時使用生成截斷正態分布的方法初始化參數，將AdamOptimizer作為優化器的優化算法，softmax交叉熵函數作為損失函數，網絡的超參數如下：批次處理大小(mini_batch)為128，最大迭代次數(max_step)為17500，學習率(learning_rate)為0.001，學習率每100輪更新一次，在加入的dropout層中設置的參數為0.5。在經過數據增強后，各類缺陷圖片的數量分別為：正常3900張、膠條扭曲1065張、膠條斷膠1239張、膠條多膠1476張、膠條少膠1872張、膠條含有氣泡1518張，總計11070張圖片。

4.2 實驗結果

圖7為經典的Lenet-5網絡模型下的訓練集損失和測試集損失變化曲線，由于訓練的時候觀察到測試集損失一直處于離散狀態，故只訓練到6000輪。圖8為改進的Lenet-5網絡模型下的訓練集損失和測試集損失變化曲線。從圖中可以明顯的看出，經典的Lenet-5網絡模型的訓練集損失趨于穩定，但其測試集損失卻一直在變化，且距離訓練集還有一定的距離，產生了明顯的過擬合現象。改進的Lenet-5網絡模型在加入dropout層以及數據增強后減少了模型過擬合程度。

由于模型的準確率受到多方面的因素影響，故本文在保持F1指標最佳的情況下對超參數進行了調試，最終得到的算法性能表如表4所示。

從表中我們可以看出，相比于改進之前的方案，檢測的準確率得到了大幅提升。重要的是，每一類缺陷的檢測準確率都很高，達到了實際生產中的精度需求。

5 結語

本文首先通過比較Alex、Mobile以及Lenet-5三種模型在點膠圖片分類中的表現，最終選擇了Lenet-5網絡模型，然后運用數據增強技術以及對經典的Lenet-5網絡模型結構進行修改得到改進的訓練方法。實驗表明，經典的Lenet-5模型對于點膠圖片存在過擬合現象，訓練精度不是很高，改進的Lenet-5模型由于加入了dropout層以及在擁有大量數據圖片下的基礎上減少了過擬合現象，且在各類缺陷圖片的檢測精度上也存在一定的優勢，達到了工業檢測中對點膠缺陷檢測精度的要求。

圖4：池化過程示意圖

圖5：亮度變化對比

圖6：dropout原理圖

圖7：經典Lenet-5模型交叉熵損失

圖8：改進Lenet-5模型交叉熵損失