基于深度卷積神經網絡的手機玻璃蓋板表面缺陷分類檢測研究

吳闖 于大泳

摘 ?要：為了實現手機玻璃蓋板表面點缺陷、線缺陷和塊狀缺陷的分類檢測，主要研究可以自動提取特征的深度卷積神經網絡模型。首先針對數據缺乏問題，提出子圖像劃分和隨機缺陷合成算法，構建了MPGC-DET數據集。為了提高模型的泛化性，以現代成熟的深度卷積神經網絡模型為基礎，并結合遷移學習和SE模塊，搭建手機玻璃蓋板表面缺陷分類檢測模型。實驗表明，最終分類準確率達96.40%，并且使用了Grad-CAM技術進行可視化分析，結果顯示模型是根據缺陷所在區域特征進行預測的，說明沒有出現過擬合現象。

關鍵詞：玻璃蓋板;深度卷積神經網絡;遷移學習;SE模塊;分類檢測

中圖分類號：TP391 ? ? 文獻標識碼：A

Abstract： In order to realize the classified detection of point defects， line defects and block defects on the glass cover surface of mobile phone， this paper proposes to study deep convolutional neural network （DCNN） model that can automatically extract features. First， to address the problem of data lack， this paper proposes to use sub-image division and random defect synthesis algorithms， and construct the MPGC-DET （Mobile Phone Glass Cover-Detection） data set. In order to improve the generalization of the model， this research takes modern and mature deep convolutional neural network model as the basis and combines transfer learning and SE modules， to build a classified detection model of mobile phone glass cover surface. Experiments show that final classification accuracy rate is 96.40%. Grad-CAM （Gradient-weighted Class Activation Mapping） technology is used for visual analysis. Results show that the proposed model performs prediction based on the characteristics of the area where the defect is located， which indicates that there is no sign of over-fitting.

Keywords： glass cover; deep convolutional neural network; transfer learning; SE module; classified detection

1 ? 引言（Introduction）

手機屏作為用戶與智能手機直接交互的部件，其外觀質量直接影響用戶對產品的體驗。智能手機屏主要由顯示模塊、觸控模塊、玻璃蓋板三部分組成，在生產過程中產生的表面缺陷主要集中于顯示模塊和玻璃蓋板。手機玻璃蓋板（Mobile Phone Glass Cover， MPGC）表面結構如圖1所示，主要由印刷區、可視化區和其他功能孔洞區組成[1]。

由于人工目檢效率低，目前逐漸使用基于機器視覺的檢測方法[2-3]。大多數基于圖像處理的視覺檢測算法只能判斷MPGC表面是否有缺陷，無法判斷缺陷的具體類別。為了能夠判斷缺陷的具體類別，過去常見的做法是手工設計特征提取函數，然后結合機器學習方法，比如支持向量機等[4]。但手工設計特征提取函數有一定的主觀性，分類準確率和通用性不高，因此本文將研究可以自動提取特征的深度學習算法，完成對MPGC表面缺陷的分類檢測。

2 ? 研究現狀（Research status）

近些年來，隨著深度學習理論的不斷發展，計算機視覺領域開始廣泛使用深度學習算法，并且都表現出了良好的性能，尤其是基于局部相關性和權值共享的思想，運用卷積神經網絡（Convolutional Neural Network，CNN）實現自動提取圖像高層特征，并依據這些特征對圖像進行檢測和分類。如今，為了實現產品質量檢測的智能化，許多工業領域中的自動檢測系統都逐漸采用卷積神經網絡替代傳統圖像處理算法[5-6]。目前針對不同的應用場景，研究人員主要通過改變成熟的深度卷積網絡結構和參數來提高模型檢測的準確性。HE等利用ResNet網絡提取鋼板表面缺陷特征[7]，通過多級特征融合的方法，將獲取到的特征送入RPN網絡，實現鋼板表面缺陷的分類與定位。其中，劃痕缺陷檢測精度最高，而對于鋼板表面的氧化區域檢測效果較差，并且構建數據集時需要大量的人力成本標注數據。RACKI等設計了一個包含分段和分類的緊湊網絡結構模型[8]，分段由三個固定卷積大小的卷積塊組成，提取到的特征用于紋理表面缺陷分類和異常分割。為了克服最大池化分割較小缺陷的不足，作者加入了平均池化層。CHEON等針對晶圓表面缺陷設計了一種包含四個卷積層、兩個池化層、一個全連接層、一個輸出層的網絡結構[9]，還將訓練好的CNN模型結合最近鄰算法來識別未知缺陷。針對多晶硅晶圓表面缺陷，HAN等使用RPN提取缺陷候選區域，送入U-net網絡中進行缺陷分割[10]。作者對比了不同大小圖像的分割結果，結果表明，256×256大小的分割效果較好。在壓敏電阻表面缺陷檢測中，YANG等提出一種基于深度卷積神經網絡（Deep Convolutional Neural Network， DCNN）的端到端的檢測方法[11]，即在ILSVRC-2012數據集上保持預訓練網絡參數不變，修改VGG16模型的卷積層數量，并在最后添加全局平均池化層。實驗表明，在保證檢測精度的情況下參數數量有所下降，檢測效率得到提升。DCNN在上述工業產品檢測中得到了很好的應用。

但在MPGC表面缺陷檢測領域中，深度學習算法的應用較少。一方面，由于訓練神經網絡需要大量的數據樣本，對于MPGC來說，收集包含不同種類缺陷的圖像是非常困難的，并且人工標注數據代價昂貴;另一方面，手機更新換代快，訓練好的模型可能不適用于下一個型號的產品，需要重新收集數據，重新訓練模型，時間成本高。但深度學習強大的自主學習能力可以有效提高分類檢測準確率。針對上述問題，本文提出一種隨機缺陷合成算法，生成偽樣本，構造出MPGC表面缺陷分類檢測數據集，并且結合遷移學習的概念對模型進行微調，改進DCNN模型，實現對MPGC表面缺陷的分類檢測。

3 ?缺陷分析及數據生成（Defect analysis and data generation）

3.1 ? 缺陷分析

制作MPGC的材料主要是玻璃和油墨，雖然外形簡單，但仍有10多道工序。首先使用CNC對玻璃原片進行開料，然后進行外形雕刻和打孔;為了使MPGC具備一定的硬度，還要進行鋼化處理;接著進行拋光處理，使其表面更光潔;最后使用油墨印刷玻璃表面;另外還有清洗、鍍膜等環節。其加工工藝復雜，稍有不慎就會導致玻璃蓋板表面產生劃痕、裂紋、臟污、黑點和白點等不同種類的缺陷。

在實際檢測中，對不同的缺陷進行分類，可以找出產生缺陷最多的工藝，進而改善工藝流程。玻璃蓋板表面缺陷種類非常多，并且有的缺陷種類產生頻率高，有的缺陷產生頻率低，但是按照具體的形狀，可以大致分為點缺陷、線缺陷和不規則的塊狀缺陷。由于現代工藝的進步，在實際生產過程中缺陷占比相對少，大多數情況下，一張MPGC圖像上只會產生一種類型的缺陷。為此，本文將按照圖像級別的標簽對點缺陷、線缺陷和塊狀缺陷的MPGC圖像進行分類檢測。

3.2 ? 數據生成

深度學習本質上是一個數據驅動的算法，數據量越多意味著泛化性能越好。但對于MPGC來說，收集數量足夠且平衡的樣本是非常困難的，這在一定程度上限制了深度學習在工業檢測領域中的應用。

為了解決樣本稀缺的問題，從而更好地研究深度學習算法在缺陷檢測上的應用，本部分提出結合子圖像劃分和隨機缺陷合成算法來構造MPGC表面缺陷檢測數據集。首先用工業相機采集某型號MPGC表面無缺陷圖像，如圖2（a）所示，采集到的圖像分辨率為1080×1808。為了后續方便處理，通過圖像縮放和仿射變換的方式提取圖像感興趣區域，如圖2（b）所示，最終圖像分辨率為226×477。

接著使用128×128的滑動窗口按照步長為10的距離，分別在X軸和Y軸方向上進行滑動，截取子圖像，如圖3所示。采用滑動窗口分塊圖像不僅能增加樣本數量，而且可以保證送入神經網絡模型訓練的圖像尺寸大小相等，避免模型訓練時因全連接層參數數量不一致而報錯。

按照上述方法最終生成了1，403 張無缺陷的MPGC子圖像，然后利用本文提出的隨機缺陷合成算法在無缺陷的圖像上分別增加點缺陷、線缺陷和不規則的塊狀缺陷。隨機缺陷合成算法流程如表1所示，輸入為無缺陷的樣本數量，即前文利用滑動窗口生成的子圖像數，表示子圖像集合，然后利用隨機數生成器RNG，隨機選擇顏色信息、坐標信息，以及缺陷數量和缺陷大小;接著將作為參數分別送入線缺陷生成函數、點缺陷生成函數和塊狀缺陷生成函數中，隨機生成的缺陷與無缺陷圖像疊加，與此同時，利用loc函數生成缺陷類別和相關位置信息分別賦給、和;最后輸出線缺陷子圖像及其標簽信息、點缺陷子圖像及其標簽信息、塊狀缺陷子圖像及其標簽信息。

按照以上方法生成了1，403 張無缺陷圖像、1，403 張線缺陷圖像、1，403 張點缺陷圖像和1，403 張塊狀缺陷圖像，構建了總計包含5，612 張圖像的MPGC表面缺陷分類檢測數據集，本文將其命名為MPGC-DET，圖4展示了隨機缺陷的合成效果。

4 ?基于DCNN的缺陷分類模型（Defect classification model based on DCNN）

4.1 ? 缺陷分類模型搭建

基于局部相關性和權值共享的卷積神經網絡具備強大的自動特征提取能力，而圖像特征正是區分圖像類別的重要依據。假設輸入圖像為X，則CNN提取特征圖的核心表達式定義為：

其中，O為輸出特征圖，W為卷積層的權重參數，b為偏置項，*表示卷積運算，表示激活函數，用來增強非線性數據的表征能力。本文將選取ReLU為激活函數，另外加入池化層和批歸一化層可以進一步改善CNN模型的特征提取能力。DCNN模型就是網絡層數較深的CNN模型，現代成熟的DCNN模型結構有AlexNet、VGGNet和ResNet等[12-14]。其中ResNet創造性地加入了殘差跳連結構，解決了深層模型的梯度彌散和梯度爆炸問題，使得準確率進一步提升。

為了保證模型的通用性和準確性，本文以ResNet34為基礎搭建MPGC表面缺陷分類模型[14]，并將其標記為MDCM（MPGC Defect Classification Model）。模型整體結構如表2所示。

相較于原論文的ResNet34模型，本文將第二層的最大池化層改成了全局平均池化層，從而可以保證在提取缺陷特征時不會剔除關鍵像素點。Conv1_x是一個包含多個卷積層和批歸一化層的塊結構，并且最后輸出特征與輸入特征相加，避免了梯度值為零的情況。Conv2_x、Conv3_x和Conv4_x與Conv1_x的結構類似，在此不再贅述。但值得注意的是，本文在Conv4_x中嵌入了SE（Squeeze-and-Excitation）模塊[15]，這樣做是為了學習通道的權重，從而增強缺陷的特征信息;然后經過平均池化層和全連接層輸出長度為4的特征向量;最后加入了Softmax函數，保證每個輸出值都在0到1之間，且輸出之和為1。Softmax函數定義為：

其中，表示第i 個類別的輸出值，d表示類別個數。

4.2 ? 遷移學習與微調

現代成熟的DCNN模型都是以ImageNet數據集為基礎展開模型訓練的，ImageNet是由研究人員花費了大量時間和資金收集的具有百萬數量級的數據集，而且大都是包含自然界中常見物體的圖像。MPGC屬于工業產品，優良的加工工藝不可能產生太多包含缺陷的MPGC表面圖像，這就導致以ImageNet為基礎的DCNN模型沒有過多的數據去學習和更新參數，從而不能充分提取用于分類的MPGC表面缺陷特征。為了能夠更好地發揮MDCM在MPGC表面缺陷分類檢測上的作用，本文使用遷移學習（Transfer Learning， TL）的方式解決因參數不足而導致模型泛化能力弱的問題。TL實際上是將模型從源數據集學習到的知識遷移到目標數據集中去，雖然ImageNet中的圖像與MPGC表面圖像差別很大，但根據傳統圖像處理理論，任何圖像都包含邊緣、紋理、角點和形狀等可以直觀察覺到的特征信息，而DCNN模型的底層便是從這些直觀特征信息開始學起，直到高層學習更抽象的特征，才作為物體的分類依據，所以TL可以幫助MPGC缺陷分類模型初始化一些底層特征參數。常見的TL方式有：（1）載入預訓練權重，訓練所有參數;（2）載入預訓練權重，只訓練最后幾層參數;（3）載入預訓練權重后，修改或者添加最后的全連接層，然后只訓練全連接層參數，這種方式實際上被稱為微調（Fine Tuning， FT）。如圖5所示，是基于微調的遷移學習原理示意圖。

5 ? 實驗分析（Experiment analysis）

5.1 ? 實驗環境與評價指標

本文實驗的硬件環境如下：CPU為8核的Intel酷睿i7，GPU為NVIDIA的RTX 2060，GPU內存為6 GB。軟件環境如下：PyTorch作為深度學習框架，Python作為開發語言，Pycharm作為編程環境。

為了充分評價缺陷分類模型的性能，本文引入準確率Accuracy、精確率Precision、召回率Recall和F-Score分數作為評價指標。數學表達式定義為：

其中，TP表示真實值為正樣本、預測值為正樣本的個數;FP表示真實值為負樣本、預測值為正樣本的個數;FN表示真實值為正樣本、預測值為負樣本的個數;TN表示真實值為負樣本、預測值為負樣本的個數。

5.2 ? 訓練策略與結果分析

本文按照7：3的比例將MPGC-DET劃分為訓練集和測試集。訓練模型時選擇的損失函數為交叉熵（Cross Entropy，CE）函數，其數學表達式定義為：

其中，y為輸出概率值。優化器選擇帶有一階動量的隨機梯度下降法（Stochastic Gradient Descent with Momentum， SGDM）。動量超參數設置為0.9，初始學習率設置為0.005，每5 個迭代輪數將初始學習率乘以0.33。同時為了防止過擬合，本文使用L2正則化，將權重衰減系數設置為0.0005。然后根據圖5的遷移學習原理，首先加載在ImageNet數據集上預訓練好的模型權重，然后凍結MDCM的特征提取層，單獨訓練MDCM的全連接層。

同時，本文選取了未加入遷移學習的VGG16和ResNet34模型作為實驗對比。經過30 輪次的迭代，訓練結果如圖6所示。

圖6（a）為訓練集的損失函數變化曲線，圖6（b）為測試集的準確率變化曲線。從圖中可以看出，本文結合基于微調的遷移學習原理搭建的MDCM模型損失函數能快速收斂，準確率也在5 個迭代輪數后逐漸收斂，并維持在較高值。直接使用VGG16模型訓練MPGC-DET數據集時，損失函數不能收斂，準確率也一直維持在30%左右;而直接使用ResNet34模型訓練MPGC-DET，損失函數雖然快速減小，但測試集的準確率只能維持在40%左右，且不穩定，說明模型的泛化性能較弱。

根據式（3）—式（6）計算出的評價指標結果如表3所示，其中本文提出的MDCM方法在MPGC-DET測試集上的準確率為96.40%，均高于VGG16和ResNet34模型;精確率為96.42%，召回率為95.37%，F-Score得分為95.89%，均高于VGG16和ResNet34模型。另外ResNet34模型的各指標都高于VGG16模型，說明帶有殘差結構的模型更適合分類檢測MPGC表面缺陷，但準確率依然不高。MDCM的訓練結果表明，結合遷移學習和SE模塊可以進一步提升MPGC表面缺陷分類檢測準確率。

5.3 ? Grad-CAM可視化

為了更直觀地展示本文提出的模型在MPGC缺陷分類檢測上的有效性，本文利用梯度類加權激活映射（Gradient-weighted Class Activation Mapping， Grad-CAM）可視化技術分析特征圖與預測特征圖之間的關系[16]，判斷模型最終提取到的預測特征圖是否更多地關注缺陷所在區域，從而防止過擬合的發生。

從圖7中可以看到，當模型預測MPGC表面存在缺陷的類別時，更多地關注了MPGC表面缺陷所在區域，說明提取到的分類特征是缺陷所在區域的特征，證明模型沒有產生過擬合的現象，有一定的泛化性。

6 ? 結論（Conclusion）

研究了基于深度卷積神經網絡的手機玻璃蓋板表面缺陷分類檢測方法，最終實驗顯示，本文搭建的分類檢測模型在MPGC-DET數據集上的分類準確率達96.40%，精確率達96.42%，召回率達95.37%，F-Score得分達95.89%，均優于直接使用成熟的深度卷積神經網絡模型方法。但本文合成的偽缺陷不能保證與真實缺陷完全一致，所以未來可以繼續收集真實缺陷，進一步提升實際應用價值。

參考文獻（References）

[1] YUAN Z C， ZHANG Z T， SU H， et al. Vision-based defect detection for mobile phone cover glass using deep neural networks[J]. International Journal of Precision Engineering and Manufacturing， 2018， 19（6）：801-810.

[2] 簡川霞.手機玻璃屏表面缺陷機器視覺檢測與分類方法研究[D].廣州：廣東工業大學，2017.

[3] LI D， LIANG L Q， ZHANG W J. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis[J]. International Journal of Advanced Manufacturing Technology， 2014， 73（9/10/11/12）：1605-1614.

[4] SINDAGI V A， SRIVASTAV A S. Domain adaptation for automatic OLED panel defect detection using adaptive support vector data description[J]. International Journal of Computer Vision， 2016， 122（2）：1-19.

[5] CHA Y J， CHOI W. Deep learning-based crack damage detection using Convolutional Neural Networks[J]. Computer Aided Civil and Infrastructure Engineering， 2017， 32（5）：361-378.

[6] PARK J K， KWON B K， PARK J H， et al. Machine learning-based imaging system for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing Green Technology， 2016， 3（3）：303-310.

[7] HE Y， SONG K， MENG Q， et al. An end-to-end steel surface defect detection approach via fusing multiple hierarchical features[J]. IEEE Transactions on Instrumentation and Measurement， 2020， 69（4）：1493-1504.

[8] RACKI D， TOMAZEVIC D， SKOCAJ D. A compact convolutional neural network for textured surface anomaly detection[C]// BOWYER K. IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018：1331-1339.

[9] CHEON S， LEE H， CHANG O K， et al. Convolutional neural network for wafer surface defect classification and the detection of unknown defect class[J]. IEEE Transactions on Semiconductor Manufacturing， 2019， 32（2）：163-170.

[10] HAN H， GAO C， ZHAO Y， et al. Polycrystalline Silicon wafer defect segmentation based on deep convolutional neural networks[J]. Pattern Recognition Letters， 2020， 130：234-241.

[11] YANG T， PENG S， HUANG L. Surface defect detection of voltage-dependent resistors using convolutional neural networks[J]. International Journal of Material Forming， 2020， 79（9/10）：6531-6546.

[12] KRIZHEVSKY A， SUTSKEVER I， HINTON G. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017， 60（6）：84-90.

[13] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Vision and Pattern Recognition， 2014， 6（3）：1-14.

[14] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[J]. Computer Vision and Pattern Recognition（CVPR）2016， 2016（12）：770-778.

[15] HU J， SHEN L， SUN G， et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 42（8）：2011-2023.

[16] SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： Visual explanations from deep networks via gradient-based localization[J]. International Journal of Computer Vision， 2020， 128（2）：336-359.

作者簡介：

吳 ? 闖（1994-），男，碩士生.研究領域：圖像處理，機器視覺.

于大泳（1977-），男，博士，高級工程師.研究領域：并聯機構精度分析標定，電磁兼容.