基于機器視覺的透明塑料件缺陷檢測

關日釗，吳 磊，徐焯基

（廣東工業大學機電工程學院，廣東 廣州510006）

0 引言

在實際生產中，產品表面缺陷問題一直是企業十分重視的問題。隨著圖像處理技術的的不斷發展，基于機器視覺的物體表面缺陷檢測方法成為了快速而且有效的檢測方式之一。國內外學者對此進行了大量的研究。從研究方法來看主要分為三種：基于傳統圖像處理方法、基于機器學習方法和基于深度學習方法。國內周江[1]等通過二值化和閉操作對圖像進行預處理，然后將目標區域面積和模版區域面積進行了差分運算，選出差值大于規定值的區域作為缺陷區域，實現了磁鋼片裂紋缺陷檢測；國外的Jae Y.LEE[2]等研究了利用自適應閾值方法對液晶顯示器表面的區域進行缺陷檢測。傳統的機器學習方法方面，國內胡方尚[3]等針對印刷品缺陷檢測的問題，提出了一種基于改進多類支持向量機（SVM）的印刷缺陷檢測方法，與傳統的一對一型向量機方法相比，其檢測速度更快和識別準確率更高。國外Siyang Tian[4]等提出了一種結合遺傳算法的改進極限學習機（ELM）機器學習方法對熱軋鋼板表面缺陷的進行檢測識別，最高識別精度可以達到98.46%，滿足了實際工業生產需要。在2012年，Hinton課題組通過構建CNN網絡AlexNet[5]在ImageNet圖像識別比賽中一舉得到冠軍，自那年起，深度學習正式進入一個快速發展期。在缺陷檢測方面，余永維[6]等提出了一種基于深度學習特征匹配的鑄件缺陷三維定位方法，定位誤差小于5.52%.國外的Shahrzad Faghih-Roohi[7]等提出了一種基于深度卷積網絡的鋼軌表面缺陷檢測方法，檢測準確率達到了92%.

本文研究的對象是一種透明塑料制品，其缺陷為裂痕缺陷，如圖1所示。

圖1 透明塑料制品，其缺陷為裂痕缺陷圖

對于這種裂痕檢測難點主要有兩個，一個是塑料表面具有豎直方向和與水平方向夾角10度條紋，容易與裂痕混淆；另外一個是在相同強度背光光照下，每一個塑料件由于材料不均勻導致透光程度不一樣，利用傳統的模版差分方法顯然存在問題。針對上述兩個難點，本文分別以基于SVM機器學習方法和基于Faster R-CNN深度學習方法對透明塑料件進行裂痕缺陷檢測，實驗結果表明，基于Faster R-CNN檢測方法的效果優于基于SVM檢測方法的效果。

1 基于HOG+SVM檢測

1.1 HOG特征

方向梯度直方圖（Histogram of Oriented Gradient，HOG）是一種用來邊緣和形狀信息的特征描述子。首先將圖像分成小的連通區域，稱作細胞單元。然后采集細胞單元中各像素點的梯度的或邊緣的方向直方圖，最后把這些直方圖組合起來就可以構成特征描述器[8]。其計算過程如圖2所示。

圖2 HOG計算流程圖

其中計算圖像梯度需要分別計算橫坐標和縱坐標方向的梯度，如（1）式所示。

式中Gx（x，y），Gy（x，y），H（x，y）分別表示輸入圖像中像素點（x，y）處的水平方向梯度、垂直方向梯度和向數值。

根據（1）式中的結果計算每個像素位置的梯度幅值和方向值，如（2）式所示。

經過圖1的一系列計算過程后，會得出一個由多個block直方圖向量組成的HOG特征向量，圖3為透明塑料件的可視化HOG特征圖。

圖3 HOG可視化特征圖

1.2支持向量機（SVM）

支持向量機是一種有監督的機器學習算法，通常用于解決分類問題和回歸分析問題[9]。該算法將向量映射到一個高維空間里，在這個空間里面建立一個最大間隔的超平面，使兩個平行的超平面之間的距離達到最大化，如圖4所示，整個算法可以用（3）式描述：

其中ω和b是超平面的參數，（xi，yi）為點集。

圖4 SVM原理圖

1.3實驗步驟

在利用SVM訓練之前，需要采集正負樣品作為訓練樣品。本實驗選擇正負樣品各850個，其中負樣品為塑料制品的裂痕區域圖像，而正樣品為非裂痕區域圖像。整個實驗流程如圖5所示。

圖5 SVM訓練流程圖

在測試階段，本實驗選擇有、無裂痕塑料件圖像各60張作為測試樣品，通過滑窗方式提取局部圖像的HOG特征，然后輸入到SVM輸出的模型進行分類。具體實驗數據將在第4小節展示，圖6為部分實驗結果，圖中框選出來的部分為裂痕區域。

圖6 SVM檢測結果圖

2 基于Faster-R CNN檢測

目標檢測技術就是將原始圖像中的區域（Region of Interest，ROI）從原始圖像的背景中加以區分出來，并準確定位ROI區域的位置[9]。在2012年的ImageNet競賽中，Alex等人組成的團隊采用的卷及神經網絡CNN[10]在圖像分類中和目標定位中分別達到84.7%和39.1%的正確率。相對傳統的機器學習方法無論在速度上還是正確率上都有明顯的提高。隨后Ross Girshick等人在此基礎上提出了基于CNN特征圖的區域定位網絡結果模型R-CNN[11]以及R-CNN網絡結構模型的改進模型Fast R-CNN[12]和Faster R-CNN[13]，進一步地提高了目標檢測定位的正確度和速度。

2.1 Faster R-CNN框架

Faster R-CNN框架可以簡單地看作由區域生成網絡（Region Proposal Networks，RPN）和 Fast R-CNN組成，如圖7所示。整個框架包括四個基本步驟：候選區域生成，特征提取，分類，位置精修。

圖7 Faster R-CNN結構圖

圖中RPN是全卷積神經網絡，用于提取候選框，而Fast R-CNN對RPN生成的候選框進行目標識別和定位。與其它目標檢測框架不同的是，Faster RCNN并沒有限制原始圖輸入的大小，這樣可以避免由于對原圖進行縮放而丟失一些細節特征。此外，框架對Fast R-CNN和RPN進行了一個權值共享的操作，減少了訓練參數，有效地降低了網絡的計算量和訓練難度。

2.2區域生成網絡（RPN）

RPN的核心思想是使用CNN卷積網絡直接生成候選區域，跟其它目標檢測框架的Selective Search方法一樣。本質上就是在最后的特征圖上進行滑動窗口操作，由于錨子（anchor）機制和邊框回歸的原因，最終可以得到 1∶1、2∶1、1∶2 三種尺度長寬比的候選區域。

整個過程如圖8所示，使用一個n×n（論文取3）的滑動窗口在特征圖上滑動掃描，然后通過一個全連接層把每一個滑窗位置映射到一個低維的特征向量，對于ZF網絡是256維。每個滑窗位置考慮k（論文取9）中可能的候選區域，這就意味著每個滑窗位置會同時預測最多9個候選區域，對于一個W×H的特征圖，就會產生W×H×k個候選區域。接著將低維的特征向量輸入兩個并列的全連接層，即reg回歸層和cls分類層，其中reg回歸層預測候選區域的坐標，cls分類層判斷候選區域屬于前景還是背景。

圖8 RPN原理圖

2.3實驗步驟

本實驗的實驗環境是Caffe+GTX1070，利用ZF-Net模型進行微調（fine tune），微調是指利用已經訓練好的模型的參數進行網絡參數的初始化，這樣可以節省訓練時間和提高訓練的精度。為了防止梯度過大，網絡初始學習率為0.001，權重衰減率為0.0005，動量設置為0.9.此外訓練樣品共850張圖片，訓練迭代次數為3萬次，類別數目為2，分別是裂痕和背景?？傮w流程如下圖9所示。

圖9 Faster-RCNN訓練流程圖

在前期處理階段需要對訓練樣品進行預處理，拉普拉斯濾波作為一種多尺度分析工具能使訓練樣品經過濾波后展現更多的紋理特征。同時拉普拉斯式一種微分算子，可定義為（5）式：

其離散形式為（6）式

它的應用可增強圖像中灰度突變的區域，減弱灰度緩慢變化區域[15]，達到一個銳化的處理效果，如圖10所示，經過拉普拉斯處理后的圖片，紋理特征更加突出明顯。

圖10 拉普拉斯效果圖

圖11為訓練階段中總的損失值隨迭代次數的變化曲線圖，從圖中可以看出損失函數在迭代到15 000次的時候已經趨于收斂。

圖11 Faster-RCNN損失曲線圖

最后通過利用訓練出來的模型可以對測試樣品進行測試，圖12為部分測試結果，圖中框選出來的部分為裂痕區域。

圖12 Faster-RCNN檢測結果

3 實驗結果分析

對比實驗中采用正負樣品圖片各100張，具體實驗數據表1所示。

表1 實驗結果

從表中可以看出，基于傳統的SVM機器學習檢測方法的準確率和召回率比基于Faster-RCNN檢測方法分別低20%和11%.在時間上，基于Faster-RCNN檢測方法用時比基于SVM檢測方法要短。此外，根據圖5和圖11中的檢測結果來看，在檢測到裂痕的情況下，基于Faster R-CNN方法在定位上更加的準確，框選的部分幾乎為裂痕的最小包圍盒。

4 結束語

本文研究的課題為透明的塑料制品的裂痕檢測問題。從傳統的HOG+SVM機器學習方法和基于Faster R-CNN的方法進行分析和對比。實驗表明，基于Faster R-CNN的方法從準確率、處理時間和定位精度上來看，比基于HOG+SVM的方法效果更好。綜合各方面因素考慮，深度學習在缺陷檢測領域中發揮的作用將越來越大。

參考文獻：

[1]周 江，任 錕，帥英琦，等.基于機器視覺的磁鋼片缺陷檢測研究[J].機電工程，2014，31（12）：1541-1546.

[2]Lee J Y，Yoo S I.Automatic detection of region-mura defect in TFT-LCD[J].IEICE TRANSACTIONS on Information and Systems，2004，87（10）：2371-2378.

[3]胡方尚，郭 慧.基于改進多類支持向量機的印刷缺陷檢測[J].華東理工大學學報：自然科學版，2017，43（1）：143-148.

[4]Tian S，Xu K.An Algorithm for Surface Defect Identification of Steel Plates Based on Genetic Algorithm and Extreme Learning Machine[J].Metals，2017，7（8）：311.

[5]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classifica tion with deep convolutional neural networks[C]//Advances in neural information processing systems.2012：1097-1105.

[6]余永維，杜柳青，曾翠蘭，等.基于深度學習特征匹配的鑄件微小缺陷自動定位方法[J].儀器儀表學報，2016，37（6）：1364-1370.

[7]Faghih-Roohi S，Hajizadeh S，Nú ez A，et al.Deep convo lutional neural networks for detection of rail surface defects[C]//Neural Networks（IJCNN），2016 International Joint Confer ence on.IEEE，2016：2584-2589.

[8]Omid-Zohoor A，Young C，Ta D，et al.Towards Always-On Mobile Object Detection：Energy vs.Performance Tradeoffs for Embedded HOG Feature Extraction[J].IEEE Transactions on Circuits and Systems for Video Technology，2017.

[9]Dugad S，Puliyadi V，Palod H，et al.Ship intrusion detec tion security system using image processing&SVM[C]//Nascent Technologies in Engineering（ICNTE），2017 Inter national Conference on.IEEE，2017：1-7.

[10]顏偉鑫.深度學習及其在工件缺陷自動檢測中的應用研究[D].廣州：華南理工大學，2016.

[11]Krizhevsky A，Sutskever I，Hinton G E.Imagenet classifi cation with deep convolutional neural networks[C]//Advances in neural information processing systems.2012：1097-1105.

[12]Girshick R，Donahue J，Darrell T，et al.Rich feature hier archies for accurate object detection and semantic segmenta tion[C]//Proceedings of the IEEE conference on computer vi sion and pattern recognition.2014：580-587.

[13]Girshick R.Fast r-cnn[C]//Proceedings of the IEEE interna tional conference on computer vision.2015：1440-1448.

[14]Ren S，He K，Girshick R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems.2015：91-99..

[15]姚海波，蔣建國，齊美彬，等.拉普拉斯與雙邊濾波的圖像去運動模糊算法[J].傳感器與微系統，2017（1）：139-142.