基于遷移學習的金屬表面斑點型缺陷檢測

孫 寧， 徐桂安， 王冬梅， 陳 田

（上海電機學院機械學院，上海 201306）

在齒輪接觸疲勞實驗中，需要定期檢查齒面點蝕狀況［1］。若利用傳統表面缺陷自動檢測算法進行識別［2］，得到的金屬缺陷圖像噪聲大，缺陷的特點復雜多變。機器視覺是一種非接觸式的檢測方式，具有很多常規檢測工具難以企及的優勢，比如代替人工在危險的場合以及人眼不便識別的場合進行作業。同時，在工廠車間大規模重復性較高的生產活動中使用機器視覺檢測，可以大大減少人力，提高生產效率。如今，機器視覺技術已應用于千家萬戶，在生活中的應用有人臉識別、無人駕駛、智能電器、交通攝像、二維碼識別等，在工業中的應用有外形檢測、定位、測量等，涉及學科有計算機圖形學、人工智能、神經網絡等等。在現有的文獻中，賈洪雷等［3］通過在玉米收獲機上安裝圖像采集設備，利用機器視覺技術提取玉米植株的數量。楊明等［4］利用機器視覺技術的圖像模糊化處理和二值化方法，對船舶焊縫缺陷進行特征分割。刁智華等［5］利用相機標定技術結合圖像處理技術，實現了對玉米植株的精準施藥，成功搭建了系統，并在實際運作中取得了顯著的效果。張新燕等［6］通過神經網絡辨識了尾流激勵葉片的氣動力。吳忍等［7］將傳統圖形處理與深度學習網絡相結合，驗證了經過處理后的數據集具有更高的識別精度。嚴道森等［8］利用直方圖均衡化增強注塑件缺陷特征，對比輸入3種經典網絡，提升了注塑件缺陷識別的準確率。

本文基于上述研究案例，結合實際生產需求，將傳統圖像處理與卷積神經網絡（Convolutional Neural Networks ，CNN）應用于加工零件缺陷的檢測。通過工業相機采集圖片信息，利用圖像處理算法對圖像進行灰度化處理，去除可能存在的噪音問題，并增強圖像特征，使計算機能更好地點蝕缺陷識別，最后將圖像輸入CNN 網絡中，判斷圖像是否存在缺陷。

1 圖像預處理

1.1 實驗數據

輸入圖像的質量直接決定了CNN 的處理效果，為了保證計算機能夠識別出有效的缺陷特征，應對圖像進行預處理。基于實際問題，對原始照片進行灰度化、噪音去除以及特征增強處理。本文數據集分為點蝕、劃痕和黑斑3 類圖像，來源于Github 與東北大學的金屬缺陷開源數據集組合，分辨率為800×600。從圖像中隨機抽取訓練集與測試集，利用預處理將圖像縮放至200×200。數據集樣本數據見表1，樣本實例見圖1。

表1 數據集樣本數據

1.2 灰度化

工業相機得到的圖片為彩色圖片，一般顏色空間為紅綠藍三通道，在計算機中表現為3個三維數字矩陣，若直接輸入CNN 中進行處理，會由于計算量大而導致耗時過長。因此，應預先對圖像進行灰度化處理，減少圖像的矩陣維數，提升計算速度。圖像經灰度化后顏色信息消失，但依然保留了圖像的梯度信息，通過邊緣檢測算法可識別出圖像中的梯度信息。

圖像灰度化方法有分量法、平均值法、加權平均法和最大值法。由于肉眼對紅綠藍3 種顏色敏感度不同，對綠色最敏感，對藍色最不敏感。本文采用加權平均法作為圖像灰度處理方法，紅綠藍3種顏色分配的權重分別為0.299、0.578、0.114，得出最終灰度圖像的灰度值為

式中：x、y分別為對應顏色矩陣的像素坐標；R（x，y）、G（x，y）、B（x，y）為該像素坐標下的紅、綠、藍度值。

1.3 圖像降噪

圖像在采集過程中會不可避免地遇到噪聲問題［9-10］，且多數金屬表面帶有自身紋理特征。這兩個問題會對點蝕之類的斑點形缺陷的識別造成極大干擾，因此，數據集在輸入CNN 前應進行降噪處理。降噪濾波器大致分為空域濾波器和頻域濾波器。空域濾波器是直接對圖像上的像素點進行處理，空域濾波可細分為線性濾波和非線性濾波，在原圖像素點掩膜范圍內進行加權求和的稱為線性濾波；非線性濾波較為復雜，掩膜中的值如何運算依算法不同而各不相同。目前比較常見的降噪處理方法有中值濾波、高斯濾波、均值濾波等。這些方法在許多實際應用問題中表現優異，但針對斑點形失效，容易過濾掉失效本身的特征信息。

基于以上考慮，本文采用哈爾小波降噪的方式處理圖像，其尺度函數為

需要的圖像特征往往處于低頻子帶，噪聲特征處于高頻子帶，故設定一個合適的閾值即可達到預期的圖像效果，而去除噪聲的設置類似于低通濾波。處理后的圖片與原圖對比保留了圖像中需要的信息特征，如圖2所示。

圖2 降噪預處理

1.4 表面缺陷特征的識別

本文采用高斯拉普拉斯（Laplacian of Gaussian，LoG）算子提取金屬表面的點蝕特征，LoG 是一種將高斯平滑和拉普拉斯算子結合使用的形態學處理方法。拉普拉斯算子就是一個二階導數算子，計算兩個方向上一階導數的內積，本質上屬于一種高通濾波，設x、y為平面上的笛卡爾坐標，二維的拉普拉斯算子可表示為

2 零件表面缺陷識別模型構建

2.1 CNN網絡結構分析

CNN［11-12］的結構與傳統神經網絡結構不同，增加了卷積的概念。傳統神經網絡存在著嚴重的缺陷，輸入圖像像素點與全連接層中的單元數目很少，在不考慮偏置的情況下計算參數量十分巨大。而在CNN 網絡不同的圖像區域中，共用同一個卷積核，這種參數共享的方法減少了CNN 中的參數量，故能通過少量參數訓練出效果更好的模型，還可有效地防止過擬合的出現。典型的CNN 中包含以下結構：輸入層、卷積層、池化層、全連接層。卷積層的輸入只是上一層的一小部分，其大小根據卷積核而定，一般情況下大小為3×3，過大會導致過擬合，過小則會導致特征提取不足。根據卷積核個數的不同，卷積過程會加深圖像的深度。設輸入數字矩陣的坐標為(i，j)，卷積核f坐標為(m，n)，維度為H×W，zli，j為卷積層輸出結果，即f中每一位置的值與x中對應值相乘后再相加，卷積過程可表示為

池化層通常用于簡化神經網絡計算規模，消除通過卷積提取到的非必要特征，池化操作不會影響數字矩陣的深度，但可大幅度減少最終全連接層的節點個數，從而減少訓練時間、提升速度。本文采用最大池化的池化方式，池化核大小為2×2，在相鄰的4個值中選出最大值，其公式為

全連接層在傳統神經網絡中最為常見，經上述多輪卷積與池化處理，全連接層將矩陣數據轉換為一維數據，并為每一個神經元添加偏差，通過單一或多個全連接層得出分類結果。

2.2 遷移學習

在實際應用中，通過某些特殊的工業零件獲取大量的數據集是十分困難的，沒有巨量的數據集支持，實現一個高效的深度學習模型幾乎不可能。在這種背景下，使用少量的數據集需要學習盡可能多的特征，遷移學習［13-14］的思想提出就顯得尤為重要。

通過遷移學習將已在其他數據集中訓練好的模型進行重復利用，網絡中的權重與其他參數被大量的數據訓練完畢，只需要對該模型進行卷積層的抽取，與當前任務設計的全連接層進行組合，形成全新的網絡模型。經該方法處理后，卷積層能對圖像特征進行更精確的提取，結果優于傳統機器學習框架下進行的分類與預測任務。

本文首先凍結已訓練模型中的卷積層，然后用新設計出的全連接層代替舊的全連接層，組合為新網絡模型后，使用金屬表面缺陷數據集對網絡進行訓練。

2.3 識別模型構建

本文基于VGG-19 和InceptionV3［15］兩種經典網絡進行遷移學習，VGG-19網絡證明了網絡深度的增加最終能夠影響網絡的效果，得名于模型中共有19 個隱藏層、16 個卷積層和3 個全連接層，模型結構如圖3所示。

圖3 VGG-19 網絡結構

InceptionV3 網絡則是在分類任務中常用的網絡，具有兩個主要特點，采用非對稱卷積的思想在減少了計算量的同時，還能處理更多的缺陷特征。此外，使用降維并行結構，增加了網絡寬度，提升了網絡的精度，最終有效提升分類準確率。

上述兩種網絡都已在ImageNet中的百萬級數據集進行了足夠訓練，適合作為遷移學習的基礎，對網絡中的卷積池化層進行保留，重新設計全連接層。新設計的全連接層模塊結構如圖4所示。

圖4 改進后的全連接模塊結構

圖像的輸入在經卷積池化部分處理后，會輸出一個向量，由于神經網絡規模越大越容易遇到過擬合的情況，為了避免過擬合，經網絡前端處理的數據會首先通過隨機失活層，失活率設定為0.5，然后通過全連接層1 將數據降維，再進入非線性激活函數層，常用的有sigmoid、Tanh 和ReLU3種函數。本文采用ReLU 函數，ReLU 函數的收斂速度較快，且梯度不會飽和，其表達式為

通過隨機失活層進入全連接層2，數據維度不變，采用激活函數進入最后一層全連接層，在該層會將維度降低至1×3。最終數據輸入至指數歸一化層內，計算每一類型的分類概率，即

式中：Zi為第i個節點的輸出值；C為分類數，本文C值為3。

通過指數歸一化函數的處理，可將概率結果輸出為［0，1］以內的數字，最終輸出分類結果。

用新設計出的全連接模塊與兩種網絡的前端模塊組合為全新的網絡結構，網絡經大量數據訓練得到的權重參數遷移至新結構中，再用缺陷數據集進行訓練，訓練結果即為本實驗中的理想模型，詳細流程如圖5所示。

圖5 數據集的識別全流程

3 結果與分析

3.1 實驗設計

考慮到硬件設備上的限制，以及增強實驗效果，實驗過程中每批次訓練圖像設置為32，學習率為0.000 1。實驗對比兩種網絡的遷移學習（VGG-19、InceptionV3）進行數據可視化記錄，采用分類結果較好的網絡作為合適的網絡模型，數據集分類后對斑點形缺陷進行LoG 檢測，得出最終結論。

3.2 實驗數據分析

本文的圖像數據集分為黑斑缺陷、劃痕缺陷與點蝕缺陷3類，采用程序將數據集分為訓練集和測試集，成功對數據集進行分類后，輸入遷移學習網絡模型中。經20輪訓練后，實驗結果如圖6所示。

圖6 兩種網絡的訓練與測試準確率

由圖6（a）可知，VGG-19 網絡需經多輪訓練，準確率才能取得較為理想的結果，且起步準確率較低；在圖6（b）中，InceptionV3網絡在迭代收斂過程中有著優異的表現，在初次訓練時就取得了0.98 以上的準確率，并且在接下來的訓練中逐步收斂，最終達到0.998，測試集更是多次達到100%的準確率，雖呈現一定波動，但總體范圍在0.03 之間。表明使用InceptionV3網絡處理該問題可以取得更為理想的效果。

分類后采用LoG識別斑點類表面缺陷，斑點缺陷識別如圖7所示。其中圈出的部分為斑點缺陷，可以看出該方法對點狀缺陷有著良好的辨別能力。

圖7 斑點缺陷識別

根據實驗結果，將基于遷移學習的InceptionV3網絡與LoG斑點檢測配合使用，可以有效地提升對點狀缺陷的辨別率。

4 結 語

目前金屬加工過程中，對表面缺陷的檢測大多為人工檢測，本文對圖像進行降噪預處理，并結合機器視覺與斑點檢測方法，具有魯棒性強且效率高的優點。經實際驗證，辨識準確率也較為精準。優選出的網絡配合設計的全連接層進行遷移學習，能優化目標檢測任務效率，節約了時間成本。在今后的研究過程中，應進一步增加數據集樣本的數量與種類，以提高模型在各種環境、材料上的泛化應用能力，以期在工業金屬缺陷智能檢測上得到廣泛應用。