基于卷積神經網絡的火花塞表面缺陷檢測研究

譚立志

（湖南汽車工程職業學院 機電工程學院，株洲 412001）

火花塞是現代汽車的關鍵組成部件之一，與發動機氣缸相連接，火花塞制造的電壓導入發動機氣缸，輔助氣缸內部物質點燃，為汽車的啟動提供動力[1]。為了確保汽車穩定啟動，避免出現安全隱患，就需要時刻關注火花塞的運行情況，觀察其是否存在裂紋、變形等表面缺陷[2]，引起汽車發動機抖動。隨著汽車制造行業的蓬勃發展，常規的缺陷檢測方法無法滿足工業化生產要求，越來越多的缺陷檢測技術被研究人員提出。

文獻[3]依托于K-means 聚類原理，對常規YOLOv3網絡進行優化，形成包含大尺度檢測圖層的改進YOLOv3 算法。將實時采集的工件表面圖像輸入改進網絡結構中，輸出表面缺陷檢測結果。但是，該方法檢測效率較低；文獻[4]依托于級聯孿生密集網絡，設計一種有效的表面缺陷檢測模式。在傳統神經網絡結構中，添加空洞空間金字塔池化模塊結構，提取表面圖像包含的多尺度特征信息。針對特征提取數據進行迭代訓練，得到缺陷類別檢測結果。但是，該方法檢測結果誤差較大；文獻[5]考慮到一些時候樣本數量較少，缺陷檢測結果誤差較大。應用度量學習算法，建立小樣本缺陷檢測模型。基于動態卷積單元，建立特征金字塔網絡，與區域建議網絡相結合，提取小樣本缺陷特征。再將其輸入多模態網絡結構內，得到表面缺陷檢測結果。但是，該檢測方法應用局限性較大。

為了更加準確地識別表面缺陷，文中依托于卷積神經網絡，提取火花塞表面缺陷圖像包含的深層特征，以此為基礎完成缺陷檢測。

1 基于卷積神經網絡的火花塞表面缺陷檢測方法

1.1 火花塞表面圖像預處理

火花塞表面缺陷的檢測，需要以表面圖像為基礎。文中應用工業相機作為圖像采集設備，獲取火花塞表面圖像。為了避免火花塞表面圖像內存在的干擾信息，影響表面缺陷檢測結果。依托于非下采樣剪切波變換原理，提取火花塞表面圖像的最優稀疏信號[6]，以此為基礎展開表面圖像預處理。去除圖像冗余信息的同時，保留火花塞表面圖像中包含的缺陷輪廓特征。實際圖像預處理過程中，圖像的處理主要包括多尺度剖分、方向局部化兩方面內容，具體操作模式如圖1 所示。

圖1 中，a 表示圖像層數；λ 表示圖像；λ1表示高頻子帶圖；λ2表示低頻子帶圖。根據圖1 可知，每一次圖像層數的分解，都是在非下采樣金字塔濾波器的作用下完成的，選定的分解尺度直接影響了高頻子帶和低頻子帶的分布情況。

圖1 非下采樣剪切波變換示意圖Fig.1 Schematic diagram of non down sampling shear wave transformation

火花塞表面圖像變換時，涉及圖像重構。根據非下采樣剪切波變換原理可知，該變換模式下依據原始圖像的坐標系映射結果，直接得到重構火花塞表面圖像。由于圖像預處理過程中，沒有要求濾波器大小，需要設置平移不變特性規則，保證重構圖像與原始采集圖像尺寸相同。通過上述圖像預處理策略，得到包含紋理信息、缺陷輪廓信息的火花塞表面圖像。

1.2 建立表面缺陷區域規劃策略

應用K 折交叉驗證方法，對預處理后的火花塞表面圖像進行劃分，形成多個圖像數據子集。

式中：B 表示火花塞表面缺陷圖像數據集；b 表示圖像數據子集；ε 表示子集數量。

表面缺陷區域規劃過程中，需要針對每一個圖像數據子集展開計算。運用霍夫圓檢測方法，在表面缺陷所在位置規劃圓形區域，確保缺陷位置完全包含在圓內。因此，表面缺陷區域規劃策略的實施，本質上就是尋找霍夫圓的過程。應用Canny 算子[7]，通過灰度化處理、梯度值計算、抑制非極大值等步驟，檢測火花塞表面圖像內缺陷區域邊緣。在二維高斯核卷積結構的作用下，對目標圖像進行濾波處理。再基于Sobel 算子，計算梯度幅值、梯度方向，提取描述圖像內變化較大的點。經過橫向梯度檢測和縱向梯度檢測，得到新的圖像，具體計算公式為

式中：x，y 分別表示橫向梯度和縱向梯度；δx表示橫向梯度檢測后的缺陷表面圖像；δy表示縱向梯度檢測后的缺陷表面圖像；S 表示平滑圖像。其中，梯度幅值計算公式為

式中：η 表示梯度方向；arctan 表示反正切函數。

在非極大值抑制法的作用下，描述缺陷規劃區域邊緣信息。為了確保最終描述區域符合規劃要求，文中應用霍夫梯度尋圓算法[8]，對已經呈現出邊緣信息的霍夫圓進行驗證，具體參數方程為

式中：（τ1，τ2）表示霍夫圓的圓心坐標；r 表示霍夫圓半徑。

根據圓心坐標和圓心半徑，生成規劃后的表面缺陷區域。

1.3 設計基于卷積神經網絡的特征提取方法

對表面缺陷規劃區域進行特征提取，是火花塞表面缺陷檢測的主要環節，文中應用卷積神經網絡，建立特征提取模型[9]，在多個神經網絡層的共同作用下，挖掘圖像內包含的深度特征。參考火花塞表面典型缺陷類型，建立特征提取框架，如圖2 所示。

圖2 基于卷積神經網絡的特征提取框架Fig.2 Feature extraction framework based on convolutional neural network

根據圖2 可知，基于卷積神經網絡的特征提取框架中，卷積層、池化層和全連接層數量均為3個，按照上述結構進行卷積操作，得出的輸出圖像尺寸為

式中：E 表示輸入火花塞表面缺陷圖像的尺寸；W表示濾波核尺寸；G 表示填充的像素圈數量；H 表示步長；φ 表示卷積神經網絡輸出圖像尺寸。

通常情況下，通過一次卷積運算，就可以得到火花塞表面缺陷圖像的特征映射圖，而文中采用多層神經網絡進行圖像特征提取，卷積操作計算公式為

式中：L 表示輸入像素值；P 表示輸出像素值；i，j 表示濾波核尺寸；n 表示濾波核尺寸取值范圍；T 表示權重；λ 表示偏置值。

針對輸入像素值進行卷積運算，并將運算結果導入激活函數，實現非線性運算。實際運算過程中，激活函數表達公式為

式中：e 表示激活函數；max 表示最大值。在收尾的池化層后方，放置一個Dropout 層，隨機調整隱藏層神經元數量，避免特征提取過擬合問題[10]。

將網絡提取的局部特征輸入全連接層進行整合處理，得到火花塞表面缺陷特征提取結果。

1.4 輸出火花塞表面缺陷檢測結果

特征提取完成后，運用RPN 算法建立多個錨點窗口，用于檢測火花塞表面缺陷。基于RPN 生成的錨點窗口為

應用RPN 算法進行缺陷檢測，屬于典型的二分類過程，計算過程中，損失函數可以表示為

式中：l 表示損失函數；u 表示單個圖像特征對應的窗口索引值；qu表示特征屬于某類表面缺陷的概率；qu′表示常數；log 表示對數函數。

而對于單個特征樣本來說，RPN 缺陷檢測的損失函數為

按照上述計算形式，對特征圖上每一個像素點進行缺陷分類概率計算，得到多個概率結果，選定最佳分類概率值，確定當前像素點對應的缺陷類別，輸出火花塞表面缺陷檢測結果。

2 仿真測試

2.1 數據集

為了驗證以卷積神經網絡為基礎的缺陷檢測方法的可行性，需要展開實驗分析。應用CCD 相機，采集多張火花塞表面圖像，在預處理完成后構成實驗數據集。考慮到深度學習過程中，需要較多樣本進行訓練，才能避免卷積神經網絡在真實缺陷檢測時，保持較好的泛化性。本次實驗通過旋轉、偏移、縮放等方式，按照表1 所示的參數進行火花塞圖像樣本擴充，實現樣本圖像數量的增加。

表1 火花塞表面缺陷圖像樣本擴充參數Tab.1 Expansion parameters of spark plug surface defect image samples

根據表1 所示的擴充參數進行處理后，得到700 幅樣本圖像。主要包括無缺陷花塞圖像，以及電極熔斷、電極燒融、零件變形3 種典型缺陷火花塞圖像，如圖3 所示。為了避免測試樣本出現不平衡問題，選擇30 幅無缺陷火花塞圖像、10 幅電極熔斷圖像、10 幅電極燒融圖像，以及10 幅零件變形圖像，組成包含60 幅圖像的測試集。其余640 幅火花塞圖像，共同構成訓練集。

圖3 火花塞合格表面與典型缺陷表面示意圖Fig.3 Schematic diagram of qualified surface and typical defective surface of spark plug

2.2 網絡參數設置

應用卷積神經網絡，對火花塞表面進行缺陷檢測時，網絡參數取值結果，直接影響了檢測準確程度。因此，本次實驗設置學習率為0.01，批處理樣本兩位64，針對訓練樣本集進行迭代訓練，得到花塞表面缺陷檢測準確率及損失曲線，如圖4 所示。

圖4 火花塞表面缺陷檢測準確率及損失曲線Fig.4 Surface defect detection accuracy and loss curve of spark plug

根據圖4 可知，隨著迭代次數的增加，火花塞表面缺陷檢測準確率不斷提升。當迭代次數為3600次時，網絡模型的檢測準確率達到了最高值93.5%。與此同時，網絡模型的損失函數值達到了最低值，為0.05。綜上所述，后續測試過程中，迭代次數可以設置為3600，保證檢測結果更加高效、準確。

2.3 檢測結果展示

網絡參數調整結束后，根據文中研究內容，對測試樣本集進行缺陷檢測，得到火花塞表面缺陷檢測結果，如圖5 所示。缺陷類別0，1，2，3 分別表示火花塞表面處于無缺陷狀態、電極熔斷狀態、電極燒融狀態以及零件變形狀態。為了描述所提檢測方法的合理性，缺陷檢測結果中，還標注了每個檢測樣本的真實缺陷類別。二者對比可知，所提方法檢測結果與樣本真實情況基本保持一致，只有一幅火花塞零件變形圖像，被誤判定為無缺陷圖像。整體來看，文中所提缺陷檢測方法具有可行性。

圖5 火花塞表面缺陷檢測結果Fig.5 Surface defect detection results of spark plug

2.4 檢測性能對比

為了描述所提方法的缺陷檢測性能，本次以Recall 值為橫軸，Precision 值為縱軸，生成對應的PR 曲線，如圖6 所示。該曲線下方陰影面積即為該檢測方法的mAP 值，如圖6（a）所示。選定基于SVM的檢測方法、基于KNN 的檢測方法、基于MLP 的檢測方法作為對照組，對測試集進行火花塞表面缺陷檢測，得到圖6（b）、圖6（c）、圖6（d）。根據圖6可知，所提檢測方法的mAP 值為0.96，其它3 種檢測方法的mAP 值分別為0.81，0.75 和0.69。綜上所述，依托于卷積神經網絡進行火花塞表面缺陷檢測，使得缺陷檢測結果的mAP 值提升了15%，21%和27%。

圖6 不同檢測方法的mAP 值對比Fig.6 Comparison of mAP values of different detection methods

3 結語

隨著人們對汽車安全越來越重視，汽車零件缺陷檢測問題亟待解決。考慮到傳統檢測方法得出結果誤差較大，文中以火花塞為研究對象，應用卷積神經網絡設計一種新的表面缺陷檢測方法。從實驗結果可以看出，所提方法得出的檢測結果更加精確，對火花塞質量檢測有著現實意義。