基于改進VGG13 的沖壓件表面缺陷識別方法研究

劉榮光， 朱傳軍， 成佳聞， 王林琳

（1.湖北工業大學機械工程學院， 湖北武漢 430068； 2.華中科技大學數字制造裝備與技術國家重點實驗室， 湖北武漢 430074）

0 前言

產品質量一直是社會各界廣泛關注的問題。 《中國制造2025》 提出“質量為先” 作為制造強國戰略的基本方針， 《中國機械工程技術路線圖》 則強調未來二十年的制造業發展要更加注重 “保障產品質量”。 表面缺陷作為產品質量的常見問題之一， 一方面影響產品的外觀和舒適度， 造成不必要的經濟損失； 另一方面也會影響產品性能 （如表面摩擦力等）， 導致產品使用過程存在安全隱患。 因此， 如何快速準確地識別產品表面缺陷， 成為了產品質量管理中亟待解決的關鍵問題之一。 缺陷檢測是工業上非常重要的應用， 常見的產品表面缺陷檢測方法主要有人工缺陷識別、 超聲波缺陷識別、 漏磁缺陷識別， 由于缺陷多種多樣， 傳統的檢測方法很難做到對缺陷特征進行完整的建模和遷移， 復用性不大、 要求區分工況， 這會浪費大量的人力成本， 且檢測周期長、 需要進行復雜的特征設計等諸多局限性。

基于機器視覺的產品表面缺陷識別是指利用計算機視覺技術對包括表面刮痕、 破損、 磨損等在內的缺陷圖像進行識別， 從而獲得缺陷類別的過程， 屬于典型的圖像識別問題。 常見的基于機器視覺的表面缺陷識別方法以機器學習算法為主， 主要包括支持向量機［1］、 人工神經網絡［2］、 貝葉斯網絡［3］等模型。 隨著深度學習在特征提取和定位上取得更好的效果， 越來越多的學者和工程人員開始將深度學習算法引入到缺陷檢測領域中。 基于深度學習的缺陷識別方法與傳統的缺陷識別方法最大的不同在于： 前者可以通過模型實現端到端的特征自動化提取。 KHUMAIDI 等［4］提出了一種基于高斯核的CNN 模型， 通過使用高斯核模糊圖像從而提升模型的泛化效果。 ZHANG 等［5］同樣將CNN 網絡應用到了焊接缺陷的識別問題中。ZHONG 等［6］將Hough Transform 與CNN 相結合， 并將其應用到了高鐵軌道檢測中。 KRIZHEVSKY 等［7］提出了AlexNet 卷積神經網絡。 Visual Geometry Group提出的VGG 系列模型［8］， 在AlexNet 的基礎上構建了一個更為龐大的神經網絡模型， 通過高達十幾層的網絡結構， 達到更為準確的識別效果。 李勇等人［9］提出一種基于改進BiFPN 的電樞外觀缺陷檢測方法，大大減少了將缺陷件誤判為良品的概率。 熊紅林等［10］提出一種基于多尺度卷積神經網絡（MCNN）圖像識別模型， 將MCNN 模型應用在玻璃表面缺陷識別中， 有效提高了缺陷檢測的準確率。 MEI 等［11］提出了一種無監督缺陷分割方法， 采用了卷積自編碼器實現了缺陷主體與背景的準確分割， 從而有效避免了復雜的人工設計過程。 蘇佳等人［12］提出一種基于改進YOLOv4 的YOLO－J 的PCB 缺陷檢測算法， 有效提升了PCB 缺陷檢測的準確率和速度。 田雪雪等［13］針對增材制件內部缺陷檢測， 提出一種內部缺陷埋藏深度的定量檢測方法， 有效縮小了檢測誤差。 羅兵等人［14］提出一種基于機器視覺的噴嘴圖像缺陷檢測方法， 有效提高了檢測精度和速度， 滿足工業生產線對噴嘴檢測準確性和實時性的要求。

本文作者基于卷積神經網絡的表面缺陷識別問題展開研究， 通過分析問題特性， 改進VGG13 網絡模型， 在不同的特征提取層之后分別增加CBAM注意力機制模塊改進卷積神經網絡， 實現表面缺陷的準確識別， 使其具有更好的圖像識別效果， 并將改進后的模型引入到沖壓件表面缺陷識別問題中，從而提升沖壓件表面缺陷識別的準確性。 在數據處理方面， 對所采集的沖壓件缺陷數據集進行擴充，進一步提高模型的泛化能力， 使得整個模型可以滿足新缺陷數據的需求， 有效實現沖壓件表面缺陷的準確識別， 確保產品質量， 避免表面缺陷問題造成的不必要損失， 為生產過程中的智能決策和調控提供準確的參考依據。

1 模型方法與原理

1.1 VGG 網絡

VGG 模型是常見的卷積神經網絡模型之一， 通過依次采用多個3×3 卷積， 模仿出更大的感受野［8］。 VGG 與淺層的CNN 模型相比有著更強的特征學習和表達能力， 在更加復雜的缺陷識別問題中， 可以學習到有用的特征信息， 從而有效地提高識別的效果。 許多學者的研究以及預實驗結果均表明； 以VGG 作為基礎模型， 在分類問題中有著良好的效果。 文中采用VGG13 網絡模型進行實驗，網絡結構如圖1 所示， 由10 個卷積層（Conv） 和3個全連接層（FC） 構成。 卷積層中所有的卷積核大小均為3×3， 所有的池化核大小為2×2， 且每2 次卷積之后進行1 次池化 （Pool）， 均為最大池化。VGG13 前2 層每層卷積核個數為64， 第三、 四層每層卷積核個數為128， 第五、 六層每層卷積核個數為256， 第七、 八層每層卷積核個數為512， 第九、十層每層卷積核個數均為512。 最后是3 個全連接層（FC） 的連接， 原全連接層節點個數分別為4 096、 4 096、 1 000。 由于文中所使用的數據規模較小， 為降低參數量以加快訓練過程， 將前2 個全連接層的節點個數減少至2 048， 文中使用的缺陷數據集共8 類， 最后一層全連接層個數為8。 網絡中最后一層分類層采用Softmax 激活函數， 其余均采用ReLU 激活函數。

圖1 VGG13 模型網絡結構示意Fig.1 Schematic of the network structure of the VGG13 model

1.2 CBAM 模塊

CBAM （Convolutional Block Attention Module） 將通道注意力機制模塊和空間注意力機制模塊結合起來［15］， 是一種端到端的通用模塊。 CBAM 模塊示意如圖2 所示， 通過通道注意力機制得到包含權重的新的特征圖后， 再由新的特征圖空間位置像素信息得到空間當中的分布， 最終得到特征圖。 CBAM 克服了通道域中全局平均池化將空間信息轉換為通道信息過程中信息丟失的缺點。

圖2 CBAM 模塊Fig.2 CBAM module

通道分支是給定一個輸入F∈RH×W×C，H、W、C分別為特征張量的高度、 寬度和通道數， 同時經過全局平均池化（GAP） 和全局最大池化（GMP） 操作分別得到不同的空間語義描述算子， 通過一個共享感知機將2 個通道注意力特征向量以相加的方式進行融合， 最后經過激活函數， 得到通道注意力向量Mc∈Rc×1×1。 與SEnet 不同的是， 在CBAM 中增加了并行最大池化層， 可以提取到更全面和豐富的高層特征，詳細描述如式（1） 所示：

其中：σ代表激活函數；W0、W1代表全連接層的權重。

空間分支是將通道分支輸出結果沿著通道維度，經過全局平均池化（GAP） 和全局最大池化（GMP）操作， 分別得到2 種不同的通道特征描述算子， 將二者拼接， 然后經過一個卷積核大小為7×7 的卷積操作， 再經過激活函數， 最后得到空間注意力向量Ms＝R1×H×W。 詳細描述如式（2） 所示：

其中：f7×7代表卷積操作， 卷積核大小為7×7。

2 實驗設計與結果分析

2.1 實驗設計

此實驗在武漢某制造車間采集的沖壓件缺陷數據集上進行。 沖壓件缺陷數據集包含8 種常見缺陷類別， 分 別 為 點 坑 （65 張）、 斷 裂 （81 張）、 劃 痕（243 張）、 孔洞 （149 張）、 拉傷 （179 張）、 麻點（93 張）、 毛刺（58 張）、 起皺（154 張）， 每張缺陷圖像大小為376 像素×376 像素， 圖3 所示為沖壓件8種缺陷圖像示例。 在實驗過程中， 將沖壓件缺陷數據集分為訓練集、 驗證集、 測試集三部分， 比例為6 ∶2 ∶2。 以測試集正確率作為評價模型指標， 實驗平臺由某云服務器提供： CPU10 核Intel（R）Xeon（R）Gold 5218R CPU＠2.10 GHz， 內存為50 GB， GPU 為RTX 3090?1， 顯存為24 GB， 所有模型單獨運行10次取 平 均。 鏡 像 采 用PyTorch1.10.0、 Cuda 11.3、Python3.8 深 度 學 習 框 架 以 及Numpy、 Matplotlib、OpenCV 等深度學習庫， 在模型中每次訓練的批次（Batch Size） 大小為32， 訓練100 個Epoch， 采用Adam 優化器， 學習率為0.001， 損失函數為交叉熵損失函數， 反向傳播更新模型的參數。 在訓練過程中， 對所有網絡的前2 個全連接層隨機失活一半的神經元， 防止模型過擬合。

圖3 沖壓件缺陷圖像示例Fig.3 Example of defects in stamping parts： （a） point pit； （b） fracture； （c） scratch； （d） hole； （e）strain； （f） pitting； （g） burr； （h） wrinkling

2.2 數據增強

數據增強是擴充數據樣本一種有效的方法， 可以使有限的數據產生更多的數據， 增加了數據集的多樣性， 提高了模型的魯棒性。 卷積神經網絡的參數數以萬計， 訓練好一個網絡需要大量的數據集， 由于現實條件的制約， 采集的數據樣本數量有時較少， 達不到深度學習的條件， 或者無法覆蓋所有情況， 因此需要通過數據增強手段來擴充圖像的數量。 尤其是缺陷圖像， 在工業生產過程中更加難以采集。 通過數據增強由有限的數據產生了更多變種， 使原始數據的表示形式更多， 一定程度上降低了模型對數據中某些屬性的依賴。 因此， 在小樣本數據集輸入網絡模型訓練之前， 可以通過數據增強方法來擴大樣本集數量， 提高模型的泛化性能。 傳統的數據增強方式有隨機翻轉、裁剪、 變形縮放、 鏡像、 增加噪聲、 染色擾動、 隨機遮擋等， 通過這些方式獲得更多的訓練圖像。 如圖4所示， 針對采集的沖壓件缺陷圖像的具體特點， 選用旋轉、 水平鏡像、 豎直鏡像3 種幾何變換對數據集進行擴充， 使得每種缺陷圖像均擴充為原來數據集的3倍。 數據增強只在占比60%的訓練集中使用， 在驗證集和測試集中未使用數據增強。

圖4 沖壓件劃痕缺陷數據增強效果Fig.4 Enhanced effect of scratch defect data of stamping parts： （a） original image； （b） rotate 90°； （c）horizontal mirror image； （d） vertical mirror image

2.3 實驗結果

以VGG13 網絡為基準網絡模型， 對比了在VGG13 網絡的不同位置引入CBAM 模塊對實驗結果的影響。 VGG13 共有10 個卷積層， 加入CBAM 模塊的位置在每2 個卷積層之后。 VGG13－CBAM01 在每2個卷積層之后各加入一個CBAM 模塊， VGG13－CBAM02 刪除了VGG13－CBAM01 中加入的第一個CBAM 模塊， 以此類推， VGG13－CBAM03、 VGG13－CBAM04、 VGG13－CBAM05 分別在前者的基礎上減少一個CBAM 模塊。 由于VGG13－CBAM01 與VGG13－CBAM02 收斂效果不佳， 這里不再展示。 圖5（a1）（b1） （ c1） 分 別 為 VGG13－CBAM03、 VGG13－CBAM04、 VGG13－CBAM05 網絡模型訓練集的誤差損失隨迭代次數的變化曲線； 圖5（a2）（b2）（c2）分別為VGG13－CBAM03、 VGG13－CBAM04、 VGG13－CBAM05 這3 種網絡模型驗證集正確率隨迭代次數的變化曲線。 由圖5（a1）（b1）可知： VGG13－CBAM03、VGG13－CBAM04 網絡模型在同樣迭代100 個Epoch的情況下， 相比于原VGG13 網絡模型， 能進一步加快誤差下降， 訓練過程中的誤差也明顯低于原VGG13 網 絡。 由 圖5 （a2） （b2） 可 知： VGG13－CBAM03、 VGG13－CBAM04 網絡模型在同樣迭代100個Epoch 的情況下， 相比于原VGG13 網絡模型， 有效提升了驗證集的正確率， 訓練過程中的驗證集正確率明顯高于原VGG13 網絡。 而圖5（c）所示的VGG13－CBAM05 網絡相比于原VGG13 網絡無明顯改進效果。

圖5 訓練集誤差與驗證集正確率對比曲線Fig.5 Comparison curves of training set error and validation set accuracy： （a） VGG13 and VGG13－CBAM03；（b） VGG13 and VGG13－CBAM04； （c） VGG13 and VGG13－CBAM05

2.4 測試集正確率

基于沖壓件缺陷數據測試集， 將訓練好的各網絡權重分別加載到VGG13 網絡及其改進模型上進行實驗驗證和分析。 表1 所示為該數據集測試集在原模型與改進模型以及使用數據增強擴充數據前后各模型的測試集正確率。

表1 數據增強前后各網絡模型之間的對比Tab.1 Comparison between network models before and after data enhancement

由表1 可知： 數據增強方法在VGG13 與其改進模型中均能提高分類精度， 改進后的VGG13－CBAM03、 VGG13－CBAM04 相比于VGG13 原網絡在測試集上提高效果明顯， 測試集正確率由79.65%分別提高到了81.55%和81.40%， 而VGG13－CBAM05無明顯改進效果。

3 結論

文中主要基于武漢某制造車間采集的沖壓件缺陷數據集對VGG13 網絡展開研究。 通過在VGG13 不同卷積層位置分別引入CBAM 注意力機制模塊進行改進， 共提出了5 種VGG13－CBAM 網絡模型。 通過實驗對比發現VGG13－CBAM03、 VGG13－CBAM04 相比于原VGG13 網絡模型能夠加快訓練過程中誤差的下降并提升驗證集正確率， 在沖壓件缺陷數據集上取得了良好的識別效果。 同時在數據預處理階段使用數據增強策略擴充數據， 使原本用于訓練階段的數據集擴充為原采集數據集的3 倍， 有效提高了模型的泛化性能， 在測試集上取得了良好的效果， 有效地確保產品出廠質量， 避免由于表面缺陷漏檢誤檢而造成的不必要損失， 為工藝參數的優化以及生產調控管理決策提供了準確的參考依據。 文中雖對沖壓件缺陷識別的準確率有所提升， 但在工業產品的實際生產過程中， 模型的好壞會受到噪聲、 數據集的大小、 數據集樣本分布不均勻、 采集的缺陷圖片質量高低等因素影響， 后續將針對此方面展開研究。