改進mixed-segdec-net的金屬表面缺陷檢測方法

彭 寧，吳 浩*，王 盛，宋 弘，劉 梅

(1.四川輕化工大學 人工智能四川省重點實驗室，四川 宜賓 644000；2.四川輕化工大學 自動化與信息工程學院，四川 宜賓 644000；3.阿壩師范學院，四川 阿壩 623002；4.四川啟?？丝萍加邢薰?，四川 綿陽 621050)

0 引言

一直以來，金屬表面的缺陷檢測都是工業生產過程的關鍵，在工業生產中難免會對金屬表面造成如臟點、裂紋、碰傷和壓痕等損傷。為了使工業產品滿足要求，需要確保產品的金屬表面不存在任何缺陷。傳統的表面缺陷檢測都是人工借助外界設備進行的，由于檢測的標準不一，導致存在誤檢、漏檢及效率低等問題。

傳統的圖像處理方法可以快速獲取缺陷特征，如Sobel[1]，Canny[2]，Prewiit[3]和LBP[4]等，并利用這些特征進行匹配和識別其中的缺陷，但是這些方法很容易受到外界因素的影響，如燈光、噪聲等。近些年，基于深度學習的方法能夠利用卷積神經網絡進行特征提取，建立起有效的網絡模型，在缺陷檢測中取得了有效的成果。目前主要分為以SSD[5]，YOLO[6]為代表的單階段目標檢測網絡和Faster-RCNN[7]為代表的兩階段目標檢測網絡2個部分。Zhang等[8]對SSD進行優化，通過將多尺度感受野模塊和路徑聚合網絡(PANet)中雙向特征金字塔的層間特征融合策略融入SSD，克服了人工目視檢測稀土磁性材料表面缺陷的局限性。Cheng等[9]通過對YOLOv3的特征圖采集網絡進行改進，并增加尺寸識別模塊和輸出網絡層的殘差網絡，有效提高小目標檢測的準確率。Jiang等[10]通過對YOLOv5進行改進，利用平衡特征金字塔結構和全局上下文塊來增強特征融合和特征提取能力，成功降低了在交通標志檢測的誤檢率。Zhang等[11]對Faster-RCNN進行改進，主要將遷移學習與ResNet-101進行融合。實驗表明，該方法在連接器焊點缺陷檢測上得到很大的改進，平均檢測精度可達94%，對某些缺陷的檢出率甚至可達100%。

目前，mixde-segdec-net算法相比于其他網絡在工業金屬表面缺陷檢測中具備精度高、低漏檢和低誤檢的優勢。本文以mixde-segdec-net為基礎，構建基于ECB的InceptionA模塊增強了網絡對尺度的適應能力，然后引入基于注意力機制的殘差網絡模塊CRASNet，解決網絡中網絡退化及梯度退散問題，同時使用深度殘差卷積層來構建分類網絡中新的卷積層，降低了網絡的參數量和計算量。最后通過對比實驗和消融實驗突出了本文算法的有效性。

1 mixed-segdec-net算法

1.1 網絡基本結構

mixde-segdec-net算法[15]是一種基于語義分割和決策分類的二階段網絡，其中分割網絡采用精細的像素級信息，分類網絡采用粗糙的圖像級信息。相比于單階段的U-Net，DeepLabv3網絡以及商業軟件Cognex ViDi Suite，其在檢測精度和檢測速度上都有很大的提升。網絡的整體框架如圖1所示。

圖1 mixde-segdec-net網絡結構Fig.1 mixde-segdec-net network structure

分割網絡在每個卷積層后都連接了BN層和ReLU，目的是為了更好地提高訓練過程中的收斂速度，使模型更加穩定，并防止過擬合和梯度消失。由于卷積層的權重共享機制提供了足夠的正則化，因此在該網絡中不使用Dropout。在分割網絡中的池化層和最后一層采用大卷積核的目的在于增加感受野，從而可以保留圖像中小而重要的特征信息。

分類網絡的最后采用連接一個全局最大池化層和一個全局平均池化層進行參數縮減和特征融合，得到了2個32×1的特征向量。同時還把分割網絡得到的分割輸出圖連接一個全局最大池化層和一個全局平均池化層，得到2個1×1的特征向量，并最終采用全連接層將這4個特征向量連接起來作為輸出。這樣設計分類網絡不僅可以完整地保留缺陷特征，還可以防止訓練過程中出現過擬合現象。

1.2 損失函數

mixde-segdec-net算法為了實現端到端學習，將損失、分割損失以及分類損失組成了一個新的損失函數，允許它們同時學習。新的損失函數為：

ζtotal=λ·γ·ζseg+(1-λ)·δ·ζcls，

(1)

式中，ζseg和ζcls分別為分割和分類的損失，它們都由交叉熵函數所得；δ用來平衡分割和分類損失的貢獻；λ為平衡因子，用來平衡每個子網絡在最終損失中貢獻的平衡因子；γ作為存在像素級注釋的指示器，通過將λ這個平衡因子計算為一個簡單的線性函數，從而解決了在初始不穩定分割特征上學習分類網絡的問題。λ定義為：

(2)

式中，n為訓練的樣本總數；nep為當前數目的指數。如果不能平衡這2種損失，學習在某些情況下會導致梯度爆炸。

2 改進mixed-segdec-net的金屬表面缺陷檢測方法

2.1 基于ECB的InceptionA結構網絡

Inception模塊[16]最先是由GoogLeNet團隊在2014年ImageNet大規模視覺挑戰賽上提出。Inception將多個卷積和池化操作組合成一個新的網絡模塊。InceptionA模塊屬于Inception v3的一種，它與傳統的卷積層和池化層的連接順序不同，將不同尺寸大小的卷積層和池化層進行排序，使得網絡不僅可以學習局部信息，還可以學習到全局信息。

雖然InceptionA可以使網絡學習到局部信息和全局信息，但是會使網絡陷入過擬合、計算量劇增的困境。ECB模塊雖然可以降低網絡模型的參數量、提升網絡的訓練速度，但是它的性能相比于其他復雜的模型要差許多。將ECB模塊引入到InceptionA網絡中不僅可以有效提升網絡的性能，還可以解決網絡中過擬合及計算量過多的問題。

ECB網絡結構如圖2所示，由5個部分組合而成。首先，采用3×3的卷積以確?；镜男阅埽蝗缓螅捎?×1的卷積進行通道升維；最后，再通過3×3的卷積進行降維，以保證不同分支的輸出通道相同。同時采用隱式方式將Sobel梯度集成到ECB的第3支和第4支當中，采用Laplacian濾波器提取二階梯度來增加它的穩定性和魯棒性。

圖2 ECB網絡結構Fig.2 ECB network structure

ECB模塊不僅可以提升網絡的性能，還能有效提取邊緣和紋理信息，本文將其代替原InceptionA中的傳統5×5卷積，使網絡的性能和檢測的速度都得到進一步提升。改進后的InceptionA結構如圖3所示。

圖3 基于ECB的InceptionA結構Fig.3 InceptionA structure based on ECB

2.2 CRASNet的殘差網絡

殘差網絡最先是由He等于2015年在CNN的基礎上提出的。傳統的卷積網絡是將卷積層的輸出通過激活函數ReLU作用后將產生的結果作為下一個卷積層的輸入，而殘差網絡則是在次卷積層中將前一個卷積層的輸入和次卷積層的輸入進行疊加，再將通過激活函數ReLU作用得到的結果輸入到網絡的下一層。

本文采用的殘差網絡是ResBlock，其網絡結構如圖4所示。該網絡的殘差支路由2組Conv-BN-ReLU層組成。

圖4 ResBlock結構Fig.4 ResBlock structure diagram

殘差網絡ResBlock可以很好地提取特征，為了增強對表面細小異物的提取能力，本文引入了輕量級注意力機制——CBAM。CBAM表示卷積模塊的注意力機制模塊，結合了通道注意力機制和空間注意力機制[16]，可以無縫連接至神經網絡中，實現端到端的訓練。

CBAM中的空間注意力模塊為了將上下空間的特征進行聚合，采用了一個7×7大小的卷積核。雖然可以增大感受野，但增大了參數量。為了解決上述問題，本文采用了空洞卷積對CBAM進行空間特征聚合，在保證相同感受野的前提下，減少模塊參數量。同時，本文還將原CBAM中通道注意力模塊和空間注意力模塊的串行連接改成了并行連接。改變后的CBAM將輸入特征圖通過通道和改進后的空間注意力模塊得到對應的特征值，再與輸入特征圖F共同加權輸出到優化后的特征圖F″。不僅可以保證注意力模塊效果的穩定性，還能提高網絡的檢測精度。改變后的CBAM結構如圖5所示。

圖5 改變后的CBAM結構Fig.5 CBAM structure after changing

本文將2個ResBlock進行組合，形成一個深度殘差網絡，可以有效地解決網絡中網絡退化和梯度彌散的問題。為了增強對表面細小異物的提取能力，在深度殘差網絡的最后引入了改變后的CBAM模塊，可以保證網絡在有效解決網絡退化和梯度彌散的同時，對網絡最后的分類精度不產生影響。CRASNet結構如圖6所示。

圖6 CRASNet殘差網絡結構Fig.6 CRASNet residual network structure

2.3 基于深度可分離卷積的分類網絡結構

卷積層的作用是進行特征提取，標準卷積層在接收到輸入的特征圖后需要在卷積核中學習空間特征和通道特征。Howard在2017年提出的深度可分離卷積可以將卷積層的空間相關性和通道性進行解耦，在標準卷積層之后加上一層過渡層，并將其分解成為逐點卷積和深度卷積，深度可分離卷積的引入可以保證在不降低精度的前提下，大幅降低參數量和計算量[17-18]。

本文將mixde-segdec-net的部分標準卷積層替換為深度可分離卷積層。將原本分類網絡中特征大小為1 025和6的標準卷積層替換成深度可分離卷積層。原本卷積層由一個5×5的標準卷積、BN層和ReLU組成，替換后的深度可分離卷積層則是由一個5×5的深度卷積、BN層、1×1的標準卷積和BN層組成。改進前的卷積層和改進后的深度可分離卷積層如圖7所示。

圖7 分類網絡改進前后對比Fig.7 Comparison of classification network before and after improvement

2.4 基于改進mixde-segdec-net的檢測模型總框架

為了增強網絡對尺度的適應能力，應用基于ECB的InceptionA模塊，提高了檢測速度。為了解決網絡退化及梯度退散問題，用CRASNet模塊替換原分割網絡的Conv卷積模塊，提高了網絡的檢測精度。為了降低參數量和計算量，將分類網絡的卷積層替換為深度可分離卷積層。以mixde-segdec-net網絡為基礎的網絡結構，融入了ECB+Inception，CRASNet和深度可分離卷積層的檢測模型框架，提高了對金屬表面缺陷檢測的精度，其模型結構如圖8所示。

圖8 模型結構Fig.8 Model structure diagram

3 模型訓練與實驗結果

3.1 模型訓練

3.1.1 數據集準備

本文選取的數據集是公開的數據集KolektorSDD2，它由4 662張訓練集圖片和2 008張測試集圖片組成，這些圖片都是由視覺檢測系統捕捉的部分帶有注釋缺陷的金屬表面圖集，圖片大小相似。在網絡訓練中，數據集被分為有缺陷和無缺陷2種類別進行分析。

3.1.2 數據增強

本文實驗對原始數據集進行增強，首先采用了隨機的圖像翻轉和圖像旋轉對KolektorSDD2數據集中的訓練集進行增強，使得原來訓練集中的圖片數量由4 662張增至9 324張。增強前后的圖片如圖9所示。

圖9 數據增強前后圖Fig.9 Data diagram before and after enhancement

在對原始圖片進行隨機翻轉和旋轉之后，將訓練集中的所有圖片進行高斯去噪。高斯去噪屬于空間域濾波的方法之一，是對均值濾波的改進，它對模板內像素值進行加權平均，有效抑制了高頻信息，使得平滑處理的效果更自然。高斯函數的表達式為：

(3)

式中，x，y為像素的模板坐標；σ為正態分布的標準偏差。

3.1.3 實驗環境

實驗軟硬件平臺系統為Windows10，CPU為Intel Core i9-119000K，GPU為NVIDIA GeForce RTX 3090,配備64 GB內存，使用Pytorch框架，編程軟件為Python。程序運行環境如下：Python版本為3.8.0，opencv-python版本為4.5.5.64，CUDA版本為11.2，torch版本為1.9.0。

3.1.4 網絡訓練

為了實現模型的最佳性能，在訓練過程中，將迭代次數設置為50次，初始學習率設置為0.01，學習衰減率設置為1，膨脹系數設置為15，訓練批次設置為1。

3.2 評價指標

采用缺陷檢測領域中常用的評估指標平均精度(Average Precision，AP)以及模型評估指標(AUC)對模型進行評估。

精度(precision)是指檢測出所有被認為是正樣本的總數中正樣本正確檢測的占比。召回率(recall)是指所有正樣本中，檢測出的正樣本占比。它們可以很好地展示檢測過程中誤檢和漏檢的情況，這2個指標計算如下:

(4)

(5)

式中，TP為被模型預測為正類的正樣本；FP為被模型預測為正類的負樣本；FN為被模型預測為負類的正樣本。

本文將金屬表面有缺陷的樣本設置為正樣本，反之則為負樣本。FP可以展示出模型中誤檢的情況，而FN則可以展示出模型中漏檢的情況。

AP是PR曲線下的面積(即precision-recall曲線下的面積)，它可以有效地衡量學習出來的模型在分類上的好壞。而AUC的值即為ROC曲線下的面積，它的值在0.1～1.0。AUC的數值可以直觀地評價分類器的好壞，值越大就說明分類效果越好。AP和AUC的計算如下：

(6)

(7)

式中，Pi為第i次的精度；M為正樣本的數量；N為負樣本的數量。

3.3 實驗結果

3.3.1 消融實驗

為了分析本文提出的改進方法對工業金屬表面缺陷檢測的影響，通過消融實驗評估引進不同模塊對檢測的影響，具體的實驗內容及實驗結果如表1所示。改進1是在網絡中加入基于ECB的InceptionA模塊，改進2是將分割網絡的conv模塊替換成CRASNet模塊，改進3是將分類網絡中卷積層替換為深度可分離卷積層。結果表明，這幾種單獨改進的方法相比于原始的網絡而言，AP和AUC的指標均得到了提升。將這些方法共同加入至模型中，AP從94.5%提升到96.0%，對工業金屬表面缺陷檢測實現了進一步的提升。訓練的總時間隨著模型模塊的增多卻沒有明顯變化，完全符合工業金屬表面缺陷檢測要求。

表1 消融實驗結果對比Tab.1 Comparison of ablation experiment results

3.3.2 實驗結果分析

改進前后的mixde-segdec-net模型在訓練過程中均使用相同的數據集和相同的參數設置，改進前后的AP和AUC指標如圖10所示。改進后的AP和AUC曲線相比于改進前都更加平穩，說明改進后的網絡相比于改進前具有更好的識別性。

(a)原模型AP曲線(AP=0.945 8)

(b)原模型AUC曲線(AUC=0.982 9)

(c)改進后模型AP曲線(AP=0.960 2)

(d)改進后模型AUC曲線(AUC=0.987 7)圖10 改進前后性能對比Fig.10 Performance comparison before and after improvement

改進后的mixde-segdec-net在KolektorSDD2數據集中的部分測試集的識別結果如圖11所示。

圖11 改進網絡后的識別結果Fig.11 Identification results after network improvement

圖中，左邊2張是對正常圖片進行檢測，右邊2張是對有缺陷的圖片進行檢測。由圖11可以看出，改進后的算法可以很好地檢測出圖片中是否有缺陷，對于圖片中存在的缺陷，可以很好地將其特征信息從圖片的背景中分割出來，不僅可以對圖片中的小目標缺陷進行檢測，而且最終進行二分類的精度也相對較高。相比于mixde-segdec-net模型，改進后的模型對工業金屬表面的缺陷檢測有更好的魯棒性，從而表現更優越的分類精度和更高的模型評價指標。

3.3.3 對比實驗

為了證明本文算法的綜合檢測性能，把改進后的mixed-segdec-net與U-Net，DeepLabv3與mixed-segdec-net對KolektorSDD2數據集進行實驗對比，并采用AP作為評價指標，對比結果如表2所示。

表2 模型性能對比Tab.2 Model performance comparison

由表2的AP值可以看出，改進的mixed-segdec-net網絡相比于傳統的U-Net和DeepLabv3在分類精度上有明顯提升，說明改進后的mixed-segdec-net網絡在工業金屬表面的缺陷檢測有更好的效果。雖然訓練總時間相比于原算法要稍長，但是遠遠低于傳統的U-Net和DeepLabv3，達到了實時檢測的要求。

4 結束語

針對工業金屬表面缺陷檢測中存在誤檢、漏檢及檢測精度不高的問題，提出了一種改進mixed-segdec-net的金屬表面缺陷檢測算法。在mixed-segdec-net主干網絡中加入基于ECB的InceptionA模塊，用CRASNet模塊替換分割網絡的Conv模塊，同時把分類網絡中的卷積層改成深度可分離層，不僅提高了模型對信息處理的能力，還解決了網絡退化和梯度彌散的問題。實驗表明，將數據增強后的公開數據集KolektorSDD2放在改進前后的mixed-segdec-net進行對比，改進后的mixed-segdec-net得到的AP值和AUC值均有所提升。下一步的研究重點是在保證高精度的前提下對模型繼續優化，提升檢測的速度，并進一步降低工業金屬表面缺陷檢測的誤檢率和漏檢率。