基于邊緣感知和小樣本學(xué)習(xí)的多尺度帶鋼表面缺陷分割方法

郭學(xué)俊，彭 贊

(太原理工大學(xué) 大數(shù)據(jù)學(xué)院，山西 晉中 030600)

帶鋼是一種重要的材料，在建筑、航空工業(yè)和化學(xué)工業(yè)中有著廣泛的應(yīng)用。這些應(yīng)用對(duì)帶鋼表面缺陷等產(chǎn)品質(zhì)量及其自動(dòng)檢測(cè)提出了日益嚴(yán)格的要求。目前，帶鋼表面缺陷的檢測(cè)主要依賴機(jī)器視覺(jué)檢測(cè)方法[1]。但由于帶鋼表面缺陷圖像的復(fù)雜性，機(jī)器視覺(jué)方法應(yīng)用于帶鋼表面缺陷檢測(cè)存在以下3個(gè)難點(diǎn)：一是圖像中的缺陷與背景的對(duì)比度較低、許多缺陷的邊緣模糊；二是一些不同類(lèi)別的缺陷在紋理和灰度等信息上非常相似、同類(lèi)缺陷的形狀、尺寸大小變化多樣；三是凌亂的背景、不均勻的光照分布和噪聲均對(duì)缺陷的識(shí)別形成了較強(qiáng)的干擾。傳統(tǒng)機(jī)器視覺(jué)表面缺陷檢測(cè)方法利用人工設(shè)計(jì)的低級(jí)特征識(shí)別缺陷，對(duì)于復(fù)雜背景下的表面缺陷圖像無(wú)法取得滿足要求的結(jié)果。

基于深度學(xué)習(xí)的機(jī)器視覺(jué)表面缺陷檢測(cè)方法利用多層網(wǎng)絡(luò)結(jié)構(gòu)和非線性變換能夠自動(dòng)從表面缺陷圖像中獲取不同尺度和不同級(jí)別的語(yǔ)義特征[2]。因此，這類(lèi)方法具有強(qiáng)大的特征表達(dá)能力。目前，基于深度學(xué)習(xí)的語(yǔ)義分割方法，即全卷積神經(jīng)網(wǎng)絡(luò)模型，已經(jīng)成為帶鋼表面缺陷自動(dòng)檢測(cè)的重要研究方向。然而，深度學(xué)習(xí)模型的性能往往嚴(yán)重依賴大規(guī)模的訓(xùn)練數(shù)據(jù)集。但是在實(shí)際應(yīng)用中，由于缺陷產(chǎn)生的隨機(jī)性，大規(guī)模數(shù)據(jù)集的搜集需要很長(zhǎng)的時(shí)間。缺乏足夠的訓(xùn)練樣本將導(dǎo)致嚴(yán)重的過(guò)擬合現(xiàn)象，模型泛化性能變差。此外，語(yǔ)義分割模型往往關(guān)注像素分類(lèi)精度，而忽視了表面缺陷邊緣質(zhì)量，但邊緣質(zhì)量對(duì)缺陷分析非常重要。

為了緩解以上問(wèn)題，ENSHAE et al和PRAPPACHER et al分別使用數(shù)據(jù)增強(qiáng)和模擬生成以增大訓(xùn)練集規(guī)模[3-4]，但是以上兩種方法仍然依賴大規(guī)模數(shù)據(jù)集，將耗費(fèi)大量的計(jì)算資源和時(shí)間。BOZIC et al和TABERNIK et al利用弱監(jiān)督減少表面缺陷提取模型訓(xùn)練所需樣本數(shù)量[5-6]，但目前弱監(jiān)督方法的精度仍大幅度落后于全監(jiān)督方法。ASLAM et al[7]使用U-Net模型高效利用訓(xùn)練集從而減輕模型性能對(duì)大規(guī)模訓(xùn)練集的依賴。但是，該網(wǎng)絡(luò)層數(shù)較少、無(wú)法融合不同空間分辨率的特征，且跳躍連接無(wú)法選擇性的融合不同級(jí)別的特征。DAMACHARLA et al、SONG et al和 DONG et al利用遷移深度學(xué)習(xí)實(shí)現(xiàn)基于小規(guī)模訓(xùn)練集的帶鋼表面缺陷的自動(dòng)識(shí)別與提取[8-10]。DAMACHARLA et al[8]通過(guò)殘差和密集連接模塊代替U-Net中的卷積層，從而加深網(wǎng)絡(luò)結(jié)構(gòu)并引入深度監(jiān)督增強(qiáng)網(wǎng)絡(luò)特征表達(dá)能力。SONG et al[9]在殘差連接模塊的基礎(chǔ)上還在U-Net解碼器部分引入通道權(quán)重模塊選擇性融合高低層次特征，最后通過(guò)一個(gè)一維殘差增強(qiáng)模塊細(xì)化提取結(jié)果。DONG et al[10]設(shè)計(jì)了金字塔特征聚合模塊聚合不同尺度或空間分辨率的特征，并采用全局上下文注意力模塊選擇性聚合相鄰不同尺度的特征，最后用邊緣增強(qiáng)模塊實(shí)現(xiàn)邊緣增強(qiáng)并改進(jìn)預(yù)測(cè)精度。該方法專(zhuān)注于高級(jí)特征的充分利用，卻忽視了低級(jí)特征和高級(jí)特征的融合，而低級(jí)特征對(duì)于邊緣和細(xì)節(jié)非常重要?，F(xiàn)有的高性能表面缺陷語(yǔ)義分割方法大多采用遷移深度學(xué)習(xí)方法。然而，遷移深度學(xué)習(xí)中的預(yù)訓(xùn)練模型所提取的識(shí)別特征往往來(lái)自自然場(chǎng)景圖像，這些圖像與帶鋼表面缺陷圖像有很大不同。而且，預(yù)訓(xùn)練模型的網(wǎng)絡(luò)結(jié)構(gòu)嚴(yán)重限制了網(wǎng)絡(luò)結(jié)構(gòu)的調(diào)整。

為了解決密集連接中的冗余計(jì)算問(wèn)題，LEE et al[11]提出了一次性聚合結(jié)構(gòu)用于目標(biāo)檢測(cè)。該結(jié)構(gòu)是密集連接的進(jìn)一步改進(jìn)，可以更加高效地重復(fù)利用提取的特征，因而對(duì)應(yīng)的網(wǎng)絡(luò)模型不僅具有強(qiáng)大的特征表達(dá)能力而且可以實(shí)現(xiàn)小樣本學(xué)習(xí)。但一次性聚合不利于梯度反向傳播。另外，WANG et al[12]提出一種基于密集連接模塊的特征金字塔注意力網(wǎng)絡(luò)(Pyramid Attention Network，PAN)用于提取路面裂紋，其中特征金字塔注意力模塊在提取多尺度特征時(shí)能有效避免空洞卷積可能引起的柵格效應(yīng)。此外，該模塊和全局注意力模塊利用高層次和全局信息指導(dǎo)低層次特征的選擇和融合，有利于邊緣信息的提取。受文獻(xiàn)[11-12]啟發(fā)，本文基于改進(jìn)的一次性聚合模塊、特征金字塔注意力模塊和全局注意力上采樣模塊等構(gòu)建了一個(gè)由粗到精的全卷積神經(jīng)網(wǎng)絡(luò)模型。

本文的主要貢獻(xiàn)如下：

1) 提出一種具備邊緣感知能力的多尺度語(yǔ)義分割模型，用于帶鋼表面缺陷自動(dòng)識(shí)別和提取。

2) 該模型用改進(jìn)的一次性聚合模塊取代PAN模型中的密集連接模塊，因而無(wú)需任何預(yù)訓(xùn)練集便可從小樣本數(shù)據(jù)集中學(xué)習(xí)獲得從圖像到缺陷預(yù)測(cè)圖的映射關(guān)系。

3) 該模型用改進(jìn)的PAN模型和淺層U-Net級(jí)聯(lián)構(gòu)建了一個(gè)由粗到細(xì)的結(jié)構(gòu)，提升了對(duì)邊緣信息的感知能力。

1 本文方法

本文將帶鋼表面缺陷自動(dòng)檢測(cè)問(wèn)題轉(zhuǎn)化為帶鋼表面圖像語(yǔ)義分割問(wèn)題。如圖1所示，本文的圖像語(yǔ)義分割模型由粗略語(yǔ)義預(yù)測(cè)和精細(xì)語(yǔ)義預(yù)測(cè)兩個(gè)級(jí)聯(lián)的子網(wǎng)絡(luò)組成。粗略語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)采用U型編碼器-解碼器結(jié)構(gòu)。首先利用改進(jìn)的一次性聚合模塊和特征金字塔注意力模塊構(gòu)建編碼器，提取多層級(jí)和多尺度特征并降低訓(xùn)練所需的數(shù)據(jù)量。然后由一系列全局注意力上采樣模塊作為解碼器實(shí)現(xiàn)高級(jí)特征指導(dǎo)低級(jí)特征復(fù)原空間信息，并輸出初步預(yù)測(cè)結(jié)果。精細(xì)語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)利用一個(gè)淺層U-Net對(duì)第一個(gè)子網(wǎng)絡(luò)獲得的初步預(yù)測(cè)結(jié)果進(jìn)行細(xì)化并改進(jìn)邊緣精度。

圖1 本文所提出的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Our proposed network structure

圖2 本文方法中的n×n卷積模塊Fig.2 n×n Convolution module in our method

圖1中的m值代表粗略語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)下采樣路徑中4個(gè)改進(jìn)的一次性聚合模塊中卷積模塊的個(gè)數(shù)。圖2定義了n×n卷積模塊，本文中如無(wú)特殊說(shuō)明，其結(jié)構(gòu)依次為卷積核大小為n×n、步長(zhǎng)為1的卷積層，批量歸一化層和激活函數(shù)為ReLU的激活層。

1.1 改進(jìn)的一次性聚合模塊

改進(jìn)的一次性聚合模塊的具體結(jié)構(gòu)如圖3所示。首先輸入特征依次經(jīng)過(guò)m個(gè)濾波器數(shù)量為16的3×3卷積模塊，輸出m個(gè)不同等級(jí)的特征。然后這些特征和輸入特征通過(guò)一次性聚合的方式按通道堆疊在一起。最終，再將輸入特征通過(guò)1×1卷積模塊將其通道數(shù)提升至與一次性聚合操作后的特征圖通道數(shù)相同，再將二者相加。改進(jìn)之處在于最后一步的殘差相加提升了梯度反向傳播能力。

圖3 改進(jìn)的一次性聚合模塊Fig.3 Improved one-shot aggregation module

1.2 特征金字塔注意力模塊

特征金字塔注意力模塊的具體結(jié)構(gòu)如圖4所示。首先輸入特征分別輸入1×1卷積與U型特征金字塔結(jié)構(gòu)，這兩個(gè)輸出的乘積再與輸入特征依次經(jīng)過(guò)全局最大池化和1×1卷積操作后的結(jié)果相加。U型金字塔結(jié)構(gòu)通過(guò)3次2×2最大值池化，獲得3個(gè)不同分辨率的特征。這些特征分別經(jīng)過(guò)3組不同卷積核大小的卷積操作提取特征，低分辨率的特征經(jīng)過(guò)上采樣后再逐級(jí)相加。其中每組卷積均由兩個(gè)相同大小的卷積組成，卷積核大小分別為7×7、5×5和3×3.不同于金字塔特征聚合模塊僅能在獲取多空間分辨率特征和像素級(jí)別擴(kuò)大感受視野，特征金字塔注意力機(jī)制還能通過(guò)全局最大池化支路，提供全局上下文注意力，在通道方向上對(duì)所提取的特征進(jìn)行選擇[12]。

圖4 特征金字塔注意力模塊Fig.4 Feature pyramid attention module

1.3 全局注意力上采樣模塊

全局注意力上采樣模塊的具體結(jié)構(gòu)如圖5所示。低級(jí)特征經(jīng)過(guò)3×3卷積模塊后與高級(jí)特征經(jīng)過(guò)全局平均池化、1×1卷積、批量歸一化層和激活函數(shù)為Sigmoid的激活層后相乘，得到經(jīng)過(guò)高層次特征在通道維度指導(dǎo)后的低層次特征圖。最后該特征輸出與經(jīng)過(guò)卷積核大小為3×3、步長(zhǎng)為2的反卷積操作的高層次特征進(jìn)行相加。

圖5 全局注意力上采樣模塊Fig.5 Global attention up-sample module

1.4 粗略語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)

粗略語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)是一種改進(jìn)的特征金字塔注意力網(wǎng)絡(luò)[12]，采用U型網(wǎng)絡(luò)結(jié)構(gòu)，由下采樣路徑，特征金字塔注意力模塊和上采樣路徑3部分組成，其中下采樣路徑和上采樣路徑對(duì)應(yīng)部分之間有跳躍連接，實(shí)現(xiàn)低級(jí)特征和高級(jí)特征的融合。下采樣路徑依次由1個(gè)7×7卷積模塊、4個(gè)分別由大小為2×2、步長(zhǎng)為2的最大池化層和改進(jìn)的一次性聚合模塊組成(其中，m分別取4，6，9，12)的下采樣單元組成。上采樣路徑依次由4個(gè)全局注意力上采樣模塊和1個(gè)1×1卷積模塊組成。

1.5 精細(xì)語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)

精細(xì)語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)采用經(jīng)典的U-Net網(wǎng)絡(luò)結(jié)構(gòu)，具體的結(jié)構(gòu)如圖1所示。由下采樣路徑和上采樣路徑兩部分組成，其中下采樣路徑和上采樣路徑對(duì)應(yīng)部分之間有跳躍連接，實(shí)現(xiàn)低級(jí)特征和高級(jí)特征的融合。下采樣路徑依次由2個(gè)3×3的卷積模塊和4個(gè)下采樣階段組成，每個(gè)下采樣階段由大小為2×2、步長(zhǎng)為2的最大池化層和3×3卷積模塊組成。上采樣路徑依次由4個(gè)上采樣階段和1個(gè)3×3卷積模塊組成，每個(gè)上采樣階段由步長(zhǎng)為2的雙線性插值上采樣操作和3×3卷積模塊組成。精細(xì)語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)通過(guò)學(xué)習(xí)粗略語(yǔ)義預(yù)測(cè)子網(wǎng)絡(luò)預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽圖像之間的差異進(jìn)一步改進(jìn)邊緣預(yù)測(cè)精度。

1.6 損失函數(shù)

本文提出的方法所使用的損失函數(shù)為由交叉熵(CE)函數(shù)、結(jié)構(gòu)相似性指數(shù)度量(SSIM)函數(shù)和交并比(IoU)函數(shù)組成的混合損失函數(shù)：

L=lCE+lSSIM+lIoU.

(1)

以上3個(gè)函數(shù)分別用于計(jì)算模型預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的像素級(jí)差、局部結(jié)構(gòu)性、全局性差異。其定義為：

(2)

(3)

(4)

式中：N代表像素個(gè)數(shù)，M代表類(lèi)別總數(shù)。對(duì)于類(lèi)別c，yic代表像素i的真實(shí)標(biāo)簽，如果像素i的真實(shí)類(lèi)別為c則yic取1，否則yic取0.pic代表像素i預(yù)測(cè)為類(lèi)別c的可能性，μy，μp和σy，σp分別是真實(shí)標(biāo)簽圖像y和預(yù)測(cè)圖像p的平均值和標(biāo)準(zhǔn)差，σyp是真實(shí)標(biāo)簽圖像y和預(yù)測(cè)圖像p的協(xié)方差。C1=0.012和C2=0.032被用來(lái)避免除零。

2 實(shí)驗(yàn)

為驗(yàn)證本文提出方法的有效性，使用了東北大學(xué)熱軋帶鋼表面缺陷數(shù)據(jù)集[13](簡(jiǎn)稱NEU-Seg數(shù)據(jù)集)對(duì)模型的性能進(jìn)行評(píng)估。本文對(duì)比實(shí)驗(yàn)中所有模型均在搭載NVIDIA Tesla K80圖形處理器，深度學(xué)習(xí)框架為T(mén)ensorFlow 1.14.0的工作站上進(jìn)行了訓(xùn)練、測(cè)試與評(píng)估。

2.1 數(shù)據(jù)集

如圖6所示，NEU-Seg數(shù)據(jù)集包括鋼帶表面夾雜(In)、斑點(diǎn)(Pa)、劃傷(Sc)3種類(lèi)別的缺陷數(shù)據(jù)，分別用紅、綠、藍(lán)3種顏色表示。每個(gè)類(lèi)別的數(shù)據(jù)包括尺寸為200 mm×200 mm的原始圖像、200 mm×200 mm的人工標(biāo)記圖像各300張。為了使模型的泛化能力更強(qiáng)，使用Augmentor數(shù)據(jù)增強(qiáng)工具對(duì)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)。增強(qiáng)方法為：旋轉(zhuǎn)范圍為最大左旋10°，最大右旋10°，概率為80%的圖像旋轉(zhuǎn)；概率為50%的圖像垂直翻轉(zhuǎn)；30%的概率放大原始圖像，并按照原始圖像的85%進(jìn)行裁切；改變圖像大小為256 mm×256 mm以便于模型訓(xùn)練，最終擴(kuò)充的數(shù)據(jù)樣本數(shù)為10 000張。其中，訓(xùn)練集6 000張、驗(yàn)證集2 000張、測(cè)試集2 000張。

圖6 東北大學(xué)熱軋帶鋼表面缺陷數(shù)據(jù)集示例Fig.6 Samples of NEU-Seg defect dataset

2.2 實(shí)驗(yàn)設(shè)置

本方法及其他對(duì)比實(shí)驗(yàn)所用的網(wǎng)絡(luò)在訓(xùn)練階段均使用Adam優(yōu)化器，訓(xùn)練輪數(shù)(Epoch)為100輪，學(xué)習(xí)率初始值為3×10-4且在訓(xùn)練過(guò)程中使用Cosine方法對(duì)其進(jìn)行衰減，批次大小為8.Adam優(yōu)化器的一階矩估計(jì)的指數(shù)衰減率β1為0.9，二階矩估計(jì)的指數(shù)衰減率β2為0.999.

3 結(jié)果與分析

定量評(píng)價(jià)結(jié)果如表1所示。表1最后一行顯示本文提出的方法在NEU-Seg數(shù)據(jù)集上取得了較好的語(yǔ)義分割效果，夾雜類(lèi)缺陷像素精度(In_PA)為91.43%、斑點(diǎn)類(lèi)缺陷像素精度(Pa_PA)為96.35%、劃痕類(lèi)缺陷像素精度(Sc_PA)為93.49%、平均交并比(mIoU)達(dá)87.65%、平均像素精度(mPA)達(dá)93.76%，平均F1值(mF1score)達(dá)93.19%.表1中第二行和三行分別與第一行進(jìn)行比較，結(jié)果分別驗(yàn)證了不同等級(jí)特征融合和多尺度特征提取的必要性。表1中第七行與第二和第三行進(jìn)行對(duì)比，結(jié)果表明本文所提出的方法中的粗略語(yǔ)義預(yù)測(cè)網(wǎng)絡(luò)無(wú)論是在整體還是類(lèi)別分割性能上優(yōu)于FCN[14]、U-Net[7]和DeepLab V3+[15].該結(jié)果驗(yàn)證基于改進(jìn)型一次性聚合模塊的PAN模型強(qiáng)大的特征表達(dá)能力。表1中第七行分別與第四行、第五行對(duì)比，結(jié)果表明，粗略語(yǔ)義預(yù)測(cè)網(wǎng)絡(luò)中的改進(jìn)型一次聚合模塊在整體分割性能和類(lèi)別精度上均優(yōu)于目前基于深度遷移方法中通常采用的殘差連接和密集連接模塊[8]。第七行和第六行比較表明對(duì)一次性聚合模塊的改進(jìn)提升了模型的分割性能。第七行和第八行相比較表明本文所提出的整體方法提升了粗略語(yǔ)義預(yù)測(cè)網(wǎng)絡(luò)的性能，該結(jié)果驗(yàn)證了本文采用由粗到細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)提升了模型的邊緣感知能力。

表1 NEU-Seg數(shù)據(jù)集對(duì)比實(shí)驗(yàn)評(píng)估結(jié)果Table 1 Comparative experiment results and evaluations using the NEU-Seg defect dataset

基于東北大學(xué)熱軋帶鋼表面缺陷數(shù)據(jù)集，采用本文所提出的方法與粗略語(yǔ)義預(yù)測(cè)網(wǎng)絡(luò)、基于Resnet101的PAN、基于Dense121的PAN和DeepLab V3+等模型的定性評(píng)價(jià)與比較結(jié)果如圖7所示。圖7表明本文所提出的方法在不同尺度的各類(lèi)缺陷的自動(dòng)提取上均取得了滿意的結(jié)果，相比于其他方法，抗干擾能力更強(qiáng)而且與標(biāo)簽圖像更接近。這說(shuō)明該方法特征表達(dá)能力強(qiáng)大，能夠感知并提取多尺度特征和邊緣信息，進(jìn)而提升預(yù)測(cè)精度。以上的定量和定性評(píng)價(jià)結(jié)果均證明了本文所提方法的有效性。

圖7 東北大學(xué)熱軋帶鋼表面缺陷數(shù)據(jù)集各模型實(shí)驗(yàn)結(jié)果可視化Fig.7 Visualization of experimental results of models using the NEU-Seg defect dataset

4 結(jié)束語(yǔ)

本文提出一種基于邊界感知和小樣本學(xué)習(xí)的多尺度帶鋼表面缺陷自動(dòng)提取方法。該方法以一種改進(jìn)的一次性聚合模塊和特征金字塔注意力模塊搭建編碼器，不僅可以高效重復(fù)利用特征還能從帶鋼表面圖像中準(zhǔn)確地提取多尺度特征。因而，這種方法具有強(qiáng)大的特征表達(dá)和模型泛化能力，基于小規(guī)模樣本集也能實(shí)現(xiàn)。此外，該方法采用由粗到細(xì)的結(jié)構(gòu)和全局注意力上采樣模塊提升模型的邊緣感知能力，進(jìn)一步提升了預(yù)測(cè)精度。東北大學(xué)鋼表面語(yǔ)義分割數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了該方法對(duì)夾雜、斑點(diǎn)和劃傷等帶鋼表面缺陷自動(dòng)提取的可行性和有效性。下一步將研究基于元深度學(xué)習(xí)的帶鋼表面圖像語(yǔ)義分割方法，進(jìn)一步降低模型訓(xùn)練所需的樣本數(shù)量。