
















摘 要:針對(duì)傳統(tǒng)分割算法對(duì)于金屬組織缺陷分割不連續(xù),易被偽缺陷干擾的問(wèn)題,提出一種結(jié)合遷移學(xué)習(xí)和通道注意力的ECA-UNet網(wǎng)絡(luò)結(jié)構(gòu),實(shí)現(xiàn)GH4169高溫合金組織缺陷圖像分割與檢測(cè)。首先,使用遷移學(xué)習(xí)將在ImageNet預(yù)訓(xùn)練好的參數(shù)遷移到ECA-UNet網(wǎng)絡(luò)中,然后引用DenseNet網(wǎng)絡(luò)思想將每一個(gè)有效特征層提取的圖像信息都密集連接到下一個(gè)有效特征層中,并結(jié)合通道注意力模塊組成加強(qiáng)跳躍連接模塊,使UNet獲得更準(zhǔn)確的分割結(jié)果;最后,采用混合損失函數(shù)替代單一損失函數(shù)解決GH4169高溫合金缺陷數(shù)據(jù)集正負(fù)樣本不均衡的問(wèn)題。與現(xiàn)行優(yōu)秀算法PSPNet、Deeplabv3+缺陷分割效果對(duì)比發(fā)現(xiàn)ECA-UNet相較其他方法最佳指標(biāo)值組合依然有2.91%,0.33%,3.5%的提升。結(jié)果表明:采用改進(jìn)UNet分割缺陷的3個(gè)指標(biāo)數(shù)據(jù)IoU,PA,F(xiàn)1-score分別為76.43%,87.22%,90.3%,相較于原始UNet網(wǎng)絡(luò)3個(gè)指標(biāo)分別提升了9.83%,9.09%,7.3%。關(guān)鍵詞:缺陷分割;通道注意力模塊;遷移學(xué)習(xí);加強(qiáng)跳躍連接模塊;損失函數(shù)中圖分類號(hào):TP 391.4
Detection of GH4169 superalloy tissue defects based on ECA-UNet
JIANG Junqiang1,ZHANG Xuhui1,XU Kuikui2,DONG Ming1,MA Hongwei1
(1.College of Mechanical and Engineering,Xi’an University of Science and Technology,Xi’an 710054,China;2.School of Information Technology,Hebei University of Business and Economics,Shijiazhuang 050000,China)
Abstract:To solve the problems that the traditional segmentation algorithm has discontinuous segmentation of metal tissue defects and is easily disturbed by pseudo-defects,an ECA-UNet network structure based on transfer learning and channel attention was proposed to realize GH4169 superalloy tissue defects image segmentation and detection.Firstly,the parameters pre-trained in ImageNet was migrated to the ECA-UNet network using transfer learning.Then the idea of the DenseNet network was invoked to densely connect the image information extracted from each effective feature layer to the next effective feature layer,and adopted the channel attention module to form a enhanced skip connection module,so that UNet can obtain more accurate segmentation results.Finally,the mixed loss function is used to replace the single loss function to solve the problem of unbalanced positive and negative samples in the defect data set of GH4169 superalloy.Comparing the effectiveness of ECA-UNet with the current excellent algorithm PSPNet,Deeplabv3+defect segmentation module show that ECA-UNet still has 2.91%,0.33%,and 3.5% improvement compared to the other methods for the best combination of indicators values.The experimental results on the GH4169 superalloy defect dataset show that the IoU,PA,and F1-score of the three indicators of defect segmentation using an improved UNet are 76.43%,87.22% and 90.3%,respectively.Compared with the original UNet network,the three indicators have increased by 9.83%,9.09%,and 7.3% respectively.
Key words:defect segmentation;channel attention module;transfer learning;enhanced skip connection module;loss function
0 引 言
鎳基高溫合金GH4169是一種典型沉淀硬化合金,力學(xué)性能類似Inconel 718[1-2]。因其在高溫下具有良好的強(qiáng)度、韌性和耐腐蝕性,廣泛用于制作航空工業(yè)和核電設(shè)備零部件。一般來(lái)說(shuō),航空類關(guān)鍵零部件通過(guò)鍛造工藝制備[3]。鍛造過(guò)程復(fù)雜,坯料溫度不當(dāng)、模具設(shè)計(jì)和結(jié)構(gòu)不正確或工藝參數(shù)不合適等原因會(huì)在鍛件內(nèi)部遺留組織缺陷,造成應(yīng)力集中影響零部件功能和質(zhì)量[4]。因此,金屬內(nèi)部組織缺陷檢測(cè)成為眾多學(xué)者的研究熱點(diǎn)之一[5-7]。
為研究金屬內(nèi)部組織缺陷分布規(guī)律和成因,研究人員需要長(zhǎng)時(shí)間在掃描電鏡下觀察缺陷的分布和形貌,這不僅浪費(fèi)了大量的時(shí)間和精力,而且很容易由于視覺(jué)疲勞出現(xiàn)錯(cuò)檢和漏檢情況。因此,開(kāi)發(fā)缺陷自動(dòng)分割系統(tǒng),可以幫助研究人員精準(zhǔn)的定位缺陷位置,并且將缺陷從背景及偽缺陷中分割出來(lái),提高研究效率。傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)方法主要是通過(guò)手工設(shè)計(jì)提取特征網(wǎng)絡(luò),然后使用分類算法進(jìn)行分類,如盧印舉等構(gòu)造了高斯混合的玻璃缺陷分割模型,應(yīng)用灰度共生矩陣提取玻璃表面紋理特征,構(gòu)建紋理和灰度的雙特征,完成玻璃表面缺陷分割[8]。隨著計(jì)算機(jī)算力的提高,深度學(xué)習(xí)技術(shù)得到了迅速的發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)[9]被證明在特征提取方面有著非常強(qiáng)大的能力,近些年不斷的被應(yīng)用到不同領(lǐng)域的缺陷檢測(cè)及分割任務(wù)中。LI等針對(duì)金屬焊接缺陷圖像的特性,提出了一種混合注意力機(jī)制的三重Pseudo-Siamese缺陷分割網(wǎng)絡(luò),通過(guò)層間互補(bǔ)特性提高缺陷識(shí)別性能,有效地檢測(cè)出不同缺陷形態(tài),成功地提高了金屬表面缺陷圖像分割精度[10]。LIU,PAN等基于UNet架構(gòu),提出一種PipeUNet新型語(yǔ)義分割網(wǎng)絡(luò),通過(guò)在原始UNet跳躍連接之間添加一個(gè)名為特征重用和注意機(jī)制的新模塊,針對(duì)缺陷圖像進(jìn)行測(cè)試,成功地分割了下水管道表面缺陷[11-12]。李鑫燦基于UNet網(wǎng)絡(luò)架構(gòu),深入分析了UNet網(wǎng)絡(luò)存在的問(wèn)題,通過(guò)過(guò)度特征與密集連接改進(jìn)了UNet模型得到Nabla-Net用于鋼材表面缺陷精細(xì)分割[13]。
相比較于深度學(xué)習(xí)方法,傳統(tǒng)的分割算法魯棒性較差,容易被圖像中的噪聲和偽缺陷干擾。因此,文中提出將UNet網(wǎng)絡(luò)應(yīng)用于GH4169高溫合金表面組織缺陷分割,為解決UNet網(wǎng)絡(luò)缺陷邊緣欠分割與邊緣分割不連續(xù)問(wèn)題,對(duì)UNet網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)進(jìn)行優(yōu)化,提出一種ECA-UNet(Efficient Channel Attention UNet)網(wǎng)絡(luò),實(shí)現(xiàn)缺陷像素級(jí)檢測(cè)。缺陷像素級(jí)檢測(cè)流程如圖1所示。
1 算法描述
文中設(shè)計(jì)的ECA-UNet網(wǎng)絡(luò)包括3部分:第1部分引進(jìn)遷移學(xué)習(xí)VGG16[14]作為編碼網(wǎng)絡(luò)實(shí)現(xiàn)權(quán)重遷移;第2部分采用DenseNet[15]網(wǎng)絡(luò)的思想重新設(shè)計(jì)跳躍連接模塊,經(jīng)過(guò)ECA注意力機(jī)制模塊[16]提高有效特征權(quán)重后形成加強(qiáng)跳躍連接模塊;第3部分利用反卷積進(jìn)行雙倍上采樣,漸進(jìn)復(fù)原圖像的尺寸并進(jìn)行預(yù)測(cè)。
1.1 UNet網(wǎng)絡(luò)結(jié)構(gòu)
UNet是一種非常優(yōu)秀的語(yǔ)義分割網(wǎng)絡(luò),適用于金屬缺陷分割與醫(yī)學(xué)圖像分割等場(chǎng)景,它可以使用相對(duì)少的數(shù)據(jù)獲得良好分割結(jié)果。UNet類似于FCN[17]網(wǎng)絡(luò),采用編解碼網(wǎng)絡(luò),包括主干特征提取網(wǎng)絡(luò)、加強(qiáng)特征提取網(wǎng)絡(luò)和預(yù)測(cè)部分3個(gè)模塊[18]。主干特征提取網(wǎng)絡(luò)進(jìn)行連續(xù)下采樣,是3×3卷積層和2×2最大池化層的堆疊,此過(guò)程能夠獲得5個(gè)初步有效特征層。隨后采用加強(qiáng)特征提取網(wǎng)絡(luò)對(duì)5個(gè)初步有效特征層進(jìn)行上采樣處理和特征融合,結(jié)果得到一個(gè)包含所有特征的有效特征層。預(yù)測(cè)部分應(yīng)用加強(qiáng)特征提取網(wǎng)絡(luò)所得的有效特征層對(duì)所有像素點(diǎn)完成分類,進(jìn)行分割。UNet的網(wǎng)絡(luò)模型如圖2所示。
1.2 ECA-UNet
與背景像素值相近的缺陷在進(jìn)行多次下采樣后會(huì)逐步消失,因此在應(yīng)用網(wǎng)絡(luò)結(jié)構(gòu)對(duì)缺陷進(jìn)行分割時(shí)會(huì)將此類缺陷像素點(diǎn)歸類為背景像素,進(jìn)而引起在缺陷邊緣處出現(xiàn)分割不連續(xù)和欠分割現(xiàn)象。針對(duì)此類情形,文中在UNet的基礎(chǔ)上,重新搭建跳躍連接模塊,引入遷移學(xué)習(xí)VGG16網(wǎng)絡(luò)及ECA注意力機(jī)制模塊,提出了ECA-UNet模型,網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。圖3中的①為ECA-UNet特征提取網(wǎng)絡(luò)。原始UNet編碼結(jié)構(gòu)和VGG系列相近,所以文中以VGG16作為ECA-UNet特征提取部分,并且剔除VGG16最后1個(gè)池化層和2個(gè)全連接層。這樣做的優(yōu)點(diǎn)在于獲取到更豐富的語(yǔ)義信息,并且提升網(wǎng)絡(luò)的泛化能力。圖3中的②是改進(jìn)后的跳躍連接模塊。原始UNet網(wǎng)絡(luò)跳躍連接模塊功能單一,無(wú)法多尺度的提取圖像中信息。因此文中在ECA-UNet網(wǎng)絡(luò)中增加加強(qiáng)跳躍連接模塊,將每層有效特征層輸出的特征信息都堆疊到下一層,實(shí)現(xiàn)與上一層的密集連接,而后通過(guò)有效通道注意力ECA模塊實(shí)現(xiàn)特征信息加權(quán),以減少目標(biāo)信息的丟失程度。圖3中的③為ECA-UNet的上采樣模塊,與UNet網(wǎng)絡(luò)的上采樣部分構(gòu)建過(guò)程類似,不過(guò)在結(jié)構(gòu)上有少許改動(dòng),UNet在執(zhí)行跳躍連接時(shí)會(huì)發(fā)生Crop操作使得相連的特征圖尺寸大小保持一致,但ECA-UNet在構(gòu)建過(guò)程中并不執(zhí)行Crop操作,而是在上采樣過(guò)程中執(zhí)行2倍上采樣,這樣做的目的在于提升網(wǎng)絡(luò)的通用性。另外,在ECA-UNet網(wǎng)絡(luò)分割缺陷時(shí),采用混合損失函數(shù)緩解前景面積占比小、正負(fù)類像素分布不均引起的網(wǎng)絡(luò)不收斂問(wèn)題。
1.2.1 遷移學(xué)習(xí)網(wǎng)絡(luò)VGG16
采用大量高質(zhì)量標(biāo)注數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的參數(shù),通常會(huì)得到表現(xiàn)比較好的深度學(xué)習(xí)任務(wù),不過(guò)實(shí)際圖像處理中,獲取海量相關(guān)數(shù)據(jù)同時(shí)高質(zhì)量標(biāo)注的任務(wù)十分艱巨,所以遷移學(xué)習(xí)算法成為眾多研究員研究熱點(diǎn)之一。在缺乏足夠多樣本情形時(shí),從其他已經(jīng)訓(xùn)練好的通用特征網(wǎng)絡(luò)遷移到所用圖像處理上,提升網(wǎng)絡(luò)的通用性,獲取好的訓(xùn)練結(jié)果。文獻(xiàn)
[19]表明遷移學(xué)習(xí)是深度學(xué)習(xí)的驅(qū)動(dòng)力,它不但能夠提高網(wǎng)絡(luò)訓(xùn)練效率,還能提高網(wǎng)絡(luò)識(shí)別能力,由此也說(shuō)明將遷移學(xué)習(xí)引入到深度學(xué)習(xí)任務(wù)中具有合理性。VGG網(wǎng)絡(luò)與UNet中的下采樣網(wǎng)絡(luò)原理類似,因此文中采用VGG16作為ECA-UNet網(wǎng)絡(luò)模型的下采樣部分,ECA-UNet網(wǎng)絡(luò)中VGG16結(jié)構(gòu)如圖4所示,采用(512,512,3)的圖片輸入為例。
1.2.2 加強(qiáng)跳躍連接模塊
因原始UNet結(jié)構(gòu)中跳躍連接模塊形式單一,文中受DenseNet密集連接方法啟發(fā),在ECA-UNet中加入加強(qiáng)跳躍連接網(wǎng)絡(luò)。采用圖3中第6個(gè)卷積塊輸入特征圖為例,它是源自同尺度第4個(gè)卷積塊的輸出,并對(duì)第1、2和3個(gè)卷積塊執(zhí)行變尺度下采樣,確保不同卷積塊的輸出特征圖尺寸大小一致,之后再執(zhí)行堆疊,最后利用ECA注意力機(jī)制模塊對(duì)融合后特征圖進(jìn)行權(quán)重優(yōu)化得到第6個(gè)卷積塊的輸入特征圖。
1.2.3 ECA注意力機(jī)制
提高神經(jīng)網(wǎng)絡(luò)精度的以往經(jīng)驗(yàn)主要是增加神經(jīng)網(wǎng)絡(luò)的深度或者寬度,不過(guò)這樣會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)大幅增加,訓(xùn)練時(shí)間顯著增長(zhǎng),并且一旦神經(jīng)網(wǎng)絡(luò)層數(shù)到達(dá)一定數(shù)值后,網(wǎng)絡(luò)出現(xiàn)退化現(xiàn)象,縱使殘差結(jié)構(gòu)也只是在一定程度上緩解梯度彌散,無(wú)法根本解決這一弊端。此種情形下,注意力機(jī)制就成為了眾多學(xué)者解決此類問(wèn)題的方法之一。在計(jì)算機(jī)視覺(jué)任務(wù)處理中,廣泛采用注意力機(jī)制增強(qiáng)感興趣目標(biāo)特征,抑制冗余特征,在小幅增加參數(shù)的條件下提升神經(jīng)網(wǎng)絡(luò)的性能。
ECA-Net作為一種超輕量級(jí)注意力模塊,在不增加模型復(fù)雜程度的前提下,使模型的性能得到顯著提升。和SENet[20]一樣,ECA也在通道層面輸出特征權(quán)重,不過(guò)ECA相較于SENet進(jìn)行了2個(gè)方面的擴(kuò)展:①ECA規(guī)避了2個(gè)FC層之間的特征維度衰減;②采用一維卷積完成各通道間的局部交互。ECA結(jié)構(gòu)如圖5所示。
ECA利用卷積核大小k自適應(yīng)調(diào)整交互率,以便通道數(shù)較大的層可以執(zhí)行更多的交互。k與通道數(shù)C的計(jì)算見(jiàn)式(1)。
式中 r=2,b=1。ECA計(jì)算流程見(jiàn)表1。
1.3 混合損失函數(shù)
文中采用的損失函數(shù)包含2部分:①二元交叉熵(Binary Cross Entropy,BCE)損失函數(shù)[21];②Dice相似系數(shù)(Dice Similarity Coefficient,DSC)損失函數(shù)[22]。BCE作為語(yǔ)義分割任務(wù)中應(yīng)用最為廣泛的損失函數(shù)之一,計(jì)算見(jiàn)式(2)。
式中 yi為像素點(diǎn)i的真實(shí)標(biāo)簽;pi為模型對(duì)像素點(diǎn)i的預(yù)測(cè)。
BCE損失函數(shù)針對(duì)每個(gè)像素點(diǎn)計(jì)算模型分類損失,對(duì)于正樣本像素點(diǎn)來(lái)說(shuō),輸出越大,損失越小,而對(duì)負(fù)樣本像素點(diǎn)呈現(xiàn)相反趨勢(shì)。BCE損失函數(shù)有助于緩解梯度網(wǎng)絡(luò)回傳消失問(wèn)題,不過(guò)在使用BCE損失函數(shù)處理不平衡的正負(fù)樣本數(shù)據(jù)時(shí),會(huì)導(dǎo)致像素點(diǎn)較大的類掩蓋像素點(diǎn)較少的類。文中所使用的GH4169高溫合金表面缺陷多數(shù)屬于小缺陷,正負(fù)樣本分布極其不均衡,單一采用BCE損失函數(shù)會(huì)降低網(wǎng)絡(luò)學(xué)習(xí)缺陷特征的有效性。
DSC損失函數(shù)是將語(yǔ)義分割的評(píng)價(jià)指標(biāo)Dice系數(shù)作為損失,Dice系數(shù)作為一種集合相似度度量函數(shù),常用于計(jì)算2個(gè)樣本的相似度,計(jì)算見(jiàn)式(3)。
式中 X為真實(shí)標(biāo)簽;Y為預(yù)測(cè)值;S為2個(gè)樣本的相似度,S值越大表明預(yù)測(cè)結(jié)果和真實(shí)結(jié)果越相似。如果要把Dice系數(shù)當(dāng)做損失函數(shù)的話則是值越小越好,DSC計(jì)算見(jiàn)式(4)。
DSC=1-Dice "(4)
DSC損失函數(shù)注重非常小的感興趣區(qū)域,可以抑制正負(fù)樣本不均衡的影響,不過(guò)DSC損失函數(shù)的缺點(diǎn)是容易陷入局部最優(yōu)解,使得訓(xùn)練過(guò)程難以收斂。針對(duì)2種損失函數(shù)的優(yōu)缺點(diǎn),文中在ECA-UNet將2種損失函數(shù)融合一起,提出一種混合損失函數(shù),計(jì)算見(jiàn)式(5)。
L=LBCE+LDSC "(5)
1.4 評(píng)價(jià)指標(biāo)
為了客觀評(píng)價(jià)網(wǎng)絡(luò)模型的分割效果,采用語(yǔ)義分割任務(wù)中廣泛應(yīng)用的F1-score、交并比(Intersection over Union,IoU)和像素準(zhǔn)確率(Pixel Accuracy,PA)作為評(píng)價(jià)指標(biāo)。F1-score是綜合Precision(精確率)和Recall(召回率)的指標(biāo),表示模型分割缺陷的準(zhǔn)確率。計(jì)算公式如下。
IoU是缺陷真實(shí)標(biāo)簽和預(yù)測(cè)值的交并比,用于評(píng)價(jià)模型的分割性能。計(jì)算見(jiàn)式(9)。
PA為分割出缺陷類像素占所有缺陷類像素的比值。實(shí)際語(yǔ)義分割任務(wù)中,已分割出的目標(biāo)像素面積與真實(shí)目標(biāo)像素面積之比可以直觀映射模型對(duì)于細(xì)節(jié)的分割效果。計(jì)算見(jiàn)式(10)。
在公式(6)~(10)中,TP為標(biāo)簽為缺陷區(qū)域,且預(yù)測(cè)也為缺陷區(qū)域的像素點(diǎn);FP為標(biāo)簽為背景區(qū)域,而預(yù)測(cè)為缺陷區(qū)域的像素點(diǎn);TN為標(biāo)簽為缺陷區(qū)域而預(yù)測(cè)結(jié)果為背景區(qū)域的像素點(diǎn);FN為標(biāo)簽背景區(qū)域且預(yù)測(cè)結(jié)果也為背景區(qū)域的像素點(diǎn)。文中通過(guò)上述指標(biāo)對(duì)比不同模型對(duì)于缺陷的分割效果,上述指標(biāo)越大分割效果越好。
2 試驗(yàn)結(jié)果及分析
2.1 試驗(yàn)數(shù)據(jù)集和實(shí)驗(yàn)條件設(shè)置
2.1.1 數(shù)據(jù)集介紹
文中試驗(yàn)所用金屬為采用真空感應(yīng)-氣氛保護(hù)-真空自耗“三聯(lián)冶煉技術(shù)”及鍛造工藝生產(chǎn)的大棒材GH4169高溫合金。從GH4169合金鍛件上截取樣品長(zhǎng)條,經(jīng)線切割、熱鑲、磨樣、拋光后,使用配比為20 mL鹽酸+20 mL無(wú)水乙醇+1.5 g五水合硫酸銅的腐蝕溶液進(jìn)行化學(xué)腐蝕[23],再采用日本產(chǎn)尼康LV100ND金相顯微鏡進(jìn)行圖像數(shù)據(jù)采集,共獲取1 470張圖片。圖片分辨率為512×512,使用Labelme軟件對(duì)圖像中的缺陷進(jìn)行標(biāo)注,數(shù)據(jù)標(biāo)注格式為PascalVOC格式。數(shù)據(jù)集中的部分圖像如圖6所示,圖6(a)(b)(c)中為試樣不同區(qū)域微觀缺陷形貌,圖6(d)(e)(f)中白色是背景像素,黑色表示標(biāo)注后的缺陷形貌。
2.1.2 數(shù)據(jù)增強(qiáng)策略
為增強(qiáng)數(shù)據(jù)多樣性,減小網(wǎng)絡(luò)過(guò)擬合概率,文中對(duì)已標(biāo)注的1 470張圖片及其掩膜采取在線增強(qiáng)措施,具體操作步驟為:①隨機(jī)對(duì)圖片進(jìn)行左右翻轉(zhuǎn);②隨機(jī)對(duì)圖片進(jìn)行上下翻轉(zhuǎn);③將圖片以(0.5,1.5)的比率隨機(jī)縮減;④對(duì)圖片HSV色域中的3個(gè)通道進(jìn)行隨機(jī)扭曲。上述4種措施每次隨機(jī)選取3種實(shí)施實(shí)時(shí)數(shù)據(jù)增強(qiáng)操作。
2.1.3 實(shí)驗(yàn)條件設(shè)置
實(shí)驗(yàn)環(huán)境配置:聯(lián)想P900工作站,采用RTX2080S GPU(8GB顯存)訓(xùn)練加速,采用Pytorch架構(gòu),使用adm優(yōu)化器進(jìn)行迭代優(yōu)化,設(shè)定初始學(xué)習(xí)率0.000 1,采用動(dòng)態(tài)學(xué)習(xí)率衰減策略,batch-size設(shè)8。將1 470張有標(biāo)注的存在缺陷的圖片數(shù)據(jù)集按照9∶1的比例劃分成訓(xùn)練集和測(cè)試集,訓(xùn)練100個(gè)輪次之后網(wǎng)絡(luò)基本收斂,選出訓(xùn)練損失最小的權(quán)重文件測(cè)試,測(cè)試數(shù)據(jù)共147張圖片。
2.2 不同模型之間對(duì)比
為了驗(yàn)證ECA-UNet的分割性能,文中選取近幾年提出的優(yōu)秀分割算法PSPNet[24]和Deeplabv 3+[25]與ECA-UNet進(jìn)行對(duì)照,結(jié)果如圖7所示。從IoU,PA以及F1-score指標(biāo)數(shù)據(jù)以及模型參數(shù)量對(duì)照可以發(fā)現(xiàn),ECA-UNet的IoU,PA,F(xiàn)1-score指標(biāo)數(shù)據(jù)分別為76.43%,87.22%,90.3%,相較于其他3種優(yōu)秀算法,IoU的最佳值組合為Deeplabv 3+的73.52%,PA最佳值為Deeplabv 3+的86.89%,F(xiàn)1-score的最佳值為PSPnet的86.8%,而文中的ECA-UNet的IoU,PA,F(xiàn)1-score縱然相對(duì)于其他3種優(yōu)秀算法的最佳值組合依舊分別提升2.91%,0.33%,3.5%。模型的參數(shù)量對(duì)照也可看出文中的ECA-UNet相較于其他3種算法仍處于優(yōu)勢(shì)地位,因此表明縱使相對(duì)于一些強(qiáng)大的特征提取網(wǎng)絡(luò),ECA-UNet的優(yōu)勢(shì)依舊突顯,缺陷定位準(zhǔn)確,分割效果良好。
2.3 消融實(shí)驗(yàn)
為證實(shí)文中ECA-UNet有效性,分別在傳統(tǒng)UNet,UNet+遷移學(xué)習(xí)VGG16以及ECA-UNet上進(jìn)行缺陷分割并記錄指標(biāo),數(shù)值對(duì)比如圖8所示。結(jié)果發(fā)現(xiàn),原UNet網(wǎng)絡(luò)缺陷分割準(zhǔn)確率為3種方法最低,添加特征提取網(wǎng)絡(luò)遷移學(xué)習(xí)VGG16后,IoU,PA以及F1-score分別提高了8.26%,8.7%和6%,這表明遷移學(xué)習(xí)對(duì)小樣本的有效性,減小對(duì)訓(xùn)練數(shù)據(jù)集的依賴程度。ECA-UNet是在UNet引進(jìn)遷移學(xué)習(xí)基礎(chǔ)上改進(jìn)跳躍連接模塊,增加了ECA注意力機(jī)制,相較于原始UNet網(wǎng)絡(luò),IoU,PA,F(xiàn)1-score分別提升了9.83%,9.09%,7.3%。同時(shí)對(duì)比UNet+遷移學(xué)習(xí)VGG16,IoU,PA以及F1-score指標(biāo)也均有小幅提升,表明文中在ECA-UNet中提出加強(qiáng)跳躍連接結(jié)構(gòu)的有效性,ECA-UNet和UNet的缺陷分割對(duì)比如圖9所示。圖9中缺陷分割結(jié)果對(duì)照可以發(fā)現(xiàn),ECA-UNet分割出的缺陷更加整體,逼近缺陷的原始形貌,而UNet的分割只針對(duì)非常明顯缺陷表現(xiàn)出良好效果,而對(duì)于那些像素顏色和背景相接近的缺陷,分割不連續(xù)、不完整,難以滿足實(shí)際研究需求。
為證實(shí)文中所提出的混合損失函數(shù)在GH4169高溫合金表面缺陷分割情形下的有效性,文中在遷移學(xué)習(xí)VGG16的UNet上進(jìn)行試驗(yàn)對(duì)照,其他訓(xùn)練策略保持不變,1個(gè)模型使用單一BCE損失函數(shù),1個(gè)模型使用混合損失函數(shù),得到的數(shù)值對(duì)比見(jiàn)表2。
從表2中的IoU,PA以及F1-score數(shù)據(jù)對(duì)照可以發(fā)現(xiàn),相較于BCE損失函數(shù),混合損失函數(shù)的IoU,PA以及F1-score指標(biāo)均有小幅提升,分別提升了0.51%,1.22%,1.1%,證明混合損失函數(shù)在文中數(shù)據(jù)集應(yīng)用上是有效的,也為小目標(biāo)分割提供一個(gè)解決正負(fù)樣本不均衡的思路。
3 結(jié) 論
1)文中基于UNet網(wǎng)絡(luò)結(jié)構(gòu)搭建了ECA-UNet網(wǎng)絡(luò)模型。該模型采用遷移學(xué)習(xí)VGG16作為下采樣網(wǎng)絡(luò),實(shí)現(xiàn)特征權(quán)重共享,并改進(jìn)了跳躍連接結(jié)構(gòu),提高了特征信息利用率。通過(guò)在GH4169合金組織缺陷數(shù)據(jù)集上進(jìn)行試驗(yàn)驗(yàn)證,相比較原始UNet網(wǎng)絡(luò),ECA-UNet網(wǎng)絡(luò)在指標(biāo)IoU,PA,F(xiàn)1-score分別提升了9.83%,9.09%,7.3%。
2)基于單一損失函數(shù)弊端,提出一種混合損失函數(shù),解決了單一損失函數(shù)由于正負(fù)樣本不均衡引起網(wǎng)絡(luò)預(yù)測(cè)能力下降的問(wèn)題。
3)文中提出的ECA-UNet網(wǎng)絡(luò)相較于PSPNet和Deeplabv3+分割模型,優(yōu)勢(shì)依舊突顯,缺陷定位準(zhǔn)確,分割效果良好。
參考文獻(xiàn)(References):
[1] CHEN M S,MA Y Y,LIN Y C,et al.An innovative annealing treatment method and its mechanism to refine deformed mixed grains of initial aged GH4169 superalloy[J].Journal of Alloys and Compounds,2022,907:164325.
[2]任小平.高溫合金GH4169車削加工表面完整性及抗疲勞加工工藝研究[D].濟(jì)南:山東大學(xué),2019.
REN Xiaoping.Study of turned surface integrity and anti-fatigue turn processing technology for GH4169 super alloy[D].Jinan:Shandong University,2019.
[3] 孫永華,胡華斌,李龍,等.GH4169合金不同鍛造工藝的組織與性能[J].稀有金屬材料與工程,2011,40(2):225-228.
SUN Yonghua,HU Huabin,LI Long,et al.Study on the microstructures and properties of GH4169 alloy by different forging technology[J].Rare Metal Materials and Engineering,2011,40(2):225-228.
[4]甘洪巖.GH4169合金航空葉片楔橫軋制坯心部缺陷及組織調(diào)控機(jī)理[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2020.
GAN Hongyan.Coredefects and microstructure control mechanism for GH4169 alloy aero-blade billet subjected to cross wedge rolling[D].Hefei:University of Science and Technology of China,2020.
[5]劉美茹,萬(wàn)翔,張旭輝,等.方管中超聲波的傳播特性及缺陷檢測(cè)[J].西安科技大學(xué)學(xué)報(bào),2022,42(1):143-151.
LIU Meiru,WAN Xiang,ZHANG Xuhui,et al.Propagation characteristics of ultrasonic guided waves in square tubes and its application to the defection of defects[J].Journal of Xi’an University of Science and Technology,2022,42(1):143-151.
[6]王向宇,張偉偉,張雷,等.基于縱向超聲導(dǎo)波的管道焊縫缺陷識(shí)別研究[J].西安科技大學(xué)學(xué)報(bào),2018,38(6):945-951.
WANG Xiangyu,ZHANG Weiwei,ZHANG Lei,et al.Pipe weld defects detection based on longitudinal ultrasonic guided wave[J].Journal of Xi’an University of Science and Technology,2018,38(6):945-951.
[7]陶顯,侯偉,徐德.基于深度學(xué)習(xí)的表面缺陷檢測(cè)方法綜述[J].自動(dòng)化學(xué)報(bào),2021,47(5):1017-1034.
TAO Xian,HOU Wei,XU De.A surface defect detection methods based on deep learning[J].Acta Automatica Sinica,2021,47(5):1017-1034.
[8]盧印舉,段明義,蘇玉.一種改進(jìn)的高斯混合模型的玻璃缺陷分割方法[J].儀表技術(shù)與傳感器,2021(2):94-103.
LU Yinju,DUAN Mingyi,SU Yu.Improved gaussian mixture model for glass defect image segmentation[J].Instrunent Technique and Sensor,2021(2):94-103.
[9]KRIZHEVSKY A,SUTSKEVER I,HINTON G.Image-Net classification with deep convolutional neural networks[J].Communications of the ACM,2012,60(6):84-90.
[10]LI Z G,CHEN H,MA X C,et al.Triple pseudo-siamese network with hybrid attention mechanism for welding defect detection[J].Materials amp; Design,2022,217:110645.
[11]LIU F Y,WANG L B.UNet-based model for crack detection integrating visual explanations[J].Construction and Building Materials,2022,322:126265.
[12]PAN G,ZHENG Y X,GUO S,et al.Automatic sewerpipe defect semantic segmentation based on improved U-Net[J].Automation in Construction,2020,119:103383.
[13]李鑫燦.基于改進(jìn)U-Net的鋼材缺陷檢測(cè)分割算法研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2020.
LI Xincan.Algorithm for defection and segmentation forsteel based on improved U-Net[D].Harbin:Harbin Institute of Technology,2020.
[14]KONG L Z,CHENG J Y.Classification and defection of COVID-19 X-Ray images based on DenseNet and VGG16 feature[J].Biomedical Signal Processing and Control,2022,77:103772.
[15]YUAN J L,LIU H R,WANG F T,et al.A method for melt pool state monitoring in laser-based direct energy depositon based on DenseNet[J].Measurement,2022,195:111146.
[16]LIN X,HUANG Q,HUANG W,et al.Single image deraining via detail-guided efficient channel attention network[J].Computers amp; Graphics,2021,97:117-125.
[17]LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651.
[18]張春森,劉恒恒,葛英偉,等.多尺度空洞卷積金字塔網(wǎng)絡(luò)建筑物提取[J].西安科技大學(xué)學(xué)報(bào),2021,41(3):490-497.
ZHANG Chunsen,LIU Hengheng,GE Yingwei,et al.Multi-scale dilated convolutional pyramid network for building extraction[J].Journal of Xi’an University of Science and Technology,2021,41(3):490-497.
[19]王毅星.基于深度學(xué)習(xí)和遷移學(xué)習(xí)的電力數(shù)據(jù)挖掘技術(shù)研究[D].杭州:浙江大學(xué),2019.
WANG Yixing.Power data mining technology based on deep learning and transfer learning[D].Hangzhou:Zhejiang University,2019.
[20]ZHANG X T,LIU H,WU X M,et al.Spectral embedding network for attributed graph clustering[J].Neural Networks,2021,142:388-396.
[21]BOER P,KROESE D P,MANNOR S,et al.A tutorial on the cross-entropy method[J].Annals of Operations Research,2005,134(1):19-67.
[22]REBOUAS E,MEDEIROS F,MARQUES R,et al.Level set approach based on Parzen Window and floor of log for edge computing object segmentation in digital images[J].Applied Soft Computing,2021,105:107273.
[23]蔣世川.GH4169高溫合金熱變形行為及組織演變[J].鋼鐵釩鈦,2018,39(2):146-152.
JIANG Shichuan.Hot deformation behavior and microstructure evolution of GH4169 Superalloy[J].Iron Steel Vanadium Titanium,2018,39(2):146-152.
[24]IJJEH A A,KUDELA P.Deep learning based segmentation using full wavefield processing for delamination identification:A comparative study[J].Mechanical Systems and Signal Processing,2022,168:108671.
[25]CHEN L C,PAPANDREOU G,KOKKINOS I,et al.Deeplab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(4):834-848.
(責(zé)任編輯:楊泉林)