基于AlexNet的焊縫缺陷分類方法

金海昆 程曉穎 廖曉平

摘? 要： X射線檢測(cè)作為一種實(shí)用的無(wú)損檢測(cè)（NDT）方法，在壓力容器的焊縫缺陷檢測(cè)中得到了廣泛的應(yīng)用?；赬射線圖像的自動(dòng)缺陷識(shí)別技術(shù)也隨著人工智能（AI）的發(fā)展取得了飛速發(fā)展。本文將焊縫缺陷裁剪成像素小塊作為神經(jīng)網(wǎng)絡(luò)的輸入，并在AlexNet的基礎(chǔ)上通過(guò)添加BN層改進(jìn)了原網(wǎng)絡(luò)，而后又選取了最優(yōu)α值的LeakyReLU層代替了原有的ReLU層，使最終的AlexNet-BN-L模型取得了高達(dá)88.80%的5折交叉驗(yàn)證平均準(zhǔn)確率。

關(guān)鍵詞： 射線無(wú)損檢測(cè)； 焊縫缺陷分類； 卷積神經(jīng)網(wǎng)絡(luò)； 交叉驗(yàn)證

中圖分類號(hào)：TP181? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）09-151-04

Weld defect classification method based on AlexNet

Jin Haikun1， Cheng Xiaoying1， Liao Xiaoping2

（1. School of Mechanical Engineering， Zhejiang Sci-tech University， Hangzhou， Zhejiang 310018， China; 2. Zhejiang Deli Equipment CO， Ltd）

Abstract： As a practical non-destructive testing （NDT） method， X-ray testing has been widely applied in the detection of weld defects in pressure vessels. Automatic weld defect recognition technology based on X-ray film has also made great progress with the development of AI. In this research， the weld defect is cut into small pixel patches as the input of neural network. The original AlexNet is improved by adding BN layer， and the LeakyReLU layer with optimal α value replaces the original ReLU layer. The final AlexNet-BN-L model achieves the highest 5-fold cross validation average accuracy rate of 88.80%.

Key words： radiographic non-destructive testing; classification of weld defects; convolutional neural network; cross validation

0 引言

焊接技術(shù)廣泛應(yīng)用于機(jī)械、機(jī)械電子、化學(xué)化工、機(jī)器人和航空航天等領(lǐng)域，焊接技術(shù)對(duì)現(xiàn)代化工壓力容器生產(chǎn)有著極其重要的作用。但是在焊接過(guò)程中，焊接處難免會(huì)產(chǎn)生缺陷。此時(shí)，檢測(cè)焊縫的缺陷顯得尤為重要。壓力容器焊縫的缺陷檢測(cè)主要分為滲透檢測(cè)、磁粉檢測(cè)、超聲波檢測(cè)和射線檢測(cè)四種方法[1]。其中射線檢測(cè)因?yàn)榭梢酝ㄟ^(guò)射線將焊縫內(nèi)外狀況映射在X光膠片上，使得射線檢測(cè)成為所有焊縫檢測(cè)方式中最重要的檢測(cè)。而后要靠專業(yè)的評(píng)片人員目視拍攝所得的X光底片對(duì)焊縫質(zhì)量做出評(píng)估。由于人的評(píng)片過(guò)程是主觀的，而且人眼由于疲勞等問(wèn)題很可能漏評(píng)、錯(cuò)評(píng)焊縫缺陷，因而不能充分排除安全隱患。所以開發(fā)一個(gè)自動(dòng)識(shí)別焊縫缺陷的算法非常重要。

隨著圖像識(shí)別、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（CNN）被應(yīng)用于圖像分類領(lǐng)域，獲得了很大成功，并且掀起了深度學(xué)習(xí)的熱潮。劉涵和郭潤(rùn)元采用一種改進(jìn)的聚類算法，將焊縫缺陷像素塊提取出來(lái)作為CNN的輸入[2]。侯文慧提出了一種深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）模型，更側(cè)重于網(wǎng)絡(luò)深度和不同的重采樣方法對(duì)不平衡焊縫缺陷數(shù)據(jù)集的影響[3]。之后，姜洪泉根據(jù)焊縫缺陷圖像的特征改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)的池化層，提出了一種利用ReliefF算法增強(qiáng)CNN特征選擇能力的方法[4]。

本文在之前研究的基礎(chǔ)上先將焊縫裁剪為像素小塊作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集，然后通過(guò)兩種方法來(lái)改進(jìn)傳統(tǒng)的AlexNet。首先是在AlexNet卷積層和ReLU激活層中添加批量歸一化（BN）層，其次將ReLU激活層改進(jìn)為L(zhǎng)eakyReLU層，最終采取5折交叉驗(yàn)證驗(yàn)證了改進(jìn)模型的有效性，同時(shí)選取了LeakyReLU層的最優(yōu)α值。

1 焊縫缺陷及其數(shù)據(jù)集

焊縫缺陷按照行業(yè)標(biāo)準(zhǔn)一般分為五類，分別是為裂紋、未熔合、未焊透、條形缺陷和圓形缺陷。其中裂紋類缺陷包含裂紋、未熔合和未焊透，這是不允許存在的致命缺陷。而非裂紋類則是依據(jù)缺陷長(zhǎng)寬比將氣孔、夾渣和夾鎢等缺陷進(jìn)行分類。長(zhǎng)寬比大于等于3的判定為條形缺陷，小于3的判定為圓形缺陷，此類條形和圓形缺陷需要評(píng)片工作人員對(duì)焊縫質(zhì)量進(jìn)行評(píng)級(jí)，而后確認(rèn)焊縫是否合格。

我國(guó)無(wú)損檢測(cè)行業(yè)為了方便對(duì)焊縫進(jìn)行評(píng)級(jí)，按照其對(duì)工件的危害程度將裂紋、未熔合、未焊透、條形缺陷和圓形缺陷這五類分別用字母A、B、C、D、E代指，本文也將沿用分類形式，如圖1，其中N代表無(wú)缺陷。

本文的數(shù)據(jù)集源自浙江德力裝備有限公司的X射線膠片和德國(guó)的公共數(shù)據(jù)集GDXray[5]，經(jīng)過(guò)裁剪后，每張數(shù)據(jù)都是32[×]32像素的三通道RGB圖。在此基礎(chǔ)上，考慮到未熔合和未焊透全都屬于裂紋類缺陷，并且其形狀相似，我們將其統(tǒng)一分為BC類缺陷。條形缺陷和圓形缺陷都為非裂紋缺陷，某種意義上是允許存在的，況且其形狀也較為相近，我們也將其統(tǒng)一分為DE類。最終數(shù)據(jù)集包含A、BC、DE和N類各480張。

2 AlexNet神經(jīng)網(wǎng)絡(luò)概況

2.1 網(wǎng)絡(luò)主要構(gòu)成

⑴ 卷積層

卷積層（Conv）是卷積神經(jīng)網(wǎng)絡(luò)必不可少的組成部分，其輸入[x]與一些可訓(xùn)練的多維卷積核[fk]做卷積，然后將所得結(jié)果與偏差[bk]相加。假設(shè)有[K]個(gè)卷積核，則該層的第[k]個(gè)輸出可以用如下等式表示：

[yk（i，j）=c=1Cfck*xc（i，j）+bk] ⑴

其中，大寫字母C表示輸入的總通道數(shù)，[xc（i，j）]表示輸入的第c個(gè)通道中的第[i]行和第[j]列中的區(qū)域。

⑵ 激活層

激活層又稱修正線性單元，其作用在于增加了網(wǎng)絡(luò)的可學(xué)習(xí)度，讓網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)變得多元化。AlexNet中用的所有激活函數(shù)都是ReLU函數(shù)，其公式如下：

[yk（i，j）=xk（i，j），? xk（i，j）≥00，? xk（i，j）<0] ⑵

函數(shù)形狀如圖2。

⑶ 池化層

池化層用來(lái)減小特征矩陣的大小，如果不采取池化，在訓(xùn)練過(guò)程中就會(huì)出現(xiàn)學(xué)習(xí)參數(shù)過(guò)大的問(wèn)題。本文選取的池化都是最大值池化（MaxPooing），公式如下：

[ykI，J=max （xk（I+i-1，J+j-1））]? ⑶

其中，I和J表示輸出后的第[i]行和第[j]列。

⑷ 線性層

線性層又稱全連接層（FC），主要目的就是將之前卷積留下的多維數(shù)組鋪平成一維數(shù)據(jù)，起到一個(gè)降低數(shù)據(jù)維度的作用。

2.2 AlexNet架構(gòu)

AlexNet首次成功使用ReLU作為CNN的激活函數(shù)，并將曾經(jīng)廣泛使用的平均池化改為最大值池化[6]。考慮到AlexNet原文網(wǎng)絡(luò)的輸入為224[×]224[×]3的三通道圖片，而本文使用的數(shù)據(jù)集形狀卻為32[×]32[×]3，所以本文將原文的些許參數(shù)做了修改，但是整體架構(gòu)依舊是AlexNet的網(wǎng)絡(luò)架構(gòu)，如圖3。

網(wǎng)絡(luò)共有11層，其中MaxPooling層核大小都是2，步長(zhǎng)也都是2。焊縫缺陷數(shù)據(jù)首先會(huì)進(jìn)入一個(gè)卷積層（16個(gè)核大小為5的卷積核，步長(zhǎng)是1，padding值是2），而后經(jīng)過(guò)ReLU激活函數(shù)后通過(guò)最大池化層尺寸減半。之后再通過(guò)一個(gè)卷積層（32個(gè)核大小為5的卷積核，步長(zhǎng)是1，padding值是2）、ReLU激活函數(shù)層和池化層。接下來(lái)以此類推，通過(guò)三個(gè)卷積層（卷積核大小都為3，步長(zhǎng)和padding都為1，卷積核個(gè)數(shù)分別是48、48、64）后進(jìn)入池化層尺寸減半；最后通過(guò)三層FC線性層，最后完成缺陷4分類。

3 AlexNet神經(jīng)網(wǎng)絡(luò)改進(jìn)方法

本文對(duì)AlexNet的改進(jìn)方法主要分為兩步，如圖4。第一步是在卷積層和ReLU層之間加入批量歸一化BN層，網(wǎng)絡(luò)簡(jiǎn)稱AlexNet-BN。第二步則是在此基礎(chǔ)上將網(wǎng)絡(luò)的ReLU層改進(jìn)為L(zhǎng)eakyReLU層，網(wǎng)絡(luò)簡(jiǎn)稱AlexNet-BN-L。

⑴ 批量歸一化層

批量歸一化（BN）層作用在于加快網(wǎng)絡(luò)的訓(xùn)練和防止過(guò)擬合。BN層在歸一化輸入的每個(gè)通道后對(duì)其進(jìn)行移動(dòng)和縮放，加強(qiáng)了卷積的特征提取，具體公式如下：

[yk（i，j）=γkxk（i，j）-μBVarσ2B+ε+βk]? ⑷

其中，[μB]、[σ2B]分別表示此批量上的均值和方差，[γk]和[βk]表示訓(xùn)練期間的縮放和位移系數(shù)。

⑵ LeakyReLU層

LeakyReLU層相比于ReLU層，其輸入[xk（i，j）]在小于0時(shí)，并不恒等于0。公式如下，其中α表示函數(shù)斜率。

[yk（i，j）=xk（i，j），? xk（i，j）≥0αxk（i，j），xk（i，j）<0] ⑸

上文說(shuō)的ReLU激活函數(shù)將小于0的部分丟棄的主要原因是想讓訓(xùn)練出來(lái)的網(wǎng)絡(luò)不是簡(jiǎn)單的[Wx+b]形式，而是希望得到更復(fù)雜的非線性網(wǎng)絡(luò)結(jié)構(gòu)，并且ReLU激活函數(shù)可以有效的緩解模型在訓(xùn)練過(guò)程中梯度消失的問(wèn)題。而LeakyReLU激活函數(shù)在保留了ReLU激活函數(shù)優(yōu)點(diǎn)的同時(shí)，也適當(dāng)保留了[xk（i，j）]在小于0時(shí)的參數(shù)，可以在訓(xùn)練過(guò)程中學(xué)習(xí)到更多的參數(shù)，函數(shù)形狀如圖5所示。

4 模型性能指標(biāo)和實(shí)驗(yàn)

4.1 模型性能指標(biāo)

準(zhǔn)確率Acc是指分類正確的焊縫缺陷數(shù)量占總?cè)毕輸?shù)量的比值。查準(zhǔn)率P是指正確的預(yù)測(cè)為某類焊縫缺陷的樣本數(shù)除以預(yù)測(cè)為這一類缺陷的樣本總數(shù)。查全率R是指正確的預(yù)測(cè)為某類缺陷數(shù)除以這一類的實(shí)際缺陷數(shù)量。而F1則是綜合了查準(zhǔn)率P和查全率R，公式如下：

[F1=2×P×RP+R]? ⑹

4.2 實(shí)驗(yàn)

為了評(píng)估AlexNet和AlexNet-BN模型的分類性能，同時(shí)確定AlexNet-BN-L模型中LeakyReLU激活函數(shù)斜率α的較優(yōu)值，我們采用的方法為五折交叉驗(yàn)證。我們將數(shù)據(jù)集平均分成五折，其中四折作為訓(xùn)練集，一折用來(lái)作為測(cè)試集。其中訓(xùn)練集經(jīng)過(guò)左右翻轉(zhuǎn)和上下翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，共4608張，測(cè)試集沒(méi)有進(jìn)行數(shù)據(jù)增強(qiáng)，共384張。如此循環(huán)五次得到了五次測(cè)試結(jié)果。

⑴ AlexNet與AlexNet-BN分類性能比較

我們首先比較AlexNet與AlexNet-BN兩個(gè)模型，其五折交叉驗(yàn)證結(jié)果如表1。其中[P=i=1nPin]，[R=i=1nRin]和[F1=i=1nF1in]（n=4）分別表示A、BC、DE和N類4類樣本的綜合平均查準(zhǔn)率，綜合平均查全率和綜合平均F1值。

由表1可知，AlexNet-BN在焊縫缺陷分類這一方面的準(zhǔn)確率和平均F1值在每一折訓(xùn)練中都比傳統(tǒng)的AlexNet和高，五折交叉驗(yàn)證平均準(zhǔn)確率相比之下高出3.09%，五折交叉驗(yàn)證平均F1值高出3.13%。由此可見(jiàn)，添加了BN層的AlexNet-BN網(wǎng)絡(luò)性能得到了提升。

⑵ AlexNet-BN-L模型參數(shù)α的確定

在AlexNet-BN模型的基礎(chǔ)上，我們將其ReLU層改進(jìn)成LeakyReLU層獲得了AlexNet-BN-L模型，同時(shí)為了選出不同α下較優(yōu)的模型，我們選取了四個(gè)不同的α值進(jìn)行比較，分別是α=0.02，α=0.06，α=0.10和α=0.14，如圖6。

當(dāng)α取值為0.1時(shí)，AlexNet-BN-L模型取得了最高的五折交叉驗(yàn)證平均準(zhǔn)確率和平均F1值，分別為88.80%和88.76%，相比于AlexNet-BN模型，其提高了1.13%和1.06%，取得了所有模型的最好識(shí)別率。

5 結(jié)論

在焊縫缺陷分類問(wèn)題中，我們首先將焊縫缺陷裁剪成小塊作為神經(jīng)網(wǎng)絡(luò)的輸入，其次在傳統(tǒng)的AlexNet基礎(chǔ)上通過(guò)添加BN層改進(jìn)了原網(wǎng)絡(luò)，而后又選取了最優(yōu)α值的LeakyReLU層代替了原有的ReLU層，使最終的AlexNet-BN-L模型取得了最高的五折交叉驗(yàn)證平均準(zhǔn)確率和平均F1值，分別為88.80%和88.76%，相比于AlexNet分別提高了4.22%和4.19%。

AlexNet-BN-L模型取得好的效果歸結(jié)于兩點(diǎn)，第一點(diǎn)是BN層在防止過(guò)擬合的同時(shí)還加強(qiáng)了卷積的特征提取，第二點(diǎn)是LeakyReLU層在保持網(wǎng)絡(luò)非線性的同時(shí)適當(dāng)?shù)乇Ａ袅薘eLU層未獲取到的特征信息。這在焊縫缺陷分類識(shí)別的自動(dòng)化進(jìn)程中提供了一個(gè)較為不錯(cuò)的思路。

在以后的工作中，我們將把工作重心放在焊縫缺陷數(shù)據(jù)集的增強(qiáng)方面，以便獲得更大量的數(shù)據(jù)集，從而獲得更高的準(zhǔn)確率。

參考文獻(xiàn)（References）：

[1] 沈功田，張萬(wàn)嶺.壓力容器無(wú)損檢測(cè)技術(shù)綜述[J]. 無(wú)損檢測(cè)，

2004，26（1）：37-40.

[2] 劉涵，郭潤(rùn)元.基于X射線圖像和卷積神經(jīng)網(wǎng)絡(luò)的石油鋼管

焊縫缺陷檢測(cè)與識(shí)別[J].儀器儀表學(xué)報(bào)，2018，39（4）：10.

[3] HOU W， WEI Y， JIN Y， et al. Deep features based on a

DCNN model for classifying imbalanced weld flaw types[J].Measurement，2018，131.

[4] JIANG H， HU Q， ZHI Z， et al. Convolution neural network

model with improved pooling strategy and feature selection for weld defect recognition[J]. Welding in the World， Le Soudage Dans Le Monde，2020，65（1）.

[5] MERY D， RIFFO V， ZSCHERPEL U， et al. GDXray： The

Database of X-ray Images for Nondestructive Testing[J]. Journal of Nondestructive Evaluation，2015，34（4）.

[6] LONG J， SHELHAMER E， DARRELL T. Fully Convolu-

tional Networks for Semantic Segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，39（4）：640-51.