圖譜數(shù)據(jù)深度學習融合模型及焊縫缺陷識別方法

支澤林,姜洪權(quán),楊得焱,程志翔,高建民,王泉生,王曉橋,王景人,石養(yǎng)鑫

(1.西安交通大學機械制造系統(tǒng)工程國家重點實驗室,710049,西安;2.陜西省特種設備檢驗檢測 研究院,710048,西安;3.西安優(yōu)耐特容器制造有限公司,710201,西安)

能源動力、航空航天、船舶等領域大型裝備制造過程中大量采用焊接工藝,焊縫缺陷的檢測與評價是保證裝備在服役過程中安全可靠運行的重要手段。超聲衍射時差法(TOFD)具有檢測信息豐富、抗噪聲強、效率高、定位定量準確等優(yōu)勢,已成為最為廣泛的焊縫無損檢測方法之一[1-2]。例如,陜西省特檢院在特種設備焊縫檢驗檢測過程中采用了TOFD檢測技術(shù),2020年全年的TOFD檢測焊縫圖譜數(shù)據(jù)累計已達5萬余米。目前在利用數(shù)據(jù)進行缺陷識別時主要采用人工評判方式,受成像機理、焊縫組織、檢測環(huán)境的影響,TOFD檢測圖譜數(shù)據(jù)易產(chǎn)生噪聲及條紋干擾[3],缺陷識別效率低下、主觀性大、誤判率高。因此,開展以TOFD檢測圖譜數(shù)據(jù)為對象的焊縫缺陷類型識別方法,對提升缺陷檢測能力及裝備質(zhì)量管控能力具有重要意義。

隨著TOFD檢測技術(shù)逐步應用和檢測數(shù)據(jù)的積累,如何利用圖像處理及模式識別技術(shù)提高缺陷識別效率、減少人工識別不一致性已經(jīng)成為重點關注問題[4]。文獻[5]利用傅里葉變換對TOFD衍射信號(A掃波形信息)的頻率進行分段特征分析,并結(jié)合神經(jīng)網(wǎng)絡進行缺陷檢測;文獻[6]利用TOFD-D掃圖像數(shù)據(jù),首先提出一種基于分水嶺的缺陷區(qū)域分割技術(shù),再利用人工識別以提高缺陷識別的準確性;文獻[7]通過對TOFD直通波信息進行分析與特征提取,并采用BP神經(jīng)網(wǎng)絡對近表面缺陷進行識別分類;文獻[8]利用TOFD-B掃圖像轉(zhuǎn)化成波信號,通過分析波的傳播時間、振幅大小等特征實現(xiàn)厚壁構(gòu)件進行表面缺陷的分析。以上主要是以區(qū)域分割—特征提取—類型識別的串聯(lián)式思路進行研究,且主要關注近表面缺陷分析。顯然,串聯(lián)式方法每個環(huán)節(jié)的準確與否對于最終識別精度和效率有著重要影響。隨著深度學習等理論的發(fā)展,以無損檢測圖像數(shù)據(jù)為對象開展端對端識別方法的研究逐步引起關注[9],但在以TOFD檢測圖像數(shù)據(jù)為對象的缺陷識別技術(shù)研究還不多見。文獻[10]首先探討了TOFD-D掃描圖像缺陷輪廓與圖像特征的關系,然后利用快速卷積神經(jīng)網(wǎng)絡(Faster RCNN)對缺陷進行分類,該方法可以克服傳統(tǒng)串聯(lián)式方法的不足,但容易對TOFD數(shù)據(jù)中的界面波及噪聲造成缺陷誤判。

綜上所述,傳統(tǒng)串聯(lián)式技術(shù)思路已經(jīng)不能滿足當前具有海量數(shù)據(jù)特征的TOFD檢測數(shù)據(jù)的分析與應用,以深度學習理論為基礎的端到端方法將是未來研究重點之一[11-12]。雖然TOFD檢測圖譜的波形數(shù)據(jù)和圖像數(shù)據(jù)分別蘊含有重要的缺陷信息,但現(xiàn)有方法主要分別以A掃、B掃、D掃產(chǎn)生的波形數(shù)據(jù)或者圖像數(shù)據(jù)單獨進行分析,缺乏兩種數(shù)據(jù)的綜合分析,制約了缺陷的識別效率和精度。

針對以上問題,本文提出了一種可實現(xiàn)圖像特征、波形特征融合分析的TOFD焊縫缺陷類型識別技術(shù)。首先,結(jié)合TOFD圖譜成像特點,提出了一種綜合考慮圖像和波形的缺陷數(shù)據(jù)集構(gòu)建方法;然后,構(gòu)建了一種可分別對TOFD圖像數(shù)據(jù)和波形數(shù)據(jù)進行分析的多模塊深度學習網(wǎng)絡模型,并在全連接層采用特征自適應融合方法實現(xiàn)缺陷類型的識別。最后,本文以企業(yè)實際TOFD檢測數(shù)據(jù)對所提方法進行了驗證。

1 TOFD焊縫缺陷表征及數(shù)據(jù)集構(gòu)建

1.1 TOFD檢測技術(shù)概述

TOFD檢測是一種可利用從待檢試件內(nèi)部缺陷的“端角”和“端點”處得到的衍射能量來檢測缺陷的方法[1,13]。TOFD檢測技術(shù)及圖譜成像原理如圖1所示,TOFD檢測過程中采用雙探頭一發(fā)一收模式,兩個探頭具有相同頻率、角度及晶片尺寸,可將探頭橫跨焊縫兩側(cè)進行非平行及平行掃查。如圖1a所示,當發(fā)射縱波遇到缺陷后,將在缺陷上、下端點產(chǎn)生衍射波2和3,接收探頭在接收A掃描信號的同時,同步產(chǎn)生相對應的D掃二維圖像,圖像中會在直通波1和底面反射波4之間出現(xiàn)缺陷波。通過一系列A掃描信號構(gòu)成一幅TOFD檢測圖像,如圖1b所示,接收衍射波A掃信號經(jīng)過處理形成不同的灰度圖像,利用灰階度表示波幅大小,例如當波形向正半周期變化時,灰度向白色漸變;當波形向負半周期變化時,灰度向黑色漸變。

1—直通波;2—上端點衍射波;3—下端點衍射波;4—底面反射波。

1.2 綜合圖像與波形特征的缺陷表征及數(shù)據(jù)集構(gòu)建

TOFD圖譜數(shù)據(jù)實際上包含了圖像和波形兩種數(shù)據(jù),即缺陷的特征信息應該從圖像數(shù)據(jù)和波形數(shù)據(jù)兩個方面來考慮。實際上,當前TOFD技術(shù)人員在分析缺陷時,既要觀察圖像數(shù)據(jù),也要結(jié)合波形數(shù)據(jù)進行分析。

在TOFD檢測圖像數(shù)據(jù)中截取可以完整包含缺陷的區(qū)域,TOFD檢測焊縫缺陷類型如圖2所示。一般的,TOFD檢測缺陷類型可分為表面開口型缺陷和內(nèi)部埋藏型缺陷。本文主要關注內(nèi)部埋藏型缺陷的識別問題,可以分為4種類型:①點狀缺陷一般為氣孔和點狀夾渣,危害程度小,缺陷呈雙曲線弧狀,缺陷圖像尾部向底面墜落,不具有長度和高度;②線狀缺陷一般為裂紋缺陷,缺陷的上下端點衍射信號混疊,兩端曲線接近水平,不具有明顯高度;③條狀缺陷一般為夾渣、未熔合、未焊透等缺陷,顯示為長條狀,上下兩個端點產(chǎn)生的衍射信號,且靠近底面處產(chǎn)生的衍射信號相位與直通波相位相同,靠近掃查面處端點產(chǎn)生的衍射信號相位與直通波相位;④無缺陷是在焊縫中不會有衍射信號,在圖像沒有明顯的灰度變化。

圖2 TOFD檢測焊縫缺陷類型示意圖Fig.2 Weld defect types detected by TOFD

圖3 缺陷區(qū)域及其A掃波位置示意圖Fig.3 Defect region and A-scan position

(a)缺陷左端點處波形圖

(b)缺陷d/2處波形圖

(c)缺陷右端點處波形圖圖4 缺陷圖譜中不同位置點對應的A掃波形圖Fig.4 A-scan waveforms corresponding to different positions in defect spectrum

由圖1b可知,缺陷圖譜中每一列即對應著不同的波形數(shù)據(jù),尤其是在缺陷區(qū)域兩個端點處,波形將會有明顯的區(qū)別。假設獲取缺陷長度為d,缺陷區(qū)域及其A掃波位置如圖3中的虛線框及垂直線段所示,則可分別在缺陷左端點、d/2處、右端點3個位置處獲取對應的A掃波形數(shù)據(jù)。圖4給出了缺陷圖譜中不同位置點對應的波形圖。可以看出,獲得的3個波形數(shù)據(jù)具有不同的形式,且可以明確表達缺陷灰度變化情況。因此,依據(jù)缺陷圖像數(shù)據(jù)和波形數(shù)據(jù)可以更加完整地表征該類缺陷,可以用來作為缺陷類型識別的數(shù)據(jù)基礎。

2 基于深度學習融合模型的缺陷類型識別方法

2.1 基于卷積神經(jīng)網(wǎng)絡與時間卷積網(wǎng)絡的深度學習融合模型構(gòu)建

針對缺陷類型的識別需要綜合考慮TOFD圖像數(shù)據(jù)和波形數(shù)據(jù)需求,本文以深度學習理論中卷積神經(jīng)網(wǎng)絡(CNN)和時間卷積神經(jīng)網(wǎng)絡(TCN)[14-17]為基礎,提出一種可綜合考慮兩種類型數(shù)據(jù)的深度學習融合模型(DLFM),如圖5所示。DLFM包括3個部分,即用于分析缺陷二維圖像數(shù)據(jù)特征的CNN模塊、用于分析一維波形數(shù)據(jù)特征的TCN模塊以及用于特征自適應融合分類模塊。

在CNN模塊中,本文采用7層的卷積神經(jīng)網(wǎng)絡實現(xiàn)缺陷二維圖像特征分析。CNN[14]是當前圖像識別領域應用最廣泛的圖像特征提取方法,它的本質(zhì)是一種能夠?qū)W習輸入到輸出的映射關系,而不需要任何輸入和輸出之間的精確數(shù)學表達式,只要用已知的模式對卷積網(wǎng)絡加以訓練,網(wǎng)絡就具有輸入輸出對之間的映射能力。本文采用的CNN模塊結(jié)構(gòu)如表1所示,輸入層為Input,卷積層為Conv;池化層為全局最大池化層MaxPooling,使用全0填充,激活函數(shù)使用線性整流函數(shù)ReLu;展開層為Flatten;全連接層為Dense;s和c分別代表卷積核的移動步長和個數(shù);n代表全連接層神經(jīng)元的個數(shù)。Input層中(N,64,64,1)的4個量分別代表圖像個數(shù)、圖像寬、高以及圖像通道數(shù)。本文輸入圖像寬×高為64×64,圖像通道數(shù)為1,即為灰度圖像;輸出為長度32的一維圖像特征向量;同時,也將輸出32個特征對應的重要性系數(shù)αi(i=0,1,…,31)。

表1圖像特征提取的CNN模塊結(jié)構(gòu)

2.2 基于TCN的缺陷波形數(shù)據(jù)特征分析

在用于分析缺陷波形數(shù)據(jù)特征的TCN模塊,考慮到A掃波形遇到缺陷信號會發(fā)生衍射現(xiàn)象,將產(chǎn)生明顯的幅值波動,而反映到圖譜中則是具有明顯的灰度變化,因此,可采用反應數(shù)據(jù)波動變化的方差作為衡量波形幅值波動程度的指標,其計算公式如下

(1)

例如,設缺陷圖像高91、寬103,圖像的超聲信號波動分布如圖6所示,則利用式(1)對其響應A掃波的波動程度計算結(jié)果為

S=(s1,…,s102,s103)=(8.56,83.8,…,9.79)

(2)

圖5 基于CNN和TCN的缺陷識別雙通道深度學習模型Fig.5 A dual-channel deep learning model for defect recognition based on CNN and TCN

圖6圖像的超聲信號波動分布圖Fig.6 Distribution of ultrasonic signal fluctuation in image

表2所示為本文所用TCN模塊的結(jié)構(gòu)。其中,輸入層Input中的(N,64,3)分別代表波形數(shù)據(jù)組的個數(shù)、波形長度和一個波形組含有3段超聲波序列。其中dccn為TCN的基本模塊,dccn中的卷積核大小指的是殘差連接中兩個非1×1卷積核的大小,卷積核的滑動步長設置為1,網(wǎng)絡中用到的激活函數(shù)為ReLu。

表2 波形特征提取的TCN模塊結(jié)構(gòu)參數(shù)

圖7 基于時間卷積神經(jīng)網(wǎng)絡(TCN)的波形特征分析模型Fig.7 Analysis model of waveform features based on time convolution neural network (TCN)

通過利用TCN深度學習網(wǎng)絡,可以捕捉缺陷TOFD檢測波形數(shù)據(jù)在時序上的依賴關系,同時也可以捕捉到波形數(shù)據(jù)局部變化特征信息。

2.3 CNN與TCN模型的特征自適應融合策略

由于不同的特征對缺陷類型分析具有不同的重要程度,因此在融合CNN模塊和TCN模塊特征時需要重點解決特征的重要性問題[19-20]。對于獲得的32個圖像特征及其32個特征對應的重要性系數(shù)αi(i=0,1,…,31),和32個波形特征及其32個特征對應的重要性系數(shù)βi(i=0,1,…,31),在融合模塊中增加以下約束關系

αi+βi=1,i=0,1,…,31

(3)

上述αi(i=0,1,…,31)和βi(i=0,1,…,31)可以作為對應特征重要性系數(shù)進行融合分析。

圖8 缺陷的圖像特征與波形特征自適應融合Fig.8 Adaptive fusion of image features and waveform features of defects

具體的,在CNN模塊和TCN模塊基礎上構(gòu)建一個特征自適應融合分類模塊,如圖8所示,CNN圖像處理模塊提取的特征向量會輸入到共享全連接層1,在輸出32個圖像特征向量的同時,會輸出同樣維度的圖像特征重要性向量;TCN波形處理模塊提取的特征向量輸入到共享全連接層2,在輸出32個波形特征的同時,會輸出同樣維度的波形特征重要性向量。兩種特征的重要性向量通過一個Sigmoid函數(shù)進行歸一化,使得兩者之和為1,計算出圖像特征重要性系數(shù)和波形特征重要性系數(shù),再與圖像特征和波形特征相乘之后相加,即可獲得自適應融合特征。需要指出的是,CNN模塊和TCN模塊獲得的高維特征(如fpic-0,…,fpic-31等)是對輸入圖數(shù)據(jù)或者波數(shù)據(jù)的特征提取結(jié)果,不包括重要度信息。其計算過程如下

fpic=FCNN(Dimage)

(4)

fwav=FTCN(Dwaves)

(5)

ffu-i=fpic-iαi+fwav-iβi

(i=0,1,…,31)

(6)

式中:FCNN、FTCN分別是CNN模塊和TCN模塊所代表的變換函數(shù)。

最后,利用Softmax層進行缺陷類型的分類。Softmax層作為分類器相當于多層感知機,如圖5所示,輸入TOFD檢測焊縫缺陷的融合特征后,即輸入長度32的一維特征向量,輸出為每個類別對應的概率大小,概率最大的即為缺陷分類結(jié)果。此外,本文所述模型的損失函數(shù)選擇交叉熵損失函數(shù)如下式

(7)

式中:L為損失值,yi為真實值,ai為預測值;網(wǎng)絡參數(shù)的自適應學習使用Adam優(yōu)化器,Adam可以替代傳統(tǒng)隨機梯度下降過程,它能基于訓練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡權(quán)重,具有很強的魯棒性。

綜上所述,對于待分析缺陷的TOFD檢測圖譜,通過CNN模塊、TCN模塊及特征自適應融合分類模塊,可以綜合考慮圖像特征和波形特征進行缺陷類型分類。

3 實例說明

本文利用某企業(yè)在2020年檢測壓力球罐的TOFD數(shù)據(jù)進行驗證。數(shù)據(jù)集包括1 432例TOFD缺陷檢測圖譜數(shù)據(jù)劃分,如表3所示,數(shù)據(jù)集類型分為無缺陷、點狀缺陷、線狀缺陷、條狀缺陷4類;并按照8∶1∶1的比例,將數(shù)據(jù)集隨機劃分為訓練集、驗證集、測試集,其中訓練集1 143例,驗證集147例,測試集142例。訓練集用來訓練所提模型參數(shù),驗證集則是在訓練的過程中調(diào)整模型參數(shù),測試集用來評價模型識別結(jié)果。

表3 TOFD焊縫缺陷數(shù)據(jù)劃分

為驗證本文所提基于DLFM方法的有效性,將基于DLFM與傳統(tǒng)TCN、CNN、CNN-TCN的方法進行對比分析。基于TCN的方法是依據(jù)本文2.2節(jié)所述僅采用TOFD波形數(shù)據(jù)進行缺陷識別分析,基于CNN的方法是依據(jù)本文2.1節(jié)所述僅對TOFD圖像數(shù)據(jù)進行缺陷識別分析,基于CNN-TCN的方法是在無重要性系數(shù)時圖像特征與波形特征融合進行缺陷識別分析。4種方法共同采用表3所述的數(shù)據(jù)進行訓練、驗證和測試,迭代次數(shù)均為500。為避免實驗過程的隨機性影響,按照表3所示訓練集、驗證集及測試集劃分比例對整個數(shù)據(jù)集進行隨機選取,重復進行9次實驗,并計算實驗平均值及上下偏差作為該方法的最終識別結(jié)果。

表4所示為分別采用基于TCN、CNN、CNN-TCN以及本文所提方法實現(xiàn)缺陷類型識別的結(jié)果。可以看出,相對于基于CNN、DLFM、CNN-TCN的方法,基于TCN的方法在驗證集和測試集上識別率都是最低的,且識別率與其他方法相差較大。這是因為TCN主要關注的是一維序列的波形特征,這類特征顯然不足以有效刻畫不同缺陷模式的區(qū)別;而基于CNN、CNN-TCN和DLFM的方法都包含對圖像特征的分析,由圖2可以看出,不同缺陷模式的圖像特征是很明顯的,因此,包含圖像特征的缺陷類型識別方法將明顯提高識別率。同時,表4也表明基于DLFM的方法由于結(jié)合了TOFD檢測數(shù)據(jù)的波形特征和圖像特征并且考慮了重要性系數(shù),因此在測試集上具有最好的缺陷識別率((88.028±0.70)%)。

表4 不同方法對不同種類缺陷分類測試結(jié)果對比

表5所示為基于TCN、CNN、CNN-TCN及本文所提方法DLFM 4種方法對于不同缺陷種類的分類結(jié)果。首先,可以看出對無缺陷模式,4種方法在測試集上都可達到100%的識別精度,即利用TOFD檢測數(shù)據(jù)對產(chǎn)品缺陷檢測率非常高。實際上,TOFD作為一種先進無損檢測方法,其檢測數(shù)據(jù)中的無缺陷模式與有缺陷模式具有很強的區(qū)別(如圖4所示),在圖譜上很容易判別無缺陷模式,因而相對無損射線檢測等其他檢測方法,TOFD檢測技術(shù)在檢測產(chǎn)品內(nèi)部缺陷時具有較高的靈敏度和可靠性。

由表5可以看出,不同方法對于不同缺陷類型具有不同的識別率。其中,基于TCN的方法不但對所有缺陷類型識別率低,尤其是對線狀缺陷識別率最低,即將37.14%線狀缺陷錯分為條狀缺陷。由圖7所示的TCN模型可知,由于線狀缺陷與條狀缺陷主要在缺陷高度上存在較小差異,僅依據(jù)貫穿于缺陷區(qū)域的3條波形特征很難表現(xiàn)這種差異性,因此基于TCN的方法對線狀缺陷產(chǎn)生較大的誤判率。基于CNN的方法對于3種缺陷模式的識別率有了很大提高,但卻將20%的線狀缺陷誤判為點狀缺陷。由圖2所示的缺陷形貌特征可看出,線狀缺陷與點狀缺陷在高度上較為相似,在長度上有較大差異;但由于基于CNN的方法僅僅采用缺陷圖像特征進行分析,因此CNN網(wǎng)絡在池化及網(wǎng)絡參數(shù)學習過程中體現(xiàn)該兩類缺陷長度上差異,因此對線狀缺陷產(chǎn)生較高的誤判。基于CNN-TCN的方法對點狀缺陷和線狀缺陷的識別率反而低于基于CNN的方法,這是因為波形特征和圖像特征的重要程度不一,簡單特征融合無法計算出兩者重要度信息,導致識別精度反而降低。

表5 不同方法對不同種類缺陷分類結(jié)果對比

由表5不難看出,本文所提基于DLFM的方法在點狀缺陷和線狀缺陷類型識別上表現(xiàn)出最好的識別率,尤其對其他方法時誤判率較高的線狀缺陷取得了最大的識別率(85.71%)。這是由于DLFM方法包含TCN模塊,且基于TCN的方法對線狀缺陷和點狀缺陷具有較好的區(qū)分能力(例如,僅采用基于TCN的方法時,只有8.57%的線狀缺陷誤判為點狀缺陷)。因此DLFM方法對線狀缺陷與點狀缺陷具有較強的區(qū)分能力,即沒有1例線狀缺陷誤判為點狀缺陷。DLFM方法對線狀缺陷與條狀缺陷類型的區(qū)分能力(14.29%誤判率)高于TCN的方法(37.14%的誤判率),而低于CNN的方法(5.71%的誤判率),即將14.29%的線狀缺陷誤判為條狀缺陷;并且,DLFM的方法識別條狀缺陷類型正確率(72.22%),略低于CNN對條狀缺陷的識別率(75.00%),表明DLFM中TCN模塊的影響比重較大,降低了對線狀缺陷與條狀缺陷的區(qū)分能力。

總體而言,本文所提DLFM方法在保證3種缺陷類型高識別率基礎上,對實際TOFD檢測過程中最難區(qū)分的線狀缺陷具有較高識別率,表明了本文所述DLFM方法的有效性。

4 結(jié) 論

本文提出了一種圖譜數(shù)據(jù)深度學習融合模型及焊縫缺陷識別方法,并通過缺陷識別實例驗證了本文方法的有效性,主要結(jié)論如下:

(1)本文以焊縫缺陷TOFD檢測數(shù)據(jù)為對象,構(gòu)建了一種綜合TOFD檢測波形特征與圖像特征的缺陷數(shù)據(jù)集表征方法,克服了傳統(tǒng)超聲檢測缺陷僅依據(jù)波形或僅依據(jù)圖像表征缺陷類型方法的不足。

(2)基于傳統(tǒng)CNN與TCN方法,提出了一種可進行缺陷圖像特征和波形特征綜合分析的深度學習融合模型(DLFM)及自適應特征融合策略,擴展了現(xiàn)有深度學習模型構(gòu)建方法,實現(xiàn)了波形序列與圖像兩類數(shù)據(jù)的綜合分析,提高了深度學習模型的模式識別能力。

(3)以企業(yè)實際TOFD檢測焊縫缺陷數(shù)據(jù)對所提方法進行了驗證,結(jié)果表明所提DLFM方法比傳統(tǒng)CNN、TCN和CNN-TCN方法具有更高的識別率,尤其對于難以識別線狀缺陷具有較高識別準確率,為當前TOFD檢測數(shù)據(jù)的深層分析與應用提供技術(shù)途徑。同時,本文方法具有一定普適性,在技術(shù)上可以推廣應用到常規(guī)超聲、相控陣、太赫茲等具有波和圖特征的檢測數(shù)據(jù)分析領域;在應用上也可以推廣到醫(yī)學影像等其他領域。