基于多域多尺度深度特征自適應融合的焊縫缺陷檢測研究

張 睿,高美蓉,傅留虎,張鵬云,白曉露,趙 娜

(1.太原科技大學 計算機科學與技術學院,太原 030024;2.山西省機電設計研究院有限公司,太原 030009)

為滿足現代制造技術高性能和功能多樣化的發展需求,以奧氏體不銹鋼為代表的現代制造業基礎材料的應用日趨增多,在不銹鋼工件焊接過程焊縫常會產生夾渣、未焊透、未熔合等缺陷。由于忽視焊接質量造成的事故屢見不鮮,因此必須加強不銹鋼焊縫的質量檢測,提高缺陷識別的準確率。在實際缺陷檢測中,人工識別和機器識別的方法仍占據大多數,易受主觀感受和經驗主導且計算成本較高,目前已難以適用。隨著深度學習在圖像分類方面顯現出的優勢,人們開始嘗試將深度學習技術應用于焊縫缺陷的自動化檢測。

王睿等[1]提出基于輕量級倒殘差結構的YOLO-M網絡,采用多尺度預測機制分層預測不同缺陷特征,對X射線焊接圖像中缺陷的預測精度達到93.5%。Ajmi等[2]使用改進的VGGNet網絡和數據增強以及分別用Canny邊緣映射和自適應高斯閾值提供的二值圖像替代原焊接X射線RGB三通道圖像中的通道B(藍色)和通道G(綠色),實現了對未焊透,銷孔,氣孔三類焊縫缺陷較好的分類結果。黃煥東等[3]通過對焊縫缺陷的TOFD二維超聲焊縫缺陷圖像特征與缺陷輪廓關系的分析,提出一種基于區域卷積神經網絡(Faster RCNN)的深度學習模型,在超聲波衍射時差法構建的數據集基礎上的實現了對裂紋、氣孔、夾渣、未焊透和未熔合五類焊縫缺陷類型的自動識別。以上研究方法均在焊縫缺陷識別領域取得了一定成效,但在實際工程應用中,X射線檢測方法存在安全性問題,實時檢測很難實現。光學傳感方法不能很好的獲取到金屬材料內部缺陷特征,TOFD二維成像方法又對設備超聲探頭橫向、縱向分辨率性能以及實時性性能要求較高,較難在實際工程開展應用。

近年來,多使用超聲回波法對焊縫缺陷進行檢測,其檢測裝備價格相對便宜且更安全快捷。胡宏偉等[4]采用LBP-KPCA算法提取缺陷回波信號特征,利用基于徑向基核函數的支持向量機對夾渣、氣孔和未焊透三類焊縫缺陷類型的自動分類。Wang等[5]從時域和頻域特征出發,在最終提取了9個特征值的情況下,對良好點焊接頭、合格點焊接頭和不合格點焊接頭采用BP神經網絡分類器和粒子群優化支持向量機方法達到了95%的識別率。Murta[6]等模擬了超聲在二維介質中的傳播,每個介質均包含模擬焊接接頭缺陷的不同類型的模擬不連續點。采用聚類和分類(主成分分析和k-近鄰)算法將每個A掃超聲信號與其對應的建模缺陷關聯起來,結果表明信號包絡的主成分分析算法對氣孔、裂紋和未焊透三類缺陷的正確分類率可達76.85%,k臨近算法的成功率為73.14%。Silva等[7]提出了一種以深度極限學習機為基礎的決策支持系統,將超聲波衍射時差法信號分段的頻譜作為訓練特征,可較好地識別出焊縫未熔合、未焊透、夾渣和氣孔四種缺陷類型。通過以上研究,基于超聲回波信號的焊縫檢測方法是具備可行性的,但仍然存在一些挑戰:(1) 現有研究大多是基于時域或頻域兩種實數域分析所得信息開展焊縫缺陷類型檢測,均忽視檢測原始數據的復數域形式,僅依賴實部信息進行特征提取而忽視虛部數據的相位上的非線性信息及信號變化率,且對于一維超聲信號的其余映射方式,以及映射后高維空間域中色相、明度、純度等空間分量的互補與聯立相關研究甚少。(2) 焊縫缺陷檢測模型的建立不僅需要設計者具有豐富專業知識和領域知識,權衡模型大小和計算效率,還需在構建模型時反復試驗以獲得最佳模型參數,面對新的現實問題時往往需要重新構建模型,既耗時耗力又難以保證網絡的魯棒性和泛化性,進而制約了實際工程中焊縫缺陷檢測方法的落地應用。

綜上分析,本文結合實際工程應用需求,開展基于多域多尺度深度特征自適應融合的焊縫缺陷檢測研究。對一維超聲檢測信號進行實數域、復數域等高維空間域映射,利用模型優化策略自適應尋優得到焊縫缺陷類型檢測模型進行多域深度特征融合,最終通過復數全連接層實現對奧氏體不銹鋼焊縫缺陷類型的識別與診斷。

本文整體框架如圖1所示,主要分為三部分。第一部分是一維超聲檢測信號多域表征方法研究:將一維超聲信號序列映射到復數域與多個候選實數域,對比效果選取特征信息表征能力強的兩個實數域以及復數域作為本模型的特征域;第二部分是基于多域多尺度焊縫缺陷深度特征融合策略的焊縫缺陷類型檢測模型構建(multi-domain and multi-scale fusion detection model of weld defect depth feature,MDMF):通過本文提出的深度半密集特征提取器(depth semi-dense feature extractor,PSD)充分分析檢測信號的實數域和復數域特性,實現焊縫缺陷特征的完備性提取并基于多域特征融合策略將選定的特征域信息融合以實現更精確的焊縫缺陷類型識別;第三部分提出了面向卷積神經網絡多維超參數自尋優的模型優化策略:基于分組通信改良的萊維混沌平衡優化器優化算法(improved Levy chaos equilibrium optimizer algorithm based on packet communication,PEO)對MDMF卷積網絡模型的9個關鍵參數自尋優得到優化后的模型(adaptive multi-domain and multi-scale fusion detection model of weld defect depth feature,AMDMF),為不銹鋼焊縫缺陷識別自適應地尋找一個效果較優的模型,并用于奧氏體不銹鋼焊縫五類缺陷的識別。

圖1 模型總體架構Fig.1 Overall architecture of the model

本文的主要貢獻如下:

(1) 提出面向焊縫超聲檢測的多域多尺度特征信息融合模型。從序列周期性、相關性、時空轉換等角度出發,將一維超聲信號衍生至復數域和實數域的格拉姆角場域、馬爾科夫轉移場域、遞歸域等高維空間域中,引入深度半密集特征提取器PSD提取出多域樣本在時間和空間兩個維度上的特征信息,基于多域焊縫缺陷深度特征融合的思想,利用不同域的特點通過多頭注意力機制將復數域和實數域提取的不同特征信息相融合,得到更豐富的焊縫缺陷特征。提高焊縫缺陷類型的檢測精度和數值穩定性的同時為多場景域下的信息融合提供思路。

(2) 提出面向卷積神經網絡多維超參數自尋優的PEO模型優化策略。為進一步提升原始平衡優化器算法全局尋優效能以及開拓能力,依次引入萊維初始化、混沌濃度更新以及分組通信策略對其進行改良,并將改良后的PEO應用于MDMF模型中,實現9個結構參數的自適應最優化重構。增強模型設計的可解釋性和泛化性,在避免模型主觀經驗構建的同時縮減了模型設計時所消耗的時間、人力等成本。

1 一維超聲檢測信號多域表征方法研究

通常對焊縫缺陷類型的診斷只利用采集到的一維超聲檢測信號進行分析,收集的數據樣本均為一維時域序列,所包含的焊縫缺陷特征信息不明顯且特征之間相關性表達不充分。為提高樣本信息表達豐富性,開展一維超聲檢測信號多域表征方法研究,將一維超聲檢測信號映射入復數域和實數域的格拉姆角場域(Gramain angular field,GAF)[8]、馬爾科夫轉移場域(Markov transition field,MTF)[9]、遞歸域(recurrence plot field,RPF)[10]等高維空間域中。

1.1 復數域表征方法研究

將一維信號樣本映射入復數域,其實部是信號本身的值,虛部是負變化率與角頻率之比,將復數域的虛部信息引入共同作為特征向量避免了信息提取過程中的相位失配,提高了特征信息的完整性和有效性。Morlet復小波[11]具有良好的時頻局部化特性,其小波系數的相位信息比較規則,因此本文使用Morlet復小波變換進行復數域映射。

設信號x(t)∈L2(R),根據小波變換的原理,將信號x(t)與小波基φa,b(t)進行卷積得到W(a,b),分別使用Real函數和Imagic函數對W(a,b)進行操作得到復數域的實部矩陣Re[W(a,b)]和虛部矩陣Im[W(a,b)]。具體如式(1)、(2)所示。

(1)

Re[W(a,b)]+jIm[W(a,b)]

(2)

1.2 實數域表征方法研究

將一維信號樣本映射入實數域即GAF、MTF和RPF等高維空間域中,以點、線、圖像色彩或交叉邊界等細節類描述來優化原始一維域中存在的特征單一性、相關性表達不充分等問題。實數域特征增強效果如表1所示。

表1 實數域特征增強效果圖Tab.1 Real field feature enhancement rendering

GAF將時間序列在極坐標系統內進行編碼,展現樣本的不同信息粒度。在Gramain矩陣中的每個元素實際上是角度的三角函數值,衍生出兩種不同的實現方式,即Gramain angular summation Field (GASF)與Gramain angular difference Field(GADF)。變換表達函數如式(3)與(4)。

(3)

(4)

MTF是基于一階馬爾科夫鏈的變體,主要為解決馬爾科夫轉移矩陣對序列樣本的時間特點的不敏感問題,轉換時會優先考慮序列樣本的時間位置關系。長度為n的信號序列X(t)將會被映射到每個對應的值域qj中,由qj結合每個樣本緊鄰的頻率wij構建出相應的轉移矩陣,繼而由式(5)轉換得到馬爾科夫變遷域圖像。

(5)

RPF是分析信號序列周期性、混沌性以及非平穩性的有效方法,可以分離出數據樣本的內部結構、相似性以及預測性等相關知識。變換函數表達式如式(6)。

(6)

式中:Θ為Heaviside函數;ε為遞歸閾值。

2 面向焊縫缺陷檢測的MDMF模型

為解決現有的實數域相位信息丟失、單一域焊縫缺陷特征信息不明顯造成的焊縫缺陷類型檢測模型準確率不高與現有模型高計算成本、高時間成本等問題。本文開展MDMF的研究。利用PSD特征提取器來提取復數域和兩個實數域的深度特征,將提取的特征輸入到多域多尺度焊縫缺陷深度特征融合空間,依據多域融合得到的有效特征實現不銹鋼焊縫缺陷類型的高效識別。

2.1 深度半密集特征提取器

本文提出深度半密集特征提取器,包括多尺度深度可分離卷積和半密集連接[12]兩個功能性模塊,具體結構如圖2所示,對選取出的兩個實數域和復數域的特征域進行更深層次地特征提取,X∈{Xt,Xm,Xg},X表示經過特征提取器對某一焊縫缺陷問題提取到的綜合特征,其中Xt,Xm,Xg分別為三個高維空間域所對應的特有特征,該方法豐富了一維缺陷信號的特征表征且更好地提取了不同域信息的內在關聯性,得到更豐富的焊縫缺陷特征。為保證后續三個高維空間域特征融合操作的準確性及高效性,在特征輸出時使用一維時間卷積層將特征控制在同一維度。

圖2 深度半密集特征提取器Fig.2 Depth semi-dense feature extractor

多尺度深度可分離卷積模塊在深度可分離卷積[13]的基礎上被提出來,將深度卷積中的單一卷積核替換為多尺度不同大小的卷積核,擴大卷積感受野,有效提取不同尺度下的焊縫缺陷信息。

半密集連接模塊基于特征重用的思想,對給定層的輸出在后續層中被重用多次。給定層的輸入不僅是來自上一層的輸出,而且還是給定層之前的多個層的輸出,可以有效避免梯度消失問題。較薄的密集網絡要優于較寬的普通網絡,提高了網絡的參數效率。半密集連接模塊的卷積層數與卷積核大小由第3章優化策略確定,其輸入通道數分別為{d,2d,3d…nd},每一層的輸出通道數均為d。

2.2 多域多尺度焊縫缺陷深度特征融合空間

為充分利用焊縫缺陷特征信息,MDMF擬考慮復數域和不同實數域在特征空間的關聯與互補性,由基礎CNN在單域上的診斷表現選取對相應數據集焊縫缺陷信息表征能力較強的兩個實數域,將其與復數域共同作為特征域輸入至多頭注意力機制進行多域焊縫缺陷深度特征融合,構建出伴隨有空間特性的特征融合空間。

MDMF將兩個實數域分別作為兩個特征Q,復數域實部矩陣作為特征K、V,使用多頭注意力機制進行融合形成特征的實部,并將其與復數域虛部矩陣共同合成單一的復數矩陣作為復數焊縫缺陷深度特征輸入復數全連接層進行分類,在融合過程中應用一種相對位置編碼機制來實現狀態重用,防止造成幀之間時間混亂。因使用多頭注意力機制融合時需將特征圖embedding[14]為一維序列,可能存在embedding后長度不同的問題,故本文通過Linear層將特征的長度轉換,使其長度相同,在運算過程中必須保持embedding的長度可以整除復數多頭注意力機制中頭的個數。若遇到embedding為質數無法整除的情況,需將其填充0后再進行計算,并在運算結束后刪除補0位置的信息。在最終兩個融合部分空間特征的拼接上采用哈達瑪乘積操作如式(7),區別于傳統的concat以及add方式,哈達瑪乘積操作可以對特征張量的時間步長信息進行保留。第i個頭部的注意力如式(8)～(9)所示,復數全連接層計算為式(10)。

rept=[αt;βt;αt·βt]Wrep+brep

(7)

(8)

(9)

(10)

CReLU(W)=ReLU(Wr)+iReLU(Wi)

(11)

3 基于分組通信改良的萊維混沌平衡優化器算法

平衡優化器(equilibrium optimizer,EO)算法是由Faramarzi[15]于2020年提出的一種受控制容積強混合型動態質量平衡的物理啟發式優化算法,具有需調節參數少、穩定性好等特點,目前已成功應用于約束優化問題[16]、多模態圖像配準[17]等現實問題中。具體算法原理是控制體積-質量平衡模型中,粒子根據平衡候選解進行濃度更新,最終達到平衡狀態。主要為種群初始化、平衡池構建和濃度更新三個階段。更新公式如式(12)～(17)所示。

Ci=LB+Ri*(UB-LB)

(12)

(13)

Ceq,pool={Ceq1,Ceq2,Ceq3,Ceq4,Ceq(ave)}

(14)

(15)

F=a1sign(r-0.5)[e-lt-1]

(16)

(17)

式中:Ci為初始種群中第i個粒子的初始位置;Ri為[0,1]中i=1,2,…n的隨機向量;UB和LB分別為搜索空間的上界和下界;Ceq1～Ceq4和Cave為當前最好的四個候選解以及它們的算術平均值共同構成平衡池Ceq,pool;C和Ceq為當前粒子和平衡候選解;λ和r為[0,1]之間的隨機向量;V為單位體積;G為生成率。F為指數項。Iter和Max iter分別為粒子的當前迭代次數和最大迭代次數。a1與a2分別設置為2和1。

EO中初始個體都是在搜索空間內隨機生成,難以獲取較好的種群多樣性,易導致算法出現收斂性能差、局部開拓能力弱等問題。對此PEO算法依次引入萊維飛行初始化、混沌濃度更新以及分組通信策略三種方式提高初始解的質量,擴大搜索區域,增強算法的全局以及局部搜索能力,構成面向卷積神經網絡多維超參數自尋優的PEO模型優化策略。

萊維飛行[18]是服從萊維分布的隨機搜索路徑,是一種短距離搜索和偶爾長距離搜索相間的隨機行走模式,可以有效提升EO種群的全局搜索能力,避免迭代后期種群中所攜帶的待優化參數多樣性降低。結合萊維飛行具有隨機性和規律性的特點來初始化種群。萊維飛行表達式如式(18)所示。將原種群初始化式(12)改進為式(19)且由于萊維飛行十分復雜,目前大多使用Mantegna算法,如式(20)～(22)所示,故式(19)可簡化為式(23)。

(18)

Ci=LB+Levy(β)*(UB-LB)

(19)

(20)

(21)

(22)

Ci=LB+s(u,v)*(UB-LB)

(23)

混沌映射[19]擁有非周期、不收斂和有界等特點,可以有效避免根據單一候選解進行濃度更新導致種群多樣性流失致后期陷入局部最優的問題。在求解高維復雜問題時,標準EO的種群多樣性隨算法迭代而逐漸減小,故本文將Circle混沌映射融入濃度更新策略來解決多樣性流失的問題。Circle映射表達式如式(24)。

(24)

式中:α為0.5;β為0.2;Xi+1為混沌序列中第i+1個粒子。將Circle混沌映射向量化后與原濃度更新公式(18)相結合,得到混沌濃度更新公式如式(25)。

(25)

分組通信策略將種群分為四組,各組獨立更新,采用三種通信策略進行組間信息交換以緩解各組信息差等問題,提高了搜索能力和收斂速度,擴大了搜索區域,能更快找到最優解且避免陷入局部最優。

PEO算法三種通信策略具體如下所示:

策略一:將所有粒子分為N組,每組為二進制數。平均數量相差一位數的兩組為最優平衡候選組,當前組中一些適應度值較差的粒子發生個體突變。

策略二:該策略對所有群體的全局最優值進行排序。第一組中排序后的最佳粒子替換第二組中適應度較差的粒子,第二組中的最佳粒子替換第三組中適應度較差的粒子,以此類推。最后一組用適應度值較差的粒子取代了第一組中的一些粒子。

策略三:每20代使用通信策略一,每50代使用通信策略二循環更新。

4 MDMF模型自優化

MDMF卷積模型中,卷積層結構的靈感來自于文獻[20]中用于焊縫表面缺陷分類研究。但值得注意的是,此類模型大多是基于人工經驗而選擇的模型,確定內部參數時均依靠大量的專家經驗來調試,并且由于焊縫缺陷數據采樣形式的差異性,面對不同的問題很可能需要重構模型。對此本文在原EO的基礎上,結合多策略優化并引入群通信思想提出了一種基于分組通信策略改良的萊維混沌EO模型優化算法(PEO),具體優化步驟如算法1所示。

經上述機制改良后的PEO將用于MDMF中9個關鍵參數自尋優,以減小模型設計難度同時提高模型自適應尋優能力,得到優化后的焊縫缺陷類型檢測模型AMDMF。9個參數包括半密集連接模塊卷積層數、學習率、批次大小、三個卷積層各自的激活函數、優化器、半密集連接模塊卷積核大小和多頭注意力機制頭個數。根據經PEO每個粒子位置信息建立AMDMF模型,訓練AMDMF模型并利用式(26)的適應度函數計算它在測試集上的性能。式中y(i)代表預測標簽,t(i)為真實標簽,batch為批量大小。求取出的f作為PEO中的適應度函數進行種群更新,最優個體信息會被用來建立最終的模型。

(26)

算法1 PEO算法流程

-----------------------------------------------

輸入:Particles(種群大小),Max_iter(最大迭代次數),Dim(維度)

輸出:Total Best(全局最優值)

初始化:G(生成速率),Particles(種群大小),P(每組種群數),Iter (當前迭代次數),Max_iter(最大迭代次數),a1,a2(勘探和開發能力).

1:for gth = 1 toNdo

2:隨機更新P = Particles/N.

3:end for

4:while Iter <= Max_iter do

5:采用其中一種通信策略更新粒子.

6:for gth = 1 toNdo

7:fori= 1 to P do

8:計算每組粒子適應度值.

9:尋找每組中當前四個最好的候選解.

10:end for

11:將當前最好解作為Total Best.

12:根據公式(13)計算四個最好候選解的均值.

13:根據公式(14)構建平衡池.

14:根據公式(17)計算t.

15:fori= 1 to P do

16:從平衡池中隨機選擇一個候選解.

17:根據公式(25)更新粒子濃度.

18:end for

19:end for

20:Iter = Iter + 1

21:end while

5 試驗與結論

5.1 試驗平臺環境搭建、數據采集與預處理

本文試驗在Intel Core CPU I5-10500H、16 GB內存、64位Windows操作系統、PyCharm2020.1.3,并使用自制數據集。通過與山西省機電設計研究院有限公司合作,在該單位搭建試驗平臺(圖3),制備包含夾渣、裂紋、氣孔、未焊透、未熔合五類缺陷類型的試樣。使用KARL DEUTSCH(ECHOGRAPH)探傷儀、Tektronix DPO 2024B示波器和2.5P 9x9 K2.5斜探頭對缺陷試樣進行數據采集。試驗共采集了未熔合、夾渣、未焊透、裂紋和氣孔五種超聲A掃缺陷數據544條。

圖3 試驗平臺Fig.3 The experiment platform

圖4(a)為采集到的一維超聲檢測信號可視化圖像,電磁耦合的起始時刻作為超聲信號發射初始時刻,使用巴特沃斯濾波器進行濾波處理,得到圖4(b)所示的圖像。通過向無損檢測領域專家進行咨詢,缺陷信號可以在一次回波和二次回波時間范圍內被全部采集到,因此為了避免電磁耦合信號對缺陷信號特征提取造成干擾,并保證不遺漏一維回波信號,本文分別將第一次與第二次回波對應的時間點作為起點和終點對一維超聲檢測信號進行截取,得到如圖4(c)所示的時域數據。

(a) 原始一維檢測信號可視化圖像

將處理后的一維時域信號分別映射至復數域以及實數域,完成一維超聲檢測時域信號的多域衍生。對通過多域轉換得到的各高維空間域二維圖像進行相同旋轉、翻轉、鏡像和平移等數據增強操作,為訓練深度學習模型提供了一定的數據支撐以達到較好效果。各高維空間域數據集經此操作后均由544張擴充至8 160張,包含夾渣、氣孔和未焊透缺陷各1 590張、裂紋1 815張、未熔合1 575張,并按照4∶1的比例劃分訓練集和驗證集。

5.2 PEO算法性能驗證

為驗證PEO相較近幾年其他智能優化算法的優越性,對麻雀搜索算法(sparrow search algorithm,SSA)、蜻蜓優化算法(dragonfly algorithm,DA)、灰狼優化算法(grey wolf optimizer,GWO)、粒子群優化算法(sunflower optimization,SFO)、平衡優化器算法(equilibrium optimizer,EO)五種算法在12個基準函數上進行對比仿真試驗。12個基準函數包括:Sphere(F1)、SchwefelN2.22(F2)、SchwefelN1.2(F3)、SchwefelN2.21(F4)、Rosenborck(F5)、Step(F6)、Quartic(F7)七個高維單峰基準函數,以及Schwefel(F8)、Rastrigin(F9)、Ackley(F10)、Griewank(F11)、Penalized(F12)五個高維多峰基準函數。

各算法的種群規模設為100,最大迭代次數設為1 000,問題維度為30,初始參數值參照各算法原始論文的設置。為避免尋優結果的偶然性并證明PEO的穩定性,選取各基準函數獨立運行30次的試驗結果作為試驗數據,將各個算法的平均值(Mean)和標準差(Std)作為最終評價指標,較優結果用粗黑體進行表示,單峰多峰基準函數對比結果分別如表2和表3所示。

表2 單峰基準函數試驗結果Tab.2 Experimental results of single peak reference function

表3 多峰基準函數試驗結果Tab.3 Experimental results of multi-peak reference function

由表2分析可知,在相同測試約束條件下,PEO對五組高維單峰基準函數的統計結果明均顯優于其它5種對比算法。對于基準函數F1、F2、F3、F4,PEO均能穩定得到其理論最優解。在求解F5、F6和F7時,雖然PEO未能尋找出理論最優解,但在平均值和標準差兩個評價指標上相比其它算法優越多個數量級。證明經改進后的PEO相較于其他算法能夠在單峰類函數上具備較強性能和穩定性。

由表3分析可知,對高維多峰基準函數F9、F11,PEO與SSA均可穩定收斂于全局最優值。在F8、F10基準函數上,相較其它算法,PEO比其他算法有著顯著的提高與優越性。在求解F12時,PEO在兩項評價指標上略差于SSA,但很大程度上優于其他對比算法。因此,不論在單峰基準函數或是多峰基準函數上,PEO在多次尋優過程中,均能表現出較好的尋優性能。表明PEO具備高效的全局尋優能力和局部探索能力,能夠充分高效的探尋搜索空間,且穩定性和魯棒性較強。

由于本文對EO算法的修改較為深入,可能會出現引入的修改會帶來性能下降的問題,為避免該問題,本文對EO算法的修改進行了詳盡的消融試驗以證明修改的可行性和正確性。PEO改進消融試驗結果見表4,表中結果均為不同算法在12個基準函數運行30次的平均適應度值。

表4 PEO改進消融試驗Tab.4 PEO modified ablation experiment

從消融試驗中可以得出本文每次修改后的算法尋優效果對比原算法均有不同數量級的大幅提高,證明了PEO引入的各個改進策略均可以提高算法的尋優性能,且尤其引入分組通信策略后提高最高,在多個適應度函數上均搜索到理論最優解。因此該算法可以應用于本文對MDMF的自適應尋優問題中且具有較大的實用價值。

5.3 高維空間域的選取及有效性驗證

為了驗證缺陷樣本高維空間域轉換有效性,并選取出在不銹鋼焊縫缺陷檢測中表征能力最好的兩個實數高維空間域。使用目前主流的輕量型網絡MobileNetV1、MobileNetV2、MobileNetV3、ShuffleNet、SqueezeNet在原數據集上進行檢測精度的比較,具體對比結果如圖5所示。

圖5 候選實數域在不同網絡下檢測精度對比圖Fig.5 Comparison of detection accuracy of candidate real number fields in different networks

綜上結果分析,在同一網絡中,相較于時域方式,GASF、GADF、RPF和MTF各實數域映射方式取得的平均精度均有提升,證明了本文域轉換方式的先進性。為將實數域之間的優勢相結合,更好的應用于本文研究方法。選取上述驗證試驗中平均精度處于第一、二位的MTF和GADF作為2.1節所述特征融合空間的兩個實數域輸入。

5.4 MDMF模型參數自優化

本文利用經試驗驗證后的高性能PEO對MDMF模型自適應尋優,將個體的9個維度分別對應于模型MDMF的9個待定參數:半密集連接模塊卷積層數、學習率、批次大小、三個卷積層各自的激活函數、優化器、半密集連接模塊卷積核大小、多頭注意力機制頭個數。初始種群數量設置為10,最大迭代次數設置為5。基于此,構建優化后的模型AMDMF。

PEO的參數搜索范圍如表5所示,使用PEO所搜尋到的最優模型(表6)與其他基線模型進行對比,在每種情況下,較優結果都用粗體號突出顯示。

表5 MDMF模型待優化參數及范圍Tab.5 Parameters and range of MDMF model to be optimized

表6 MDMF模型使用PEO優化后的最優模型組件Tab.6 The MDMF model uses PEO optimized optimal model components

為了充分證明本文所提方法的有效性,將SqueezeNet、MobileNetV3、ShuffleNet、MDMF與本文自適應構建的高性能AMDMF模型從參數量、時間消耗和準確率等不同角度進行比較,結果如表7所示。從表7可以看出,AMDMF相比MDMF在準確率提升2.48%的前提下,參數量、訓練時長和時間消耗均大幅下降,證明了本文所提基于PEO的模型自優化方法的有效性,且AMDMF優于所有基線模型。AMDMF較性能優秀的MobileNetV3模型在準確率僅有4.74%上升情況下大幅減少了模型參數量以及時間消耗且單幅圖像的檢測時間僅為1 ms,可滿足不銹鋼焊縫缺陷在線實時識別的要求,能夠為集成和便攜設備的開發提供技術支持。

表7 網絡模型性能對比試驗Tab.7 Network model performance comparison experiment

混淆矩陣進一步展示了高性能AMDMF模型在測試集中對每個類別缺陷的識別效果,如圖6所示,標簽序號0～4分別代表夾渣、裂紋、氣孔、未焊透、未熔合五類缺陷。從圖中可以看出,模型對裂紋、未焊透、未熔合三類類缺陷有較高的識別率,分別為99.1%、97.5%、和96.7%。對夾渣和氣孔兩類缺陷的識別準確率略低,均為94.7%,造成這兩類缺陷識別準確率較低的主要原因為夾渣缺陷是熔渣焊后殘留在焊縫中形成缺陷,導致部分超聲波會穿透這些熔渣到達鋼板底部,損失部分缺陷信號,而部分氣孔缺陷的位置靠近鋼板底部,在利用超聲波對焊縫缺陷檢測過程中,二者易被混淆。

圖6 混淆矩陣Fig.6 Confusion matrix

5.5 AMDMF模型泛化能力驗證

我們選擇了兩個公共數據集NEU-CLS[21]和miniImageNet[22],來驗證所提出的網絡和方法的泛化能力,NEU-CLS是東北大學發布的熱軋帶鋼表面缺陷圖像數據集。缺陷包括裂紋 (Cr)、夾雜物(In)、斑塊(Pa)、點蝕表面(PS)、軋制氧化皮(RS)和劃痕(Sc)。該數據集由六種缺陷的1 800張灰度圖像組成,每個圖像以300個樣本為例。miniImageNet是由DeepMind團隊從包含2萬多個類別(如“氣球”、“輪胎”和“狗”等且每個類別均有不少于500張圖像)的ImageNet數據集中提取而成的數據集,包含100個類別,共計60 000張彩色圖像,每個樣本像素值均為84×84。兩個數據集分別按照4∶1的比例分為訓練集和測試集,在AMDMF上進行訓練。測試集的分類準確率如圖7和圖8所示。在NEU-CLS數據集上,AMDMF達到了98.52%的分類準確率;在miniImageNet 數據集上,AMDMF的分類準確率達到了84.31%。試驗結果表明,本文所提出的方法不僅可以用于缺陷識別,而且對其他領域的復雜分類任務也具有一定的應用價值,并具有一定的泛化能力。

圖7 NEU-CLS數據集上的分類準確率Fig.7 NEU-CLS dataset classification accuracy

圖8 mimiImageNet數據集上的分類準確率Fig.8 MimiImageNet dataset classification accuracy

6 結 論

在這項研究中,我們提出了一種基于多域多尺度深度特征自適應融合的焊縫缺陷檢測。通過試驗分析比較,可以得出以下結論。

(1) 基于不銹鋼焊縫超聲檢測信號開展智能化缺陷識別是具備可行性的。

(2) 將一維超聲檢測時域信號映射至復數域以及GAF、MTF、RPF等實數域中,由基礎CNN在單域上的診斷表現選取對相應數據集焊縫缺陷信息表征能力較強的兩個實數域與復數域進行多域多尺度焊縫缺陷深度特征融合,有利于找到在焊縫檢測領域契合度更高的高維空間域數據集的組合。

(3) 開展面向卷積神經網絡多維超參數自尋優的PEO模型優化策略對模型結構自適應壓縮和參數自適應優化,可以在不損失網絡精度的前提下大幅減少網絡的參數量和計算量,有效確定針對特定任務的最優參數組合,避免人為調參帶來的高時間成本和高計算成本。

通過多域多尺度特征融合和模型自優化,我們所設計的AMDMF模型相比其他基線模型各項指標明顯提高,對五類不銹鋼焊縫缺陷的識別準確率為96.54%,對單個焊縫缺陷類型識別時間為1.0 ms,可滿足不銹鋼焊縫缺陷在線實時識別的要求,這為實際工程應用中基于超聲檢測方法開展自動缺陷識別提供了一定的技術參考,為后續集成輔助診斷設備提供有利的技術保障。我們所提出的方法還具備一定的泛化能力和可靠性,除了基于序列樣本的各種識別、分類、診斷和檢測模型外,還可以廣泛用于各種網絡模型的自適應壓縮和優化。我們在該領域的未來研究將側重于多目標檢測和識別,并在時間復雜度和識別性能之間取得平衡。