基于深度學(xué)習(xí)的激光剪切散斑干涉無損檢測缺陷識別

吳 榮,汪劍偉,謝鋒云

(1.華東交通大學(xué)機電與車輛工程學(xué)院,江西 南昌 330013; 2.載運工具與裝備教育部重點實驗室(華東交通大學(xué)),江西 南昌 330013;3.華東交通大學(xué)軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室,江西 南昌 330013)

1 引 言

激光剪切散斑干涉技術(shù)是一種運用光學(xué)、計算機、數(shù)字圖像處理等現(xiàn)代技術(shù)發(fā)展起來的非接觸物體變形測量技術(shù),其通過計算物體變形前后散斑圖的相位來獲取被測物體的應(yīng)變信息[1]。剪切散斑干涉技術(shù)運用剪切裝置將物光分為兩束光,使待測表面相鄰兩點的物光相干涉,相比較物光與參考光相干涉的電子散斑干涉技術(shù)[2],剪切散斑干涉技術(shù)對于環(huán)境中的擾動較不敏感,更加適用于工程現(xiàn)場檢測,并被廣泛應(yīng)用于工業(yè)無損檢測。

激光剪切散斑干涉技術(shù)在執(zhí)行缺陷無損檢測時,首先通過對被測對象進行一定程度的均勻加載,常見的加載方式包括熱加載、真空加載、振動加載等;加載后引起內(nèi)部缺陷處的應(yīng)力集中,并導(dǎo)致對應(yīng)的表面產(chǎn)生與其周圍有差異的微小變形。利用激光剪切散斑干涉技術(shù)能直觀精確地測量出該變形,從而推斷出物體內(nèi)部缺陷,缺陷通常以“蝴蝶斑”狀干涉條紋的形式呈現(xiàn)[3]。特別是對于復(fù)合材料與粘接結(jié)構(gòu)的缺陷檢測,激光剪切散斑干涉技術(shù)能夠有效檢測被檢對象中的氣泡、空隙、分層、裂紋、脫粘等缺陷。對比傳統(tǒng)無損檢測方法,激光剪切散斑干涉技術(shù)具有測量面積廣、效率高、非接觸、高靈敏度等優(yōu)點,因此在航空航天、船舶制造、汽車等領(lǐng)域的使用量正在迅速增加[4]。Leszek[5]結(jié)合全息術(shù)和剪切散斑干涉技術(shù)通過聲波使壁畫振動,在壁畫有損傷處發(fā)生不規(guī)則變化,檢測缺陷的大小和分布;Kim[6]利用剪切散斑技術(shù)對輪胎面上的空洞缺陷的大小和形狀進行了檢測;馬銀行等人[7]搭建了數(shù)字剪切散斑干涉測量系統(tǒng)用于含狹縫的懸臂鋁板的振動分析;劉斌等人[8]運用剪切散斑干涉技術(shù)對不同類型缺陷的衛(wèi)星用鋁蒙皮鋁蜂窩夾層結(jié)構(gòu)實現(xiàn)了缺陷檢測。剪切散斑干涉技術(shù)的發(fā)展和應(yīng)用為工業(yè)發(fā)展中結(jié)構(gòu)應(yīng)變分析、健康狀態(tài)檢測以及部件維修等方面提供了重要的技術(shù)支持。

隨著航空航天、交通運輸?shù)阮I(lǐng)域的快速發(fā)展,材料缺陷檢測的準確率和效率的提升有助于推動現(xiàn)代化工業(yè)生產(chǎn)的高質(zhì)量與高效率發(fā)展,因此需要發(fā)展一種高精度高效的缺陷自動識別方法來替代人工識別方式。為此,國內(nèi)外許多學(xué)者對激光剪切散斑干涉缺陷自動識別方法做出了大量研究。例如南瑞亭等人[9]提出的基于剪切散斑圖角點特征的輪胎缺陷識別方法,實現(xiàn)了輪胎缺陷的自動識別,提高了輪胎檢測的效率;李學(xué)哲等人[10]通過圖像降維和協(xié)同進化算法實現(xiàn)了剪切散斑條紋信息的識別,且在測量速率和抗干擾方面有著明顯提高;馮巍巍等人[11]采用了基于小波分析和神經(jīng)網(wǎng)絡(luò)的算法,實現(xiàn)了特種材料表面激光散斑特征的提取和識別,操作簡單且識別率較高,但識別速率較慢。近年,深度學(xué)習(xí)技術(shù)被快速發(fā)展,并在激光散斑干涉技術(shù)中的條紋圖像去噪、解包裹以及缺陷識別等方面取得了重要進展。例如,Gurrola-Ramos[12]提出了一種用于條紋去噪的U-Net神經(jīng)網(wǎng)絡(luò)模型,該方法在計算上更簡單高效;Wang[13]提出了將包裹相位經(jīng)U-Net網(wǎng)絡(luò)直接獲取展開相位的一步解包裹技術(shù),并且可實現(xiàn)相位去噪;因此,將深度學(xué)習(xí)運用于缺陷識別是發(fā)展趨勢,例如:Chang等[14]將卷積神經(jīng)網(wǎng)絡(luò)與高性能快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)集成混合融合,檢測輪胎剪切成像圖像中的氣泡缺陷;Ye等[15]開發(fā)了一種基于深度學(xué)習(xí)的圓柱形表面檢測的剪切成像系統(tǒng)。相對于傳統(tǒng)算法,深度學(xué)習(xí)相關(guān)方法具有更快的速率和更高的識別精度;將深度學(xué)習(xí)與剪切成像技術(shù)結(jié)合使用的方法是實現(xiàn)無損檢測自動化的第一步,同時為進一步發(fā)展開辟了空間。

盡管以上研究能解決剪切散斑缺陷圖像的檢測與識別,但其檢測效率和檢測精度仍然有待提高。近年,YOLOv5、Faster R-CNN等深度學(xué)習(xí)算法在圖像識別方面取得了高效與高精度的識別效果,并在無人駕駛、工業(yè)缺陷圖像識別等領(lǐng)域被廣泛使用[16]。本文提出將YOLOv5和Faster R-CNN算法應(yīng)用于剪切散斑干涉缺陷圖像的自動識別,分析對比了兩者的檢測準確率和效率,并設(shè)計制作了用于缺陷檢測的大量樣本數(shù)據(jù),為缺陷高精度快速自動識別提供了依據(jù)。

2 剪切散斑干涉無損檢測原理

剪切散斑干涉無損檢測原理如圖1所示,在執(zhí)行檢測時,首先需要對被檢測對象進行均勻的加載,加載方式通常有熱輻射加載、負氣壓加載和振動加載。物體被加載后,缺陷處將產(chǎn)生與周圍有差異的微小變形,該變形將反映到物體表面,進而利用剪切散斑干涉技術(shù)檢測該變形,從而實現(xiàn)物體內(nèi)部缺陷的檢測。在缺陷檢測運用中,通常采用檢測離面位移導(dǎo)數(shù)的邁克爾遜干涉光路,即剪切干涉來實現(xiàn)表面的變形檢測。該光路如圖1所示,激光入射到粗糙物體表面產(chǎn)生漫反射,反射光進入邁克爾遜干涉光路;反射光進入分光棱鏡被分為兩束光線,一束反射到剪切鏡,并從剪切鏡反射到分光棱鏡;另一束是直接穿透入射在平面鏡,再反射到分光棱鏡上。最后,兩束光同時進入到攝像機并產(chǎn)生干涉,從而通過計算機處理獲得剪切散斑干涉條紋圖。

圖1 剪切散斑干涉無損檢測系統(tǒng)示意圖

本文采用被廣泛使用的高精度四步相移技術(shù)來獲取剪切成像條紋圖[17]。測量首先在物體變形前運用驅(qū)動電路使PZT相移器產(chǎn)生精確的四步相移,四步相移對應(yīng)的激光相位分別為(0,π/2,π,3π/2),同時相機同步采集對應(yīng)的物體表面相移圖。假設(shè)物體變形前的四步相移圖為Ri(x,y),i=1,2,3,4,具體表示如下:

(1)

其中,(x,y)是圖像的空間像素坐標;Ri(x,y)是變形前采集到的四幅散斑圖像,它們依次有π/2相移量;A(x,y),B(x,y)分別表示背景光強和條紋的調(diào)制幅值;φR(x,y)是變形前的散斑相位。

聯(lián)立上述四個方程,即可得到變形前的相位分布:

(2)

同理,假設(shè)變形后的四幅散斑圖像為Di(x,y),i=1,2,3,4,

(3)

則可得到變形后的相位分布:

(4)

將變形后的相位減去變形前的相位即可得到由于變形引起的相位差:

Δφ(x,y)=φD(x,y)-φR(x,y)

(5)

或者運用以下等式獲得相位差[18]:

Δφ(x,y)=

(6)

通過以上等式直接獲得的相位圖通常包含較大的噪聲,為了提高干涉相位圖的成像質(zhì)量,因此,需要對獲得的圖像進行濾波處理[19],進而得到高信噪比的干涉條紋圖。

3 深度學(xué)習(xí)缺陷智能識別算法

剪切散斑干涉缺陷的高精度智能識別能為其工業(yè)應(yīng)用提供一種自動化的無損檢測手段,從而提高檢測效率和檢測準確率。目前基于深度學(xué)習(xí)的目標檢測算法主要包括SSD、YOLO、Faster R-CNN、Mask-RCNN等[20]。各個算法在不同的應(yīng)用場合和數(shù)據(jù)集樣本下的效果存在差異,而本文將目前較為主流的YOLOv5和Faster R-CNN兩種目標檢測算法引入到剪切散斑干涉缺陷的智能識別中,并深入分析這兩種方法的優(yōu)劣勢。

3.1 基于YOLOv5算法的缺陷檢測模型

如圖2所示為YOLOv5的缺陷檢測模型,該網(wǎng)絡(luò)首先將輸入的缺陷圖像分別進行8倍、16倍和32倍下采樣,從而獲得3種尺寸大小不同的特征圖,然后將特征圖輸入到特征融合網(wǎng)絡(luò)中,經(jīng)過特征融合網(wǎng)絡(luò)的深層次卷積后得到具有豐富語義信息的特征圖。雖然在多次卷積之后會丟掉目標圖像的部分位置信息,但是目標位置的信息是仍較為精確。

圖2 YOLOv5的缺陷檢測模型

3.2 基于Faster R-CNN的缺陷檢測模型

Faster R-CNN主要由特征提取網(wǎng)絡(luò)CNN,區(qū)域建議網(wǎng)絡(luò)RPN(region proposal network)和目標檢測網(wǎng)絡(luò)RCNN這3個部分組成,如圖3所示為其缺陷檢測模型。特征提取網(wǎng)絡(luò)CNN采用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)VGG16對輸入的高分辨率圖像可提取相對初級特征,并輸出對應(yīng)的特征圖;區(qū)域建議網(wǎng)絡(luò)RPN的輸入是特征提取網(wǎng)絡(luò)CNN輸出的特征圖,使用滑動窗口對該特征圖進行遍歷卷積,然后將特征圖映射成的低維向量送入分類層和回歸定位層,最后輸出被檢測物體的區(qū)域建議框;目標檢測網(wǎng)絡(luò)RCNN利用非極大值抑制算法獲取感興趣區(qū)域(region of interest,ROI),接著通過ROI池化層并將其下采樣至某一固定尺寸。最后通過全連接層獲得ROI的低維特征向量并送至Softmax分類器中,從而使得目標分類置信度和矩形框位置得到進一步的調(diào)整。

圖3 Faster R-CNN的缺陷檢測模型

3.3 基于YOLOv5與Faster R-CNN的缺陷智能檢測

缺陷的自動檢測要求結(jié)構(gòu)的各部分獲得圖像的相位圖,且通過拼接技術(shù)實現(xiàn)缺陷分布的全尺寸圖像的映射。如果結(jié)構(gòu)中存在缺陷,它們將通過剪切散斑干涉條紋反映在相位圖中。為了準確識別與缺陷相關(guān)的條紋圖案,需要使用包含條紋圖案的樣本訓(xùn)練相應(yīng)的模型。由于主要考慮的缺陷是脫粘,所以樣本為包含蝴蝶斑狀的條紋圖像。在深度學(xué)習(xí)算法中,實驗的樣本數(shù)量對最后識別的結(jié)果起著非常關(guān)鍵的作用。樣本數(shù)量太少會使得回歸方程中的相關(guān)系數(shù)比較低從而導(dǎo)致識別精度也不高。

訓(xùn)練完成之后,便可將模型用于缺陷識別。圖4(a)描述的是基于YOLOv5算法的缺陷自動識別過程的示意圖。輸入圖像進入輸入端進行Mosaic數(shù)據(jù)增強、自適應(yīng)錨框計算和自適應(yīng)圖片縮放操作;然后在基準網(wǎng)絡(luò)中利用Focus結(jié)構(gòu)提取一些通用的特征表示;接著在Neck網(wǎng)絡(luò)中使用SPP模塊、FPN+PAN模塊進一步提升特征的多樣性及魯棒性;最后通過Head輸出端完成目標檢測結(jié)果的輸出。

(a)YOLOv5識別流程圖 (b)Faster R-CNN識別流程圖

圖4(b)是基于Faster R-CNN的缺陷自動識別過程的示意圖。輸入圖像通過預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)得到卷積特征映射。然后通過區(qū)域建議網(wǎng)絡(luò)(RPN)尋找可能包含缺陷的區(qū)域。在原始圖像中列出了可能的相關(guān)缺陷及位置后,Faster R-CNN網(wǎng)絡(luò)使用該信息對邊界框中的內(nèi)容進行分類,以及調(diào)整邊界框最佳匹配缺陷。在執(zhí)行以上步驟之后,顯示所有篩選區(qū)域內(nèi)的缺陷類別,并識別有缺陷區(qū)域的位置。

4 實驗與結(jié)果

4.1 樣本制作與數(shù)據(jù)采集

為獲得缺陷高度敏感的識別,樣本尺寸和缺陷位置應(yīng)具有多樣性,訓(xùn)練樣本應(yīng)是不同尺寸和位置的缺陷剪切散斑干涉相位圖,這些相位圖代表實際樣本中預(yù)期的特征。為此,本次實驗制作了多種尺寸和類型的缺陷樣本,樣本制作過程如圖5所示,其中,(a),(b)為模擬不同形狀的內(nèi)部缺陷圖,(c)為制作完成的內(nèi)部含缺陷的試樣。試樣中間是一塊長寬高為150 mm×150 mm×5 mm的鋁板,并在鋁板上制作了幾種不同形狀和尺寸的孔洞,并在鋁板兩面均粘貼厚度為4 mm的橡膠板,以此模擬復(fù)合材料中脫粘、氣泡和分層等缺陷。

圖5 缺陷樣本

完成樣本缺陷的制作之后,即可使用剪切散斑干涉無損檢測儀進行缺陷圖像數(shù)據(jù)的采集。該設(shè)備采用532 nm激光器,相機的空間分辨率為2048×1536,型號為MER2-302-37 GM-P,幀率為37 f/s。如圖6所示為剪切散斑干涉無損檢測儀對樣本進行采集,其中加熱燈熱加載時間設(shè)置為2 s,采樣間隔時間為5 s,重復(fù)上述操作,并采集500幅包含缺陷的剪切散斑干涉條紋的圖像 。如圖7所示為采集的部分數(shù)據(jù)。

圖6 剪切散斑干涉無損檢測儀采集樣本數(shù)據(jù)

圖7 采集的部分數(shù)據(jù)

4.2 缺陷智能檢測

將上述采集到的含有缺陷的500幅圖像隨機選擇80 %作為YOLOv5和Faster R-CNN網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集,剩下的20 %則是用來評估兩個模型準確性的測試數(shù)據(jù)集。訓(xùn)練樣本由500幅包含缺陷的剪切散斑干涉條紋的圖像組成,這些圖像是由邁克爾遜剪切散斑干涉檢測設(shè)備對粘有橡膠的鋁板實體進行熱加載時獲得的。由于這些樣本圖像是從一系列脫粘缺陷實驗中采集的,因此缺陷的剪切散斑條紋自然也各不相同。為了能夠?qū)δＰ瓦M行有效的應(yīng)用測試,所以樣本被分為訓(xùn)練集和測試集。

搭建適合的硬件和軟件環(huán)境是深度學(xué)習(xí)算法運行的首要條件。在本文實驗中所有算法均在Windows10的64位操縱系統(tǒng)上運行,該系統(tǒng)搭載Intel Core i9-10900處理器,NVIDIA Quadro RTX 4000 顯卡和32 G內(nèi)存,實驗網(wǎng)絡(luò)在由python 3.7.11和pytorch 1.8.1搭建的框架內(nèi)運行。為提高訓(xùn)練模型的速度,所以配置了cuda和cudnn來調(diào)用GPU參與訓(xùn)練。最后,本文對復(fù)合材料板結(jié)構(gòu)進行了自動檢測,結(jié)果如圖8所示。由此可知,測試結(jié)果與人工觀察判斷結(jié)果一致,并且大大提高了缺陷檢測效率。

圖8 缺陷識別效果圖

4.3 模型評價

在深度學(xué)習(xí)領(lǐng)域中,模型的效果需要用多種指標來進行評價。目標檢測模型的評價指標有精度(Precision)、召回率(Recall)、PR曲線、AP(平均精度)等。本次實驗對樣本數(shù)據(jù)進行10次訓(xùn)練集和測試集的隨機選擇(D0～D9),然后分別對這10組數(shù)據(jù)集進行訓(xùn)練,最后通過檢測速率和檢測精度對訓(xùn)練完成的YOLOv5和Faster R-CNN模型進行對比分析。

如圖9(a)和(b)所示分別為YOLOv5和Faster R-CNN模型在本次實驗硬件及軟件環(huán)境下的檢測精度和速率對比。從圖中可知,在檢測精度方面,Faster R-CNN明顯比YOLOv5更高,且檢測精度也更加穩(wěn)定;計算10次訓(xùn)練模型的精度平均值,得到Faster R-CNN和YOLOv5的平均精度分別為97.84 %和92.09 %。而在檢測速率方面,Faster R-CNN的平均檢測速率為11 f/s,YOLOv5的平均檢測速率則可達到50 f/s,YOLOv5明顯比Faster R-CNN更快。

圖9 YOLOv5和Faster R-CNN模型

5 分析與討論

上述實驗將YOLOv5和Faster R-CNN算法應(yīng)用于剪切散斑干涉缺陷圖像的自動識別,分析對比了兩者的檢測精度和檢測速率。其中,YOLOv5模型尺寸小,部署成本低,靈活性高,檢測速率快;而Faster R-CNN檢測精度高,但模型較為復(fù)雜。兩種基于深度學(xué)習(xí)的缺陷檢測方法的檢測精度和檢測速率都遠遠高于傳統(tǒng)的識別方法,能有效提高實際工程應(yīng)用的缺陷檢測效率和準確率。在實際的工程運用中,可根據(jù)需求選擇使用YOLOv5和Faster R-CNN方法。當然,本研究是基于實驗室的模擬缺陷所建立的模型,實際應(yīng)用中增加更多不同類型、尺寸的樣本量,將能進一步提高缺陷的識別率。同時,通過提升計算機的硬件配置可進一步提高缺陷的識別效率。

6 結(jié) 論

本次研究搭建基于邁克爾遜干涉的剪切成像系統(tǒng)并利用高精度四步相移技術(shù)獲得高質(zhì)量剪切成像條紋;然后使用YOLOv5和Faster R-CNN深度學(xué)習(xí)算法對典型剪切散斑干涉缺陷條紋數(shù)據(jù)集進行訓(xùn)練,得到相應(yīng)的檢測模型;最后將這兩種檢測模型成功地應(yīng)用于復(fù)合材料的缺陷識別。在本次實驗條件下,YOLOv5和Faster R-CNN缺陷識別方法的檢測平均精度分別為92.09 %和97.84 %,檢測平均速率分別為50 f/s和11 f/s。因此,提出的兩種缺陷檢測方法能夠有效提高剪切散斑干涉成像復(fù)合材料缺陷評估中的檢測效率和準確率。