基于Mask-RCNN與結構激光的縱焊縫5個參數檢測方法*

陳英紅 杜明坤

?

基于Mask-RCNN與結構激光的縱焊縫5個參數檢測方法*

陳英紅1杜明坤2

（1.廣東省特種設備檢測研究院珠海檢測院 2.珠海市安粵科技有限公司）

為保證焊接件安全工作，針對焊縫外觀形貌檢測提出一種基于Mask-RCNN與結構激光的縱焊縫5個參數檢測方法。首先利用Mask-RCNN卷積神經網絡從焊縫激光線圖像中提取激光線邊界信息；其次采用Hessian矩陣提取激光中心線；然后使用多項式擬合中心線，根據多項式極值點對焊縫曲線進行分區，分別在擬合曲線與激光中心線上提取焊縫5個參數計算特征點，計算相應特征點間距，完成焊縫余高、寬度、咬邊、錯邊量和棱角度5個參數檢測；最后設計實驗樣機對半徑為281.35 mm管道縱焊縫進行檢測實驗。實驗結果表明：該方法可一次性快速、準確檢測焊縫5個參數，具有較小的測量不確定度。

焊縫檢測；機器視覺；深度學習

0 引言

GB150-2011壓力容器中規定焊縫5個參數為焊縫余高、寬度、咬邊、錯邊量和棱角度，其數值大小檢測是焊后檢測的一項關鍵內容[1-2]。目前焊后檢測通過人工使用放大鏡、焊縫檢驗尺和棱角度尺等工具完成，存在精度低、檢測周期長、無法連續檢測的缺陷，難以滿足大批量工業生產快速檢測的需要。焊縫外觀形貌是焊縫5個參數檢測的外在表現，因此如何準確復現檢測區域內焊縫外觀形貌是高精度、快速焊后檢測的研究熱點。焊后檢測主要包括基于射線成像檢測方法和基于結構激光的視覺檢測方法[3-4]。英國華威大學（2013）對X射線圖像中分割算法進行研究，提出基于模糊邏輯和神經網絡系統的焊縫缺陷識別圖像處理算法，使用模糊邏輯系統優化神經網絡輸出準確性[5]；Goumeidane A B等人（2015）提出一種基于統計學模型方法來處理X射線焊縫圖像，利用圖像的局部與全局特征進行推理，從而完成圖像濾波和焊縫射線中內部缺陷檢測[6]；文獻[7]分析焊縫缺陷局部圖像自相關矩陣特征值，將主成分析引入焊縫缺陷類型分類。視覺焊縫檢測主要采用激光三角數學模型[8]。肯特大學（2014）提出一種基于滑動矢量方法的焊接接頭建模和尺寸測量方法[9]；土耳其Muhammad J等人（2016）提出順序圖像處理和特征提取算法，采用窄帶濾波器從低質量激光圖像中提取有效的焊縫幾何特性[10]；哈爾濱工程大學（2017）用質心法提取結構光中心線，用區域面積法提取結構光中心線上的特征點[11]；文獻[12]采用基于斜率分析方法的最小二乘法檢測焊縫圖像特征，得到焊縫外觀缺陷特征信息。上述焊縫檢測方法側重于焊縫內部缺陷、部分參數檢測，還未見焊縫外貌形態全部參數（焊縫寬度、余高、錯邊量、咬邊和棱角度）檢測方法研究。

本文使用激光三角檢測模型，在處理焊縫激光線圖像時，利用Mask-RCNN網絡實現激光線特征區域提取；應用Hessian矩陣提取激光條紋中心線，檢測出焊縫余高、寬度、咬邊、錯邊量和棱角度，從而實現焊縫三維形態5個參數全部檢測。

1　基于Mask-RCNN與結構激光的縱焊縫5個參數檢測機理

基于本文縱焊縫5個參數檢測方法設計的焊縫檢測實驗樣機內部結構如圖1所示。工業相機與結構激光器固定于實驗樣機上；相機鏡頭軸線與待檢測平面垂直；結構激光器出射一字線激光與待檢測平面夾角為；待檢測位置處焊縫外貌5個參數由一字激光線反映。

圖1 焊縫檢測實驗樣機內部結構

基于Mask-RCNN與結構激光的縱焊縫5個參數檢測流程如圖2所示。

圖2 縱焊縫5個參數檢測流程

本文提出的檢測方法，僅從單張焊縫激光線圖像，完成焊縫余高、寬度、咬邊量、錯邊量和棱角度參數檢測，其中Mask-RCNN完成激光線邊界信息提取；參考GB150-2011焊縫參數檢測定義，以提取激光中心線的焊縫特征點作為焊縫5個參數計算基準。

1）工業相機開啟，拍攝自然光環境下激光線焊縫圖像；圖像作為訓練后Mask-RCNN網絡輸入，網絡輸出激光線邊界Mask信息。

2）只包含激光線邊界Mask信息的圖像高斯平滑濾波后，利用Hessian矩陣提取結構光條紋中心點。

3）以圖像坐標系為坐標基準，取激光中心線在坐標系中的極值點為焊縫余高、焊趾兩側寬度特征點；計算余高特征點與焊趾兩側寬度特征點間距，得到焊縫余高數值h；計算焊趾兩側寬度特征點間距，得到焊縫寬度數值d。

4）采用高階多項式擬合激光中心線，取擬合曲線在寬度特征點附近極值點為焊縫咬邊特征點；取擬合曲線在焊縫熱影響區極值點為焊縫錯邊量、棱角度特征點；計算咬邊特征點與寬度特征點間距，得到焊縫咬邊數值u；計算錯邊量、棱角度特征點與以圓筒半徑擬合標準圓弧間距，得到焊縫錯邊量數值s與棱角度數值e。

2　基于Mask-RCNN與結構的焊縫5個參數檢測方法

2.1　基于Mask-RCNN的激光線邊界信息提取方法

Mask-RCNN在Faster-RCNN基礎上擴展了分類與回歸任務，是最高水平實例分割算法[13]。Mask-RCNN網絡有兩層分支結構：第一層分支為原始Faster-RCNN的結構，用于對候選窗口進行分類和窗口坐標回歸；第二層分支利用全卷積網絡結構對每一個感興趣區域（region of interest，RoI）預測二值分割掩模。使用工業相機拍攝130張做好激光線區域標簽的激光線焊縫圖像（分辨率2592×1944），分為訓練圖像集100張、驗證圖像集5張和測試圖像25張。在內存為32 G，GPU為1080 Ti（顯存11 G）主機上對Mask-RCNN模型進行訓練，在500次訓練后損失函數收斂，停留在1.343左右。訓練后Mask-RCNN模型識別效果圖如圖3所示。

圖3 訓練后Mask-RCNN模型識別效果圖

2.2　基于Hessian矩陣中心線提取算法

目前激光條紋中心線提取算法主要有灰度重心法、基于Hessian矩陣中心提取法和形態學骨骼化提取方法[14]。其中灰度重心法與形態學骨骼化提取方法提取中心線中噪聲過多，不利于后續多項式擬合中心線的準確性以及焊縫余高、寬度特征點選取的正確性，因此本文采用基于Hessian矩陣中心提取法完成焊縫激光線中心點提取工作。

Mask-RCNN網絡輸出Mask圖像是激光線區域值為Ture，其他區域值為False的二值矩陣。首先將Mask-RCNN網絡輸出Mask區域與原始焊縫激光線圖像按式(1)進行圖像處理：

其中，為焊縫激光線RGB圖像三通道矩陣；為Mask-RCNN網絡輸出矩陣；(,)為圖像坐標系下像素點坐標。

焊縫激光線RGB圖像只保留激光線區域RGB信息，其他區域RGB信息全置為0；經Mask信息調制后焊縫激光線RGB圖像通過大津法轉為灰度圖像，對灰度圖像進行高斯平滑濾波處理：

其中，為濾波后圖像；(,)為濾波核函數；取值為激光線寬像素點數。

計算濾波圖像中每個像素點Hessian矩陣為

計算濾波圖像單個像素點Hessian矩陣激光線灰度值分布單位向量(n,n)，取圖像焊縫區域中任意一點(1,1)，則以點(1,1)為基準的灰度分布為

中心點位置即灰度分布極值點，令式(2)對變量的一階導為0，可求得

因此，中心點位置可確定為(x1+tnx, y1+tny)。基于Hessian矩陣中心線提取效果如圖4所示。

2.3　基于曲線擬合的焊縫5個參數特征點選取方法

圖4提取的焊縫激光中心線可看作由焊縫兩側橢圓曲線加中間焊趾突出曲線組成，因此直接使用極值法提取焊縫參數特征點方法不再適用。本文提出基于區域劃分的焊縫5個參數特征點選取方法。首先將焊縫激光線參照焊接工作區進行分區；然后在不同的區域內使用極值法提取激光中心線或擬合多項式曲線；最后完成焊縫5個參數特征點提取。

根據本文焊縫區域劃分方法，將焊縫激光中心線中焊縫區、熱影響區劃分為焊接區域，其余曲線區域劃分為非焊接區域，如圖5所示。在焊縫激光中心線焊接區域內，提取焊縫余高、焊趾兩側寬度特征點；在焊縫激光中心線非焊接區域，提取焊縫咬邊、錯邊量和棱角度特征點。

圖5 焊縫分區示意圖

多項式曲線擬合結果如圖6所示。從擬合結果可以看出，擬合曲線實數內5個極值點對應焊縫激光中心線焊趾兩側焊接區與非焊接區交界點、焊縫余高特征點、焊縫焊趾兩側寬度特征點。依照GB150-2011中焊縫寬度、余高標準，結合焊縫激光中心線與擬合曲線極值信息，采用如下步驟提取焊縫余高與焊縫焊趾兩側寬度特征點，并計算焊縫寬度、余高參數：

圖6 焊縫5個參數特征點多項式曲線擬合結果

1）在擬合曲線上的焊縫點之間計算焊縫激光線坐標極值點（圖6中為極大值），作為焊縫余高特征點h；

2）在擬合曲線極值點與焊縫余高特征點h之間計算焊縫激光線坐標極值點（圖6中為極小值），作為焊縫寬度特征點d1，d2；

3）得到焊縫余高h與寬度d計算數值：

其中，為相機標定比例系數；為激光線與被檢測面夾角。

參考GB150-2011與《壓力容器檢驗》中焊縫錯邊量、棱角度檢測方法[15]，本文提出焊縫圖像錯邊量與棱角度檢測示意圖如圖7所示。截取激光中心線長度為橢圓弦長，根據待檢測圓筒件半徑參數擬合標準圓，分別計算擬合曲線極值點，即焊縫錯邊量、棱角度特征點se1，se2離標準圓弧距離1，2，完成焊縫錯邊量s、棱角度e參數計算：

其中，Rw為待檢測圓筒件半徑參數；，為焊縫錯邊量、棱角度特征點在圖像坐標系中坐標。

參考GB150-2011，焊縫焊趾兩側咬邊參數在圖像中反映為焊縫咬邊特征點u與焊縫寬度特征點d在圖像坐標系中軸線距離，因此焊縫焊趾兩側咬邊參數u1，u2表示為

其中u，d為焊縫咬邊、余高特征點在圖像坐標系中縱坐標。

3　實驗研究

采用彩色工業相機（分辨率2592×1944、感光元件1/2.5′′、像素2.2 μm）以及焦距為185 mm、波長為660 nm，線寬為1 mm的紅色一字線激光器，構造基于Mask-RCNN與結構激光的縱焊縫5個參數檢測樣機。

圓筒縱焊縫樣品與檢測軟件界面如圖8所示，圖8(a)為半經w=281.35 mm的輸油管道圓筒焊接件；圖8(b)為使用基于PyQt5開發，結合Matlab與深度學習算法的焊縫5個參數檢測儀軟件界面。使用張氏標定法標定工業相機。由于測量模型中工業相機的主要成像平面為焊縫表面，可預先在焊縫檢測位置處放置張氏標定板，利用計算標定圖像指定尺寸下相機拍攝圖像中像素個數的方法完成相機標定工作。經過若干次標定實驗，取標定結果的平均值作為標定結果，圖像中單位像素間距在實際中的尺寸為0.025 mm，因此確定= 0.025。

參照上面提出的焊縫5個參數檢測方法，應用Python與Matlab聯合編程完成焊縫5個參數檢測程序設計。其中Python負責Mask-RCNN算法編程任務；Matlab負責中心線、特征點提取與焊縫5個參數計算任務。在不同被檢焊縫位置，分別采集20次實驗數據，表1為某一位置處，焊縫5個參數部分檢測結果。本文分別在10處不同位置處，每個位置采集20次焊縫檢測儀檢測結果。對10組實驗結果進行分析，其中焊縫寬度、其余參數測量不確定度分別為0.018 mm，0.001 mm。

圖8 圓筒縱焊縫樣品與檢測

表1　焊縫三維外觀參數檢測部分結果表 （單位：mm）

4　結語

1）提出基于Mask-RCNN與結構激光的縱焊縫5個參數檢測方法。首先應用Mask-RCNN卷積神經網絡從激光焊縫圖像中提取激光線邊界信息；其次基于結構激光單色性好特點，采用顏色閾值分割、形態學處理相結合方法提取激光中心線；再從激光中心線沿焊縫方向的極大、極小值點計算焊縫余高、咬邊深度；最后提取激光中心線處于焊縫熱影響區部分，通過擬合標準圓弧，檢測焊縫錯邊量與棱角度。

2）采用工業相機與520 nm線激光器搭建縱焊縫檢測實驗樣機。檢測半徑為281.35 mm的輸油管道縱焊縫，能準確測量焊縫寬度、余高、咬邊、錯邊量和棱角度5個參數，且測量不確定度較低，其中焊縫寬度與其他參數測量不確定度分別為0.018 mm，0.001 mm。

3）應用人工智能、深度學習與機器視覺技術，建立焊縫寬度、余高、咬邊、錯邊量和棱角度5個參數測量模型，實現在各種光照條件下的焊縫定位、參數檢測，有效地提升該方法適用性。

下一步將研究該方法的誤差補償技術、動態測量技術，并嘗試應用人工智能實現環焊縫、內部焊縫的三維形態參數檢測，實現一站式全類型焊縫檢測。

[1] 中華人民共和國國家質量監督檢驗檢疫總局, 中國國家標準化管理委員會.壓力容器:GB 150.1~150.4—2011[S].北京:中國標準出版社, 2012:14.

[2] 王冬林,劉晶,葉勇,等.鋼制壓力容器質量控制研究[J].新技術新工藝,2015(10):110-112.

[3] 周鵬飛,王飛,肖輝,等.DR圖像中氣孔缺陷的自動檢測與識別[J].無損檢測,2017,39(10):37-41.

[4] Chu H H , Wang Z Y . A vision-based system for post-welding quality measurement and defect detection[J]. The International Journal of Advanced Manufacturing Technology, 2016, 86(9-12):3007-3014.

[5] Baniukiewicz P. Automated defect recognition and identification in digital radiography[J]. Journal of Nondestructive Evaluation, 2013, 33(3):1-8.

[6] Goumeidane A B , Nacereddine N , Khamadja M . Computer aided weld defect delineation using statistical parametric active contours in radiographic inspection[J]. Journal of X-Ray Science and Technology, 2015, 23(3):289-310.

[7] 高煒欣,胡玉衡,武曉朦,等.埋弧焊X射線焊縫缺陷圖像分類算法研究[J].儀器儀表學報,2016,37(3):518-524.

[8] Jahedsaravani A , Massinaei M , Marhaban M H . Development of a machine vision system for real-time monitoring and control of batch flotation process[J]. International Journal of Mineral Processing, 2017:S0301751617301564.

[9] Nguyen H C , Lee B R . Laser-vision-based quality inspection system for small-bead laser welding[J]. International Journal of Precision Engineering & Manufacturing, 2014, 15(3):415-423.

[10] Muhammad J , Altun H , Abo-Serie E . A robust butt welding seam finding technique for intelligent robotic welding system using active laser vision[J]. International Journal of Advanced Manufacturing Technology, 2016(7–8):1-17.

[11] 褚慧慧,王宗義.基于主動視覺的焊縫成形尺寸測量和缺陷識別研究[J].熱加工工藝,2017(21):206-209.

[12] Lu Xueqin, Gu Dongxia, Wang Yudong, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11):4715-4724.

[13] He K, Gkioxari G, Dollar P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2018:2980-2988.

[14] Chen P , Zhang Z , Dai M , et al. Sub-pixel extraction of laser stripe and its application in laser plane calibration[J]. 東南大學學報(英文版),2015,31(1):107-112.

[15] 王紀兵．壓力容器檢驗檢測[M].2版.北京:化學工業出版社, 2016:90-91．

A Mask-RCNN & Structured Light Based on Five Shape Parameters Detection Method for Longitudinal Welds

Chen Yinghong1Du Mingkun2

(1. Guangdong Special Equipment Testing and Research Institute Zhuhai Testing Institute 2. Zhuhai An Yue Technology Co., Ltd.)

The inspection of weld appearance and appearance is an important guarantee for the safe work of welded parts. This paper proposes a parameter detection method based on Mask-RCNN and structural laser longitudinal weld. The method first uses the Mask-RCNN convolutional neural network to extract the laser line boundary information from the weld laser line image. Secondly, the Hessian matrix is used to extract the laser center line. Finally, the polynomial is used to fit the center line, and the polynomial extreme point is used to weld the curve. Partitioning is performed to extract the weld 5 parameters from the fitting curve and the laser center line to calculate the feature points, calculate the corresponding feature point spacing, and complete the parameters of the weld residual height, width, undercut and edge angle. The experimental prototype was designed to test the longitudinal weld of the radius of 281.35 mm pipe. The surface of the test results quickly and accurately detect the weld seam 5 parameters, which has low measurement uncertainty.

Weld Inspection; Machine Vision; Deep Learning

陳英紅，女，1974年生，高級工程師，主要研究方向：特種設備檢驗檢測研發。E-mail:924192172@qq.com

國家質量監督檢驗檢疫總局科技計劃項目(2017QK105)