基于改進(jìn)連通域的鋁合金薄板對接焊縫特征點識別

燕煜飛,楊光,鄒麗,楊鑫華

（1. 大連交通大學(xué)，遼寧 大連 116028； 2. 遼寧省軌道交通裝備焊接與可靠性重點實驗室，遼寧 大連 116028；3. 大連市軌道交通裝備焊接結(jié)構(gòu)與智能制造技術(shù)重點實驗室，遼寧 大連 116028）

0 前言

基于圖像處理算法和計算機視覺技術(shù)，焊縫跟蹤可以使焊接過程自動化，減少工人的勞動強度，提高焊接效率和質(zhì)量。使用相機捕捉焊接圖像會產(chǎn)生大量的外在噪音，如電弧光和飛濺物，掩蓋了所捕捉的焊接位置的關(guān)鍵信息，使其難以提取焊接特征。因此，找到一種準(zhǔn)確可靠的提取焊縫特征方法是焊縫跟蹤首要任務(wù)[1-3]。

多年來隨著計算機視覺的發(fā)展，國內(nèi)外學(xué)者對于激光條紋中心特征點提取問題提出了許多方法。顧帆等學(xué)者[4]通過中心線擬合直線求交點和逐列對比搜索相結(jié)合的方法獲取了焊接坡口輪廓的4個拐點。鄒焱飚等學(xué)者[5]利用特征表達(dá)函數(shù)和深度卷積神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)能力，針對焊點檢測問題，研究了基于深度分層特征的方法，該方法具有較強的干擾防護(hù)能力。Yang等學(xué)者[6]使用點云處理算法，通過重建焊縫激光條紋的三維模型，將其表面擬合到一個平面上，并將激光條紋與擬合平面之間的最大距離點作為焊縫特征點。Li等學(xué)者[7]對于提取圖像預(yù)處理后的焊縫中心線問題，運用了方向模板法，再通過斜率分析和最小二乘法擬合，準(zhǔn)確得到了焊縫的特征點。高原等學(xué)者[8]針對焊縫圖像中存在的飛濺及二值化后激光條紋斷裂的現(xiàn)象，利用形態(tài)學(xué)方法進(jìn)行處理，有效的濾除因飛濺形成的小面積孤點噪聲。Fang等學(xué)者[9]根據(jù)弧光和飛濺的即時性特點，將相機采集到的相鄰兩幀圖像中對應(yīng)的像素點進(jìn)行“與”操作，可以很好將弧光和飛濺去除。劉少林等學(xué)者[10]采用閾值提取法進(jìn)行圖像二值化，在下一步對一些亮度較高的像素進(jìn)行中值濾波，達(dá)到預(yù)過濾的目的，明顯減少了圖像濾波的計算量，大大減少了降噪的時間，對精度的影響也較小。黃維[11]基于置信度評價和結(jié)構(gòu)光視覺的焊縫三維測量研究，引入了置信度去評價焊縫照片質(zhì)量，通過自適應(yīng)多次曝光獲取較好的焊縫圖片，以便下面進(jìn)行特征點提取。外國學(xué)者Kiddee等學(xué)者[12]用線條擬合方法找到十字交叉激光束之間的交點，然后根據(jù)交點確定ROI區(qū)域，再提出改進(jìn)的模板擬合方法來確定V形焊接元件的特征點。Carlson等學(xué)者[13]根據(jù)實時的特征模板和圖像相關(guān)性，使用粒子過濾法提取特征點，實現(xiàn)焊接的可跟蹤性。Zhang等學(xué)者[14]采用灰度圖像處理提取焊縫特征，采用三次光滑樣條重建空間復(fù)雜曲面焊縫模型，完成空間復(fù)雜曲面重疊焊縫特征檢測。

在實際的焊接過程中，由于弧光、飛濺等大量噪聲的干擾，使用傳統(tǒng)的濾波及特征提取方法對這些圖像進(jìn)行處理，往往得不到理想的效果，導(dǎo)致焊縫跟蹤精度不高。為了能夠準(zhǔn)確的識別出焊縫特征點，該文提出了一種改進(jìn)連通域算法對焊縫的位置進(jìn)行識別和提取。

1 連通區(qū)域法的原理

連通區(qū)域一般是由圖像中前景像素點組成的圖像區(qū)域，這些像素點具有相同的像素值且位置相鄰。連通區(qū)域標(biāo)記算法主要針對二值圖像進(jìn)行操作，一般來說，在矩陣中白色像素點用“1”進(jìn)行表示，黑色像素點用“0”表示。連通區(qū)域最常見的2種算法包括兩次遍歷法（Two-pass）和種子填充法（Seed-filling），這2種方法都是對二值圖像中的目標(biāo)區(qū)域像素即白色像素部分用標(biāo)簽進(jìn)行標(biāo)記，最后通過像素相鄰關(guān)系把被標(biāo)記的像素點連接在一起。其中，像素相鄰關(guān)系包括4-鄰域與8-鄰域。4-鄰域是指以一個像素為中心遍歷它周圍水平垂直的4個位置，設(shè)目標(biāo)像素點為(x，y)，則其4-鄰域點為{(x+ 1，y)， (x- 1，y)， (x，y+1)， (x，y- 1)}；8-鄰域是指以一個像素為中心遍歷它周圍水平垂直的4個位置及2條對角線上的4個位置，設(shè)目標(biāo)像素點為(x，y)，則其8-鄰域點為{(x+ 1，y)， (x-1，y)， (x，y+ 1)， (x，y- 1)， (x+ 1，y+ 1)，(x+ 1，y- 1)， (x-1，y- 1)， (x- 1，y+ 1)}。

1.1 兩次遍歷法

連通域的兩次遍歷法分為首次遍歷和等價標(biāo)記替換（二次遍歷）2個步驟。標(biāo)記是對二值圖像中每一個連通區(qū)域賦予唯一的整數(shù)標(biāo)簽。遍歷同一連通區(qū)域中的2個像素可能被賦予2個不同的非零標(biāo)簽，此時，認(rèn)為被標(biāo)記的2個標(biāo)簽為等價標(biāo)記。

在首次遍歷中，對圖像進(jìn)行掃描，逐行掃描含有激光條紋的焊縫二值圖像P。檢測每一個前景像素P(x，y)及它周圍4-鄰域的4個像素的值，把這5個像素所在區(qū)域稱作工作面[15]。P(x，y)的值則在所在的工作面中確定，規(guī)則如下所示：①如果P(x，y- 1)是前景像素，賦P(x，y)與P(x，y- 1)相同標(biāo)記；②如果P(x-1，y)是前景像素，賦P(x，y)與P(x- 1，y)相同標(biāo)記；此時，如果P(x+ 1，y- 1)也是前景像素，則記P(x，y)與P(x+ 1，y- 1)為等價標(biāo)記；③如果P(x- 1，y- 1)是前景像素，賦P(x，y)與P(x- 1，y- 1)相同標(biāo)記；此時，如果P(x+ 1，y- 1)也是前景像素，則記P(x，y)和P(x+1，y- 1)為等價標(biāo)記；④如果P(x+ 1，y- 1)是前景像素，賦P(x，y)與P(x+ 1，y- 1)相同標(biāo)記；⑤否則，賦P(x，y)一個新標(biāo)記。

第二次掃描包括替換等價標(biāo)記。所有的等價標(biāo)記都被8-鄰域范圍中最小的等價標(biāo)記所取代，以確定哪些標(biāo)記屬于同一相鄰范圍，直到替換最后一個等價標(biāo)記即完成整個標(biāo)記過程。經(jīng)過兩次迭代，所有連通的區(qū)域都得到了相同的等價標(biāo)記。

1.2 種子填充法

種子填充算法是一個遞歸算法，從一個給定的起點開始，在環(huán)境的各個方向逐個像素搜索，直到遇到一個邊界。

在二值化的焊接圖像中，像素值為255的點是前景，0是背景。坐標(biāo)(x，y)處的像素值為A(x，y)，連通區(qū)域的標(biāo)簽被定義為不同的整數(shù)，非連通區(qū)域的標(biāo)簽被定義為不同的標(biāo)簽。初始化label = 0。遍歷圖像的每個像素，過程如下：①如果A(x，y) ≠ 255，則遍歷下一個元素；②如果像素值為A(x，y) = 255，則label++，賦A(x，y)當(dāng)前的label值，并且（a）檢查其鄰域關(guān)系中是否存在其他前景像素，如果存在賦予相同label值，并將其坐標(biāo)壓入棧；（b）依次彈出棧頂坐標(biāo)，重復(fù)（a）的過程，直到堆棧為空。此時，便找到了一個有相同label標(biāo)記的連通區(qū)域。

1.3 改進(jìn)的連通區(qū)域算法

在采集圖像過程中，由于焊機處于運動狀態(tài)會出現(xiàn)抖動，導(dǎo)致采集到的圖像中存在激光條紋不均勻的現(xiàn)象，加大了焊縫中心線的提取難度。此外，該試驗為薄板對接，間隙為1 mm，因此，激光條紋不連續(xù)?，F(xiàn)通過改進(jìn)的連通域分析算法，解決了因激光條紋不均勻、不連續(xù)而導(dǎo)致的焊縫特征點難提取、提取精度低的問題。并依據(jù)數(shù)據(jù)結(jié)構(gòu)的特點，找出數(shù)組中的極值坐標(biāo)，有效地檢測到焊縫特征點的位置信息。

原始的連通域分析算法只能提取到連通區(qū)域的個數(shù)、面積、高度、寬度及中心點的像素坐標(biāo)。改進(jìn)后的算法增加了連通區(qū)域的上下端點的像素坐標(biāo)。在連通域算法標(biāo)記好激光條紋的區(qū)域后，再通過遍歷一次連通區(qū)域的邊緣，將其激光條紋的邊緣信息以數(shù)字的形式存入到數(shù)組中，并找出數(shù)組中縱軸上最大和最小的值作為索引，以此確定一個連通區(qū)域的上下端點。比較2個連通區(qū)域的上端點的縱坐標(biāo)y值，判斷連通區(qū)域的位置。輸出上方連通區(qū)域的下端點和下方連通區(qū)域的上端點，即獲得了焊縫特征點的位置信息。算法流程圖如圖1所示。其中，2個連通區(qū)域的上端點坐標(biāo)用(x1，y1)和(x2，y2)表示，下端點坐標(biāo)用和表示。

圖1 改進(jìn)連通域算法流程圖

2 焊縫特征點提取

視覺傳感系統(tǒng)通過工業(yè)攝像機獲得的焊縫圖像尺寸為1920 × 1200。其焊縫圖像如圖2～圖5所示。圖2和圖3分別為焊機未工作狀態(tài)下的I形和V形焊縫圖像。圖4和圖5分別為焊機在工作狀態(tài)中產(chǎn)生弧光和飛濺等噪聲的I形和V形焊縫圖像。在進(jìn)行焊接試驗時，2個對接的薄板中間要留有1 mm的間隙，激光照射在焊件表面，經(jīng)激光照射形成的間斷激光條紋。激光條紋間斷的空隙就是焊縫的間隙。圖像中的激光條紋是包含對接焊縫特征信息，焊槍是在間隙的正中間進(jìn)行焊接，通過2個間斷點可求出焊槍的位置坐標(biāo)，因此圖像中激光條紋間斷的2個端點即為焊縫的特征點。

圖2 焊機未工作狀態(tài)下的I形焊縫圖像

圖3 焊機未工作狀態(tài)下的V形焊縫圖像

圖4 焊機在工作狀態(tài)下的I形焊縫圖像

圖5 焊機在工作狀態(tài)中的V形焊縫圖像

2.1 ROI提取

在圖像處理領(lǐng)域，ROI是從圖像中選擇的一部分區(qū)域，這個區(qū)域是圖像分析所關(guān)注的重點。由于包含激光線及特征點的有價值信息僅集中在整幅圖像的中心區(qū)域，因此在圖像進(jìn)行后續(xù)處理之前，先提取焊縫的ROI區(qū)域，從焊縫的所在位置截取一塊長500，寬100像素大小的矩形作為焊縫的ROI區(qū)域。這樣既可以進(jìn)一步降低焊縫圖像的待處理區(qū)域，節(jié)省圖像的處理時間，也可以消除圖像邊緣存在的噪聲及畸變因素的影響。在截取ROI區(qū)域后，創(chuàng)建一個與原圖像尺寸大小相同的黑色幕布，將截取的部分在幕布中替換，替換位置應(yīng)與原圖像位置一致，使激光與特征點的位置信息不發(fā)生任何改變，從而能夠達(dá)到精準(zhǔn)定位焊縫特征點的效果。

2.2 圖像濾波

圖像濾波的操作可以去除或減弱噪聲的干擾，并對焊縫圖像保留其信息的細(xì)節(jié)。圖像濾波的效果將對后續(xù)的圖像處理操作有直接的影響。

中值濾波是一種非線性濾波方法[16]，用于濾除弧線和反射造成的噪音。中值濾波的基本原理是將圖像中某一點的值替換該點鄰域內(nèi)所有點的中值，使周圍像素值更接近真實值，從而消除孤點噪聲。給定一個長度或形狀的點的鄰域被稱為窗口，通常用3 ×3或5 × 5點的過濾窗口來用中值替換二維圖像的其他點。由于窗口的形狀和大小在過濾中起著重要作用，不同的圖像有不同的窗口要求。因此，該試驗選擇了5 × 5大小尺寸的濾波窗口，并有效的濾除了激光照射在工件上的反光噪聲。

2.3 二值化處理

圖像二值化是根據(jù)不同灰度閾值的選擇來分離圖像特征的過程，通常設(shè)像素的灰度值為0或255來將圖像轉(zhuǎn)換為黑白。圖像二值化的優(yōu)點是內(nèi)存占用小，處理速度高，且便于圖像處理運算，能精準(zhǔn)并快速提取激光條紋的位置。

最大類間方差的方法是一種自適應(yīng)閾值法。它根據(jù)圖像的灰度屬性將圖像分為2部分，包括背景和目標(biāo)。當(dāng)目標(biāo)的一部分被誤判為背景或背景的一部分被誤判為目標(biāo)時，2部分之間的差異就越小。背景和目標(biāo)之間的類間差異越大，圖像2部分之間的差異就越大。因此，使用類間方差最大的分割法，錯誤分類的概率最低。最大類間方差法運算量小，分割效果明顯，對提高提取激光條紋的運算效率起到明顯作用，使后續(xù)提取激光條紋連通域的工作更為高效、準(zhǔn)確。

2.4 特征點提取

原始圖像中最有用的信息即中間激光照射在焊縫上的位置信息清晰且完整的顯示出來，從而可以對照射在焊縫上的激光條紋進(jìn)行連通域標(biāo)記，然后分析被標(biāo)記的區(qū)域來確定焊縫的位置信息。為了能更精準(zhǔn)區(qū)分出激光條紋在焊縫上下的位置，在尋找連通域的過程中將激光條紋的連通區(qū)域用不同的顏色填充。方便后續(xù)通過分析連通域的信息就能夠確定焊縫上面區(qū)域的最底端像素坐標(biāo)和焊縫下面區(qū)域最頂端的像素坐標(biāo)。由于激光條紋的亮度不均勻和飛濺等干擾，可能會出現(xiàn)多個面積較小的干擾區(qū)域，為此設(shè)置了最小長度和寬度為5 px。如果某一個連通區(qū)域的寬度或者長度大于設(shè)置值，則這個區(qū)域?qū)⒈粍h除并且區(qū)域內(nèi)的所屬信息也被忽略。而后將有效的2部分連通區(qū)域轉(zhuǎn)化為數(shù)字信號，通過遍歷邊緣信息得到連通區(qū)域的2個端點，再比較區(qū)分上下2個連通域的位置，得到焊縫上面激光條紋的最底端和下面激光條紋最頂端的坐標(biāo)信息，即得到焊縫的特征點。再將得到的特征點信息顯示在原始圖像中，如圖6和圖7所示，以便更清晰的瀏覽和記錄數(shù)據(jù)。

圖6 I形焊縫標(biāo)記特征點信息

圖7 V形焊縫標(biāo)記特征點信息

3 標(biāo)定原理

標(biāo)定的意義就是求得數(shù)字圖像與實物圖像之間的關(guān)系，利用標(biāo)準(zhǔn)的量具來測試所用的焊接試驗設(shè)備是否滿足規(guī)范，從而減少誤差，提高設(shè)備的精度[17]。

為了獲得焊縫位置的準(zhǔn)確信息，要在獲得圖像之前，對視覺傳感系統(tǒng)進(jìn)行校準(zhǔn)，對坐標(biāo)進(jìn)行整合和轉(zhuǎn)換。由于攝像機成像的遵循小孔成像的原則，所以相機的成像與線性成像模型相一致。用相機成像的幾何模型如圖8所示，由像素坐標(biāo)系oi-uv、圖像坐標(biāo)系o-xy、相機坐標(biāo)系Oc-XcYcZc、世界坐標(biāo)系Ow-XwYwZw構(gòu)成。位于世界坐標(biāo)系的目標(biāo)點P在成像平面對稱面的點為p，Pp延長線上的點Oc為相機的光學(xué)中心，三點共線。從光學(xué)中心Oc到目標(biāo)成像平面距離為焦距f，從光學(xué)中心Oc到目標(biāo)點距離為Zc。

圖8 相機成像幾何模型

像素坐標(biāo)系與圖像坐標(biāo)系都位于圖像層面上，但有不同的原點位置和單位。圖像坐標(biāo)系的原點位于像素坐標(biāo)系中坐標(biāo)點(u0，v0)，u0，v0分別代表所在的圖像像素的u0行與v0列，dx和dy代表單個像素點物理尺寸，表示每一列和每一行分別代表多少mm，即1 pixel = dxmm，轉(zhuǎn)換關(guān)系如式（1）所示

在圖像坐標(biāo)系中的點p坐標(biāo)(x，y)是相機坐標(biāo)系中目標(biāo)點P坐標(biāo)(Xc，Yc，Zc)的投影。根據(jù)三角形相似原理可知：ΔABOc∽ΔoCOc，ΔPBOc∽ΔpCOc。由此可以得出等式（2）

化為齊次矩陣，如式（3）所示

相機坐標(biāo)系與世界坐標(biāo)系之間符合剛體變換關(guān)系，可用旋轉(zhuǎn)矩陣R和平移矢量T描述，轉(zhuǎn)換關(guān)系如式（4）。矩陣R和T統(tǒng)稱為相機的外參矩陣，設(shè)工業(yè)機器人基坐標(biāo)系為世界坐標(biāo)系，外參可以通過手眼標(biāo)定獲得。

將式（1）、式（3）和式（4）聯(lián)立可以得到世界坐標(biāo)系中任一點與像素坐標(biāo)系對應(yīng)點的轉(zhuǎn)換關(guān)系，如式（5）所示

Zc為相機鏡頭光心到目標(biāo)的距離，因工業(yè)相機可以采集深度圖，直接獲得Zc值代入式（5）即可。

4 試驗與分析

4.1 試驗平臺

該試驗搭建的激光視覺焊縫跟蹤試驗平臺，由激光視覺傳感器、FАNUC RobotM-10iD/12焊接機器人、R-30iB控制器、送絲機構(gòu)、Fronius TPS600i焊機、焊槍及氬保護(hù)氣罐等組成。

作為激光焊接檢測系統(tǒng)中最重要的設(shè)備之一，攝像頭的圖像質(zhì)量和傳輸速度直接影響到焊接圖像的后續(xù)處理和焊接機器人的焊接速度。該試驗采用先進(jìn)合格的大恒水星CCD系列工業(yè)相機，相機型號為MER-200-14GM，相機尺寸為29 mm × 29 mm × 29 mm，感光器件為線陣CCD，像素尺寸為4.8 μm × 4.8 μm，分辨率為1628 × 1236，幀率為14 幀/s，額定電壓為12 V，額定功率為3 W，接口GigE。在傳統(tǒng)的焊縫跟蹤系統(tǒng)中，由于弧光的存在，會極大地影響到圖像的采集?；」獬上駮?dǎo)致焊縫的特征不清晰，從而導(dǎo)致對焊接中心點的提取不夠精確。該試驗以激光為主動光源，對焊接面進(jìn)行照明，并對其進(jìn)行輔助。該系統(tǒng)中使用的激光器為可調(diào)一字型紅光，集成了激光二極管和內(nèi)置棱鏡，其波長是635 nm。為改善圖象品質(zhì)，減少圖像噪音，該系統(tǒng)在激光器的正下方加入一種濾光片，濾光片的波長必須與激光波長相近，故選用635 nm的濾光片。

4.2 試驗分析

由于激光照射在對接薄板的表面，形成一條間斷的激光條紋，2個間斷點即為焊縫的特征點。該試驗采用連通域方法來進(jìn)行焊接特征點的提取。對比和分析了在工作狀態(tài)下2種焊縫類型的薄板對接焊縫圖像，即I形和V形。識別了33張焊縫圖像，其中，因飛濺噪聲的干擾造成了1張圖像的誤檢，粗略計算算法的誤檢率為3.03%。此外，將該試驗獲得的焊縫特征點的像素坐標(biāo)，再經(jīng)過標(biāo)定轉(zhuǎn)換特征點到世界坐標(biāo)系下，并計算出焊縫寬度，將它與實際焊接時所留有的間隙寬度進(jìn)行比較和誤差計算，實際間隙寬度為1 mm，I形焊縫誤差分析結(jié)果見表1，V形焊縫誤差分析結(jié)果見表2。由數(shù)據(jù)可知，通過對激光條紋的連通域分析可準(zhǔn)確得到焊縫的特征點及焊縫間隙的寬度，算得平均誤差分別為0.056 mm和0.067 mm，證明了采用該試驗改進(jìn)的算法可以快速提取到焊縫特征，驗證了該方法的可行性和可靠性。

表1 I形焊縫誤差分析結(jié)果

5 結(jié)論

（1）該試驗采用基于二值圖像連通域分析的方法，能夠在嚴(yán)重的弧光、飛濺等噪聲干擾的情況下精準(zhǔn)的識別出焊縫激光條紋的位置。以往的連通域分析算法是用于標(biāo)記和孤點噪聲的除噪，現(xiàn)改進(jìn)的連通域分析算法，可獲得焊縫特征點的位置信息。

（2）通過對比薄板對接I形和V形焊縫的間隙寬度，結(jié)果表明：該算法的平均誤差在0.067 mm以內(nèi)，適用于薄板對接形式的焊接，提高了焊縫特征提取的可靠性和實用性。