基于區(qū)域連通濾波的薄板焊縫跟蹤圖像處理算法

清華大學(xué)機(jī)械工程系(北京市 100084)

歐志輝 孫振國

基于區(qū)域連通濾波的薄板焊縫跟蹤圖像處理算法

清華大學(xué)機(jī)械工程系(北京市 100084)

歐志輝 孫振國

針對工件表面經(jīng)過局部打磨或點(diǎn)固的薄板對接、搭接焊縫的焊縫中心線提取和焊接起始位置搜索問題，提出了一種基于區(qū)域連通濾波與Hough直線變換相結(jié)合的圖像處理算法。采用自適應(yīng)二值化算法有效分離打磨后灰度值非常接近的背景區(qū)域和目標(biāo)區(qū)域；然后根據(jù)薄板對接、搭接焊縫寬度窄、直線型的形態(tài)學(xué)特征，采用區(qū)域連通濾波方法提取出焊縫區(qū)域；對于焊接圖像中存在的點(diǎn)固點(diǎn)干擾，通過區(qū)域連通濾波與Hough直線變換相結(jié)合進(jìn)行濾除。試驗(yàn)結(jié)果表明，該方法能實(shí)現(xiàn)快速準(zhǔn)確的薄板對接、搭接焊縫跟蹤，跟蹤精度在±0.3 mm以內(nèi)。

區(qū)域連通濾波 對接 搭接 圖像處理 焊縫跟蹤

0 序 言

采用計算機(jī)視覺及圖像處理技術(shù)，進(jìn)行焊縫跟蹤，從而實(shí)現(xiàn)焊接過程的自動化，可以減少工作強(qiáng)度、改善勞動條件、提高焊接效率和焊接質(zhì)量，是焊接智能化發(fā)展的重要方向[1-3]。而如何設(shè)計合理有效的焊縫跟蹤圖像處理算法，從相機(jī)獲取的焊接區(qū)域圖像中快速準(zhǔn)確地提取焊縫中心線，一直是焊接工作者研究的熱點(diǎn)問題之一[4-6]。

對于常規(guī)的薄板對接、搭接，根據(jù)其直線特征，運(yùn)用Hough直線變換可粗略提取焊縫直線，利用最小二乘法對直線方程進(jìn)行濾波能準(zhǔn)確地提取出焊縫中心線[7]。但部分工件由于表面有大量油污或銹斑存在，直接焊接容易產(chǎn)生缺陷，無法保證焊接質(zhì)量，需要在施焊前對工件表面進(jìn)行打磨、拋光等清潔處理。打磨后的工件，部分背景區(qū)域與目標(biāo)區(qū)域灰度值較接近，且可能出現(xiàn)與焊縫特征接近的區(qū)域，如果直接對焊縫圖像進(jìn)行Hough變換提取直線容易出現(xiàn)誤判。對于沒有點(diǎn)固點(diǎn)的薄板對接、搭接焊縫，文獻(xiàn)中采用結(jié)構(gòu)光視覺，通過求取灰度的二階導(dǎo)數(shù)可準(zhǔn)確求取焊縫中心[8]。但在薄板焊接時，為防止變形，焊前會對工件進(jìn)行點(diǎn)固，點(diǎn)固點(diǎn)特征較復(fù)雜，結(jié)構(gòu)光圖像特征不明顯，容易出現(xiàn)誤判。對于有點(diǎn)固點(diǎn)存在的焊縫圖像，文獻(xiàn)中通過增量閾值法濾除點(diǎn)固點(diǎn)干擾[9]。但如果工件表面因?yàn)榇蚰ザ嬖谳^多暗斑，增量閾值法會誤將有效區(qū)域刪除，導(dǎo)致特征點(diǎn)過少而不能準(zhǔn)確地提取焊縫中心線。

針對經(jīng)過局部打磨，有點(diǎn)固點(diǎn)干擾的薄板對接、搭接焊縫，文中提出并實(shí)現(xiàn)了一種基于區(qū)域連通濾波與Hough直線變換相結(jié)合的焊縫跟蹤圖像處理算法，根據(jù)各區(qū)域面積大小及薄板焊縫寬度窄、直線型的形態(tài)學(xué)特征，有效排除了局部打磨及點(diǎn)固點(diǎn)帶來的干擾，準(zhǔn)確識別焊接初始點(diǎn)。

1 焊縫圖像處理算法

在實(shí)際應(yīng)用中，薄板焊縫跟蹤系統(tǒng)一般在焊槍前加上防護(hù)板，并配以合適的輔助光源與濾光片來濾除弧光干擾。采用CCD視覺傳感器采集的典型對接、搭接焊縫圖像如圖1所示。由圖1可見，這兩種焊縫圖像具有相似的目標(biāo)區(qū)域，采用的圖像處理算法的流程基本相同，即：首先采用局部自適應(yīng)二值化處理來有效分離目標(biāo)區(qū)域和干擾區(qū)域，然后對其進(jìn)行2次區(qū)域連通濾波處理來提取出焊縫區(qū)域，并利用灰度重心法對其進(jìn)行單像素化，最后采用Hough直線變換與最小二乘擬合相結(jié)合的方法來有效提取焊縫中心線。下文以對接焊縫為例加以詳述。

圖1 有點(diǎn)固點(diǎn)的對接、搭接焊縫圖像

1.1 圖像局部自適應(yīng)二值化處理

在提取焊縫特征前，必須對圖像進(jìn)行二值化處理[10]。二值化可將圖像中的目標(biāo)區(qū)域和背景區(qū)域進(jìn)行分離，從而減少圖像中的干擾。如圖2所示，對于經(jīng)過局部打磨的工件，部分背景區(qū)域與焊縫區(qū)域灰度值接近，直接對圖像進(jìn)行固定閾值二值化，不僅閾值不易選取，而且容易錯將焊縫區(qū)域當(dāng)成背景區(qū)域，丟失目標(biāo)信息，也容易將背景區(qū)域當(dāng)成焊縫區(qū)域，導(dǎo)致后續(xù)處理更加復(fù)雜甚至誤判。固定閾值二值化圖像如圖3a所示。從圖中可看出，固定閾值二值化誤將部分背景區(qū)域當(dāng)成目標(biāo)區(qū)域，使得目標(biāo)區(qū)域難以提取。為克服上述干擾，文中采用局部自適應(yīng)二值化處理，即根據(jù)像素的鄰域塊的灰度值來確定該像素位置上的二值化閾值。局部自適應(yīng)二值化閾值的計算原理為：

(1)

式中：i，j分別為圖像的行和列變量；f(i，j)為圖像第i行第j列的灰度值；K確定所選鄰域塊的大小；C為常量；T為所求取的閾值；m，n分別為圖像的行和列位置。

圖2 局部打磨對接焊縫

用上述局部自適應(yīng)閾值公式進(jìn)行二值化處理，選取K=15，C=30，得到二值化圖像如圖3b所示。從圖中可看出，局部自適應(yīng)閾值二值化能很好地將焊縫區(qū)域與干擾區(qū)域進(jìn)行分離，為后續(xù)焊縫區(qū)域的提取提供了基礎(chǔ)。

1.2 基于區(qū)域連通濾波的焊縫區(qū)域提取

焊接起始點(diǎn)作為整個焊接過程的基準(zhǔn)值，其定位的精度直接影響焊縫跟蹤的精度。而焊縫區(qū)域提取是焊縫圖像處理中的重要步驟，在焊前搜索焊接起始位置時顯得尤為重要。焊縫圖像經(jīng)過自適應(yīng)二值化預(yù)處理后分開成若干區(qū)域，包括焊縫區(qū)域和干擾區(qū)域。其中，干擾區(qū)域主要是由反射、打磨及工件表面暗斑等引起的。通過分析這些干擾區(qū)域可發(fā)現(xiàn)，其區(qū)域大小及形狀特征與焊縫區(qū)域有較大差別。因此，可以通過連通域分析得到各連通區(qū)域的大小和形狀特征參數(shù)，根據(jù)對接焊縫具有的焊縫寬度窄、直線型等特點(diǎn)，進(jìn)行區(qū)域連通濾波可快速、有效地濾除干擾區(qū)域，得到焊縫區(qū)域。

圖3 二值化后的焊縫圖像

連通域常見的鄰接關(guān)系有4鄰接和8鄰接，文中考慮4鄰接連通域。區(qū)域連通檢測步驟為：①第一次掃描，訪問二值圖像中像素f(i，j)，如果某個像素f(i，j)=1且4鄰域像素都為0，則賦予一個新的label，即label++，f(i，j) =label；②如果某個像素 f(i，j)=1且4鄰域內(nèi)有像素值不為0，則將鄰域中最小label賦給f(i，j)；③記錄下鄰域中有多個像素f(i，j)=1的各個label之間的相等關(guān)系，即這些不同label值同屬一個連通區(qū)域；④第二次掃描，如果像素f(i，j)>1，找到與label=f(i，j)同屬相等關(guān)系的最小label值，賦給f(i，j)；⑤掃描完成后，圖像中具有相同label值的像素就組成了同一個連通區(qū)域。

對二值化處理后的圖像按上述步驟進(jìn)行區(qū)域連通檢測，再對各連通域進(jìn)行邊界矩形提取，可得到包含各個連通域的最小矩形及其形狀參數(shù)。通過圖像分析所獲得的形狀描述可以用于目標(biāo)識別[11]。

從圖3b中可看出，二值化后圖像存在很多小面積區(qū)域，這是由于工件表面的暗斑產(chǎn)生的。這些干擾區(qū)域的面積與焊縫區(qū)域面積相差很大，因此可設(shè)定連通區(qū)域面積閾值來濾除這些小面積干擾區(qū)域。第1次區(qū)域連通濾波，濾除干擾后圖像如圖4所示。

圖4 第1次區(qū)域連通濾波圖像

由圖4可見，通過上述濾波后，小面積干擾區(qū)域均已濾除，剩下的是由于打磨引起的大面積干擾區(qū)域。這些干擾區(qū)域沒有任何形狀規(guī)則，而對接焊縫是直線且寬度很窄，其邊界矩形的寬長比很小。因此，對各連通域的邊界矩形求取寬長比值，則可濾除與焊縫中心區(qū)域形狀相差較大的區(qū)域。各連通區(qū)域?qū)掗L比值與區(qū)域面積關(guān)系如圖5所示。

圖5 區(qū)域面積與寬長比關(guān)系圖

從圖5可看出，各連通區(qū)域中，焊縫區(qū)域的寬長比最小，且比值與其它區(qū)域相差較大。通過設(shè)定合理寬長比閾值可有效地濾除干擾區(qū)域。第2次區(qū)域連通濾波后的圖像如圖6所示，此時干擾區(qū)域被完全濾除，焊縫區(qū)域被有效地提取出來。

1.3 焊縫中心線提取

對于沒有點(diǎn)固點(diǎn)存在的焊縫圖像，經(jīng)過區(qū)域連通濾波后，各干擾區(qū)域均已濾除，僅剩下焊縫區(qū)域，如圖6所示。對區(qū)域連通濾波后的圖像按列掃描，利用灰度重心法求取每一列的焊縫中心。其原理為：

圖6 第2次區(qū)域連通濾波圖像

(2)

式中：i，j分別為圖像的列和行； g(i)為每一列焊縫中心所在位置；N為f(i，j)≠0的個數(shù)；f(i，j)為圖像中第i列第j行的灰度值(取值為0或1)；n為圖像的總行數(shù)。

對求取的焊縫中心用最小二乘法進(jìn)行直線擬合，擬合后的焊縫中心線如圖7所示。

圖7 沒有點(diǎn)固點(diǎn)擬合的焊縫中心線

對于存在如圖1a所示的有點(diǎn)固點(diǎn)且工件表面存在較多暗斑的焊縫，先采用區(qū)域連通濾波與Hough直線變換相結(jié)合，來濾除點(diǎn)固點(diǎn)干擾，然后用最小二乘濾波擬合焊縫中心線。

由于Hough變換需要進(jìn)行坐標(biāo)轉(zhuǎn)換，直接對焊縫區(qū)域進(jìn)行Hough變換，會耗時較長。為減少Hough變換運(yùn)算時間，首先利用公式(2)對焊縫區(qū)域進(jìn)行單像素化。再對單像素化后的焊縫區(qū)域進(jìn)行Hough直線變換，檢測到若干條直線段，選擇最長線段上的點(diǎn)進(jìn)行最小二乘直線擬合，擬合的直線即為所求取的焊縫中心線，如圖8所示。

圖8 有點(diǎn)固點(diǎn)擬合的焊縫中心線

2 試驗(yàn)效果

(1)分別對不銹鋼、打磨與不打磨的碳鋼進(jìn)行焊縫跟蹤試驗(yàn)。薄板焊縫寬度約為0.5 mm，長度1 080 mm，每隔20 mm進(jìn)行抽樣計算焊縫跟蹤精度，使用同一套設(shè)備對相同的焊縫進(jìn)行跟蹤試驗(yàn)，重復(fù)試驗(yàn)20次得到焊縫跟蹤精度隨跟蹤長度的變化曲線如圖9所示。從試驗(yàn)結(jié)果可以看出，文中所提出的算法對不銹鋼和打磨前后的碳鋼均適應(yīng)，且跟蹤偏差能夠維持在±0.3 mm以內(nèi)。

圖9 焊縫跟蹤試驗(yàn)結(jié)果

(2)為驗(yàn)證所設(shè)計圖像處理算法實(shí)際應(yīng)用效果，在成都艾格科技有限責(zé)任公司搭建的集裝箱薄板自動化組焊試驗(yàn)平臺上進(jìn)行了大量的薄板對接焊接試驗(yàn)，結(jié)果表明，文中所設(shè)計的圖像處理算法能夠有效克服弧光干擾，跟蹤速度和精度滿足工程應(yīng)用要求。

3 結(jié) 論

提出了一種針對于工件表面局部打磨，有點(diǎn)固點(diǎn)干擾的對接、搭接焊縫視覺跟蹤方法。首先采用自適應(yīng)閾值二值化可有效分離干擾區(qū)域與焊縫區(qū)域。然后通過區(qū)域連通濾波，根據(jù)各區(qū)域面積大小及薄板焊縫寬度窄、直線型的形態(tài)學(xué)特征，有效排除了打磨帶來的干擾。用區(qū)域連通濾波與Hough直線變換相結(jié)合有效消除了點(diǎn)固點(diǎn)干擾。相關(guān)試驗(yàn)表明，該算法適應(yīng)性強(qiáng)、精度高，能準(zhǔn)確找到焊接的起始位置，可滿足相關(guān)企業(yè)集裝箱薄板對接焊縫的自動焊接要求。

[1] 吳 林，陳善本. 智能化焊接技術(shù)[M]. 北京: 國防工業(yè)出版社，2000.

[2] 陳 強(qiáng)，孫振國. 計算機(jī)視覺傳感技術(shù)在焊接中的應(yīng)用[J]. 焊接學(xué)報,2001，22(1):83-90.

[3] 宋天虎. 轉(zhuǎn)型升級——現(xiàn)代焊接制造的發(fā)展趨勢[J]. 焊接，2013(7):10-13.

[4] Muhammad J，Altun H，AboSerie E. Welding seam profiling techniques based on active vision sensing for intelligent robotic welding[J]. International Journal of Advanced Manufacturing Technology，2016:1-19.

[5] Chen H，Liu K，Xing G，et al. A robust visual servo control system for narrow seam double head welding robot[J]. International Journal of Advanced Manufacturing Technology，2014，71:1849-1860.

[6] 何銀水，張 華.水下焊接中無弧V形焊縫的識別[J]. 焊接，2006(2):39-43.

[7] 方灶軍，鄢治國，徐 德. 集裝箱薄板的對接焊縫視覺跟蹤系統(tǒng)[J]. 上海交通大學(xué)學(xué)報，2008，42(11):80-83.

[8] 莫勝撼，喻寧娜，梁廣瑞，等. 基于結(jié)構(gòu)光無坡口對接焊縫圖像實(shí)時處理研究[J]. 焊接技術(shù)，2009，38(9):14-18.

[9] 張伯奇，鄭 軍，潘際鑾. 基于視覺檢測的對接焊縫跟蹤方法[J]. 電焊機(jī)，2010，40(12):15-18.

[10] 喻寧娜，莫勝撼，戴建樹. 基于激光視覺傳感的焊縫圖像閾值分割法研究[J]. 焊接，2015(5):21-24.

[11] 郭振民，陳善本，吳 林，等. 數(shù)字圖像處理技術(shù)在弧焊機(jī)器人視覺伺服系統(tǒng)中的應(yīng)用[J]. 機(jī)器人，2001，23(7):698-711.

2016-08-21

國家自然科學(xué)基金資助項(xiàng)目(51475259)

TG409

歐志輝，1989年出生，碩士研究生。研究方向?yàn)榛谝曈X的焊縫跟蹤與檢測。