張梅梅，梁志敏, 張亞東

(河北科技大學材料科學與工程學院，河北石家莊 050018)

隨著焊接的機械化和自動化，實時地獲取焊接過程的狀態(tài)信息已成為焊接過程質(zhì)量控制的先決條件。熔池表面三維形貌所承載的豐富信息能夠反映焊接過程的穩(wěn)定性、焊接熔透狀態(tài)等情況,相比于2D傳感獲得的熔池長度、寬度等信息，熔池3D傳感技術(shù)能夠獲得的高度信息與熔透狀態(tài)的關(guān)系更直接。

熔池3D傳感技術(shù)研究中用到的視覺測量方法主要有陰影恢復形狀法[1-2]、結(jié)構(gòu)光三維視覺測量法[3-7]和雙目立體視覺測量法[8-11]。哈爾濱工業(yè)大學的趙冬斌等首次引入并改進陰影恢復形狀技術(shù)，利用復合濾光技術(shù)獲得了填絲脈沖GTAW 脈沖焊基值期間熔池圖像，并由單幅熔池圖像計算出了熔池的表面高度[1-2]。但是由于這一方法假設(shè)條件過多，模型不成熟，因此計算結(jié)果可靠性差。有部分學者，特別是KOVACEVIC等在激光頻閃系統(tǒng)的基礎(chǔ)上進行了改進，組成了新的“結(jié)構(gòu)光三維視覺”熔池檢測系統(tǒng)[3-6]。南昌大學的汪巖峰等則采用小功率的激光器和特制的光柵也獲取了熔池表面的多條紋變形激光[7]。SONG針對上述方法對熔深較大(>0.5 mm)的部位失效的問題，提出了增加成像屏，雖解決了這一問題，卻增加了熔池重建算法的復雜性。MNICH等采用2個高速攝像機構(gòu)成的立體視覺系統(tǒng)，同時拍攝熔池的圖像，對圖像進行校正，應用立體匹配算法進行熔池的三維重建，給出了熄弧瞬間熔池的三維重建結(jié)果。由于使用2個攝像機導致系統(tǒng)昂貴，拍攝時必須保證同步，因此該方法并不適合工業(yè)應用[8]。ZHAO等則采用基于平面鏡的單目立體視覺技術(shù)來拍攝立體圖像對，實現(xiàn)了通過單攝像機獲得熔池的2個物像，降低了系統(tǒng)成本，并實現(xiàn)了少數(shù)特征點三維運動軌跡，也就是流動狀態(tài)的測量[9]。由此可見，基于單攝像機的立體視覺技術(shù)降低了成本，避免了雙攝像機的同步問題[10-11]，只要對2個物像完成立體匹配，就能獲得物體的三維信息，可以說它是熔池三維傳感中最具發(fā)展?jié)摿Φ姆椒ㄖ弧?/p>

本文分析了基于雙棱鏡單攝像機的立體視覺系統(tǒng)的成像原理[12]，采用一個雙棱鏡和一個CCD攝像機結(jié)合作為成像系統(tǒng)，搭建了一套單攝像機立體視覺傳感系統(tǒng)，采用此系統(tǒng)拍攝P-GMAW焊熔池圖像，完成了脈沖熔化極氣體保護焊基值期間熔池表面形貌的三維重建，并和實際焊縫的熔寬和余高作對比，分析了重建結(jié)果精度。

1 雙棱鏡立體視覺系統(tǒng)原理

圖1 a)反映了雙棱鏡立體視覺系統(tǒng)原理[12]，將CCD攝像機假設(shè)為理想的針孔攝像機模型，從世界坐標到圖像平面屬于透視投影，(O，X，Y，Z)和(Op，Xp，Yp，Zp)分別是攝像機坐標系和雙棱鏡坐標系，攝像機坐標系的X軸和Y軸與雙棱鏡坐標系的Xp軸和Yp軸分別平行，Z軸和Zp軸與攝像機的光軸重合。

雙棱鏡的斜面∏l和∏r與基準面∏的夾角都是α,三維空間中物體上任一點發(fā)出的光線入射到雙棱鏡，發(fā)生2次折射，從斜面折射出的光線與入射光線相比偏轉(zhuǎn)角為δ，再經(jīng)過透鏡折射，最終在像平面上相交形成2個虛擬點ml，mr，虛擬點的反向延長線交點為Xr，Xl，這樣就實現(xiàn)了單攝像機雙目立體視覺傳感，同時實現(xiàn)了相關(guān)點ml，mr在同一掃描線上的約束。此外由圖1 b)可知δ大小由角α和雙棱鏡折射率n決定，它們之間滿足如公式(1)的關(guān)系。

(1)

圖1 雙棱鏡立體視覺系統(tǒng)原理Fig.1 Principle of biprism-stereo system

2 試驗系統(tǒng)

2.1 試驗系統(tǒng)構(gòu)成

為了獲取清楚的熔池圖像，建立了圖2所示的試驗系統(tǒng)，選用福尼斯公司的TPS 2700型焊機在工件上方固定焊槍位置進行P-GMAW平板堆焊試驗，工件固定在自行研制的電機驅(qū)動載物行走平臺上，通過研華610H型工控機控制著行走平臺的運動來實現(xiàn)工件相對焊槍勻速運動；選用德國Basler的CCD攝像機，35 mm焦距、百萬像素級Computar鏡頭以及加拿大Matrix Solios的圖像采集卡作為圖像采集系統(tǒng)，濾光片置于鏡頭前，雙棱鏡與攝像機固定在同一導軌上，間距可調(diào)，由工控機驅(qū)動兩軸控制器實現(xiàn)拍攝位置和角度的調(diào)節(jié)。

圖2 試驗系統(tǒng)框圖Fig.2 Block graph of experiment system

2.2 試驗方案

采用P-GMAW焊接方法在厚度為5 mm的低碳鋼Q235上進行堆焊試驗，焊絲選用直徑為1.2 mm的H08Mn2SiA，峰值電流為400 A，峰值電壓為31 V，基值電流為50 A，基值電壓為19 V，電流脈沖頻率為50 Hz，保護氣為體積分數(shù)80%Ar和體積分數(shù)20%CO2,氣流量為15 L/min,焊接速度為0.25 m/min。在堆焊試驗過程中，設(shè)置攝像機的曝光時間為150 μs，拍攝圖像速度為167 幀/s。配合中心波長為849 nm的窄帶干涉濾光片和峰值透射率為35%的減光片濾光系統(tǒng)從熔池側(cè)后方進行圖像的采集。攝像機標定選用黑白棋盤格模板，每個黑白格尺寸為2 mm×2 mm。

2.3 熔池圖像

本文利用上述試驗系統(tǒng)實時拍攝了P-GMAW焊接整個過程中的圖像對，主要分為基值期間和峰值期間2個階段，峰值期間的電壓和電流較大，弧光強烈、所覆蓋熔池區(qū)域較大，不利于后期圖像匹配，基值期間的電壓和電流較小，弧光相對較弱，拍攝到的熔池圖像對如圖3所示，可以看出只有電弧光較弱，且覆蓋區(qū)域較小，熔池邊界清晰，表面細節(jié)豐富，同時可看出熔渣以及液態(tài)金屬的流動。

圖3 基值期間的熔池圖像對Fig.3 Pool images during the base period of welding

3 熔池表面重建

3.1 重建過程

3.1.1 圖像對預處理

在P-GMAW焊基值期間中，弧光較弱，熔池本身輻射強度很高，使得熔池周邊的母材區(qū)域的灰度值受到干擾不為0，同時存在細小飛濺的干擾會造成圖像個別灰度突變點，拍攝的圖像對不能直接匹配，否則會造成高誤匹配影響后期三維重建，需在匹配前進行中值濾波[13]和閾值處理[14]，消除這些沖擊噪聲。

3.1.2 圖像對匹配

立體匹配問題就是對于左圖像上一點如何在右圖像上尋找對應點的過程。它的主要任務(wù)就是計算代表左右兩幅圖像之間對應關(guān)系的視差圖像，然后由三角測量原理就可以求得景物的深度。本文對預處理后的圖像對采用區(qū)域立體匹配SSD算法(如圖4所示，設(shè)左圖像Il為參考圖像，右圖像Ir為待匹配圖像；淺灰色矩形框為匹配窗口，大小為(2n+1)(2n+1)；白色矩形1代表窗口中心點Il(x，y)；白色矩形2代表1的匹配點Ir(x+d，y)；d代表視差；l代表視差搜索長度；深灰色區(qū)域代表搜索區(qū)域)[15]，按照圖4所示原理在右圖同一掃描線上根據(jù)公式(2)計算左右窗口內(nèi)對應點的灰度差平方的總和SSD值，并以此作為相關(guān)性評價代價，代價越小，相關(guān)性越高，獲得最小SSD值時對應的視差值d就是所求最優(yōu)視差值，為提高計算速度可適當縮小搜索窗口尺寸和設(shè)定視差搜索長度l。

圖4 SSD匹配算法的原理Fig.4 Principle of SSD matching algorithm

(2)

3.1.3 左右一致性檢驗

在立體匹配中，熔池圖像存在左右視場遮擋區(qū)域的不同以及熔池缺少紋理等特征信息問題，使得SSD匹配算法得到視差圖中存在的誤匹配的特征點，需要把這些誤匹配的點剔除。本文中用左右視差一致性檢驗的方法來剔除誤匹配點。首先是用上述SSD匹配算法分別得到以左圖為參考圖和以右圖為參考圖的左右視差圖dl，dr。若左視差圖中一個特征點A像素坐標為(x,y)，則右圖上相應匹配點B像素坐標為(x+d,y)，如果A，B兩點是相對應的匹配點即沒有誤匹配，則應該滿足左右一致性檢驗dl(x,y)-dr(x+dl(x,y),y)=0，否則為誤匹配點。

3.1.4 亞像素級視差求取

用上述SSD匹配算法得到的視差圖是像素級的，很多小區(qū)域獲得視差值為同一個值，這樣可預知后期重建出的三維圖會呈現(xiàn)多個臺階，連續(xù)性不好，而實際熔池表面是一個連續(xù)的整體。為此，本課題組對得到的視差圖進行了亞像素級的求解。亞像素視差求解算法是對某特征處的離散視差所對應的 SSD值進行二次曲線擬合[16-17]，找出二次曲線的最小值處所對應的視差值。假設(shè)進行SSD立體匹配后某特征點像素級的視差值為d0，所對應的SSD值為S(d0)，則視差d0-1所對應的SSD值為S(d0-1)，視差d0+1所對應的SSD值為S(d0+1)。由上述3個點(d0-1,S(d0-1))，(d0,S(d0))，(d0+1,S(d0+1))依照表達式(3)進行二次曲線擬合求出SSD最小值處對應的視差值dopt，這樣就獲得了某特征的亞像素級視差。

(3)

通過上述原理對像素級視差圖進行二次曲線擬合，得到亞像素視差圖，這樣提高了匹配算法的精度，為后續(xù)的熔池表面的重建提供了更精確的數(shù)據(jù)，總體提高了熔池表面形貌三維重建的精度。

3.2 重建結(jié)果

根據(jù)標定結(jié)果及三角形原理，由亞像素級視差圖計算出三維點云，并給每個點附上參考圖的灰度值，建立網(wǎng)格，擬合成三維曲面，即為熔池表面形貌重建結(jié)果。圖5是接近熄弧時刻熔池的重建結(jié)果，其中仍存在著很小的不連續(xù)的區(qū)域，但基本不影響整體分析。圖6是焊縫尾部的實際表面形貌。可以看出圖6中箭頭所指向的部分為凹陷區(qū)，這部分與圖5箭頭所指區(qū)域相吻合，并且從肉眼角度看出兩圖的整體形貌和部分主要特征信息相吻合，從定性角度證實了重建結(jié)果的可靠性。

圖5 熔池表面重建的結(jié)果Fig.5 Reconstruction result of pool surface

圖6 焊縫尾部的實際表面形貌Fig.6 Real surface topography of weld tail

4 重建結(jié)果精度分析

試驗連續(xù)均勻地拍攝了從進入穩(wěn)定焊接狀態(tài)到熄弧整個過程中的熔池圖像對，總計850幀。由文中第2部分可知P-GMAW焊的脈沖頻率為50 Hz，焊接速度為0.25 m/min，拍攝的幀頻為167幀/s，可以大致將熔池圖像對與焊縫位置一一對應上，選取幾個焊縫位置找出對應的基值期間的圖像對，進行熔池表面的三維形貌重建，將測定的熔寬和余高與實際焊縫位置的熔寬和余高作對比，獲得重建結(jié)果的精度。

為了便于測量重建結(jié)果的熔寬和余高，首先將熔池的邊界部分用區(qū)域擬合的方法擬合成工件表面，然后對空間坐標系重新進行了定義，將工件表面確定為X軸和Y軸組成的平面坐標系，Z軸垂直于工件表面。這樣熔寬就是XY平面上熔池輪廓的邊界兩點之間的距離，余高就是Z軸坐標的最大值。

用卡尺以5 mm為間隔測量焊縫的實際熔寬及余高，得到5組采樣數(shù)據(jù)，找出對應的5組熔池圖像對分別進行重建，和對應時刻圖像重建的三維熔池的熔寬、余高作對比來計算重建的精度，對比結(jié)果見表1。

重建結(jié)果的熔寬和實際位置的熔寬二者的對比數(shù)據(jù)顯示，最大的誤差為0.48 mm，最大的相對誤差為4.1%。誤差相對比較小，重建的精度高，能夠真實地反映焊縫某位置處的實際熔寬。重建結(jié)果的余高和實際位置的余高二者的對比數(shù)據(jù)顯示，最大的誤差為-0.15 mm，最大的相對誤差為-4.3%，誤差較小。

表1 重建結(jié)果與實測值對比Tab.1 Contrast of reconstruction result and measured value

通過重建的結(jié)果跟焊縫常用的特征參數(shù)熔寬和余高的比較，獲得的熔寬和余高的最大誤差分別為0.48 mm和-0.15 mm，誤差較小。可見本文所采用的算法用于熔池表面形貌的三維重建的精度較高，所采用的技術(shù)路線合理。重建的結(jié)果能夠真實地反映焊接過程中熔池的動態(tài)變化，為分析熔池的特征提供了理論數(shù)據(jù)。

5 結(jié) 論

1)根據(jù)雙棱鏡立體視覺原理搭建了一套雙棱鏡單攝像機立體視覺傳感系統(tǒng)。和雙目立體視覺傳感系統(tǒng)相比，結(jié)構(gòu)簡單且體積小，只需一個攝像機加一個雙棱鏡取代原有的雙攝像機，不僅降低了成本，而且解決了兩攝像機參數(shù)不一致的問題，便于圖像采集和攝像機參數(shù)標定。

2)選取了P-GMAW平板堆焊基值期間的熔池圖像對，運用區(qū)域匹配SSD算法進行匹配，得到了熔池表面的三維形貌；并對重建結(jié)果與實際焊縫的熔寬和余高進行了5組比對，熔寬和余高的相對誤差分別為4.1%和-4.3%，誤差較小，符合工業(yè)要求，證明了重建的結(jié)果能夠真實地反映焊接過程的熔池的動態(tài)變化。但所用的匹配算法比較簡單，獲得的效果不是很好，有部分缺失，進一步提高匹配算法是將來的工作重點。

參考文獻/References：

[1] 趙冬斌,陳善本,吳 林. 由單目圖像獲得表面高度算法的分析和實現(xiàn)[J]. 計算機學報, 2000, 23(2): 147-152.

ZHAO Dongbin, CHEN Shanben, WU Lin. Analysis and realization of the calculus of height from a single image[J]. Chinese Journal of Computers, 2000, 23(2): 147-152.

[2] ZHAO D B, YI J Q, CHEN S B. Extraction of three-dimensional parameters for weld pool surface in pulsed GTAW with wire filler[J]. Journal of Manufacturing Science and Engineering，2003, 125(3): 493-503.

[3] MA Xiaoji, ZHANG Yuming. Reflection of illumination laser from gas metal arc weld pool surface[J]. Measurement Science and Technology，2009，20(11)：105-115.

[4] 王志江, 張廣軍, 張裕明, 等. 非熔化極氣體保護焊接熔池表面形貌三維傳感及其裝置設(shè)計[J]. 機械工程學報, 2008, 44(10): 30-33.

WANG Zhijiang, ZHANG Guangjun, ZHANG Yuming, et al. 3D sensing of gas tungsten arc weld pool surface and sensing device design[J]. Chinese Journal of Mechanical Engineering, 2008, 44(10): 30-33.

[5] 陳希章, 陳善本. 焊縫三維信息計算精度分析及試驗方法[J].焊接學報,2009,30(3): 45-48.

CHEN Xizhang, CHEN Shanben. Accuracy analysis and experimental method on three-dimensional information computing of weld seam[J]. Transactions of the China Welding Institution,2009,30(3): 45-48.

[6] KOVACEVIC R, ZHANG Y M. Vision sensing of 3D weld pool surface[A]. Proceedings of the 4th International Conference on Trends in Welding Research[C]. Gatlinburg: The 4th International Conference，1995.5-8.

[7] 汪巖峰, 劉南生, 林浩亮, 等. 基于結(jié)構(gòu)光投影的焊接熔池圖像獲取與處理[J].焊接學報, 2008, 29(10): 81-84.

WANG Yanfeng, LIU Nansheng, LIN Haoliang, et al. Image taking and processing of welding pool based on structured light projection[J]. Transactions of the China Welding Institution, 2008, 29(10): 81-84.

[8] MNICH C, DEBRUNNER C. Vision-based sensing of the welding process: A survey[J]. International Journal of Modelling, Identification and Control, 2006, 1(2): 84-93.

[9] ZHAO C X, RICHARDSON I M. A stereo vision method for tracking particle flow on the weld pool surface[J]. Journal of Applied Physics, 2009, 105: 123-104.

[10] 林維詩. 基于主動輪廓模型和水平集方法的圖像分割[D]. 西安: 西安電子科技大學, 2010.

LIN Weishi. Image Segmentation Based on Active Contour Model and Level Set Method[D]. Xi′an: Xidian University, 2010.

[11] 楊金峰. 大視場單攝像機立體視覺測量技術(shù)研究[D]. 天津: 天津大學, 2007.

YANG Jinfeng. Study on Technology of Single Camera Stereo Vision Measuring with Large-field[D]. Tianjin: Tianjin University, 2007.

[12] LEE D H, KWEON I S. A novel stereo camera system by a biprism[J]. IEEE Transactions on Robotics and Automation, 2000, 16(6):528-541.

[13] 楊龍光, 周激流, 何 坤. 混合噪聲的圖像復原算法[J]. 四川大學學報, 2008, 45(5):1120-1124.

YANG Longguang, ZHOU Jiliu, HE Kun. An improved algorithm for de-noising mixed noise in image[J]. Journal of Sichuan University, 2008, 45(5): 1120-1124.

[14] 章毓晉. 圖像分割[M] 北京: 科學出版社,2001.

ZHANG Yujin. Image Segmentation[M]. Beijing: Science Press, 2001.

[15] 顧 征,蘇顯渝.采用色彩相似性約束的立體匹配[J].光電工程, 2007, 34(1):95-99.

GU Zheng, SU Xianyu. Stereo matching algorithm using constraint of color similarity[J]. Opto-Electronic Engineering, 2007, 34(1):95-99.

[16] SHIMIZU M, OKUTOMI M. An analysis of sub-pixel estimation error on area-based image matching[A]. Proceedings of the 14th International Conference on Digital Signal Processing [C].Ottawa: The 14th International Conference, 2002.1239-1242.

[17] SHIMIZU M, OKUTOMI M. Precise sub-pixel estimation on area-based matching[A]. Proceedings of the 8th IEEE International Conference on Computer Vision[C].Ottawa:The 8th IEEE International Conference, 2001.90-97.