基于區域優化的等厚對接焊縫圖像二值化方法

王興東 楊雅倫 孔建益 施 毅

1.武漢科技大學機械自動化學院，武漢，4300812.揚州力德工程技術有限公司，揚州，225000

0 引言

小批量生產的大型非標件，其焊縫坡口形貌復雜，焊接路徑多且長，人工和示教再現型焊接方式不再適用，因此，基于激光視覺的焊縫跟蹤技術得到發展[1]，該技術具有直觀、與工件無接觸、精度高和響應快等優點[2-5]，得到了國內外學者的廣泛關注。目前，光學三角測量原理[6]在焊縫檢測中應用最廣，然而強烈的弧光和焊縫表面的鏡面反光現象導致視覺傳感器難以直接進行傳感測量[7]。

基于視覺傳感的焊縫圖像二值化處理是等厚對接自動焊接的關鍵步驟。二值化閾值的選取決定了焊縫圖像的處理效果[8]。坡口鏡面反射、多層多道焊坡口形貌復雜和飛濺等現象，使圖像存在灰度級多、灰度分布不均和隨機噪聲的問題，影響閾值的選取。基于閾值的二值化方法可分為兩大類：局部閾值法和全局閾值法[9-11]。局部閾值法依據子塊中像素點灰度值特征自適應調節閾值，進行多目標二值化。常用的局部閾值法有Niblack法[12-13]、Bernsen法[14-15]等。TALAB等[15]基于Bernsen法檢測圖像中車牌標志，使用雙均值濾波去除噪聲，選用不同于Bernsen算法的λ值來確定各像素的局部閾值，對車牌圖像進行局部二值化。焊縫圖像中的干擾灰度級較高，若采用局部閾值法，易產生強制噪聲。全局閾值法采用單一閾值，將圖像所有像素點灰度值與閾值比較，根據比較結果區分背景及焊縫目標。OTSU[16]提出的一種最大類間方差法是二值化的最優算法之一。LI等[17]為了在含有強弧光、飛濺及熱變形的復雜焊接環境中進行圖像預處理，采用二次中值濾波去除部分噪聲，并通過定義計算窗口位置以縮小圖像。WU等[18]對焊縫圖像進行中值濾波去噪，采用Otsu 法處理圖像，以峰值信噪比和均方根誤差作為圖像二值化質量的評估指標。

國內學者研究了經典算法的改進。申俊琦等[19]通過最小二乘法建立Otsu法所選閾值與焊縫光帶區域灰度平均值的直線回歸方程，以選取適合的閾值；齊繼陽等[20]提出一種改進Otsu法，在考慮類間方差和類內方差對圖像分割效果影響的基礎上，用方差信息代替均值信息，構建焊接圖像分割閾值算法。 但上述算法中單一閾值易受噪聲干擾，使焊縫圖像無法達到滿意的二值化效果，并且需要處理圖像的所有像素點，計算量大，因此，降低干擾對閾值的影響，準確得到焊縫光帶特征信息是問題的關鍵。本文提出的二值化方法結合圖像灰度信息、空間鄰域信息和優化算法，有效濾除焊縫圖像存在的干擾，讓光帶信息成為二值化圖中唯一特征。本文建立了基于視覺傳感的等厚對接焊縫跟蹤成像系統，對比分析了常規算法的處理結果；自適應地定義感興趣區域(region of interest，ROI)以縮減原始圖像；基于鄰域灰度極差值的分布特征，提出了對ROI圖像劃分為平緩和劇烈兩區域的算法；以高質量二值化圖像為目標，平緩系數和劇烈系數為設計變量，建立了焊縫光帶區域判定的優化模型，以最優結果確定了焊縫光帶區域；將該區域灰度均值作為二值化變換閾值，完成圖像預處理。為驗證算法有效性，對比分析若干組的實驗室實驗二值化處理的結果，并在工業現場對多層多道焊的連續圖像進行實驗。

1 基于視覺傳感的等厚對接焊縫跟蹤實驗系統

基于視覺傳感的等厚對接焊縫跟蹤實驗系統主要由激光視覺傳感器、主控計算機及控制平臺組成，結構如圖1所示。其中，激光視覺傳感器主要由CCD攝像機和線激光傳感器組成。選用大恒公司的MER-130-30UM相機(分辨率為1 280×1 024像素)，焦距為12 mm的M1214-MP2鏡頭，線激光傳感器為波長650 nm的LH-L6353DL激光器。線激光傳感器射出的激光線照射在工件表面，形成特定形狀的激光線條紋；激光視覺傳感器中CCD攝像機接收來自工件表面的反射光，利用成像原理采集等厚板焊接圖像，并傳入主控計算機進行圖像處理。實驗對象選用板厚分別為5 mm、10 mm、25 mm的鋼板，均開設45°的V形坡口角。

圖1 基于視覺傳感的等厚對接焊縫跟蹤實驗系統Fig.1 Tracking system of uniformed-thickness butt weld based on visual sensor in laboratory

2 常規二值化算法的分析效果

在搭建的成像實驗系統中，CCD攝像機和線激光傳感器在同一個平面，且平面夾角θ為30°，如圖2所示。5 mm厚鋼板對接焊縫的原始圖像見圖3a。

圖2 CCD攝像機與線激光結構Fig.2 Structure of CCD camera and line laser

對原始圖像(圖3a)應用Otsu算法[16]進行二值化，得到圖3b，可看出仍存在反光噪聲，焊縫光帶邊界不光滑，且頂點包含多余像素。這是由于原圖中焊縫光帶灰度值非常高(接近255)，但所占面積較小，使得其算法的直方圖不能顯著表征光帶與其相鄰區域的灰度變化，故焊縫周圍有噪聲殘留。應用文獻[17]算法的二值化結果如圖3c所示，焊縫光帶相較于圖3b更加平滑，光帶寬度增大，但未完全濾除反光噪聲，且頂點包含多余像素。該算法選用開窗進行中值濾波，但圖3a的反光區域明顯、連續且灰度值變化不大，使得反光區域內的像素點灰度值與設定窗口中值接近，無法替換反光像素點，導致噪聲殘留。應用文獻[19]算法的二值化結果如圖3d所示，圖像光帶出現斷裂且邊界粗糙。該算法將二值化閾值直接設為激光帶區域像素點的灰度平均值，由于光帶灰度值非常高，且明顯高于光帶邊緣區灰度值，故以該閾值進行二值化時會將邊界像素點濾除，得到不完整焊縫信息。因此，上述三種方法均不適用于處理灰度級多、灰度分布不均和隨機噪聲的焊縫圖像，它們的二值化閾值導致圖像處理過度或不完全。針對實時的焊接要求，應有效濾除噪聲、準確且高效地提取焊縫光帶，故本文提出了基于區域優化的等厚對接焊縫圖像二值化方法。

圖3 常規算法用于V形焊縫二值化結果Fig.3 The representative results using the common binarization algorithms

3 基于區域判定優化的焊縫圖像二值化方法

應用二值化算法無法有效保留焊縫信息。針對實時檢測需求，本文定義ROI(region of interest)圖像以減少處理范圍。為獲取更好的二值化效果，按照鄰域灰度極差值的分布特征，提出了將ROI圖像劃分為平緩和劇烈兩區域的算法；以高質量二值化圖像為目標，建立了焊縫光帶區域判定的優化模型；以獲取的最優結果確定焊縫光帶區域，將該區域灰度均值作為變換閾值，進行二值化處理，最終獲得準確而完整的光帶信息。本文理論研究的技術路線如圖4所示。

圖4 本文技術路線圖Fig.4 Flowchart of the proposed method

3.1 基于特征的自適應ROI定義方法

本文提出基于特征的自適應ROI定義方法可保留不同條件下的焊縫圖像紋理，同時縮短搜索時間，具體步驟如下：

(1)讀取圖像寬度M、高度N和像素點灰度值gi,j，i=0,1,…,N；j=0,1,…,M-1；結合成像系統的硬件配置、焊縫光帶幾何特征及圖像灰度分布，獲取焊縫光帶寬度γ，設定圖像灰度值的邊界值Δ。

(2)判斷中心像素點P0(i0,j0)灰度值是否滿足gi0,j0≥Δ，若滿足則設該點為A，并繼續向上搜索是否存在gi,j0≤Δ，若存在，則將首個滿足條件的點設為P1(i1,j0)，否則，取上邊界為第N-1行，并停止搜索；若P0(i0,j0)不滿足條件，則繼續向上搜索直至找到滿足gi,j0≥Δ的點A，并重復找到A點之后的步驟；若搜索至上邊界未找到A點，則將P0(i0,j0)設為P1(i1,j0)。

(3)以P1(i1,j0)點為起始點，水平向左搜索，判斷是否存在gi1,j≥Δ，若存在，則將首個滿足條件的點P(i1,jx)設為P0，再按步驟(2)的模式向上搜索，得到點P(iy,jx)，令該點為起始點進行向左向上的順次循環、判斷，否則直至搜索到左邊界，取Pa(ia,0)為左上邊界點。

(4)從Pa(ia,0)開始，水平向右搜索，判斷是否存在gia,j≥Δ，若存在，則將首個滿足條件的點P(ia,jz)設為P0，再按步驟(2)的模式向上搜索，得到點P(iw,jz)，令該點為起始點進行向右向上的順次循環、判斷，否則直至搜索到右邊界，取Pb(ib,M-1)為右上邊界點。

(5)取上邊界為第iup行，iup=ib+γ(若iup≥N-1，則取iup=N-1)。

(6)同理，按步驟(2)到步驟(3)的模式，開始向下搜索圖像左下邊界點Pc(ic,0)，從Pc(ic,0)開始，按步驟(4)的模式，搜索到右下邊界點Pd(id,M-1)。

(7)取下邊界為第ilow行，ilow=ik-γ(若ilow≤0，則取ilow=0)。

(8)獲取的ROI圖像為第iup行至第ilow行的所有像素點。

將圖3a原圖處理后，得到圖5所示的ROI圖像(圖中方框標記為后續舉例區域)。本算法自適應地選取上邊界為第32行，下邊界為第150行，所定義的ROI圖像相較于原圖，減少26 209個像素點，相對于原圖，降幅為37.70%。

圖5 圖3a的ROI圖像Fig.5 The ROI image of fig.3a

3.2 基于鄰域灰度極差值的圖像區域分類

ROI圖像存在灰度級多、灰度分布不均和隨機噪聲等問題，導致不同區域的灰度變化情況不同。若以常規二值化算法的單一閾值來考察所有區域的灰度變化情況，則結果不再準確。圖像灰度極差值可準確描述圖像明暗變化劇烈程度[21]。本文以像素點與其鄰域像素灰度極差來表征圖像的明暗變化劇烈程度。為獲取更好的二值化效果，基于鄰域灰度極差值的分布特征，提出將ROI圖像劃分為平緩和劇烈兩區域的算法。

ROI圖像(設為I)內各像素(不包含4條邊界上的像素點)與其8鄰域像素的最大灰度值gI(i,j)max與最小灰度值gI(i,j)min之差為像素的鄰域灰度極差值e(i,j)，即

e(i,j)=gI(i,j)max-gI(i,j)min

(1)

gI(i,j)max=max(gI(i+k,j+l))

(2)

gI(i,j)min=min(gI(i+k,j+l))

(3)

其中，gI(i,j)表示ROI圖像像素點灰度值；k，l分別取-1，0和1。

(4)

(5)

其中，I(i，j)表示ROI圖像像素點；S(i，j)表示平緩區域像素點；B(i，j)表示劇烈區域像素點；N表示ROI圖像所有像素點個數。

根據式(4)，將所有鄰域灰度極差值趨近或等于0的像素點集合定義為平緩區域S(i，j)；將所有鄰域灰度極差值差異明顯的像素點集合定義為劇烈區域B(i，j)。圖5中方框區域內像素點的灰度值如圖6a所示，鄰域灰度極差值分布及其分區結果(S(i，j)包括①、③和⑤三個部分，B(i，j)包括②和④兩個部分)如圖6b所示，鄰域灰度極差值越大，顯示的顏色越深。

圖6 方框區域像素點灰度值及鄰域灰度極差值計算結果Fig.6 The gray value and the distribution of the neighborhood gray difference of the box

3.3 基于焊縫光帶區域優化的等厚對接焊縫圖像二值化處理

上文將ROI圖像分為平緩和劇烈兩大區域，為達到高質量二值化圖像的目標，以平緩系數和劇烈系數為設計變量，建立焊縫光帶區域的優化模型，利用最優系數將兩區域進一步細化，將含有焊縫信息部分合成焊縫光帶區域；將該區域灰度均值作為二值化變換閾值，完成圖像預處理。具體方法如下。

圖6中，平緩區域S(i，j)中①和⑤部分的灰度值接近或等于0，將其定義為背景區域N(i,j)S；③部分的灰度值接近或等于255，定義為光帶中間區域G(i,j)S。區域G(i,j)S灰度值明顯高于區域N(i,j)S灰度值，據此設定劃分兩區域的閾值，灰度值大于閾值的區域即光帶中間區域G(i,j)S；在不同環境下得到的圖像，背景區域N(i,j)S和光帶中間區域G(i,j)S的灰度值均會出現不同程度的變化，即

(6)

其中，α為平緩系數，α∈(0,1]；gS(i,j)為區域S(i，j)像素點灰度值；gmax和gmin分別為ROI圖像內最大與最小灰度值，平緩閾值為α|gmax-gmin|。觀測大量焊縫圖像可知，劇烈區域B(i，j)與區域G(i,j)S接近的部分包含光帶邊界等有用信息，而接近區域N(i,j)S多是噪聲干擾，為全面獲取光帶信息，本文將區域B(i，j)劃分為接近背景區域的焊縫外區域W(i,j)B和接近光帶中間區域的光帶過渡區域G(i,j)B。

圖6a中，焊縫外區域W(i,j)B中包含噪聲，而其灰度值大于區域N(i,j)S；光帶過渡區域G(i,j)B包含光帶信息，灰度值接近中間區域G(i,j)S，進一步結合焊縫圖像特征，提出通過動態優化劇烈系數進行合理區分，即

(7)

其中，gB(i,j)為區域B(i，j)像素點灰度值，β為劇烈系數，β∈(0,1]。將式(6)和式(7)準確劃分的區域G(i,j)S與G(i,j)B合并為焊縫光帶區域G(i，j)。

高質量二值化圖像的目標如下：處理后圖像的像素灰度值的峰值信噪比(peak signal to noise ratio， PSNR)高，且其均方根誤差(root mean square error， RMSE)低。對ROI圖像進行二值化，即以區域內像素點的灰度均值K作為變換閾值進行圖像處理，使處理效果應達到高質量處理的目標，即

(8)

K=(NG)-1∑gG(i,j)

(9)

其中，gG(i,j)為區域G像素點灰度值，gW(i,j)為圖像二值化后灰度值，NG為區域G像素個數。焊縫光帶區域判定系數(平緩系數α和劇烈系數β)是劃分得到區域G(i，j)的關鍵。為達到高質量二值化圖像的目標，建立優化焊縫光帶區域判定系數的目標函數：

minf(α,β)=ω1R-ω2P

(10)

(11)

P=10lg(2552/M)

(12)

(13)

其中，ω1、ω2分別為峰值信噪比和均方根誤差的權重系數，依據文獻[22]，本文算法中ω1、ω2取1；P為圖像像素灰度值的峰值信噪比；R為圖像像素灰度值的均方根誤差；M為圖像像素灰度值的均方誤差。綜上，焊縫光帶區域判定的優化模型為

minf(α,β)=ω1R-ω2P

g3(X)=x1≤1g4(X)=-x1<0

g5(X)=x2≤1g6(X)=-x2≤0

模型中，g1(X)和g2(X)根據式(6)、式(7)中的判定條件得來，g3(X)～g6(X)根據焊縫光帶區域判定系數的取值范圍得到。根據本文建立的模型，采用內點法[22]求解，優化圖5中焊縫光帶區域判定系數。取初始點X(0)=[0.25 0.20]T，優化結果為X*=[x1x2]T=[0.15 0.10]T，即α*=0.15，β*=0.10；f*=f(X*)=20.79，P=16.66，R=37.45，K*=124.45。對圖5進行二值化處理的結果如圖7所示，可看出焊縫光帶輪廓完整且清晰，且基本濾除了無關信息。

圖7 二值化結果圖Fig.7 Image after binarization

4 實驗與評估指標

為驗證本文算法有效性，分別在實驗室和工業現場進行實驗，對實驗結果進行評估和分析。

4.1 實驗室實驗

采用圖2所示的系統和圖3所示的成像角度，針對10 mm厚鋼板進行圖像處理。原始圖像(圖8a)中存在明顯反光噪聲；為突出灰度信息，得到圖像的灰度圖(圖8b)；圖8c采用上文中基于特征的自適應ROI定義方法，確定ROI圖像；應用本文方法處理的結果如圖8d所示，焊縫光帶邊界平滑，有效去除了反光噪聲，便于后續焊縫角點高效提取。對于5 mm和10 mm厚鋼板的等厚對接焊縫圖像，二值化結果(圖7和圖8d)憑肉眼觀測，主觀評價效果均較好。

圖8 本算法處理10 mm鋼板圖Fig.8 The images of 10 mm thick steel plates using the proposed method

進一步依據圖像質量評價指標對不同二值化算法結果進行客觀評估，對比結果見表1，對于兩種不同厚度的鋼板，相比其他3種算法，本文方法均得到了最高的峰值信噪比值、最低的均方差誤差值和最小的目標函數值。

表1 應用不同二值化算法處理圖像的評估結果

4.2 工業現場實驗

現場搭建工業實驗焊縫跟蹤系統如圖9a所示；跟蹤系統的控制系統和自主研發的軟件系統界面如圖9b所示；跟蹤系統的成像系統如圖9c所示，包括CCD攝像機、鏡頭、線激光發射器和濾鏡及輔助裝置(擋光板和排風扇等)等；現場焊接時跟蹤系統的工作照片見圖9d，選用CO2氣體保護焊進行焊接，存在強烈的弧光和大量飛濺。

圖9 現場搭建工業實驗焊縫跟蹤系統Fig.9 Weld tracking system for industrial experiment

設定CCD攝像機與焊板垂直距離為200 mm，CCD攝像機的前方是線激光，兩者水平距離為265 mm，CCD攝像機的后方是焊槍，兩者水平距離為380 mm。焊接工藝參數見表2。根據CCD攝像機和焊槍的距離以及焊接速度，為滿足實時性要求，要求圖像處理的時間應遠少于95 s，本文算法計算時間少于1.7 s。

表2 焊接工藝參數

按照中厚鋼板(如厚度為25 mm)的焊接工藝要求，需進行多層多道焊接。分別給出需進行第一和第二道焊接時的坡口(鋼板尺寸為25 mm厚、450 mm長)，如圖10所示，其第一道坡口形狀與前者討論的5 mm和10 mm厚鋼板坡口相似(開有角度為60° V形槽和3 mm鈍邊)，第二道坡口的形貌較復雜。

圖10 25 mm厚鋼板第一道和第二道坡口形貌Fig.10 The groove shape of 25 mm thick steel plates

針對25 mm厚鋼板的第一道坡口，采用本文提出的優化模型及算法進行圖像二值化，處理效果良好。截取25 mm厚鋼板在第二道焊接過程中連續的9組圖像(圖11)，所有子圖中的上圖為原始圖像、下圖為二值化處理結果圖，每張原始圖像分別包含不同噪聲且焊縫坡口的形態存在一定的變化。

圖11 25 mm厚鋼板9組第二道焊原圖及二值化結果Fig.11 The second layer welding of 25 mm thick steel plates

感性觀測圖11中的二值化結果可看出，焊縫信息得到有效保留，光帶清晰且平滑，無關信息基本被去除，結果較為理想。依據圖像質量評價指標PSNR和RMSE進行客觀評估，結果見表3。連續的不同圖像，其差異性必然存在，表3中圖11a～圖11e五組圖像的值接近；相比其余8組，第3組圖像(圖11c)的值最為理想；9組圖像中數值偏離程度最大的一組是第6組(圖11f)，但本文二值化方法以尋優為目的，所以圖像客觀評估值整體較高；實驗結果證明了本文提出的優化模型適應性好，能實現對多層多道焊的實時焊縫檢測。

表3 應用本文算法處理25 mm厚鋼板第二道焊圖像的評估結果

連續的高質量的二值化圖像便于后續提取光帶特征點處理，滿足了自動焊接的實時性需求。25 mm厚鋼板第二道焊縫跟蹤結果如圖12所示，可以看出，焊縫較為平整、勻稱，焊接效果好。

圖12 25 mm厚鋼板第二道焊縫跟蹤結果Fig.12 The tracking result of the second layer welding of 25 mm thick steel plates

5 結論

對比分析若干組的實驗室實驗結果后發現，主觀和客觀評價效果好；由工業現場實驗的連續化圖像二值化處理結果可知，有效去除了噪聲干擾，滿足多層多道的實時性焊接要求；本文提出的二值化方法有效實現了焊縫跟蹤圖像的預處理，針對多種厚度規格的鋼板，保證了實時焊接的質量。