基于圖像識別的AH36鋼激光焊縫節點定位技術研究

洪 祥，張海越，宋 騏

(1.南京大全電氣研究院有限公司，南京 211000；2.伊利諾伊大學 厄巴納-香檳分校， 尚佩恩 61820；3.中國科學技術大學 信息與智能學部，合肥 230000)

0 引言

AH36鋼具有沖擊性能好、強度高和剛度高等優點[1]。激光焊在焊接過程中，通過激光束轟擊焊接件，在精密件和小件中具有焊接精度高的優點，兩者在智能制造領域都得到了廣泛的應用。激光焊與智能視覺控制密不可分，因此，在實際應用中可將其分為手動、自動以及震動式等不同類型。除此之外，激光焊與智能視覺的結合，在安全性方面也具有一定的保障，這是由于激光焊不僅能夠利用切換裝置將激光束切換至不同的工作站，還能結合智能視覺的反饋結果，利用X射線防護措施保證整個焊接流程的安全[2]，但隨著高端制造業的發展，激光焊技術在應用過程中需要高精度的焊接件節點視覺定位，因此研究激光焊接節點定位的智能視覺方法，具有重要意義。相關學者也提出了一些較好的方法，但是在一些特殊材料的定位過程中，還存在明顯缺陷：

劉星武[3]等利用水平集分割處理焊接圖像，將連通域引入面積排序過程中，初步定位焊接節點，通過兩次排序方法在粗定位的基礎上完成焊接節點定位，該方法獲取的焊接圖像中存在高斯噪聲，不利用后續節點定位，存在圖像采集質量差的問題。石端虎[4]等首先對焊接圖像展開分割處理，其次根據自動對應準則采用投影距離提取算法獲取焊接節點的位置數據，分析空間中焊接節點的分布特征，以此為依據完成節點定位，該方法在x和y方向中的定位結果存在誤差，且定位所需的時間較長，存在定位精度低和定位效率低的問題。朱文杰[5]等提出了一種基于雙目視覺引導機器人的焊點定位方法。該方法在機器人末端安裝雙目傳感器以獲取焊點初步定位結果，并將其作為構建的焊點定位誤差補償模型輸入，通過訓練輸出補償結果，實現了焊點定位。王聰毅[6]等同時獲取了碳鋼板激光焊后出現的十字裂紋，并通過磁場對其進行多角度勵磁。利用磁光成像傳感器采集勵磁后的焊接缺陷圖像，獲取了交叉焊縫缺陷特征。上述兩種方法實現了焊點和焊縫的定位，但是由于傳感器采集角度的不同，導致其定位精度存在一定的局限，因此上述兩種方法存在定位精度低的問題。梁國安[7]等在利用相控陣檢測法獲取角焊縫缺陷數據的基礎上，通過結合小波去噪及經驗模態兩種方法，實現缺陷信號重構。該方法為本文去除信號噪聲提供了很好的借鑒。

激光焊接[8-9]過程中會產生高溫和強光，這可能對視覺系統造成干擾。高溫可能引起鏡頭或傳感器的熱膨脹，影響圖像質量，導致圖像中存在過多的噪聲。同時，強光可能使得傳感器無法正確捕捉焊接節點的細節，導致視覺定位的困難。在焊接過程中，準確地定位焊縫節點非常重要，節點位置的不準確將導致焊接質量下降。為此，本文以AH36鋼為例，從以下三個方面設計了一種激光焊接節點視覺定位方法。首先，通過激光焊接區域的視覺定位，實現了對焊縫的精確定位。該方法利用視覺傳感器獲取焊接區域的圖像，并通過根據激光三角測量原理確定AH36鋼激光焊接圖像中的焊接區域。以此為基礎，考慮到激光焊接區域常常受到噪聲干擾，會影響焊縫節點的準確定位。因此，第二部分本設計了一種圖像預處理方法。從圖像去噪和圖像邊緣細節提取兩方面有效地降低噪聲的影響，提高焊縫節點定位的準確性。最后，本設計基于Shi-Tomasi算法設計了焊接節點定位流程。

1 激光焊縫節點定位技術設計

1.1 激光焊接區域視覺定位

激光焊接視覺定位可以幫助激光焊接系統精確地控制焊接操作，并實時監測焊接過程中的質量和位置偏差。這一過程往往需要結合視覺傳感器完成區域定位工作，節點定位之前，確定相關區域是區域定位的關鍵步驟之一。在視覺傳感器中[10]，離軸角γ、分離角β和掃描錐角α屬于重要的角度，離軸角γ通常在區間[0，360]內取值，與檢測點成像結果之間存在一定關聯；掃描錐角α代表旋轉透鏡在掃描過程中的最大角度；分離角β為激光二極管軸線與CCD攝像機主光軸之間的角度，在像素平面坐標系中，β會直接影響圖像采集質量與激光軌跡橢圓度。本文在掃描激光焊接區域時使用的是圖1所示的Cognex In-Sight 8405視覺傳感器，其具體參數如表1所示。

圖1 Cognex In-Sight 8405視覺傳感器

表1 視覺傳感器參數

在掃描機構工作時會形成環形激光檢測軌跡，這是由于激光在發射的過程中快速旋轉形成，其成像過程通過以下兩個過程獲取AH36鋼的三維區域信息：

1)掃描系統在激光通過二極管發射后快速旋轉，形成環形激光軌跡，并在AH36鋼中投射軌跡；

2)在AH36鋼表面中形成環形激光軌跡，通過漫反射在面陣CDD攝像機中成像。具體過程如下：

在激光錐體坐標系中，激光焊發生的環形激光軌跡與落在焊接對象AH36鋼上的交點坐標用A(xL，yL，zL)來表示，用A′(xp，yp)表示像平面中點A(xL，yL，zL)的攝像機坐標，用A′(xL，yL，zL)表示成像點坐標，可通過下式計算得到：

(1)

式中，k為兩個坐標系原點之間的距離。用O′(k′sinβ，0，k′cosβ)表示攝像機鏡頭中心點坐標，其中k′代表激光錐體坐標原點與攝像機鏡頭中心點間的距離，AA′構成的直線簇{k}中包含了點O′和點P′，此時存在下式：

(2)

式中，n表示y方向上的距離；m表示x方向上的距離；σ表示z方向上的距離。

在激光錐體坐標系中，任意點坐標(xL，yL，zL)與半徑r的關系為：

(x-r)2+y2=r2

(3)

上式即為錐體曲線方程，當xL的值不為零時，半徑r可通過下式計算得到：

(4)

用r0表示傳感器的設計半徑，用zL表示檢測點的深度，基于圖像識別的AH36鋼激光絎縫節點定位技術根據激光錐體投影規律和環形激光設計原理[11-12]得到兩者之間的關系：

(5)

當xL的值為零時，根據激光三角測量原理計算檢測點的深度zL為：

式中，Δ表示x軸方向中激光像點在攝像機坐標系中移動的距離；f代表的是鏡頭焦距，上式即為焊接3D計算視覺區域定位結果，利用該方法獲得AH36鋼激光焊接圖像的區域。

圖2 卷積神經網絡FFDNet架構圖

1.2 激光焊接區域的圖像預處理

上文計算得到AH36鋼激光焊接區域，由于激光焊接過程中，可能產生煙霧、光線變化、震動等各種干擾和噪聲，降低圖像質量。除此以外，原始圖像中可能存在比較弱的或模糊的特征，可能影響定位的準確性。因此，在該部分通過EGDNet算法對上述過程獲取的AH36鋼激光焊接區域圖像展開預處理，預處理過程由兩個部分構成，第一部分是圖像去噪，第二部分是圖像邊緣細節提取。通過降噪和邊緣細節提取，增強特征的對比度和清晰度，使焊接區域更加突出，并提供更可靠的特征信息，有助于定位精度的提升。

1)去噪模塊：

將卷積神經網絡FFDNet架構(圖1)應用在去噪模塊中[13-14]，將AH36鋼激光焊接區域圖像輸入去噪模塊中，為實現噪聲水平圖Q能夠準確獲取，利用下采樣操作調整像素位置，在此基礎上，將下采樣圖像與噪聲水平圖輸入到卷積神經網絡。在去噪模塊中對圖像展開殘差學習，獲得噪聲殘差圖。通過零填充方法在去噪模塊中調整特征圖的大小。具體過程如圖2所示。

設y代表去噪后的激光焊接圖像，設置數據保真項|z′-zL|2/2ζ，大部分圖像去噪算法可通過下式描述：

(7)

式中，φ(x)表示正則化項；x表示不存在噪聲的圖像真值；x′表示存在噪聲的圖像；ζ表示高斯噪聲的等級；在圖像去噪過程中，可以利用參數μ對正數據保真項與則化項之間的動態平衡進行調整，當參數ζ的值較大時，在去噪過程中會消除圖像中存在的細節信息；當參數ζ的值較小時，無法有效的消除圖像中存在的噪聲。

在深度學習的基礎上通過下式完成圖像去噪：

d=F(z′，ζ，θ)

(8)

式中，F(·)表示深度學習函數；θ為卷積神經網絡參數。通過復制和擴充高斯噪聲ζ獲得噪聲水平圖Q，此時可通過下式描述AH36鋼激光焊接圖像的去噪過程：

d=F(z′，Q，θ)

(9)

2)邊緣模塊：

考慮到去噪后的AH36鋼激光焊接圖像可能會變得模糊或失去一些細節。因此，在去噪之后，利用邊緣模塊提取圖像細節提取，強調和突出圖像中的邊緣和細節信息。VGG-16是在大規模圖像分類任務上進行訓練的，這一過程中，VGG-16網絡學到了很多普適的圖像特征，這些先驗知識可以幫助網絡在邊緣細節提取任務中更好地理解和捕捉圖像中的邊緣結構。因此，將VGG-16網絡結構作為邊緣模塊的整體結構，邊緣模塊由最大池化層、ReLU加Conv兩部分構成。將上述去噪后的AH36鋼激光焊接圖像輸入邊緣模塊中，通過池化操作、卷積操作和融合操作，獲得圖像的邊緣圖[15-16]，邊緣模塊的網絡參數如表2所示。

表2 邊緣模塊網絡參數

在表1所示的邊緣模塊中，設計AH36鋼激光焊接圖像邊緣細節提取步驟如下。

步驟1：數據預處理。將AH36鋼激光焊接圖像進行灰度化處理，去除彩色信息并轉換為灰度圖像，減少光照變化對圖像的影響，并提高后續處理算法的效果。

步驟2：邊緣檢測。使用Canny邊緣檢測算法，以便快速定位AH36鋼激光焊接圖像中的焊縫位置

步驟3：邊緣增強。通過應用拉普拉斯濾波器增強焊縫圖像中的邊緣特征，并提高焊縫邊緣的清晰度和對比度。

觀察組護理問題的提出評分（46.32±2.96）分，護理措施方案評分（45.38±3.21）分，均高于對照組護理問題的提出評分（40.08±3.17）分、護理措施方案評分（40.26±2.95）分，差異均具有統計學意義（P＜0.05），見表2 。

步驟4：非極大值抑制。為了保留焊縫邊緣的細節以及消除可能的邊緣厚度問題，通過檢查每個像素點的梯度方向和大小，將非局部最大值的像素置為零，只保留焊縫邊緣上的局部極大值。

步驟5：細化算法。使用細化算法對焊縫邊緣進行進一步的優化，以去除冗余像素并得到更準確的焊縫線形。

步驟6：后處理。應用形態學膨脹、腐蝕操作填充斷裂的焊縫線段或消除不需要的邊緣。

1.3 基于Shi-Tomasi算法的焊接節點定位

Shi-Tomasi算法是一種基于角點的特征點檢測算法，它通過計算圖像中每個像素點的響應函數來尋找具有灰度變化較大等良好角點屬性的像素。考慮到邊緣細節提取后的AH36鋼激光焊接圖像中，焊接節點通常位于焊縫的起始和結束端，是焊接區域中重要的關鍵點，具有良好的角點屬性。因此，在通過上述操作完成區域圖像的預處理后，利用Shi-Tomasi算法完成處理后的區域邊緣圖像角點的檢測，以此為基礎進一步完成焊接節點的定位。具體步驟如下所示：

用O(x，y)表示點(x，y)激光焊接區域圖像中的灰度值，將其作為中點，構建窗口，其大小為w×w。在激光焊接圖像中，通過互相關函數R(x，y)表示局部激光焊接圖像的灰度變化程度：

R(Δx，Δy)=

(10)

式中，(Δx，Δy)為窗口在圖像中移動的位移；w(x，y)代表的是高斯濾波器。

研究表明，焊接節點的灰度值變化最大，因此對上式做泰勒展開處理[17-18]，獲得R(Δx，Δy)的最大值：

式中，Ox、Oy分別表示x方向和y方向中灰度圖像對應的偏導數，其表達式分別如下：

(12)

式中，⊕代表的是卷積操作，設置矩陣Y：

(13)

用λ、κ表示矩陣Y的特征值，根據特征值劃分激光焊接節點圖像：

1)節點區域：當λ≈κ，λκ≥0時，表明在不同方向中該區域的強度變化較為顯著，屬于節點區域；

2)邊緣區域：當λ≥κ或κ≥λ時，在一個方向中區域的變化較大，λ、κ之間存在較大差異；

3)平滑區域：當λ=0、κ=0時，任何任意方向中，其區域的強度變化均可以被忽略。

通過下式計算特征值λ、κ對應的最小值T：

T=Ymin(λ，κ)

(14)

設定閾值γ，通過Shi-Tomasi算法[19-20]對比T和γ的大小，當閾值γ小于T，且λ≥lξmax，κ≥λ時，像素點屬于AH36鋼激光焊接節點，其中l代表的是抑制常數；ξmax表示任意像素點最小特征值在AH36鋼激光焊接圖像中的最大值。

確定節點位置后，在向量正交法的基礎上確定節點對應的坐標。

用a表示像素節點，節點在AH36鋼激光焊接圖像中位于q，設Dai代表的是q的鄰域點ai對應的梯度，通過下述函數計算節點在激光焊接圖像中的亞像素位置坐標g(q)：

(15)

式中，εi代表的是正交程度[20]。

將εi的值設置為0，對坐標g(q)求偏導，獲得下式：

(16)

令：

(17)

式中，hx、yx均代表的是梯度向量[21]。此時獲得節點q在AH36鋼激光焊接圖像中的位置：

(18)

2 實驗與分析

2.1 實驗設置

為了驗證本文的激光焊接節點定位技術的整體有效性，按照下述內布置實驗環境，展開相關測試。

1)實驗對象：

尺寸為100 mm×100 mm×5 mm的AH36鋼板，利用圖3所示的Trumpf TruLaser Station 5005激光焊接機進行焊接。

圖3 激光焊接機

Trumpf TruLaser Station 5005激光焊接機具體參數如表3所示。

表3 激光焊接機參數

2)實驗圖像數據處理：

攝像設備選用Basler ace U acA3800-14uc高分辨率工業相機，用于獲取焊接過程中的圖像，并配備高性能處理器和足夠內存的計算機，用于運行圖像處理和識別算法。軟件環境：Python編程語言，OpenCV圖像處理庫。實驗用Basler ace U acA3800-14uc高分辨工業相機型號基本參數如表4所示。

表4 高分辨工業相機型號基本參數

3)算法參數設置：

本文實現定位方法主要是FFDNet架構，因此設定如下參數：網絡層數4層；卷積核大小為3×3；激活函數類型為ReLU；學習率為0.001。

在上述實驗設置下，分別利用所提方法、文獻[3]方法和文獻[4]方法進行實驗。

2.2 定位實驗

在激光焊接節點定位過程中，圖像采集至關重要。圖像采集結果直接影響著焊接節點定位精度。現采用所提方法、文獻[3]方法和文獻[4]方法作為AH36鋼激光焊接節點定位對比方法，采集結果如圖4所示。

圖4 AH36鋼激光焊接區域定位

由圖4可知，采用所提方法獲取的AH36鋼激光焊接圖像區域的清晰度較高，AH36鋼激光焊接圖像中存在高斯噪聲和紋理噪聲，圖像的清晰度較好，去噪效果較好，有利于后續焊接節點的定位。其主要原因是所提方法利用去噪模塊中的卷積神經網絡FFDNet架構，通過下采樣調整像素位置，并將下采樣圖像與噪聲水平圖輸入到卷積神經網絡，通過訓練去除激光焊接圖像噪聲，有效提高了特殊材料激光焊接區域定位效果。

2.3 實驗結果分析

1)定位誤差：

定位誤差是指實際定位結果與真實位置之間的差異。在激光焊接節點視覺定位實驗中，通過算法和技術手段獲取到的焊接節點位置與實際焊接節點位置之間的偏差或距離被稱為定位誤差。定位誤差可以用來評估定位算法的準確性和穩定性，較小的定位誤差意味著更準確的定位結果。采用所提方法、文獻[3]方法和文獻[4]方法對AH36鋼激光焊接節點定位，對比不同方法在x方向和y方向中的定位誤差，測試結果如圖5所示。

圖5 不同方法在x、y方向中的定位誤差

由圖5可知，三種方法在x和y方向的定位誤差與圖像數量之間呈正比，在相同圖像數量下，所提方法在兩個方向中的定位誤差均控制0.2 mm以內，文獻[3]方法在兩個方向中的定位誤差均控制0.8 mm和0.72 mm以內，文獻[4]方法在兩個方向中的定位誤差均控制0.6 mm和0.7 mm以內。對比上述數據可知，所提方法的定位誤差小于兩種對比方法，優于其他兩種方法的定位誤差測試結果，表明所提方法在定位過程中具有較高的精度。產生該結果的主要原因是所提方法在獲取AH36鋼的激光焊接節點區域圖像的基礎上，通過EGDNet算法獲取焊接節點邊緣圖像，提高了定位精度。

為進一步對所提方法的精度進行驗證，利用所提方法對AH36鋼激光焊接節點定位，對比并記錄x、y、z三個方向的定位誤差數據，定位誤差波動幅度越小，說明該方法的定位精度越高。

圖6 所提方法定位誤差圖

分析圖6實驗數據可知，隨著圖像數量的增加，所提方法在x、y、z三個方向的定位數據較為均衡，誤差始終不超過0.2 mm，說明所提方法具有較好的定位精度，即所提方法AH36鋼激光焊接節點定位過程中，在檢測焊接邊緣圖像的角點的基礎上，計算節點在AH36鋼激光焊接圖像中的位置坐標，有效優化了定位結果。

2)定位時間：

定位時間是指從開始進行定位過程到獲取到最終定位結果所經歷的時間。在激光焊接節點視覺定位實驗中，定位時間反映了定位算法的計算效率和響應速度。較短的定位時間意味對應定位算法具有更高效的AH36鋼激光焊縫節點定位效果。在上述測試環境下，測試所提方法、文獻[3]方法和文獻[4]方法定位焊接節點所需的時間，測試結果如圖7所示。

圖7 不同方法的定位時間

通過圖7可知，隨著圖像數量的增加，所提方法消耗時間的上漲較為穩定，定位時長由0.25 s上漲至0.75 s，最大定位時間為0.75 s，說明該方法定位AH36鋼激光焊接節點所需的時間較短。文獻[3]方法隨著圖像數量的增加，定位時長由0.8 s上漲至1.75 s，最大定位時間為1.75 s。文獻[4]方法隨著圖像數量的增加，定位時長由0.75 s上漲至2.0 s，最大定位時間為2.0 s。所提方法、文獻[3]方法和文獻[4]方法三種方法定位時間的增長幅度分別為0.5 s、0.95 s和1.25 s，因此，所提方法在定位效率較高的同時具有一定的穩定性。綜上分析可知，所提方法的定位效果優于文獻[3]方法和文獻[4]方法，表明所提方法具有較好的實際應用價值。

3)精度衰減測試：

精度衰減是指在不同焊接條件下，定位精度的變化情況。通過改變激光功率、焊縫寬度等焊接參數來模擬不同的焊接條件，在此基礎上進行定位實驗，分析定位精度與上述因素之間的關系，以判斷是不同定位方法的適應性。實驗時，假設有兩種不同的焊接參數設置：方案A和方案B。

方案A為：激光功率為100 W，焊縫寬度為1 mm；

方案B為：激光功率為200 W，焊縫寬度為2 mm。

使用相同的激光焊接機器和相機，在不同焊接參數下進行焊接節點視覺定位的實驗。記錄每個焊接節點在實際位置和視覺定位結果之間的誤差，以評估精度衰減情況。結果如圖8所示。

通過圖8可知，三種方法隨著激光功率和焊縫寬度的增加，精度衰減導致了焊接節點定位的準確性下降。其中，所提方法在方案A中對焊接節點的平均定位誤差為0.2 mm，在方案B中，焊接節點的平均定位誤差增加到0.5 mm。文獻[3]方法和文獻[4]方法兩種方法在方案A中對焊接節點的平均定位誤差為0.7 mm和1.0 mm，在方案B中，焊接節點的平均定位誤差增加到1.1 mm和1.3 mm。所提方法對比文獻[3]方法和文獻[4]方法兩種方法而言，精度衰減幅度較小，受激光功率和焊縫寬度的增加影響較小。

4)抗干擾性能：

在實際應用中，焊接過程可能面臨光照變化、背景噪聲、材料表面質量、姿態變化等各種干擾因素，這些因素可能對視覺定位技術的性能和準確性產生不利影響。因此，分析三種方法的抗干擾性能。

在基準實驗環境下，將AH36鋼板放置于平整的工作臺上，確保激光焊接系統和相機處于正常工作狀態。對焊接節點進行預先標記，以便進行后續的定位。通過調整光源的亮度或引入額外的光源來模擬光照變化。同時，隨機添加少量雜質構造背景噪聲。使用相同的焊接節點圖像進行多次實驗取平均值，并記錄定位誤差。結果如表5所示。

表5 不同方法的抗干擾性能

通過表5可知，在不同背景噪聲條件下定位誤差相對于基準實驗環境有所增加，三種方法對于光照變化和雜質引入的背景噪聲具有一定的影響，導致定位精度略有下降。其中，所提方法在基準實驗環境下的定位誤差平均值為0.2 mm，標準差為0.05 mm，在引入背景噪聲后，光照變化時的平均值為0.35 mm，標準差為0.08 mm，雜質引入時的平均值為0.4 mm，標準差為0.1 mm。文獻[3]方法和文獻[4]方法無論是在基準實驗環境中還是在不同背景噪聲條件下，定位誤差平均值和標準差都高于所提方法。整體而言，所提方法受光照變化和雜質引入的背景噪聲影響較小，具有較高的抗干擾性能，誤差波動范圍較小，可以精準的實現AH36鋼激光焊接節點視覺定位。

3 結束語

為了滿足人們對激光焊接節點的定位精度更高的要求，解決激光圖像采集質量低、定位精度低和定位效率低的問題，本文設計一種針對AH36鋼的激光焊接節點視覺定位技術。該方法通過消除焊接節點區域圖像中存在的噪聲，避免噪聲對節點定位產生影響，再通過設計節點定位方法，優化了AH36鋼激光焊接節點視覺定位效果，為激光焊接技術的智能化發展提供了參考。通過針對AH36鋼的激光焊接節點視覺定位實驗，得出以下結論：

1)所提技術能夠有效地捕獲焊接節點的圖像信息，并提供清晰、高質量的圖像供后續的定位處理使用。

2)所提方法在x、y、z三個方向上，表現出了較小的定位誤差，整體定位誤差波動幅度越小，滿足焊接任務的準確定位需求。

3)所提方法展示出了較快的定位速度，能夠在短時間內完成AH36鋼激光焊接節點定位任務，提高了生產效率和焊接工藝的穩定性。

4)所提方法保持了良好的精度衰減特性，在改變激光功率和焊縫寬度的條件下，依然保持較小的定位誤差，并且沒有明顯的精度衰減趨勢。

5)所提方法在面對光照變化、背景噪聲等干擾情況下，能夠保持相對穩定的定位結果，表現出適應性。

但是所提方法理論研究和實驗均是以AH36鋼激光焊接為研究對象，因此對于其他類型鋼材料焊接節點定位效果還需進一步研究與測試，以進一步優化所提方法的普適性。