基于雙色光源視覺的標準焊接工件搜尋與焊縫定位

（北京工業大學機械工程及應用電子技術學院，北京100124）

0 前言

近年來，計算機技術、機器人技術、電子技術的不斷發展為焊接自動化奠定了堅實基礎，因而焊接實現全自動化成為必然趨勢[1]。其關鍵技術是焊縫路徑的識別。

目前，焊接機器人的焊縫識別方法主要有示教編程、離線編程和自主編程3種形式[2-3]。

相比其他兩種方式，自主編程技術提高了焊接機器人的智能化水平，已經成為現代焊接技術的發展趨勢，主要的一個方向就是利用機器視覺傳感器和相關處理算法規劃焊接路徑。通過視覺傳感方式定位焊縫，無需與傳感器發生接觸或者相對運動，與其他傳感方式相比具有定位快、精度高、抗干擾能力強等優勢，對于實現智能化機器人焊接適用性最強[4-5]。

在英國、德國、加拿大、日本等發達國家已經有較為成熟的視覺傳感產品廣泛應用于焊接領域[6]。國內對基于視覺的焊接機器人研究雖然取得了一些成果，也出現了產品化的系統，但在系統集成度、柔性化、自主性等方面與國外先進技術還有一定差距，產品應用有待完善[6]。

本研究針對上述需求，基于視覺技術研究了焊接工件的識別及焊縫的定位。

1 標準化工件定位特點與視覺系統設計

1.1 標準化工件定位特點

根據不同的工業需求，現代焊接會出現不同的標準化工件焊接，具有尺寸標準、形狀特征明顯、焊接數量大等特點。

在研究標準化工件的自動焊接中，根據其特有的形狀特征，基于機器視覺工件的特征元素，改變傳統圖像信息的表達方式，保留圖像重要特征的同時，研究焊接工件識別和焊縫路徑獲取的方法。

1.2 視覺系統設計

針對標準化工件自動化焊接問題，設計了一套視覺定位系統，包括雙色復合光源、視覺傳感器、運動控制器、圖像處理器等。視覺傳感系統框圖如圖1所示。

圖1 視覺傳感系統框圖Fig.1 Visual sensing system block diagram

光源是機器視覺系統中重要的組件之一，合適的光源是機器視覺系統正常運行的必備條件。因此，機器視覺光源的選擇非常重要。使用光源的目的是區分目標物體與背景，獲得高品質、高對比度的圖像。LED光源是目前應用最多的機器視覺光源，具有效率高、壽命長、防潮防震、節能環保等特點，適用于焊接環境。由于本研究的目標工件具有明顯的角度，所以在實驗處理過程中選用雙色LED光源以不同角度照射待焊接區域，獲取明顯的特征信息。

焊縫路徑的獲取是完成基于主動雙色光源掃描信息的視覺標定方法研究的關鍵，其提取的精度直接影響視覺標定的準確性。本研究中CCD相機采集的焊接工件信息原始圖是彩色圖像，其信息量相對較大且存在大量的隨機噪聲，因此，優先對采集的彩色圖像進行圖像預處理，提取出焊接工件的特征輪廓信息，利用圖像特點，采用分步算法獲取焊縫路徑。

2 標準化工件的視覺宏觀定位

2.1 圖像處理流程

原始圖像采用雙色單目視覺圖像采集，通過固定相機與目標的距離，調節相機的焦距可以使圖像達到最清晰的要求，雙色光源可以適應不同的操作環境，減少環境對圖像信息的影響。本研究以大型鍋爐管道連接件的焊接為對象來驗證視覺系統，CCD相機拍攝的原始圖像如圖2所示，該工件上下為管道，中間U型工件為連接件，U型工件的下邊緣為焊縫，焊縫上已有一個點焊點，最終的焊縫應覆蓋該點焊點。

圖2 實驗原始圖像Fig.2 Experiment original drawing

具體圖像處理流程主要步驟為：顏色模型轉換→空間閾值分割→連通域求取→目標識別→焊縫路徑獲取。

2.2 顏色模型轉換

對于圖像信息而言，顏色差異和邊界是工件與背景圖像最直接的區別，因此通過顏色分量的提取可以簡化目標物的識別以及從復雜場景中提取目標。將原始圖像從RGB顏色空間轉換到HSV顏色空間，使目標識別排除光照引起的噪聲和干擾以達到最理想效果。

每一種顏色都是以色調（Hue，簡H）、飽和度（Saturation，簡 S）和明度（Value，簡 V）來表示的。

顏色從RGB到HSV轉換為非線性變換，其轉換關系為[7]

對原彩色圖像顏色模型轉換后各分量結果如圖3所示。

HSV顏色模型中，H分量工件輪廓與背景具有明顯梯度，S分量工件左側輪廓與背景幾乎融為一體，V分量焊縫特征明顯。綜上分析，本研究選用H分量和V分量。

2.3 HSV空間閾值分割

圖像閾值化分割是一種最常用、最簡單的圖像分割方法，其基本原理是：設定一個閾值，循環圖像中的每一個像素點的值和閾值進行比較，當像素點灰度值或彩色值大于閾值時則置為1，小于閾值時則置于0。在實際應用中，圖像分割后的效果取決于閾值的選擇，有關閾值的設定與選取目前有固定閾值分割法、Otsu分割法、迭代閾值法、灰度直方圖熵法。由于本研究采用雙色光源獲得原始圖像，轉換到HSV空間后顏色特征已知，所以采用固定閾值分割法。對轉換到HSV空間圖像的H分量和V分量進行空間閾值分割，分割后效果如圖4所示。

由經過閾值分割后的圖像可知，二值化后的圖像已經明顯得到目標區域（U形）且特征十分明顯。但要準確識別出目標，還需去除雜點以及非目標區域。

2.4 連通區域及分析

圖3 HSV顏色空間圖像Fig.3 HSV color space image

圖4 閾值分割結果Fig.4 Threshold segmentation results

連通區域（Connected Component）一般是指圖像中具有相同像素值且位置相鄰的前景像素點組成的圖像區域（Region，Blob）。從視覺上看，彼此連通的點形成一個區域，而不連通的點形成不同的區域。這樣一個所有的彼此連通的點構成的集合稱為一個連通區域。連通區域分析（Connected Component-Analysis，Connected Component Labeling）是指找出并標記圖像中的各個連通區域。由于需要將目標提取出來以便后續處理，所以要對閾值分割后的圖像進行連通域求取。形態學處理可剔除圖像中感興趣區域外的冗余形態結構，從而達到簡化圖像數據、保持圖像基本形態特征等優點，主要用于解決噪聲濾除、邊緣檢測、特征提取、圖像分割以及圖像恢復與重建等圖像處理問題。

防止因噪聲影響導致不同連通域出現連接等問題，可以利用開運算對圖像進行處理。連通域求取結果如圖5所示。

圖5 求取連通域Fig.5 Find the connected domain

由圖5可知，標準化目標所在連通區域面積較大，通過標準計算，可獲得目標連通區域的面積范圍，通過所有連通區域與所求面積范圍的對比，篩選出在此面積范圍內的連通區域，篩選結果如圖6所示，白色區域為連通區域。

圖6 面積篩選后連通域Fig.6 Area after the filter to connect the domain

由圖6可知，篩選結果較為理想，干擾連通區域形狀不規則，而目標區域形狀特征明顯。

2.5 目標識別

基于標準化工件特點，利用形狀特征作為目標識別的信息，擊中擊不中變換是形態學中用來檢測形狀的一個基本工具，本研究利用其內外匹配的思想，將所求連通域與自構二值化模板進行“與”操作，計算匹配程度。為防止干擾連通域面積較大，導致目標匹配錯誤，將連通域與模板進行取“反”操作，將背景作為匹配目標，計算匹配度，以此類推，記錄所有連通區域的匹配結果，選擇其中“與”操作和取“反”操作后，找出匹配度最大的連通區域并標記，則此連通區域為目標工件，識別結果如圖7所示。

由圖7可知，目標定位準確，符合識別要求。因此，在目標位置確定后，可進一步進行焊縫路徑識別與定位。

圖7 目標識別Fig.7 Target Recognition

3 焊縫的精確定位

在工件識別且定位的基礎上去識別焊縫的路徑與起始點可降低工作量，提高速度。將工件左、下邊界線的交點作為焊縫起始點，右、下邊界線的交點作為結束點，在起始點、結束點求取前必須擬合出工件的邊界線。由于工件為標準工件，則過起始點與結束點的直線路徑為焊縫路徑。邊界線的擬合要求準確提取出工件的邊緣。利用Canny算子檢測工件邊緣，Hough變換將邊緣擬合成邊界線。

3.1 Canny算子檢測邊緣

（1）Canny邊緣檢測基本原理。

圖像邊緣檢測必須滿足兩個條件：一是能有效地抑制噪聲；二是必須盡量精確確定邊緣位置。根據對信噪比與定位乘積進行測度，得到最優化逼近算子，即Canny邊緣檢測算子。

（2）Canny邊緣檢測算法。

首先用高斯濾波器平滑圖像；用一階偏導的有限差分來計算梯度的幅值和方向；對梯度幅值進行非極大值抑制；最后用雙閾值算法檢測和連接邊緣。

對H分量使用Canny算子后效果如圖8所示，檢測到邊界特征點。

圖8 Canny算子檢測邊緣Fig.8 Canny operator detects edges

3.2 分區Hough變換檢測直線

通過Canny算子檢測邊緣，為減小誤差，選擇數量最多的邊界特征像素擬合成的直線作為工件的邊界。

Hough變換是圖像處理中的一種特征提取技術，經典Hough變換用來檢測直線。其原理是運用兩個坐標空間之間的變換在一個空間中具有相同形狀的直線映射到另一個坐標空間的一個點上形成峰值，從而將檢測直線轉化為統計峰值問題。

在圖像xy坐標空間中，經過點（xi，yi）的直線表示為

式中a為斜率；b為截距。通過點（xi，yi）的直線有無數條，且對應不同的斜率和截距。如果將xi和yi視為常數，而將原本的參數看作變量，則式（1）可表示為

這樣就變換到了參數平面a-b，該變換就是直角坐標系中對于點（xi，yi）的Hough變換。該直線是圖像坐標空間中的點（xi，yi）在參數空間的唯一方程。考慮到圖像坐標空間中的直線如果接近豎直方向，則會因a值接近無窮大而增大計算量，因此使用直線的極坐標方程來表示直線，其方程為

反之，在參數空間相交于同一點的所有直線，在圖像坐標空間都有共線的點與之對應。根據此特性，基于焊接工件宏觀定位的基礎上，對邊緣檢測后的圖像進行分區Hough變換，具體方法為：在目標識別（見圖7）標記的左下角范圍內對邊緣檢測后的圖像進行Hough直線擬合；同理，在右下角進行同樣擬合；在標記的下邊界范圍內進行Hough變換直線擬合，進而確定焊縫路徑的精確位置。

為便于觀察，將焊縫路徑經Hough變換后邊界擬合用加粗線表示在HSV顏色空間的H分量圖像上，效果如圖9所示。

圖9 Hough變換效果Fig.9 Hough transform renderings

圖9中粗線部分為找到的邊界線，左側兩相交直線的方程聯立可求得交點的坐標作為焊接路徑的起點，同理可獲得右側交點位置作為焊接路徑的結束位置。

本研究未對焊縫的深度方向位置進行定位，可借助于圖像的放縮比例得到，更精確的深度方向位置定位可以采用激光結構光視覺的方法獲得，該方法不在此論述。

4 結論

針對焊接工件與背景特征不明顯，基于機器視覺獲取原始圖像，并對其進行圖像處理算法研究。

（1）為增加焊接工件在復雜背景信息中的邊界特征信息，設計采用雙色主動光源，提高了目標工件和背景以及焊縫的識別度。

（2）針對雙色光源工件圖像，將圖像轉換至HSV空間，在色調域和明度域進行進行閾值分割，提高閾值分割的可靠性。

（3）針對標準化焊接工件的特征，參考擊中擊不中運算的算法思想，設計基于二值化圖像的目標匹配算法，通過目標與背景的雙重形狀匹配，可以準確地提取出工件對象。

（4）通過Canny邊緣檢測算子，可以準確地提取出工件的邊緣，采用分區Hough變換準確地找到了焊縫的位置，同時找到了工件的左右邊界，然后通過求邊界交點的方法，準確找到了焊縫的起始位置和終止位置。采用工件宏觀識別，然后在局部分區進行Hough變換的方法減少了對直線識別的步驟，提高了算法的可靠性。

[1]柳倩，桂建軍，楊小薇，等.工業機器人傳感控制技術研究現狀及發展態勢——基于專利文獻計量分析視角[J].機器人，2016，38（5）：612-620.

[2]陳善本，林濤.智能化焊接機器人技術[M].北京：機械工業出版社，2006.

[3]董曉雨.機器人焊接工裝的即插即用控制技術的研究[D].上海：上海交通大學，2008：6.

[4]Qian B F，Ma X P.Automatic control of the electric cross sliding welding based on VC++[J].Applied Mechanics&Materials，2014（666）：179-183.

[5]Ambroza P，Bockus S，Kavaliauskiene L.Formation of build-up layers microstructure by arc automatic overlay welding using secondary raw material powders[J].Archives of Metallurgy and Materials，2013，58（2）：549-553.

[6]陽軍軍.基于激光視覺的焊縫定位系統開發[D].深圳：深圳大學，2016：22-34.

[7]吳佳藝.基于機器視覺的農林環境導航路徑生成算法研究[D].杭州：浙江工業大學，2009.