基于激光視覺的焊縫特征提取算法研究

顧冬霞+呂學勤+王裕東+瞿艷

摘要： 隨著工業技術的發展，基于視覺傳感器的焊縫跟蹤得到了廣泛應用和快速發展。實現焊縫跟蹤，其中最關鍵的步驟是要實現焊縫的自動識別。基于視覺傳感的焊縫識別需要用到圖像處理技術，圖像處理的復雜性、多樣性等特點促使對焊縫的識別成為研究熱點。視覺傳感器得到的是一段包含焊縫輪廓信息的條紋圖像，文中主要針對的是激光條紋中心線及焊縫坡口特征點提取的研究現狀進行了論述。

關鍵詞： 激光視覺；圖像處理；特征提取

中圖分類號： TP391.4

Abstract： With the development of industrial technology， weld tracking based on visual sensor has been widely used and developed rapidly. The most important step of the weld tracking is to realize the automatic recognition of the weld. Image processing technology needs to be used in the seam recognition based on visual sensing. The complexity and diversity of image processing make the seam recognition become a hot spot. Visual sensor obtains a streak image which contains information of weld outline. The research status of the extraction of the center line of laser stripe and the feature point of weld groove is mainly discussed in this paper.

Key words： laser vision； image processing； feature extraction

0 前言

隨著工業自動化的迅猛發展，焊接自動化的應用領域也越來越廣泛，尤其是在應對一些高難度高要求的大型鋼結構設備焊接中，如飛機、輪船等[1]。焊縫自動跟蹤是實現焊接自動化的關鍵。為實現焊縫自動跟蹤[2]，需要獲得焊接過程中焊縫的寬度、深度、中心線等特征信息。傳感器是焊縫跟蹤系統中重要的組成部分，它可以提供焊接過程中焊縫的特征信息。多種傳感器應用于焊縫實時跟蹤過程中，如位移傳感器、電弧傳感器、視覺傳感器等。視覺傳感器是最有應用前景的傳感器，與其他傳感器相比，它具有信息量大、非接觸，速度快、精度高等優點。目前，它正在快速發展并得到了廣泛應用，其中由CCD（Charge-coupled Device）和激光組成的激光視覺傳感器由于具有結構簡單、測量精度高等優點更得到了廣泛應用[3-4]。激光視覺傳感是將結構光投射到焊縫表面，得到包含焊縫輪廓信息的條紋，因此，在圖像處理中，首先需要得到光條中心，再進一步分析處理得到焊縫特征信息。鑒于以上情況，文中對當前已有的焊縫圖像提取方法進行了概述，主要是激光條紋中心及焊縫坡口特征信息的提取。1 激光視覺傳感器原理激光視覺傳感器的工作原理如圖1所示，包含CCD和激光器。接通電源工作時，激光器發出特定波長的光經過透鏡折射后形成一個平面的線激光，照在焊件上從而形成一條有一定寬度的光帶。光帶經過反射或散射后，途經保留該特定波長的濾光片，進入攝像機成像。激光器與攝像機兩者的中心線位于同一平面并呈一個小于90°的夾角，這使得圖像采集時攝像機正好能拍攝到激光條紋在工件上的投影[5]。

由圖1可知，攝像機拍攝到的圖片是一段包含焊縫輪廓信息的條紋，由此，通過焊縫圖像處理可以提取激光條紋中心線和焊縫坡口特征點。2 激光條紋中心線提取方法激光條紋中心（簡稱光條中心）提取的精度和處理速度會直接影響整個焊縫特征信息的處理精度與處理速度。光條中心的提取是焊縫特征信息提取的關鍵之一。目前，光條中心的提取方法有很多：骨架細化法、幾何中心法、極值法、灰度重心法、Steger算法等，國內外學者對其進行了大量研究。2.1 骨架細化法骨架細化法是重復地剝掉二值圖像的邊界像素，在剝離的過程中必須保持目標的連通性，直到得到圖像的骨架。目前的細化算法有：形態學細化算法[6]、Hilditch算法[7]、Pavlidis算法[8]、Rosenfeld算法[6]。形態學細化算法是通過數學形態學運算對圖像進行細化處理；Hilditch算法比較普通，是一般的算法；Pavlidis算法是通過并行和串行混合處理來實現，用位運算進行特定模式的匹配，所得的骨架是8連接的；Rosenfeld算法是一種并行細化算法，所得的骨架形態是8連接的。要使結構光光條完全變成單像素寬的細線，需要進行多次細化才能實現。因此，細化是一件非常費時的操作，特別是當圖像尺寸較大時，細化一幅圖像可能需要幾秒甚至十幾秒的時間。2.2 幾何中心法幾何中心法一般先采用Roberts算子、Sobel算子、LoG算子或Canny算子等對激光條紋圖像進行邊緣檢測，檢測出光條邊界l、h后，把兩邊界的中間線l+h2作為激光條紋的中心線。該方法具有簡單，處理速度快的優點，但是對圖像質量要求高，要求圖像提取的光條邊界必須精確，否則會影響最后中心線的提取結果。文獻[9]采用自適應閾值分割的方法對圖像進行二值分割，采用二值形態學的邊緣檢測方法對二值后的圖像進行孤點濾波和邊緣檢測，使激光光帶的上下邊界比較齊整，再采用幾何中心法提取中心線，原始圖像和中心線提取后的圖像如圖2所示。

2.3 極值法極值法是將激光條紋橫截面上灰度值最大點作為激光條紋的中心。該方法對于條紋灰度分布呈理想高斯分布的情況有很好的效果，但很容易受到噪聲的影響。為了克服極值法的缺點，文獻[10]提出了一種激光條紋中心檢測方法，通過對極值法獲得的中心點的擬合，計算出光條各處的法線方向，并在法線截面上用遺傳算法進一步優化出灰度的極大值點。實驗結果表明在合理選擇遺傳算法的交叉率和變異率的情況下，該方法可以有效地獲取光條紋中心，滿足系統精度要求。原始圖像和中心線提取后圖像如圖3所示。endprint

2.4 灰度重心法灰度重心法就是對圖像中的每一列（行）提取灰度重心作為激光條紋的中心位置。若某行的非零區間為[p，q]，則該行的灰度重心位置為：Xk=∑qi=pi·Ii∑qi=pIi（1）式中，Ii是第i個像素點的灰度值。灰度重心法能夠比較精確地定位光條的高斯分布中心，提取精度可以達到亞像素級。由于該方法是按行掃描進行計算的，故條紋方向變化較大的時候，精度會受到影響；其次，也易受環境噪聲影響。針對灰度重心法受噪聲影響的問題，曲岳等人[11]采用改進的灰度重心法對目標區域進行中心線提取，該方法實際上就是通過平方加權的方式增大了光帶上灰度值大的點在確定光帶中心時的權重，這就使得實際提取的光帶中心更加接近于實際上的光帶中心，提高提取的精度。原始圖像和中心線提取后圖像如圖4所示。

李丹等人[12]選用基于極值法的灰度重心法提取激光條中心線，該方法是每次選取光條圖像每列（行）中灰度極大值點領域范圍內的k個（k 為經驗值，10≤k≤15）像素點，采用重心法計算出該列（行）的中心。原始圖像和中心線提取后圖像如圖5所示。2.5 曲線擬合法曲線擬合法是把條紋橫截面上的灰度分布近似看成高斯分布，以光條上像素點的灰度值，擬合出曲線來得到光條中心。擬合曲線可以是拋物線或者高斯曲線，該方法精度高，但需要的采樣點較多，不適合多條窄帶光條中心提取。文獻[13]提出了一種基于曲線擬合的線結構光光條中心的亞像素提取方法。該方法通過腐蝕細化獲得光條的基本骨架，采用均方灰度梯度求取骨架上每一點的法線方向，利用加權灰度重心法獲得光條中心初始點，應用分段3次多項式曲線擬合獲得光滑的光條亞像素中心坐標。該方法可以提高中心線提取的精度。

文獻[14]針對非高斯非對稱分布激光條的匹配中心線提取精度較低的問題，提出了一種基于高斯混合模型的激光中心線提取方法。首先選擇均值濾波方法有效的去除激光散斑噪聲對圖像的影響；接著利用最大類間方差法（OTSU）對光條位置進行粗定位；最后，利用高斯混合模型提取激光條亞像素中心線。實驗結果表明該方法能夠使光條中心線的提取達到亞像素級別，穩定性較好。

2.6 方向模板法 方向模板是從灰度重心法的思想發展而來，根據以每一行各點為中心的、大小為M*N的矩陣灰度值來確定該行的灰度重心，作為光條中心。它的思路是：在小尺度情況下，可以認為結構光條紋形狀有四種模式：水平、垂直、左斜45°，右斜45°，針對這四種模式，設計相對應的方向模板，分別記為K1，K2，K3，K4。以7*5方向模板為例，四個模板為：

模板K4（右斜45°）將四個方向模板分別沿著圖像移動，當在圖像第j列移動時，對第i行，像素點（i， j）定義為：Ht（i，j）=∑M-1u=0∑N-1v=0C（i-M2+u，j-N2+v）×Kt（u，v）（2）其中，t=1～4，Kt（u， v）是四個方向模板，C（i， j）是圖像中某點（i， j）的灰度值。所以，第（i， j）像素點的Hk（i，j）=max（Ht（i，j）），此時該點附近的圖像的斜率最接近第K個模板的方向。如果有Hk（p，j）=max（Hk（i，j）），那么在第j列上激光光條中心位置為第P行。采用這種模板能夠檢測出激光條紋中心。由算法的基本原理可以看出，由于在求條紋中心時要對整幅圖像每個點進行四次方向模板計算，導致算法的運算量很大，很難實現結構光條紋中心線的快速提取，不能滿足實時性要求較高的應用場合。因此，國內外學者對此進行了改進。其中包括了將閾值法和方向模板相結合，將可變方向模板法和灰度重心法相結合，充分發揮兩者優點的光條中心提取方法。此外，文獻[15]提出了自適應方向模板提取結構光條紋中心方法。該方法首先在圖像預處理階段統計出每行激光條紋寬度，接著采用自適應方向模板法針對每一行結構光條的寬度生成對應的模板，提取光條中心。實驗結果表明，該方法能夠很好地適應結構光條紋不均勻情況下的中心線提取。2.7 Steger算法Steger算法[16]是利用Hessian矩陣確定圖像中光條紋的法線方向，在其法線方向上利用泰勒展開得到光條橫截面上一階導數過零點，求出光條紋中心的亞像素位置。在光條圖像中，Hessian矩陣表示為：

（3）式中，Z（x， y）是圖像中各點的像素，g（x， y）是高斯函數，rxx，rxy，ryy是圖像與高斯核卷積后得到的偏導數。該方法具有處理精度高，魯棒性好等優點，但是運算量大，處理速度慢。針對該方法的運算量大，研究者進行了一些改進，包括了將大模板高斯卷積的遞歸思想應用到的Hessian矩陣的求取中，及將脊線跟蹤與Hessian矩陣相結合。此外，岳龍等人[17]在Steger方法的基礎上，提出了一種自適應復雜光條紋中心提取算法。該方法首先根據線激光寬度選擇固定的尺度因子，對圖像進行高斯核卷積，得到各點Hessian矩陣；然后求得對應的法向寬度，并以此來選擇對應的二階法向偏導數的閾值，再結合一階法向偏導為零計算出條紋在不同寬度處的中心點，中心線提取后圖像如圖6所示。

3 特征點提取算法在焊接過程中，需要實時獲取焊縫輪廓數據。為給焊縫跟蹤、規劃機器人運動軌跡提供焊縫位置信息，需要在激光條紋中心線的基礎上，進一步提取焊縫信息特征點。目前，針對基于線結構光的焊縫坡口特征點識別方法有很多，斜率分析法、投影法、最小二乘法、Hough變換等。3.1 斜率分析法斜率分析法[18]中圖像條紋中心各點的斜率計算公式為：Ki=yi-yi-1（4）式中，yi，yi-1分別為第i，i-1個像素點的縱坐標。各點斜率計算出來后，再通過比較相鄰點的斜率，即計算相鄰點斜率的差值，若某一點斜率變化較大即認為為特征拐點。為保證計算的可靠性，將斜率公式進行修正

斜率分析法有簡單、計算速度快的優點，但適應性不好、精度不高，無法識別復雜深坡口。因此，雷正龍等人[19]提出一種新的特征點提取思想—由形到點，將焊縫坡口特征點分為直角拐點和斜角拐點，分別設計斜率極值法和斜率截距法來提取。實際焊縫跟蹤時，根據拐點類型分別調用對應的提取算法，完成全部焊縫坡口所有特征點的提取。結果表明，“由形到點”提取特征點精度高，抗干擾能力強，對不同焊縫坡口形式適應性好。Y形焊縫坡口特征點提取示意圖如圖7所示。endprint

3.2 投影法投影法是對中心線后的二值圖像進行行（列）投影，統計每行（列）的“白點”數量，進行比較，獲得焊縫坡口的特征信息。

首先得到光條中心線的最低點，即為焊縫根部特征點。其次，由于結構光圖像中的光條通常都是平行于圖像的行，采用投影法將圖像向垂直方向投影時，此時必然出現一個峰值，保留該峰值所在的行的條紋中心線。通過比較該中心線與焊縫根部特征點的坐標，獲得焊縫坡口的特征信息。該方法對激光條紋水平度的要求較高，當激光條紋水平度不高時，會導致提取的精度低。針對該問題，楊雪君等人[20]將掃描投影法和最小二乘法相結合，通過掃描投影法獲得焊縫特征點初始坐標，根據此坐標對中心線進行坐標分離，形成4個區域，在每一區域內用最小二乘法進行擬合，擬合交點即為焊縫特征點，原始圖像和識別的特征點如圖8所示。

3.3 直線擬合采用直線擬合對焊縫坡口邊緣進行擬合，擬合的交點即為特征點。目前，直線擬合用的比較頻繁的方法有兩種：一種是Hough變換，另一種是最小二乘法。3.3.1 最小二乘法用最小二乘法[21]來對中心線進行擬合，直線方程表示為： y=kx+b（6）

采用最小二乘法對焊縫坡口進行直線擬合，首要問題是選取特征點進行分類，而確定特征點又恰恰是我們要解決的問題。可以通過采用投影法[20]可靠地找到特征點的大致位置，也可以采用斜率分析法進行斜率計算，最后確定拐點，以此通過曲線擬合算法精確地計算中心點和兩個拐點的位置[22]，原始圖像和中心線上的特征點如圖9所示。

3.3.2 Hough變換提取出激光條紋中心線后，可以采用Hough變換提取焊縫中心點的位置及焊縫寬度等信息[23]。Hough變換是利用圖像坐標系與參數坐標系中點與線的對偶性，即在圖像坐標系下的一個點對應了參數坐標系中的一條直線，同樣參數坐標系的一條直線對應圖像坐標系下的一個點。最終在圖像坐標系中呈現為同一條直線的所有點，它們的斜率和截距相同，所以它們在參數坐標系下對應于同一個點。將圖像坐標系下的各個點投影到參數坐標系下之后，檢查參數坐標系下是否有聚集點，此聚集點就對應了原始圖像坐標系下的直線。

考慮到直線的斜率可能會接近無窮大，為使變換有意義，將直線方程用法線式表示為xcosθ+ysinθ=ρ，圖像平面上的一條直線就對應到ρ-θ平面上的一個點，找出共線點的峰值點，可以檢測出直線。

Hough變換抗干擾性強，即使待測線條上有小的擾動、斷裂，甚至是虛線，經Hough變換后，仍可得到明顯的峰點，但該方法進行直線檢測時計算量大，處理速度慢。針對此，研究者進行了一些改進，包括了概率Hough變換[24]和隨機Hough變換[25]等。Qianqian Wu等人[26]研究了改進Hough變換在GMA焊縫圖像處理的應用，實驗表明該方法可以在較短的時間內提取出焊接位置。4 結論在基于視覺傳感器的焊縫跟蹤系統中，圖像處理技術至關重要，本文對當前已有的焊縫識別方法進行了較為全面的綜述。由于視覺傳感器得到的是一段包含焊縫輪廓信息的條紋圖像，本文主要包括了激光條紋中心線及焊縫坡口特征點的提取兩個方面。目前的焊縫識別算法大多數只能在特定坡口類型下得到比較好的結果，在實際應用中需要根據實際情況選擇合適的算法。目前尚缺少適合范圍比較廣泛的解決算法。今后應該探索多種坡口特征提取算法的普遍規律，以期找到一種能夠適用于各種坡口特征提取的識別算法。

參考文獻

[1] Zahran O， Kasban H， El-Kordy M， et al. Automatic weld defect identification from radiographic images[J]. NDT & E International， 2013， 57（6）： 26-35.

[2] Lü X， Zhang K， Wu Y. The seam position detection and tracking for the mobile welding robot [J]. International Journal of Advanced Manufacturing Technology， 2017， 88（5-8）： 2201-2210.

[3] Shi Y， Zhang G， Ma X J， et al. Laser-vision-based measurement and analysis of weld pool oscillation frequency in GTAW-P [J]. Welding Journal， 2015， 94（5）： 176-187.

[4] Muhammad J， Altun H， Abo-Serie E. Welding seam profiling techniques based on active vision sensing for intelligent robotic welding [J]. The International Journal of Advanced Manufacturing Technology， 2017， 88（1-4）： 127-145.

[5] Villan A F， Acevedo R G， Alvarez E A， et al. Low-cost system for weld tracking based on artificial vision [J]. IEEE Transactions on Industry Applications， 2011， 47（3）： 1159-1167.

[6] 賈挺猛， 荀一， 鮑官軍， 等. 基于機器視覺的葡萄樹枝骨架提取算法研究[J]. 機電工程， 2013， 30（4）： 501-504.endprint

[7] 湯瑞華. 基于自適應圖像分割自動提取道路中心線[J]. 測繪工程， 2015， 24（7）： 29-33.

[8] 李艷華， 丁建麗， 閆人華. 基于國產GF-1遙感影像的山區細小水體提取方法研究[J]. 資源科學， 2015， 37（2）： 408-416.

[9] 霍平， 李軍萌， 曾翰林， 等. 一種基于結構光的V型焊縫實時圖像處理方法[J]. 電焊機， 2014， 44（12）： 144-148.

[10] 楊雪嬌， 池海紅. 一種改進的光條中心提取方法[J]. 應用科技， 2009， 36（12）： 41-44.

[11] 曲岳， 劉艷瀅， 王延杰， 等. 基于FPGA的光條中心線實時提取方法[J]. 液晶與顯示， 2016， 31（8）： 818-824.

[12] 李丹， 耿楠， 亢娟娜. 復雜背景下光條中心提取算法研究[J]. 計算機應用與軟件， 2013， 30（3）： 271-273.

[13] 江永付， 江開勇， 林俊義. 線結構光光條中心亞像素精確提取方法[J]. 激光與光電子學進展， 2015， 52（7）： 179-185.

[14] 劉巍， 張馳， 劉陽， 等. 高斯混合分布激光中心線提取方法[J]. 激光與紅外， 2015， 45（11）：1397-1402.

[15] 王澤浩， 張中煒. 自適應方向模板線結構光條紋中心提取方法[J]. 激光雜志， 2017， 38（1）： 60-64.

[16] Xu G， Sun L， Li X， et al. Adaptable center detection of a laser line with a normalization approach using hessian-matrix eigenvalues [J]. Journal of the Optical Society of Korea， 2014， 18（4）： 317-329.

[17] 岳龍， 郭喜慶， 余錦. 自適應復雜光條紋中心提取方法研究[J]. 科學技術與工程， 2016， 16（14）： 236-239.

[18] Li L， Fu L， Zhou X， et al. Image processing of seam tracking system using laser vision [C]. International Conference on Robotic Welding， Intelligence and Automation， 2007： 319-324.

[19] 雷正龍， 呂濤， 陳彥賓， 等. 基于掃描激光視覺傳感的焊縫圖像特征信息識別[J]. 焊接學報， 2013， 34（5）： 54-58.

[20] 楊雪君， 許燕玲， 黃色吉， 等. 一種基于結構光的V型坡口焊縫特征點識別算法[J]. 上海交通大學學報， 2016， 50（10）： 1573-1577.

[21] 劉子騰， 白瑞林， 王秀平. 基于激光視覺的角焊縫圖像特征點提取[J]. 焊接學報， 2016， 37（2）： 89-93.

[22] Xu M， Zhao M， Zhang C. Image processing method for weld quality inspection system of tailored blanks laser welding [C]. International Conference on Measuring Technology and Mechatronics Automation （ICMTMA）， 2010： 422-426.

[23] 王秀平， 白瑞林. 雙隊列控制的激光視覺焊縫跟蹤系統研究[J]. 計算機工程與應用， 2015， 51（2）： 30-34.

[24] 鞏學美， 高昆， 王研， 等. 一種基于概率Hough變換的遙感圖像中線目標檢測新方法[J]. 影像科學與光化學， 2017， 35（2）： 162-167.

[25] 喬寅騏， 肖健華， 黃銀和， 等. 基于最小二乘修正的隨機Hough變換直線檢測[J]. 計算機應用， 2015， 35（11）： 3312-3315.

[26] Wu Q Q， Lee J P， Park M H， et al. A study on the modified Hough algorithm for image processing in weld seam tracking [J]. Journal of Mechanical Science & Technology， 2015， 29（11）： 4859-4865.endprint