基于機器視覺的焊縫識別研究現狀與發展趨勢

張 帆，泮佳俊，劉 騰，張 浩，李佩齊

南通大學 張謇學院，江蘇 南通 226019

0 前言

在現代制造業中，尤其是中國版“工業4.0”“中國制造2025”規劃提出后，傳統的“手動示教-記憶再現”的焊接模式早已不能滿足智能制造的自動化、高精度焊接的要求[1]。尤其在非結構化焊接過程中，受熱變形、裝配誤差和外力等多種因素都會造成理論焊接路徑和實際路徑出現較大的偏差，提高焊縫識別的準確性則是實現高精度焊接的關鍵。

常見的焊縫識別方式主要是利用傳感技術來采集聲、磁、光等物理信號，通過對這些信息的及時處理來實現焊縫識別，焊縫識別技術分類如圖1所示。根據采集與處理物理信號的不同，可將焊縫識別方式分為以下幾種：（1）基于超聲反射時間的識別。利用聲音的反射聲學原理，采集超聲波反射的時間差，經分析處理后得到焊縫形狀、深度、寬度等信息。（2）基于磁場中偏轉光線信息的識別。利用鐵磁體材料漏磁現象和法拉第磁光效應等原理，并結合焊縫磁場分布，得到焊縫磁光圖像，此方法對緊密對接焊縫有極好的識別效果。（3）基于熔池信息的識別[2]。使用紅外傳感器捕獲焊縫熔池的圖像，將熱堆積效應參數、熔池匙孔的形變系數和熔池熱圖像的灰度值梯度數據用作焊接中心偏差的檢測特征值，通過對特征值和焊縫偏差進行分析，獲得它們之間的定量關系從而得到焊縫位置。王文超等[3]提出使用紅外攝像頭拍攝熔池紅外圖像，并提取相關參數，通過分析焊縫中心偏差檢測特征值與焊縫偏差之間的關系獲取焊縫位置。但紅外傳感技術常常會受到弧光和熔池溫度變化的干擾，從而對上述參數產生一定的影響。

圖1 焊縫識別技術分類Fig.1 Classification of weld identification technology

除了上述識別物理特征的傳感技術外，對于對接直線型焊縫還可以采用接觸式傳感技術，通過導向輪、導桿等使焊接機器人與工件始終接觸實現對焊接點的識別。該方法具有結構簡單、成本低廉等優勢，此外還具有較強的抗干擾能力。

近年來，基于機器視覺的焊縫識別技術逐漸走進了人們的視野。機器視覺即用機器模擬人類的視覺功能，在數十年的發展中，逐漸形成了圖像采集、圖像預處理、圖像分割等完備的理論體系。因其具有穩定性好、靈敏度高、與工件不接觸和獲取焊縫信息豐富等特點，在焊縫識別中得到了廣泛的應用[4]。本文對基于機器視覺的焊縫識別研究現狀進行分析闡述，并預測了未來的研究方向，對相關研究具有一定的參考意義。

1 焊縫識別視覺傳感技術研究現狀

機器視覺技術憑借其在識別測量目標的顏色、形狀、大小等信息上的優越性，逐漸在工業生產中得到了廣泛應用，其基本原理為：攝像頭采集目標圖像，將其傳送至圖像預處理系統，獲得目標的形態信息，最后提取目標特征并判斷結果[1]。相比其他傳感技術，機器視覺傳感技術能夠獲得更豐富的焊縫信息，并且其精度與視覺靈敏度高、抗干擾能力強，因此是當前被廣泛研究與應用的一種焊縫識別技術。用于焊縫識別的機器視覺傳感技術根據是否采用輔助光源分為被動光視覺技術和主動光視覺技術兩類[5]。

1.1 被動光視覺技術

被動光視覺技術是直接利用自然光或弧光照射到工件外表面，用攝像頭直接拍攝焊縫圖像來實現焊縫圖像的獲取。被動光視覺系統原理示意如圖2所示。

圖2 被動光視覺系統原理Fig.2 Principle of passive vision system

相較于主動光視覺，被動光視覺成本較低且容易獲取焊縫全局信息。但被動光視覺技術穩定性相對較差，易受到弧光干擾，可操作性較差，故通常裝配特殊的濾光片和遮光片來減少弧光干擾[6]。王昕等人[2]設計出一種濾光系統，該系統中的攝像頭能夠以某一角度、沿著焊槍方向在工件后方拍攝熔池圖像，然后利用一種卷積神經網絡模型經仿射變換后獲得清晰的正面熔池圖像，減弱金屬飛濺和強弧光干擾的影響。基于熔池形態的焊縫識別可分為直接拍攝電弧法、同軸視覺檢測法和激光頻閃攝像法。

由于焊接過程中的焊縫特征、焊縫位置和焊縫偏差等信息可以在圖像上直觀體現，所以在焊縫檢測、焊縫跟蹤和熔池檢測中通常使用被動視覺技術[3]。

1.2 主動光視覺技術

主動光視覺技術是使用輔助光源投射到工件表面，針對不同類型焊縫使用不同形狀的結構光和其他輔助光，然后利用攝像頭獲取焊縫圖像。其本質是三角測量原理[4]，可分為結構光法和激光掃描法[5]。

1.2.1 結構光法

結構光法的基本原理如圖3所示，激光器發射激光照射到工件表面，會形成與焊縫的形狀相吻合的光條紋。電荷耦合裝置（CCD）攝像頭獲取激光條紋的圖像并將其傳輸到微處理器或工業計算機，處理器進行圖像處理分析后，可根據焊縫的特征提取焊縫位置。

圖3 結構光法原理Fig.3 Principle of active vision system

根據結構光條紋形狀的不同，將結構光劃分為十字結構光、環形結構光、單線結構光、多線結構光[7]。環形結構光法的基本原理是使用光學掃描，由正負透鏡組成的鏡體由電機驅動旋轉，激光器發射激光，并通過鏡體在待焊工件表面上獲得環形激光軌跡[6]。單線結構光法的基本原理是將一束激光轉換成條形結構光照射在焊縫上，由于焊縫存在一定的間隙，所以條形光照到焊縫表面時會依據焊縫間隙改變自身形狀，CCD攝像頭采集變形的條紋光圖像傳輸到微處理器或工業計算機，提取焊縫的中心線并確定焊縫的特征點[8-9]。與單線結構光法相比，環形結構光法可以獲得大量的圖像信息，但由于受電機轉動產生的振動影響，環形結構光傳感法的焊縫表面的激光光斑強度分布不均，且其精度和穩定性均有不足。這兩種結構光法在焊縫三維重建領域均有廣泛應用。多線結構光法和十字結構光法則在檢測焊縫的高度變化、曲率變化和橫向偏差領域占有一席之地[10-11]。

1.2.2 激光掃描法

激光掃描法在焊接領域有著廣泛的應用，其主要利用三角測量原理[12]。采用激光掃描法識別焊縫時，激光束照射在焊縫表面可形成光點，攝像頭捕捉光點，由于激光發射器和攝像頭的位置固定不變，不同焊縫形狀對應光點的位置也不相同，因而能夠獲取焊縫的高度和位置信息。文獻[13]采用激光掃描法能夠精準識別深、厚焊縫坡口信息，提高焊縫跟蹤精度。

主動視覺和被動視覺各有優缺點，其對比如表1所示，但在實際生產應用中，主動光視覺技術具有測量范圍大、通用性好、精確度高等突出特點，因此在焊接領域的應用更為廣泛。

表1 主被動視覺傳感技術對比Table 1 Comparison of active and passive visual sensing technologies

2 焊縫識別圖像處理技術研究現狀

基于機器視覺的焊縫識別圖像處理技術中，視覺傳感器能夠采集豐富的圖像信息，但是焊縫圖像信息會受到電、光、磁、熱等噪聲的影響[14]，因此需要對圖像進行一系列預處理[5]。有些焊縫識別技術會在圖像去噪和二值化前通過感興趣區域（ROI）選取法挑選出圖像中存在焊縫的部分，之后不再進行圖像分割[15]。目前大多焊縫識別技術首先利用灰度化簡化圖像信息以提高焊縫識別效率，針對不同噪聲選用特定濾波方式完成去噪，針對不同焊接環境選用特定方法消除干擾，然后進行圖像增強以改善圖像質量，最后對處理完成的圖像進行圖像識別處理。

圖像識別處理包括圖像分割和特征提取與中心線擬合，其中圖像分割是圖像處理的關鍵步驟也是目前的研究熱點。不同的圖像分割方法需要配合使用不同的特征提取與中心線擬合方法，最終完成焊縫識別[16]。

2.1 圖像采集與預處理

圖像采集與預處理包括圖像采集、ROI區域選取、灰度化、濾波去噪與消除干擾和圖像增強等幾個步驟，用于收集圖像、簡化圖像、濾除噪聲和提升圖像質量，以提高后續圖像識別處理的效率，提高特征提取與提取中心線的精度，其思維導圖如圖4所示。

圖4 圖像采集與預處理思維導圖Fig.4 Image acquisition and preprocessing mind map

2.1.1 圖像采集系統設計

焊接圖像采集系統設計主要包括CCD攝像頭、鏡頭、激光器等硬件的選型。攝像頭的性能決定了焊縫識別與環境測量的精度；鏡頭選型的主要參數是焦距，目的是獲取較為清晰的圖像；選擇激光器的主要參數是波長大小，最佳波長可通過分析不同電流強度下電弧的光譜分布來確定。

2.1.2 ROI區域選取

焊縫識別只需采集待焊工件表面的局部圖像，對于細小焊縫，有時會采用直接提取ROI區域的方法來提取焊縫區域，既可以減少圖像數據的處理量以加快處理速度，又可以避免其他區域噪聲干擾的影響，提高特征提取的精度[17]。定義ROI區域的方法可分為使用矩形區域的Rect和指定感興趣行或列的范圍[18]。針對搭接、對接、T型角三種常見的焊縫類型的識別，文獻[19]首先采用ROI區域選取的方法進行預處理，然后在特征提取階段選取Hu不變矩作為待分類特征，接著利用反向傳播（BP）神經網絡算法進行特征訓練，取得了很高的識別率，解決了當前ROI區域手工選取所導致低效率、不全面的問題。

2.1.3 灰度化

為了加快圖像處理速度并為之后的圖像處理做準備，需對得到的彩色圖像進行灰度化處理。常用的灰度處理算法有最大值法、平均法、分量法、加權平均法等。加權平均法是最常用且最有效的方案，將圖像的R、G、B三個分量以不同的權重進行加權平均來實現圖像灰度化；最大值法是選擇R、G、B中的最大數值作為轉化后的灰度值；平均值法是將R、G、B三種分量數值進行平分作為灰度；分量法是根據需要選擇R、G、B分量的一個強度值作為灰度值。為了提高灰度化的效率，彭剛等人[20]提出利用OpenCV開源庫對原圖進行灰度處理，然后再對R、G、B三通道進行加權灰度化。

2.1.4 濾波去噪與消除干擾

焊接過程中存在煙塵、弧光、飛濺等噪聲[21]，根據不同的概率密度，可以將這些噪聲[22-23]分為高斯噪聲、愛爾蘭噪聲、脈沖噪聲、泊松噪聲和均勻噪聲等。通常可采用圖像濾波的方法消除這些噪聲，根據不同的濾波處理算法，可將這些濾波去噪方式分為[24]：（1）線性濾波，包括均值濾波、高斯濾波[25]和方框濾波等；（2）非線性濾波，包括雙邊濾波[26]、中值濾波[27]、卡爾曼濾波[28]。線性濾波能夠平滑處理圖像，有良好的去噪功能，但由于其會導致圖像邊緣模糊化，因此不利于特征提取。其中均值濾波是利用像素均值來代替圖像中的各個像素值，可以用于濾除高頻噪聲點，但常常會破壞圖像的具體細節[29]。最常用的非線性濾波是中值濾波，它是一種非線性平滑濾波，其處理原理是將圖像數字矩陣中某一點的值用其相鄰點的值的中值替換，能在去噪的同時解決線性濾波導致的圖像邊緣模糊化問題，保持圖像的邊緣細節，抑制脈沖噪聲的效果很好[30]。

圖像存在某些特定干擾，如弧光、氣泡、水波紋等[14]，因此需要根據干擾特征設計適當的干擾消除方法。針對弧光干擾，可以使用焊接弧光中能量相對較低且噪聲較少的波段通過濾光法減少干擾或選用在電流較低的基值時刻采像的基值采像法[6]。水下焊接環境中不斷運動的氣泡會改變光的傳播路徑，從而在圖像上產生白亮區域，造成氣泡干擾影響圖像識別，因此需要對氣泡進行捕捉。哈爾濱工業大學李浩等人[31]提出了基于光流算法捕捉、修復被氣泡遮擋部分的圖像，進而去除氣泡干擾的方法，同時還能對運動的背景進行補償，效果良好。而水下焊接環境中水流的正常流動、水下生物和焊接機器人的運動都會造成水波紋干擾，使得原本的自然光發生折射，在焊縫圖像上產生條紋狀光斑。

因此在實際應用時，應根據噪聲與干擾的特點、期望的圖像和邊緣特征等來選擇合適的濾波算法和消除干擾方法，盡可能發揮圖像濾波消除干擾的作用[32]。

2.1.5 圖像增強

在圖像去噪后常利用圖像增強技術改善畫質，使圖像更加清晰，方便分割圖像目標。常用圖像增強方法有灰度值線性變換、直方圖均衡化、直方圖規定化、同態濾波等[33]。灰度值線性變換是一種直接的空間域圖像處理方法，它在特定目標條件下根據一定的變換關系改變原始圖像中每個像素的灰度值；直方圖均衡化則是利用直方圖調整對比度的圖像處理方法；直方圖規定化又稱為直方圖匹配，是將某幅影像或某一區域的直方圖匹配到另一幅影像上。鄢治國等人[34]在此基礎上，通過對焊縫梯度圖像進行直方圖均衡化來增強焊縫特征信息，有利于后續的特征提取。

2.2 圖像識別處理

在進行圖像識別處理時，首先進行圖像分割，然后進行特征提取與中心線擬合，不同的圖像分割方法需使用與之對應的特征提取和中心線擬合方法。

圖5 圖像識別處理思維導圖Fig.5 Mind map of image recognition and processing

2.2.1 圖像分割

按分割的判定標準不同，圖像分割技術主要分為閾值分割法和圖像邊緣提取法兩種方法。

閾值分割法將灰度圖像轉換為二值圖像的原理是：通過判斷圖像中每個像素的特征屬性是否滿足閾值來確定圖像中的像素屬于背景區域還是目標區域。常見的閾值分割方法有最大熵閾值分割法[35]、自適應閾值法[36]、大津算法[37]。激光條紋與黑色背景的亮度存在巨大差別，因此可以運用最大類間方差法計算分割閾值，即把圖像分割為白色前景（焊縫區域）與黑色背景（非焊接區域），算法簡單，運算較快。其他的閾值分割法[38]還有雙峰法、迭代法、Kirsch算子法。針對有一些關鍵點激光的反射弱，不易設置閾值的問題，劉少林等人[39]提出了一種解決方法，首先提取圖像的直方圖，然后計算圖像的平均灰度值，最后將其與直方圖中介于平均灰度值與最高亮度之間處于谷底的灰度等級進行比較，像素數最少的灰度級即為最終閾值。

圖像邊緣提取法基于灰度值在圖像表面法向變化的不連續的特點，該方法易于實現，但精度不高。圖像的邊緣是灰度值發生劇烈變化的點的集合，即圖像輪廓[40]。目前有許多算法應用于邊緣提取，常用的有Laplace算子、LOG（Laplacian of Gaussian）算子、Robert算子、Sobel算子、Prewitt算子、數學形態學方法、Canny算子等方法。其中Laplace算子計算量小但對噪聲敏感；LOG算子可以在銳化邊緣前通過高斯濾波進行平滑處理以免加強噪聲[41]；Robert算子應用簡單，運算周期較短且對于圖像中的轉折點、陡峭邊緣點都有較好的處理效果[42]；Sobel算子可以平滑噪聲但精度不高[43]；Prewitt算子的最終處理效果與Sobel算子相似，二者的主要區別為選取的模板不同[44]；Canny算子由于抗噪性能好、邊緣提取可靠，是目前最為常用、便捷和理想的邊緣提取方案。郭亮[38]提出了一種基于小波變換的邊緣提取方法，此方法為常用的邊緣檢測方法，將信號做小波變換后，通過對一些特殊值的檢測得出圖像邊緣，可對圖像逐列或逐行進行處理。

其他方法還有基于脈沖耦合神經網絡（PCNN）的圖像分割法、最小二乘支持向量機圖像分割法等。如Yang L J等人[45]采用基于PCNN的圖像分割和去除小的假區域來獲得目標區域，然后利用傳統的圖像處理方法進行后續處理。該方法在復雜的焊接環境中具有較強的魯棒性和靈活性，可以大大縮減初始焊接位置的定位時間。針對激光拼焊中結構光光紋畸變特征不明顯，不能精準識別焊縫的問題，依據焊縫區和非焊縫區紋理特征差異，鄒媛媛等人[46]提出了一種基于最小二乘支持向量機的焊縫識別方法，首先劃分圖像為一定數量的子塊，然后利用最小二乘向量機模型對上述子塊進行分類，最終完成圖像分割。此類識別方法適應力強、精度高，可有效地進行焊縫識別。

2.2.2 特征提取與中心線擬合

完成圖像分割后的焊縫圖像還需進行特征提取與中心線擬合[47]。在圖像分割過程中，如果采用閾值分割這一類方法，需要對分割后具有一定寬度的焊縫進行細化，然后再進行焊縫直線提取[48]。圖像細化[23]即二值圖骨架化，是一種圖像操作運算，按照一定的規則逐層去除二值圖像中的前景像素，在保證原圖形狀不發生改變的情況下將其設置為背景點，最終得到原圖單像素寬度的骨架。其中圖像的細化算法按照是否使用迭代運算分為兩大類：（1）迭代運算，即多次運算，通過重復地去除滿足相關條件的像素點最后得到所需的焊縫中心線。此方法的缺點是運算速度慢、對圖像的分辨率敏感[49]。迭代運算又可分為并行細化算法和串行細化算法，并行細化算法的運行速度較快，但效果較串行細化算法稍差[50]。（2）非迭代算法，包括快速三角剖分細化法和Delaunay三角剖分細化法，其原理是用局部區域的邊界去一點點地靠近多邊形完成骨架運算。圖像分割如果采用邊緣提取這一類方法，需要利用一定算法從提取不連續的焊縫中找出直線方程[51]。王志剛等人[52]通過形態學操作將孔洞填充和閉操作相結合來補充焊縫輪廓中的孔，然后使用遞歸算法快速去除焊縫輪廓的毛刺并保留主焊縫輪廓，接著用最小二乘法擬合焊縫邊緣直線輪廓線，最后用輪廓線方程求平均值，得到焊接中心線方程。雷正龍等人[53]在原有的斜率分析法提取焊縫的特征點方面做出創新，提出了“由形到點”提取特征點的方法，此方法適用于U型、I型、Y型焊縫坡口。目前普遍使用神經網絡進行焊縫特征點提取以到達較高精度的檢測要求，其中針對卷積神經網絡計算量大、設備成本高的問題，劉美菊等人[54]提出了包括權值補償算法和權值更新算法的改進型卷積網絡壓縮算法，在焊接現場中對焊縫中心的識別有很好的效果。

目前常用的中心線獲取方法有極值法[55]、Ste-ger法[56]、骨架提取法[19]、幾何中心法[57]、閾值法和細化法。極值法定義焊縫中心點為圖像中灰度值最大的點，這對呈高斯分布的灰度條紋的獲取有良好的效果。Steger法通常和Hessian矩陣相互配合，但由于計算較為復雜，一般應用較少。骨架提取法是激光條紋中心線提取常用的方法，該方法首先遍歷目標像素點的鄰域，對連通域進行優化處理，然后運用閾值處理的方法去除不相關的連通域，得到高亮光條。閾值法與極值法應用場合相似，也能被用作焊縫灰度呈高斯分布的圖像。

3 結論與展望

本文對基于機器視覺的焊縫識別技術的研究現狀進行了分析概括，隨著現代制造業對焊接精度要求的提升，焊縫識別技術正在高速發展。目前，國內專家對于焊縫識別已經做了很多具有價值的研究[58-60]，但是受限于平臺和技術的不足，國內的焊縫識別技術仍有巨大的發展空間。對基于機器視覺的焊縫識別技術的發展趨勢的預測如下：

（1）在目前的技術中，焊縫定位以及焊縫跟蹤多依賴于多空間坐標系之間的轉換，而此類算法通常較為復雜，故新型傳感器以及其相對應的新型算法具有很好的發展前景。如新推出的飛行時間測距法（Time of Flight），基于飛行時間測距法的傳感器安裝于攝像頭上，能夠以攝像頭為原點建立空間坐標系。工業攝像頭與焊縫之間的距離通過該傳感器計算激光發射與反射之間的時間差或者相位差來確定，再和攝像頭相結合，就能實現用不同的顏色代表不同的距離，將焊件焊縫的三維輪廓表示出來，進而通過飛行時間測距法傳感器測算出焊縫位置。此種思路可避免多空間坐標系之間的轉換，顯著降低處理圖像信息的難度，從而提高焊縫識別定位的效率。

（2）基于機器視覺的焊縫類型識別也是焊縫識別技術的一個發展方向。具體方法為引入新的模式識別算法，主要為建立卷積神經網絡[61]。將各個類型的焊縫圖像以及其標簽輸出向量作為神經網絡訓練集，將歸一化和標準化后得到的訓練集作為輸入層輸入，輸入層與卷積層相連。并通過訓練集訓練卷積神經網絡模型，經由輸出層將焊縫抽象特征轉換為向量組合，最后依據輸出向量的值來判斷焊縫圖像的焊縫類型。采用該方法將大大提升焊縫類型識別系統的魯棒性和精準度。

（3）針對焊后質量檢測，焊后焊縫三維信息重構，可采用基于結構光的激光三角測量法。其原理是用線性光源投射在焊件表面，接著在每側進行一維掃描。每次投射器將光投射到焊接件上時，帶有光條紋的焊件就通過攝像頭成像，投射器的光線與圖像上的光線特征對應，落在焊件上光線的深度信息可通過三角測量原理來確定，從而得到焊后焊件的三維輪廓信息。此方法穩定性高、精準簡易，由于使用的激光干涉性能較好，所以該方法通常不會被焊件表面溝紋反射，可應用于復雜環境下的焊件質量檢測。

（4）基于機器視覺的焊縫識別技術大部分都缺乏靈活性和適應性，往往只能適用于某單一應用場景[62]，如強光、水下、暗道等。針對復雜環境，攝像頭采集的焊縫圖像往往存在多種干擾，因此開發能夠適用于多種干擾因素的新型算法具有一定的研究價值。如強光環境下的焊接常伴有煙霧，所以攝像頭采集的圖像上同時存在強光和煙霧兩種干擾因素，以往的圖像識別算法只能解決一種干擾因素，存在很大局限性。亟需開發一類新型算法，可降低或消除同時存在的兩種及以上干擾因素的影響，從而實現多因素并存復雜環境下的高精度焊縫識別。