基于線結構光測量的自動焊接在線跟蹤檢測技術綜述

肖宏曉，李偉明，高興宇＊

（桂林電子科技大學 機電工程學院 廣西制造系統與先進制造技術重點實驗室，廣西 桂林 541004）

0 引言

自動化是工業發展的潮流趨勢，使用自動化機器設備來代替人工生產，能夠有效提高生產質量和生產效率，降低人工成本。得益于光機電一體化技術以及計算機技術的快速發展，非接觸式測量技術應運而生，整個測量過程無需設備與被測物體接觸。結構光測量技術作為非接觸式測量法中的重要組成部分，擁有操作簡單、非接觸、高效性、實時性、實用性強等優點，廣泛應用于工業發展中的三維模型重建、物體表面三維信息測量等領域[1]。在自動焊接技術領域，快速有效的焊縫跟蹤是實現焊接自動化的關鍵步驟[2]，為了實現快速有效的自動焊接在線跟蹤檢測效果，結構光傳感器也逐漸成為自動焊接系統中至關重要的一部分，例如加拿大Servo-Robot公司自主研發生產的焊縫檢測系統，該系統集成了結構光傳感器和感光元件，可以搭載在機器人上或者輔助焊槍軌跡校正，英國Meta Vision Systems公司也開發出多款與焊接機器人集成的焊縫跟蹤系統。基于線結構光測量的自動焊接機器人具有高效率、高精度、自反饋等優點，可以對焊縫實際位置進行掃描、提取、定位與跟蹤。本文對線結構光測量系統的關鍵技術研究現狀進行了分析。

1 線結構光傳感器工作原理

結構光傳感器采用了激光三角測量原理進行測量（激光三角測量原理在三維測量理論中提出時間較早，也是應用最為廣泛的主動非接觸式三維測量技術[3]）。根據投射到被測物體表面光源種類的不同，可以分為點激光位移傳感器、線結構光傳感器和面結構光傳感器三類，如圖1所示。其中，點激光位移傳感器通過分析被測點與傳感器的位置變化獲取距離數據，線結構光傳感器通過單次測量就可以獲取待測物表面一條線狀輪廓，面結構光傳感器通過投影儀投射光柵獲取圖像以計算表面三維信息。針對焊縫的掃描、提取和定位一系列過程，線結構光傳感器測量效率高，成本適中，且便于與其他運動測量場景的運動機構相集成，是自動焊接在線跟蹤檢測系統中的理想選擇。

圖1 結構光傳感器分類

圖2 線結構光傳感器工作原理

2 線結構光測量系統關鍵技術研究

隨著機器視覺技術的飛速發展，結構光測量技術被廣泛應用于工業生產中的多個環節，也成為當下科研工作的研究熱點[4]。基于線結構光測量的自動焊接在線跟蹤檢測系統工作過程為：將傳感器進行準確標定，將激光條紋投射到焊縫上，提取焊縫坐標并計算其世界坐標，將坐標發送到機器人控制系統實現焊接跟蹤檢測效果。因此，相關線結構光測量技術的基礎理論研究也包括三個領域：中心提取、傳感器標定和焊縫特征提取。

2.1 中心提取

中心提取是整個線結構光測量系統的關鍵的部分之一，它決定了圖像在CCD像元中的位置坐標是否準確，其準確程度是保證測量系統穩定性、精準性、實時性的前提。因此，中心提取成為許多國內外機器視覺領域研究人員的研究熱點。在整個測量系統搭建過程中，保證線結構光測量系統輸出結果精準度的關鍵在于能否在每一個采樣位置準確采集識別并計算出光條的中心位置，在符合精準度要求的前提下提高系統的穩定性和實時性。

在線結構光測量技術的發展過程中，國內外相關領域專家學者提出、優化了多種中心提取算法，為中心提取過程提供了解決方案。在實際使用場景中，工程師們一般會結合實際情況對算法做出調整，或者使用多種算法綜合求解，由于各種方法都有其特點和利弊，許多學者在傳統方法的基礎上提出了一些改進算法。

2.1.1 極值法

極值法的提取思路是在光條局部橫截面上尋找亮度的極大值設定為光條中心點。由此可見，這種方法對于亮度呈理想高斯分布的光條圖像有著良好的處理效果。極值法的思路清晰簡潔，針對于理想光條圖像具有計算高效性，但當光條圖像中其他環境光線的灰度值接近或大于光條灰度值時，其提取的光條中心很大概率會偏離實際光條中心位置，因此極值法通常只適用于圖像信噪比較小的情況下進行中心提取。為克服極值法對環境光線噪聲敏感的缺點，楊雪嬌等[5]提出了一種基于極值法的改進算法，思路是先使用基礎極值法獲得中心點，對其進行擬合，計算出光條各個中心點處的法線方向，然后在法線截面上使用遺傳算法[6-8]優化得出灰度的極值點，即光條中心。這種改進算法的優點是通過優化光條法線截面從而避免陷入局部極值點誤區，針對不同光條，選取合適的交叉率和變異率可以提高算法精度和適應性，而且該改進算法也適用于使用彎曲光條進行測量的環境。

2.1.2 灰度重心法

在借鑒的基礎上，全科醫生規范化培訓教學方式既應當區別于醫學生教學方式，也應當區別于專科醫生培養模式。新型教學模式的實踐在全科醫生培訓過程中也取得了一定成果。例如：微課教學，模擬醫學教學。在“互聯網+”的推動下，線上和線下相結合的混合式學習（blending learning）逐漸盛行[2]。但該模式在全科醫生規范化培訓中尚無深入研究。本文結合本單位全科醫生培訓基地經驗，探討全科醫生線上“微課”+線下“模擬醫學教學”培訓教學方法。

灰度重心法是一種適用于亮度分布不均勻情況下的光條中心提取算法，其基本原理是按照光條紋橫截面中選定區域內的灰度值分布計算出每列橫截面上灰度權重質心作為光條中心位置，如圖3所示。首先，設定灰度閾值，對濾波后的圖像進行分離，大于灰度閾值則取其差值，否則就取零。計算灰度重心時，每個灰度值超過閾值的像素點都參與其計算，包括其中的極大值點。該方法降低了由于光條灰度值分布不均而產生的誤差，提取精度可以達到亞像素級，但其抗干擾性依然不強，通常適用于圖像噪點較少的情況。

圖3 灰度重心法原理

為了提高灰度重心法的抗干擾性，Wang等[9]提出了一種改進算法，首先利用差分法和區域增長法降低圖像的信噪比，然后采用灰度重心法獲取條紋中心，使用Sobel算子獲取其法線方向并再次使用灰度重心法確定光條中心，最后使用雙線性插值法獲取中心坐標，該算法對噪聲較大的環境具有較強的適應性。熊會元等[10-11]提出了一種改進方法，引入灰度梯度來計算條紋的法線方向，然后在法線方向上應用灰度重心法提取條紋中心位置。該方法相比于基礎灰度重心法，改進思路是先采用Sobel算子運算求解條紋梯度矢量，然后在法線方向上使用灰度重心法計算中心位置坐標，提高了精度、穩定性以及實時性。

2.1.3 曲線擬合法

曲線擬合法的原理是把光條表面灰度分布看作服從高斯分布，那么光條中心位置就處于光強最大值的位置。相機拍攝的圖像初步經濾波后，使用高斯曲線來擬合光條每行像素點的灰度值，最后出現不同曲線最值的對應坐標就是中心位置，整個中心提取過程需要完成對光條的完整掃描。高斯函數表達式為：

式中，ymax、xmax和S分別為高斯曲線峰值、峰值位置和半寬度信息，將其兩邊取對數并用矩陣形式表示后求出xmax即為中心坐標。為了優化曲線擬合算法，國內外學者基于該算法提出了一些改進方法。Lukas等[12]在曲線擬合算法基礎上提出了優化思路，先確定條紋中心的大致位置，然后以每個中心點坐標為參考點，取其周圍若干個相鄰的像素進行高斯擬合。該方法在激光條紋清晰、形變不大的情況下提取效果較好，但缺點是計算復雜度較高，運算時間較長。針對該問題，高世一等[13]綜合極值法和邊緣法，提出了變邊限高斯擬合法，首先獲得光條的近似像素中心位置，再對圖像二值化以確定光條各列的寬度，根據每列寬度值和近似中心位置設定恰當的擬合范圍，最后采用高斯曲線擬合求得光條中心位置。該算法的輸出精度可以達到亞像素級，雖然精度較高，但存在的缺陷是當面臨激光條紋寬度相差較大的情況時，提取效果不夠好，而且整個擬合過程較為復雜，中心提取所需時間也會加長。

2.1.4 Steger算法

Steger算法是由Steger[14-15]最先提出的光條中心提取算法，利用Hessian矩陣求解激光條紋的法線方向，在光條圖像中，Hessian矩陣H（x，y）可表示為：

其中，g（x，y）為二維高斯函數，z（x，y）為光條圖像，rxx為x方向二階導數，ryy為y方向二階導數，rxy為二階混合方向導數。光條上點的法線方向由該點處Hessian矩陣最大特征值的絕對值所對應的特征向量給出，然后在該點法線方向上求極值得到光條中心的亞像素中心位置。該方法能達到亞像素的提取精度，但計算復雜度高，難以實現光條中心的快速提取，很難滿足工業在線檢測的要求。

Steger算法復雜度高，計算時間長，因此有大量學者致力于優化該算法以提高其效率。胡坤等[16]基于Steger算法提出了優化算法，引入遞歸思想，利用高斯卷積遞歸得出光條紋各點的Hessian矩陣，在提高計算速度方面給出了思路。周富強等[17]為減少計算量，對文獻[16]中的算法進一步優化，提出了一種把計算范圍只限制在ROI（Region of Interest）內的方法，該方法在計算Hessian矩陣前對光條圖像進行了預處理分割，使得計算量得到有效壓縮，提高了計算速度。江潔等[18]考慮到用軟件按時鐘順序執行指令的方式無法滿足系統要求，對文獻[16]的模型進行了優化，在其算法基礎上引入大規模并行算法和串行流水技術，采用了并行硬件的中心提取算法，這是一種串并結合的處理結構，成為突破瓶頸的有效方法。

以上各種中心提取算法在計算復雜度、提取速率、精度和適應性方面的對比見表1。

表1 上述中心提取算法優缺點對比

2.2 傳感器標定

準確標定系統參數是利用線結構光測量技術獲得準確結果的關鍵所在，國內外學者對于標定過程的研究主要劃分為兩部分，分別是單相機透視模型標定和光平面標定。

單相機透視模型包含相機內部的焦距、主點、畸變系數等參數，目前，有關單相機透視模型的標定方法研究已經相對成熟[19]。Zhang[20]提出了一種基于平面靶標的標定方法，解決了單相機的現場標定，該方法通過相機拍攝不同位姿的多幅靶標，利用平行映射關系矩陣對相機進行標定。張曦等[21]針對于大視場相機，提出了構建虛擬立體靶標的標定方法，獲得了較高的標定精度和標定效果。光平面標定主要指結構光傳感器結構參數的標定，即光平面相對攝像機的位置，該過程獲取的光平面方程可以將世界坐標系下的三維點轉換為相機坐標系下的三維點，近幾十年內，大量學者和研究人員針對光平面標定技術展開了研究。Dewar[22]最先開創的拉絲法可以實現光平面標定，由于當時對于測量參數要求不高，同時受限于工業制造業水平，其標定效果不夠理想。段發階等[23]提出的齒型法，在光平面標定過程中引入了運動構件，其實現過程是利用精密機械結構的運動解決了控制點提取和光平面標定問題。Hyunh等[24]提出一種基于交比不變原理的標定方法，在實現過程中使用了三維靶標，雖然標定效果較為理想，但靶標難以獲取且成本較高。周富強等[25]利用一維靶標實現了光平面標定，與使用三維靶標的標定過程相比，一維靶標既節約了標定成本，又簡化了標定過程。除此之外，相關領域學者和研究人員借助機器人或其他類型的靶標提出了新的標定方法。陳天飛等[26]提出了無需特制標定靶物的標定方法，該方法基于機器人的高精度運動約束實現自標定。Liu等[27]提出了一種具有其他形狀的靶標類型——球型靶標，該方法的優勢在于球型靶標的輪廓成像不受位置變化的影響，而且其標定精度與使用平面靶標相當。Wei等[28]提出了平行線靶標標定方法，該方法基于消隱點和消隱線的等距平行線模型來完成光平面標定。

在傳感器標定過程中，標定靶物的形狀特性也對標定方法的選用以及標定結果產生了很大影響。首先，標定靶物形狀特點區別導致其提供的幾何約束不盡相同，也就導致了標定方法的不同；其次，由于不同標定靶物的生產標準不同，導致其表面特征也各不相同，這直接影響了標定方法的選擇以及標定結果的準確度。通常按照維度將靶標由三維到一維劃分為三類，由于三維靶標自身就可以提供三維約束，通常在單幅視圖下就可以完成光平面標定過程，但其制造工序復雜，加工標準較高，成本昂貴。相比之下，一維或二維靶標輔助完成標定的過程就相對便捷，提高了標定效率。

針對于不同應用場景，為了提高標定精度，研究學者提出了具有其他特點的靶物。華南理工大學的鄺泳聰等[29]提出的線紋尺靶標是小視場范圍內標定精度最高的靶標。目前，在不降低標定精度的情況下，如何使標定步驟更加簡便、更易于現場標定和后期維護是傳感器標定中值得研究的問題。

2.3 焊縫特征提取

在搭載自動焊接在線跟蹤檢測系統的機器人實現焊接的過程中，線結構光傳感器需要提供實時焊縫空間坐標數據給系統以規劃機器人運動軌跡或實現反饋。為實現這一過程，需要在傳感器標定以及中心提取的基礎上，進一步提取焊縫特征信息。

目前，基于線結構光傳感器的焊縫特征提取方法有斜率分析法、投影法等。斜率分析法有簡單、計算速度快的優點，對于理想V型焊縫識別較為準確，但在多數情況下抗干擾性和精度不高，無法識別其他形狀的焊縫。雷正龍等[30]提出一種優化提取算法，按照焊縫夾角特征將其分為兩類，算法運行時先判斷夾角類別，再對應使用斜率極值法或斜率截距法來提取焊縫特征。截距法相比于斜率法，對于非理想V型焊縫特征提取時精度和算法穩定性更高，因此這種改進算法對于不同情況的焊縫特征提取精度高，抗干擾能力強。

投影法是對中心提取后的二值圖像進行行或列投影，首先找到中心線的最低點，此處為焊縫根部特征點，再使用投影法將圖像向垂直方向投影，產生的峰值交點即為此處的焊縫特征點，這種方法的缺點在于當出現較多環境光干擾，或者光條水平度較差時，提取誤差明顯。為了優化投影法，楊雪君等[31]引入了最小二乘法，使用投影法找到基礎坐標后，在該點先劃分出四個區域，再分別在區域內使用最小二乘擬合，交點即為焊縫特征點。

在焊接環境中，會有一些焊渣、弧光和復雜環境光等噪聲對焊縫圖像處理過程引起干擾，這時就需要使用濾波算法對干擾信息進行篩除，單一使用傳統濾波算法幾乎無法有效消除干擾，一些學者對這些算法進行了優化和改進。劉習文[32]、何銀水等[33]采用頻域濾波方法對圖像先做出預處理工作，但由于算法計算量較大，運行過長，無法保證系統運行時的實時性。王平[34]采用連續的多幀圖像進行運算，可以消除圖像中不同區域的噪聲干擾，但無法過濾掉圖像中相同區域的噪聲干擾。除了使用算法進行濾波之外，也可以在硬件方面采取措施，如在視覺傳感器上加裝擋板來阻隔飛濺的焊渣或煙塵，在視覺傳感器前端加裝濾光片以濾除弧光等環境光干擾[35]。濾除這些干擾因素以獲得高質量的焊縫圖像，可以為提取焊縫特征做好前期工作，以期獲得更好的提取效果。

3 當前研究存在的問題及展望

線結構光測量技術目前存在的問題可總結為以下兩個方面：

（1）傳感器的適應性不足。線結構光測量技術屬于機器視覺測量領域，準確獲取光條圖像并避免噪聲干擾是測量精準的前提條件。除了使用高清工業相機、提高激光器亮度、優化算法之外，還要考慮被測物體表面材質、制造工藝、反光度等因素對中心提取產生的干擾。除此之外，工業現場還可能存在其他各種環境光源干擾，這些干擾光可能會導致提取到的圖像亮度分布不均勻、圖像中出現噪點等不利因素，不僅會對測量精度產生影響，甚至可能直接致使測量的失敗。

（2）實時性不足。在基于線結構光的自動焊接在線跟蹤檢測系統運行過程中，要想得到較為理想的焊接效果，系統需要很強的實時性來保證焊接軌跡準確、焊接過程連貫。當采用較為簡單的中心提取算法，例如極值法和灰度重心法時，這一過程提取速度較快，但依賴外界干擾低、光條質量高等條件，精準度和適應性不高。其他算法精度較高但運算速度慢，可能會導致焊接軌跡運行不連貫，焊接過程中出現卡頓、停滯現象，無法得到良好的焊接效果。

針對存在的問題，提出一些未來展望：

（1）提高系統的適應性，在設計和開發系統時要考慮其應用場景并進行模擬實驗，提高算法抗干擾性。通常一種算法只能解決某一類環境噪聲影響，面對環境中多種復雜干擾的情況下，先考慮硬件輔助減少干擾，再考慮多種濾波算法和優化算法相結合來處理噪聲問題。例如在開發自動焊接在線跟蹤檢測系統時就要考慮焊接時焊渣飛濺以及弧光干擾對焊縫中心提取和焊縫跟蹤效果的影響。

（2）提高系統實時性，在系統開發過程中，針對于不同焊接件或者不同形狀的焊縫，選取不同的中心提取算法和特征提取算法，并且根據算法識別和提取的速率，設定適宜的機器人末端移動進給速度，確保識別準確的情況下讓系統能夠連貫且流暢地完成焊接過程，也可以添加反饋機制來保證系統的實時性。

除此之外，未來線結構光測量技術還可以朝向深度學習領域發展，由于深度學習具有強大的適應性和學習能力、強大的函數擬合以及模型訓練能力，可以有效提高算法效率，不僅可以縮短系統的開發周期，系統的適應性和實時性也會得到保障。

4 結語

本文從結構光傳感器的分類及原理入手，對比了其各自的特點，在線結構光測量技術的過程中，中心提取、傳感器標定以及特征提取至關重要。本文分別對極值法、灰度重心法、曲線擬合法和Steger算法進行了原理闡述，根據國內外學者的研究和改進算法對中心提取法進行綜述。接著對傳感器標定中的相機標定和光平面標定進行描述，分析對比了國內外學者簡化標定方法、提高標定精度的改進算法。然后對焊縫特征提取進行分析概括，列舉了斜率分析法和投影法并綜述了一些改進算法。最后對目前線結構光測量中存在問題及未來發展趨勢進行了分析，提出線結構光傳感器在提高適應性和實時性上的展望。