焊接機器人實時引導中光條快速提取算法研究

劉常杰，李 斌，郭 寅，張云昊，劉 洋

(1.天津大學精密測試技術及儀器國家重點實驗室，天津300072;2.清華大學 精密儀器系，北京100084)

引 言

由激光三角法原理發展而來的結構光視覺測量方法在目前工業領域應用愈加廣泛，該方法具有結構簡單、精度較高、可靠性好等優點。其中，結構光條紋圖像包含被測量物體表面的3維形貌信息，是被測點3維坐標求取的依據。光條提取是結構光視覺傳感器最常用的算法，提取精度決定測量精度，提取算法穩定性決定測量穩定性［1］。

目前常用的激光條紋中心提取算法有極值法、灰度重心法［2］、梯度重心法［3］、方向模板法［4］、互相關算法［5］、高斯擬合法［6］、曲線擬合法［7］和 Steger方法［8］等。極值法處理速率極快，但精度低，受噪聲影響嚴重。灰度重心法處理速率快，易受環境噪聲影響，常結合閾值分割進行處理。基于骨架的灰度重心法解決了精度差的缺點，精度能達到亞像素級，但算法復雜、處理時間長，難以滿足實時性的要求。梯度重心法結合梯度法改進的閾值法和重心法相結合，具有一定的精度、抗噪性和魯棒性，但難以滿足高精度測量。方向模板法處理速率快，但提取精度不高、易受環境影響。互相關算法有較高的精度和實時性。高斯擬合法和曲線擬合法精度高，但處理速率較慢，且不適合窄光條提取。在此基礎上提出的自適應窗曲線擬合方法和變邊限高斯擬合方法［9］一定程度上提升了算法速率。Steger方法精度高、穩定性高，但運算量很大，很難實現結構光條紋實時性提取。為解決Steger算法運算量大的問題，基于感興趣區域(region of interest，ROI)的結構光條紋中心混合圖像處理方法和基于脊線跟蹤的結構光條紋中心提取方法先后提出，大大提高了處理速率［10］。

作者在嵌入式Linux系統中采用一種激光條紋快速提取方法，并在自制6410開發板上進行實驗驗證，采用灰度中心法粗略提出條紋中心，并用承上啟下的搜索方式進行優化搜索，然后采用優化的Hessian矩陣法對條紋進行精確提取。該提取方法具有精度高、速率快的特點，從而可運用到視覺傳感器中，滿足其實時性和高精度的要求。

1 硬件平臺

本研究應用在視覺測量系統實時引導機器人高精度焊接中，如圖1所示，系統需要實時測量出被測特征與理論位置的差別，并實時引導機器人對軌跡進行微調整，從而實現高精度焊接。柔性視覺器通過激光條紋信息獲取預焊點3維坐標，并反饋到焊接系統，進而調整焊槍的位姿，對其誤差進行補償，提高焊接質量。對于高節拍的生產線而言，每個機器人需要在1s左右的時間對一個焊點進行精確焊接，而傳感器進行圖像采集到返回給機器人補償信息的過程不超過0.5s。因此要保證視覺測量系統的高精度和實時性，實現對激光條紋中心的快速、精確提取對結構光測量系統的研究具有重要意義。

Fig.1 Welding robot and structured light vision sensor

在已有的柔性傳感器設計中，現有硬件平臺有個人計算機(personal computer，PC)、微控制單元(micro control unit，MCU)、復雜可編程邏輯器件(complex programmable logic device，CPLD)平臺、現場可編程門陣列(field-programmable gate array，FPGA)平臺、微處理器(advanced risc machines，ARM)平臺等。PC機成本比較高、處理速率一般。MCU+CPLD平臺數據處理速率較慢、多任務處理能力較弱、FPGA平臺處理速率快、多任務處理能力較弱、可擴展性不強，適合圖像采集和預處理，高速的、重復的處理過程適合在FPGA中處理。ARM平臺設計復雜、多任務處理能力強、可擴展性強，適合進行高層處理算法。考慮到本應用中柔性傳感器不僅完成圖像采集和處理工作，還要完成傳感器和機器人的通信工作，因此選用可以使用Linux操作系統、易于開發和后期擴展、主頻高、處理速率快的ARM11平臺。

由于視覺測量系統實時引導機器人高精度焊接系統在室內進行時，外界光強影響變化不大，該系統對精度和速率要求較高。根據系統要求，本文中提出優化Steger快速條紋提取算法，并在自制6410開發板上進行驗證，該方法可以降低外界噪聲的影響，提高提取速率和精度。

2 優化Steger快速條紋提取算法

2.1 Steger方法概述

Steger方法是一種高精度、高魯棒性的激光條紋中心提取方法［8］，通過高斯卷積算出的Hessian矩陣得到條紋的法線方向，在此方向上進行泰勒展開求取條紋中心亞像素坐標，常用在精密測量中。

Steger方法具有精度高、穩定性好的特點，但由于圖像上的所有點都要參與大規模高斯卷積計算，導致運算量極大，算法處理速率很低，不能滿足實時性要求。因此作者在此方法的基礎上進行優化，大大縮短處理時間。本文中算法首先采用中值濾波對圖像進行預處理，然后用灰度重心法粗略提取條紋中心，最后運用Hessian矩陣法對粗提的條紋中心特定處理區域內的條紋進行亞像素中心精確提取。

2.2 中值濾波

首先對圖像進行中值濾波［11］，對圖像進行預處理，去除大部分由測量環境和圖像采集過程中等引起的椒鹽噪聲。

2.3 灰度重心法粗提取

2.3.1 灰度重心法粗略提取中心位置 在預處理之后，本文中采用灰度重心法對光條進行粗提取，其原理是計算圖像中光線灰度分布的重心位置，逐行進行計算，采用優化的掃描方式分割出條紋區域，計算出此區域光條灰度重心的橫坐標作為其光條中心位置，假設圖像像素大小為M×N，對第j行閾值分割后的連續m個像素參與計算，把這m個像素中像素的橫坐標設為xi，相應灰度值為Ii，其中i∈［1，m］，計算得出第j行的光條中心橫坐標為Xj，其中j∈［1，N］，具體計算公式如下:

2.3.2 掃描方式 在進行灰度重心法粗提取的時候，采用優化的掃描方式對圖像進行搜索，可以大大縮短搜索時間，提高算法的速率。

針對圖像上連續或間斷的條紋圖像，本文中在圖像相鄰行之間光條中心位置采用優化的搜索方式，縮小搜索范圍，從而提高處理速率。從第1行開始對圖像進行整行搜索進行梯度閾值法分割圖像，然后提取中心，如果不滿足要求，則下一行繼續整行搜索，直到第i行閾值分割后進行灰度重心粗提取得到條紋中心Xi，則在第i+1行Xi左右各7個像素進行閾值分割中心提取工作，這樣只需所搜這15個像素即可，如果找到中心則進入下一行，沒找到中心則再改行重新進行整行搜索，以此類推完成整幅圖像。圖2為不連續條紋搜索示意圖。

Fig.2 Coarse search of center location of discontinuous laser strips

2.4 優化Hessian矩陣方法精提取

在粗提取后，對圖像使用優化Hessian矩陣方法進行精提取，由于傳統求Hessian矩陣方法的過程中，圖像上的每個點至少要進行5次高斯卷積計算，運算量極大，難以達到實時性條紋提取要求。由于高斯卷積具有可分離性，在不影響結果的前提下，可將2維高斯卷積改用兩次1維高斯卷積［12］代替，兩次卷積使用同一個1維模板，先沿豎直方向進行卷積，計算出結果后再沿水平方向進行卷積，以求得最終結果。這樣將1維卷積中的重復部分除去，將圖像處理的5n2次乘加減少為8n次乘加，結合灰度重心粗提取，在粗提取的條紋附近自動分割出條紋所在區域作為圖像處理區域，做此優化后，可大幅減小算法的運算量，并保證Hessian矩陣算法的精度。

本文中提出的優化條紋處理方法，結合灰度重心粗提取，在粗提取的條紋附近自動分割出條紋所在區域作為圖像處理區域，依據條紋寬度在整條條紋取邊緣整像素坐標后左右各取N個像素點，即為該段圖像的處理區域，如果條紋是分段的，則處理區域也分段處理。在選出的所有區域內使用1維高斯卷積代替2維卷積求得相應的Hessian矩陣，根據Hessian矩陣計算出每點對應的條紋法線方向，在此方向上進行泰勒展開計算出極值點，即為亞像素級的激光條紋中心坐標。

設求取Hessian過程中，g(x，y)為N階高斯卷積模板，G(x，y)為高斯函數的 2 階偏導，I(x，y)是以(x，y)為中心、大小為N×N的圖像矩陣，Ixx，Ixy，Iyy為高斯函數的2階偏導與圖像的卷積，Hessian矩陣可表示為:

同理可求得Ixy和Iyy。

求得Hessian矩陣后，可根據Hessian矩陣的特征值和特征向量得到條紋的法線方向。圖像上點(x0，y0)的法線方向由該點2階方向導數絕對值取極大值的方向得到，即為其Hessian矩陣最大特征值的絕對值所對應的特征向量(nx，ny)。求得法線方向后將此點圖像灰度分布函數沿該方向2級泰勒展開，表示為I(x0+tnx，y0+tny)，光條灰度值在該方向上近似呈現高斯分布，光強越大，越靠近光條中心，因此求出該方向上的灰度極值，即當I(x0+tnx，y0+tny)的1階導數為0 時，得到的點 (x0+tnx，y0+tny)即為點(x0，y0)法線方向上對應的亞像素條紋中心點，該點的切線方向即為條紋方向。其中，Ix和Iy為高斯函數的1階偏導與圖像的卷積，且:

Fig.3 Processing area

圖3a為原算法處理區域，圖3b為本文中算法處理區域。本文中算法只在圖3b所示的處理區域內對條紋進行高斯卷積計算，相比原算法對如圖3a所示的處理區域進行計算，大大減小了運算量，并保證了Hessian矩陣算法的計算精度，實現了激光條紋的快速提取。

2.5 本文中算法流程圖

算法及系統流程圖如圖4所示，圖5是焊接機器人實時引導流程。

Fig.4 Algorithm flowchart in this article

Fig.5 Flowchart of welding robot real-time guidance

3 實驗與分析

根據以上算法，在自制6410開發板上進行了實驗驗證。實驗分為三部分:(1)采用優化Steger方法提取激光條紋實驗;(2)與Steger算法比較試驗;(3)算法精度驗證實驗。

3.1 硬件系統設計［13］

考慮傳感器要完成圖像采集和圖像處理工作，并與機器人進行實時通訊，還有激光器的控制工作，并基于系統對算法的高處理速率、實時性和多任務處理的要求，以及系統后期的可擴展性，因此選用ARM11平臺、SAMSUNG公司的S3C6410核心芯片進行硬件設計，S3C6410主頻可達667MHz，運算能力強、功能齊全、開發資料豐富、可擴展性強。該系統采用底板加核心板的硬件結構，節約空間，可完成柔性傳感器的設計。該系統包括以下幾個模塊:采集模塊采集電荷耦合器件(charge coupled device，CCD)相機拍攝的圖片信息;存儲模塊用于存儲圖片信息和其它信息(存儲模塊包括NAND FLASH閃存和雙倍速率同步動態隨機存儲器(double data rate synchronous dynamic random access memory，DDR SDRAM));通信模塊用于與機器人和激光器的實時通信(通過局域網(local area network，LAN)進行數據傳輸，通過通用輸入輸出端口(general purpose input output，GPIO)控制激光器開關);調試模塊用于開發階段的調試工作，包括通用異步收發傳輸器(universal asynchronous receiver/transmitter，UART)，其中 6410 有1個RS-232C標準(electronic industry association recommended standard 232，EIA-RS-232C)串口和3個晶體管-晶體管邏輯電平(transistor-transistor logic，TTL)串口，通用串行總線(universal serial bus on-the-go，USB OTG)端口和聯合測試行為組織(joint test action group，JTAG)3種端口。各個模塊由ARM內核通過AHB系統總線(advanced high performance bus，AHB)進行控制，系統圖如圖6所示。

Fig.6 Hardware framework

3.2 軟件系統設計

采用穩定性好、資源豐富易開發的Linux系統平臺，并以V4L2作為視頻驅動框架，進行應用程序設計:傳感器上電自啟動，等待機器人進入預設位置的命令后開始進行測量任務，使用V4L2的用戶層接口函數來完成圖像采集工作，進行激光條紋中心提取，進行數據處理后算出機器人偏移位置數據，機器人接到數據后調整位置進行焊接，之后再進入下個焊接任務點以完成整個焊接任務。

3.3 激光條紋提取實驗

激光條紋提取實驗在自制6410開發板平臺上進行，將傳感器與PC機相連，將處理后的圖片和數據通過socket網絡傳給PC機進行數據分析。選用工作距200mm、波長635nm的激光器投射激光，選用Toshiba Teli Corporation CCD工業相機采集圖像，在室內環境條件下，以特征孔為被測對象，將激光條紋打到被測孔特征上進行實驗驗證。采用本文中算法進行激光條紋中心提取，進行高斯卷積時取σ=1.5，n=3，進行精提取時取N=3，圖像像素大小設置為768×576，如圖7所示，采用本文中算法進行中心提取后的圖像如圖8所示，圖中包括原始圖像和提出的條紋中心。

Fig.7 Stripe images to be processed

Fig.8 Extraction results of stripe

3.4 與Steger算法比較實驗

3.4.1 精度比較實驗 對圖7中的條紋圖像進行處理，并對Steger方法和本文中算法的提取精度進行了分析比較，實驗結果如表1所示。由表1可知，本算法與Steger算法之間的誤差約為0.071pixel，具有很好的精度。

Table 1 Comparison of stripe center extraction accuracy

Fig.9 Image of single linear stripe

3.4.2 運算速率比較實驗 對圖9所示的單線狀條紋圖像進行處理，并對Steger方法和本文中算法的運算速率進行了分析比較，理論上卷積運算量Steger方法有5n2×768×576=19906560次乘加，本文中的算法有8n×7×576=96768次乘加，Steger算法是本文中算法的200多倍。實驗結果如表2所示，本文中算法提取速率比傳統Steger方法提高100多倍，運行速率大幅提升，滿足系統要求。

3.5 精度驗證實驗

為了防止連續采集圖像時存在圖像重疊，采集的圖像有黑邊、圖像抖動和圖像純在黑邊的現象，本文中對6410相機接口、TVP5150寄存器及相機驅動進行優化設置，保證圖像采集的穩定性。

(1)設置TVP5150部分BT656輸出。

(2)設置6410驅動部分為interlace模式、BT656格式、設置為720像素×576像素，每場為720像素×288像素，交替輸出。

(3)設置應用程序為768像素×288像素格式，識別BT656的F位;偶數場存在0，2，奇數場在1，3。最后奇偶場合并為一幀。

Linux V4L2驅動為camera接口申請4塊內存，由于相程序讀取速率約為相機寫入速率的4.5倍，為了在取多幅圖像時防止內存中的數據在完全讀出之前被新數據洗掉，本文中采用相機等待一場圖像捕捉完畢后停止捕捉來采集圖像，采集完畢后再開始捕捉的方法。以此方法可以保證采集圖像的穩定性及對激光條紋提取算法驗證的可靠性。

以此方法對本文中的算法進行重復性實驗，在相同環境中，對條紋圖像進行多幅連續拍攝，計算出的每幅條紋圖像的中心線理論上均應相同，而實際情況由于多種原因而有誤差:硬件系統的制造誤差及實驗環境的影響導致每次采集的圖像不能保證完全相同;算法本身的誤差也會直接影響條紋提取的精度。現忽略了硬件系統及實驗環境的影響，且修改后的相機驅動不會影響圖片采集，直接分析本文中的算法對條紋精度提取的影響，實驗中取條紋圖像的第11行條紋進行多次中心提取分析，如表3所示，采用本文中的算法進行激光條紋中心提取，具有較小的重復性誤差。

Table 3 Repetitive experiments of the algorithm in this paper

4 結論

采用優化的Steger算法對激光條紋進行了亞像素級別的條紋中心提取，并在自制6410開發板上進行實驗驗證。該方法對圖像條紋進行預處理，并采用優化處理區域，提高了算法精度，大幅減小運算量，提升了算法運行速率。實驗結果表明，在保證Hessian矩陣算法高精度和高魯棒性的前提下，使用優化Steger算法進行激光條紋中心提取，精度高、速率快、魯棒性好，適合用于視覺測量系統實時引導機器人高精度焊接中。

［1］ CHEN H D，ZHOU G，WANG C J，et al.An algorithm for laser stripe matching based on the epipolar constraint［J］.Laser Technology，2003，27(6):584-587(in Chinese).

［2］ LI D，GENG N，KANG J N.Research on laser stripe centre extraction algorithm under complex background［J］.Computer Applications and Software，2013，30(3):271-273(in Chinese).

［3］ WU J Y，WANG P J，CHEN J H，et al.Method of linear structured light sub-pixel center position extracting based on gradient barycenter［J］.Journal of Image and Graphics，2009，14(7):1354-1360(in Chinese).

［4］ YANG J H，YANG X R，CHENG X Y，et al.Review of extracting the centers of linear structured light stripes for 3-D visual measurements［J］.Journal of Guangdong University of Technology，2014，31(1):74-78(in Chinese).

［5］ LIU Zh，LI Sh，FENG Ch.Laser stripe center extraction based on cross-correlation algorithm［J］.Chinese Journal of Lasers，2013，40(5):197-202(in Chinese).

［6］ SUN P Q，YANG Y Y，HE L L.An improved Gaussian fitting method used in light-trap center acquiring［J］.Electronic Design Engineering，2012，20(13):179-181(in Chinese).

［7］ HE Zh H，WANG B G，LIAO Y B，et al.Subpixel algorithm using a curve fitting method［J］.Chinese Journal of Scientific Instrument，2003，24(2):195-197(in Chinese).

［8］ STEGER C.An unbiased detector of curvilinear structures［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(2):113-125.

［9］ LI Y Y，ZHANG Zh Y，YUAN L.Survey on linear structured light stripe center extraction［J］.Laser＆ Optoelectronics Progress，2013，50(10):100002(in Chinese).

［10］ YANG W.Research on method for extracting center of structured light stripe［D］.Harbin:Harbin Institute of Technology，2009:6-31(in Chinese).

［11］ YU X J.Application of median filtering for removing image noise［J］.Computer Knowledge and Technology，2008，8(3):1795-1796(in Chinese).

［12］ HU K，ZHOU F Q，ZHANG G J.Fast extrication method for subpixel center of structured light stripe［J］.Chinese Journal of Scientific Instrument，2006，27(10):1326-1329(in Chinese).

［13］ ZHANG Q T，YANG XE Y，LIU T，et al.Design of a smart visual sensor based on fast template matching［J］.Chinese Journal of Sensors and Actuators，2013，26(8):1039-1044(in Chinese).