工業機器人加工軌跡雙目3D 激光掃描成像修正方法

趙立明，龍大周，徐曉東，張毅，馮陽，李芳芳

（重慶郵電大學 先進制造工程學院，重慶 400065）

機器人與智能制造是國家制造2025 的主攻方向和工業4.0 的核心技術，為實施制造業創新驅動發展戰略和加速制造業轉型升級提供有利支撐。傳統的工業機器人工作過程主要以示教或離線編程的方式執行預定指令，不利于加工柔性和智能化程度的提高[1-3]。機器人按預先編制的模式工作，當環境變化不被機器人感知時，容易造成加工誤差，無法滿足產品質量要求，或增加產品報廢率，影響企業產品質量等級或增加生產成本。因此，基于實時信息感知反饋的機器人柔性位姿控制，是提高機器人智能化水平和產品質量的有利條件[4-5]。機器人智能化程度的提高有賴于傳感器技術和信息技術的發展，其中，將機器視覺感知與機器人反饋控制技術相結合，有效利用視覺傳感器信息感知能力，自適應地控制機器人執行決策，已成為提高機器人柔性和智能化水平的一個重要支撐條件[6-7]。

機器人視覺伺服控制研究領域涉及圖像處理、模式識別、機器人運動學、機器人動力學以及控制理論等。20 世紀90 年代以來，基于信息感知的工業機器人柔性加工方法得到廣泛的關注并進入快速發展階段[8]。基于視覺的機器人控制形式在很大程度上克服了機器人自身、視覺系統以及外部環境的不確定性，使機器人定位和跟蹤精度有極大的提高。Espiau 等[9]較早地開展了機器人視覺伺服控制算法的研究。Belousov 等[10]基于計算機網絡遠程控制方式對機器人實時目標抓取技術進行了研究，并采用仿真技術研究了目標定位和運動軌跡跟蹤方法。Chaumette 等[11]提出了基于21/2D 視覺伺服控制方法，對視覺伺服經典控制方法進行了優化，并開展了機器人工業應用測試。Schmidt 等[12]采用“眼在手”方式，將單目相機固定于機器人末端，通過在工件表面粘貼標記物實現定位抓取，目標標記方式可有效提高檢測和控制精度。尹湘云等[13]基于支持向量機回歸的機器人視覺定位，簡化了控制策略并提高了機器人的控制精度。Ishibashi 等[14]提出了基于雙目立體視覺的機器人定位方法，實現了目標對象的快速、非接觸三維定位，但該方法存在特征點難以匹配，較適合于特征點顯著的目標物體。Wilson等[15]將單目攝像頭安裝在機器人執行器末端，借助物體已知特征點，通過擴展卡爾曼濾波器，研究了軌跡控制和目標跟蹤技術，該方法可在動態環境中具備一定的可靠性。陳影等[16]采用點云切片法得到熔覆路徑上的點集，運用非均勻有理B 樣條擬合得到加工點的曲線，從而得到槍頭的運動軌跡，該方法提高了算法實現的可行性和可靠性。Park 等[17]采用厚度映射法對物體表面進行三維重建，同時生成磨削路徑，主要應用于船舶和飛機螺旋槳磨削加工，該方法驗證了機器人數字化對大型雕刻面進行重塑和刀具路徑生成的有效性。董鈴等[18]采用基于三維視覺的激光再制造機器人離線自動編程系統，采用梯度重心法提取激光條紋的中心線，依據極限幾何理論進行特征匹配，根據三角原理得到零件的表面點云數據，該算法在一定程度上提高了測量精度，具有較好的理論和實用價值。

目前，在面向工業應用的機器人手眼協調技術領域，由于存在外界光照干擾或加工工件形狀復雜等因素，提高機器人動態環境適應能力和實現精確路徑引導技術仍是研究熱點。其中，機器人手眼關系標定、視覺有效信息獲取、成像與控制模式以及視覺檢測控制精度等仍需開展進一步的研究工作。本文鑒于前人的研究成果，以激光切割機器人視覺引導為研究背景，為克服環境光照干擾、切割工件形狀復雜以及檢測和控制精度低等問題，提出了一種基于雙目CCD 激光掃描3D 成像的“眼在外”(Eye-to-hand:ETH)工業機器人末端(TCP)運動軌跡在線修正方法。以激光切割機器人視覺引導為研究背景，降低加工過程機器人對物理工裝定位精度的依賴。首先，為提高機器人視覺控制精度，研究了目標工件雙目3D 激光掃描成像空間點云坐標精確提取方法；其次，融合ETH 控制特點和掃描成像系統結構，建立了一種機器人TCP 運動軌跡相對偏差在線補償方法。該方法可用于混合多形狀物料的識別、抓取與分揀工作。

1 實驗系統構建

1.1 手眼關系與目標檢測方法

文中機器人視覺信息反饋系統采用了眼在外獨立工作方式(Eye-to-hand)，因此，利用檢測坐標點調整機器人末端執行器姿態，需將工件坐標系和機器人末端執行器坐標系統一到基坐標系下，確定機器人基座坐標系B和攝像機坐標系D之間的變換關系，轉換關系矩陣可由手眼標定完成[19-20]。本系統由于采用雙目激光掃描方式，因此，為便于確定手眼關系，在系統中定義了兩個已知坐標原點，如圖1 所示，一是由示教獲得的機器人工作原點，二是雙目3D 掃描成像系統掃描原點(雙目CCD 3D 點云數據在系統結構不變的情況由ICP 算法進行一次配準，并確定配準變換矩陣參數不變)。基于以上定義可知，系統中視覺坐標系D與機器人基坐標系B位姿相對固定，基坐標系B與工具中心坐標系之間的轉換矩陣可由機器人內部參數確定，位于工作原點中的工具中心點坐標系T1與掃描原點視覺成像坐標系V可通過一次標定獲得并確定不變。此處，為便于計算，特將視覺坐標系原點V定義在掃描原點，在雙目激光掃描系統標定過程中，將被掃描目標點云坐標確定在V坐標下，具體檢測方法不作為本文重點論述。因此，掃描獲得的目標物體上某一點p(xi,yi,zi)可通過式(1)獲得：

式中：BPp為掃描點位于機器人基坐標系下的坐標；為機器人末端工具中心點姿態；為定義的雙目掃描視覺坐標系與工具中心點坐標系轉換關系矩陣；V Pp為目標掃描點位于在掃描原點定義的視覺坐標系中的坐標值，此處，掃描原點為雙目掃描系統歸零點，即系統掃描開始和結束編碼器指定位置。

依據正運動學求解過程，圖1 中目標坐標系內點P，在視覺坐標系內為V P，通過旋轉和平移變換可獲得該點在機器人基座坐標系B中的坐標值，變換式可表示為

圖1 系統手眼坐標系空間轉換關系Fig.1 Spatial transformation relationship of system hand to eye coordinate system

對式(2)和(3)引入齊次坐標變換矩陣如下：

圖2 手眼標定關系Fig.2 Hand-eye calibration relationship

由以上推導可知，通過運動學計算，將機械臂的各關節角度輸入到機械臂控制器，驅動機械臂完成指定任務。

通過機器人視覺引導工作過程可知，視覺系統檢測精度是提高機器人加工過程偏差修正可靠性的一個必要條件，本實驗系統采用主動成像方法，針對機器人所處光照不均、亮度變化環境下，對不同清晰度評價函數進行了理論分析和實驗研究，確定了激光線最佳成像方法。實現CCD 在不同光積分時間和聚焦(離焦)狀態下有效提取激光線調制信息變化情況，提高掃描系統在復雜變化環境下的魯棒性。基于此，實驗中同時考慮激光線成像清晰度曲線的單峰性和計算實時性因素，綜合對比不同圖像清晰度評價函數的清晰度指數計算結果，依據圖像清晰度變化的靈敏度響應，如圖3 所示，確定了基于Tenengrad 圖像梯度的清晰度自適應控制方法。

圖3 不同圖像清晰度評價函數清晰度計算響應結果對比Fig.3 Comparison of sensitivity response of different image definition evaluation functions

在實時獲取激光線清晰圖像的前提下，機器人工作目標點云的精確檢測取決于激光線調制信息的精確提取。本文對比研究了目前較為常用的結構光中心線提取算法，包括極值法[21]、Steger[22]算法、曲線擬合法[23]、模板法[24]以及本文確定的自適應灰度重心法[25]等。實驗中，依據所選激光線特征，首先對激光線條像使用高斯分布動態閾值進行自適應二值化處理，其閾值函數表達式如下：

式中：a、b、c為常數，且a>0，Tn表示激光線光帶離散閾值。

根據檢測實時性和檢測精度需求，文中對于激光線進一步單像素處理采用灰度重心法求出，其重心坐標表達式如下：

式中：(xo,yo) 為條紋中心坐標；I(i,j)是圖像上第i行第j列的灰度值。

特定環境下，算法的抗噪性能會影響檢測精度[26]，算法設計應根據所選激光線特征以及環境易變情況而定，一般不存在最優或通用性條紋提取算法。圖4 分別為最佳成像狀態下Steger 算法、模板法和文中算法激光先中心點提取結果。實際應用中，結構光輔助測量圖像中心線提取過程中，光條寬度越小、目標面對比度越高、平順性越好，算法設計性能會越高。

圖4 激光條紋提取形態對比Fig.4 Comparison of laser fringe extraction results

1.2 基于掃描3D 點云的姿態修正方法

通過雙目3D 激光掃描成像技術旨在實現被測件的三維形貌和笛卡爾空間姿態的精確檢測，輸出用于工具中心點位姿的旋轉和平移量，并將結果傳遞給機器人關節控制器修正執行器姿態。該方法便于實現基于圖像和位置的機器人混合視覺伺服控制，進一步保證了基于圖像和基于位置的伺服控制的優點(本文在該方面不做進一步論述)。圖5 為文中設計的基于雙目激光3D 掃描成像機器人加工點修正和控制方法示意圖。

圖5 基于雙目激光三維掃描成像的機器人控制方法Fig.5 Robot control method based on Binocular Laser 3D scanning imaging

該修正方法的優點在于結合了雙目激光掃描大視野低遮擋的三維量化檢測優勢，基于此，在被測目標z方向提取旋轉坐標時可采用兩個特征值獲得，其一是被測目標在z坐標方向的距離值；其二是結合目標投影畸變獲得。如圖6(a)、(b)所示，當目標定位存在偏差(如一側高于另一側)圖像將發生投影畸變，此時可根據畸變程度與標準圖形反推工件姿態。由于已獲得被檢測目標三維形貌，因此，被測件與計算機輸入的標準件在空間上可以快速進行匹配。另一方面是被加工件在二維平面中姿態的讀取，包括二維空間中的平移和旋轉量，如圖6(c)所示，讀取值為實際檢測值與標準定位圖像在二維平面的平移和旋轉偏差。

圖6 基于圖像信息檢測的目標姿態提取方式Fig.6 Image information detection-based approach to target attitude extraction

傳統的單目激光三角測量系統，對于復雜三維曲面其測量精度易受激光入射角影響，或在某些區域出現成像遮擋問題，產生視覺盲區。文中采用雙目掃描和圖像ICP 配準方式優化了成像空間，采用激光直射和雙目斜射掃描激光調制信息，并根據系統標定參數輸出被測目標點云坐標。對于機器人在工件上的連續工作路徑，通過選擇邊界特征點，采用NURBS 曲線擬合得到工件邊界曲線，擬合方法如下[27]：

式中：Wi為權因子；Di為控制頂點；Ni,k(u) 為B 樣條的基函數(i=0,1,···,n)，其定義如下所示：

式中：U=[u0u1u2···un+k+1]為節點矢量；k為樣條基的次數。

通常情況下，采用NURBS 曲線擬合，需要控制節點矢量、頂點以及權因子參數，其中，通過控制頂點的位置和數量可以更清晰地調整曲線的形狀，為簡化計算，假定權因子Wi=1，由于B 樣條的基函數滿足故式(12)轉化為

對于每個邊界測量離散點Pj，在進行曲線擬合時曲線上總有點P(uj) 與之對應：

為使擬合的曲線與離散點的偏差總和最小，偏差總和與控制頂點函數表示為

由式(12)～(15)，可以求解出各個控制頂點的值，故可以確定NURBS 擬合的工件邊緣路徑曲線。采用NURBS 進行修正點曲線的擬合，通過調整控制頂點和權值，可以實現復雜曲線的精確擬合。

通過擬合工件加工路徑的3D 特征點，可精確獲取機器人工作路徑的3D 空間姿態調整信息。根據加工路徑曲線擬合數據，完成修正點到機器人坐標系的轉化，實現檢測點和機器人控制點坐標系的統一。基于此，可通過已知檢測點的逆運動學求解，得到加工機器人各個關節旋轉角度，并由控制器輸出指令完成路徑引導。以圖1中已定義坐標系為例，機器人的末端坐標系為T0，工具坐標系為T1。取邊界測量數據中一點作為當前的加工點，其位置矢量為P，法向矢量為 υn，切向方向為該點到下一點的連線方向 υt，另設一個向量υe，使υe=υt·υn，則該加工點的坐標系相對于機器人基坐標系的轉換矩陣可表示為[28]

根據變換式，需要將檢測點的數據轉換成機器人位姿，轉換關系如下：

式中：Γ?1表示機器人的逆運動學模型；Θ=(θ1θ2···θ6)為機器人各個關節旋轉角。

因此，通過遍歷各加工路徑點，可獲得機器人位姿變化矩陣，并通過逆運動學求解各個關節的旋轉角度，串聯各個邊界測量點，完成機器人加工路徑引導。

2 實驗結果分析

本文通過搭建實驗平臺，采用越疆Dobot 機器人首先對三維混合物料抓取方法進行了實驗研究。通過物料的三維形貌測量實現機器人按形狀次序(同形狀按z值排序)控制夾具坐標系的空間定位。圖7(a)、(b)分別為軟件實驗系統和測試平臺，其中，雙目CCD 采樣頻率為14 幀/s(分辨率：2 592×1 944)。系統中主要采用雙目掃描檢測和三維形態坐標提取，與機器人形成閉環控制視覺引導系統，實現物料的識別、抓取和分揀工作。

圖7 雙目CCD 激光掃描成像混合物料識別與抓取實驗Fig.7 Identification and grab experiment of mixed materials based on binocular CCD laser scanning imaging

實驗2 為注塑件邊緣毛刺激光切割路徑加工點檢測與路徑曲線擬合實驗，圖8 為檢測目標三維形貌測量與點云坐標重構圖像，圖8(b)為目標雙目掃描與配準過程示意圖，系統中考慮到數據處理速度和系統剛性，配準過程中平移和旋轉矩陣參數均采用IPC 初始化方式進行確定，后續過程僅按確定參數進行配準以完成最終三維圖像生產。圖8(c)、(d)分別為三維掃描重構圖和機器人加工(機器人切割)路徑視覺引導三維空間坐標點。通過三維形態特征提取反映工件邊界的特征點，NURBS 擬合生成切割軌跡并進行視覺坐標系轉換到機器人基座坐標系的轉換，通過逆運動學求解，得到機器人一系列關節的角度，以此控制激光切割機器人進行末端位姿修正。

圖8 注塑件三維形貌掃描與加工路徑提取Fig.8 Three dimensional morphology scanning and machining path extraction on injection modeling object

實驗3 通過FANUC6 自由度工業機器人進行了實驗測試，基于雙目三維掃描方式提取的三維模塊邊界控制點對機器人工具中心點加工路徑進行引導。圖9 所示為機器人完成切割路徑引導后各個關節的角度變化曲線。通過實驗研究，證明采用雙目三維掃描成像與視覺伺服融合控制的方式，針對特定應用對象，有利于提高工業機器人三維曲面空間的加工柔性。

圖9 三維模塊邊界掃描與機器人路徑引導關節角度控制曲線Fig.9 3D module boundary scanning and robot path guide joint angle control curve

3 結束語

本文以激光切割機器人視覺引導為研究背景，為克服環境光照干擾、切割工件形狀復雜以及檢測和控制精度低等問題，基于工業機器人手眼協調控制理論，對機器人眼在外(Eye-to-hand)視覺引導系統的設計和控制方法進行了研究，提出了一種基于雙目CCD 激光掃描3D 成像的眼在外(Eye-to-hand)TCP 切割路徑在線修正方法。首先，為提高機器人視覺引導控制點的提取精度，研究了雙目3D 激光掃描成像目標工件空間點云坐標精確檢測方法；其次，融合Eye-to-hand 控制特點和三維掃描成像系統結構，構建了一種機器人TCP 運動軌跡在線視覺修正方法，并通過實驗研究對文中所提方法進行了驗證，文中方法同時可應用于機器人混合多形狀物料的識別、抓取與分揀工作，提高機器人的工作柔性程度，對工業實際應用奠定了基礎。