基于機器視覺的五軸點膠機工件定位算法研發

周慶懿，瞿佳偉，張春雷，

（1.四川大學 機械工程學院，成都610065；2.成都樂創自動化技術有限公司，成都610041）

在電子產品生產中，點膠機扮演著極其重要的角色[1]。例如PCB 電路板的電子元件粘結、智能手機外殼和攝像頭的固定等工業制造任務中無一不用到點膠機。由于工業產品中出現了越來越多的異形面、復雜空間曲線、曲面，導致普通的三軸點膠機不能很好地完成點膠任務，只能使用五軸點膠機來完成這樣的復雜任務，而五軸點膠機的工件定位和示教的任務復雜度和難度較大，使用傳統的專用定位夾具做工件定位和人工示教所帶來的成本高。結合當下機器視覺的應用領域和發展現狀，機器視覺技術是解決上述難題的不二選擇。

目前機器視覺工件定位的研究主要是針對于兩大類工件，一是平面工件[2-3]，主要用于流水線扁平工件的分揀工作，適用范圍有限，只能進行工件的二維平面定位；二是立體工件[4-5]，由于使用純視覺技術的限制，造成精度不夠高，一般在毫米級，因此主要用于機器手分揀任務。而在數控機床中的相關應用研究較少，且適用范圍比較局限，比如針對特定工件的特定加工環節視覺定位，如在花鍵加工中的應用[6]。

本文研究基于機器視覺的雙轉臺五軸點膠機床運動學模型，并選取工件表面定位特征點，結合運動學模型進行求解特征點的工件坐標，完成工件定位，求得的定位特征點兩兩實際物理距離與理論物理距離的平均誤差為7.5 μm。數控機床很多基本的結構相似，所以該定位方法還可以很容易地應用在其它數控機床中，可移植性較高。該方法部分研究結果已于2021年在成都樂創自動化技術有限公司正式投入使用。

1 工件定位算法原理

研究對象為雙轉臺五軸點膠機床，如圖1所示，相機安裝在Z軸滑臺上，它與五軸機床其它關鍵運動部件有著確定的運動關系，為了實現對工件的精確定位，求解工件在加工平臺上的位姿，首先需要使用張正友標定法[10]進行單相機標定，確定工業相機的相機內參與畸變系數，該方法比較成熟，可直接使用，然后確定相機和五軸機床中各個運動部件的運動學信息，建立運動學模型，最后基于該模型，結合工件定位特征點建立優化目標函數，使用LM優化方法求解特征點的工件坐標，完成工件定位。

圖1 雙轉臺五軸點膠機結構Fig.1 Structure of dual turntable five-axis machine

1.1 基于齊次坐標變換的理想運動學建模

基于視覺的五軸機床上的關鍵部件運動學關系可視為一條串聯運動鏈，如圖2所示，實線連接部分屬于物理連接，即運動部件之間的固聯關系，它們之間僅存在剛體變換運動，其中相機和針頭都安裝在同一滑臺上，相對位姿固定，可簡化為同屬一個部件；點畫線部分屬于非物理連接，由相機模型聯系[10]。加工平臺上的標定板世界坐標信息可以通過兩個途徑變換到相機坐標下，一是通過物理連接部分獲得，二是通過非物理連接部分獲得，非物理連接部分獲取的信息可以作為先驗信息應用于標定環節，因此首先需要對物理連接部分進行運動學建模，確定用于描述物理連接部分運動關系的數學模型，才能利用非物理連接部分的先驗信息對其進行關鍵參數的標定。

圖2 五軸機床運動鏈Fig.2 Kinematic chain of five-axis machine

齊次坐標變換可以描述空間中任意坐標系之間的相對位姿關系[7-8]，也可以表示空間點在不同坐標系下的描述之間的轉換關系。本文采用齊次坐標變換法來描述機床中各個關鍵部件之間的運動關系，即相對位姿關系，通過在各個部件上建立標準笛卡爾右手坐標系，用坐標系之間的齊次變換來描述部件之間的關系，坐標系示意圖如圖3所示。

圖3 五軸機床上的關鍵部件固聯坐標系示意圖Fig.3 Coordinate system of critical components in five-axis machine

理想運動學模型如式（1）所示，忽略所有機床誤差，若知道坐標系之間的相對位姿關系，便可知道它們之間的齊次變換矩陣，而物理連接部分屬于串聯關系，因此可以利用這些齊次變換矩陣，從標定點世界坐標出發，逐級變換到標定點在相機坐標系下的坐標。

式中：pV為空間點在｛V｝下的坐標；pW為世界坐標；為空間點從｛W｝下變換到｛C｝下的齊次變換矩陣，同樣也表示｛W｝坐標系相對｛C｝的位姿，以此類推。

標定板可看作加工工件，當把標定板固定在加工平臺上后，標定板與加工平臺的相對位姿不再發生改變，因此標定板坐標系｛W｝即是加工坐標系，不難看出，在五軸機床的運作過程中，標定點的世界坐標pW將不會發生改變。實際加工過程中，標定點在｛V｝下的坐標pV會因五軸機床的運動發生改變，而式（1）的齊次坐標變換模型中，齊次變換矩陣D描述了五軸機床運動鏈節點的靜態位姿關系和運動關系。

1.2 耦合PIGE 的五軸機床運動學建模

機床的幾何誤差按照與各運動軸位置的相關性分為兩類，一是位置無關幾何誤差元素PIGE（position-independent geometric error，PIGE）；二是位置相關幾何誤差元素PDGE（position-dependent geometric error，PDGE）。在本文中將忽略PDGE，僅考慮機床的PIGE。PIGE 誤差主要包含機床各運動軸的安裝誤差，包括平動軸的3 項垂直度誤差，旋轉軸的4項垂直度誤差以及4 項軸間距誤差[9]。

為了便于將誤差模型耦合到理想運動學模型中，同樣采用齊次坐標變換法進行誤差模型建模?？紤]到五軸機床中平動軸和旋轉軸的誤差項不同，因此可以將式（1）分解為式（2），分別對平動軸部分和旋轉軸部分進行誤差分析與模型建立：

式中：pY為標定點在坐標系｛Y｝下的坐標。

1.2.1 平動軸誤差運動學模型

在理想情況下，無PIGE 誤差，｛X｝，｛Y｝，｛Z｝三個平動軸滑臺固聯坐標系中的三坐標軸線均與機床基座坐標系｛M｝的坐標軸平行，機床復位時，以上各坐標系重合。此時考慮PIGE 誤差[9]，即運動軸安裝誤差，該誤差實質上是造成了運動軸相對于機床基座做剛體變換，部件上固聯的平動軸坐標系｛X｝，｛Y｝，｛Z｝同樣將產生相對｛M｝的剛體變換。因此在平動軸誤差運動學模型中，將乘上對應平動軸PIGE誤差項所帶來的剛體變換矩陣。平動軸誤差運動學模型如式（3）所示：

式中：EX，EY，EZ分別為PIGE 誤差所帶來的相對｛M｝的剛體變換矩陣。

由齊次變換矩陣的特性可知，該模型中的齊次變換矩陣可以耦合為一個齊次變換矩陣T，模型簡化為

式中：RM的物理意義為｛Y｝坐標系相對于相機坐標系｛V｝的旋轉。相機安裝好后，在機床運動中，相機與Y軸滑臺之間只做平動運動，不發生旋轉運動，因此可以想象RM是一個旋轉矩陣常量；tM的物理意義為｛Y｝相對于｛V｝的平移向量，該向量包含了兩個因素，一是由于機床做平動運動時引起的平移變換，二是由于PIGE 幾何誤差項引起的靜態誤差。因此tM是一個關于機床輸入坐標的線性函數，如式（5）所示：

式中：M3×4為映射矩陣。因此，對于平動軸誤差運動學模型只需標定出RM和M3×4兩個矩陣參數。

在實際標定過程中，機床僅作平動運動，旋轉軸不做轉動，Y軸滑臺與加工平臺相對靜止，假設此時的坐標系｛Y｝與標定板坐標系｛W｝重合，因此可以使機床僅作平動運動，拍攝足夠數量不同平動參數下的標定板圖像，用已經標定好的相機內參作為初始值，使用張氏標定法[10]求解對應圖像的單應矩陣，再根據相機內參矩陣解耦出每張圖像的外參矩陣，即｛W｝相對｛V｝的剛體變換矩陣，又因為｛Y｝與｛W｝重合，該變換矩陣實質也是｛Y｝相對相機｛V｝的變換矩陣。此時不難想象，由于機床僅作平動運動，每張標定板圖像對應旋轉矩陣RM理論上應該是常量，但由于圖像處理和計算會帶來隨機噪聲，導致這些旋轉矩陣存在微小偏差，因此可使用平均法求出所有旋轉矩陣的平均值作為標定結果，而求解出來的平移向量則是tM，根據式（5）和多組變換矩陣的平移向量，可構建超定方程組，最后利用最小二乘法可以求解出M3×4。

1.2.2 旋轉軸誤差運動學模型

旋轉軸運動將會導致原本重合的｛Y｝與｛W｝產生剛體變換，因此旋轉軸誤差運動學模型需要確定該剛體變換的具體形式。旋轉軸坐標系｛A｝與｛C｝的原點建立在實際旋轉軸線上的一點，假設｛A｝原點在｛Y｝下的坐標為ta，｛C｝的原點在｛A｝下的坐標為tc，旋轉軸A的實際旋轉軸線在｛Y｝下的方向向量為va，C的實際軸線在｛A｝下的方向向量為vc。不難想象，在這種模型條件下，若求解出原點ta，tc和方向向量va，vc，便能確定A，C軸的實際旋轉軸線分別在｛Y｝和｛A｝下的位置，兩直線之間的相對位姿則包含了PIGE 誤差項中的旋轉軸垂直度誤差與軸間距誤差。

假設機床旋轉軸的旋轉度數分別為a和c，由旋轉軸引起的｛Y｝與｛W｝之間的坐標變換可看作｛W｝繞直線（ta，va）旋轉a度，再繞（tc，vc）旋轉c度，并且在a，c為0 時｛Y｝，｛A｝，｛C｝坐標系三軸線分別相互平行。又因｛Y｝在未作旋轉運動時與｛W｝重合，有pY=pW，因此可以通過僅旋轉一根旋轉軸實現對相應旋轉軸的軸線參數標定。以A軸為例，標定過程推導如下：

｛W｝與｛Y｝的變換公式如式（7）所示，其中旋轉矩陣可由羅德里格斯公式求得，如式（6）所示：

式中：a為A軸旋轉度數；vaX，vaY，vaZ為va的分量。

此時相機拍下標定板的照片，根據相機成像原理可得：

聯合式（7）與式（8）：

根據前一步的標定結果，令機床此時的平動軸參數為［X，Y，Z，1］T，則：

根據式（9）和式（10）可得：

式中：R和t為每張圖像對應的外參矩陣，可同樣根據張正友標定法求得，RM和M3×4可由平動軸誤差模型標定求得，平動軸參數［X，Y，Z，1］T為已知量。因此采集n組僅做A軸旋轉的標定板圖像，可根據式（11）建立n個方程求出ta，RA，進而利用羅德里格斯公式反求出va。同理，在僅旋轉C軸時，可求得C軸軸線的方向向量vc，以及軸線上一點tc，完成旋轉軸誤差模型的標定。

1.3 綜合誤差運動學模型

此時增加兩個坐標系｛A0｝與｛C0｝。｛A0｝表示A軸未旋轉時的坐標系，｛C0｝表示C軸未旋轉時的坐標系，并且當旋轉軸參數a，c為0 時，｛A0｝，｛C0｝分別與｛A｝，｛C｝重合，此時以上坐標系的軸線分別與｛Y｝的三根軸線平行，因此通過上小節標定的旋轉運動軸實際旋轉軸線分別在｛Y｝與｛A｝下的方向向量va，vc，結合機床的串聯運動模型，不難想象無論A，C是否旋轉，它們的實際旋轉軸線在｛A0｝，｛C0｝下數值上是不變的。｛A0｝，｛C0｝分別與｛A｝，｛C｝之間的關系如式（12）所示，顯然，它們之間僅存在因旋轉產生的旋轉變換。

式中：Ra和Rc為對應旋轉軸旋轉動a，c產生的旋轉矩陣，對應旋轉軸線為上一小節標定所得的va，vc。綜合誤差運動學模型如式（13）所示：

由于該運動鏈包含視覺系統，因此可以通過相機模型建立像素坐標到加工坐標的齊次坐標變換模型，如式（14）所示：

基于該模型可建立優化目標函數，其中相機內參K的初始值可通過張正友相機標定法標定得出[10]，其余優化參數為齊次變換矩陣中的未知參數，如表1所示。pW為標定板信息，是已知量，pp可由圖像處理提取標定板Mark 點像素坐標獲得，因此可以通過圖像處理獲得的像素坐標作為先驗信息，使用非線性優化方法求解優化參數。

表1 綜合誤差運動學模型的齊次變換矩陣Tab.1 Homogeneous transfer matrix of integrated-error-kinematic model

1.4 工件定位算法

從綜合誤差運動學模型可推導出像素坐標與工件坐標之間的齊次變換關系，如式（14）所示，基于該模型建立工件定位優化目標函數，如式（15）所示：

其中，在上述運動學模型標定完成后，K相機內參和D變換矩陣為已知量，Zc深度信息和pW工件坐標，為未知量，作為優化參數，再對實驗零件4 個定位特征分別拍攝多張多視角圖像，通過圖像處理得到定位點像素坐標，作為先驗信息，通過LM 非線性優化可以得到定位特征的加工坐標信息，實現工件定位。實驗零件如圖4所示。

圖4 測試零件Fig.4 Test workpiece

2 實驗結果

2.1 五軸機床運動學模型標定實驗

該實驗通過RANSAC 法對數據樣本進行去噪[11]，并在此基礎上增加了RANSAC 參數搜索環節，利用處理后的數據樣本，使用LM 非線性優化方法進行各參數的優化以及未知參數的求解，算法流程如圖5 和圖6所示。

圖5 增加參數搜索環節的RANSAC+LM 算法流程Fig.5 Flow chart of RANSAC+LM algorithm adding parameters searching

圖6 LM 非線性優化流程Fig.6 Flow chart of LM nonlinear optimization

實驗迭代兩次時平均重投影誤差就從175 下降到了0.5 以下，最終得到平均重投影誤差為0.17像素的五軸機床綜合誤差運動學模型，迭代誤差如圖7所示。

圖7 運動學模型標定LM 迭代誤差Fig.7 LM errors of kinematic model

2.2 工件定位實驗

該實驗通過對建好的優化目標函數進行LM 非線性優化，得到工件定位特征點的工件坐標值最優解求解。定位結果如表2所示。

表2 工件定位特征點求解結果Tab.2 Solution result of workpiece-positioning-feature points

從標定結果的平均重投影誤差可以看出，該算法的重投影誤差在1 個像素左右。根據實驗工件的3D 模型可以得到4 個定位特征點之間的相對距離長度，以該長度作為理論長度，最后根據定位結果計算對應定位特征點之間的實際長度，做誤差分析得到長度平均誤差為0.0075 mm，也就是7.5 μm。

3 結語

本文提出了一種基于機器視覺的五軸機床運動學模型標定算法，以及基于該模型的工件定位算法，該算法可解決五軸點膠機的工件定位問題，減少專用定位夾具的必要，降低工件裝夾定位要求，該方法稍加修改后可應用于三軸或四軸等其它類型數控機床、工業機器人、抓取機械臂等場景，為剛體變換場景中運動模型標定以及目標定位問題提供了一種基于機器視覺技術的解決方案。但該方法標定過程中需要人工采集大量標定圖像，并且最后僅用到了求解出的加工坐標信息，而深度信息未利用到，因此在今后的工作中可以繼續圍繞圖像采集自動化、充分利用該算法中求解的深度信息解決其它合適的工程問題這兩個問題深入研究，進一步改進和擴展該算法。