耳溫計檢定系統機械臂位姿自動修正方法研究

摘" 要： 針對耳溫計自動檢定系統中機械定位隨機偏移的問題，提出一種基于機器視覺的機械臂位姿自動修正算法。在恒溫槽基準位建立機械臂運動的基準參考坐標系，在此坐標系下設計機械臂作業路徑動作；系統作業過程中，通過定位恒溫槽上的特征圖案生成變換矩陣，產生新參考坐標系；機械臂來到新參考坐標系下拍照，反推變換矩陣偏差值并對其迭代更新；通過對機械臂運動的參考坐標系進行修正，完成對機械臂三維作業的位姿修正。實驗結果表明，所提算法對恒溫槽上3個平面的定位精度達到0.5 mm以內，為相似場景下的視覺引導提供了一種新思路。

關鍵詞： 耳溫計； 檢定系統； 機械臂； 位姿修正； 恒溫槽； 手眼標定

中圖分類號： TN911.23?34； TP242" " " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）08?0090?05

Research on automatic correction method for pose of mechanical arm in ear thermometer verification system

ZHAO Zihui1， ZHANG Yupei2， CHEN Yibing1， CAO Songxiao1， TANG Jianbin1， XU Zhipeng1

（1. College of Metrology and Measurement Engineering， China Jiliang University， Hangzhou 310018， China;

2. Zhejiang Institute of Metrology， Hangzhou 310063， China）

Abstract： In allusion to the problem of random deviation of mechanical positioning in the automatic ear thermometer calibration system， an automatic correction algorithm of mechanical arm pose based on machine vision is proposed. In the reference position of the thermostat tank， the reference coordinate system for the movement of the mechanical arm is established， and the operation path action of the mechanical arm is designed under this coordinate system. During the operation of the system， the transformation matrix is generated by locating the feature pattern on the thermostat tank to generate a new reference coordinate system. The robotic arm can take photos in a new reference coordinate system， to deduce the deviation value of the transformation matrix， and iteratively update it. By correcting the reference coordinate system for the motion of the robotic arm， the three?dimensional operation pose of the robotic arm is corrected. The experimental results show that the positioning accuracy of the proposed algorithm for three planes on the constant temperature bathcan reach within 0.5 mm， providing a new approach for visual guidance in similar scenarios.

Keywords： ear thermometer; verification system; mechanical arm; pose correction; constant temperature bath; hand?eye calibration

0" 引" 言

機器視覺與機械臂相結合，使機械臂在自動化領域有了更加廣闊的應用前景[1?3]。通過視覺技術，可根據作業場景對機械臂作業位姿進行修正[4?5]。通常，采用3D相機獲取目標點的三維信息，對機械臂三維位姿進行修正；采用2D相機獲取目標點在某平面的二維信息，對機械臂在某一個平面內的位姿進行修正。

王稼祥等利用雙目結構光相機獲取三維點云數據，引導自動化系統進行低壓渦輪軸裝配[6]。張良安等通過雙目結構光視覺系統獲取螺栓三維點云信息，識別其在空間中的位姿，引導機械臂末端進行自動裝配擰緊[7]。董大釗等提出一種基于單目視覺的機器人裝配位姿在線校正算法[8]，采用相機拍照，獲取機械臂夾取工件后工件的二維位姿，將工件位姿校正量分解為原始位姿差、旋轉引入位姿差及殘余位姿差三部分，再將這三部分位姿誤差補償量反饋給機器人，以引導機器人完成裝配。

針對在研的耳溫計檢定系統具有成本有限、精度要求不高的特點，本文提出一種基于2D視覺的機械臂三維位姿自動修正方法。

1" 系統組成及工作原理

耳溫計檢定系統示意圖如圖1所示。系統硬件部分包含恒溫槽、二等鉑電阻、測溫電橋、托盤、機械臂、機械臂末端結構（智能相機、氣缸、柔性夾具、按鍵機構）等。其中，機械臂選用埃斯頓ER12?1510型號六軸機械臂，重復定位精度為±0.03 mm；相機選用海康工業智能黑白相機，分辨率為1 024×1 408。系統通過上位機控制機械臂運行，控制相機取像，獲取測溫電橋測得的溫度真值；通過機械臂程序控制機械臂末端夾具及按鍵機構；通過視覺處理程序對所獲圖像進行處理并計算，獲取相應的修正信息。

機械臂從托盤上夾取耳溫計并將其傾斜放置于恒溫槽的支架上，使其探頭垂直于恒溫槽上的黑體空腔。之后在末端采用按鍵機構對耳溫計按鍵，并用智能相機拍照，識別耳溫計顯示屏溫度后將其放回原位。經過長期使用后，機械臂與恒溫槽相對位置發生改變，所以需對機械臂三維作業位姿進行修正。機械臂末端與恒溫槽上表面如圖2所示。黑體空腔表面示意圖直徑為10 mm，耳溫計探頭直徑為6 mm，綜合考慮機械臂及末端機構的定位精度以及視覺系統的檢測能力，系統綜合定位精度應優于1 mm。

解決該問題的難點如下：

1） 系統采用單目相機對物體進行定位，單目相機通常僅用于對空間中某一平面上的物體進行定位，無法識別物體在空間中的三維信息。

2） 機械臂末端夾具、按鍵機構、智能相機與機械臂末端TCP不共軸，即使得到目標三維位姿信息后，也需根據按鍵機構、夾具、智能相機與機械臂末端TCP的相對位置參數以及耳溫計機身尺寸參數，求解機械臂位姿修正值，而多個參數的引用會降低位姿修正的精度。

為此，本文提出一種機械臂位姿自動修正方法，通過視覺算法迭代修正機械臂運動的參考坐標系，實現對機械臂路徑動作的自動修正。

2" 機械臂基準參考坐標系及手眼標定

2.1" 建立機械臂基準參考坐標系

機械臂基座坐標系[{Wo}]是機械臂內部自帶的坐標系，基準參考坐標系[{Wu}]是由使用者創建的，兩者可通過平移和旋轉相互轉換[9]，轉換關系如下：

[xoyozo1=RT0T1xuyuzu1] （1）

式中：[R]為[3×3]的旋轉矩陣；[T]為[1×3]的平移向量。

為方便建立機械臂基準參考坐標系，在恒溫槽上表面貼上Mark點，Mark點示意圖如圖3所示。以Mark點中心點作為基準參考坐標系[{Wu}]原點，Mark點中心延展的2條互相垂直的直線分別作為[x]軸、[y]軸，建立機械臂運動的基準參考坐標系{[Wu]}。采用三維向量描述Mark點在該坐標系下的位姿，記作[[x，y，ε]T]，[[x，y]T]為Mark點中心點在[XOY]平面的坐標，[ε]為Mark點旋轉角度，Mark點基準位姿為[[0，0，0]T]。

2.2" 手眼標定

系統采用九點標定技術，機械臂末端攜帶相機移動9個點位，建立基準參考坐標系和像素坐標系的轉換關系，公式如下：

[rc1=cosθ-sinθ0sinθcosθ0001SxxuSyyu1+txty0] （2）

式中：[Sx]、[Sy]分別為[x]軸、[y]軸方向的縮放比例；[tx]、[ty]分別為[x]軸、[y]軸方向的平移量；θ為對應的旋轉角度；[r]、[c]表示像素坐標；[xu]、[yu]表示基準參考坐標系下機械臂在[XOY]平面的二維坐標。

3" 參考坐標系迭代方法

建立基準坐標系，確立其余像素坐標系的轉換關系后，在基準位置，以基準參考坐標系作為機械臂運動的參考坐標系，設計機械臂攜帶耳溫計對恒溫槽測溫的路徑動作。因為設計的路徑動作與其參考坐標系間的相對位置關系具有不變性，所以針對恒溫槽位置發生改變的情況，可通過修改機械臂運動的參考坐標系對機械臂三維位姿進行修正。

坐標系間轉換關系如圖4所示。

3.1" 生成新參考坐標系

恒溫槽偏移和旋轉的情況在理論模型上可簡化為Mark點在基準參考坐標系[{Wu}]中[XOY]平面的坐標變換。機械臂到達基準參考坐標系下的拍照點，拍照并通過模板匹配算法定位圖像中的Mark點[10]，進行手眼轉換[11]，得到Mark位姿[[x y θ]T]，將其與Mark點基準位姿[[0 0 0]T]作差，即可得到位姿差[[Δx Δy α]T]，如下所示：

[[Δx Δy α]=[x y θ]-[0 0 0]]" （3）

Mark點為基準參考坐標系坐標原點，其僅在XOY平面平移旋轉，如圖5所示。

故可根據位姿差[[Δx Δy α]T]生成新參考坐標系[{W'u}]，公式如下所示：

[x'uy'uz'u1=cosα-sinα0Δxsinαcosα0Δy00100001xuyuzu1=Txuyuzu1] （4）

在新參考坐標系[{W'u}]中進行基準參考坐標系下設計的路徑動作，機械臂內部通過式（1）和式（4）聯立轉換，即可實現位姿自動修正。

3.2" 新參考坐標系迭代修正

由于九點標定定位誤差[12]、相機畸變、模板匹配的識別誤差等干擾因素的存在，生成的新參考坐標系[{W'u}]存在誤差，所以需對參考坐標系迭代修正。令機械臂在新參考坐標系下拍照位拍照，定位圖像中Mark點坐標。拍照位置示意圖如圖6所示。

獲得Mark點在新參考坐標系下位姿[[m n q]T]，并與基準位姿[[0 0 0]T]作差，獲得坐標偏差[（ΔX，ΔY）T]和角度偏差γ如下：

[[ΔX ΔY γ]=[m n q]-[0 0 0]] （5）

已知，新參考坐標系[{W'u}]中坐標的偏移量與基準參考坐標系[{Wu}]中坐標的偏移量可由旋轉矩陣進行轉換，根據坐標偏差可求得修正值，如下：

[Δx'Δy'=cos（-α）-sin（-α）sin（-α）cos（-α）ΔXΔY] （6）

更新式（4）中變換矩陣[T]的參數如下所示：

[Δxi+1Δyi+1αi+1=ΔxiΔyiαi+Δx'iΔy'iγ'i] （7）

式中[i]為迭代次數。更新變換矩陣[T]參數后再次生成參考坐標系，機械臂到達新參考坐標系拍照位拍照，求解坐標偏差[（ΔX，ΔY）T]和角度偏差γ，若偏差小于設定最大允許值，參考坐標系迭代更新完畢；否則重復上述步驟，迭代更新參考坐標系，直至偏差小于設定值。

4" 實驗與分析

為驗證機械臂位姿自動修正方法在系統中的可行性，進行精度驗證實驗與重復性實驗。搭建的實驗裝置如圖7所示。在恒溫槽的3個平面上（面Ⅰ、面Ⅱ和面Ⅲ）貼上激光定位紙，且將一支紅色激光筆固定在機械臂的末端。實驗流程如下：示教機械臂使激光筆光斑質心對準3個平面上的定位點，由此得到3個示教點；考慮到相機單像素精度為0.017 mm，并結合實驗實際情況，設定算法中最大允許值分別為0.02 mm、0.02 mm和0.04°；調整恒溫槽位置5次，每次恒溫槽旋轉角度在-20°～20°之間，平移距離在-8～8 cm之間；令機械臂迭代修正參考坐標系，修正完畢后，來到3個示教點，用相機拍攝圖像，記錄激光點與定位點的位置關系。

完成實驗后，對所拍攝的圖像進行處理，處理過程如圖8所示。以2條直線的交點作為定位點，通過直線檢測算法[13]獲得定位點的像素坐標[（x1，y1）T]；通過邊緣檢測算法和blob分析法[14]，求得激光筆光斑的質心的像素坐標[（x2，y2）T]。

由式（8）即可求解坐標偏差值[d]。

[d=k（x2-x1）2+（y2-y1）2] （8）

式中：[k]為單位像素精度，取0.017 mm。實驗所得坐標偏差數據如表1所示。

根據表1可以得知，機械臂在重復性定位精度為0.03 mm的情況下，在迭代更新參考坐標系后，對于面Ⅰ、面Ⅱ和面Ⅲ均實現了0.5 mm以內的定位精度，滿足系統所需精度要求。

5" 結" 語

針對機械臂與恒溫槽相對位姿相對于示教時有較大偏差這一問題，本文提出機械臂位姿修正算法，增強了耳溫計檢定系統的魯棒性。該方法通過視覺技術迭代更新機械臂運動的參考坐標系，從而實現機械臂檢定動作的位姿修正，具有成本較低、適應性強等特點。實驗結果表明，提出的方法定位精度達到0.5 mm。

注：本文通訊作者為徐志鵬。

參考文獻

[1] 陳贇.我國工業自動化行業產業鏈技術水平和差距分析及發展對策[J].科學發展，2022（10）：30?36.

[2] 丁博，付秀蓉，宗成龍.探究工業產業背景下機械制造及其自動化的發展方向[J].內燃機與配件，2021（2）：154?155.

[3] AZARMIPOUR M， HANA R， KLEINERT T. An IT?OT integration concept for flexible process automation： Virtualization of industrial control systems for application in the process industry [J]. at?Automatisierungstechnik， 2023， 71（5）： 403?411.

[4] YANG X， CHEN F， WANG F， et al. Sensor fusion?based teleoperation control of anthropomorphic robotic arm [J]. Biomimetics， 2023， 8（2）： 169.

[5] SIAO C Y， CHEN M H， WANG S Y， et al. Telemedicine medical ultrasonic system based on robotic arm [J]. Sensors and materials， 2022， 34（6）： 2181?2188.

[6] 王稼祥，陳坤勇，江錄春，等.基于視覺引導的航空發動機低壓渦輪軸自動化裝配系統研究[J].機械設計與研究，2021，37（3）：94?100.

[7] 張良安，李鵬飛，謝勝龍.雙目結構光視覺引導的螺栓自動裝配系統設計[J/OL].計算機集成制造系統：1?19[2023?11?02].http：//kns.cnki.net/kcms/detail/11.5946.tp.20230104.1056.005.html.

[8] 董大釗.渦旋式汽車空調壓縮機動盤自動裝配系統研究[D].杭州：浙江大學，2021.

[9] FOGLI D， GARGIONI L， GUIDA G， et al. A hybrid approach to user?oriented programming of collaborative robots [J]. Robotics and computer?integrated manufacturing， 2022， 73： 102234.1?102234.16.

[10] 彭剛，熊超，夏成林，等.一種基于Mark點的點膠機器人視覺目標定位方法[J].智能系統學報，2018，13（5）：728?733.

[11] 王耀南，江一鳴，姜嬌，等.機器人感知與控制關鍵技術及其智能制造應用[J].自動化學報，2023，49（3）：494?513.

[12] 鄭啟強.基于視覺引導的工業機器人貼標系統研究[D].福州：福建工程學院，2020.

[13] 刁燕，吳晨柯，羅華，等.基于改進的概率Hough變換的直線檢測優化算法[J].光學學報，2018，38（8）：170?178.

[14] 趙朗月，吳一全.基于機器視覺的表面缺陷檢測方法研究進展[J].儀器儀表學報，2022，43（1）：198?219.

作者簡介：趙子惠（1999—），女，黑龍江鶴崗人，碩士，主要研究領域為儀器儀表檢定與機器視覺。

徐志鵬（1982—），男，安徽潛山人，博士，副教授，研究方向為精密運動控制、高壓氣動元件及系統。