基于機器人的對接位姿視覺測量系統(tǒng)標(biāo)定研究

葉晗鳴， 阮洪浩， 王逍遙

（1.北京航空航天大學(xué)機械工程及其自動化學(xué)院， 北京100191； 2.江南造船（集團）有限責(zé)任公司， 上海201913）

0 引言

近年來，隨著機器視覺領(lǐng)域的快速發(fā)展，基于機器視覺測量的大部段位姿測量技術(shù)，憑借其智能、高效、高精度的特點，在船舶部段對接、飛行器裝配等領(lǐng)域的應(yīng)用日益廣泛[1]。 而在基于機器視覺的位姿測量技術(shù)中，為了獲得目標(biāo)在某一指定坐標(biāo)系下的位姿， 需要對兩個重要參數(shù)進行標(biāo)定： 決定相機投影過程的相機內(nèi)參矩陣和確定相機坐標(biāo)系與指定坐標(biāo)系間位姿關(guān)系的相機位置參數(shù)。傳統(tǒng)的做法中，相機內(nèi)參矩陣的通過張正友標(biāo)定法[2]等內(nèi)參標(biāo)定方法獲得， 而相機坐標(biāo)系與指定坐標(biāo)系間位姿關(guān)系，也即相機位置參數(shù)的標(biāo)定需要通過全站儀、激光跟蹤儀等尺寸測量系統(tǒng)實現(xiàn)[3]。 兩個步驟彼此割裂，操作復(fù)雜繁瑣。為此，本文以基于合作目標(biāo)的船體大部段對接位姿視覺測量應(yīng)用為例， 設(shè)計了一種基于機器人的視覺測量單元標(biāo)定方法， 一次性完成相機內(nèi)參標(biāo)定和相機位置參數(shù)的標(biāo)定。 在確定機器人末端執(zhí)行器中心與測量單元底座坐標(biāo)系原點位姿關(guān)系的基礎(chǔ)上， 通過操作機器人拍攝一組標(biāo)定板照片， 解算末端執(zhí)行器坐標(biāo)系與相機坐標(biāo)系的轉(zhuǎn)換關(guān)系，以及相機內(nèi)參，最終獲得相機內(nèi)參矩陣以及相機位置參數(shù)。

1 位姿視覺測量系統(tǒng)坐標(biāo)系關(guān)系

典型的基于合作目標(biāo)的大部段對接位姿測量系統(tǒng)場景示意圖如圖1 所示。

圖1 大部段對接位姿實時測量系統(tǒng)組成示意圖

通過在兩部段的對接端面上設(shè)置視覺測量單元及對應(yīng)的合作靶標(biāo)，根據(jù)視覺測量單元中相機采集到的靶標(biāo)圖像， 在對接過程中實時解算相機坐標(biāo)系與靶標(biāo)板坐標(biāo)系間相對位姿關(guān)系；再根據(jù)提前標(biāo)定好的相機坐標(biāo)系、靶標(biāo)坐標(biāo)系與其所在部段坐標(biāo)系的位姿關(guān)系，即可計算出對接過程中兩部段坐標(biāo)系間位姿關(guān)系，實現(xiàn)對大部段對接過程的位姿測量。

在實際標(biāo)定過程中， 為了保證視覺位姿算法解算結(jié)果的收斂性， 往往需要多次變換靶標(biāo)板與相機的相對位姿關(guān)系，需要使用全站儀等測量設(shè)備進行多次測量，導(dǎo)致標(biāo)定工作較為繁瑣。 由于PnP 等視覺位姿解算算法還需要使用相機的內(nèi)參矩陣， 導(dǎo)致在進行相機位置參數(shù)標(biāo)定之前，還需進行相機內(nèi)參標(biāo)定，進一步增加了標(biāo)定工作的繁瑣程度。

為解決上述相機位置參數(shù)標(biāo)定的痛點， 本文設(shè)計了一種基于機器人的視覺測量單元標(biāo)定方法， 將視覺測量單元固定于機器人末端執(zhí)行器上，在機械臂的不同位姿下，采集標(biāo)定板圖像并記錄對應(yīng)的末端執(zhí)行器位姿， 通過求解位姿方程，一次性完成相機內(nèi)參標(biāo)定和相機位置參數(shù)的標(biāo)定，實現(xiàn)降低標(biāo)定步驟復(fù)雜程度，提高標(biāo)定工作效率的目的。

2 基于機器人的視覺標(biāo)定方法

2.1 標(biāo)定方法概述

本文方法采用類似機器人手眼標(biāo)定的方法，利用機器人采集一組圖像和圖像對應(yīng)的末端執(zhí)行器位姿數(shù)據(jù)，利用同一組圖像完成視覺測量單元的相機內(nèi)參標(biāo)定和相機位置參數(shù)標(biāo)定。 標(biāo)定過程中機器人與標(biāo)定板的布置見圖2。

圖2 標(biāo)定過程機器人與標(biāo)定板布置示意圖

其中，坐標(biāo)系Orobot為機器人基座坐標(biāo)系，Ounit為視覺測量單元底座坐標(biāo)系， 世界坐標(biāo)系Oworld根據(jù)標(biāo)定板參數(shù)定義。 標(biāo)定流程如圖3 所示。

圖3 整體標(biāo)定流程圖

利用采集的不同角度的標(biāo)定板圖像， 先計算相機內(nèi)參矩陣， 完成內(nèi)參標(biāo)定， 而后基于內(nèi)參矩陣解算相機相對于標(biāo)定板的相對位姿，并通過機器人面板獲取機器人末端中心在機器人基座坐標(biāo)系Orobot下的實時位姿。

2.2 相機內(nèi)參標(biāo)定

相機內(nèi)參的標(biāo)定的目的是獲得相機的內(nèi)參矩陣，在位姿視覺測量的過程中，相機內(nèi)參矩陣不僅參與到PnP 問題的求解，也是進行相機位置參數(shù)標(biāo)定的前提條件。 本文采用張正友標(biāo)定法進行內(nèi)參標(biāo)定。張正友標(biāo)定法的原理根據(jù)相機成像模型推演而來，世界坐標(biāo)系下三維點（xW，yW，zW）到像素坐標(biāo)系下二維坐標(biāo)（u，v）的投影轉(zhuǎn)換過程如下：

其中：s—尺度比例因子， 為定值； M1—相機內(nèi)參矩陣；M2—相機外參矩陣，與相機與目標(biāo)的位姿關(guān)系有關(guān)。設(shè)有矩陣H，滿足：

由于對H 進行任意尺度放縮，以上兩式仍成立，故可以令h33=1，則H 中含有8 個未知量，根據(jù)一張標(biāo)定板圖像中4 個點的三維世界坐標(biāo)與二維像素坐標(biāo)關(guān)系， 即可構(gòu)建出8 個約束方程解出該張標(biāo)定板圖像對應(yīng)的H。

由于r1與r2為旋轉(zhuǎn)矩陣的前兩列，存在正交關(guān)系，根據(jù)這一性質(zhì)，則對于M1，在每一張圖像下，都存在如下兩個約束條件：

由于M1中含有5 個未知數(shù)，理論上，通過3 張含有4個角點的標(biāo)定板圖像即可解出相機內(nèi)參矩陣M1。 在實際操作中，往往會增加角點和圖像的數(shù)量，通過優(yōu)化算法求解M1，降低偶然誤差對結(jié)果的影響。

2.3 相機位置參數(shù)標(biāo)定

相機位置參數(shù)標(biāo)定的方法類似于機器人的手眼標(biāo)定，其核心在于求解方程[4]：

AX=XB

其中：A—位姿變換前后相機坐標(biāo)系的變換矩陣；B—位姿變換前后機器人末端坐標(biāo)系的變換矩陣，X—相機坐標(biāo)系到機器人末端坐標(biāo)系之間的轉(zhuǎn)換矩陣。

若設(shè)pc1、pc2—位姿變換前后相機坐標(biāo)系下的點，pr1、pr2—位姿變換前后機器人末端坐標(biāo)系下的點， 則它們之間具有如下關(guān)系：

設(shè)位姿變換前后該轉(zhuǎn)換關(guān)系分別為N1，N2， po為標(biāo)定板坐標(biāo)系下標(biāo)定角點的坐標(biāo)，則有

設(shè)位姿變換前后機器人基座坐標(biāo)系到機器人末端坐標(biāo)系的轉(zhuǎn)換矩陣分別為E1，E2， pb為機器人基座坐標(biāo)系下的標(biāo)定板角點坐標(biāo)，則有

其中，N1，N2可以在已知相機內(nèi)參矩陣的前提下， 通過構(gòu)建PnP 問題求解得到，從而計算出A；而E1，E2可以通過機器人的控制面板讀取得到，從而解算出B。 在得到A，B之后，對于方程AX=XB，可通過Tsai 法[5]等優(yōu)化方法進行迭代求解，求得X。

3 視覺測量單元標(biāo)定試驗

3.1 參數(shù)標(biāo)定

為驗證本文設(shè)計標(biāo)定方法， 開展測量單元相機內(nèi)參及相機位置參數(shù)標(biāo)定試驗。將視覺測量單元固定于KUKA機器人執(zhí)行機構(gòu)的末端， 在相機視場內(nèi)放置一個高精度標(biāo)定板。控制KUKA 機器人移動機械臂至不同位姿，采集標(biāo)定板圖像，同時記錄該位置KUKA 機器人末端的實時位置參數(shù)，見圖4。

圖4 相機位置參數(shù)標(biāo)定實驗現(xiàn)場

實驗中共采集了20 組標(biāo)定板圖像和對應(yīng)的機器人末端位姿數(shù)據(jù)，利用視覺算法庫Opencv中的角點亞像素提取函數(shù)，提取標(biāo)定板圖像中的角點坐標(biāo)， 根據(jù)標(biāo)定板圖像及標(biāo)定板尺寸參數(shù)， 采用2.2 節(jié)中所述張正友標(biāo)定法計算得到相機內(nèi)參K：

解算得到測量單元相機畸變向量d 為[-0.289609，0.398251，0.000879，-0.00198，1.69550]。

3.2 標(biāo)定精度分析

為驗證相機內(nèi)參的標(biāo)定精度，采用重投影方法[6]校驗內(nèi)參標(biāo)定精度。即根據(jù)內(nèi)參標(biāo)定求得的相機內(nèi)參矩陣、畸變參數(shù)以及標(biāo)定板圖像對應(yīng)的外參參數(shù)， 將標(biāo)定板坐標(biāo)系下的角點三維坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)系下的二維坐標(biāo)，計算該二維坐標(biāo)與真實提取到的圖像角點二維坐標(biāo)的歐式距離，即重投影誤差。對20 組數(shù)據(jù)進行數(shù)據(jù)驗證，求得平均每個角點的重投影誤差為0.0085 pixel，可以認(rèn)為內(nèi)參矩陣的標(biāo)定結(jié)果準(zhǔn)確度較高。

類似地， 本文采用類似于相機內(nèi)參標(biāo)定中的 “重投影”方法[7]，驗證相機位置參數(shù)的標(biāo)定精度。在機器人末端執(zhí)行器處于不同位姿時，利用相機位置參數(shù)的標(biāo)定結(jié)果，求取標(biāo)定板坐標(biāo)系原點在機器人基座坐標(biāo)系下的坐標(biāo)，根據(jù)該坐標(biāo)求取結(jié)果的一致性， 判定相機位置參數(shù)標(biāo)定實驗的精度。 對20 組數(shù)據(jù)進行數(shù)據(jù)驗證，求得的各組數(shù)據(jù)、 平均值與標(biāo)準(zhǔn)差， 見表1， 各分量的重復(fù)精度均在0.2mm 以內(nèi)。

表1 不同位姿下標(biāo)定板坐標(biāo)系原點在機器人基座坐標(biāo)系下坐標(biāo)

設(shè)各個位姿下標(biāo)定板原點在機器人基座坐標(biāo)系下的坐標(biāo)為Pi=（xi，yi，zi）， 參考相機內(nèi)參標(biāo)定重投影誤差的計算方法，相機位置參數(shù)標(biāo)定的“重投影誤差” er可定義為：算可得，er=0.30mm。 據(jù)此可以認(rèn)為，使用本文方法獲得的相機位置參數(shù)標(biāo)定結(jié)果具有較高的準(zhǔn)確度。

4 結(jié)論

本文以大部段對接位姿測量系統(tǒng)的標(biāo)定問題為研究對象，針對當(dāng)前相機內(nèi)參及相機位置參數(shù)標(biāo)定方法互相割裂且較為繁瑣的痛點，設(shè)計了一種能夠一次性完成相機內(nèi)參標(biāo)定和相機位置參數(shù)標(biāo)定的方法。 本文主要工作包括：

以基于合作目標(biāo)的大部段位姿視覺測量系統(tǒng)為例，梳理了位姿測量系統(tǒng)中各坐標(biāo)系之間的關(guān)系， 提出了基于機器人的視覺測量單元相機內(nèi)參及相機位置參數(shù)的標(biāo)定方法及數(shù)學(xué)原理。

開展了視覺測量單元標(biāo)定試驗，根據(jù)本文提出方法對試驗測量單元進行了相機內(nèi)參及相機位置參數(shù)的標(biāo)定，并通過重投影方法驗證了本文方法的精度。試驗結(jié)果表明本文方法能夠?qū)ο鄼C內(nèi)參及相機位置參數(shù)進行較高精度的標(biāo)定。

在未來的研究中， 還可以通過機器人編程將本文所述標(biāo)定方法完全自動化， 實現(xiàn)視覺測量單元全自動化標(biāo)定。 此外，也可以對相機位置參數(shù)的標(biāo)定算法進行優(yōu)化，以期獲得更高的標(biāo)定精度。