基于Tsai兩步法的視覺點膠系統相機標定方法

馬喜平，李 迪，姚俠楠，馬苑晉

（華南理工大學 機械與汽車工程學院，廣州 510640）

隨著機器視覺技術的日益成熟，點膠系統開始通過機器視覺系統提高產品的生產效率，并通過優化標定計算方式進一步提高了產品的加工精度和質量，進而提高產品的經濟效益。

運用機器視覺進行點膠加工前，需要進行相機的標定。相機的標定的目的是建立空間中三維物點同像素坐標系的二維像點之間的關系，標定結果直接關系視覺系統工作的精度。相機標定方法一般有3種，除了傳統相機標定方法以外，還有基于主動視覺標定方法和自標定方法[1]。

傳統標定分為直接線性標定法[2-3]、Tsai兩步標定法[4]、相機自標定方法[5]和張正友標定法[6]等。Tsai兩步標定法由Tsai于1986年提出，此方法需要一個已知的標定塊作為空間參照物，利用空間參照物與圖像特殊點的對應關系標定相機。在計算相機所有參數時，除了使用平板標定塊，還必須保持特征點在不同的平面。因此，Tsai兩步標定法由兩步進行：

（1）計算部分外部參數，如旋轉矩陣和平移矩陣參數 tx和ty。

（2）計算參數 tz。

盡管Tsai兩步法是常用的標定方法，但是也有其缺陷：

（1）無法通過一個平面標定全部內外參數。

（2）涉及非線性計算，可能導致解的不穩定性。

因此本文提出一種基于Tsai兩步法的簡易標定方法，不需要制定標定板，直接通過平臺運動拍攝圖標、提取特征點；同時通過合理安排求解步驟，將非線性計算線性化，提高解的穩定性。

1 基于Tsai兩步法的改進型相機標定方法

1.1 標定中的幾種坐標系及其轉換關系

相機標定通常需要涉及四大坐標系并考慮它們之間的關系：除了相機本身的相機坐標系（Xc，Yc，Zc）和像素坐標系（u，v），還需要針對產品標定的圖像坐標系（x，y）和空間坐標系（Xw，Yw，Zw）。 四大坐標系之間的關系如圖1所示。

圖1 坐標系的轉換Fig.1 Coordinate transformation

根據小孔成像原理，光心Oc與空間任意點P的連線OcP跟圖像平面的交點就是點P投影至圖像上的位置 p。 如果用（Xc，Yc，Zc）表示點 P（Xw，Yw，Zw）在相機坐標系下的坐標，用p（x，y）表示點P投影到圖像平面的坐標，將單位像素在x軸上的物理尺寸設為dx并將單位像素在y軸上的物理尺寸設dy，圖像的中心坐標即主點設為（u0，v0）。設空間點在世界坐標系和相機坐標系下的齊次坐標分別為Pw（Xw，Yw，Zw，1）和 Pc（Xc，Yc，Zc，1）。

通過針孔成像模型，可以得到空間任意點的世界坐標和像素坐標之間的對應關系，如式（1）所示。

式中：M1是內參，M2是外參。

1.2 相機畸變模型

Tsai指出，在對相機進行標定時，如果在計算過程中過多考慮非線性畸變，會導致在計算過程中引入過多的非線性參數，反而影響了標定精度，而且還會引起其他相反作用，例如解的不穩定性。視覺點膠系統的計算過程對這個問題進行了改進，通常只需修正徑向畸變。

本文采用文獻[7]提出的畸變模型進行求解，如式（2）所示：

式中：（xu，yu）為圖像點坐標的理想值；（xd，yd）為實際圖像點的坐標，且為一階徑向畸變系數。

1.3 改進的兩步標定法

1.3.1 特征點的提取

特征點提取的主要目的是精確獲取每個特征點在圖像中的位置，從而方便在對應的空間坐標中對其進行標定。實驗首先在機臺上固定一個標靶圖像，移動至視野中心建立圖像模板，然后機臺在視野范圍內運動固定距離，獲得標靶的空間位置，再通過模板匹配得到各個位置的圖像坐標。如圖2所示，細框線是選取的模板范圍，粗線是通過模板匹配獲得的輪廓識別框，特征點是識別框的重心。

圖2 特征點提取Fig.2 Extraction of feature point

1.3.2 標定計算

Tsai兩步法中，應當首先計算部分外部參數，從而利用徑向畸變沿向量si的方向直接確定旋轉矩陣以及平移參數tx和ty，而第二步則必須對平移參數tz進行計算，因為tz的變化會產生類似k的圖像效應[8]。本文通過合理安排求解次序，對Tsai兩步標定法進行改進，避免了非線性優化繁瑣的問題[9]。因為所有的特征點均位于平板標定物上，可將所有特征點取 Zw＝0。 設旋轉矩陣平移向量式（2）可以改寫為

將式（3）展開得：

根據徑向平行約束條件，由式（2）得：

將式（4）整理得：

1.3.3 標定算法的具體步驟

（Ⅰ）計算旋轉矩陣R、平移參數tx和ty。首先，通過求解其中一組參數l來獲得部分外部參數。對于式（5），如果能過獲取n個特征點的空間坐標（Xi，Yi，Zi）及其對應的圖像坐標（xi，yi）（以 mm 為單位），i=1，2，…，n（n＞5），則可構造矩陣 A，每行為 ai（ai=［yiXi，yiYi，-xiXi，-xiYi，yi］）。

設 l=［l1，l2，l3，l4，l5］ 是需要求解的中間參數向量，l的各個參數如下所示：

設向量 b=［x1，x2，…，xn］包含 n 組對應點的圖像橫坐標xi，列出線性方程Al=b，方程中A和b是已知參數，從而可以求解l，根據l計算出旋轉參數和平移參數，如式（6）所示。

設根據l計算4個旋轉參數和平移參數tx，如下所示：

為了確定ty的符號，選擇一個特征點P（Xw，Yw，Zw）及其對應的圖像點 p（x，y）進行計算：

若ξx與x的符號且ξy與y的符號兩者均分別一致，則ty的符號與假設結果相符，否則，ty就要變號。

其余旋轉參數可按下面公式進行計算：

另外值得注意的是，旋轉矩陣R的正交約束條件是推導上述公式必須遵守的條件。r23，r31，r32的符號有可能因為方根運算的二值性而存在錯誤，為了保證旋轉矩陣的正交性，若r11r21+r21r22的符號為正，則改變r23的符號；若計算有效焦距f為負號，則改變 r13，r23，r31，r32的符號。 第一步基本確定除 tz外的所有外部參數，第二步只需對tz，f，k進行計算。

（Ⅱ）求解有效焦距 f、徑向畸變系數k和平移參數tz。對于某一特征點有：

因為所有特征點的Zw=0，同時結合式（2）與式（8）可得：

為了避免解非線性方程繁瑣的問題，本文提出了改進算法。 令 M=r11Xw+r12Yw+tx，N=r21Xw+r22Yw+ty，L=r31Xw+r32Yw，kf=k f，整理式（9）得到關于 f，kf，tz的線性方程組：

式中：M，N，L，xd，yd，rd均為已知量，f，kf，tz為待求參數。對于N個特征點，用最小二乘法解超定線性方程組對 N 個特征點進行求解 f，kf，tz，即可求解 k，進而求解。此時，需要對f的符號進行判斷修正，若判斷f為負號，則對f的符號進行反號處理，同時改變第一步求得的 r13，r23，r31和 r32的符號。

在Tsai基礎上改進的兩步法，可以求解全部相機內外參數。此時，只需再通過分布標定進行線性計算，就可以有效地提高了標定精度，避免在非線性求解中遇到的繁瑣和不穩定性的問題。

2 標定實驗驗證

2.1 平臺的搭建

本文的標定實驗在如圖3所示的視覺點膠平臺進行，平臺采用1個海康威視MV-CA060-11GM黑白相機，分辨率3072×2048，1個配套的鏡頭（焦距16 mm），相機安裝高度大約800 mm；采用深圳旗眾QZMC3004連續軌跡控制卡進行運動控制。視覺點膠系統界面如圖4所示。

圖3 硬件結構與實驗平臺Fig.3 Hardware strcture and experiment platform

圖4 視覺點膠系統界面Fig.4 Interface of visual dispensing system

2.2 標定實驗的流程

標定流程描述如下：首先在三軸機械手的末端安裝標靶零件，調整標靶平面使其水平并且與工件高度一致，通過點動使該平面移動至匹配范圍的左上角，錄入左上角坐標；再移動至匹配范圍的中心位置，建立匹配模板；最后移動至匹配范圍的右下角，錄入右下角坐標。點擊開始標定按鈕，機臺得到指令后以40 mm為間隔進行移動，每次停留0.5 s等待機臺停穩，然后進行拍照得到特征點的圖像坐標。由于機械位置已知，因此可以獲得一系列世界坐標和圖像坐標的點對。通過對這些點對進行計算處理得到標定結果。

2.3 實驗數據及分析

將特征點的圖像坐標進行矩陣運算得到世界坐標的計算值，通過計算值與實際值對比進行誤差分析[10]。

表1 實驗分析表Tab.1 Experimental analysis

3 結語

本文以視覺點膠控制系統為背景，針對傳統的標定方法大多需要標定板，而標定板的制作和特征點的提取繁雜等問題，提出了一種改進型的簡易標定方法，該方法不需要使用標定板，同時避免非線性計算的復雜。本文著重于視覺點膠系統中相機標定的簡易性，大范圍應用于工業場景。在視覺點膠平臺上進行驗證，結果表明本方法可以達到mm的定位精度，能滿足一般的視覺點膠設備的要求，是一種可靠有效的簡便方法。

[1]曹文君.多目全景相機的內外參數標定研究[J].工業控制計算機，2017，30（12）：53-54

[2]Abdel-Aziz Y I，Karara H M，Hauck M.Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry[J].Photogrammetric Engineering&Remote Sensing，2015，81（2）：103-107.

[3]Goktepe A，Kocaman E.Analysis of camera calibrations using direct linear transformation and bundle adjustment methods[J].Scientific Research and Essays，2010，5（9）：869-872.

[4]Tsai R Y.An efficient and accurate camera calibration technique for 3D machine vision[J].Proc.of Comp.Vis.Patt.Recog.，1986：364-374.

[5]De Ma S.A self-calibration technique for active vision systems[J].IEEE Transactionson Roboticsand Automation，1996，12（1）：114-120.

[6]Zhang Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[7]李玲.基于雙目立體視覺的計算機三維重建方法研究[D].湖北：武漢大學，2005.

[8]夏皮羅.計算機視覺[M].趙清杰，譯.北京：機械工業出版社，2005.

[9]趙宣銘.一種基于Tsai法的攝像機改進標定法[J].西安工程大學學報，2011，25（4）：560-565.

[10]李迪，張孫亞，吳培浩，等.用于分揀機器人的改進標定方法[J].廣東輕工職業技術學院學報，2017，16（1）：1-5.