基于靜止和運動兩種狀態的自動導引車視覺標定

喻 俊 樓佩煌 武 星 王龍軍

南京航空航天大學，南京，210016

0 引言

自動 引 導 車 （automated guided vehicle，AGV）是一種輪式移動機器人，廣泛用于工廠自動化生產線、倉儲物流、機場和港口中的物料傳送［1］。視覺導引方式是通過安裝在AGV上的攝像機采集鋪設導引路徑圖像，通過計算機視覺測量算法實時測量AGV相對導引路徑的距離偏差和角度偏差。攝像機標定（camera calibration，CC）是計算機視覺測量的一個關鍵問題，精確的視覺標定能夠消除視覺測量的系統誤差［2］。

攝像機標定方法主要有傳統標定法、主動視覺標定法和自標定法。傳統的攝像機標定是將精密制作的立體或平面標靶放置在場景中，利用幾何成像原理建立場景中世界坐標點與圖像中觀測點之間的關系模型，采用線性、非線性法計算攝像機的內外部參數和畸變參數，具有標定精度高的特點［2］。基于主動視覺的標定方法需要控制攝像機做特定運動，如相互正交的平動［3］和繞光軸的旋轉運動［4］等，利用參考點的圖像坐標變化實現攝像機的內部參數標定。該方法對攝像機運動精度要求苛刻，主要用于工業機器人手眼標定，不適用于攝像機運動自由度受限的場合。

在鏡頭和攝像機位置均不變的被動視覺導引AGV中，攝像機內外部參數和畸變參數均不變［2］。傳統標定法雖然可以獲得攝像機的外部參數，但是其計算的外部參數只是標靶坐標系與攝像機坐標系之間的關系。在AGV視覺導航應用中，還需要獲得攝像機與AGV坐標系之間的關系，而不借助其他精密測量設備則很難將標靶相對機器人坐標系精確地放置。根據現場標定的要求，本文提出一種基于靜止和運動兩種狀態的AGV視覺標定方法。首先采用靜止狀態下的平面模型標定法計算內部參數、畸變參數和AGV相對模板的外部參數，建立對三種圖像失真進行圖像校正的聯合模型，再在運動狀態下標定出AGV坐標系相對失真校正后圖像坐標系的參數。

1 視覺系統模型

攝像機前傾安裝方式的AGV［5］視覺系統因其視場較大，精度較低，其標定通常采用基于消失點（vanishing point，VP）的方法［6］，這種線性方法只能標定出攝像機安裝的俯角和高度，忽略了其他自由度上與理想姿態的誤差。本文研究的雙向型AGV結構如圖1所示。AGV的驅動系統由左右兩個獨立驅動的驅動輪和前后兩個起支撐作用的萬向輪組成。這種機構可以通過調節兩個驅動輪的速度和轉向，實現直線運動和任意轉彎半徑的圓弧運動［7］，兩驅動輪軸線的中點稱控制中心點。根據AGV的運動學模型，采用最優控制方法，將AGV相對導引路徑的距離偏差和角度偏差同時消除到零［7］。根 據 AGV 的 機械結構和控制模型，定義AGV坐標系OAXAYA的原點OA為控制中心點在地面的投影，XA為AGV直線前進方向，YA平行于驅動輪軸線。攝像機的理想位姿是使攝像機位于控制中心點的上方且垂直于地面。圖像行向量、列向量分別與XA、YA平行。攝像機這種安裝方式的AGV具有測量精度高、實時性強的特性，且AGV能夠雙向運動。

給定一個一般空間平面與圖像平面之間的單應矩陣，如果空間平面在世界坐標系的坐標已知，則該單應矩陣可以提供關于攝像機內部參數的兩個線性約束。但是僅知道某一個場景中的兩幅圖像間的單應矩陣不能對攝像機內部參數構成任何約束［8］。由于AGV只能在地面做二維剛體運動，因此無論AGV以何種方式運動，地面參考點均在一個平面內，不能獲得足夠的約束以求解出所有的內部參數。標定模板與圖像平面平行時的攝像機標定方法［9］必須借助輔助測量設備才能滿足平行條件，不易在現場實施。

攝像機實際位姿相對理想位姿存在三個角度誤差和兩個平移誤差，在肉眼下微調攝像機姿態能夠將這些誤差控制在較小的范圍內。根據相機成像原理，一個不垂直于主光軸的平面視場在垂直于主光軸的成像平面上的成像會存在傾斜失真；普通鏡頭由于制造工藝的缺陷會形成圖像徑向畸變失真；成像物理平面在行列兩個方向上的單位長度的像素數不一定相等，會形成圖像比例失真［2］。這三種圖像失真會給基于平面矢量圖的視覺測量引入系統誤差，因此必須建立圖像失真的聯合模型，對三種圖像失真作圖像校正。AGV坐標系的原點OA和XA方向分別作為控制策略的參照基準，也必須精確標定。

圖1 AGV結構模型

2 靜止狀態攝像機標定及圖像校正

2.1 靜止狀態攝像機標定

包含安裝誤差的攝像機實際成像模型如圖2所示。設攝像機坐標系為OcXcYcZc，圖像坐標系為（u，v）。根據理想透視模型有

式中，A為含有4參數的內部參數矩陣；u0、v0為攝像機的主點在圖像中的像素坐標；kx、ky分別為攝像機焦距歸一化后，像素相對成像平面物理坐標在u、v方向的放大系數。

圖2 攝像機實際成像模型圖

攝像機坐標系OcXcYcZc與世界坐標系OwXwYwZw在歐氏空間的坐標變換可以通過三維旋轉矩陣和平移矩陣表示：

式中，R為3×3坐標旋轉矩陣；T為3×1坐標平移矩陣。

一般情況下，僅僅考慮徑向畸變已經足夠描述由于鏡頭引起的非線性畸變，徑向畸變關于主點是中心對稱的［4］。Zhang等［10］提出的由理想坐標參數化實際坐標的模型與Tasi［11］提出的由實際坐標參數化理想坐標的模型類似，但后者在對畸變圖像校正時，能夠直接使用標定出的模型參數。設成像平面上的理想物理坐標為（Xu，Yu），畸變后的實際物理坐標為（Xd，Yd），采用 Tasi［11］提出的畸變參數模型，有

式中，k1、k2為徑向畸變參數。

設實際像素點（u，v）經圖像徑向畸變校正后的像素點為（ud，vd），攝像機內部參數模型中，kx、ky分別是像素相對成像平面物理坐標在u、v方向的放大系數，由式（3）可得

要求解的模型參數包括攝像機內部參數u0、v0、kx、ky，畸變參數k1、k2和外部參數R、T。這是一個非線性最優問題，通常采用先不考慮畸變的線性模型，估計出每個參數的初值，再用最大似然估計法計算非線性模型下參數的精確值。Zhang等［10］提出的平面模板標定法比 Tasi［11］提出的三維模板標定法更易在工業現場實現，具有較高的柔性。對于平面模板坐標系，有Zw＝0，令旋轉矩陣 R＝ ［r1r2r3］，平移矩陣T＝［txtytz］T，由式（1）、式（2）可得

式中，H為3×3單應矩陣。

將精確打印的有N個方格交點的模板以不同的姿態拍攝M 幅圖像（其中一幅為模板放置在地面上），這些不同位姿的模板不在同一平面內且不是純平動的，平面模板之間的運動參數不需要知道。采用Harris角點檢測算法提取圖像中方格的交點，根據圖像方格交點與世界坐標系中模板真實坐標的一一對應關系，由式（5）消去Zc，每個方格點可以確定兩個約束方程。因此，當N≥5時，即可采用最小二乘法計算出第i（i＝1，2，…，M）幅圖像對應的單應矩陣Hi。

旋轉矩陣R是一個單位正交矩陣，可以建立兩個約束條件［10］：

由式（6）、式（7）可以得到內部參數矩陣的兩個約束方程。當M≥3時，即可采用最小二乘法計算出內部參數矩陣A的4個內部參數的初值。已知內部參數矩陣A和單應矩陣Hi，代入式（6）可以得到每幅圖像對應的r1i、r2i和Ti。r3i可以由下式得到：

至此，模型參數中的u0、v0、kx、ky、Ri和Ti的初值均已得出。令畸變參數k1、k2的初值為0，在非線性模型下，采用最大似然估計法對模型參數進行優化。

對有N個方格交點的M幅圖像，最大似然估計可以通過最小化距離函數獲得：

其中，mij（A，k1，k2）是由式（4）獲得的畸變校正后的像素點；m⌒ij（A，Ri，Ti，Mij）是由式（1）、式（2）獲得的理想透視模型下世界坐標點Mij對應的理想圖像坐標點。對式（9），采用基于梯度下降的非線性最小二乘最優化算法Levenberg－Marquardt，獲得使函數值最小的 u0、v0、kx、ky、k1、k2、Ri和Ti的最優解。模板采集的次數越多，計算結果越精確。

2.2 圖像失真校正

由視覺成像模型可知，圖像相對地面真實場景存在三種失真，即徑向畸變引起的畸變失真，kx與ky不相等引起的比例失真，以及攝像機主光軸不嚴格垂直于地面引起的傾斜失真。為了方便基于矢量圖的視覺測量算法的實現，需要事先對這三種圖像失真進行校正，使校正后的圖像與地面真實場景成比例。畸變失真參數和比例失真參數通過攝像機標定已經確定。

設在攝像機標定中，標定模板放置在地面時，對應的外部參數為Rg和Tg，令Tg＝［tgxtgytgz］T，tgx、tgy、tgz為三個坐標 軸 上 的平移分量。Rg是隱式的旋轉矩陣，用歐拉角表示時，根據坐標旋轉的次序有多種形式［12］。設模板所在的世界坐標系為OwXwYwZw，順序繞Zw軸旋轉γ、Yw軸旋轉β、Xw軸旋轉α后，與攝像機坐標系平行，即

其中，Rx（α）、Ry（β）、Rz（γ）為歐拉角旋轉矩陣，它們的逆矩陣分別為自身的轉置。由Rg計算α、β、γ可以參考文獻［12］。

首先由式（4）對圖像作徑向畸變校正，得到像素點（ud，vd）。再作比例失真校正，以攝像機主點為中心，作以u軸為基準的比例拉伸，由式（1）可得

最后作傾斜失真校正，如圖2所示，對圖像平面分別以y、x 為轉軸，作RTy（β）、RTx（α）的順序旋轉變換，令（U，V）為對三種圖像失真校正后的圖像，則

校正后的成像模型可以簡化為

其中，s＝kx／tgz為像素相對標定模板的比例因子。式（13）表明，失真校正后的圖像相對地面上的平面模板是一個含有比例因子s的二維旋轉平移變換。由于AGV坐標平面OAXAYA是作為控制策略的基準定義的，考慮到機械安裝誤差等因素，在不借助精密儀器測量的情況下，很難精確地將標定模板放置在與AGV坐標平面完全一致的位置，圖像與AGV坐標平面OAXAYA滿足比例因子同為s的二維旋轉平移變換。因此有

式中，ψ、tAx和tAy分別為校正后AGV坐標系OAXAYA的旋轉角和兩個平移分量。

解出ψ、tAx和tAy即可得到校正后的圖像相對AGV坐標系的參數。

3 運動狀態AGV標定

3.1 直線運動狀態下的標定

式（15）表明，參考點在圖像序列中的坐標呈線性分布，ψ與參考點的初始位置及AGV的速度無關，標定方法具有較好的柔性。采用最小二乘法直線擬合，如圖3所示，擬合直線與圖像坐標系U軸的夾角即為ψ，順時針為正。由最小二乘法得ψ的估計為

式中，F為采集的視頻幀數。

受圖像隨機噪聲和可能存在的驅動輪滑動影響，Ut與Vt并不一定是完全線性相關的，線性相關系數r可以用來分析它們的線性相關度（理想狀況下｜r｜＝1）：

圖3 直線運動狀態下的標定

3.2 自轉狀態下的標定

式中，ω為AGV的角速度；φ0、RA分別為參考點的初始位置角和到AGV坐標原點的距離。

由式（18）和式（14）可得

式（19）表明，參考點的像素坐標在以（tAx，tAy）為圓心、以sRA為半徑的圓上，并且與參考點的初始位置角和AGV的角速度無關。對圖像序列中的參考點采用最小二乘法圓弧擬合，如圖4所示，擬合圓弧的圓心即為AGV坐標系相對圖像坐標系的平移向量。

圖4 自轉狀態下的標定

圓是一種非線性模型，為了便于計算，設圖像坐標系下圓的方程為

令d＝－（x2＋y2），e為估計誤差，則估計圓弧模型參數就近似轉化為二元線性回歸問題：

d＝a0＋a1x＋a2y＋e

其條件是B的秩R（B）≥3，由于樣本數量較大，故很容易滿足。圓弧圓心坐標為

圓弧半徑為

同樣考慮隨機噪聲和可能存在的驅動輪滑動的影響，圓弧擬合均方差為

4 實驗及分析

圖5 標定流程圖

本文采用的實驗設備為維視VS－818HC工業相機（3.5～8mm手動變焦鏡頭VS－0358M），標定流程如圖5所示。靜止狀態下采集不同姿態網格模板圖像16幅，圖像分辨率為720×576像素，采用平面模板標定法標定出攝像機的內部參數、徑向畸變參數和每個模板對應的外部參數。由放置在地面的平面模板對應的外部參數計算得到攝像機相對地面的兩個傾斜角和物距。通過三種圖像失真校正的聯合模型對圖像進行校正，也確定了圖像相對地面真實場景的比例因子。靜止狀態各參數標定結果如表1所示，大部分參數的標定均方差都在0.5%以內，ky比kx大近10%，比例失真嚴重。圖像相對地面場景的比例因子為2.72，視覺測量精度較高。

表1 靜止狀態參數標定

分別采集AGV勻速直線運動和原地自轉視頻各4次，對視頻圖像先進行失真校正，提取參考點在圖像中的坐標，再對參考點像素序列分別采用直線和圓弧進行擬合，獲得失真校正后圖像坐標系相對AGV坐標系的旋轉和平移參數。如表2所示，直線運動狀態下參考點的線性相關性高且非常穩定，說明并沒有出現非理想的滑動。如表3所示，自轉運動狀態下標定出的圓心坐標也非常穩定，也沒有出現非理想的滑動，換算到實際物理坐標下的均方差小于1mm。

表2 直線運動狀態參數標定

表3 自轉狀態參數標定

5 結論

本文提出了一種基于靜止和運動兩種狀態的視覺導引AGV視覺標定方法，該方法能夠在不借助其他輔助測量設備的條件下，精確標定出攝像機的內部參數、徑向畸變參數和相對AGV控制模型坐標系的外部參數。經三種圖像失真聯合模型校正后的圖像能夠應用于基于平面矢量圖的視覺測量。本文提出的現場標定方法具有柔性好、精度高、實用性強的特點。

［1］Iris F A.Vis，Survey of Research in the Design and Control of Automated Guided Vehicle Systems［J］.European Journal of Operational Research，2006，170（3）：677－709.

［2］Salvi J，Armangue X，Batlle J.A Comparative Re－view of Camera Calibrating Methods with Accuracy Evaluation［J］.Pattern Recognition，2001，35：1617－1635.

［3］吳福朝，李華，胡占義.基于主動視覺系統的攝像機自標定方法研究［J］.自動化學報，2001，27（6）：752－762.

［4］Tordoff B，Murray D W.The Impact of Radial Distortion on the Self－calibration of Rotating Cameras［J］.Computer Vision and Image Understanding，2004，96：17－34.

［5］王榮本，徐友春，李慶東，等.AGVS圖象識別多分支路徑的研究［J］.中國圖象圖形學報，2000，8（5）：632－637.

［6］Guillou E，Meneveaux D，Maisel E，et al.Using Vanishing Points for Camera Calibration and Coarse 3D Reconstruction from a Single Image［J］.The Visual Computer，2000，16（7）：396－410.

［7］陳無畏，李碧春，孫海濤，等.基于視覺導航的AGV模糊－最優控制研究［J］.中國機械工程，2006，17（24）：2546－2550.

［8］孫鳳梅，胡占義.平面單應矩陣對攝像機內參數約束的一些性質［J］.計算機輔助設計與圖形學學報，2007，19（5）：647－650.

［9］羅晨，朱利民，丁漢.標定模板與圖像平面平行時的攝像機標定方法［J］.中國機械工程，2006，17（16）：1558－1561.

［10］Zhang Zhengyou.Flexible Camera Calibration by Viewing a Plane from Unknown Orientations［C］／／Proceedings of the 1999 7th IEEE Int.Conference on Computer Vision（ICCV’99）.Kerkyra，1999：666－673.

［11］Tsai Y.A Versatile Camera Calibration Technique for High－accuracy 3DMachine Vision Metrology Using Off－the Shelf TV Cameras and Lenses［J］.IEEE Int.J.Robot.Automat.，1987，3：323－344.

［12］Diebel J.Representing Attitude：Euler Angles，Unit Quaternions，and Rotation Vectors［M］.Stanford：Stanford University，2006.