一種改進的攝像機線性標定優化方法

劉博宇，趙洋，楊進華

（長春理工大學光電工程學院，長春　130022）

一種改進的攝像機線性標定優化方法

劉博宇，趙洋，楊進華

（長春理工大學光電工程學院，長春130022）

現有的攝像機標定方法沒有將高精度和簡便性很好的銜接在一起。提出一種新的標定優化方法。首先選擇主點位置在圖像中心，縱橫比為1作為初始條件；接著利用改進的攝像機線性標定方法，得到在同一攝像機坐標系下不同圖像上所有標定點的攝像機坐標；最后利用攝像機坐標系下的這些三維點來優化內、外參數。實驗結果表明：本文提出的標定方法得到的焦距誤差在0.1mm以內，主點位置的最大誤差在2pixel左右，測試點的最大誤差控制在0.5pixel以內。本文提出的標定方法是一種簡單、高精度的標定方法。

攝像機標定；攝像機模型；線性標定

在計算機視覺、工業測量、智能機器人導航以及質量控制等領域中，通過攝像機的標定，可以確定攝像機的內外參數，從而實現將二維平面信息轉換成三維立體信息。攝像機標定就是物體通過攝像機的成像模型投影到像平面上，物體上的點與其成像點一一對應，并由其成像模型的參數決定，確定這些攝像機成像模型參數的過程被稱作攝像機標定。攝像機的內參數主要包括主點坐標焦距f還有縱橫比等，攝像機的外參數是指攝像機坐標系相對于世界坐標系的位姿關系，包括旋轉矩陣R和位移向量t。攝像機的標定精度和算法的穩定性直接影響其結果的可信度，因此攝像機標定是一項十分重要的工作［1］。

目前，常用的攝像機標定方法包括直接線性法［2］、非線性優化法［3］、Tsai兩步法［4］和張正友的平面標定法［5］等。其中直接線性法忽略了鏡頭畸變帶來的影響，標定精度比較低；非線性優化法標定耗時較長，算法繁瑣，對初始值依賴較大，如果初始值選擇的不合適標定結果誤差也隨之較大；Tsai的兩步法是先線性求解出部分參數，再引入非線性優化求解其余的攝像機參數，其標定過程雖然簡單，但它假定主點位置在圖像的幀存中心，縱橫比為1，并未對幾個重要的內參數進行標定，這將嚴重影響標定精度；張正友的平面標定法是利用攝像機拍攝平面標定板的不同角度姿態的圖像，通過多幅二維圖像信息的分析處理來獲取攝像機參數，其方法先用線性法求解部分參數，再考慮鏡頭畸變利用最大似然原則對參數進行非線性優化，通過獲取內參數以及單應性矩陣求解出攝像機的外參數，最終完成攝像機內外參數的標定，但在標定的過程中需要不斷的調整標定板的位姿和角度，過程相對繁瑣復雜，且標定板的角度和標定板上標定點的數量都會嚴重影響標定的精度。這幾種常用的攝像機標定方法都沒有兼容簡便性和高精度性，針對這一點，本文提出了一種新型的線性標定優化方法。

1　攝像機模型

攝像機針孔透視模型是普遍應用的攝像機成像模型，它反映了目標物體上各點的世界坐標經過攝像機投影到圖像平面上與其對應點的理想圖像坐標的轉換關系。但鏡頭中光學元件在加工和裝調的過程中都會存在一定誤差，這就造成了攝像機像平面上的理想成像點與實際成像點之間存在一定的偏差。攝像機鏡頭的主要光學畸變包括徑向畸變、偏心畸變和薄透鏡畸變［7］。在選擇畸變模型時，并不是畸變參數選擇越多對畸變改正越有利；相反畸變參數選擇過多反而會降低精度。因此通常僅需考慮徑向畸變所帶來的誤差。

圖1　一階徑向畸變針孔模型

如圖1所示，該模型共有4個坐標系，分別是世界坐標系OwXwYwZw、攝像機坐標系Ocxcyczc、圖像平面坐標系oxy和計算機圖像坐標系Ouv?？臻g中任意點Q在該攝像機模型下，從世界坐標系到計算機圖像坐標系的變換分為4步［8］：

（1）Q點的世界坐標與其在攝像機坐標系下坐標的轉換：

世界坐標系OwXwYwZw通過旋轉矩陣R和平移向量t與攝像機坐標系重合。

（2）Q點在攝像機坐標系下的坐標與其理想成像點在圖像平面坐標系下的坐標轉換：

（3）實際成像點在圖像坐標系下的坐標為：

（4）Q點實際成像點的圖像坐標與其計算機圖像坐標的轉換：

2　基于重心法提取標定點的圖像坐標

本文采用MVTec公司的7×7的halcon標定板進行標定，其尺寸為0.3m×0.3m，邊框內圓點的中心距為0.0375m，精度為0.001mm，如圖2所示。

圖2　HALCON標定板

用重心法提取標定板上橢圓的重心時，當標定板與攝像機像平面不平行時，在CCD圖像上提取的橢圓重心與標定板上橢圓重心并非是同一個點。

如圖2所示，標定板側面與CCD平面成α夾角，其中CD代表其中一個標定圓的直徑，O是它的重心位置，O1為攝像機原點，則：

ab的中心點以O1為原點的坐標為（ff，ab 2+tanβ1˙f），此坐標為圖像上提取的重心坐標。而O在CCD上的成像坐標為（f，f˙hL+f）。標定板上特征點的重心在圖像上的成像點與特征點在CCD上成像求出的重心偏差為：

在該實驗中r約為10mm，L約為3m，像元尺寸為3.7μm，h的取值對結果幾乎無影響，這里取其最大影響值，在標定過程中α在30°到45°之間。實驗結果證明：其偏差在0.05pixel以內，對標定過程幾乎沒有影響。

圖3　標定板與CCD像面不平行

由上述實驗及公式（6）的求導的結果得到最后結論：對Δ影響較大的因素是L、r和α，當α在50°到60°之間取得最大偏差值，當L遠大于r時，計算結果表明其偏差幾乎為0。因此，當用重心法提取特征點坐標時，一定要保證標定距離足夠遠。

3　改進的攝像機線性標定方法

本文改進的攝像機線性優化方法，使用線性優化方法對畸變進行矯正并未引入非線性優化方法，簡化了計算。同時考慮到簡便性，本文設置了主點坐標和縱橫比的初始值，省去了單獨標定的繁瑣過程。

（1）圖像的主點坐標和縱橫比的標定

理想情況下，圖像主點的位置在幀存圖像的中心上，且光軸垂直于像面方向。實際鏡頭裝調的過程中，因裝調誤差的原因，不可能實現這一點，但其主點位置會在圖像幀存重心附近。針對這一點，本文將主點位置的初始值選在幀存圖像的中心且取縱橫比的初始值為1。

（2）求解旋轉矩陣R和平移分量tx、ty

由于標定板是平面板，因此全部特征點的Zw= 0。由于僅存在徑向畸變，即實際成像點與理想成像點在一條直線上，根據徑向平行約束［9］：

整理得到如下矩陣形式的線性方程：

根據Tsai的兩步法［1］，利用標定點的世界坐標和圖像坐標利用最小二乘法原理求解超定方程的5個未知參量：

由于R是個單位正交矩陣，當p1，p2，p4，p5不兩兩同時為0時有：

否則t2y為其余兩個參數的平方和的倒數。進而求得：（根據正交性，如果（r1r4+r2r5）為正，則在r6前加負號）。

然后根據R的單位正交性，求得r7，r8，r9：

（3）求解焦距f、一階徑向畸變系數k1和平移分量tz：

整理為含有f、k1和tz的線性方程組：

（4）求解公式的改進：

線性標定法的原理是應用最小二乘法求得近似值，公式（13）求得的結果中一階徑向畸變系數往往很小，所以f和tz的近似值相互制約，為了得到較為準確的tz以確保后續優化方案的準確性，這里鏡頭的焦距f取給定值25mm，此時公式（13）變為：

此時求解出k1和tz。

4　標定方法的優化

利用上述改進的線性標定方法將攝像機的大部分參數標定出來，但其內參數并未得到優化，這會嚴重影響標定精度，因此本文提出一種優化方法。攝像機對不同位姿的標定板進行拍照時位置保持不變，并且上述線性標定法對不同圖像標定時都是以圖像幀存中心為主點位置，因此雖然不同圖像的世界坐標系不同，但是它們具有相同的攝像機坐標系，如圖4所示。文獻［10］針對這一原理將不同圖像上標定點的攝像機坐標還原成在同一世界坐標系下的世界坐標這一思想可以實現，其精度主要取決于上述tz的求取準確度，因此上述線性標定法采用了固定f的方法以實現對tz的準確求取。

圖4　標定板上P點的不同攝像機坐標

其標定過程如下：

公式（15）經通分整理得：

利用最小二乘法原理求解超定方程（16）。其中一共11個未知參數，因此2n必須大于11，其中n為標定點個數。

通過公式（18）和（19）可將u0和fx求解出來，其中fx取正。將求得的tz代入m7、m8和m9中，得到：

將求得的tz、u0、fx、r7、r8和r9代入m1、m2和m3中，得到：

因為R是單位正交矩陣，則：

然后將求得的參數代入公式（23），得到：

最后求出tx和ty：

最后根據一階徑向畸變公式求出k，至此標定工作全部完成。

5　標定實驗結果比較與分析

實驗采用分辨率為1280×960像素，像元大小為3.7μm，焦距為25mm的定焦鏡頭。先后用Tsai兩步法、張正友平面標定法、改進的線性兩步標定法和本文方法對該攝像機拍攝的5幅標定板圖像進行標定。如圖5，為標定板上特征點的提取圖像，為了評估標定其標定精度，選擇每幅標定板圖像上前30個特征點作為標定點，后19個點作為測試點，采用測試點的真實圖像坐標與再投影后相對應的圖像坐標之差的模的平均值作為標定精度的評估函數，單位為像素，公式如下：

其中（ui，vi）為測試點的真實圖像坐標；（）為再投影后的圖像坐標；n為測試點個數。

圖5　標定板特征點提取

表1　張正友平面標定法的標定精度結果

表2　Tsai兩步標定法的標定精度結果

表3　線性標定結果

表4　本文的標定方法標定結果

由表（1）、表（2）、表（3）和表（4）分析可知，張正友的平面標定法和Tsai的兩步法的標定精度均低于改進的線性方法和本文的標定方法；張正友的平面標定法由于標定點少，其畸變參數沒有準確標定出來，其標定得到的焦距在26mm左右；Tsai的兩步法其標定誤差過大；線性方法其為了簡便性而未對主點位置和縱橫比進行標定，且焦距和畸變系數的變化幅度過大，其焦距的標準差為0.8mm，因此精度不高；而本文的標定方法，從表（4）可以看出其標定得到的內參數fx、fy、u0和v0在5次標定檢測中均只有很小的變化，其焦距標定精度在0.1mm，且5次標定得到的主點位置變化在2pixel之內。足以見得，本文提出的標定方法兼容了高精度和簡便性這兩個特性。

6　結論

張的平面標定法對標定過程以及標定平板的要求高，導致實驗復雜繁瑣。Tsai的兩步法是在假設主點位置和縱橫比的前提下實現的，這兩個關鍵的內參數沒有標定，雖然標定過程簡單但是精度受到嚴重影響。線性標定方法要獨立的對主點位置和縱橫比進行標定，這將導致一個復雜的過程，并且增加成本。本文提到的標定法同樣通過對平面標定板的標定完成了對其內外參數的優化，且其方法簡單，標定精度高。其不足之處在于：它對特征點的標定誤差受到改進的線性標定方法的約束，沒有得到較之明顯的提高，這是后續需要繼續改進的地方。

［1］馬頌德，張正友.計算機視覺［M］.北京：科學出版社，1998.

［2］Y I Abdel-Aziz，H M Karara.Direct linear transformationfromcomparatorcoordinatesintoobject spacecoordinatesinclose-rangephotogrammetry［C］.In：Proceedings of the ASP Symposium on Close-Range Photogrammetry，Urbana，Illinois，1971：1-18.

［3］吳福朝，阮宗才.非線性模型下的攝像機自標定［J］.計算機學報，2002，25（3）：16-19.

［4］Roger Y，TSAI.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses［J］. IEEE Journal of Robotics and Automation，1987，3（4）：323-334.

［5］Zheng-you ZHANG.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

［6］申琳.改進的攝像機線性標定方法研究［D］.吉林：長春理工大學，2011.

［7］馮翔.復雜三維模型相似性研究［D］.北京：北京師范大學計算機應用技術，2009.

［8］徐杰.機器視覺中攝像機標定Tsai兩步法的分析與改進［J］.計算機工程與科學，2010，32（4）：46-47.

［9］鄒鳳嬌，蘇顯渝，李美菊.基于共面點的攝像機線性標定法［J］.光電工程，2006，32（4）：37-41.

［10］楊博文，張艷麗，葉南，等.面向大視場視覺測量的攝像機標定技術［J］.光學學報，2012，9（32）：0915001—1-0915001—7.

Improved Camera Linear Calibration Optimization Method

LIU Boyu，ZHAO Yang，YANG Jinhua
（School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun，130022）

At present，the commonly used camera calibration methods do not have a good convergence of high accuracy and simplicity.In view of this，this paper proposes a new method of calibration optimization.Considering the simplicity，the calibration method of this paper selects the position of principal point which is on the center of the image and aspect ratio which is 1 as the initial condition.Then we use improved camera linear calibration method to obtain all points’coordinates of different images in the same camera coordinate system；finally，using the 3D points in the camera coordinate system to optimize the internal and external parameters.The experimental results show that the focal length’s error was less than 0.1mm，the maximum error of the principal point’s position is about 2 pixel，the maximum error of the test points is less than 0.5pixel and the calibration method which is proposed in this paper is a simple and accurate calibration method.

camera calibration；camera model；linear calibration

TP391

A

1672-9870（2016）04-0090-07

2016-03-12

劉博宇（1992-），男，碩士研究生，E-mail：751892260@qq.com

楊進華（1969-），男，教授，E-mail：yangjh@cust.edu.cn