基于2D圓點(diǎn)陣列的攝像機(jī)精確標(biāo)定

摘 要:針對電腦鍵盤自動組裝生產(chǎn)線研制過程中的攝像機(jī)標(biāo)定問題，提出一種新的攝像機(jī)精確標(biāo)定方法。該方法選用2D圓點(diǎn)陣列作為靶標(biāo)，首先在不考慮攝像機(jī)鏡頭畸變的情況下，利用改進(jìn)的Matlab標(biāo)定工具箱估計(jì)出攝像機(jī)參數(shù)的初始值;然后考慮攝像機(jī)的鏡頭畸變，利用改進(jìn)遺傳算法實(shí)現(xiàn)對攝像機(jī)參數(shù)的精確求解。實(shí)驗(yàn)結(jié)果表明，該方法是有效可行的。

關(guān)鍵詞:計(jì)算機(jī)視覺攝像機(jī)標(biāo)定圓點(diǎn)陣列靶標(biāo)遺傳優(yōu)化

中圖分類號:TP24，TP391文獻(xiàn)標(biāo)識碼:A文章編號:1674-098X(2011)09(c)-0018-04

Abstract:Aiming at improving performance of the vision system for keyboard assembly，a new accurate camera calibration method is proposed.2D circle array is used to extract feature points for calibration.Lens distortion is neglected，and modified camera calibration toolbox for Matlab is adopted to compute camera parameters.Those parameters are taken as initials，and camera model with lens distortion is resolved by improved genetic algorithm(GA).Consequently，camera parameters with higher accuracy are obtained.Experiment results indicate the proposed method is feasible.

Key words:computer vision;camera calibration;circle array target;genetic optimization

隨著計(jì)算機(jī)技術(shù)和工業(yè)自動化程度的不斷提高，采用圖像傳感器的視覺技術(shù)已被廣泛地應(yīng)用到工業(yè)生產(chǎn)過程中。為從圖像傳感器獲取的二維信息得到與其相對應(yīng)的三維空間信息，則須確定圖像傳感器成像的幾何模型。而確定圖像傳感器的幾何模型的過程即是所謂的攝像機(jī)標(biāo)定[1-3]。目前，攝像機(jī)標(biāo)定大致可分為傳統(tǒng)標(biāo)定法、自標(biāo)定法和基于主動視覺的標(biāo)定法等三大類[2]。這些標(biāo)定方法采用的數(shù)據(jù)處理技術(shù)可歸結(jié)為線性變換、非線性優(yōu)化和混合優(yōu)化等三種。其中，混合優(yōu)化方案兼顧了線性變換的快速性和非線性優(yōu)化的準(zhǔn)確性等優(yōu)點(diǎn)，是近年來較為成功的攝像機(jī)標(biāo)定技術(shù)。本文基于混合優(yōu)化思想，選用二維圓陣列作為靶標(biāo)，提出一種基于改進(jìn)GA的快速而準(zhǔn)確的攝像機(jī)標(biāo)定方法。該方法既能保證標(biāo)定的精確性，又具有特征點(diǎn)提取快速、非線性優(yōu)化過程簡便等優(yōu)點(diǎn)。

1 攝像機(jī)模型

1.1 理想攝像機(jī)模型

在不考慮鏡頭畸變的情況下，攝像機(jī)的成像可看作小孔成像。由于小孔成像滿足空間點(diǎn)、光心和像點(diǎn)在一條直線上，因此此時(shí)的攝像機(jī)成像原理如圖1所示。圖中，為攝像機(jī)焦距;為空間點(diǎn)在圖像物理坐標(biāo)系下的圖像坐標(biāo);為空間點(diǎn)在世界坐標(biāo)系中的坐標(biāo);為攝像機(jī)坐標(biāo)系。

由圖1可得，理想針孔攝像機(jī)模型可以表述為:

(1)

式中，為任意非零尺度因子;，為對應(yīng)于的圖像像素坐標(biāo)系下的齊次坐標(biāo);為標(biāo)準(zhǔn)正交矩陣，為向量，分別為表征世界坐標(biāo)系和攝像機(jī)坐標(biāo)系之間相對位置關(guān)系的旋轉(zhuǎn)矩陣和平移向量，分別用式(2)和(3)表示;為空間點(diǎn)的齊次坐標(biāo);為攝像機(jī)內(nèi)部參數(shù)矩陣，可用式(4)表述，其中和分別為一個(gè)像素在圖像物理坐標(biāo)系中沿、方向的物理尺寸;為主點(diǎn)坐標(biāo)。

(2)

(3)

(4)

1.2 考慮非線性畸變的攝像機(jī)模型

由于光學(xué)系統(tǒng)的加工誤差和裝配誤差等因素，因此攝像機(jī)成像精度不可能達(dá)到理想針孔攝像機(jī)模型的成像精度，即空間點(diǎn)在像平面上實(shí)際位置與理想成像位置間存在一定的畸變誤差。畸變誤差可分為三種:偏心畸變、薄棱鏡畸變和徑向畸變。其中，前兩種畸變的存在將導(dǎo)致成像時(shí)的徑向偏差和切向偏差;徑向畸變的存在僅導(dǎo)致成像時(shí)的徑向偏差，且偏差關(guān)于光軸對稱。

因此，考慮非線性畸變的攝像機(jī)模型可表述為:

(5)

式中，是由理想針孔攝像機(jī)模型計(jì)算出的理想成像點(diǎn)的坐標(biāo);為考慮畸變后的實(shí)際成像點(diǎn)的坐標(biāo);和為徑向畸變;和為偏心畸變;和為薄棱鏡畸變。在工業(yè)視覺應(yīng)用中，徑向畸變是影響視覺系統(tǒng)精度的最主要因素。因此，本文在進(jìn)行攝像機(jī)標(biāo)定時(shí)，僅考慮徑向畸變對成像精度的影響，其標(biāo)定模型為:

(6)

又，圖像像素坐標(biāo)系和圖像物理坐標(biāo)系之間存在如下關(guān)系:

(7)

聯(lián)立式(2)～(4)、(6)和(7)，可得考慮徑向畸變的攝像機(jī)標(biāo)定模型為:

(8)

2 參數(shù)求解方法

本文利用2D圓點(diǎn)陣列作為靶標(biāo)，首先利用Matlab標(biāo)定工具箱估計(jì)出針孔攝像機(jī)模型中的攝像機(jī)參數(shù)，然后以此為初始值，利用改進(jìn)GA實(shí)現(xiàn)對考慮徑向畸變的攝像機(jī)參數(shù)的優(yōu)化。

2.1 標(biāo)定板制作和特征點(diǎn)提取

由于攝像機(jī)標(biāo)定需要借助靶標(biāo)提供的標(biāo)定特征點(diǎn)來確定攝像機(jī)的模型參數(shù)，所以特征點(diǎn)提取的精度將直接影響攝像機(jī)的標(biāo)定精度。因此，選用合適的標(biāo)定板，并設(shè)計(jì)合理的特征點(diǎn)提取方法是保證視覺系統(tǒng)正確運(yùn)行的基礎(chǔ)。目前，攝像機(jī)標(biāo)定多采用2D平面靶標(biāo)，包括棋盤靶標(biāo)、網(wǎng)格靶標(biāo)和圓點(diǎn)陣列靶標(biāo)等[3]。圓形特征[4-6]因具有易于檢測、中心定位精度高且計(jì)算量小等優(yōu)點(diǎn)，而被廣泛應(yīng)用于工業(yè)機(jī)器視覺系統(tǒng)中。本文選用如圖2所示的二維圓形點(diǎn)陣列作為靶標(biāo)，以圓形特征的中心為標(biāo)定特征點(diǎn)。將標(biāo)定板平面看作世界坐標(biāo)系的平面，因此標(biāo)定過程中，所有特征點(diǎn)的坐標(biāo)可記為0。

標(biāo)定板上的圓形特征經(jīng)過成像后通常呈橢圓形。對橢圓中心的定位，本文采用文獻(xiàn)[7]提出的方法，以實(shí)現(xiàn)復(fù)雜背景下的標(biāo)定特征點(diǎn)自動提取，并在Matlab環(huán)境下開發(fā)了圓形特征點(diǎn)坐標(biāo)自動提取應(yīng)用程序extract_circle.m。然后，用該程序替換Matlab標(biāo)定工具箱toolbox_calib中的矩形角點(diǎn)提取文件extract_grid.m。圖3顯示了特征點(diǎn)提取的效果。

2.2 理想攝像機(jī)模型求解

對式(1)描述的針孔攝像機(jī)模型，運(yùn)用修改過的Matlab標(biāo)定工具箱toolbox_calib進(jìn)行攝像機(jī)內(nèi)、外參數(shù)的求解。

本文選用20張從不同角度拍攝的照片作為標(biāo)定圖片。首先將20張圖片讀入內(nèi)存，并提取其特征點(diǎn)，然后運(yùn)行標(biāo)定程序，即可得到攝像機(jī)的內(nèi)、外參數(shù)。

2.3 基于改進(jìn)GA的非線性攝像機(jī)模型求解

由于遺傳算法的求解過程具有在染色體和目標(biāo)函數(shù)確定后與問題本身無關(guān)的優(yōu)點(diǎn)，因此容易滿足旋轉(zhuǎn)矩陣正交這一約束條件。本文運(yùn)用改進(jìn)的GA，通過以下幾個(gè)步驟實(shí)現(xiàn)對攝像機(jī)參數(shù)的精確化求解。

A．參數(shù)編碼

設(shè)、和分別是攝像機(jī)坐標(biāo)系的、和軸繞世界坐標(biāo)系的、和軸旋轉(zhuǎn)的角度，由于是標(biāo)準(zhǔn)正交矩陣，故有:

(1-9)

由式(1-9)可得:

(10)

即，可將、和作為遺傳基因?qū)崿F(xiàn)旋轉(zhuǎn)矩陣的精確求解。

因此，針對攝像機(jī)參數(shù)標(biāo)定的遺傳算法的染色體可構(gòu)造為:

由于與二進(jìn)制編碼相比，實(shí)數(shù)編碼具有占用存儲空間小，且計(jì)算精度高、速度快等優(yōu)點(diǎn)[8][9]，因此本文采用實(shí)數(shù)編碼技術(shù)對上述參數(shù)進(jìn)行編碼。

B.種群初始化

各參數(shù)的初始值由2.2節(jié)計(jì)算得出;種群大小設(shè)為，的選取要兼顧算法精度和運(yùn)行速度。

C.適應(yīng)度函數(shù)設(shè)計(jì)

適應(yīng)度函數(shù)是影響遺傳算法性能的關(guān)鍵因素之一[10]。本文選用空間點(diǎn)的實(shí)際坐標(biāo)和期望坐標(biāo)的殘差作為適應(yīng)度函數(shù)，如式(11)，通過求取其最小值來獲得攝像機(jī)參數(shù)的優(yōu)化組合。

(11)

D.選擇

傳統(tǒng)遺傳算法的選擇算子運(yùn)用“適者生存”的思想不能保證遺傳算法收斂于全局最優(yōu)。為克服這一不足，文獻(xiàn)[11]和文獻(xiàn)[12]提出了改進(jìn)方法，但這些方法都因計(jì)算量大而導(dǎo)致運(yùn)算效率下降。為此，本文采用一種只需計(jì)算子代個(gè)體適應(yīng)值的選擇算子，其基本思路是先對父代種群進(jìn)行交叉和變異操作，將父代種群的最優(yōu)個(gè)體直接復(fù)制到下一代，然后計(jì)算每個(gè)子代個(gè)體的適應(yīng)值，并將其從大到小進(jìn)行排序，最后按(12)式對每個(gè)子代個(gè)體進(jìn)行復(fù)制概率的賦值，這樣好的子代個(gè)體和差的子代個(gè)體均以較大的概率進(jìn)入下一代，而序號居中的子代個(gè)體則以較大的概率被淘汰。

(12)

式中，為種群大小;

E．交叉和變異

遺傳算法在優(yōu)化多峰函數(shù)時(shí)應(yīng)具備兩個(gè)特征:①在搜索到含最優(yōu)個(gè)體的區(qū)域后能向最優(yōu)個(gè)體收斂;②在進(jìn)行全局搜索時(shí)，具備搜索新的解空間的能力。以上兩個(gè)特征之間的平衡關(guān)系體現(xiàn)在交叉概率和變異概率的取值范圍上。本文采用自適應(yīng)交叉和自適應(yīng)變異的方法來平衡上述兩個(gè)特征之間的關(guān)系，其交叉概率和變異概率的定義如下:

(13)

(14)

其中，為當(dāng)前種群的最大適應(yīng)值;為當(dāng)前種群的平均適應(yīng)值;為兩交叉?zhèn)€體中較大的應(yīng)值;為進(jìn)行變異操作的個(gè)體的適應(yīng)值;、和均為交叉系數(shù)，其取值范圍為，且滿足;、和均變異系數(shù)，其取值范圍為，且滿足;; 。

由式(13)和(14)可知，這種自適應(yīng)遺傳算法將群體多樣性作為控制變量，且運(yùn)用個(gè)體本身的適應(yīng)值對個(gè)體的交叉率和變異率進(jìn)行實(shí)時(shí)調(diào)整。

3 標(biāo)定實(shí)驗(yàn)與結(jié)果分析

采用索尼HDR-XR150E，其圖像分辨率為640×480，焦距為2.5～62.5mm，數(shù)碼變焦300倍，光學(xué)變焦25倍。標(biāo)定環(huán)境完全模擬鍵盤自動組裝線上的視覺系統(tǒng)的工作環(huán)境，即主要考慮光照變化對攝像機(jī)標(biāo)定的影響。因此，在采集標(biāo)定圖像時(shí)，首先將標(biāo)定板放置在光照強(qiáng)度不同的環(huán)境下拍攝10幅圖像;然后將標(biāo)定板放置光照條件良好但具有不同程度遮擋的環(huán)境下拍攝10幅圖像。

實(shí)驗(yàn)時(shí)，將所拍攝的20副圖像存入改進(jìn)的Matlab標(biāo)定工具箱toolbox_calib中，然后利用toolbox_calib求得攝像機(jī)的內(nèi)參數(shù)如下:

Focal Length:fc=[965.89531 965.89531]

Principal point:cc=[319.50000 239.50000]

Skew:alpha_c=[0.00000]=> angle of pixel=90.00000 degrees

Distortion:kc=[0.000000.000000.000000.000000.00000]

選取20副圖像中的任意1副，可求得攝像機(jī)的外參數(shù)如下:

Translation vector:Tc_ext

=[-279.064621 -291.828667 1453.950915]

Rotation vector:

omc_ext=[2.171701 2.138509 -0.122121]

Rotation matrix:

Rc_ext=[0.015826 0.999850 0.007016

0.992552 -0.014862 -0.120915

-0.120793 0.008877 -0.992638]

Pixel error:err=[0.53018 0.86471]

以上述攝像機(jī)的內(nèi)參數(shù)為初值，外參數(shù)的范圍依據(jù)實(shí)際情況進(jìn)行認(rèn)為設(shè)定，、和的范圍設(shè)為-10°～10°，和的范圍設(shè)為-300～300mm，的范圍設(shè)為0～1800mm，運(yùn)用改進(jìn)的GA對攝像機(jī)參數(shù)進(jìn)行優(yōu)化，經(jīng)過32代優(yōu)化后各參數(shù)基本不再發(fā)生變化。表1給出了采用文獻(xiàn)[6]和本文方法經(jīng)過32代優(yōu)化后的攝像機(jī)內(nèi)參數(shù)。

根據(jù)得到的精確攝像機(jī)內(nèi)參數(shù)，對拍攝20副圖像進(jìn)行處理，每個(gè)特征點(diǎn)實(shí)際坐標(biāo)和計(jì)算坐標(biāo)之間的誤差，其平均值為[0.19835 0.26331]。

上述實(shí)驗(yàn)結(jié)果表明，本文所提出的攝像機(jī)標(biāo)定方法能滿足鍵盤自動組裝對視覺系統(tǒng)精度的要求。

4 結(jié)語

采用2D平面圓點(diǎn)陣列作為靶標(biāo)，并通過自動對多幅圖像進(jìn)行處理來實(shí)現(xiàn)特征點(diǎn)的自動提取。利用該思想對標(biāo)準(zhǔn)Matlab標(biāo)定工具箱toolbox_calib進(jìn)行改進(jìn)，然后用其實(shí)現(xiàn)了線性攝像機(jī)模型的求解。以此為基礎(chǔ)，運(yùn)用基于多目標(biāo)優(yōu)化的自適應(yīng)遺傳算法實(shí)現(xiàn)了對非線性攝像機(jī)模型的精確求解。實(shí)驗(yàn)表明，本文提出的攝像機(jī)標(biāo)定方法能實(shí)現(xiàn)攝像機(jī)參數(shù)的快速而準(zhǔn)確的標(biāo)定，為實(shí)現(xiàn)視覺系統(tǒng)的可靠工作奠定了基礎(chǔ)。

參考文獻(xiàn)

[1]ZHANG Z.Camera calibration with one-dimensional objects[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 2004，26(7):892-899.

[2]QU X J，ZHANG L，MENG B，et al.A new camera calibration method based on two stages distortion model[J].Internal Conference of Information Science and Management Engineering，2010，12:125-129.

[3]張廣軍.視覺測量[M].北京:科學(xué)出版社，2008.

[4]Z.Y.Zhang.A Flexible New Technique for Camera Calibration[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2000，22(11):1330-1334.

[5]Alvarez L，Salgado A，Sanchez J.Robust Detection and Ordering of Ellipse on a Calibration Pattern[J].Pattern Recognition and Image Analysis，2007，17(4):508-522.

[6]楊潔，閆清東，馬越.基于Matlab/simulink的二維圓標(biāo)定方法.計(jì)算機(jī)應(yīng)用，2010，30(6):1610-1612.

[7]夏瑞雪，盧榮勝，劉寧，等.基于圓點(diǎn)陣列靶標(biāo)的特征點(diǎn)坐標(biāo)自動提取方法[J].中國機(jī)械工程，2010，21(16):1906-1910.

[8]TOMIOKA S，NISIYAMA S and ENOTO T.Nonlinear least square regression by adaptive domain method with multiple genetic algorithms[J].IEEE Trans.on Evolutionary Computation， 2007，11:1-16.

[9]ROY R，GHOSHAL S P and BHATT P.Evolutionary computation based four-area automatic generation control in restructured environment[J]. Third Internal Conference on Power Systems(ICPS 09)，2009:1-6.

[10]王小平，曹立明.遺傳算法—理論、應(yīng)用與軟件實(shí)現(xiàn)[M]. 西安交通大學(xué)出版社，2002:28.

[11]KUO T，HWANG S Y.A Genetic Algorithm with Disruptive Selection[J].IEEE Trans.On Systems，Man and Cybernetics，1996，26(2):299-307.

[12]LIU Z M，ZHOU J L and LAN S.New Adaptive Genetic Algorithm Based on Ranking[C]//Pro.of the Second International Conference on Machine Learning and Cybernetics， Xi’an，China，2003，3:1841-1844.