相機(jī)畸變的混合模型迭代檢校法

汪佳麗，王煒杰，馬振玲

(上海海洋大學(xué)海洋科學(xué)學(xué)院，上海 201306)

相機(jī)檢校是攝影測量[1-2]和計(jì)算機(jī)視覺界長期關(guān)注的問題，至今為止國內(nèi)外提出了很多檢校方法，但仍然很難找到一個(gè)既能方便地適用于各種場景，又能得到很高精度的相機(jī)檢校方法[3]。傳統(tǒng)的畸變校正方法主要是利用棋盤格網(wǎng)等檢校板，根據(jù)檢校模型計(jì)算畸變系數(shù)和影像的內(nèi)外方位元素，從而進(jìn)行影像校正[4]。對(duì)于相機(jī)的畸變校正，文獻(xiàn)[5]提出了Australis模型，并認(rèn)為其為最優(yōu)經(jīng)驗(yàn)?zāi)Ｐ停侨狈?duì)模型適應(yīng)性的定量性分析。文獻(xiàn)[6]表明對(duì)于大多數(shù)計(jì)算機(jī)視覺的應(yīng)用，可以忽略切向畸變，但是對(duì)于一些短焦距大視角的鏡頭畸變，其切向畸變和平面內(nèi)畸變都偏大，因此大多數(shù)情況下并不適用。文獻(xiàn)[7]在傳統(tǒng)畸變模型和文獻(xiàn)[8]模型的基礎(chǔ)上提出了新的畸變模型，能夠?qū)?shù)碼相機(jī)的整體檢校精度降低到0.5像素以下。但是其建立的模型復(fù)雜程度較高，未知數(shù)個(gè)數(shù)較多，不利于實(shí)現(xiàn)，穩(wěn)健性較低。文獻(xiàn)[9]在現(xiàn)有相機(jī)的檢校模型基礎(chǔ)上提出了迭代的相機(jī)檢校思路，發(fā)現(xiàn)模型的迭代檢校法能夠進(jìn)一步提高檢校精度。綜上所述，目前的非線性畸變檢校模型主要是針對(duì)相機(jī)中存在的徑向、偏心和平面內(nèi)畸變，由于CCD成像平面存在不規(guī)則和不平性，往往并不能簡單地通過模型檢校系數(shù)進(jìn)行校正[3]，而且畸變模型的檢校精度還有待提高。

本文首先通過理論證明了考慮徑向、偏心和平面內(nèi)3種畸變的檢校模型優(yōu)于考慮其中一種或兩種畸變的檢校模型；其次針對(duì)相機(jī)成像平面的不平性等問題，在考慮3種畸變的物理檢校模型的基礎(chǔ)上引入了數(shù)學(xué)檢校模型(切比雪夫多項(xiàng)式[10-11])，并通過試驗(yàn)驗(yàn)證了兩個(gè)模型交替混合迭代，能更好地提高檢校精度；最后對(duì)運(yùn)動(dòng)相機(jī)GoPro Hero 5 Black的線性模式進(jìn)行了檢校試驗(yàn)，結(jié)果顯示本文提出的物理檢校模型和數(shù)學(xué)檢校模型的混合迭代檢校法能夠更好地提高檢校精度。

1 相機(jī)檢校模型

1.1 物理檢校模型

一般來說，非線性光學(xué)畸變主要有徑向畸變，偏心畸變及平面內(nèi)畸變[12-13]。經(jīng)典的相機(jī)平面校正模型(物理檢校模型)為

(1)

式中，k1、k2、k3為徑向畸變系數(shù)；p1、p2為偏心畸變系數(shù)；b1、b2為像元大小不均勻的情況下x方向的比例因子和非正交性(線性畸變)的畸變系數(shù)；x、y為像點(diǎn)坐標(biāo)；x0、y0為主點(diǎn)坐標(biāo)；r為實(shí)際像點(diǎn)的徑向距離。

為了仔細(xì)分析各種畸變的影響，本文定義了幾種物理模型。〇號(hào)模型：不估算任何畸變系數(shù)；二號(hào)模型：只估算偏心畸變系數(shù)p1、p2；三號(hào)模型：只估算徑向畸變系數(shù)k1、k2、k3；五號(hào)模型：同時(shí)估算徑向畸變系數(shù)k1、k2、k3和偏心畸變系數(shù)p1、p2；七號(hào)模型：同時(shí)估算徑向畸變系數(shù)k1、k2、k3，偏心畸變系數(shù)p1、p2，平面內(nèi)畸變系數(shù)b1、b2。

1.2 數(shù)學(xué)檢校模型

除了應(yīng)用物理模型，本文嘗試采用兩維切比雪夫正交多項(xiàng)式，作為數(shù)學(xué)檢校模型來進(jìn)行檢校。切比雪夫多項(xiàng)式具有收斂性、正交性和對(duì)稱性的特點(diǎn)。正交的特點(diǎn)保證系數(shù)間不相關(guān)，理論上任何模型都可以用一組n階正交多項(xiàng)式來無限逼近[14]。根據(jù)魏爾施特拉斯逼近定理，閉區(qū)間的任何連續(xù)函數(shù)都可以用多項(xiàng)式級(jí)數(shù)逼近，本文采用一組第1類切比雪夫多項(xiàng)式來逼近影像畸變模型。切比雪夫多項(xiàng)式由式(2)的遞推關(guān)系確定

T0(x)=cos 0=1，T1(x)=x，Tn+1(x)=2xTn(x)-Tn-1(x)

(2)

式中最高次xn項(xiàng)的系數(shù)為2n-1。式(2)為一維形式的切比雪夫多項(xiàng)式，兩維形式的切比雪夫多項(xiàng)式檢校模型為

(3)

正交多項(xiàng)式的階數(shù)決定需要估算的系數(shù)個(gè)數(shù)，如采用3階(M=N=3)，即各用9個(gè)系數(shù)(am,n，bm,n)來描述x與y方向的畸變，本文切比雪夫多項(xiàng)式檢校模型簡稱CHEBY模型。

2 相機(jī)檢校試驗(yàn)及結(jié)果分析

2.1 考慮不同畸變系數(shù)的檢校模型比較

針對(duì)物理檢校模型是否應(yīng)該考慮徑向、偏心和平面內(nèi)3種畸變還是考慮其中的一種或兩種畸變的理論證明，本文模擬4張理想的棋盤影像，理想影像除去了噪聲、光線等環(huán)境誤差及控制點(diǎn)的量測等誤差。此時(shí)理想影像的像方中誤差和控制點(diǎn)空間坐標(biāo)中誤差都為0，通過模擬4組不同的畸變系數(shù)，對(duì)理想影像重采樣得到4組具有不同畸變的模擬影像。4組畸變系數(shù)見表1。

針對(duì)4組模擬影像，分別使用不同的物理檢校模型進(jìn)行檢校，檢校精度如圖1所示。

圖1 不同物理檢校模型對(duì)模擬影像的檢校結(jié)果比較

從圖1可以看出，對(duì)應(yīng)于4組具有不同畸變的模擬影像，考慮徑向、偏心和平面內(nèi)3種畸變的7號(hào)模型檢校精度最高。

2.2 模擬影像的混合模型迭代檢校試驗(yàn)

文獻(xiàn)[15]提出對(duì)于相機(jī)表面存在的不平性等制造誤差可以通過徑向畸變和有限元內(nèi)插畸變兩部分進(jìn)行消除。本文在先前提出的迭代檢校法基礎(chǔ)上引入了數(shù)學(xué)檢校模型，在迭代過程中交替使用物理檢校模型和數(shù)學(xué)檢校模型，從而形成混合模型的相機(jī)迭代檢校法。

首先利用表1中的第1組畸變系數(shù)獲取的4張畸變模擬影像試驗(yàn)，針對(duì)混合模型迭代檢校是先采用物理檢校模型(七號(hào)模型)還是先采用數(shù)學(xué)檢校模型的問題進(jìn)行了探討。假設(shè)模擬影像的外方位元素未知，分別對(duì)該4張模擬影像進(jìn)行七號(hào)模型檢校和CHEBY模型檢校，檢校結(jié)果發(fā)現(xiàn)CHEBY模型檢校得到的外方位元素偏離真值較大，而七號(hào)模型檢校的結(jié)果接近真實(shí)值，因此在外方位元素未知的情況下，混合模型迭代檢校法先采用七號(hào)模型進(jìn)行檢校。

根據(jù)檢校迭代思路，本文設(shè)計(jì)了兩種迭代途徑：迭代途徑1是先采用七號(hào)模型迭代檢校，當(dāng)檢校穩(wěn)定后，固定外方位元素再采用CHEBY模型迭代檢校；迭代途徑2是先采用七號(hào)模型檢校，固定外方位元素采用CHEBY模型檢校，然后再采用七號(hào)模型檢校，固定外方位元素后再次采用CHEBY模型檢校，依次類推交錯(cuò)迭代檢校，直至穩(wěn)定。迭代途徑一和迭代途徑二得到的結(jié)果分別見表2和表3。

表2 迭代途徑1檢校結(jié)果

表3 迭代途徑2檢校結(jié)果

表中07表示七號(hào)模型一次迭代檢校；07-07表示七號(hào)模型的二次迭代檢校；07-C表示先采用七號(hào)模型檢校，然后固定外方位元素?cái)?shù)進(jìn)行CHEBY模型檢校；07-C-07表示采用七號(hào)模型和CHEBY模型檢校后再采用七號(hào)模型檢校；(07-C)X4表示4次七號(hào)模型和CHEBY模型檢校混合交錯(cuò)迭代。其他檢校迭代標(biāo)號(hào)表達(dá)以此類推。

比較兩種迭代檢校途徑結(jié)果可以發(fā)現(xiàn)，迭代途徑2小于迭代途徑1，即交替采用七號(hào)模型與CHEBY模型的混合模型迭代檢校途徑優(yōu)于先采用七號(hào)模型迭代檢校再采用CHEBY模型迭代檢校的混合模型迭代檢校途徑。

2.3 GoPro Hero 5 Black運(yùn)動(dòng)相機(jī)的混合模型迭代檢校試驗(yàn)

本文利用GoPro Hero 5 Black相機(jī)的線性模式進(jìn)行了混合模型的迭代檢校試驗(yàn)。該款相機(jī)拍攝的影像具有1200萬像素分辨率，傳感器尺寸為1/2.3英寸，焦距約為3.4 mm。選用具有規(guī)則幾何形狀且磚塊紋路清晰的建筑物墻面作為檢校場，在距離墻面約1.1 m處拍攝7張影像，設(shè)置了71個(gè)控制點(diǎn)，利用全站儀獲取的控制點(diǎn)量測精度約為2 mm，影像的像素分辨率約為0.46 mm。通過七號(hào)模型和CHEBY模型進(jìn)行混合迭代檢校7次后控制點(diǎn)空間坐標(biāo)中誤差和像方中誤差趨于穩(wěn)定，此時(shí)像方中誤差約為1.91像素(相當(dāng)于平面0.88 mm)，物方空間坐標(biāo)中誤差約為2.00 mm，檢校精度見表4。

表4 GoPro Hero 5 Black相機(jī)混合模型迭代檢校精度

3 結(jié) 語

本文首先通過模擬影像引入各種畸變，然后對(duì)其進(jìn)行畸變恢復(fù)檢校試驗(yàn)，試驗(yàn)證明考慮徑向、偏心和平面內(nèi)3種畸變的物理檢校模型比只考慮一種或兩種畸變的物理檢校模型能更好地對(duì)影像進(jìn)行畸變檢校。針對(duì)現(xiàn)有物理檢校模型不能完全消除影像殘余畸變的情況，本文引入了數(shù)學(xué)檢校模型(切比雪夫多項(xiàng)式檢校模型)，并通過模擬的畸變影像驗(yàn)證了交替采用物理檢校模型和數(shù)學(xué)檢校模型的混合迭代檢校能獲得更優(yōu)的檢校效果。最后對(duì)運(yùn)動(dòng)相機(jī)獲取的真實(shí)影像進(jìn)行進(jìn)一步試驗(yàn)，結(jié)果表明基于混合模型的迭代檢校法能進(jìn)一步提高檢校精度。今后將進(jìn)行把主距主點(diǎn)作為檢校參數(shù)納入相機(jī)檢校模型的研究。