基于LM算法的相對(duì)測(cè)量相機(jī)非線性標(biāo)定技術(shù)

田少雄，盧 山，劉宗明，孫 玥，劉付成，曹姝清

（1.上海航天控制技術(shù)研究所，上海 201109；2.上海市空間智能控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，上海 201109）

0 引言

基于光學(xué)成像的視覺(jué)相對(duì)導(dǎo)航系統(tǒng)因其體積小、重量輕、壽命長(zhǎng)和可靠性高等優(yōu)點(diǎn)，已成為空間任務(wù)中獲得航天器間相對(duì)位姿信息的重要手段［1］。計(jì)算機(jī)視覺(jué)系統(tǒng)用相機(jī)從空間獲取圖像信息，如欲通過(guò)三維重建得到空間物體的位置、姿態(tài)等信息，須知道三維空間點(diǎn)與圖像像素間的對(duì)應(yīng)關(guān)系，這就需要對(duì)相機(jī)進(jìn)行標(biāo)定。相機(jī)標(biāo)定技術(shù)主要分為傳統(tǒng)標(biāo)定方法和自標(biāo)定方法兩類。自標(biāo)定方法又稱為弱標(biāo)定，精度不高，魯棒性不強(qiáng)［2－3］。傳統(tǒng)的標(biāo)定方法又分為線性標(biāo)定和非線性標(biāo)定兩類。相機(jī)線性標(biāo)定不考慮相機(jī)鏡頭的畸變，算法速度快，但精度較低，且對(duì)噪聲敏感，適用一般場(chǎng)合［4］。相機(jī)非線性標(biāo)定引入了相機(jī)的畸變參數(shù)，模型更精確，標(biāo)定精度較高。在非線性模型中，雖然引入相機(jī)畸變因素可補(bǔ)償鏡頭畸變的影響，但算法的迭代需選取良好的初值，且模型越精確，計(jì)算代價(jià)越高。文獻(xiàn)［5］基于徑向約束（RAC）的兩步法標(biāo)定，可保證較高的精度，但需對(duì)圖像中心等參數(shù)進(jìn)行預(yù)標(biāo)定。文獻(xiàn)［6］引入一階徑向畸變，用非線性迭代法優(yōu)化攝像機(jī)相關(guān)參數(shù)，一定程度提高了標(biāo)定精度。文獻(xiàn)［7］采用基于神經(jīng)網(wǎng)絡(luò)的標(biāo)定方法，可求解復(fù)雜的非線性問(wèn)題，但訓(xùn)練網(wǎng)絡(luò)需要有足夠的樣本，且泛化能力差。

Levenberg－Marquardt算法是一種性能優(yōu)良的最優(yōu)化算法，結(jié)合了梯度法和牛頓法的優(yōu)點(diǎn)，且收斂性強(qiáng)。為此，本文對(duì)一種基于 Levenberg－Mar－quardt算法的相機(jī)非線性標(biāo)定方法進(jìn)行了研究。

1 相機(jī)非線性模型

相機(jī)的針孔模型又稱為線性相機(jī)模型［8］。空間中任意一點(diǎn)P在圖像中的投影點(diǎn)p可用針孔模型近似表示，如圖1所示。

圖1 相機(jī)模型Fig.1 Camera model

設(shè)（u，v）為投影點(diǎn)p的圖像像素坐標(biāo)；（Xc，Yc，Zc）為空間點(diǎn)P在相機(jī)坐標(biāo)系中的坐標(biāo)，兩者關(guān)系可用齊次坐標(biāo)表示為

式中：s為比例因子；αx，αy分別為u、v軸上的尺度因子；（u0，v0）為像面主點(diǎn)位置。

設(shè)（Xw，Yw，Zw）為空間點(diǎn)P在世界坐標(biāo)系中的坐標(biāo)，點(diǎn)P在世界坐標(biāo)系和相機(jī)坐標(biāo)系中的關(guān)系可用齊次坐標(biāo)表示為

式中：R為相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣；t為世界坐標(biāo)系和平移向量。

由式（1）、（2）可得，世界坐標(biāo)系表示的空間點(diǎn)P與其投影點(diǎn)p坐標(biāo)的關(guān)系為

式中：M1為線性相機(jī)內(nèi)部參數(shù)，取決于αx，αy，u0，v0；M2為相機(jī)外部參數(shù)，取決于相機(jī)坐標(biāo)系相對(duì)世界坐標(biāo)系的方位。

實(shí)際工程中，由于鏡頭的彎曲和安裝誤差等影響，鏡頭并非理想的透鏡成像，而帶有不同程度的畸變，使空間點(diǎn)所成的像不在線性模型描述的位置，而是在受到鏡頭失真后影響有一定偏移［9］。

在針孔模型中對(duì)Pc（Xc，Yc，Zc）作歸一化投影，可得歸一化的圖像坐標(biāo)為

式中：（x，y）為理想圖像坐標(biāo)值。

令（xd，yd）為在受鏡頭失真后影響而偏移的實(shí)際像平面坐標(biāo)，且

式中：δx，δy為線性畸變值。畸變模型一般包括徑向畸變和切向畸變。

a）徑向畸變

徑向畸變主要來(lái)自鏡頭形狀，光學(xué)中心的徑向畸變?yōu)?，隨著向邊緣移動(dòng)，徑向畸變?cè)絹?lái)越嚴(yán)重，其數(shù)學(xué)模型為

式中：r2＝x2＋y2；k1，k2，…為徑向畸變系數(shù)。

b）切向畸變

切向畸變主要是由透鏡制造中的缺陷使透鏡本身與圖像平面不平行產(chǎn)生的，其數(shù)學(xué)模型為

式中：p1，p2，…為切向畸變系數(shù)。

為保證精度和迭代速度，本文僅考慮徑向畸變和切向畸變的前兩項(xiàng)，這已能獲得足夠的精度，則（xd，yd），（x，y）滿足關(guān)系

將歸一化的實(shí)際圖像坐標(biāo)轉(zhuǎn)換為在圖像像素坐標(biāo)系的坐標(biāo)，由式（1）有

上述線性模型的參數(shù)αx，αy，u0，v0與非線性畸變參數(shù)k1，k2，p1，p2構(gòu)成了非線性模型的相機(jī)內(nèi)部參數(shù)。

2 初值求解

本文用直接線性變換法（DLT）計(jì)算相機(jī)內(nèi)外參數(shù)的初值，通過(guò)求解線性方程可求得相機(jī)模型的參數(shù)。

由式（3）可得

式中：（Xwi，Ywi，Zwi，1）為3D 立體靶標(biāo)第i個(gè)點(diǎn)的坐標(biāo)；（ui，vi，1）為第i個(gè)點(diǎn)的圖像坐標(biāo)。式（10）消去si后可得兩個(gè)關(guān)于mij的線性方程

對(duì)n個(gè)特征點(diǎn)，可得2n個(gè)關(guān)于M陣元素的線性方程。實(shí)際上，M陣乘以任意不為零的常數(shù)不會(huì)影響（Xw，Yw，Zw）與（u，v）間的關(guān)系，故可指定m34＝1，當(dāng)2n＞11時(shí)，可用最小二乘法可求出M陣的所有元素。求出M后，可分解獲得相機(jī)的線性內(nèi)外參數(shù)。

3 Levenberg－Marquardt非線性優(yōu)化

由直接線性變換法求得相機(jī)線性模型的內(nèi)外參數(shù)初值后，對(duì)其進(jìn)行非線性優(yōu)化。對(duì)于n個(gè)標(biāo)定點(diǎn)，可通過(guò)最小化目標(biāo)函數(shù)

對(duì)內(nèi)外參數(shù)進(jìn)行優(yōu)化。此處：（xdi，ydi），（ui，vi）分別為第i個(gè)點(diǎn)的模型和實(shí)際坐標(biāo)。

本文用LM算法求解最優(yōu)化問(wèn)題，LM算法是求解非線性最優(yōu)化問(wèn)題的典型算法，結(jié)合了最速下降法和 Gauss－Newton法的優(yōu)點(diǎn)［10］。

設(shè)xk為當(dāng)前解，對(duì)式（12），Gauss－Newton法求解問(wèn)題的試探步為）

式中：J（xk）為Jocobian矩陣。Gauss－Newton法要求Jocobian矩陣為行滿秩，故無(wú)法用其求解非線性方程組奇異問(wèn)題。

LM算法對(duì)Gauss－Newton法進(jìn)行改進(jìn)，將一個(gè)正定矩陣ukI加到（J（xk））TJ（xk）上，使之成為正定矩陣，LM算法步長(zhǎng)

式中：I為單位矩陣；u為L(zhǎng)M參數(shù)，當(dāng)時(shí)u→0時(shí)，趨于Gauss－Newton法，當(dāng)u→ ∞ 時(shí)，dk趨于最速下降法。

將直接線性變換求得的內(nèi)外參數(shù)作為初值，取k1，k2，p1，p2初值為0，進(jìn)行迭代計(jì)算，算法步驟為

a）輸入初值x0，初始參數(shù)u＝0.01，設(shè)定精度ε＝1×10－7；

b）計(jì)算F（x），J（x）；

c）計(jì)算dk，則xk＋1＝xk＋dk；

d）若F（xk＋1）＜F（xk），且 ‖dk‖ ＜ε，停止迭代，輸出結(jié)果；否則，令u＝u／10，轉(zhuǎn)至步驟b）；

e）若F（xk＋1）≥F（xk），令u＝10u，重新計(jì)算dk，返回到步驟d）。

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)相機(jī)分辨率2 048pixel×2 048pixel，鏡頭焦距f＝10mm，像元尺寸5.5μm×5.5μm。以精密三維坐標(biāo)機(jī)為標(biāo)定靶標(biāo)，三維坐標(biāo)機(jī)前后移動(dòng)3個(gè)面，共采集世界坐標(biāo)采樣點(diǎn)196個(gè)。對(duì)采集的靶標(biāo)點(diǎn)進(jìn)行圖像處理后，可得對(duì)應(yīng)的圖像像素坐標(biāo)。由此獲得世界坐標(biāo)和圖像坐標(biāo)點(diǎn)對(duì)196組。

實(shí)驗(yàn)中，用直接線性變換法求出相機(jī)內(nèi)外參數(shù)的初值，取k1，k2，p1，p2初值為0，用LM 法迭代計(jì)算精確解，結(jié)果見(jiàn)表1。

迭代優(yōu)化完成后，分別用初始的內(nèi)外參數(shù)和優(yōu)化后的內(nèi)外參數(shù)重新投影，計(jì)算實(shí)測(cè)圖像坐標(biāo)與由模型得到的圖像坐標(biāo)的像點(diǎn)坐標(biāo)誤差，初始參數(shù)重新投影的像點(diǎn)誤差如圖2所示，LM優(yōu)化參數(shù)重新投影得到的像點(diǎn)誤差如圖3所示。

定義實(shí)測(cè)圖像坐標(biāo)（u，v）與根據(jù)模型投影的圖像坐標(biāo)（U，V）的距離平均值

表1 標(biāo)定結(jié)果Tab.1 Calibration result

圖2 初始參數(shù)反投誤差Fig.2 Reprojection error of initial parameters

圖3 LM優(yōu)化參數(shù)反投誤差Fig.3 Reprojection error of LM optimation parameters

用式（15）分別求得初始參數(shù)與LM優(yōu)化參數(shù)反投得到的圖像坐標(biāo)與實(shí)測(cè)坐標(biāo)的距離平均值分別為0.172 33，0.045 48。

由重新投影后的像點(diǎn)誤差圖和距離平均值可知：經(jīng)非線性優(yōu)化后，反投像點(diǎn)的誤差更趨近于零，與實(shí)測(cè)坐標(biāo)間的平均距離也減小很多，標(biāo)定精度有一定提高。

為進(jìn)一步驗(yàn)證算法有效性，將本文算法與相機(jī)標(biāo)定的經(jīng)典算法Tsai法進(jìn)行比較。Tsai標(biāo)定法標(biāo)定結(jié)果為：k1＝－0.022 61；內(nèi)參、外參分別為

Tsai法只考慮了一階徑向畸變，本文方法考慮了一階和二階的徑向、切向畸變。Tsai重新投影的像點(diǎn)誤差如圖4所示。

圖4 Tsai法標(biāo)定參數(shù)反投誤差Fig.4 Reprojection error of Tsai method calibration parameters

由式（15），可得Tsai法標(biāo)定參數(shù)反投得到的圖像坐標(biāo)與實(shí)測(cè)坐標(biāo)的距離平均值為0.112 99，略大于本文算法得到距離平均值。比較反投誤差和距離平均值和距離平均值可知，本文算法精度較高。

5 結(jié)束語(yǔ)

在考慮相機(jī)徑向畸變和切向畸變情況下，本文用立體坐標(biāo)機(jī)獲得標(biāo)定所用特征點(diǎn)數(shù)據(jù)，由直接線性變換法求出了相機(jī)的線性模型內(nèi)外參數(shù)，用LM算法迭代求解出非線性模型的內(nèi)外參數(shù)。與初始標(biāo)定結(jié)果和Tsai法標(biāo)定結(jié)果比較表明：本文算法能有效提高相機(jī)標(biāo)定精度。

［1］ PHILIP N K，ANANTHASAYANAM M R.Relative position and attitude estimation and control schemes for the final phase of an antonomous docing mission of spacecraft［J］.Acta Astronauica，2003，52：511－522.

［2］ FAUGERAS Q，LUONG T，MAYBANK S.Camera self－calibration：theory and experiments［C］／／In Proceeding of the 2nd European Conference on Computer Vision.Santa Margherita Ligure：Computer Vision－ECCV，1992：321－334.

［3］ MAYBANK S，F(xiàn)AUGERAS O.A theory of self－calibration of a moving camera［J］.International Journal of Computer Vision，1992，8（2）：123－151.

［4］ 高宏偉.計(jì)算機(jī)雙目立體視覺(jué)［M］.北京：電子工業(yè)出版社，2012.

［5］ TSAI R Y.A versatile camera calibration technique for high－accuracy 3Dmachine vision metrology using off－the－shelf TV cameras and lenses［J］.IEEE journal of Robotics and Automation，1987，RA－3（4）：323－344.

［6］ 夏 艷，蘇 中，吳細(xì)寶.雙目視覺(jué)測(cè)量系統(tǒng)的標(biāo)定及三維測(cè)量［J］.中國(guó)圖像圖形學(xué)報(bào)，2008，13（7）：1298－1302.

［7］ 秦慶兵.基于神經(jīng)網(wǎng)絡(luò)的攝像機(jī)畸變校正研究［D］.沈陽(yáng)：東北大學(xué)，2010.

［8］ 張廣軍.視覺(jué)測(cè)量［M］.北京：科學(xué)出版社，2008.

［9］ 葛寶臻，李曉潔，邱 實(shí).基于共面點(diǎn)直接線性變換的相機(jī)畸變校正［J］.中國(guó)激光，2010，37（2）：488－494.

［10］ 袁亞湘，孫文瑜.最優(yōu)化理論與方法［M］.北京：科學(xué)出版社，2001.