一種行星車視覺(jué)導(dǎo)航系統(tǒng)的立體校正算法

王懷超，張學(xué)全，李海豐

(1.中國(guó)民航大學(xué)中國(guó)民航信息技術(shù)科研基地，天津300300;2.中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京100190)

一種行星車視覺(jué)導(dǎo)航系統(tǒng)的立體校正算法

王懷超1，張學(xué)全2，李海豐1

(1.中國(guó)民航大學(xué)中國(guó)民航信息技術(shù)科研基地，天津300300;2.中國(guó)科學(xué)院國(guó)家空間科學(xué)中心，北京100190)

針對(duì)行星車軟著陸過(guò)程中，視覺(jué)導(dǎo)航系統(tǒng)參數(shù)變化后星面再標(biāo)定難度大的問(wèn)題，在傳統(tǒng)立體校正算法基礎(chǔ)上提出了一種適用于行星車視覺(jué)導(dǎo)航的弱標(biāo)定立體校正算法。算法利用地面標(biāo)定結(jié)果和對(duì)應(yīng)匹配點(diǎn)進(jìn)行優(yōu)化計(jì)算，約束校正矩陣形式，保證了校正結(jié)果為以光心為投影點(diǎn)的單應(yīng)變換，并進(jìn)一步簡(jiǎn)化參數(shù)，降低計(jì)算復(fù)雜度。在理論上證明了算法的正確性，實(shí)驗(yàn)驗(yàn)證了算法的有效性。實(shí)驗(yàn)結(jié)果表明，算法校正結(jié)果與已知相機(jī)內(nèi)、外參數(shù)的歐幾里德校正方法性能相當(dāng)，校正誤差和校正畸變均較小，滿足行星車視覺(jué)導(dǎo)航系統(tǒng)要求。

行星車;視覺(jué)導(dǎo)航;立體校正;基礎(chǔ)矩陣;極線幾何

0 引 言

基于視覺(jué)的環(huán)境感知技術(shù)屬于被動(dòng)感知，與主動(dòng)感知技術(shù)相比具有功耗小、可一次性捕獲整幅畫面且無(wú)需機(jī)械掃描部件等優(yōu)點(diǎn)，因而廣泛地應(yīng)用于行星車(Planetary rover，PR)中，特別是基于雙目視覺(jué)的環(huán)境感知技術(shù)，如美國(guó)好奇號(hào)火星車探測(cè)器［1］、我國(guó)月兔號(hào)月球車［2－3］。通過(guò)處理視覺(jué)信息，行星車可以獲得對(duì)周圍環(huán)境的感知進(jìn)而實(shí)現(xiàn)路徑規(guī)劃。環(huán)境感知能力對(duì)行星車的生存和安全有著非同尋常的意義。其中，雙目立體匹配的精度是影響行星車環(huán)境感知能力的重要因素，作為立體匹配重要步驟的立體校正通過(guò)對(duì)兩幅圖像各進(jìn)行一次單應(yīng)變換，使立體匹配問(wèn)題從二維的搜索問(wèn)題變?yōu)樵谝痪S掃描線上的搜索問(wèn)題，大大減少冗余計(jì)算，加快匹配速度，也降低了誤匹配出現(xiàn)的可能性。

針對(duì)雙目視覺(jué)系統(tǒng)的立體校正，現(xiàn)有的方法主要分為兩類。第一類方法基于相機(jī)的內(nèi)、外參數(shù)標(biāo)定［4］的歐幾里德校正方法。這種方法需要提前標(biāo)定立體相機(jī)內(nèi)、外參數(shù)，操作較為繁鎖，但校正精度高［5－6］。對(duì)于行星車視覺(jué)導(dǎo)航系統(tǒng)，由于受到軟著陸過(guò)程中的沖擊、震動(dòng)、溫度變化等因素的影響，立體視覺(jué)系統(tǒng)中的相機(jī)參數(shù)會(huì)發(fā)生微小變化。如果直接利用地面的歐幾里德標(biāo)定結(jié)果進(jìn)行三維重建，必然精度不高，并對(duì)后續(xù)的路徑規(guī)劃造成影響，降低行星車的星面生存能力。第二類方法基于圖像本身的特性，通過(guò)圖像中的特征點(diǎn)作為標(biāo)志點(diǎn)，利用雙目圖像中對(duì)應(yīng)點(diǎn)的極線特性，構(gòu)建圖像變換矩陣，將特征點(diǎn)的極線在極平面內(nèi)保持平行，從而消除圖像間的垂直視差［7－9］。此類方法都要用到復(fù)雜的非線性優(yōu)化計(jì)算，不能直接應(yīng)用于行星車這種計(jì)算資源有限的系統(tǒng)，需要在算法穩(wěn)定性、速度等方面進(jìn)行改進(jìn)和完善。同時(shí)，這類算法往往只利用射影變換本身性質(zhì)進(jìn)行優(yōu)化，所得到的解是不適定的，產(chǎn)生的結(jié)果不一定是以光心為投影點(diǎn)的單應(yīng)變換，校正后的兩圖像間的基線會(huì)發(fā)生變化，在一定程度上降低后續(xù)三維重建的精度，從而降低行星車的生存能力。

本文綜合應(yīng)用以上兩類方法的思想，針對(duì)行星車視覺(jué)系統(tǒng)在軟著陸過(guò)程中的參數(shù)變化后星面再標(biāo)定難度大的問(wèn)題，設(shè)計(jì)了一種應(yīng)用于精確的三維星面地形重建的弱標(biāo)定立體校正算法。本算法利用地面歐幾里德標(biāo)定結(jié)果和對(duì)應(yīng)匹配點(diǎn)進(jìn)行優(yōu)化計(jì)算，約束校正矩陣形式，并從理論上證明了所加約束的合理性，保證校正結(jié)果為以光心為投影點(diǎn)的單應(yīng)變換和基線長(zhǎng)度不變，進(jìn)一步簡(jiǎn)化參數(shù)、降低計(jì)算復(fù)雜度，最終校正結(jié)果與已知參數(shù)的標(biāo)定方法相差很小。

1 極線幾何

雙目視覺(jué)成像系統(tǒng)由兩個(gè)針孔攝像機(jī)構(gòu)成，如圖1。三維空間點(diǎn)W投影到像平面R1和R2上，得到像點(diǎn)M1和M2(M1和M2是一對(duì)共軛點(diǎn))。M2必位于由M1和兩個(gè)相機(jī)的幾何位置決定的某一條直線上，也就是像平面R2上對(duì)應(yīng)于M1點(diǎn)的極線。

設(shè)m1和m2分別是對(duì)應(yīng)點(diǎn)M1與點(diǎn)M2的圖像齊次坐標(biāo)，它們滿足以下關(guān)系式［8］:式中:F稱為基本矩陣。在給定m1的情況下，式(1)是一個(gè)關(guān)于m2的極線方程，即像平面R2上的極線方程，反之亦然。

兩像平面(如圖1)一般不共面，而若兩像平面共面，則對(duì)應(yīng)外極線處于同一水平線上，即在掃描線上(如圖2)。圖像的立體校正就是把外極線變換成掃描線的過(guò)程。基本矩陣F可分解為F=［e1］×M，M是一個(gè)包含三個(gè)參數(shù)的非奇異矩陣。兩個(gè)極點(diǎn)e1和e2，滿足Me2=e1。對(duì)于校正后的圖像，極點(diǎn)坐標(biāo)為e1=e2=［1，0，0］T，基本矩陣F變?yōu)?

2 本文算法

2.1 歐幾里德校正

定義1.在已知左右相機(jī)內(nèi)參數(shù)矩陣Kl、Kr和相對(duì)外參數(shù)R、t的情況下，在歐幾里德空間內(nèi)，利用歐幾里德幾何性質(zhì)進(jìn)行的兩相機(jī)的立體校正過(guò)程，稱為歐幾里德校正。所求得的左右相機(jī)的立體校正矩陣Hl、Hr稱為歐幾里德校正矩陣。

2.2 弱標(biāo)定情況下的歐幾里德校正

2.2.1 優(yōu)化函數(shù)

設(shè)Hl、Hr為待求的用于左右相機(jī)校正的單應(yīng)矩陣，對(duì)于j對(duì)共軛對(duì)應(yīng)點(diǎn)

可以看出等式左邊只是一個(gè)代數(shù)的上的誤差，并不存在任何幾何信息。所以本文利用Sampson誤差。矩陣可以看成是校正前左右圖像間的基礎(chǔ)矩陣，故可將Sampson誤差表示成:

式中:u2=(0，0，1)。

給定j對(duì)共軛對(duì)應(yīng)點(diǎn)，則存在關(guān)于Hl和Hr的j個(gè)非線性方程{=0}，i=1，2，…，j。則優(yōu)化函數(shù)有如下形式，

使這個(gè)優(yōu)化函數(shù)最小的Hl和Hr就是需要求取的投影變換矩陣。

式(5)中由于參數(shù)過(guò)多，直接優(yōu)化計(jì)算量較大，而且約束較少，為保證所得的校正矩陣為歐幾里德校正矩陣，減小計(jì)算復(fù)雜度，本文對(duì)如下兩個(gè)小節(jié)所述的5個(gè)方面進(jìn)行了優(yōu)化。

2.2.2 約束校正矩陣形式

為保證行星車自主行駛安全，視覺(jué)導(dǎo)航系統(tǒng)在行星的表面三維重建過(guò)程中必須具有較高的精度，這就要求立體校正不能產(chǎn)生較大的次采樣和過(guò)采樣，這樣變換后結(jié)果必須與歐幾里德校正相似。如果不對(duì)Hl和Hr進(jìn)行約束或只利用校正投影變換的性質(zhì)進(jìn)行約束，直接對(duì)式(5)進(jìn)行優(yōu)化，則校正結(jié)果一般會(huì)與歐幾里德校正偏差較大，次采樣和過(guò)采樣效果明顯，而且有可能改變基線長(zhǎng)度，并不能直接用于精確三維重建。

命題1.Hl、Hr為歐幾里德校正矩陣且同時(shí)Hl、Hr為左右光心的單應(yīng)矩陣的充分必要條件為。其中Kol、Kor分別為左右相機(jī)校正前內(nèi)參數(shù)，Knl、Knr為校正后左右虛擬相機(jī)內(nèi)參數(shù)，Rl、Rr分別為左右相機(jī)校正前后像平面之間的旋轉(zhuǎn)矩陣。

證.以左相機(jī)為例，先證充分性。

式中:Kol和 Knl為校正前后左相機(jī)內(nèi)參數(shù)矩陣，Rol、Rnl、tol和tnl分別對(duì)應(yīng)于校正前后左相機(jī)外參數(shù)中的旋轉(zhuǎn)矩陣和平移向量。公式中的Qol和Qnl滿足，

若校正前后均為左相機(jī)光心的單應(yīng)矩陣，則，

式中:Ocl為左相機(jī)的光心坐標(biāo)。這樣，

將式(8)代入式(10)，得到，

同理可證。

必要性:可按照充分性的逆過(guò)程證明，略。

本文為保證在相機(jī)參數(shù)變化情況下變換后結(jié)果依然是歐幾里德校正，根據(jù)命題1結(jié)果，約束變換投影矩陣Hl和Hr有如下形式:

則式(5)中的基本矩陣F可以表示成，

這樣，對(duì)基本矩陣F有式(13)的約束后，對(duì)優(yōu)化函數(shù)(5)進(jìn)行優(yōu)化所得的變換投影矩陣Hl和Hr就為歐幾里德校正矩陣，次采樣和過(guò)采樣均較小，而且變換投影矩陣Hl和Hr為光心點(diǎn)的單應(yīng)矩陣，保證基線長(zhǎng)度不變。

2.2.3 簡(jiǎn)化參數(shù)和優(yōu)化

由于優(yōu)化函數(shù)中的所有參數(shù)均在F中，式(13)中共包括22個(gè)參數(shù)，參數(shù)過(guò)多，直接優(yōu)化計(jì)算量較大，下面根據(jù)各個(gè)參數(shù)間的性質(zhì)，對(duì)參數(shù)進(jìn)行簡(jiǎn)化。

(1)消去內(nèi)參數(shù)Knl和Knr

根據(jù)立體校正性質(zhì)，得Knl=Knr，

這說(shuō)明對(duì)于變換后的兩相機(jī)內(nèi)參數(shù)Knl和Knr，滿足，則式(13)中的基本矩陣F可以簡(jiǎn)化成如下形式:

消去內(nèi)參數(shù)Knl和Knr后，F(xiàn)中的共含有14個(gè)未知參數(shù)。

(2)減少旋轉(zhuǎn)參數(shù)

繞X軸旋轉(zhuǎn)α，則旋轉(zhuǎn)矩陣

(3)像主點(diǎn)坐標(biāo)不變假設(shè)

在行星車視覺(jué)導(dǎo)航系統(tǒng)中，由于相機(jī)本身是制造成一體的，所以可以假設(shè)相機(jī)的內(nèi)參數(shù)在軟著陸過(guò)程中是不變。本文中只假設(shè)相機(jī)內(nèi)參數(shù)中相主點(diǎn)坐標(biāo)不變，焦距可能發(fā)生變化。其中，

這樣我們最終得到

其中共包括αl，αr兩個(gè)內(nèi)參數(shù)和α，β，φ，φ，ω五個(gè)旋轉(zhuǎn)參數(shù)。

經(jīng)過(guò)一系列簡(jiǎn)化后，式(13)中，F(xiàn)中共含有7個(gè)參數(shù)。

(4)增加約束

然而對(duì)于行星車視覺(jué)導(dǎo)航系統(tǒng)來(lái)講，左右相機(jī)在地面上已經(jīng)幾乎平行放置，即外參數(shù)中的五個(gè)旋轉(zhuǎn)參數(shù)都很小，但如果直接最小化優(yōu)化函數(shù)(5)，但所求得的參數(shù)則有可能使校正后的圖像存在較大的變形，因此為式(5)增加一個(gè)旋轉(zhuǎn)角度的約束。

最終得到優(yōu)化函數(shù)，

式中:所有參數(shù)均在F中，共含有7個(gè)參數(shù)。

2.2.4 求解校正矩陣

顯然上述優(yōu)化問(wèn)題可以看成是一個(gè)非線性最小二乘問(wèn)題，可以用Levenberg-Marquardt算法優(yōu)化。Levenberg-Marquardt算法存在對(duì)初值較為敏感的問(wèn)題，本文背景中，由于行星車在軟著陸過(guò)程中參數(shù)發(fā)生微小的變化，故可以利用地面的標(biāo)定結(jié)果作為L(zhǎng)evenberg-Marquardt算法的初值，這樣，很快便可以得到最優(yōu)解。最后將優(yōu)化的結(jié)果αl，αr兩個(gè)內(nèi)參數(shù)和α，β，φ，φ，ω五個(gè)旋轉(zhuǎn)參數(shù)代入到式(12)中，適當(dāng)選取Knl和Knr便可得到最終的立體校正矩陣。本文中選取

這樣最終所求的的立體校正矩陣為:

3 實(shí)驗(yàn)及結(jié)果分析

在實(shí)驗(yàn)室內(nèi)搭建雙目視覺(jué)系統(tǒng)驗(yàn)證平臺(tái)，如圖3所示，將兩臺(tái)Baslar CCD相機(jī)(分辨率為1024× 1024，感光芯片為KAI－1050，像素尺寸為5.5 μm× 5.5 μm)固定在攝影基線約為20 cm的基線上，并進(jìn)行了精確的標(biāo)定，兩相機(jī)的內(nèi)參數(shù)如表1所示，相對(duì)外參數(shù)如表2所示。

表1 兩相機(jī)的內(nèi)參數(shù)Table 1 The intrinsic parameters of the two cameras

表2 兩相機(jī)的相對(duì)外參數(shù)Table 2 The calibrated outer parameters on the earth

表3 參數(shù)變化后兩相機(jī)的相對(duì)外參數(shù)Table 3 The calibrated outer parameters changed

在試驗(yàn)場(chǎng)內(nèi)對(duì)雙目視覺(jué)驗(yàn)證系統(tǒng)中的兩相機(jī)相對(duì)位置做微小的變動(dòng)，參數(shù)變化后對(duì)視覺(jué)系統(tǒng)進(jìn)行再標(biāo)定，標(biāo)定結(jié)果如表3所示。以此來(lái)模擬在軟著陸過(guò)程中行星車視覺(jué)導(dǎo)航系統(tǒng)的參數(shù)變化。在試驗(yàn)場(chǎng)內(nèi)獲取一系列圖像，圖像采樣大小為512×512，部分圖像如圖4所示。按照本文算法對(duì)兩圖像進(jìn)行立體校正，算法的初值如表1和表2所示，對(duì)于行星車來(lái)講，初值即為地面的標(biāo)定結(jié)果。圖4(c)和圖4(d)為對(duì)變動(dòng)后的視覺(jué)系統(tǒng)進(jìn)行再標(biāo)定，然后利用標(biāo)定后內(nèi)外參數(shù)進(jìn)行歐幾里德校正的結(jié)果。圖4(e)和圖4(f)為利用本文算法進(jìn)行校正的結(jié)果。可以看出本文算法產(chǎn)生的校正結(jié)果與參數(shù)變化后再標(biāo)定的歐幾里德校正結(jié)果基本一致，說(shuō)明了本算法的有效性。

為了將本文算法與歐幾里德校正在校正性能上進(jìn)行定量對(duì)比分析，利用如下兩個(gè)常用的衡量指標(biāo):

(1)校正誤差:該項(xiàng)指標(biāo)用于衡量校正后圖像匹配點(diǎn)之間的垂直視差大小，該指標(biāo)定義為:

(2)校正畸變:該項(xiàng)指標(biāo)用于衡量校正算法對(duì)圖像產(chǎn)生的變形大小，該項(xiàng)指標(biāo)定義為:

式中:Spixel為校正后圖像像素所占的面積，而SAR為校正后圖像最小外接矩形的面積。

表4給出了以上兩個(gè)指標(biāo)針對(duì)圖5的測(cè)試圖像的計(jì)算結(jié)果。

表4 本文算法與歐幾里德校正結(jié)果比較Table 4 The rectification error and distortion comparison between the Euclidean rectification after re-calibration and our method

由以上比較結(jié)果可以得出結(jié)論，本文算法產(chǎn)生的校正結(jié)果與已知內(nèi)外參數(shù)的歐幾里德校正算法校正性能相當(dāng)，校正誤差和校正畸變均較小。由于其他弱標(biāo)定系統(tǒng)的立體校正算法，如文獻(xiàn)［7－11］，都不約束校正矩陣為光心點(diǎn)的單應(yīng)矩陣，產(chǎn)生的結(jié)果有可能導(dǎo)致基線長(zhǎng)度發(fā)生變化，并不能用于精確的三維重建，故本文并未與此類算法進(jìn)行比較。

4 結(jié) 論

由以上論述和測(cè)試結(jié)果可以看出本文提出的立體校正算法具有以下特點(diǎn):

(1)本文立體校正算法為弱標(biāo)定系統(tǒng)下的立體校正算法，算法原理上不需要對(duì)雙目視覺(jué)系統(tǒng)的全部參數(shù)進(jìn)行標(biāo)定。行星車視覺(jué)導(dǎo)航系統(tǒng)在軟著陸過(guò)程中參數(shù)發(fā)生變化后，本文算法可完成校正。

(2)本文立體校正算法所得到的校正矩陣為光心點(diǎn)的單應(yīng)矩陣，保證雙目視覺(jué)系統(tǒng)的基線長(zhǎng)度不變，可用于精確的三維重建。

(3)本文算法產(chǎn)生的校正結(jié)果與已知內(nèi)外參數(shù)的歐幾里德校正算法校正性能相當(dāng)，校正誤差和校正畸變均較小，滿足行星車視覺(jué)系統(tǒng)要求。

［1］ Thomas M H，Arin M，Jack M，et al.Enabling continuous planetary rover navigation through FPGA stereo and visual odometry［C］.2012 IEEE Aerospace Conference，MT，March，2012.

［2］ Du J J，He J S，Zhu J J，et al.A method study of generating digital terrain map for lunar exploration based on the stereo vision［C］.The IEEE International Conference on Information and Automation，Shenzhen，China，June，2011.

［3］ Mao X Y，Chen J X，Xing Y，et al.Lunar rover’s vision technology for auto-navigation［C］.The 33rd Chinese Control Conference，Nanjing，China，July，2014.

［4］ 王保豐，毛曉艷，唐歌實(shí).月球車魚眼相機(jī)的標(biāo)定方法研究［J］.宇航學(xué)報(bào)，2011，32(4):933－939.［Wang Bao-feng，Mao Xiao-yan，Tang Ge-shi.A calibration method for fish-eye camera of lunar rover［J］.Journal of Astronautics，2011，32 (4):933－939.］

［5］ Kanbara M，Okuma T，Takemura H.A stereo-scopic video seethrough augmented reality system based on real-time vision-based registration［C］. International Conference on Pattern Recognition，New Brunswick，Canada，March，2000.

［6］ Takagi A，Yamazaki S，Saito Y.Development of a stereo video see-through HMD for AR systems［C］.IEEE and ACM InternationalSymposium on Augmented Reality， Munich Germany，August，2002.

［7］ Richard I H.Theory and practice of projective rectification［J］.International Journal of Computer Vision.1999，35(2):115－127.

［8］ Loop C，Zhang Z Y.Computing rectifying homographies for stereo vision［C］.The International Conference on Computer Vision and Pattern Recognition.Collins，USA，January，1999.

［9］ Fusiello A，Trucco E，Verri A.A compact algorithm for rectification of stereo pairs［J］. Machine Vision and Applications，2000，12(1):16－22.

［10］ Andrea F，Luca I.Quasi-Euclidean uncalibrated epipolar rectification［C］.The 19th International Conference on Pattern Recognition.Tampa，USA，January，2009.

［11］ 林國(guó)余，張為公.一種無(wú)需基礎(chǔ)矩陣的魯棒性極線校正算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2006，11(2):203－209.［Lin Guo-yu，ZhangWei-gong.An effectiverobustrectification method for stereo vision［J］.Journal of Image and Graphics，2006，11(2):203－209.］

通信地址:天津市東麗區(qū)中國(guó)民航大學(xué)南院南教 4－320 (300300)

電話:(022)24092488

E-mail:junkda@163.com

(編輯:張宇平)

A Stereo Rectification Algorithm for Planetary Rover Visual Navigation System

WANG Huai-chao1，ZHANG Xue-quan2，LI Hai-feng1
(1.Information Technology Research Base of Civil Aviation Administration of China，Civil Aviation University of China，Tianjin 300300，China; 2.National Space Science Center，Chinese Academy of Sciences，Beijing 100190，China)

During the process of soft-landing for a planetary rover，the parameters of the video navigation system will be changed.There exists the problem about the increased difficulty for the re-calibration of the two cameras.Based on the common stereo rectification algorithm，a weak calibrated stereo rectification algorithm for the visual navigation system of the planetary rover is proposed in this paper.In this algorithm，the rectification matrix is calculated by corresponding points and parameters calibrated on the Earth;the rectification matrix is constrained to ensure that the projection is a homograph transformation whose projection point is the optical center;the computational complexity is reduced by reducing the number of the parameters.The rectification performance comparison experiments between our algorithm and the Euclidean Rectification algorithm have demonstrated the effectiveness of our proposed algorithm.The correction error and the correction distortion are both smaller，which meets the requirements about the vision system of the planetary rover.

Planetary rover;Vision navigation;Stereo rectification;Fundamental matrix;Epiploar geometry

TP752

A

1000-1328(2017)02-0159-07

10.3873/j.issn.1000-1328.2017.02.007

王懷超(1984－)，男，博士，講師，主要從事圖像處理與視覺(jué)導(dǎo)航研究。

2016-05-10;

2016-12-04