球面立體視覺系統參數標定與極線校正方法研究

龍幫強 魯春芳 馮為嘉

（1.天津大學精密測試技術及儀器國家重點實驗室 天津 300072 2.天津工業大學電子與通信工程學院 天津 300387 3.天津理工大學天津市復雜工業系統控制理論及應用重點實驗室 天津 300384 4.天津師范大學計算機與信息工程學院 天津 300387）

1 引言

魚眼鏡頭具有短焦距，大視場的特點，一次拍攝可以捕獲 185°×185°視場內的全部信息，大量文獻證明魚眼鏡頭建立的多視系統比傳統的透視投影立體視覺系統能得到更大的三維視場[1]。魚眼鏡頭及圖像如圖1所示。所涉及的應用包括城市形貌及景物三維重建、森林樹木檢測、無人駕駛機、移動機器人導航及輔助駕駛等[2-3]，利用雙魚眼鏡頭構建的立體視覺系統被稱為“Spherical Stereo Vision System”—球面立體視覺[1]。其研究工作本質是討論球面模型下的立體視覺方法。球面模型建立的過程可以視為魚眼鏡頭成像的逆過程，由于投影方程是可逆的，因此圖像上的每一點都可以經過一條通過投影中心O的射線與球面相交，在球面模型下，整幅圖像將被映射到一個單位球上。因此球面模型就具有描述360°視場角的特性。然而，球面立體視覺系統的應用有兩個重要的基礎：①系統參數標定。包括成像系統自身的內部參數和用于描述剛體變換的外部參數[4]；②兩幅魚眼圖像的極線校正，目的在于降低后續匹配過程的復雜度，提高匹配精度。

圖1 魚眼鏡頭及魚眼圖像Fig.1 Fisheye lens and fisheye image

系統的參數標定可以確定世界坐標系與圖像坐標系間的映射關系[5]。精確的參數標定能夠為極線校正提供基礎矩陣計算過程中所需相關參數。面向針孔相機模型的參數標定方法國內外已取得豐碩的研究成果[6]，而對于基于魚眼鏡頭建立的立體視覺系統的參數標定方法的研究工作則鮮有報道[1]。

極線幾何用于描述立體視覺系統中不同相機兩幅圖像間的對應關系[7]。在立體匹配前進行極線校正是必要的，目的在于建立理想的立體視覺系統架構，消除垂直方向的視差，從而降低立體匹配過程中的計算復雜度。極線校正使得同一空間點在兩幅圖像上的投影位于同一極線上，從而使匹配時的搜索范圍從二維（X方向和Y方向）降低到一維（僅X方向）提高了匹配效率[8]。但是，由于球面立體視覺系統采用雙魚眼鏡頭構建，使得其極線幾何與常規立體視覺不同，呈非線性，具有開展研究的必要。

2 球面立體視覺系統幾何與數學建模

2.1 幾何模型

對于球面立體視覺系統幾何模型，本文將從魚眼鏡頭光軸相互平行和相互垂直兩種情況進行討論。圖2為光軸相互平行時球面立體視覺的幾何模型。圖3為光軸相互垂直時球面立體視覺的幾何模型。兩個模型均由世界坐標系，攝像機坐標系，圖像坐標系，成像芯片坐標系構成。模型中描述了空間中任意一點在球面立體視覺系統成像的一般情況。每部相機的性質將由需要標定的內部參數來描述，兩部相機間的位姿關系將通過外部參數來關聯。球面立體視覺系統的特性將由需要標定的內部外部參數共同描述。

圖2 光軸相互平行的球面立體視覺幾何模型Fig.2 Geometric model of Spherical Stereo Vision System with paralleled optical axises

圖3 光軸相互垂直的球面立體視覺幾何模型Fig.3 Geometric model of Spherical Stereo Vision System with verticaled optical axises

2.2 球面立體視覺系統內部參數數學模型

通常情況下魚眼鏡頭均是根據等立體角投影、等距投影、體視投影或正交投影的其中一種模型所設計制造的。若能提出一種可以概括以上四種模型的通用魚眼鏡頭數學模型，具有重要理論價值。本文利用式（1）對四種魚眼鏡頭投影模型進行擬合

當只取式（1）中前五項時，θ 的次數已經達到9次，這時式（1）已可以近似擬合以上4種投影模型的投影曲線。因此該視覺模型仿射對稱部分包括5個參數：k1，k2，k3，k4，k5。為了使球面立體視覺系統的數學模型對于多數魚眼鏡頭更具通用性，設F(β)為入射光線到圖像坐標上的映射

其中，r(θ)包括了式（1）中的前五項，θ則是入射光線與主光軸夾角。β =（θ，σ）T表示為入射光線的方向。為了該模型更具廣泛應用，引入以下兩種畸變模型。

一種是徑向畸變

另一種是切向畸變

將式（3）和式（4）兩種畸變模型引入到式（2）中便可得到畸變坐標如下

式中，ur(ψ)與uψ(ψ)分別表示徑向與切向方向上的單位向量。

為了獲得完整的視覺系統模型，我們還需要將成像芯片平面坐標轉換到圖像像素坐標=(u.v)T。假設轉化矩陣正交，則可得到轉換關系如下

式中，(u0,v0)T為圖像中心； mu和 mv分別表示在水平和垂直方向上的單位距離內的像素點的個數。該系統通用數學模型包含23個待標定參數。由于相機內部參數描述相機的性質，因此不同位姿下，相同相機的內部參數依舊相同。

2.3 球面立體視覺系統外部參數數學模型

對于球面立體視覺系統中任意魚眼鏡頭的坐標系與世界坐標系的位置關系空間可以用變換矩陣M表示為

假設空間中任意一點 P，在世界坐標系、球面立體視覺系統中的魚眼鏡頭A的坐標系和魚眼鏡頭B的坐標系中分別成像且其非其次坐標分別為XW，XA和XB，則有

消去XW，可得

兩個相鄰魚眼鏡頭間的位姿關系可以表示為

據此，我們可以得到其他鏡頭間的幾何關系如RA→B,tA→B,RB→C,tB→C,RC→D,tC→D至此以上則為球面立體視覺系統的外部參數。系統外部參數確立了兩部相機間的位置關系，因此光軸水平和光軸垂直兩種位姿關系下的球面立體視覺系統外部參數不同。

2.4 球面立體視覺系統內外參數標定結果

本文采用兩支魚眼鏡頭 FE185C046HA-1和兩臺 UC-1830-CL-12B攝像機構建球面立體視覺系統仿真平臺。以光軸互相垂直為例，圖4為建立的系統仿真平臺，圖5為該仿真平臺兩部相機分別拍攝的靶標圖像。

圖4 球面立體視覺系統仿真平臺Fig.4 The simulation platform of SSVS

圖5 靶標圖像Fig.5 The images of calibration pattern

本文采用適用于魚眼鏡頭等畸變較大鏡頭的平面特征圓靶標。假設攝像機內部參數不隨攝像機或靶標的運動而改變，通過在不同位置所拍攝的多幅靶標圖像建立每個特征點（特征圓圓心）與其圖像上像點之間的對應關系的方法進行相關參數標定。表1和表2為球面立體視覺系統參數標定結果。圖6和圖7以三維空間的形式展示了仿真系統對4幅不同位資的靶標定結果。由圖中可以看出，兩部相機間Z軸相互垂直，X、Y軸彼此相互平行。從仿真圖中可以看出標定結果符合現實空間中的位姿。

表 1 球面立體視覺系統垂直位姿下內部參數標定結果Tab.1 Estimated calibration parameters with paralleled optical axises

表2 球面立體視覺系統平行位姿下內部參數標定結果Tab.2 Estimated calibration parameters with verticaled optical axises

圖6 相機與靶標間的空間平行位置關系Fig.6 The relationship of paralleled optical axises SSVS and partterns in 3D space

圖7 相機與靶標間的空間垂直位置關系Fig.7 The relationship of verticaled optical axises SSVS and partterns in 3D space

3 球面立體視覺系統極線校正方法

3.1 球面成像模型

對于立體視覺的研究絕大多數都是基于透視投影模型。然而，透視投影模型僅適用于 120°左右的視場角的魚眼鏡頭。對于視場角接近 180°的魚眼鏡頭，去畸變后轉化成透視投影模型之后的圖像尺寸將接近于無窮大，因此在有限的像素尺寸中將不可避免地存在信息丟失的情況。

相對于透視模型而言，球面投影模型可以對大視場圖像更好的描述。球面模型的建立可以視為魚眼攝像機成像的逆過程。圖像上的成像點根據標定后得到的投影方程反投影到球面上，然后在前面之上建立相應的球面圖像。在球面圖像中，空間直線不再為圖像平面的直線而是球面上的弧線。球面模型相對于透視投影，能夠表示入射角更大的成像情況。

3.2 極線校正原理

極線校正可以定義為將一對圖片轉換到特定位置的幾何轉換，該特定位置可以使得空間中同一點在兩幅圖像上的成像均位于同一直線上。極線校正的目的是建立理想的立體視覺架構，從而降低立體匹配過程中的計算難度。而理想的立體視覺架構首先滿足兩部攝像機內參的一致性，其次兩個攝像機間還要符合特定的位置關系。

極線校正過程可以認為是一個二次投影過程，即將空間三維點投影到虛擬的相機平面上。該虛擬相機平面具有以下理想特性：光軸平行，相同的內部參數，不失真。圖8展示了真實相機成像面與虛擬相機成像面間的關系。

圖8 立體視覺極線校正模型Fig.8 The model of real and virtual stereo camera

3.3 球面立體視覺系統極線校正方法

與透視立體視覺極線校正模型相同，球面立體視覺同樣需要兩個及以上的不同視角的球面模型對場景進行觀測。由于球面立體視覺系統中相鄰兩部相機成90°水平安放，因此球面立體視覺系統的極線幾何是一種區別于雙目立體視覺系統和平行球型立體視覺系統的非線性極線幾何。圖9示意了球面立體視覺系統的觀測過程。

圖9 球面立體視覺系統Fig.9 Virtual camera system with fish-eye lens which are perpendicular to each other

在球面模型中的對應點同樣需要滿足相應的極線約束。設三維場景點X在第一個球面模型中的投影點為P1，在第二個球面模型中的投影點為P2。根據中心投影定理，連個球面模型中心C1，C2與投影點P1，P2以及場景點X共同形成一個極平面。隨著場景點的移動，極平面將繞著基線C1C2旋轉，這些極平面一同構成極平面束。在透視投影模型下，圖像平面與極平面相交于極線 l，不同的極線簇相交于一個基點 e。但在球面模型中，極平面束與球面相交的結果為球面上的大圓，即為球面模型的極曲線，不同的極曲線匯聚于球面模型中的兩個極點e1，e2。對應點P1、P2同樣滿足極線約束

球面立體視覺系統的理想位置為，兩部相鄰相機成水平90°夾角，即兩部相機的3個坐標軸彼此相互垂直如圖9所示。但理想立體視覺架構很難實現，因此我們需要通過極線校正來生成滿足相應極線約束的虛擬球面模型。世界坐標系下點 Xw=[XwYwZw]，經過旋轉矩陣R和平移向量T，變換為縣級坐標系下坐標Xc。其中，r1，r2，r3分別為R的3個行向量，對應X，Y，Z 3個相機坐標軸方向。本文的校正方法參考了文獻[9]。假設新生成的連個虛擬相機投影模型為

（1）連接兩個攝像機的中心，生成一個空間向量，然后依次作為X軸

（2）設定一個向量 v，使得 Y軸同時正交與X軸與v：

（3）最后，根據正交坐標系定義，Z軸由X軸和Y軸共同確定

然后再將球面模型上的灰度圖投影到校正平面。以下以一個魚眼鏡頭舉例說明。

假定空間中一點P，其投影點為p1o，校正平面點為p1n，則有

容易得出

式中，λn和λ0為比例因子。因此我們可以得到

式中，λ=λo/λn。由于球面圖像與校正圖像有相同的像素值因此λ=1。

3.4 球面立體視覺系統極線校正實驗結果

對光軸平行的球面立體視覺拍攝的靶標圖像實施極線校正測試。圖10a為兩部相機同時采集的靶標圖像，其像素尺寸為1 024×1 024。利用標定得到的相機的內部參數和外部參數可以對圖像進行極線校正。圖10b為極線校正后的一對靶標圖片，從圖中可以看出球面立體視覺系統的極線彼此平行，并且空間中同一點在兩幅圖像上的像均在同一直線上。

圖10 靶標的極線校正圖像Fig.10 Rectification of pattern images,Original images,Pair of epipolar rectification image

4 結論

本文研究球面立體視覺參數標定方法，標定得到的內、外參數為極線校正基礎矩陣提供所需參數。分別建立了光軸相互平行以及光軸相互垂直兩種球面立體視覺系統的幾何模型，并提出數學模型描述內、外參數關系。通過拍攝特征圓靶標的形式實施參數標定并給出快速有效的參數標定方法。利用參數標定結果對采集到的一組魚眼圖像實施極線校正。該極線校正方法基于二次虛擬投影，適用于大場景的觀測系統。實驗結果證明，本文提出的方法實用且有效，有助于球面立體視覺的推廣與應用。

[1] Li Shigang,Binocular spherical stereo[J],IEEE Transactions on Intelligent Transportation Systems,2008,9,520-526.

[2] Gehrig S.,Rabe C,Krueger L.6D vision goes fisheye for intersection assistance[J].Proc.Com- puter and Robot Vision',2008,34-41.

[3] Liu Yu Chih,Lin Kai Ying,Chen Yong Sheng,Bird’s-eye view vision system for vehicle surrounding monitoring[J].Robot Vision.2008,(4931),207-218.

[4] Eynard D,Vasseur P,Demonceaux C,et al.UAV altitudeEstimation by mixed stereoscopic vision[J].Intelligent Robots and Systems,2010,17(18),646-651.

[5] Michal Havlena,Tomas Pajdla,Structure from omnidirectional stereo rig motion for city modeling[C].Proc.International Conference on Computer Vision Theory and Applications,2008,407-414.

[6] Nishimoto T,Yamaguchi J.Three dimensional measurement using fisheye Stereo vision[C].Proc.SICE Annual Conference,2007,2008-2012.

[7] Li S,Fukumori K.Spherical stereo for the construction of immersive VR environment[C].Proc.IEEE VR Conference,2005,217.

[8] Henderson D W,Taimina D.Experiencing geometry:euclidean and non-euclidean with history.englewood cliffs,NJ:Prentice-Hall,2005.

[9] Herrera P.J,Pajares G,Guijarro M,et al.A stereovision sensor for forest inventories sensor[J].Device Technologies and Applications,2010,64(117):73-79.