移動車輛上全方向攝像機的３Ｄ環境識別

摘 要：提出一個能夠從移動的車輛來識別城市區域環境的感應器系統。城市區域環境是相當復雜的戶外人造環境，它要求與戶內或者高速公路環境的不同識別方法。為了達到識別3D環境的目的，利用三個固定的扭曲參數為0的全方向攝像機組和對極幾何的知識來標定攝像機內參矩陣K，進而由自標定的方法進行幾何重構。

關鍵詞：全方向攝像機； 對極幾何； 自標定；歐氏重構

中圖法分類號：TP391 文獻標識碼：A 文章編號：1001-3695(2006)10-0163-03

3D Environment Recognition Using Omnidirectional Camera from Moving Vehicle

SUN Long1，HU Maolin2，3，ZHANG Changyao1

（1.Radar Imaging Center，The 38 Research Institute，China Electronics Technology Group Corp.， Hefei Anhui 230031， China;2.College of Mathematics Computational Science， Anhui University， Hefei Anhui 230039， China;3.Intelligent Computing Signal Processing Lab.， Anhui University， Hefei Anhui 230039， China)

Abstract:This research aims at developing a sensor system which will be able to recognize city area environments from a moving vehicle. A city area which is a rather cluttered outdoor manmade environment requires different recognition methods from indoor or highway environments. Toward this goal，an omnidirectional camera and epipolar geometry are employed. At the end of the paper，the result of the experiments are gaved and the theory is verified.

Key words： Omnidirectional Camera; Epipolar Geometry; AutoCalibration; Euclidean Reconstruction

1 引言

本文提出一個能夠從移動的車輛識別城市區域環境的感應器系統，也就是城市環境的3D重構，當然方法并不局限于這種情況。多視圖的3D重構有廣泛的應用，從市區場景的外部視點到戶外環境的分析等。多年來它已是計算機視覺的主要課題，已經有了幾個成功的工程例子，如使用了多個感應器在類似高速公路的受限環境中達到自主駕駛[1]。然而，想識別更為復雜的如城市區域的環境，或者相當復雜的人造戶外環境，就要求有更多的能力以檢測包括建筑物、自行車、汽車和人的復雜環境。在城市區域內，車輛移動較慢，但汽車、自行車和人的移動是難以預料的，那么它就要求與戶內或者高速公路環境的不同識別方法。車輛能成功地識別城市區域環境對將來的駕駛員輔助系統或者自主駕駛系統是很重要的。

對于一般的移動機器人感應來說，從較少的感應器提取廣闊區域的基本信息是重要的[2]。近年來，一種全方向攝像機被發展而且推向市場，它在圖像中給出360°的視角區域。盡管它的分辨率低于一般的攝像機，但可以覆蓋較為廣闊的區域。在小尺寸的移動機器人上使用全方向攝像機研究已經顯示了其應用潛能。

基于重構的任務，可以分為兩種主要的重構，即射影重構和歐氏重構。研究方法上，相當多的文獻是基于多視圖上圖像匹配的特征（點和線），以產生空間特征3D位置的射影表示（射影重構）。基本技術有基于圖像間線性關系的計算（對于兩幅圖像是基本矩陣，對于三幅圖像是三焦點張量等）[3]、基于場景平面和相似性[4]、基于SVD分解、對偶的方法和捆集調整的方法[2]。部分文獻致力于獲得一個歐氏表示（歐氏重構）[5，6]。最初的工作是在一個歐氏的輸入上，而且是對于單個照相機的。這一方法至少要求六個控制點集，其位置在歐氏空間中已知，這些數據可以從標定的物體中獲得。顯然這是因為攝像機矩陣有12個參數，每個3D點和2D圖像點對應提供兩個約束條件。對于這一問題更為先進的方法是通過應用場景性質的射影變換到歐氏變換，這些性質有正交方向消失的點以及點與點之間的已知距離。

第二個主要的研究方法是自標定[7，8]。自標定是直接由未標定的多幅圖像來確定攝像機內參數的過程。自標定避免了用特殊的標定物體來標定攝像機的煩瑣任務，因而具有較大靈活性。比如，攝像機可以直接從圖像序列中標定，盡管運動和某些內參數的變化是未知的。這種方法的本質是攝像機做剛體運動時，絕對偶二次曲線在此運動之下是保持不變的。

最近的一些論文是在較少的內參數約束條件下的研究[9]。使用基于絕對二次曲面恢復而提出的系統，當視圖的個數超過三個時，可以容忍攝像機某些內參數子集變化。例如當沒有扭曲時，需要八個視圖來求解剩下的每個攝像機的四個內參數。對于僅有焦距變化的情形，這一思想已被全面地描述和成功地應用，因為涉及到求解高次非線性方程，這一方法最適合運用于相對長的視圖序列。

本文的研究是使用在車輛上三個沒有扭曲的攝像機組成的全方向感應器來識別城市環境，建立移動的視覺平臺。視覺平臺一旦標定就能在其上自我調節以改變其內部配置，且保持3D世界的歐氏表示。假定攝像機在標定之后可以改變它們配置的關鍵元素，包括內部參數（除扭曲參數）和旋轉。僅知道車輛上的三個攝像機的相對位置對于歐氏重構是充分的，并不要求任何其他的外部信息，如變化的焦距和未知的旋轉。

2 硬件的建立

對于建立移動的視覺平臺，本文利用三個攝像機組成的全方向感應器，它們可以在單一幀中得到一個180°的視角。本文的全方向攝像機的扭曲參數均為0，且攝像機之間的相互位置關系已知。

（1）平臺。平臺使用的是一輛吉普車。在車子的前方安裝三個扭曲參數為0的全方向攝像機，從而達到識別城市區域環境的目的。

（2）全方向攝像機。將三個扭曲參數為0的攝像機安置于車輛前方，這些攝像機都是黑白攝像機，它被比喻為一個反射鏡。攝像機被設計成可以在圖像上給出180°的視角。攝像機輸出的信號被連接到PC的數字化處理器上。

3 感應器系統的標定

我們知道利用基本矩陣，當系統包括五個攝像機時可以確定攝像機的內部參數。因為一個像平面的一般變換是通過八個參數來描述一個相似的，而且因為每個極點貢獻兩個測量，必須滿足2（n-1）≥8，也就是需要五個攝像機來標定感應器裝置。

本文利用極點來確定內參數。對極幾何是兩幅視圖之間內在的射影幾何，它獨立于景物的結構，而只依賴于攝像機的內參數和相對姿態。基本矩陣F集中了這個內在幾何的本質，它是秩為2的3×3的矩陣。如果三維空間點P在第一和第二幅視圖中的像分別為m1和m2，則這兩個圖像點滿足關系m1Fm2=0。對極點是連接兩個攝像機中心的直線（基線）與像平面的交點，等價地，對極點是在一幅視圖中另一個攝像機中心的像，它們也是基線方向的消影點。在第一個和第二個圖像上的對極點是對應的基本矩陣的右零向量和左零向量。基本矩陣和場景結構是獨立的，然而它可以由對應點（在兩幅圖像上成像的場景點）來計算，而不需要知道攝像機的內參矩陣或相對位置。

在內參數改變和相對旋轉之后，考慮點的對應可以計算每個攝像機的基本矩陣。從基本矩陣就有了每個像平面的極點，并不要求每個圖像“看見”其他n-1個攝像機的中心。

假設移動的視覺平臺上有n個攝像機，那么每個圖像可以“看到”其他n-1個攝像機的中心。因為知道攝像機之間的相對位置，可以選擇第一個攝像機作為歐氏坐標系的原點，所以有R=I3×3，t=03×1。其他n-1個攝像機的中心圖像為ei，i=2，3，…，n，這可以由第一個攝像機和其他n-1個攝像機的基本矩陣計算。通過對極點的定義有

eiK[I3×3，0](tTi，1)Kti(i=2，3，…，n)（1）

其中，表示可以乘上一個比例因子。Ti是剩下的n-1個攝像機的平移。因為K中有五個參數，而每個方程提供兩個方程，這樣僅需要四個攝像機來確定內參矩陣K。因為對極幾何是獨立于景物結構的，可以選擇其他的攝像機中心作為歐氏坐標系的原點。如果知道部分內部參數的信息，可以減少攝像機的數目。在本文識別城市區域環境的應用中，假設使用攝像機的扭曲參數均為0，那么僅需要三個攝像機的感應器系統就可以標定系統。

4 3D場景的歐氏重構

上面利用對極幾何的方法和三個扭曲參數為0的全方向攝像機標定了感應器系統。由此可以確定每個攝像機的內參數矩陣Ki(i=1，2，3)，而且跨過圖像集合的點對應可以計算射影重構。該重構計算每幅視圖的射影攝像機矩陣Pi。

眾所周知，若沒有在3D坐標系下位置的信息，一般不可能從一對視圖或者從任意數目的視圖重構該景物的絕對位置和方向。這一結論的成立與任何有關攝像機的內參數和它們的相對位置的信息毫不相干，我們不能準確地計算任何景物的經度和緯度，也不能決定一個走廊的走向是南北還是東西。可以這樣說，景物重構的最好結果也要與世界坐標系相差一個歐氏變換。

還有顯然的事實是景物的尺寸是不能確定的。我們憑生活經驗可以猜測從地板到天花板的距離大約為3m，在此基礎上想象該場景的真正尺寸。這個額外的信息是景物輔助知識的一個例子，它不能從圖像測量中得到。所以沒有輔助知識，僅由圖像來確定景物就要相差一個相似變換（旋轉、平移和縮放）。重構得到的點集xi和攝像機與真正的重構相差一個給定的類或者群（如一個相似、射影或者仿射變換）。我們利用射影重構、仿射重構和相似重構等表示涉及到的變換類型。一般，傾向于用正式的術語度量重構來代替定義上相同的相似重構，這個術語表示諸如直線之間的角度和長度比的度量性質可以在重構上量出并且具有它們的真值（因為它們是相似不變量）。我們提到的歐氏重構也表示與相似重構和度量重構相似的東西。

現在跨過這個圖像集合的點對應計算出射影重構，得到一個射影重構{Pi，Xj}；然后基于由三個全方向攝像機得到的攝像機內參矩陣，我們希望確定一個矯正單應H使得{PiH，H-1Xj}是一個度量重構。從具有標定的攝像機和在歐氏坐標系下表示的結構的真正度量實況開始。因此，實際有三個全方向的攝像機PiM(i=1，2，3)，它們將3D點XM投影到每幅視圖上的圖像點xi=PiMXM，其中下標Ｍ表示攝像機是標定的并且世界坐標系是歐氏的，這些攝像機可以寫為PiM=Ki[Ri，ti](i=1，2，3)。

在射影重構中，得到攝像機Pi，它與PiM的關系是

PiM=PiH(i＝１，２，３)（２）

其中Ｈ是三維空間未知４×４的單應矩陣。我們的目標是確定Ｈ。

不考慮重構中的絕對旋轉、平移和縮放，現在就來除去這個相似成分。取世界坐標系與第一個攝像機重合，使得R1＝Ｉ和t1＝０，然后Ri和ti指出的是第i個攝像機與第一個攝像機之間的歐氏變換，且P1M=K1［Ｉ，０］。類似地，在該射影重構中，選擇第一幅視圖為通常的標準攝像機，使得P1＝［Ｉ，０］。令Ｈ為

H=A t

vT k

則由式（２）推出的關系P1M＝Ｈ變成［K1，０］＝［Ｉ，０］Ｈ，即Ａ＝K1和t＝０。另外，由于Ｈ是非奇異的，Ｋ必須不為0，因此可以假設Ｋ＝１。因而可以證明Ｈ具有如下的形式

H=K1 0

vT 1

這樣做就除去了相似成分。

矢量Ｖ和K 1共同確定了該射影重構的無窮遠平面，因為π∞的坐標為

π∞=H-T0

0

0

1=(K1)-T-(K1)-Tv

010

0

0

1=-(K 1)-Tv

1

記π∞=(pT，1)T，其中p=-(K 1)-Tv。以上的證明可以總結為

一個射影重構{Pi，Xj}，其中P1＝［Ｉ，０］，能用如下的矩陣Ｈ變換到度量重構{PiH，H-1Xj}：

H=K0

-pTK1（３）

其中Ｋ是上三角矩陣，而且有：

（１） Ｋ＝K 1是第一個攝像機的標定矩陣；

（２） 該射影重構的無窮遠平面的坐標由π∞=（pT，1)T給出。

反過來，如果在射影坐標系下的無窮遠平面和第一個攝像機的標定矩陣已知，則把射影重構變換到度量重構的變換Ｈ由式（３）給出。

5 實驗

為了驗證本文的算法，首先建立一個世界坐標系且通過下面給出的對應的攝像機矩陣建立四個模擬攝像機：KiRi[I Ci]， i=1，…，4，其中

C1=0

0

0，C2= 3

5

-200，C3= 4

6

-150

選擇一系列的3D點且通過構造的攝像機來獲取它們的圖像；然后用分解的方法[7]從這一系列點對應中得到射影重構；最后運用本文的算法從射影重構和給定的攝像機中心坐標中得到歐式重構。表1給出了實驗的結果，在表1中，對于每個攝像機上面的一行顯示了給定的內參數，而下面的一行則是通過本文的算法得到的估計內參數。從表1中可以看出，估計的結果擬合給定的數據非常好，這驗證了本文的理論。

表1 攝像機內參數

圖1為從三個不同但固定視點拍攝的三幅原始圖像（安徽大學生物化學樓），圖中標志的為對應特征點利用本文的算法分層重構結果。

6 結論

本文提出了一個能夠從移動的車輛來識別城市區域環境的感應器系統。問題可以歸納為以下幾步：

（１）由移動視覺平臺上三個扭曲參數為０的全方向攝像機可以標定攝像機的內參矩陣（這也是本文新意所在）；

（２）跨過這個圖像集合的點對應計算出射影重構{P i，Xj}；

（３）得到射影重構{Pi，Xj}，然后由三個全方向攝像機得到的內參矩陣確定一個矯正單應H，使得{PiH，HXj}是一個度量重構，也就是３D環境的歐氏重構。

參考文獻：

［1］G Cross， A W Fitzgibbon， A Zisserman. Parallax Geometry of Smooth Surfaces in Multiple Views[C].Kerkyra: Proc.of the 7th International Conference on Computer Vision， 1999.323-329.

［2］R Hartley， A Zisserman. Multiple View Geometry in Computer Vision[M]. Cambridge:Cambridge University Press，2000.123132.

［3］A Zomet， L Wolf， A Shashua. Omnirig: Linear Self recalibration of a Rig with Varying Internal and External Parameters[C]. Vancouver：International Conference on Computer Vision (ICCV) ， 2001.523-528.

［4］A Zisserman， P Beardsley， I Reid. Metric Calibration of a Stereo Rig[J]. Boston: IEEE Workshop on Representation of Visual Scenes， 1995. 93100.

［5］Shashua. Omnirig Sensors: What Can Be Done with a NonRigid Vision Platform?[J]. Princeton:Proc. of the Workshop on Applications of Computer Vision (WACV)，1998.109115.

［6］M Pollefeys， R Koch， L Van Gool. Self Calibration and Metric Reconstruction in Spite of Varying and Unknown Internal Camera Parameters[C].Bombay:Proc. of the 6th International Conference on Computer Vision， 1998. 90-96.

［7］C Tomasi， T Kanade. Shape and Motion from Images Streams under Orthography: A Factorization Approach[J].International Journal of Computer Vision，1992，9(2):137154.

［8］Hu Maolin， Sun Long， Wei Sui. Revist to Omnirig Sensors: What Can Be Done with a NonRigid Vision Platform?[C].Beijing:The 3rd International Symposium on Multispectral Image Processing and Pattern Recognition， vol 5286， 2003.516-522.

作者簡介：

孫龍(1980-)，男，安徽安慶人，助理工程師，碩士，主要研究方向為合成孔徑雷達的信號處理、雷達圖像處理和計算機視覺；胡茂林（1965-），男，安徽合肥人，教授，博士，主要研究方向為計算機視覺、圖像處理、偏微分方程；張長耀（1942-），男，上海人，副主任，研究員，主要研究方向為雷達信號處理和SAR信號處理。

注:本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文