基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學院能源與機械工程學院，上海 200090）

基于幾何法立體圖像校正的研究

王道累， 楊 峰

（上海電力學院能源與機械工程學院，上海 200090）

立體視覺圖像校正是加速立體匹配簡單而常用的技術之一。采用幾何法對使用棱鏡的單鏡頭立體視覺系統圖像進行校正，根據成像原理，從圖像平面像素點反推到三維實體點的分析運算，利用成像光線幾何關系求解虛擬相機外部參數，實現極線的校正，避免了復雜相機標定過程。同時，該算法可以從雙棱鏡應用推廣到多面棱鏡的單棱鏡立體視覺系統圖像校正。實驗結果表明，基于幾何法對使用棱鏡的單鏡頭立體視覺系統圖像校正是有效的。

立體視圖；極線校正；圖像處理；幾何法

立體視覺圖像校正是計算機視覺技術的關鍵技術之一。圖像校正的目的是使兩幅非共面圖像校正成兩幅共面。同時確保兩幅圖像相對應極線成為共線并沿著水平掃描線。因此，通過立體圖像對的極線校正，使立體匹配算法的搜索范圍從二維的圖像平面降低到一維的掃描線上，從而大大提高匹配算法的搜索速度和精度[1-3]。

視圖校正是立體視覺的一個典型問題。Al-Shalfan等[4]最早提出基于光學技術的校正方法，該方法主要是通過硬件技術來實現的，因而在實踐應用中受到了很大地限制。而Loop和Zhang[5]提出了對立體視圖校正方法分解單應性矩陣。Isgro和Trucco[6]提出了一種不需要對極線幾何求解，尤其是基礎矩陣進行精確計算的圖像校正方法，直接利用了校正后的基礎矩陣有一個特定的已知形式來建立水平視差最小化式子，從圖像的對應點直接產生校正的單應性矩陣。Hartley[7]提出了一種針對視角變化比較大的立體圖像對進行校正的方法。Yu和Wu[8]提出了一種減少校正后圖像幾何畸變的方法，把校正問題和基礎矩陣的估算問題結合起來，從基礎矩陣的估算中求得校正問題的最小二乘解，通過增加剪切變換使單應性矩陣唯一，減少整幅圖像的幾何畸變。該方法在優化過程中，優解的獲得可能陷入局部最小化。綜上所述的視圖校正算法多存在一定的局限性。因此，設計一種簡單而實用的立體圖像校正算法是立體視覺的重要研究方向之一。

基于棱鏡的單鏡頭立體視覺系統是本論文研究的對象，該系統利用棱鏡來形成多個虛擬相機。這與傳統立體視覺系統利用兩個或多個相機捕獲兩幅或多幅從不同視角的場景相同。但是該系統簡單而有效地減少了相機標定參數復雜計算過程。另外，圖像的采集也不存在時間差，同時也節省系統設備建設的費用。

本文運用成像原理，從圖像像素點反推到三維實體點，建議使用幾何分析方法求解虛擬相機的外部參數等。本文優勢及特點有：①幾何分析方法求解虛擬相機參數，減少了復雜的相機標定過程；②使用基于棱鏡的單鏡頭立體視覺系統，直接利用棱鏡來形成虛擬相機，減少了相機布局誤差；③幾何分析算法可以進行總結并一般化。

1 相機模型定義及立體圖像校正

1.1 相機模型定義

針孔相機模型是由光心O和圖像平面建立而成的。一個三維空間點P到圖像平面投影點p是直線OP和圖像平面的交點。含O和圖像平面正交的線被稱為光軸，它與圖像平面的交點為(ox, oy)。攝像機光心O到圖像平面的距離，即攝像機的焦距f。

假設在世界坐標系下坐標P=[X, Y, Z]T和在圖像平面（像素）坐標p=[u, v]T。從三維映射坐標二維坐標的透視投影，這是由一個線性齊次坐標變換表示。和分別為P和p的齊次坐標；然后，由P到p投影變換關系得：

其中s是一個比例因子，ppmP 是相機的投影矩陣。分解投影矩陣：

矩陣intM 是相機內部參數形成的矩陣，具體表示：

f是焦距，sx和sy分別是像素在水平和垂直方向上的有效尺寸(mm)。攝像機的位置和方向（外部參數），是由3×3旋轉矩陣R和平移矢量T組成。圖1所示為立體視圖極線幾何關系（實線）。

圖1 立體視圖極線幾何(實線)和校正后的極線幾何(虛線)

2 單鏡頭的雙目立體視圖校正

2.1 單鏡雙目頭立體視覺系統

本文以單鏡頭立體視覺系統為研究對象，該系統使用棱鏡來形成兩個或多個虛擬相機。圖 2所示是使用雙棱鏡的單鏡頭立體視覺系統。系統設計規則如下：

(1) 將雙棱鏡放置于相機的前面，由棱鏡頂點與相機鏡頭在一條直線上；

(2) 棱鏡后平面與相機的圖像平面平行；

(3) 圖像的中心點與棱鏡頂點的直線為Z軸，并將雙棱鏡分為上下對稱。

通過設置好雙棱鏡和相機位置，根據成像原理，真實相機發出光線通過棱鏡反射及折射作用，可以形成兩個虛擬相機（如圖2所示）。當采集圖像時，就可以得到兩幅不同視角的圖像。這種單鏡頭立體視覺系統使用棱鏡來形成多個虛擬系統有幾個優點：①相機標定變得簡單；②在建設系統所需的費用減少；③對所產生的誤差相對的減小；④虛擬相機的焦距與真實圖像的焦距一樣；⑤可以同時獲得多個視圖，不存在時間差，對于運動的場景也可以瞬間得到一組視圖。

1.2 立體圖像校正

圖 1顯示了兩視圖的極線幾何關系。如果兩個相機已經被標定過，即兩個攝像機投影矩陣是已知的。兩個相機中心連線成為基線。然后，對所有視圖通過校正矩陣變換計算后獲得校正圖像。校正后的圖像極線共線且平行于基準（圖 1虛線表示部分）。這樣對搜索視圖間匹配點變得簡單有效。對于立體圖像的校正，Yu和 Wu等[8]可知校正矩陣主要由內部參數矩陣和相機的姿態矩陣組成。而對于本論文研究課題內部參數矩陣，由系統設備提供。然而，外部參數將由本文提出的幾何法來解決。

在上節中也討論過了，立體圖像的校正需要相機的內外部參數。這就需要對相機進行標定。而如果直接對相機進行標定，整個過程相當的復雜。所以本文利用圖像成像原理進行幾何法求解相機的外部參數包括旋轉矩陣 R和平移向量 T。至于內部參數 Mint可以直接從相機獲得固有參數。

圖2 使用雙棱鏡的單鏡頭立體視覺系統

2.2 幾何方法分析求解校正矩陣

已知 P (x ,y,- f)點坐標，光心 O(0,0,0)及焦距f，折射率n。棱鏡頂點到真實相機光心的距離T0，雙棱鏡大小和角度α等。例如直線PM方程為：

接著，根據雙棱鏡布局位置，在世界坐標系下求得棱鏡左平面方程：

其中， (X0,Y0,Z0)為棱鏡頂點的坐標，為平面的法向向量。根據已知參數值和棱鏡的幾何位置即可求得法向向量。

直線MN可以通過向量的平行四邊形法則，求得MN的方向向量（如圖4）。然后，點 M (xM,yM,zM)的坐標可以從直線PM與雙棱鏡左平面求得：

圖3 雙目視覺的系統視圖校正

圖4 運用平行四邊行法則求直線方向向量

同理可得直線NS的方程。

以此類推，Z軸直線重復上述的步驟可求得經過雙棱鏡后直線 L方程。因此，虛擬左相機光心由兩直線相交，求交點。

從圖 4知，從真實圖像平面到左虛擬圖像平面的平移向量：

通過幾何關系分析可得，旋轉角度β等于直線L與Z軸的夾角。已知兩方程就可得角度β。因此，旋轉矩陣為

2.2.2 視圖校正矩陣

定義虛擬相機新坐標系姿態矩陣：

其中， r1作為虛擬相機坐標系的 X軸，選擇平行于基準線：r2作為虛擬相機坐標系的Y軸和真實圖像系統的坐標系Y軸一致；r3作為虛擬相機坐標系的Z軸，右r1和r2叉積得到。

最后，兩個虛擬圖像平面的校正變換矩陣：

通過上面的步驟可以獲得最終的校正后的圖像坐標[2]。

3 單鏡頭的多目立體視圖校正

建立單鏡頭的多目立體視覺系統可選用多面的棱鏡。如圖 5所示是利用三棱鏡的單鏡頭視覺系統圖。多目立體圖像校正算法可由雙目立體圖像校正推理得到。同樣進行幾何成像反推求得旋轉矩陣R和平移矩陣T。

圖5 三棱鏡的單棱鏡立體視覺系統

通過幾何法分析，在三棱鏡的單鏡頭視覺系統中，從虛擬圖像平面到校正后的虛擬圖像平面旋轉角度β及γ（圖6所示），即旋轉矩陣：

最后，根據旋轉矩陣R和平移向量T及新坐標系統姿態矩陣求取校正后的3個虛擬圖像平面的校正變換矩陣，然后獲得校正后的圖像平面坐標。

圖6 虛擬平面旋轉圖

同樣思路推廣與應用到四棱鏡、五棱鏡的單鏡頭視覺系統中（如圖7～8所示）。

圖7 四棱鏡的單棱鏡立體視覺系統

圖8 五棱鏡的單棱鏡立體視覺系統

利用棱鏡的單鏡頭視覺系統圖像校正算法歸納與總結：

(1) 通過幾何分析，運用平行四邊形法則計算虛擬圖像平面的旋轉矩陣R和平移向量T，例如：

這里d=0或者1（針對多面棱鏡）；

(2) 建立虛擬相機坐標的系統，構建新坐標姿態矩陣rectR ，定義各個坐標軸；

(3) 通過內部參數矩陣計算校正后的虛擬相機的圖像坐標。

4 實驗結果及討論

本實驗利用棱鏡的單鏡頭視覺系統來采集圖像。三幅圖像分別來自雙棱鏡、三棱鏡和四棱鏡視覺系統采集。它們分別命名為“mechanical stand”、“red rose”和“da”。每幅圖像都有兩、三和四幅相同背景的圖像從不同視角采集得到。這種采集手段相當于多個真實的相機從不同角度對一場景的拍攝。如圖9(a)在左視圖任意選取3個點，同時計算并畫出其相對應右視圖的極線，圖 9(b)通過幾何方法校正過后的左視圖的 3個點及相對應右視圖的極線。圖 10(b)在上左視圖任意選取 3個點，同時計算并畫出其相對應下視圖的極線圖10(c)，圖10(d)在上右視圖取得3個點是和上左視圖上是一致的，也畫出其相對應下視圖的極線圖10(c)，圖10(e)～(g)通過幾何方法校正過后的上左視圖、上右視圖的 3個點及相對應下視圖的極線。圖11(a)上左視圖任意選取3個點，同時計算并畫出其相對應上右視圖、下左視圖和下右視圖的極線如圖 11(b)～(d)。經過校正過，各視圖上的點極線都發生了變化，如圖 12(a)～(d)所示。以上各視圖從經過建議算法校正后的視圖中的極線變成水平狀態了。這樣證明了本算法是有效的。

對三棱鏡立體視覺系統進行匹配點測試。在圖10中取8組左右視圖像素點坐標，求取在第三幅視圖中的匹配點。第三、四列坐標值為左右視圖像素點在第三幅視圖對應極線的交點坐標。表1顯示使用傳統的校正方法(張氏法)[9]和幾何法的匹配求匹配點結果。從表 1中得到第三與第四列誤差值的值一直小于第五與第四列誤差值。匹配點由幾何法和傳統標定方法得到誤差的平均距離分別為6.017和11.402。由此表明幾何方法校正比傳統的校正方法好。這種改善是由于幾何分析方法比傳統的校正方法可以得到更精確的虛擬攝像機外部參數。此外，結果驗證本文的校正算法確實是有效，即使應用于單棱鏡的多視圖立體視覺系統。

圖9 利用雙棱鏡視覺系統采集圖“mechanical stand”

圖10 利用三棱鏡視覺系統采集圖“red rose”

圖11 利用四棱鏡視覺系統采集圖“達”

圖12 利用四棱鏡視覺系統校正圖“達”

表1 張氏法和幾何法的求匹配點結果

5 結 論

立體圖像校正是計算機視覺中關鍵技術之一。通過對視圖進行校正后，對尋找匹配變的更簡單而且更加有效。本文根據成像原理，采用簡單而且有效的幾何分析方法解決立體圖像校正變換矩陣。運用了平行四邊形法則及成像的反推技術解出了旋轉矩陣和平移向量。通過雙棱鏡的分析并推廣到多面棱鏡的單鏡頭立體視覺系統中，并且歸納總結視圖校正算法一般步驟。實驗結果顯示，本文的建議算法是有效的。在未來的研究中，將完善這一方法，并應用到微型化的單鏡頭立體視覺系統中去。

[1] Fusiello A, Trucco E, Verri R. A compact algorithm for rectification of stereo pairs [J]. Machine Vision and Applications, 2000, 12: 16-22.

[2] Trucco E, Verri A. Introductory techniques for 3-D computer vision [M]. Prentice Hall, 2006: 156-245.

[3] Chen Zezhi, Wu Chengke, Tsui H T. A new image rectification algorithm [J]. Pattern Recognition Letters, 2003, 24: 251-260.

[4] Al-Shalfan K A, Haigh J G, Ipson S S. Direct algorithm for rectifying pairs of uncalibrated images [J]. Electronics Letters, 2000, 36(5): 419-420.

[5] Loop C, Zhang Zhengyou. Computing rectifying homographies for stereo vision [C]//IEEE Conference on Computer Vision and Patter Recognition, Fort Collins, CO, 1999: 125-131.

[6] Isgro F, Trucco E. Projective rectification without epipolar geometry [C]//IEEE CVPR, 1999: 1094-1099.

[7] Hartley R. Theory and practice of projective rectification [J]. International Journal of Computer Vision, 1999, 35(2): 115-127.

[8] Yu Yuhua, Wu H H, Projective rectification with reduced geometric distortion for stereo vision and stereoscopic video [J]. Journal of Intelligent and Robotic Systems, 2005, 42(1): 71-94.

[9] Zhang Zhengyou. A flexible new technique for camera calibration [C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

Research of Stereo Image Rectification Based on a Geometrical Approach

Wang Daolei, Yang Feng
(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

This paper proposes a geometric approach for rectification on uncalibrated single-lens stereovision using a prism. According to the imaging principle, the points of 3D entity can be estimated from the image plane pixels. In order to rectify epipolar lines, the optical geometry of imaging is utilized to solve virtual camera extrinsic parameters, which avoids the complex camera calibration process. At the same time, the algorithm can be applied torectify images based on single-lens stereovision system using a bi-prism to polyhedral prism. Experimental results are presented to show the effectiveness of the approach.

stereovision; polar correction; image processing; geometrical approach

TP 391

A

2095-302X(2014)06-0883-06

2014-04-17；定稿日期：2014-05-25

王道累(1981-)，男，上海人，講師，博士。主要研究方向為計算機視覺、圖像處理、CAD/CAM。E-mail：alfredwdl@shiep.edu.cn