基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學(xué)計算機學(xué)院，成都　610065）

基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學(xué)計算機學(xué)院，成都610065）

傳統(tǒng)的基于圖像矯正的雙目三維重建方法對于圖像的矯正結(jié)果有很強的依賴性，而寬基線的圖像矯正很難獲得理想的效果。針對該問題，提出一種無需矯正的基于光束平差法的寬基線雙目三維重建方法。該方法利用雙目視覺的幾何約束恢復(fù)出相機姿態(tài)以及三維點云，然后利用光束平差法對相機姿態(tài)、相機內(nèi)部參數(shù)以及三維點云進行優(yōu)化，最終得到物體的三維模型。

立體視覺；光束平差；三維重建；寬基線

0　引言

三維重建是計算機視覺最主要的研究方向之一，在諸多領(lǐng)域，例如無人駕駛、機器人導(dǎo)航、文物數(shù)字化等，一直都是一個充滿挑戰(zhàn)的難題。三維重建主要通過對同一物體從不同視角拍攝二維圖像以恢復(fù)出物體的三維模型。根據(jù)所依賴的不同視角的數(shù)量可將三維重建方法分為雙目三維重建和多目三維重建（多視圖三維重建）。本文僅討論雙目三維重建。

雙目三維重建通過模擬人眼成像技術(shù)，利用攝像機從不同角度拍攝物體并恢復(fù)出物體的三維結(jié)構(gòu)。雙目三維重建方法主要分為兩類：一類是基于圖像矯正的雙目重建；另一類是基于攝像機姿態(tài)估計的雙目重建方法[1-2]。前者使用經(jīng)過矯正的圖像進行重建，能得到很好的效果。但對于寬基線的圖像，往往得不到理想的矯正效果，從而無法對其進行三維重建。后者通過對圖像進行攝像機姿態(tài)估計，對寬基線的情況具有良好的重建效果。

1　攝像機模型

攝像機的基本成像模型，通常稱為基本針孔模型，由三維空間到平面的中心投影變換所給出[1]。攝像機模型抽象為數(shù)學(xué)模型可用投影矩陣P表示,投影矩陣分解為攝像機內(nèi)參矩陣K，攝像機外參矩陣M,外參矩陣M可分解為旋轉(zhuǎn)矩陣R和平移矩陣T，因此攝像機投影矩陣表示為：

攝像機成像模型可表示為：

x=PX=K[R|T]X

2　攝像機姿態(tài)估計

兩幅圖像間的對級幾何[3]約束，為攝像機的姿態(tài)估計提供了理論基礎(chǔ)。對級幾何是兩幅圖像間點、線關(guān)聯(lián)的關(guān)系，這種關(guān)系可用基本矩陣[2，4]來進行代數(shù)描述。在計算機視覺中，基本矩陣F是一個3×3的矩陣，表達了立體像對的像點之間的對應(yīng)關(guān)系。在對級幾何中，對于立體像對中的一對像點，它們的其次化坐標分別表示為x與x'，F(xiàn)x表示一條必定經(jīng)過x'的直線（極線），這意味著立體像對的所有像點都滿足：

本質(zhì)矩陣E也滿足類似的關(guān)系，但本質(zhì)矩陣并不蘊含攝像機內(nèi)部參數(shù)，本質(zhì)矩陣與基本矩陣之間的關(guān)系可由下式表達：

圖1　攝像機模型

其中，K'和K分別為兩個攝像機的內(nèi)參矩陣。由一組對應(yīng)像點，利用正則八點法可得到基本矩陣F，進而得到本質(zhì)矩陣E[2]。本質(zhì)矩陣可分解為兩攝像機的相對旋轉(zhuǎn)矩陣R和像對平移矩陣T。假設(shè)一攝像機為：

則另一攝像機可表示為：

3　三角原理

在攝像機矩陣已知的情況下，三維重建的基本方法就是三角原理[2]。已知兩攝像機矩陣分別為P與P'，x ?x'為兩幅圖像的一組對應(yīng)點。現(xiàn)在要恢復(fù)它們的三維空間點X，即滿足：

對于第一張圖像有：

其中PiT為P的第i行，于是可得到形如AX=0的線性方程組：

通過解AX=0，求得三維空間點坐標X。

4　光束平差法

光束平差法[2，5]是目前許多由運動到結(jié)構(gòu)問題的標準算法，其最終目的歸結(jié)為：減少觀測像點與預(yù)測像點之間投影變換的誤差。最小化誤差算法采用最小二乘法，目前使用最為廣泛的是Levenberg-Marquardt[6]，具有易于實現(xiàn)，收斂速度快的優(yōu)點。

假設(shè)有n個三維空間點，m個攝像機，xij為第i個三維點在第j個攝像機像平面上的投影，光束平差法優(yōu)化攝像機參數(shù)p和三維空間點坐標X，使得投影誤差最小，即：

其中Q（Pj，Xi）表示三維空間點Xi投影到攝像機Pj的像平面的預(yù)測像點，d（x，y）表示像點x與y之間的歐氏距離。

攝像機矩陣P、P'以及通過三角原理獲得的初始三維點X，通過光束平差法進行優(yōu)化，最終得到相當(dāng)精確的結(jié)果。

5　實驗結(jié)果分析

實驗環(huán)境為Ubuntu 15.10，Pentium Dual-Core CPU E6600@3.06GHz，4GB RAM。實驗使用了2組公開數(shù)據(jù)集[6]，每組選取兩個視角的圖片，運用本文所提出的方法分別對其進行重建，最終效果如圖2，實驗運行時間見表1。

表1　運行時間

圖2　（第一行為兩組數(shù)據(jù)集原圖，每組兩張圖片；第二行為兩個數(shù)據(jù)集對應(yīng)三維點云）

[1]吳福朝.計算機視覺中的數(shù)學(xué)方法[M].科學(xué)出版社,2008.

[2]Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].Cambridge University Press,2003.

[3]Zhang Z,Deriche R,Faugeras O,et al.A Robust Technique for Matching Two Uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry[J].Artificial intelligence,1995,78(1):87-119.

[4]Luong Q T,Faugeras O D.The Fundamental Matrix:Theory,Algorithms,and Stability Analysis[J].International Journal of Computer Vision,1996,17(1):43-75.

[5]Triggs B,McLauchlan P F,Hartley R I,et al.Bundle Adjustment-a Modern Synthesis[M].Vision Algorithms:Theory and Practice. Springer Berlin Heidelberg,2000:298-372.

[6]Moré J J.The Levenberg-Marquardt Algorithm:Implementation and Theory[M].Numerical Analysis.Springer Berlin Heidelberg,1978: 105-116.

[7]Furukawa Y,Ponce J.Accurate,Dense,and Robust Multiview Stereopsis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(8):1362-1376.

Stereo Vision;Bundle Adjustment;3D Reconstruction;Wide-Baseline

Wide-Baseline Stereo Reconstruction Based on Bundle Adjustment

ZHANG Jia-wang

（College of Computer Science，Sichuan University，Chengdu 610065）

The traditional method of stereo reconstruction based on rectified image has a strong dependence on the result of the image rectification, while wide-baseline always resulting in a bad rectification result.To solve this problem,proposes a wide-baseline stereo reconstruction method based on bundle adjustment.An initial point cloud,which can be get from the epipolar geometry constrains of the images,camera pose and internal parameters are optimized with bundle adjustment.

1007-1423（2016）32-0071-03

10.3969/j.issn.1007-1423.2016.32.016

張家旺（1990-），男，河北保定人，碩士，研究方向為計算機視覺、三維重建

2016-10-13

2016-11-05