基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學計算機學院，成都　610065）

基于光束平差法的寬基線雙目三維重建

張家旺

（四川大學計算機學院，成都610065）

傳統的基于圖像矯正的雙目三維重建方法對于圖像的矯正結果有很強的依賴性，而寬基線的圖像矯正很難獲得理想的效果。針對該問題，提出一種無需矯正的基于光束平差法的寬基線雙目三維重建方法。該方法利用雙目視覺的幾何約束恢復出相機姿態以及三維點云，然后利用光束平差法對相機姿態、相機內部參數以及三維點云進行優化，最終得到物體的三維模型。

立體視覺；光束平差；三維重建；寬基線

0　引言

三維重建是計算機視覺最主要的研究方向之一，在諸多領域，例如無人駕駛、機器人導航、文物數字化等，一直都是一個充滿挑戰的難題。三維重建主要通過對同一物體從不同視角拍攝二維圖像以恢復出物體的三維模型。根據所依賴的不同視角的數量可將三維重建方法分為雙目三維重建和多目三維重建（多視圖三維重建）。本文僅討論雙目三維重建。

雙目三維重建通過模擬人眼成像技術，利用攝像機從不同角度拍攝物體并恢復出物體的三維結構。雙目三維重建方法主要分為兩類：一類是基于圖像矯正的雙目重建；另一類是基于攝像機姿態估計的雙目重建方法[1-2]。前者使用經過矯正的圖像進行重建，能得到很好的效果。但對于寬基線的圖像，往往得不到理想的矯正效果，從而無法對其進行三維重建。后者通過對圖像進行攝像機姿態估計，對寬基線的情況具有良好的重建效果。

1　攝像機模型

攝像機的基本成像模型，通常稱為基本針孔模型，由三維空間到平面的中心投影變換所給出[1]。攝像機模型抽象為數學模型可用投影矩陣P表示,投影矩陣分解為攝像機內參矩陣K，攝像機外參矩陣M,外參矩陣M可分解為旋轉矩陣R和平移矩陣T，因此攝像機投影矩陣表示為：

攝像機成像模型可表示為：

x=PX=K[R|T]X

2　攝像機姿態估計

兩幅圖像間的對級幾何[3]約束，為攝像機的姿態估計提供了理論基礎。對級幾何是兩幅圖像間點、線關聯的關系，這種關系可用基本矩陣[2，4]來進行代數描述。在計算機視覺中，基本矩陣F是一個3×3的矩陣，表達了立體像對的像點之間的對應關系。在對級幾何中，對于立體像對中的一對像點，它們的其次化坐標分別表示為x與x'，Fx表示一條必定經過x'的直線（極線），這意味著立體像對的所有像點都滿足：

本質矩陣E也滿足類似的關系，但本質矩陣并不蘊含攝像機內部參數，本質矩陣與基本矩陣之間的關系可由下式表達：

圖1　攝像機模型

其中，K'和K分別為兩個攝像機的內參矩陣。由一組對應像點，利用正則八點法可得到基本矩陣F，進而得到本質矩陣E[2]。本質矩陣可分解為兩攝像機的相對旋轉矩陣R和像對平移矩陣T。假設一攝像機為：

則另一攝像機可表示為：

3　三角原理

在攝像機矩陣已知的情況下，三維重建的基本方法就是三角原理[2]。已知兩攝像機矩陣分別為P與P'，x ?x'為兩幅圖像的一組對應點。現在要恢復它們的三維空間點X，即滿足：

對于第一張圖像有：

其中PiT為P的第i行，于是可得到形如AX=0的線性方程組：

通過解AX=0，求得三維空間點坐標X。

4　光束平差法

光束平差法[2，5]是目前許多由運動到結構問題的標準算法，其最終目的歸結為：減少觀測像點與預測像點之間投影變換的誤差。最小化誤差算法采用最小二乘法，目前使用最為廣泛的是Levenberg-Marquardt[6]，具有易于實現，收斂速度快的優點。

假設有n個三維空間點，m個攝像機，xij為第i個三維點在第j個攝像機像平面上的投影，光束平差法優化攝像機參數p和三維空間點坐標X，使得投影誤差最小，即：

其中Q（Pj，Xi）表示三維空間點Xi投影到攝像機Pj的像平面的預測像點，d（x，y）表示像點x與y之間的歐氏距離。

攝像機矩陣P、P'以及通過三角原理獲得的初始三維點X，通過光束平差法進行優化，最終得到相當精確的結果。

5　實驗結果分析

實驗環境為Ubuntu 15.10，Pentium Dual-Core CPU E6600@3.06GHz，4GB RAM。實驗使用了2組公開數據集[6]，每組選取兩個視角的圖片，運用本文所提出的方法分別對其進行重建，最終效果如圖2，實驗運行時間見表1。

表1　運行時間

圖2　（第一行為兩組數據集原圖，每組兩張圖片；第二行為兩個數據集對應三維點云）

[1]吳福朝.計算機視覺中的數學方法[M].科學出版社,2008.

[2]Hartley R,Zisserman A.Multiple View Geometry in Computer Vision[M].Cambridge University Press,2003.

[3]Zhang Z,Deriche R,Faugeras O,et al.A Robust Technique for Matching Two Uncalibrated Images Through the Recovery of the Unknown Epipolar Geometry[J].Artificial intelligence,1995,78(1):87-119.

[4]Luong Q T,Faugeras O D.The Fundamental Matrix:Theory,Algorithms,and Stability Analysis[J].International Journal of Computer Vision,1996,17(1):43-75.

[5]Triggs B,McLauchlan P F,Hartley R I,et al.Bundle Adjustment-a Modern Synthesis[M].Vision Algorithms:Theory and Practice. Springer Berlin Heidelberg,2000:298-372.

[6]Moré J J.The Levenberg-Marquardt Algorithm:Implementation and Theory[M].Numerical Analysis.Springer Berlin Heidelberg,1978: 105-116.

[7]Furukawa Y,Ponce J.Accurate,Dense,and Robust Multiview Stereopsis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2010,32(8):1362-1376.

Stereo Vision;Bundle Adjustment;3D Reconstruction;Wide-Baseline

Wide-Baseline Stereo Reconstruction Based on Bundle Adjustment

ZHANG Jia-wang

（College of Computer Science，Sichuan University，Chengdu 610065）

The traditional method of stereo reconstruction based on rectified image has a strong dependence on the result of the image rectification, while wide-baseline always resulting in a bad rectification result.To solve this problem,proposes a wide-baseline stereo reconstruction method based on bundle adjustment.An initial point cloud,which can be get from the epipolar geometry constrains of the images,camera pose and internal parameters are optimized with bundle adjustment.

1007-1423（2016）32-0071-03

10.3969/j.issn.1007-1423.2016.32.016

張家旺（1990-），男，河北保定人，碩士，研究方向為計算機視覺、三維重建

2016-10-13

2016-11-05