基于立體全景漫游中深度圖獲取技術(shù)的研究*

蘭誠(chéng)棟，陳康杰，蔡楚華

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116)

基于立體全景漫游中深度圖獲取技術(shù)的研究*

蘭誠(chéng)棟，陳康杰，蔡楚華

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116)

近年來，隨著硬件技術(shù)的進(jìn)步和計(jì)算機(jī)視覺理論的發(fā)展，為了增強(qiáng)用戶的沉浸感和體驗(yàn)，立體全景技術(shù)被廣泛應(yīng)用于生產(chǎn)和生活中。針對(duì)多視點(diǎn)立體全景三維重建中深度圖的獲取問題，提出了一種新的深度圖生成方法。首先將前后攝像機(jī)拍攝的圖像進(jìn)行配準(zhǔn)，然后通過線性變換矩陣得到對(duì)應(yīng)像素點(diǎn)與中心像素的距離，最后利用提出的算法求得深度圖。

深度圖；多視點(diǎn)；全景；攝像機(jī)

0 引言

深度是指真實(shí)場(chǎng)景中某個(gè)點(diǎn)到攝像機(jī)中心所在平面的距離。本文中用深度圖來表示場(chǎng)景中每個(gè)點(diǎn)的深度信息，即深度圖中的每一像素代表了場(chǎng)景中的某個(gè)點(diǎn)到攝像機(jī)中心所在平面的距離[1]。深度圖的獲取可以通過深度相機(jī)[2]和視差估計(jì)算法[3]兩種方法來獲取。因?yàn)樯疃认鄼z測(cè)距離較小而且價(jià)格昂貴，所以目前一般都是用視差估計(jì)算法來獲取深度信息[4]。

2002年，HAN J H等人[5]提出了一種基于圖像渲染的方法。其利用一組全景相機(jī)和周圍場(chǎng)景的全向深度信息來生成圖像。一種實(shí)現(xiàn)全光函數(shù)的新方法被提出：利用估計(jì)的深度來進(jìn)行全景場(chǎng)的渲染。該方法假設(shè)全景的每個(gè)狹縫圖像(垂直方向上的“一列”像素)具有恒定的深度，根據(jù)攝像機(jī)以及給定的一對(duì)狹縫計(jì)算深度。這種方法的擴(kuò)展解決了狹縫圖像每個(gè)像素具有不同深度的情況。隨后，Shi Min等人[6]提出了一種新的深度估計(jì)方法，該方法通過分析靜態(tài)模糊路線來估計(jì)深度，所提出的算法避免了在實(shí)際和復(fù)雜的場(chǎng)景中容易出錯(cuò)的特征匹配，能有效地生成深度而不受遮擋、運(yùn)動(dòng)模糊的影響。之后，NAGAHARA H等人[7]提出了一種利用路線全景(連續(xù)的全景圖像，即拼接的全景圖像)上的顏色漂移來進(jìn)行深度估計(jì)的方法。該方法可以僅僅從路線全景的顏色漂移恢復(fù)深度，但是精度不高，該方法是精度和冗余之間的折中。2015年，TAYLOR C J等人[8]提出用全景深度圖像來高效地表示擴(kuò)展的環(huán)境，這種方法利用深度傳感器收集深度圖像序列進(jìn)而得到全景圖像，雖然對(duì)環(huán)境中局部區(qū)域的表示十分準(zhǔn)確，但是需要利用傳感器等硬件來獲取深度信息。

在多視點(diǎn)立體全景漫游中，需要采集連續(xù)視點(diǎn)的全景視頻，以使用戶在任意的行走路徑上都能看到反映真實(shí)場(chǎng)景的圖像。但是這必然會(huì)使得數(shù)據(jù)量過于龐大，因此只采集特定位置的全景視頻信息，通過深度圖來合成虛擬視點(diǎn)處的圖像[9-10]。本文提出了一種多視點(diǎn)立體全景漫游過程中深度圖生成的方法。利用前后攝像機(jī)拍攝的圖像，經(jīng)過匹配得到線性變換矩陣，從而求得像素點(diǎn)與中心像素的距離，最后利用提出的算法求得深度。

1 工作原理

在傳統(tǒng)的自由視點(diǎn)視頻應(yīng)用中[11]，攝像頭水平擺放，如圖1所示，自由視點(diǎn)路徑是橫向水平的。而在立體全景漫游應(yīng)用中，由于人的走動(dòng)習(xí)慣是向前的，因此漫游路徑是縱向垂直的，所以必須考慮攝像頭垂直擺放的情況，并且在立體全景漫游應(yīng)用中，由于要達(dá)到360°全景的效果，因此單個(gè)視點(diǎn)是全方向的，攝像機(jī)的架設(shè)如圖2所示。

圖1 自由視點(diǎn)路徑橫向水平的攝像機(jī)架設(shè) 圖2 立體全景漫游中的攝像機(jī)架設(shè)

對(duì)于傳統(tǒng)自由視點(diǎn)視頻應(yīng)用中攝像頭水平擺放的情況，合成中間視點(diǎn)時(shí)深度是通過以公式(1)來獲得的：

(1)

其中xl-xr為視差，B為基線，f為攝像機(jī)的焦距，Z為深度。而在立體全景漫游應(yīng)用中，攝像機(jī)縱向擺放，當(dāng)合成中間虛擬視點(diǎn)時(shí)，每個(gè)點(diǎn)在虛擬視點(diǎn)中的位置必然與兩個(gè)不同的深度(已知視點(diǎn)的深度和虛擬視點(diǎn)的深度)有關(guān)，而在傳統(tǒng)應(yīng)用中已知視點(diǎn)與虛擬視點(diǎn)的深度一樣，即只有一個(gè)深度，所以傳統(tǒng)的模型并不適用，需要重新建模。

本文先用3Ds Max模擬立體全景漫游應(yīng)用中一組前后攝像機(jī)針對(duì)同一對(duì)象拍攝到的圖像，通過在這兩幅圖像上選取三對(duì)匹配的點(diǎn)求得線性變換矩陣，利用該矩陣確定任意一像素表示的對(duì)象在另一圖像上的位置，進(jìn)而求出映射到兩個(gè)不同成像平面后的各個(gè)點(diǎn)與成像平面中點(diǎn)的距離。將這個(gè)距離帶入本文的算法中即可求得深度。

1.1 線性變換矩陣的獲取

對(duì)于立體全景漫游應(yīng)用中攝像機(jī)架設(shè)的情況，由于前后對(duì)應(yīng)位置上的兩臺(tái)攝像機(jī)拍攝的圖像只有縮放、平移和旋轉(zhuǎn)變換中的一種或幾種，因此它們之間是線性變換關(guān)系，即：若設(shè)前面攝像機(jī)拍攝圖像上的一點(diǎn)坐標(biāo)為(x，y)，該對(duì)象在后面攝像機(jī)拍攝圖像上的坐標(biāo)為(x′，y′)，則兩點(diǎn)的坐標(biāo)滿足如下關(guān)系：

(2)

其中a1，a2，b1，b2，c1，c2為未知參數(shù)。只需兩幅圖像上匹配的3對(duì)(6個(gè))點(diǎn)，即可求出上述的6個(gè)未知參數(shù)，從而得到線性變換矩陣。

1.2 算法分析

圖3 前后對(duì)應(yīng)位置攝像頭連線與光軸不重合的模型

由于：

Z′P1=ZBtanγ

(3)

ZP1=ZFtanβ

(4)

(5)

(6)

因此：

(7)

ZB=ZF+Bcosα

(8)

(9)

(10)

(11)

(12)

(l1+l2)ZF=B(fsinα-l2cosα)

(13)

因此，只需要知道P1點(diǎn)映射到兩個(gè)不同成像平面后的點(diǎn)與成像平面中點(diǎn)的距離、攝像機(jī)的焦距、基線以及攝像機(jī)光心間的連線與光軸之間的夾角，就可以計(jì)算出深度值ZF和ZB，其中：

ZB=ZF+Bsinα

(14)

攝像機(jī)的焦距、基線以及攝像機(jī)光心間的連線與光軸之間的夾角都可容易獲得。

特別地，當(dāng)攝像頭同向豎直擺放且光軸重合時(shí)，對(duì)深度的探討可簡(jiǎn)化為圖4的模型。

圖4 前后對(duì)應(yīng)位置攝像頭連線與光軸重合的模型

由于：

(15)

(16)

(17)

(18)

CFPO=ZF

(19)

CBPO=ZB

(20)

(21)

(22)

因此可得：

(23)

所以，同樣只需知道P1點(diǎn)映射到兩個(gè)不同成像平面后的點(diǎn)與成像平面中點(diǎn)的距離，就可以計(jì)算出深度值ZB和ZF。

2 實(shí)驗(yàn)結(jié)果

本文的實(shí)驗(yàn)在一臺(tái)Intel酷睿i7-4790k 4.0 GHz CPU、16 GB內(nèi)存的臺(tái)式機(jī)上運(yùn)行,借助MATLAB和3Ds Max軟件來完成。實(shí)驗(yàn)所用的原圖像如圖5所示，通過本文的算法得到的深度圖結(jié)果如圖6所示。

圖5 攝像機(jī)原圖像 圖6 原圖像深度圖

3 結(jié)論

本文提出了一種針對(duì)立體全景漫游應(yīng)用中攝像頭前后同向擺放時(shí)獲取深度的新方法。該方法通過像素點(diǎn)的匹配獲取線性變換關(guān)系，通過該關(guān)系求得同一對(duì)象映射到兩個(gè)不同成像平面后的點(diǎn)與成像平面中點(diǎn)的距離，最后通過提出的算法得到深度信息。實(shí)驗(yàn)驗(yàn)證了本文提出的方法用于獲取深度信息的有效性，可以獲得較精確的深度圖。該方法還有待進(jìn)一步優(yōu)化，以解決空洞和遮擋問題在生成深度圖中造成的影響。

[1] 章國(guó)峰,姜翰青,鮑虎軍.基于圖像的深度計(jì)算[J]. 中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊,2012,8(8):29-37.

[2] IDDAN G J, YAHAV G. 3D imaging in the studio (and elsewhere.)[J]. SPIE, 2001, 34(3):48-55.

[3] SCHARSTEIN D, SZELISKI R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1):7-42.

[4] 朱波,蔣剛毅,張?jiān)?等.面向虛擬視點(diǎn)圖像繪制的深度圖編碼算法[J].光電子激光,2010,21(5):718-724.

[5] HAN J H, JUNG M, LEE C, et al. Panorama field rendering with scene depth estimation[J]. Electronics Letters, 2002, 38(14)：704-705.

[6] Shi Min, Zheng Jiangyu. A slit scanning depth of route panoramafrom stationary blur[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2005:1047-1054.

[7] NAGAHARA H, ICHIKAWA A, YACHIDA M. Depth estimation from the color drift of a route panorama[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,2008:4066-4071.

[8] TAYLOR C J, COWLEY A, KETTLER R, et al. Mapping with depth panoramas[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems,2015:6265-6272.

[9] 陳悅.基于快速圖像匹配的深度圖獲取與虛擬視點(diǎn)繪制[D].福州:福州大學(xué),2014.

[10] 羅桂娥, 陳少華, 劉小群. 視差圖提取技術(shù)與OpenGL三維重建[J]. 微型機(jī)與應(yīng)用, 2012, 31(9):38-40.

[11] 李哲.基于深度圖像繪制的自由視點(diǎn)生成的研究[D].濟(jì)南:山東大學(xué),2011.

Research on the technique of depth map acquisition based on stereoscopic panorama

Lan Chengdong, Chen Kangjie, Cai Chuhua

(College of Physics and Information Engineering, Fuzhou University, Fuzhou 350116, China)

In recent years, with the development of hardware technology and the development of computer vision theory, in order to enhance the user's immersion and experience, three-dimensional panoramic technology is widely used in production and life. A new method is proposed for the acquisition of the depth map in 3D reconstruction of multi-view stereo. Firstly, the images captured by the cameras are registrated, then through the linear transformation matrix the distance between the pixel and the center pixel is calculated, and finally useing the proposed algorithm the depth map is obtained.

depth map; multi-view; panoramic; camera

福建省自然科學(xué)基金資助項(xiàng)目(2014J01234)；福建省教育廳基金資助項(xiàng)目(JA15061)

TP391

A

10.19358/j.issn.1674- 7720.2017.16.012

蘭誠(chéng)棟，陳康杰，蔡楚華.基于立體全景漫游中深度圖獲取技術(shù)的研究[J].微型機(jī)與應(yīng)用，2017,36(16)：41-43.

2017-02-28)

蘭誠(chéng)棟(1981-)，男，博士，講師，主要研究方向：數(shù)字圖像處理。

陳康杰(1991-)，男，碩士研究生，主要研究方向：數(shù)字圖像處理。

蔡楚華(1991-)，男，碩士研究生，主要研究方向：人工智能。