獲取三維模型立體圖像對(duì)KFR方法的研究

謝曉偉 苗新剛 汪蘇

摘 要： 主要研究在計(jì)算機(jī)上已經(jīng)建好的三維模型場(chǎng)景中簡(jiǎn)單便捷地獲取圖像對(duì)，根據(jù)在場(chǎng)景中設(shè)置的攝像機(jī)對(duì)，模擬人眼成像原理，提出獲取立體圖像對(duì)的KFR方法。首先根據(jù)針孔模型將圖像坐標(biāo)系中的一點(diǎn)逐步轉(zhuǎn)換到像平面坐標(biāo)系、攝像機(jī)坐標(biāo)系和世界坐標(biāo)系，并由坐標(biāo)軸的二維旋轉(zhuǎn)推導(dǎo)出三維旋轉(zhuǎn)公式，得出影響立體圖像顯示效果的關(guān)鍵因素的關(guān)系式；然后設(shè)置攝像機(jī)對(duì)的排列實(shí)現(xiàn)場(chǎng)景的立體顯示；最后由顯示結(jié)果分析得出決定立體效果的關(guān)鍵因素之間的關(guān)系。

關(guān)鍵詞： 雙目視覺(jué)； 坐標(biāo)轉(zhuǎn)換； 立體圖像對(duì)； KFR方法； 三維模型場(chǎng)景； 針孔模型

中圖分類號(hào)： TN911.73?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）14?0055?03

Research on KFR method for obtaining stereo image pairs of 3D model

XIE Xiaowei1， MIAO Xingang1，2， WANG Su1，2

（1. Beijing Key Laboratory of Robot Bionics and Function Research， Beijing University of Civil Engineering and Architecture， Beijing 100044， China；

2. Advanced Innovation Center for Future Visual Entertainment， Beijing Film Academy， Beijing 100088， China）

Abstract： How to simply and conveniently obtain image pairs from the 3D model scene which has been built in computer is mainly studied. By simulating the human eyes imaging principle according to the camera pairs set in the scene， a KFR method for obtaining the stereo image pairs is proposed. According to the pinhole model， a point in the image coordinate system is gradually transformed to the image plane coordinate system， camera coordinate system and world coordinate system. The 3D rotation formula is derived from the 2D rotation of the coordinate axes， so as to obtain the relational formula of key factors that affect the display effect of stereo images. The arrangement of camera pairs is set to realize the stereo display of the scene. The display results are analyzed to obtain the relationship between key factors that determine the stereo effect.

Keywords： binocular vision； coordinate transformation； stereo image pair； KFR method； 3D model scene； pinhole model0 引 言

雙目視覺(jué)主要是模擬人類視覺(jué)原理，通過(guò)對(duì)同一場(chǎng)景在不同角度獲取的二維圖像對(duì)進(jìn)行匹配，恢復(fù)該場(chǎng)景的三維信息[1]。要實(shí)現(xiàn)雙目立體成像，首先要獲得左眼視圖和右眼視圖一起構(gòu)成的立體圖像對(duì)[2]。目前獲得立體圖像對(duì)的方式主要有兩類：第一類方式是使用立體相機(jī)拍攝場(chǎng)景得到立體圖像對(duì)[3]；第二類方式是通過(guò)計(jì)算機(jī)繪制得到立體圖像對(duì)[4]。還有一些學(xué)者討論在已建好的三維模型的情況下立體圖像對(duì)的生成[5?6]。重慶大學(xué)的劉然在其博士學(xué)位論文《基于計(jì)算機(jī)立體視覺(jué)的雙目立體成像研究》中提到了對(duì)該方法的研究[7]，作者在文中得到了兩攝像機(jī)的最佳基線長(zhǎng)度和基線長(zhǎng)度與物體到兩攝像機(jī)終點(diǎn)距離的最佳比值，并重點(diǎn)對(duì)成像形變進(jìn)行了分析，但是沒(méi)有確定呈現(xiàn)較好的立體顯示結(jié)果的攝像機(jī)位移范圍和坐標(biāo)旋轉(zhuǎn)角度范圍。本文在此基礎(chǔ)上提出了獲取三維模型立體圖像對(duì)的KFR方法，根據(jù)針孔模型原理推導(dǎo)出坐標(biāo)系轉(zhuǎn)換關(guān)系，找出影響立體圖像顯示效果的關(guān)鍵因素，研究各個(gè)因素在何種關(guān)系下能夠達(dá)到較好的立體成像效果。

1 圖像坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換

理想的攝像機(jī)成像模型是針孔模型[8]，如圖1所示。此模型中包含4個(gè)坐標(biāo)系：圖像平面坐標(biāo)系O?XY，圖像坐標(biāo)系O1?UV，攝像機(jī)坐標(biāo)系OC?XCYCZC和世界坐標(biāo)系[9]OW?XWYWZW。

1.1 坐標(biāo)系的轉(zhuǎn)換

圖像坐標(biāo)系O1?UV原點(diǎn)O1在圖像左上角。O在O1?UV中的坐標(biāo)為（u0，v0），空間任意一點(diǎn)P在像面坐標(biāo)系中的投影坐標(biāo)為（x，y），在圖像坐標(biāo)系中的投影坐標(biāo)為（u，v），坐標(biāo)系O1?UV和坐標(biāo)系O?XY的轉(zhuǎn)換關(guān)系可表示為：

[uv1=1dx0u001dyv0001xy1] （1）

式中，dx，dy表示單位像素在X軸與Y軸上所對(duì)應(yīng)的實(shí)際物理長(zhǎng)度。點(diǎn)P在攝像機(jī)坐標(biāo)系中表示為（XC，YC，ZC），根據(jù)中心投影/透視投影的比例關(guān)系可得：

[ZCuv1=fdx0u000fdyv000010XCYCZC1] （2）

空間點(diǎn)P在世界坐標(biāo)系中表示為（XW，YW，ZW），攝像機(jī)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系為：

[XCYCZC1=Rt0T1XWYWZW1] （3）

式中：R為旋轉(zhuǎn)矩陣；t為平移向量[tx ty tz]T，表示在三個(gè)方向上相對(duì)原始位置的平移量。

1.2 坐標(biāo)系的旋轉(zhuǎn)

在三維空間中，旋轉(zhuǎn)可以分解為各自坐標(biāo)軸的二維旋轉(zhuǎn)[10]，如圖2所示。由圖2可計(jì)算出坐標(biāo)軸旋轉(zhuǎn)角度θ后的矩陣變換為：

[x′y′=cos θsin θ-sin θcos θxy] （4）

在三維坐標(biāo)系中，設(shè)X軸、Y軸和Z軸的旋轉(zhuǎn)角度分別為α，β和γ，旋轉(zhuǎn)矩陣R是三個(gè)旋轉(zhuǎn)分量的乘積：

2 KFR方法的實(shí)現(xiàn)

由式（6）可知圖像坐標(biāo)系和世界坐標(biāo)系的關(guān)系與f，dx，dy，（u0，v0），X軸，Y軸和α，β和γ及 [tx ty tz]T有關(guān)。在本實(shí)驗(yàn)中，選取的攝像機(jī)焦距f為48 mm，顯示屏的分辨率為1 920×1 080，顯示區(qū)域?yàn)?7.2 cm×21.6 cm，因而dx=0.19 mm，dy=0.2 mm，（u0，v0）=（186，108），即u0=186 mm，v0=108 mm。在以上數(shù)據(jù)確定下，實(shí)驗(yàn)的目的就是探尋最佳立體顯示的旋轉(zhuǎn)角度α，β和γ及平移向量[tx ty tz]T。為方便描述，設(shè)兩攝像機(jī)間的平行距離為L(zhǎng)。

KFR（Key Factor Relationship Analysis）方法是在推導(dǎo)出影響立體顯示的關(guān)鍵因素后，改變單一因素，經(jīng)過(guò)多次效果比較，得出各個(gè)因素間的關(guān)系或者變化范圍，從而簡(jiǎn)便獲取立體圖像對(duì)的一種方法。首先在已經(jīng)建立好的三維模型場(chǎng)景中選取目標(biāo)點(diǎn)，實(shí)驗(yàn)?zāi)Ｐ褪窃? ds MAX中建好的雙亭模型，目標(biāo)點(diǎn)坐標(biāo)為亭內(nèi)一點(diǎn)（750，-450，400），并特殊標(biāo)記，以便測(cè)量。為了避免垂直誤差，兩個(gè)攝像機(jī)和目標(biāo)點(diǎn)需在同一平面內(nèi)，且相對(duì)于目標(biāo)點(diǎn)對(duì)稱，即使目標(biāo)點(diǎn)在兩攝像機(jī)的中垂線上。然后以5對(duì)攝像機(jī)為一組，如圖3所示。

按照上述步驟，保持tx和tz不變，繼續(xù)增加L的長(zhǎng)度，設(shè)置第二組攝像機(jī)。依次改變tx，使tx的變化范圍在850～1 750間每間隔100對(duì)一個(gè)實(shí)驗(yàn)組進(jìn)行實(shí)驗(yàn)， ty和tz保持與第一實(shí)驗(yàn)組相同。然后，保持第一實(shí)驗(yàn)組中的tx和ty不變，改變tz的大小，使得tz以200遞增遞減。以上實(shí)驗(yàn)步驟多次重復(fù)，以保證實(shí)驗(yàn)的科學(xué)性。

將上述實(shí)驗(yàn)的攝像機(jī)所拍攝的圖像對(duì)按照左右眼成像原理并排處理，在暴風(fēng)影音播放器上選擇3D播放模式，如圖4所示。

總結(jié)立體顯示效果的結(jié)果，分析得出：影響立體顯示的平移向量[tx ty tz]T中3個(gè)變量之間的關(guān)系為：

[0.02≤t2yt2x+t2z≤0.036] （7）

X軸、Y軸和Z軸的旋轉(zhuǎn)角度α，β和γ與立體顯示效果的觀看角度和物體遠(yuǎn)近大小有關(guān)，角度變化范圍為：

[1.15°≤α≤2.06°1.15°≤β≤2.06°0≤γ≤36.87°] （8）

利用KFR方法獲取立體圖像對(duì)時(shí)，只要滿足式（7）、式（8），就可以得到立體效果明顯且舒適度好的立體圖像。

3 結(jié) 語(yǔ)

本文根據(jù)針孔模型推導(dǎo)出影響立體圖像顯示效果的關(guān)鍵因素，提出獲取立體圖像對(duì)的KFR方法，總結(jié)出影響立體顯示的關(guān)鍵因素的關(guān)系和變化范圍。獲取立體圖像對(duì)的KFR方法可以避免由真實(shí)攝像機(jī)內(nèi)參數(shù)引起的圖像畸變，同時(shí)為獲取立體圖像對(duì)提供了一種簡(jiǎn)單、易于操作的新方法，為再進(jìn)一步對(duì)在已建好的三維模型的情況下立體圖像對(duì)的生成提供了重要依據(jù)。

注：本文通訊作者為苗新剛。

參考文獻(xiàn)

[1] 李艷云.基于雙目視覺(jué)的彩色三維場(chǎng)景再現(xiàn)與3D顯示[D].西安：中國(guó)科學(xué)院，2015.

LI Yanyun. Color 3D scene reconstruction and display based on binocular stereo vision [D]. Xian： Chinese Academy of Sciences， 2015.

[2] YANG Qinyou， YU Xiaoyan. The Research on the rectification system of stereo image pairs [M]// ZHU MIN. Business， economics， financial sciences， and management. Berlin： Springer， 2011： 187?193.

[3] 劉少?gòu)?qiáng).基于立體視覺(jué)的三維重建方法研究[D].天津：天津理工大學(xué)，2015.

LIU Shaoqiang. Research on algorithm of 3D reconstruction based on stereo vision [D]. Tianjin： Tianjin University of Technology， 2015.

[4] 謝若冰.雙目立體成像和顯示的FPGA視頻處理技術(shù)研究[D].北京：北京理工大學(xué)，2016.

XIE Ruobing. The research of FPGA video processing technology on binocular stereo imaging and display [D]. Beijing： Beijing Institute of Technology， 2016.

[5] FORSYTH D A， PONCE J. Computer vision： a modern approach [M]. 2nd ed. London： Pearson Education Inc， 2011.

[6] 李暢，左正興，黃心淵.實(shí)用虛擬現(xiàn)實(shí)中體視動(dòng)畫(huà)的實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，2002，19（6）：84?86.

LI Chang， ZUO Zhengxing， HUANG Xinyuan. Stereoscopy animation actualizing under practical virtual reality [J]. Computer simulation， 2002， 19（6）： 84?86.

[7] 劉然.基于計(jì)算機(jī)立體視覺(jué)的雙目立體成像研究[D].重慶：重慶大學(xué)，2007.

LIU Ran. Study on binocular stereo imaging based on computer stereo vision [D]. Chongqing： Chongqing University， 2007.

[8] 高亮.雙目視覺(jué)中的立體匹配算法研究[D].沈陽(yáng)：東北大學(xué)，2014.

GAO Liang. Research on stereo matching algorithm of binocular vision [D]. Shenyang： Northeastern University， 2014.

[9] LU Xionghui. Localization and motion coordination among multiple collaborating mobile robots [D]. New York： Stony Brook University， 2011.

[10] 陳軍.基于雙目視覺(jué)及數(shù)據(jù)手套的虛擬手勢(shì)交互平臺(tái)的研究與設(shè)計(jì)[D].北京：北京郵電大學(xué)，2011.

CHEN Jun. Research and design of the virtual gesture interaction platform based on binocular vision and data gloves [D]. Beijing： Beijing University of Posts and Telecommunications， 2011.