獲取三維模型立體圖像對KFR方法的研究

謝曉偉 苗新剛 汪蘇

摘 要： 主要研究在計算機上已經建好的三維模型場景中簡單便捷地獲取圖像對，根據在場景中設置的攝像機對，模擬人眼成像原理，提出獲取立體圖像對的KFR方法。首先根據針孔模型將圖像坐標系中的一點逐步轉換到像平面坐標系、攝像機坐標系和世界坐標系，并由坐標軸的二維旋轉推導出三維旋轉公式，得出影響立體圖像顯示效果的關鍵因素的關系式；然后設置攝像機對的排列實現場景的立體顯示；最后由顯示結果分析得出決定立體效果的關鍵因素之間的關系。

關鍵詞： 雙目視覺； 坐標轉換； 立體圖像對； KFR方法； 三維模型場景； 針孔模型

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2018）14?0055?03

Research on KFR method for obtaining stereo image pairs of 3D model

XIE Xiaowei1， MIAO Xingang1，2， WANG Su1，2

（1. Beijing Key Laboratory of Robot Bionics and Function Research， Beijing University of Civil Engineering and Architecture， Beijing 100044， China；

2. Advanced Innovation Center for Future Visual Entertainment， Beijing Film Academy， Beijing 100088， China）

Abstract： How to simply and conveniently obtain image pairs from the 3D model scene which has been built in computer is mainly studied. By simulating the human eyes imaging principle according to the camera pairs set in the scene， a KFR method for obtaining the stereo image pairs is proposed. According to the pinhole model， a point in the image coordinate system is gradually transformed to the image plane coordinate system， camera coordinate system and world coordinate system. The 3D rotation formula is derived from the 2D rotation of the coordinate axes， so as to obtain the relational formula of key factors that affect the display effect of stereo images. The arrangement of camera pairs is set to realize the stereo display of the scene. The display results are analyzed to obtain the relationship between key factors that determine the stereo effect.

Keywords： binocular vision； coordinate transformation； stereo image pair； KFR method； 3D model scene； pinhole model0 引 言

雙目視覺主要是模擬人類視覺原理，通過對同一場景在不同角度獲取的二維圖像對進行匹配，恢復該場景的三維信息[1]。要實現雙目立體成像，首先要獲得左眼視圖和右眼視圖一起構成的立體圖像對[2]。目前獲得立體圖像對的方式主要有兩類：第一類方式是使用立體相機拍攝場景得到立體圖像對[3]；第二類方式是通過計算機繪制得到立體圖像對[4]。還有一些學者討論在已建好的三維模型的情況下立體圖像對的生成[5?6]。重慶大學的劉然在其博士學位論文《基于計算機立體視覺的雙目立體成像研究》中提到了對該方法的研究[7]，作者在文中得到了兩攝像機的最佳基線長度和基線長度與物體到兩攝像機終點距離的最佳比值，并重點對成像形變進行了分析，但是沒有確定呈現較好的立體顯示結果的攝像機位移范圍和坐標旋轉角度范圍。本文在此基礎上提出了獲取三維模型立體圖像對的KFR方法，根據針孔模型原理推導出坐標系轉換關系，找出影響立體圖像顯示效果的關鍵因素，研究各個因素在何種關系下能夠達到較好的立體成像效果。

1 圖像坐標系到世界坐標系的轉換

理想的攝像機成像模型是針孔模型[8]，如圖1所示。此模型中包含4個坐標系：圖像平面坐標系O?XY，圖像坐標系O1?UV，攝像機坐標系OC?XCYCZC和世界坐標系[9]OW?XWYWZW。

1.1 坐標系的轉換

圖像坐標系O1?UV原點O1在圖像左上角。O在O1?UV中的坐標為（u0，v0），空間任意一點P在像面坐標系中的投影坐標為（x，y），在圖像坐標系中的投影坐標為（u，v），坐標系O1?UV和坐標系O?XY的轉換關系可表示為：

[uv1=1dx0u001dyv0001xy1] （1）

式中，dx，dy表示單位像素在X軸與Y軸上所對應的實際物理長度。點P在攝像機坐標系中表示為（XC，YC，ZC），根據中心投影/透視投影的比例關系可得：

[ZCuv1=fdx0u000fdyv000010XCYCZC1] （2）

空間點P在世界坐標系中表示為（XW，YW，ZW），攝像機坐標系與世界坐標系之間的關系為：

[XCYCZC1=Rt0T1XWYWZW1] （3）

式中：R為旋轉矩陣；t為平移向量[tx ty tz]T，表示在三個方向上相對原始位置的平移量。

1.2 坐標系的旋轉

在三維空間中，旋轉可以分解為各自坐標軸的二維旋轉[10]，如圖2所示。由圖2可計算出坐標軸旋轉角度θ后的矩陣變換為：

[x′y′=cos θsin θ-sin θcos θxy] （4）

在三維坐標系中，設X軸、Y軸和Z軸的旋轉角度分別為α，β和γ，旋轉矩陣R是三個旋轉分量的乘積：

2 KFR方法的實現

由式（6）可知圖像坐標系和世界坐標系的關系與f，dx，dy，（u0，v0），X軸，Y軸和α，β和γ及 [tx ty tz]T有關。在本實驗中，選取的攝像機焦距f為48 mm，顯示屏的分辨率為1 920×1 080，顯示區域為37.2 cm×21.6 cm，因而dx=0.19 mm，dy=0.2 mm，（u0，v0）=（186，108），即u0=186 mm，v0=108 mm。在以上數據確定下，實驗的目的就是探尋最佳立體顯示的旋轉角度α，β和γ及平移向量[tx ty tz]T。為方便描述，設兩攝像機間的平行距離為L。

KFR（Key Factor Relationship Analysis）方法是在推導出影響立體顯示的關鍵因素后，改變單一因素，經過多次效果比較，得出各個因素間的關系或者變化范圍，從而簡便獲取立體圖像對的一種方法。首先在已經建立好的三維模型場景中選取目標點，實驗模型是在3 ds MAX中建好的雙亭模型，目標點坐標為亭內一點（750，-450，400），并特殊標記，以便測量。為了避免垂直誤差，兩個攝像機和目標點需在同一平面內，且相對于目標點對稱，即使目標點在兩攝像機的中垂線上。然后以5對攝像機為一組，如圖3所示。

按照上述步驟，保持tx和tz不變，繼續增加L的長度，設置第二組攝像機。依次改變tx，使tx的變化范圍在850～1 750間每間隔100對一個實驗組進行實驗， ty和tz保持與第一實驗組相同。然后，保持第一實驗組中的tx和ty不變，改變tz的大小，使得tz以200遞增遞減。以上實驗步驟多次重復，以保證實驗的科學性。

將上述實驗的攝像機所拍攝的圖像對按照左右眼成像原理并排處理，在暴風影音播放器上選擇3D播放模式，如圖4所示。

總結立體顯示效果的結果，分析得出：影響立體顯示的平移向量[tx ty tz]T中3個變量之間的關系為：

[0.02≤t2yt2x+t2z≤0.036] （7）

X軸、Y軸和Z軸的旋轉角度α，β和γ與立體顯示效果的觀看角度和物體遠近大小有關，角度變化范圍為：

[1.15°≤α≤2.06°1.15°≤β≤2.06°0≤γ≤36.87°] （8）

利用KFR方法獲取立體圖像對時，只要滿足式（7）、式（8），就可以得到立體效果明顯且舒適度好的立體圖像。

3 結 語

本文根據針孔模型推導出影響立體圖像顯示效果的關鍵因素，提出獲取立體圖像對的KFR方法，總結出影響立體顯示的關鍵因素的關系和變化范圍。獲取立體圖像對的KFR方法可以避免由真實攝像機內參數引起的圖像畸變，同時為獲取立體圖像對提供了一種簡單、易于操作的新方法，為再進一步對在已建好的三維模型的情況下立體圖像對的生成提供了重要依據。

注：本文通訊作者為苗新剛。

參考文獻

[1] 李艷云.基于雙目視覺的彩色三維場景再現與3D顯示[D].西安：中國科學院，2015.

LI Yanyun. Color 3D scene reconstruction and display based on binocular stereo vision [D]. Xian： Chinese Academy of Sciences， 2015.

[2] YANG Qinyou， YU Xiaoyan. The Research on the rectification system of stereo image pairs [M]// ZHU MIN. Business， economics， financial sciences， and management. Berlin： Springer， 2011： 187?193.

[3] 劉少強.基于立體視覺的三維重建方法研究[D].天津：天津理工大學，2015.

LIU Shaoqiang. Research on algorithm of 3D reconstruction based on stereo vision [D]. Tianjin： Tianjin University of Technology， 2015.

[4] 謝若冰.雙目立體成像和顯示的FPGA視頻處理技術研究[D].北京：北京理工大學，2016.

XIE Ruobing. The research of FPGA video processing technology on binocular stereo imaging and display [D]. Beijing： Beijing Institute of Technology， 2016.

[5] FORSYTH D A， PONCE J. Computer vision： a modern approach [M]. 2nd ed. London： Pearson Education Inc， 2011.

[6] 李暢，左正興，黃心淵.實用虛擬現實中體視動畫的實現[J].計算機仿真，2002，19（6）：84?86.

LI Chang， ZUO Zhengxing， HUANG Xinyuan. Stereoscopy animation actualizing under practical virtual reality [J]. Computer simulation， 2002， 19（6）： 84?86.

[7] 劉然.基于計算機立體視覺的雙目立體成像研究[D].重慶：重慶大學，2007.

LIU Ran. Study on binocular stereo imaging based on computer stereo vision [D]. Chongqing： Chongqing University， 2007.

[8] 高亮.雙目視覺中的立體匹配算法研究[D].沈陽：東北大學，2014.

GAO Liang. Research on stereo matching algorithm of binocular vision [D]. Shenyang： Northeastern University， 2014.

[9] LU Xionghui. Localization and motion coordination among multiple collaborating mobile robots [D]. New York： Stony Brook University， 2011.

[10] 陳軍.基于雙目視覺及數據手套的虛擬手勢交互平臺的研究與設計[D].北京：北京郵電大學，2011.

CHEN Jun. Research and design of the virtual gesture interaction platform based on binocular vision and data gloves [D]. Beijing： Beijing University of Posts and Telecommunications， 2011.