面向裸眼3D顯示的實時多視角視頻采集系統設計*

張 平，湯勇明，夏 軍，吳 忠

(東南大學電子科學與工程學院，南京210096)

面向裸眼3D顯示的實時多視角視頻采集系統設計*

張 平，湯勇明*，夏 軍，吳 忠

(東南大學電子科學與工程學院，南京210096)

針對裸眼3D顯示屏研究了一種實時多視角視頻采集系統。該系統使用高清網絡攝像頭陣列進行多視點原始畫面拍攝，通過網絡傳輸視頻流，視頻數據經過解碼、矯正、合成等處理后變為具有多個視點(水平方向)的實時視頻圖像。實驗結果表明，該系統較好地解決了實際拍攝中存在的畸變、圖像對齊等問題，實現了實時4個視點(水平方向)的全高清視頻輸出，能直接在特定的裸眼3D顯示器上觀看。

立體視覺;實時多視角視頻;攝像機陣列;矯正

實時裸眼3D多視點立體顯示將是未來顯示系統的主要形式，而構建實時視頻源將是其中的關鍵技術。目前市場上多視角裸眼3D實時視頻源的成熟產品較少，已有產品主要為通過2D轉3D實現的非裸眼視頻源，存在3D效果差，視點少等缺點。國內外相關研究也主要集中于非實時性3D視頻源，這些研究往往對攝像頭要求較高或者需要較多的處理時間。

東南大學對傳統集成成像做了相應改進，開展了裸眼3D顯示器的研究工作，提出了一種集成成像微透鏡陣列制備方法［1-2］，該透鏡陣列可直接用于現有顯示器，配合畫面處理，即可實現多視角的裸眼3D效果。本文在上述基礎上開展了一種面向裸眼3D顯示的實時多視角視頻源采集系統設計。該系統通過攝像頭矩陣拍攝到不同角度的畫面，針對實際拍攝中存在的問題對原圖像進行矯正處理，并根據3D顯示器的參數將其合成，實現多視角的3D實時視頻源。

1 硬件系統

本文的多視點視頻采集系統硬件體系組成如圖1所示，主要可分為3部分:攝像頭陣列、圖像處理平臺、裸眼3D顯示器。攝像頭陣列采用分辨率為1 920×1 080的網絡攝像頭水平排列而成;圖像處理平臺通過網絡接收視頻流后進行解碼、矯正、合成處理，最后將其變為DVI格式(1 920×1 080)輸出至裸眼3D顯示器。我們選用了Tile-Gx36作為圖像處理平臺的處理器來滿足實時性要求。Tile-Gx36芯片內包含36個64 bit RISC架構處理器核心，每個核具有1.2 GHz主頻，能滿足本系統中大量的圖像處理運算，同時圖像處理平臺配備了1 000MHz的網口、4G內存為視頻處理的實時性提供保障。DVI格式轉換模塊將運算處理完的視頻圖像YUV數據轉換為裸眼3D顯示器要求的DVI格式。

圖1 硬件系統組成示意圖

2 軟件系統

圖像處理平臺軟件工作流程如圖2所示，分為讀取視頻流及解碼、圖像處理、輸出DVI轉換3個主要環節，其中圖像處理環節的關鍵步驟為矯正、合成。矯正是根據攝像頭模型中所介紹的參數，對原始圖像進行去畸變、調整視差等處理。本系統假設工作時攝像頭陣列保持固定，故該參數可通過標定提前獲得。視頻數據進行矯正處理后，再根據3D顯示器的設置參數將多個子畫面合成包含多個視點內容的畫面，送至DVI輸出轉換模塊。

圖2 軟件流程示意圖

實時性是本系統一個難點之一。本系統對處理算法進行了大量優化，主要可分為3方面:①基于該處理器多核但各核性能不強的情況，使用 SMP Linux系統，同時將處理算法進一步細分，將計算量均攤至各個核，如圖1中Tile-GX36處理器內部各個顏色表示不同的任務，相同顏色不同核為任務的進一步細分，再通過多線程技術使各個核得到充分利用。②基于該處理器浮點數運算較差的情況，將算法中的浮點數運算轉化為整數運算。③基于該系統內存充足但運算量大的特點，通過增加內存使用量來減少運算量，如將部分計算通過查表方式實現。

3 攝像頭模型

設Q(X，Y，Z)為實際世界中的一點(稱該坐標系為世界坐標，該坐標系用大寫XYZ表示，下文相同)，q(x，y，f)為成像平面上一點(稱該坐標系為相機坐標，該坐標系用小寫xyz表示，f為焦距下文相同)，O為攝像頭的光心(即為相機坐標原點)，如圖3所示，通過旋轉和平移可把世界坐標系變為相機坐標系，即Q在相機坐標系上為［R|T］Q。

圖3 攝像頭成像模型

攝像頭拍攝可簡化為圖中模型。故世界坐標Q和相機坐標q存在。至此，我們再引入像素坐標m(u，v)，由于最后畫面是以像素(整數)來表示，單位像素對應相機坐標為dx，dy。同時由于工藝等原因，像素坐標中心不可能100%在中心光軸上，故引入cx，cy，來表示像素平面中心對光軸的偏移。由此，我們可推出式(1):

當有多個攝像頭時，由于攝像頭物理上不能做到完全對齊，成像平面必然不可能做到完全平行，最有可能兩攝像頭成像平面交錯，且Z軸上也未對齊。從單個攝像頭的旋轉和平移可以推出式(2):

其中，qc1為攝像頭1坐標，qc2為攝像頭2坐標，R，T分別為各自的旋轉和平移矩陣。由此可以得到攝像頭1基于攝像頭2的旋轉和平移矩陣。將該原理推廣到更多的攝像頭，假設都以某個攝像頭為基準得到相應的旋轉和平移矩陣，即可得到所有攝像頭的位置信息。

4 標定和矯正

攝像頭拍攝到的畫面存在不同程度的畸變。根據Brown［4］提出的畸變模型，畸變主要分為兩種:徑向畸變和切向畸變。一般情況下離光心越遠，畸變越大。有以下畸變公式:

徑向畸變:

切向畸變:

攝像頭標定主要用于計算式(1)中的內參數矩陣A，R、T為旋轉和平移矩陣，Q為世界坐標，畸變矩陣D=［k1k2k3p1p2］，再根據式(2)即可得到攝像頭之間的位置關系。

本文利用自標定方法［5］進行標定。由上述可知，每個攝像頭共有4個內參數(只跟攝像頭內部參數相關)，6個外參數(R、T向量，由物體跟鏡頭位置關系決定)及5個畸變參數。攝像頭位置固定后，通過同時拍攝多幅角度不同的標定物(一般為平面棋盤格圖像)，假設有N幅圖像(不同位置)，每幅圖有M個角點，則可以提供2N×M個約束，共有9+6N個未知數(每幅圖內參數相同，畸變參數相同，外參不同)，理論上只要2N×M＞9+6N即可得到相應解。實際使用時，往往通過10幅8×8以上的圖像來保證高質量結果。

矯正主要分為畸變矯正和視差矯正。根據上述畸變模型，對其做數學運算即可得到相應結果。本系統考慮到實際鏡頭邊緣畸變太大，故等比例裁掉相應區域。如原1 920×1 080裁掉后變為1 600× 900。通過保持比例不變來保證最后圖像不失真。

視差是指現實世界中同一點在不同成像平面上的位移差。可分為垂直視差和水平視差。本系統目前實現效果為水平多視角畫面，故視差矯正目的為消除垂直視差，調整水平視差。

由攝像機成像模型可得出，不同攝像頭的坐標系通過旋轉，平移必然可以重合。本文中視差矯正通過使多個坐標系達到y，z軸重合，x軸保持相應距離實現該目的。該過程主要分為3步:(1)對攝像機坐標系旋轉使其平行;(2)使攝像機坐標系y，z重合;(3)調整x軸。

圖4 坐標系對齊方法示意圖

下面介紹一種兩坐標系對齊的方法。如圖4所示，先對q2坐標系進行旋轉使兩坐標系平行后，建立新坐標系(圖中虛線)，以兩坐標系原點連線方向為x軸，成像平面內與x軸垂直方向為y軸，與x，y共同垂直方向即為 z軸，即新坐標系為根據該坐標系構建新旋轉矩陣(由于坐標原點即光心不變，故旋轉即可實現)，旋轉矩陣Rnew通過轉置新坐標系得到。最后可以得到式(3)，Anew為新的投影矩陣。

將該方法擴展到多攝像頭，首先通過標定得知攝像頭參數后，旋轉各攝像頭畫面使其平行;然后確定多攝像頭光心理想連線，根據上述方法將各攝像頭畫面投影至所需位置，如圖4所示，虛線坐標系即可得到垂直視差為0的畫面;最后根據3D顯示器及人眼觀看舒適度的需求調節x軸位置(水平視差大小)。

5 圖像合成

目前市面上的裸眼3D顯示器根據實現原理主要可分為視差擋板法，透鏡陣列法，微鏡投影法，微位相差板法，指向光源法，全息等。家用電器上透鏡陣列法應用較多，主要原理為通過透鏡使左右眼看到不同的子畫面，從而產生立體感。

系統連接東南大學研制的集成成像微透鏡陣列裸眼3D顯示器作為視頻輸出終端。圖像合成算法與該微透鏡陣列的排布一致，將處理后多個攝像頭畫面按一定規則重新排布。本文中采用透鏡陣列為4×480×1 080，即每個單元為水平分布的4個像素，共480×1 080組。通過該透鏡陣列，水平方向上將有4個視場。將4個攝像頭畫面合成后，觀察者在不同角度觀看時，將看到不同的子畫面，實現了多視角的需求。

6 實驗系統

圖5 系統實物圖

本系統實物如圖5所示，左邊為攝像頭陣列，目前為水平排布，后期可增加攝像頭個數擴展成多層結構;右邊為圖像處理平臺。

本系統最后形成水平方向具有4個視點的畫面，每個視點有效分辨率為(480×1 080)，但觀看者觀看時，顯示器長寬比是16∶9(1080p格式)的。故原畫面我們通過1 920×1 080的攝像頭采集，使畫面長寬比保持一致。4路攝像頭采集數據(1 920×1 080)經處理后以DVI格式輸出1080p全高清畫面，DVI輸出幀率為60幀/s，有效幀率為25幀/s，剩余35幀為重復25幀有效幀得到。圖6為攝像頭采集的原圖，由該圖看出，4個攝像頭明顯沒有對齊，還存在一定傾斜。圖7為矯正后效果，圖中垂直視差已基本消除，水平視差基本均等。圖8為合成后圖，該圖由圖7中4幅子圖水平拼接得到。觀察該圖，我們發現現實中的同一點在圖中相應水平線上，且視差基本相等，保證了立體感及多視角的連貫性。

圖6 攝像頭采集原圖

圖7 矯正后畫面

圖8 合成圖

7 結束語

本文開展了一種面向新型裸眼3D顯示器的實時多視角視頻采集系統設計，可將現實場景經多個攝像頭拍攝后通過網絡傳輸，在多核處理器內部進行相應處理轉化為3D視頻，該視頻可在裸眼3D顯示器上顯示。本系統目前已實現了水平方向的4個視角、25幀/s有效幀率、單視點分辨率480×1 080，合成FHD分辨率的視頻信號等功能。

［1］ 程杰杰.兩相流液體透鏡的動態模型與仿真研究［D］.南京:東南大學，2011:33-51.

［2］ Xia J，Qu D，Yang H，et al.Self Assembly Polymer Microlens Array for Integral Imaging［J］.Displays，2010，31(4):186-190.

［3］ 繆陳峰.集成成像子圖陣列獲取方法的研究［D］.南京:東南大學，2013:13-42.

［4］ Duane C B R N.Close-Range Camera Calibration［J］.Photo-grammetric Engineering，1971，37(8):855-866.

［5］ Zhang Z.Flexible Camera Calibration by Viewing a Plane from Unknown Orientations［C］//Computer Vision，1999.The Proceedings of the Seventh IEEE International Conference on.IEEE，1999，1:666 -673.

［6］ Taguchi Y，Koike T，Takahashi K，et al.TransCAIP:A live 3D TV System Using a Camera Array and an Integral Photography Display with Interactive Control of Viewing Parameters［J］.Visualization and Computer Graphics，IEEE Transactions on，2009，15(5): 841-852.

［7］ 張兆楊，安平，劉蘇醒.3D多視點立體顯示及其關鍵技術［J］.電子器件，2008，31(1):302-307.

［8］ 王瓊華，陶宇虹，李大海.基于柱面光柵的液晶三維自由立體顯示［J］.電子器件，2008，31(1):296-298.

［9］ Kang Y S，Lee C，Ho Y S.An Efficient Rectification Algorithm for Multi-View Images in Parallel Camera Array［C］//3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video，2008.IEEE，2008:61-64.

［10］王淑仙，汪靜，邱崧，等.基于單片DMD的裸眼立體顯示的實現方法研究［J］.電子器件，2008，31(1):325-328.

［11］陳華華，杜歆，李宏東.平行多基線立體視覺圖像校正［J］.浙江大學學報(工學版)，2004，38(7):799-804.

［12］Huang Y S，Xia J，Yin H C.Three-Dimensional Scene Recon-struction by Using Lenslet Array Model in Computational Integral Imaging［C］//International Conference on Optical Instrumentation and Technology.International Society for Optics and Photonics，2009: 75131E-75131E-8.

［13］郭秋艷，安平，張兆楊.基于多視點圖像的攝像機自標定［J］.電子器件，2008，31(1):290-295.

［14］ Gary Bradski，Adrian Kaehler.Learning OpenCV［M］.Oreilly，2008:406-498.

張 平(1989- )，男，漢族，浙江省紹興市人，東南大學碩士在讀，主要研究方向為嵌入式研究和應用，zping01234 @163.com;

湯勇明(1973- )，男，漢族，江蘇省江都市人，東南大學研究員，主要研究方向為電子電路設計，tym@seu.edu.cn。

Glass-Free 3D Display Oriented Real-Time Multi-View Video Capture System Design*

ZHANG Ping，TANG Yongming*，XIA Jun，WU Zhong
(School of Electronic Science and Engineering，Southeast University，Nanjing 210096，China)

This paper implements a real-time system for multi-view glass-free 3D video.Its input image is captured by some high definition cameras，then it transfers the data through the net.To obtain the output video with some horizontal view angles，we process these data with decoding，rectification，composition.As the experimental results shows that the camera capturing problems like distortion and image alignment are solved and the real-time full HD video with four view angles realized by the system could be watched immediately on the specific glass-free 3D display.

stereo vision;real-time multi-view video;camera array;calibration

10.3969/j.issn.1005－9490.2014.02.009

TN27

A

1005－9490(2014)02－0210－05

項目來源:新型國家“863”項目(2012AA03A302)

2013-06-12修改日期:2013-07-07

EEACC:7200