三維攝像與顯示綜合實驗

王嘉輝，李佼洋，周延桂，梁浩文，黃梓釗，蔡志崗,

(中山大學 物理學院 a.實驗教學中心;b.光電材料與技術國家重點實驗室，廣東 廣州 510275)

三維攝像與顯示綜合實驗

王嘉輝a，李佼洋a，周延桂b，梁浩文b，黃梓釗b，蔡志崗a,b

(中山大學 物理學院 a.實驗教學中心;b.光電材料與技術國家重點實驗室，廣東 廣州 510275)

以雙目視覺為基礎設計了三維攝像與顯示的綜合實驗，包括演示型和研究型的兩層次實驗內容，涵蓋低年級演示物理和高年級專業物理的實驗教學. 學生通過自行搭建雙攝像頭的拍攝平臺進行實驗，了解立體視覺生理與心理原理，學會不同場景對應的最佳拍攝參量組合.

立體視覺；雙攝像頭；三維顯示；評價量表

立體(又稱三維，即3D)顯示是能讓觀眾產生強烈沉浸感的目標與場景再現技術，近年來隨著電影《阿凡達》熱映和虛擬現實(VR)技術的普及，立體顯示已經在影視娛樂、醫療衛生、軍事訓練等場合獲得應用與推廣[1-4]. 與立體顯示和VR技術的蓬勃發展帶來的專業技術人員缺口相比，相應的教學嚴重滯后，特別是實驗教學內容更是處于空白狀態. 鑒于現狀，本文提出了以雙目視覺為基礎的三維攝像實驗，并制作了相應的實驗設備. 該設備可以完成多種三維攝像、立體圖像記錄與再現等功能，能讓學生掌握立體顯示與VR技術的基本視覺原理，研究優化的拍攝條件.

1 實驗原理

1.1雙目視差

雙目視差是立體顯示與VR技術成像的生理基礎[5]. 所謂雙目視差，指的是雙眼在看同一物體時，因為左右兩眼視線方位不同，而導致兩眼的成像略有差異，這種差異稱為雙眼視差. 根據雙眼視差的方向，可以分為水平和垂直2類，其中水平視差是形成立體視覺的生理因素. 人眼觀看物體時，左右眼能看到該物體的不同側面，但是有一定的差異，通過大腦融像，所感知的物體如同在正前方所見的一樣. 而物體在視覺中的感知距離則直接與視線夾角相關，夾角越大則物體的像越靠近觀眾；反之，則遠離觀眾.

根據雙視差原理，當屏幕上面同時展示某個物體對應左、右視角的2個側面圖像，并且通過輔助眼鏡(即3D眼鏡)的選擇特性將這2幅圖像分別分離和過濾，然后傳送到觀眾的左、右眼進行融像. 這2幅側面圖像稱為立體圖像對. 根據立體圖像對的相互位置的差異(如圖1所示)，即可以再現目標物平面(2D)、出屏(3D)和入屏(3D)3種狀態.

(a)2D (b)出屏 (c)入屏圖1 雙目視差原理

1.2三維攝像

三維攝像(即立體攝像)是對人眼雙目視差的模擬過程[6-7]. 利用2臺攝像機替代人眼進行立體圖像對的捕獲. 根據2臺攝像機放置方式的差異，可以將三維攝像分為平行光軸、會聚光軸和共光軸3種情況. 共光軸系統常用于形貌獲取，不易產生直觀的視差圖像對. 平行光軸是目前市面上的商用3D攝像機和相機采用的方案，雖然結構簡單，但是拍攝的視差較大，對于近距離(長焦)的場景容易產生視差過大導致難以融像的問題. 鑒于以上情況，在設計實驗時，采用了兼顧平行光軸和會聚光軸2種結構的方案，讓學生了解不同拍攝方式之間的差異及其適用場景.

1.2.1 平行光軸三維拍攝系統

在光軸平行的立體視覺系統中(如圖2所示)，左右攝像機焦距及內部參量均相等，平行放置，攝像機的水平方向重合，垂直方向相互平行，左攝像機沿著其x軸方向平移一段距離(稱為攝影基線)后與右攝像機重合，這樣的攝像系統稱為平行光軸三維拍攝系統.

(a)

(b)圖2 雙目立體視覺幾何模型

圖2所示為用左、右(即L,R)兩攝像機觀測同一景物時的情形. 物體上的點P在左攝像機中的成像點為PL(P點與透鏡中心CL的連線與圖像平面的交點)；對應在右攝像機中的成像點為PR. 由光路可逆，若已知圖像平面上的一點PL和透鏡中心CL可唯一地確定1條射線CLPL，使得所有可成像在PL點的物體點必定在這條CLPL射線上. 對于右攝像機若能找到成像點PR，那么根據射線CRPR與CLPL的交點就是物體點P的位置. 因此，若已知2臺攝像機的幾何位置，且攝像機是線性的，那么利用三角原理就可以計算物體在空間的位置. 射線CLPL上各點在右攝像機圖像平面中的成像是1條直線PRPR′，即外極線. 同理，CRPR上各點在左攝像機圖像平面中的成像也形成外極線. 因此，如果已知空間點在一個圖像平面中的成像點要尋找在另一圖像平面中的對應點時，只需沿此圖像平面中的外極線搜索即可. 設P點在左、右圖像平面中成像點相對于坐標原點OL和OR(即左、右攝像機透鏡光軸與圖像平面的交點)的距離分別為x1和x2，而這2個成像點位置差x1-x2被稱為視差. 由圖中幾何關系得：

(1)

(2)

由式(1)和式(2)得

(3)

將式(3)代入式(2)得到物點P離透鏡中心的距離z為

(4)

式(4)中f為透鏡焦距，d為兩透鏡光軸之間的距離，稱為攝影基線. 當攝像機幾何位置固定時，視差只與距離z有關，而與P點離相機光軸的距離無關. 視差越大說明物點離相機近，反之越遠.

1.2.2 會聚光軸三維拍攝系統

圖3是相交光軸的雙目視覺系統結構. 左右兩攝像機的光軸成一定的角度布置，采用這種結構形式的攝像機安裝方便，可以根據被測對象的特點和系統的要求靈活調節2臺攝像機之間的距離及攝像機的傾斜方向，不過該結構不利于左右圖像匹配.

圖3 會聚光軸雙目立體系統

1.3偏振式三維顯示

三維顯示是還原雙目視差效果實現立體影像輸出的過程. 實現三維顯示的方法有多種，而偏振式(圖4)是目前最常用的三維顯示方式，又名光分法. 它可分為投影和平面顯示2種格式，但都是利用光的偏振性，通過偏光濾鏡濾除特定角度偏振光外的所有光，實現立體圖像對的分離. 實驗中使用的平面顯示光分法是在液晶平面顯示的基礎上，將原有液晶面板前端的單向偏振濾光片改為隔行排布的雙向偏振濾光片. 其奇偶數行的偏振濾色片的方向相反，恰好與輔助眼鏡的雙目鏡片的方向一致，所以立體圖像對可以通過眼鏡進行分離，并在觀眾的大腦融像[8].

圖4 偏振式3D平面顯示原理

2 系統搭建與程序設計

根據前述拍攝立體圖像對的需求，本文采用2臺大恒圖像水星MER-040-60UC工業攝像機作為圖像記錄器件，配合旋轉臺、平移軌道等光學調節架和三腳架建立可調度高的拍攝平臺. 攝像機拍攝的立體圖像對實時傳輸到計算機，經過圖像處理與合成后將在LG D2342P偏振式3D顯示器進行再現，如圖5所示.

從2臺攝像機拍到的立體圖像對需要經過處理才能在偏振式3D顯示器上再現. 處理包括相機匹配校正和圖像融合2部分. 由于2臺攝像機之間的鏡頭和感光芯片存在差異，例如鏡頭的畸變、感光芯片的偏色及其對亮度的靈敏度都不一致，所以導致拍攝出來的立體圖像對之間的亮度和顏色存在一定差異. 當上述差異過大時，將導致實驗者出現視覺不適甚至融像困難. 因此，需要將立體圖像對的亮度和白平衡進行匹配. 此外，由于偏振式三維顯示器是需要在1臺顯示設備上利用隔行方式立體圖像對的2幅圖像，因此，也需要利用圖像處理的方法，將上述2幅圖像進行合并.

(a)結構原理圖

(b)拍攝平臺實物圖圖5 三維拍攝實驗系統結構原理與實物圖

利用OpenCV與Microsoft VC++聯合編程(圖6)，實現了對2臺工業攝像機的控制及立體圖像對拍攝，并調整相機的快門、白平衡配置和電子增益等參量(表1)，使得立體圖像對的亮度與顏色初步協調. 立體圖像對經過USB接口送入計算機后，經過程序進一步校正它們的亮度和顏色差異，提高實驗者的視覺舒適度.

圖6 圖像處理與顯示程序的前臺界面

參量數值相機分辨率752(H)×480(V)相機幀率60s-1顯示器分辨率1920×1080立體圖像對分辨率1920×960顯示器顯示幀率60s-1運行環境要求32位WinXP或Win7系統,OpenCV2.2或以上,2G內存

經過校正后的立體圖像對首先將調整圖像分辨率，使之與偏振式3D顯示屏幕的分辨率匹配，再通過隔行抽樣和插值，將原有的立體圖像對生成1張包含2個側面視角圖像的立體照片，最后實時顯示在屏幕上. 圖7為學生實驗場景，學生調節相機之間的視差，可以從屏幕監控實時生成的3D影像(即重影的部分).

圖7 學生實驗現場

3 實驗設計

三維攝像與顯示實驗不僅要讓學生通過學習了解視差產生立體(3D視覺)的生理機理，掌握立體圖像對拍攝與融合的方法，還要學生通過對不同立體拍攝方式的橫向實驗對比，尋找不同場景和拍攝條件下匹配的三維攝影方式. 針對實驗設計目標，三維攝像與顯示實驗將分為2部分內容：視差原理演示和三維拍攝對比與評價.

如前述，視差是產生立體(3D)視覺的起源. 所以本實驗的第一部分作為演示型的內容，計劃安排學生通過使用平移軌道、旋轉臺、桿座及接桿等光學元件和工業相機組合，自行搭建可以改變基線距離、調整攝像頭間視角夾角的拍攝平臺，并開展初步的立體圖像對紀錄實驗. 在初步實驗中，注重讓學生通過改變目標物的遠近和相互位置，掌握視差產生立體的生理立體原理，同時了解遠近、遮蔽、陰影、幾何透視等的心理立體原理；指導學生調整攝像頭之間的相對高度，消除垂直視差，了解垂直視差對立體視角的減弱作用. 圖8是學生實驗時紀錄的立體圖像，為了便于印刷已轉為紅藍3D格式，該圖片選擇長傘作為目標，在約1.5 m遠的距離拍攝. 從圖8可見，傘的前后部分視差存在差異，讓學生了解視差的形成以及視差與物體遠近的關系，同時傘和背景之間的遮蔽效應、幾何透視(近大遠小)等心理立體因素也能在本照片中清晰展示，供學生學習掌握.

圖8 實驗所拍三維圖像

三維拍攝的目的是將目標物或者場景進行模擬人眼視覺的紀錄和再現，因此拍攝的圖片需滿足既能提供明顯的出屏感[9-10]，又能讓觀看者視覺舒適. 所以針對實踐應用中的技術要求，本實驗的第二部份是研究型的內容，讓學生在不同的拍攝環境(即距離和目標尺寸)下，嘗試不同的基線距離及其對應的夾角，并對該拍攝條件所獲的三維圖像進行視覺立體感(即出屏感)和舒適感的評分. 此外，本實驗還安排學生在各個拍攝環境中更換不同焦距的鏡頭，進行立體感和舒適感的評價. 這樣就可以通過基線和焦距2個變量的分離研究，通過雙方面評分找出不同環境下合適的拍攝條件(焦距與基線)的組合.

圖9是實驗中采用相同基線距離(6 cm)對距離基線1 m的食物模型使用不同夾角所拍攝的立體圖像，它們的視角夾角θ分別為0.9°,1.2°,1.5°,1.9°,2.4°,3°. 在常規觀看距離(0.6 m)下，圖9(a)～(f)中模型的出屏距離分別為3.6，6.3，8.1，9.2，11.7，13.5 cm.

為了實現拍攝條件對立體視覺感知和舒適度影響的定性半定量研究，實驗采用了測評量表(如表2)讓學生在觀看拍攝的立體影像后，進行評價. 測評量表是心理學的主要研究工具，它可以通過科學、客觀、標準的測量手段對人的特定素質進行測量、分析、評價. 由于立體視覺屬于心理學中邏輯與認知這一重要分支，因此采用心理學的常用工具進行交叉研究具有可行性和可信度.

圖9 不同基線和夾角下所拍攝三維圖像

表2 拍攝距離1 m，基線距離6 cm，不同視角夾角下拍攝方式評價量表示例(f=8 mm)

結合圖9和表2的結果分析可知，立體圖像對視差(即模型的紅、藍兩色影像的間距)隨著視角夾角增大而逐漸增大. 根據學生的實驗結果分析，當視角夾角小時[9(a)]，出屏感不顯著，但是視覺舒適；當視差增大后，如9(b)～(d)，出屏感逐步增強，伴隨著視覺舒適度稍有減退，是這個場景下可取的拍攝條件組合；當視差較大時，如9(e)和(f)，出屏感極為強烈，人眼卻出現難以融像、甚至頭暈等視覺不適，表明此時視差已經超過人眼布魯姆融像區，不適合作為三維顯示. 而表2的數據也體現了拍攝條件出屏感和舒適度存在相同的變化規律.

通過兩步驟的實驗內容設置，不僅讓學生由淺入深地掌握立體視覺產生的生理和心理機理，學會拍攝立體圖像對的方法，更能半定量地通過評分表的方式對比研究，探索對應不用場景的優化三維拍攝參量(基線、視角夾角和焦距)的組合，并能很好地與以后的實踐接軌. 此外，本實驗的第一部分還適合單獨拆分作為演示物理實驗，向低年級本科生講授立體視覺的內容.

4 結束語

針對一方面3D顯示應用和虛擬現實技術蓬勃發展，而另一方面與之對應的教學內容嚴重缺失，特別是實驗教學處于空白的現狀，設計了三維拍攝與顯示實驗，并制作了相應的實驗儀器. 實踐證實，該實驗可以讓學生完成演示型和研究型的實驗內容，掌握立體視覺生理與心理原理，學會不同場景對應的最佳拍攝參量組合，能與工業和商業、文化實踐良好接軌.

本自制儀器獲得全國高等學校物理實驗教學自制儀器二等獎和高等學校國家級實驗教學示范中心十年建設成果展示一等獎.

[1] Bernardo A, Preul M C, Zabramski J M, et al. A three-dimensional interactive virtual dissection model to simulate transpetrous surgical avenues [J]. Neurosurgery, 2003,52(3):499-505.

[2] Henn J S, Lemole G M Jr, Ferreia M A, et al. Interactive stereoscopic virtual reality: a new tool for neurosurgical education [J]. J. Neurosurg., 2002,96(1):144-149.

[3] Smith R, Day A, Rockall T, et al. Advanced stereoscopic projection technology significantly improves novice performance of minimally invasive surgical skills [J]. Surg. Endosc., 2012,26(6):1522-1527.

[4] 腹腔鏡手術即將進入3D時代[EB/OL]. http://www.syshospital.com/Item/3567.aspx.

[5] Wang J, Liang H, Fan H, et al. High-quality autostereoscopic display with spatial and sequential hybrid control [J]. Appl. Opt., 2013,52:8549-8553.

[6] Elliott S D, Phillip L. Inside 3D Studio Release 4 [M]. 汪亞文譯. 北京:學苑出版社,1995:328.

[7] 王式孟. 立體攝影的關鍵技術[J]. 影視技術,1998(2):8-11.

[8] 王瓊華. 3D顯示技術與器件[M]. 北京：科學出版社,2011:210-214．

[9] Emoto M, Nojiri Y, Okano F. Changes in fusionalvergence limit and its hysteresis after viewing stereoscopic TV [J]. Displays, 2004,25(2):67-76.

[10] Emoto M, Niida T, Okano F. Repeated vergence adaptation causes the decline of visual functions in watching stereoscopic television [J]. Journal of Display Technology, 2005,1(2):328-340.

[責任編輯：任德香]

Experimentofstereoscopicimagecaptureanddisplay

WANG Jia-huia, LI Jiao-yanga, ZHOU Yan-guib, LIANG Hao-wenb, HUANG Zi-zhaob, CAI Zhi-ganga,b

(a. Physics Experimental Education Center; b. State Key Laboratory of Optoelectronics Materials and Technologies, School of Physics, Sun Yat-sen University, Guangzhou 510275, China)

A stereoscopic imaging and display experimental system was designed, which was suitable to physics demonstration and specialty experiment. It could let students to set up an image recording system based on binocular cameras and capture stereoscopy images by themselves. Through this experiment, students could comprehend the physical and psychological causes of stereoscopic vision, acquire the experience on optimization condition of stereoscopic image capture in different scenes.

stereoscopic vision; binocular cameras; stereoscopy display; mark sheet

2017-04-03；修改日期：2017-04-27

王嘉輝(1979-),男，廣東廣州人，中山大學物理學院實驗師，博士，研究方向為顯示光學、圖像處理及光電子技術.

O436；TN141.9

：A

：1005-4642(2017)09-0006-06