基于視差與分層渲染的立體顯示效果評價(jià)研究*

谷靈康

（1.安徽省現(xiàn)代顯示技術(shù)國家重點(diǎn)實(shí)驗(yàn)室省部共建培育基地（中航華東光電有限公司）2.安徽工程大學(xué)計(jì)算機(jī)與信息學(xué)院）

1 引言

隨著2012年1月1日中國3D頻道的開播，立體顯示技術(shù)逐漸成為各國研發(fā)的重點(diǎn)。立體影像具有實(shí)感性、震撼性和非常逼真的感染力等特點(diǎn)。目前立體顯示系統(tǒng)主要分為兩大類：立體顯示系統(tǒng)與自由立體顯示系統(tǒng)。借助眼鏡、頭盔等設(shè)備的是立體顯示系統(tǒng)；而應(yīng)用空間更廣闊的是自由立體顯示系統(tǒng)，它不需戴上特殊眼鏡就能看到立體影像，目前已經(jīng)成為立體顯示技術(shù)研究的主流。

較好的自由立體顯示需兼顧諸多因素，如視差、著色和陰影、線性角度和運(yùn)動視差等。這需要立體顯示系統(tǒng)能夠給左右兩眼帶來不同的畫面，同時需要影像內(nèi)容中具備更多的細(xì)節(jié)，這對硬件和軟件都是一個巨大的考驗(yàn)[1]。對于立體顯示，最關(guān)心的是立體顯示效果，適當(dāng)?shù)脑u價(jià)標(biāo)準(zhǔn)與評價(jià)方法對立體顯示技術(shù)的發(fā)展起著至關(guān)重要的作用。

2 國內(nèi)外立體顯示效果評價(jià)方法分析

目前國際上對于自動立體顯示設(shè)備顯示質(zhì)量的評價(jià)一般有兩種方法：一種是通過人的視覺來判定，即主觀評價(jià)方法；第二種是客觀評價(jià)方法，它是用測光、測色儀器對顯示設(shè)備進(jìn)行客觀測定。以上兩種方法通常結(jié)合起來使用。

對顯示效果質(zhì)量進(jìn)行最終評價(jià)的，是經(jīng)常面對著顯示屏觀賞圖像娛樂的人，故通過視覺進(jìn)行的主觀評價(jià)是最關(guān)鍵的評價(jià)方法，但不同評價(jià)者，結(jié)果往往會出現(xiàn)差異。即使同一評定者對相同的產(chǎn)品，多次的評價(jià)結(jié)果也有可能出現(xiàn)很大的差異。這就需要引入一系列的評價(jià)方法來消除多個評定者之間的差異，最后將包含差異在內(nèi)的數(shù)據(jù)進(jìn)行篩選，找出其普遍性。因此，需要先進(jìn)行評價(jià)的相關(guān)準(zhǔn)備和長時間征集評定者的意見，然后才能進(jìn)行評價(jià)。

測光量是在顯示器的客觀評價(jià)中所測定的最主要物理量，反映的是人的視覺特性。如果決定了測定條件及方法，其結(jié)果可以在短時間內(nèi)得到，這就是客觀評價(jià)方法的特點(diǎn)。由于我國自動立體顯示器的測試標(biāo)準(zhǔn)還未制訂，國內(nèi)外這方面的資料也較少，故在確定具體測試項(xiàng)目和測試方法時，液晶顯示器件測量方法的國家標(biāo)準(zhǔn)和國外相關(guān)的一些技術(shù)資料經(jīng)常被拿來參照，再根據(jù)立體顯示器的特點(diǎn)，確定測試中顯示器的光學(xué)性能評測參數(shù)和具體的測量方法。

2.1 立體顯示效果的客觀評價(jià)指標(biāo)[2]

對顯示器的立體效果進(jìn)行客觀評定時，除了注意評價(jià)結(jié)果的準(zhǔn)確性和重復(fù)性，還要考慮影響評價(jià)的條件。其中評價(jià)的環(huán)境狀態(tài)和條件、測量儀器、測量用的顯示圖像、電源的穩(wěn)定性和穩(wěn)定時間、顯示設(shè)備的狀態(tài)等，都對評價(jià)結(jié)果影響較大。主要的客觀評價(jià)指標(biāo)有：圖像分辨率、對比度、視角范圍及視區(qū)、響應(yīng)時間、亮度、亮度不均勻性、色度特性等。

2.2 立體顯示效果的主觀評價(jià)

主觀評價(jià)法是指對顯示器上顯示的信息，由觀察者從主觀方面進(jìn)行測定與評價(jià)的方法。相對于客觀評價(jià)方法，主觀評價(jià)是通過心理測定的方法實(shí)現(xiàn)的。觀察者可以根據(jù)親身感受來進(jìn)行評價(jià)，這是主觀評價(jià)方法最有利的方面，如對顯示器可以通過精美程度、臨場感等方面進(jìn)行評價(jià)。

亮度、色調(diào)、對比度、信噪比、響應(yīng)特性、空間頻率特性、動態(tài)特性等，是主觀評價(jià)的主要物理要素。

在數(shù)據(jù)采集上，主觀評價(jià)采用心理學(xué)的測定法。這種測定法有很多種，由于方法的不同，進(jìn)行判斷的基準(zhǔn)和所得到的感覺尺度會有一定的差別。因此，在選擇方法時，通常是與評價(jià)實(shí)驗(yàn)的目的相配合，從多種心理學(xué)測定方法中，選擇較適合的一種。調(diào)整法、極限法、常規(guī)法、評價(jià)尺度法、系列范疇法、二者擇一法、成對比較法等，是目前主要的心理學(xué)評價(jià)方法。

左眼和右眼視圖的分離決定左眼和右眼圖像的三維顯示效果，兩個區(qū)間若存在嚴(yán)重的串?dāng)_則認(rèn)為分離效果不好，人類的大腦就很難進(jìn)行三維集成。因此，需要建立一套合適的理論和方法來評定一款立體顯示器是否具有立體效果及如何評價(jià)和比較這種效果。

目前國內(nèi)外專門研究立體顯示效果和質(zhì)量的評定方法的并不多。一種方法是用雙目圖像之間串?dāng)_的亮度百分比來描述自由立體顯示器的效果[3]，它用助視眼鏡立體顯示技術(shù)的cross-talk levels來實(shí)現(xiàn)，可惜沒有給出具體的測試方法；另一種方法則是使用亮度傳感器，從觀看位置衡量沿著弧形的亮度曲線，然后進(jìn)行對比度比較，這顯示為三維效果[4]。這些方法滿足立體顯示視圖分離的亮度對比度，一定程度滿足測試的需求。他們使用光的檢測方法，左視圖亞屏幕單色顯示，右視圖亞屏幕不顯示。在顯示器橫向位置前的觀看區(qū)域，測量亮度得到左眼球視圖的亮度測量曲線，然后逆轉(zhuǎn)，測出右眼視圖的亮度曲線并通過亮度對比求出亮度分布特征。立體顯示器有較好的效果是在大于10%亮度比值的情況下，但因?yàn)樗枰獌纱沃貜?fù)測量引入的定位誤差和復(fù)雜的亮度測試設(shè)備，結(jié)果很難顯示較好的立體效果和獨(dú)立視區(qū)域，并且這些方法往往是在觀察區(qū)域的橫向位置檢測，三維顯示可視區(qū)域的特點(diǎn)沒有充分體現(xiàn)，也不能使用具體量值來表示三維顯示效果的好壞。

針對上述兩種方法的不足，國內(nèi)外很多學(xué)者提出了改進(jìn)方法，如北京郵電大學(xué)的劉克濱提出基于視差的方法[5]，南昌大學(xué)的梁發(fā)云提出使用立體度參數(shù)作為評價(jià)指標(biāo)[6]，他們主要是利用立體度進(jìn)行顯示效果的評價(jià)。還有一些學(xué)者也提出了相應(yīng)的方法。

由于立體顯示技術(shù)是基于雙目視差理論，左眼和右眼視圖充分分離是裸眼立體顯示的關(guān)鍵。下文嘗試從這個特點(diǎn)來設(shè)計(jì)適當(dāng)?shù)脑u估方法和測量流程。

3 雙眼視差

人類的立體視覺由生理立體視覺和心理立體視覺組成[7]。由人眼的晶狀體調(diào)節(jié)、雙眼會聚和雙眼視差諸因素構(gòu)成的立體視覺稱為生理立體視覺，在這些因素中，人眼最強(qiáng)烈的生理立體視覺因素是雙眼視差。在一切心理立體視覺排除之后，一組完全無異議的視覺刺激，在具備視差的條件下，就可以經(jīng)雙眼產(chǎn)生深度上的感覺，這一點(diǎn)已被 Julesz[8]利用隨機(jī)點(diǎn)圖證明，這說明雙眼視差可以與任何視覺經(jīng)驗(yàn)無關(guān)。

雙眼視差[9]（Binocular Disparity）是指兩只眼睛從兩個稍微不同的角度觀察客觀的三維世界的場景，由于場景的幾何光到人雙眼的距離不同，形成一個在視網(wǎng)膜上的兩個位置的差異，它反映了客觀場景的深度。雙目視差對于人能夠感知深度，是一個非常重要的因素，大腦區(qū)域融合后，形成立體視覺，雙目視差的大小由雙眼視差角的大小決定。

視覺經(jīng)驗(yàn)和視覺記憶可體現(xiàn)為心理立體視覺。在觀看影像時，根據(jù)影像內(nèi)容可判斷影像上各個人物、物體之間的距離關(guān)系，其中陰影、遮擋、結(jié)構(gòu)級差和幾何透視等因素是構(gòu)成心理立體視覺的主要因素。

觀看者的視覺記憶、視覺經(jīng)驗(yàn)、眼睛結(jié)構(gòu)和用眼習(xí)慣是影響生理立體視覺和心理立體視覺的許多因素中的關(guān)鍵，但只有雙眼視差與立體影像有直接關(guān)系。故立體影像中的雙眼視差信息是影響人眼立體視覺的主要外界因素。

圖1中，當(dāng)雙眼注視M 點(diǎn)時，設(shè)晶狀體的中心為 o1和 o2，m1和 m2為兩視網(wǎng)膜的中央凹[10]，假設(shè)視網(wǎng)膜上有兩點(diǎn)p1和p2處于相應(yīng)位置，即∠p1o1m1=∠p2o2m2，那么其對應(yīng)點(diǎn)P雙眼視差消失。經(jīng)過幾何證明可知，所有P點(diǎn)的軌跡是一個通過o1、M 和o2的圓。這個圓稱為全息圓，在該圓上的所有點(diǎn)雙眼視差為零。

圖1 兩眼觀看物體示例

全息圓以外的點(diǎn)，如 Q點(diǎn)，在兩視網(wǎng)膜上的對應(yīng)位置不同，可以感覺得到雙眼視差的存在，并可以識別其距離上存在的差別。

設(shè)點(diǎn)M和點(diǎn)Q到眼的距離為dM和dQ，可令δ =dQ－dM，一般情況下δ ＜＜ dM，所以簡單的幾何證明可得Q點(diǎn)在視網(wǎng)膜上的相應(yīng)位置的偏差為：

Δθ 的大小直接反映人眼對兩物體相對距離大小的感知；即當(dāng)Δθ小時，人眼感到兩物體間的相對距離小，反之亦然。深度視銳是指當(dāng)兩物體間的相對距離小到一定程度，人眼剛能感覺到兩物體有距離差別時的Δθ。通常30 " ～ 60 "為人眼的深度視銳，訓(xùn)練過后可達(dá)到5" ～ 10" ，當(dāng)深度視銳為10" 時，能感覺到的最小距離差為：

雙眼視差信息是深度感的最重要線索，特別是對于中等視距。雙眼視差可以同任何視覺經(jīng)驗(yàn)無關(guān)，它對立體視覺的貢獻(xiàn)最大。

4 基于視差與分層渲染的立體顯示效果評價(jià)方法研究

自由立體顯示技術(shù)的發(fā)展離不開評價(jià)標(biāo)準(zhǔn)與評價(jià)方法的支持，立體視差感知、視覺疲勞等主觀因素都與立體顯示有密切的聯(lián)系，故人的主觀參與對解決自由立體顯示質(zhì)量效果評價(jià)方法非常重要。現(xiàn)在，大部分立體顯示效果評價(jià)方法的參考標(biāo)準(zhǔn)都是基于人眼的，但由于人自身受外在環(huán)境差異的影響，不同觀者對同一視覺信息的評定存在差別[11]。如果想得到定量的評價(jià)體系研究成果，在現(xiàn)有的技術(shù)條件下，通過試驗(yàn)很難獲取，故為了探尋可用于定性分析立體顯示效果的評價(jià)方法，本文在前述人類自身因素的研究成果基礎(chǔ)之上，采用定性研究的方法，依據(jù)視差進(jìn)行研究。

研究及應(yīng)用三維立體視覺質(zhì)量的關(guān)鍵性問題是立體顯示視差估計(jì)，這種方法主要運(yùn)用基于圖像特征的視差估計(jì)，采用灰度變換法和差分算子[12]對自由立體顯示圖像做變換、特征匹配與融合，并進(jìn)行立體圖像特征點(diǎn)的提取、特征匹配和融合的研究，再得到三維視圖均衡化直方圖。從采用匹配基元的不同可以把視差估計(jì)方法分為兩種類型[13]：基于區(qū)域的方法和基于特征的方法。本文先得到視圖均衡化直方圖，然后再進(jìn)行分層渲染[14]，從而可以分析視圖的立體顯示效果。下面是具體的實(shí)驗(yàn)用圖及分析，其中原圖見圖2 。

圖2 原圖

采用直方圖均衡化調(diào)整后得到圖3 。

圖3 直方圖均衡化調(diào)整

進(jìn)行分層渲染，如圖4所示。

圖4 分層渲染

再經(jīng)過視差柵欄，可以得到圖5的示意圖像。

圖5 基于視差與渲染示意圖

最終觀察者可以看到的效果見圖6。

圖6 實(shí)驗(yàn)效果圖

通過實(shí)驗(yàn)可知，基于直方圖均衡化調(diào)整的顏色與紋理的綜合特征，再通過分層渲染，可以得到比較好的3D立體顯示效果。這個實(shí)驗(yàn)比較直觀，無需分哪些光線是左眼的，哪些是右眼的，而且速度相對較快。通過測試發(fā)現(xiàn)立體度基本達(dá)到所需標(biāo)準(zhǔn)，實(shí)際使用中，在合適的位置，看到立體圖像重影的概率非常小，自由立體顯示效果相對較好。

5 結(jié)束語

本文在充分分析國內(nèi)外立體顯示評價(jià)方法的基礎(chǔ)上，提出了利用視差和分層渲染的方法進(jìn)行立體顯示效果的評價(jià)。今后的實(shí)驗(yàn)研究中，筆者認(rèn)為應(yīng)著重從人的角度出發(fā)來評價(jià)自由立體顯示器的立體顯示效果，其中要充分考慮觀察者對自由立體顯示的多項(xiàng)反映等因素，如視覺疲勞問題等，即不僅從自由立體顯示器本身，還要注重人的視覺疲勞等不舒適的立體感覺方面進(jìn)行綜合的測試與評價(jià)，這是得到全面的自由立體顯示效果的重要方法。從而促進(jìn)立體顯示技術(shù)的發(fā)展，研制出更加人性化、更接近于現(xiàn)實(shí)三維的立體顯示器。

近些年基于全息技術(shù)的自由立體顯示越來越受到更多研究者關(guān)注，它對于人們更好地了解自由立體顯示技術(shù)、增加觀察者的立體深度感、沉浸感和想象感有非常好的效果，有成為三維立體顯示主流的潛力，當(dāng)然它要真正應(yīng)用，還有很長的路要走。

[1]N A Dodgson.Time-Sequential Multiprojector Autostereoscopic 3D Display[J].Soc. Information Display,2000,11(8):169-176.

[2]大石嚴(yán),煙田豐彥,田村徹[日].顯示技術(shù)基礎(chǔ)[M].白玉林,王毓仁,譯.北京:科學(xué)出版社,2003.

[3]Woodgate G J,Ezra D,Harrold J,et al.Autostereoscopic 3D display systems with observer tracking[J]. Signal Processing:Image Communication,1998,14:131-145.

[4]Huang Wan-Jian,Tsai Chao-Hsu,Wang Nai-Yueh,et al.The fabrication of a novel projection screen for autostereoscopic display systems[A]. Proc SPIE(Vol 5291)[C]. 2004:285-292.

[5]劉克濱.基于視差的自由立體顯示效果評價(jià)研究[D].北京:北京郵電大學(xué),2010.

[6]梁發(fā)云,鄧善熙,楊永躍.裸眼立體顯示器效果評定方法研究[J].中國圖象圖形學(xué)報(bào),2007,12(8):1407-1411.

[7]侯春萍.平面圖像立體化技術(shù)的研究[D].天津:天津大學(xué)電子信息工程學(xué)院,1998.

[8]Julesz B. Binocular depth perception of computer generated pattens[J]. Bell System Technical Journal,1960,39(5):1125-1162.

[9]Hartley R. Multiple View Geometry in Computer Vision[M].2nd ed.England：Cambridge University Press,2003.

[10]Winkler S. Digital Video Quality Vision Models and Metrics[M]. Switzerland:John Wiley & Sons Ltd,2005.

[11]吳愛民.視覺心理學(xué)在計(jì)算機(jī)視覺中的應(yīng)用研究[D].北京:北京交通大學(xué),2006.

[12]莊天戈,趙俊,錢曉平.生物醫(yī)學(xué)圖像處理[M].上海:上海交通大學(xué),2007,6:110-130.

[13]陳佳坤,羅謙,曾玉林.一種用于立體圖像匹配的改進(jìn)稀疏匹配算法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2011,21(10): 111-117.

[14]Jonathan Marbach. Gpu acceleration of stereoscopic and multi-view rendering for virtual reality applications,In Proceedings of the 16th ACM Symposium on Virtual Reality Software and Technology,ACM,2009,103-110.