發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢(shì)*

張兆楊，安 平，張之江，沈禮權(quán)

（上海大學(xué)，上海 200072）

1 引言

從模擬電視到數(shù)字電視、從標(biāo)清電視到高清電視的變革已基本實(shí)現(xiàn)，不論是從企業(yè)的走向、市場(chǎng)的需求或技術(shù)上的可能性，下一代變革的目標(biāo)無(wú)疑是人們期望已久的三維（3D）立體視頻系統(tǒng)。目前千家萬(wàn)戶觀看的二維（2D）視頻平面顯示系統(tǒng)由于丟失了自然界中物體作為第三維的深度信息（景深），使人的視覺缺乏立體（深度）感而有與實(shí)際的自然場(chǎng)景不一致（失真）的感覺。這里介紹了3DTV的系統(tǒng)組成及其各種類型的立體圖像顯示方式和顯示器特點(diǎn)；對(duì)人們關(guān)注的觀看立體視頻圖像時(shí)會(huì)發(fā)生的視覺疲勞和不舒適感的成因作了較深入的分析，并提出了消除或改善的方法；最后，分析了今后的發(fā)展趨勢(shì)和有待解決的技術(shù)，并對(duì)各類3DTV進(jìn)入家庭的時(shí)間作了展望。

2 3DTV的系統(tǒng)組成

圖1是3DTV的系統(tǒng)框圖，由3D內(nèi)容獲取、編碼、傳輸、解碼合成和顯示5部分組成。其中由攝像子系統(tǒng)攝取3D場(chǎng)景，由編碼子系統(tǒng)將獲取的視頻信號(hào)去除冗余信息后編碼成便于傳輸?shù)囊曨l流，經(jīng)網(wǎng)絡(luò)傳輸后送入解碼/合成器，按照顯示端的要求重建視頻信號(hào)并分別送至不同類型的顯示器以顯示雙目立體圖像、多視立體圖像或二維平面圖像。

圖1 3DTV系統(tǒng)的組成框圖[1]

2.1 不同類型的3DTV系統(tǒng)

按照3D視頻獲取方法的不同，圖1包含了3種3DTV系統(tǒng)：

1）基于雙目的3DTV系統(tǒng)

圖1的最上端是傳統(tǒng)的雙目立體視頻系統(tǒng)，其3D場(chǎng)景的獲取是由光軸中心相距6.5 cm的相互平行的相同攝像機(jī)組成 （或由1部雙鏡頭3D立體攝像機(jī)構(gòu)成）。左、右兩路視頻經(jīng)立體視頻編碼壓縮成視頻流，經(jīng)傳輸后解碼復(fù)原成兩路視頻，再在顯示器中構(gòu)成與人的雙眼視覺對(duì)應(yīng)的稍有不同的兩幅圖，最后由大腦合成為有立體感的圖像。

2）基于多視的3DTV系統(tǒng)

多視3DTV系統(tǒng)由N個(gè)（N>3）攝像機(jī)陣列獲取3D場(chǎng)景，雖然N個(gè)攝像機(jī)型號(hào)相同，但其內(nèi)外參數(shù)很難完全一致，且由于N個(gè)攝像機(jī)空間位置不同，各自的光照也略有差異，因此需要在進(jìn)行攝像機(jī)幾何參數(shù)校正和亮度/色度補(bǔ)償?shù)阮A(yù)處理后，再將多路視頻信號(hào)經(jīng)多視視頻編碼（MVC）壓縮成視頻流。由于解碼后重構(gòu)的N個(gè)視（每一路視頻簡(jiǎn)稱為一個(gè)視）不一定適合某個(gè)觀眾在顯示屏前所在位置的觀看要求，且為提高顯示質(zhì)量，視頻解碼后需選擇一些合適的視經(jīng)繪制合成為符合需要的兩個(gè)視[2]。多視3DTV系統(tǒng)的優(yōu)點(diǎn)是在顯示屏前人能看到立體效果的視角（簡(jiǎn)稱立體視角）遠(yuǎn)比雙目3DTV系統(tǒng)要大，且便于應(yīng)用人眼跟蹤技術(shù)使人在屏前移動(dòng)時(shí)所觀看到的立體圖像也隨人的移動(dòng)而改變，從而提高真實(shí)感和臨場(chǎng)感。

3）2D轉(zhuǎn)3D的3DTV系統(tǒng)

由于目前的3D節(jié)目源甚少，也可由2D高清晰度視頻節(jié)目通過2D轉(zhuǎn)3D處理和后期制作形成的多視視頻送到多視視頻立體顯示器來(lái)播放富有很強(qiáng)縱深立體感的3D立體視頻節(jié)目。

2.2 與二維系統(tǒng)的兼容性

目前所有的家庭幾乎都已有了播放二維視頻圖像的電視機(jī)，若開播雙目或多視立體視頻節(jié)目，應(yīng)使現(xiàn)有的遍及每個(gè)家庭的電視機(jī)也能接收到3D立體節(jié)目 （盡管看到的仍是二維視頻圖像）。為實(shí)現(xiàn)此種后向兼容，在圖1中，無(wú)論是在立體視頻還是在多視視頻編碼中，基本視 （雙目視頻或多視視頻中作為參考視的1個(gè)視）應(yīng)沿用二維視頻的編碼標(biāo)準(zhǔn)（如H.264/AVC），這樣就可以由圖1中標(biāo)準(zhǔn)的2D視頻解碼器重建雙目或多視視頻中的基本視，提供給標(biāo)準(zhǔn)的2DTV。

3 立體圖像顯示方式和顯示器類型

3.1 立體顯示方式

可分為需佩戴立體眼鏡的立體顯示和用裸眼直接觀看的自動(dòng)立體顯示兩種方式。

1）佩戴立體眼鏡的顯示方式

2010年1月風(fēng)行全球的《阿凡達(dá)》立體影片和在美國(guó)拉斯維加斯消費(fèi)電子展上展出的大多數(shù)立體電視，都采用了佩戴立體眼鏡的立體顯示方式。

立體眼鏡分為偏振式、快門式和分色式3種：

（1）偏振式是指左、右眼分別使用極化方向相互垂直的偏振鏡片，其中一只眼用垂直偏振，另一只眼用水平偏振，顯示器投射相應(yīng)的偏振光，從而使雙眼分別看到左視和右視，由大腦融合為立體圖像。此種方式的缺點(diǎn)是人的頭部?jī)A斜時(shí)偏振鏡片難以濾掉與之正交的偏振光，使一個(gè)視的圖像漏到另一個(gè)視中，導(dǎo)致觀看者產(chǎn)生不舒適感。

（2）快門式是指所佩戴的眼鏡為液晶制成的快門眼鏡，加上一定電壓時(shí)可以改變液晶分子的排列來(lái)控制開關(guān)狀態(tài)，使得光線在一個(gè)鏡片受阻時(shí)在另一個(gè)鏡片通過，從而使雙眼分別看到左、右視。此種方式的缺點(diǎn)是若顯示器刷新頻率不夠高，會(huì)產(chǎn)生閃爍等不舒適感。

（3）分色式是指左、右眼戴的鏡片分別為紅光或藍(lán)光濾色片（也有使用其他顏色的），使得戴紅光濾色片的眼鏡只能看到紅色圖像，戴藍(lán)色濾色片的眼鏡只能看到藍(lán)色圖像，由此來(lái)使雙眼僅分別看到左視和右視。此種方式的缺點(diǎn)是彩色信息損失大，色調(diào)單一。

2） 自動(dòng)立體顯示方式

自動(dòng)立體顯示方式是指不戴立體眼鏡由人眼直接觀看的立體顯示方式，又被稱為自由立體顯示方式或裸眼立體顯示方式，常用的有視差柵欄式和柱透鏡光柵式：

（1）視差柵欄式的原理是利用視差擋板分光，在液晶顯示器的液晶層之前或之后安裝視差柵欄，將其分為擋光和透光兩部分，使得顯示屏上各像素交替顯示左、右眼對(duì)應(yīng)的圖像，令一幅經(jīng)過匹配處理的視差圖像分別投射到左、右眼，產(chǎn)生立體視覺。視差柵欄式的優(yōu)點(diǎn)是工藝結(jié)構(gòu)較簡(jiǎn)單，但由于被遮擋了約50%的光，因此顯示屏的亮度也損失了一半。

（2）柱透鏡光柵式是在顯示器內(nèi)部安裝一排垂直排列的柱面透鏡，利用每個(gè)柱透鏡對(duì)入射光的折射作用，把兩幅不同的視差圖像分別透射到對(duì)應(yīng)于雙眼的視域，使左圖像聚焦于觀看者左眼，右圖像聚焦于觀看者右眼，從而產(chǎn)生立體視覺。柱透鏡光柵式的優(yōu)點(diǎn)是由于沒有前述柵欄式那樣有50%的光遮擋的損失，使顯示屏的亮度幾乎超過視差柵欄式1倍，但其工藝要求高，每個(gè)透鏡的截面需達(dá)到微米級(jí)。

3.2 立體顯示器類型

立體圖像顯示器可分為單用戶立體顯示器和多用戶立體顯示器：

1）單用戶立體顯示器對(duì)應(yīng)于雙目立體視頻系統(tǒng)，雙目立體視頻由于只有兩個(gè)視，能顯示立體效果的區(qū)域范圍小，即立體視角小，一般適宜于單個(gè)觀眾觀看。這是因?yàn)槿舳嗳送瑫r(shí)觀看，有的觀眾會(huì)因其雙眼無(wú)法同時(shí)接收到視差圖像源而感受不到立體效果。

2）多用戶立體顯示器對(duì)應(yīng)于多視視頻系統(tǒng)，多視視頻是由N個(gè)（N＞3）攝像機(jī)從不同視角同時(shí)拍攝相同場(chǎng)景獲得的，可使多個(gè)觀眾在不同位置接收到不同的視差圖像源，即其立體視角寬，所以可供多個(gè)觀眾同時(shí)觀看。但是由于屏上要容納多對(duì)視差圖像源，立體顯示分辨力也就相應(yīng)降低。因此，要求顯示器自身的分辨力很高，且使柱透鏡陣列適度傾斜，以便由垂直分辨力補(bǔ)償水平分辨力，相對(duì)提高立體圖像的清晰度。

4 立體圖像觀看的不舒適感及其解決方法

觀眾在屏前觀看立體視頻圖像時(shí)，常會(huì)感到頭暈?zāi)垦！⑿那闊┰晟踔翋盒牡纫曈X疲勞感和不舒適感，這會(huì)嚴(yán)重影響立體視頻的應(yīng)用和發(fā)展，如何克服這種缺陷成為當(dāng)前3D顯示研究的一個(gè)重點(diǎn)。日本經(jīng)濟(jì)產(chǎn)業(yè)省即將制定的立體電視標(biāo)準(zhǔn)就是以減輕或消除視覺不舒適感作為前提。

4.1 產(chǎn)生視覺不舒適感的原因之一：串?dāng)_

造成視覺不舒適的原因較多，且因人而異。主要的共性原因之一是：當(dāng)左圖像和右圖像因分離不完善使左（右）眼視圖漏進(jìn)了右（左）眼視圖而引起串?dāng)_。串?dāng)_會(huì)降低人眼把兩幅視圖融合為立體圖像的能力，常出現(xiàn)鬼影、重輪廓、形變、模糊等，且會(huì)隨著視差的增大（即立體感增強(qiáng)）而趨于嚴(yán)重。由于左、右視圖的不完善分離與立體顯示器的參數(shù)設(shè)置有關(guān)，可通過調(diào)整優(yōu)化顯示器的設(shè)計(jì)參數(shù)來(lái)降低串?dāng)_度。

4.2 產(chǎn)生視差不舒適感的原因之二：發(fā)散視差/負(fù)視差

在立體顯示器屏前人眼感受到的深度信息ZP與雙目視差H及觀看距離D相關(guān)[3]

式中：e為左右眼坐標(biāo)點(diǎn)間距。由式（1），可將視差分為如下4種：

1）零視差。當(dāng)ZP=D時(shí)，H=0，雙眼視線交于屏幕上一點(diǎn)P，如圖2a所示。

2） 正視差。 當(dāng) ZP＞D 時(shí)，0＜H＜e，左右眼投影在屏幕上的距離小于雙眼間距，雙眼視線在屏前不交叉，感覺P點(diǎn)在屏幕之后，如圖2b。正視差越大，圖像的縱深感越強(qiáng)。

3） 負(fù)視差。當(dāng)0＜ZP＜D時(shí)，H＜0。雙眼視線在屏前交叉，感覺P點(diǎn)位于屏前，如圖2c。負(fù)視差越大，立體圖像在屏前的凸出感越強(qiáng)，但會(huì)使人眼產(chǎn)生不舒適感。

4） 發(fā)散視差。 當(dāng) ZP＜0 時(shí)，H＞e，如圖 2d，屏上的成像點(diǎn)距離大于雙眼間距，雙眼視線在屏前和屏后都無(wú)交叉點(diǎn)，大腦無(wú)法將其融合為一點(diǎn)，這會(huì)使人眼產(chǎn)生極嚴(yán)重的不舒適感。

由上可知，設(shè)計(jì)立體顯示器時(shí)，要防止發(fā)散視差，也不宜為追求凸出感而增大負(fù)視差。

5 3DTV的發(fā)展趨勢(shì)及尚待解決的問題

3D視頻立體顯示系統(tǒng)除了可用于各種科學(xué)研究、航天航空、醫(yī)療、監(jiān)控、教學(xué)、軍事、藝術(shù)、博覽會(huì)、3D游戲、網(wǎng)上商場(chǎng)及網(wǎng)上旅游和文物展示等場(chǎng)合外，最受人們關(guān)心的是何時(shí)能走入家庭。

5.1 雙目立體視頻進(jìn)入家庭尚需解決的問題

戴立體眼鏡式的家用立體電視由于對(duì)目前家用電視機(jī)的改動(dòng)少，若預(yù)制節(jié)目以DVD為信號(hào)源，或者在發(fā)送端將一對(duì)視差圖像共用一條信道交替順序傳送，并在接收端相應(yīng)地將這對(duì)圖像輪流在屏上顯示，很快就可進(jìn)入家庭。

而不戴立體眼鏡的自動(dòng)立體顯示方式由于尚需在現(xiàn)有的電視機(jī)內(nèi)安裝如前文所說的柱透鏡光柵或視差柵欄（此技術(shù)相對(duì)已較成熟），以及通過光學(xué)視角倍增器來(lái)擴(kuò)大立體視角（尚在實(shí)驗(yàn)室階段），預(yù)期約3～5年也可進(jìn)入家庭。

5.2 多視3D立體視頻進(jìn)入家庭尚需解決的問題

5.2.1 限制多視視頻進(jìn)入家庭尚存在的主要問題

多視視頻及其顯示系統(tǒng)目前尚未解決的主要問題有兩個(gè)：一是其3D內(nèi)容的獲取是由N個(gè)完全一致的攝像機(jī)同步同時(shí)完成的，N個(gè)攝像機(jī)同步變焦、調(diào)焦、變光圈（各參數(shù)必須相同地同時(shí)改變）在技術(shù)上并不易行，有待發(fā)展一種完全自動(dòng)的、精確的基于多視的深度/視差獲取系統(tǒng)[4]；二是多視視頻巨大的數(shù)據(jù)量盡管經(jīng)MVC已有較大壓縮，但到3DTV廣播應(yīng)用尚有很大距離，進(jìn)一步優(yōu)化可對(duì)運(yùn)算復(fù)雜度作大幅度降低，但對(duì)傳輸比特率的壓縮卻是有限的，這就需要發(fā)展一種可根據(jù)人的頭部位置選擇少數(shù)視而以相當(dāng)?shù)偷膸拏鬏斠曨l流的結(jié)構(gòu)與方法[5]，以及為適配各用戶差異性終端而研發(fā)的自適應(yīng)可分級(jí)多視視頻編碼[6]方法。此外，3DTV廣播不僅在節(jié)目制作費(fèi)用上比二維HDTV昂貴，而且演播室設(shè)備還有相當(dāng)大的部分需要更新。因此，能夠進(jìn)入家庭的基于多視視頻的3D立體電視機(jī)預(yù)期還要等上10年或更長(zhǎng)一些時(shí)間。

5.2.2 目前多視視頻的應(yīng)用

多視3D立體視頻目前可應(yīng)用于商業(yè)廣告、各種展示會(huì)和博覽會(huì)。例如，在2009年上海國(guó)際工業(yè)博覽會(huì)和2010年上海世界博覽會(huì)上已展示和應(yīng)用了 “3D多視節(jié)目制作與立體顯示系統(tǒng)”。該系統(tǒng)是在上海市科委組織和資助下，于2009年8月由上海大學(xué)主持、與清華大學(xué)聯(lián)合研制成功的。圖3為其中的103 in（1 in=2.54 cm）多視立體圖像顯示器（右下角是19 in二維圖像顯示器）。

：

[1]OLIVER S，PETER K，THOMAS S.3D video communication[S].England：John Wiley&Sons Ltd.，2005：23.

[2]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術(shù)[J].電視技術(shù)，2010，34（1）：49-51.

[3]張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術(shù)[M].北京：科學(xué)出版社，2010.

[4]OZAKTAS H M.Three-dimensional television：capture，transmission，display[M].Berlin:Springer，2008：317.

[5]TEKALP A M，KURUTEPE E，CIVANLAR M R.3DTV over IP：endto-end streaming of multiview video[J].IEEE Signal Processing Magazine，2007，24（6）：77-87.

[6]SHIMUZU S，KITANARA M，KIMATA H，et al. View scalable multiview video coding using 3D warping with depth Map[J].IEEE Trans.Circuits System for Video Technology，2007，17（11）：1485-1495.