立體電視視頻質(zhì)量影響因素分析

成于慶，姜秀華

（中國傳媒大學(xué) 信息工程學(xué)院，北京 100024）

0 引言

立體電視（Stereoscopic Television）又稱三維電視（Three Dimension Television，3DTV），是數(shù)字電視和新媒體領(lǐng)域的一大熱點。與現(xiàn)行電視相比，主要區(qū)別在于現(xiàn)行電視只傳送一個平面的信息，而立體電視還傳送物體的深度信息。立體電視在一個平面內(nèi)使人們可直接看到三維立體圖，畫中事物既可以凸出于畫面之外，也可以深藏其中，給人身臨其境的感覺，有很高的藝術(shù)欣賞價值。立體電視視頻的質(zhì)量直接影響著立體電視技術(shù)的發(fā)展。目前關(guān)于立體電視視頻質(zhì)量評價缺乏科學(xué)體系和行業(yè)統(tǒng)一的測定標(biāo)準(zhǔn)，國內(nèi)外很多學(xué)者已經(jīng)開始關(guān)注研究。筆者基于目前各方提出的測定標(biāo)準(zhǔn)，從立體電視技術(shù)鏈的角度，歸納出可能影響立體電視視頻質(zhì)量的各個因素，以及對視頻質(zhì)量的具體影響表現(xiàn)。

1 立體電視基本原理

人的視覺特性和電視的電光轉(zhuǎn)換成像原理是立體電視的2個最基本的依據(jù)，2個稍有差別的圖像進(jìn)入相距6～7 cm的雙眼后，由于雙目視差的存在，在大腦中綜合成有立體感的圖像。引起這種立體感覺的效應(yīng)叫做“視覺位移”。兩眼同時觀察一個物體時，物體上每一點對兩只眼睛都有一個張角。物體離雙眼越近，其上每一點對雙眼的張角越大，視差位移也越大。

對于平面圖像序列，由于進(jìn)入眼睛的是一幅幅角度完全相同的圖像，所以視覺和大腦無法提取畫面上物體真實意義上的空間立體感，不能體現(xiàn)其三維關(guān)系。而立體圖像與平面圖像有著本質(zhì)的區(qū)別，平面圖像反映了物體上下、左右二維關(guān)系。人們看到的一些平面圖也有立體感，這主要是運(yùn)用光影、虛實、明暗對比來體現(xiàn)的，而真正的立體畫是模擬人眼看世界的原理，利用光學(xué)折射制作出來，它可以使眼睛感觀上看到物體的上下、左右、前后三維關(guān)系，是真正視覺意義上的立體畫。

Julesz曾經(jīng)就利用隨機(jī)點圖證明雙眼視差可以同任何視覺經(jīng)驗無關(guān)[1]。后人據(jù)此建立了基于雙眼視差的立體視頻質(zhì)量客觀評價的模型。

2 立體電視視頻質(zhì)量影響因素

從立體電視技術(shù)鏈的角度分析，一個完整的立體電視系統(tǒng)主要由采集制作、發(fā)端壓縮編碼、信號傳輸、收端硬件解碼和立體顯示這5大環(huán)節(jié)組成[2]，如圖1所示。最后觀眾通過佩戴立體眼鏡或者裸眼方式看到立體視頻。每個環(huán)節(jié)都可能造成視頻質(zhì)量不同程度的損傷，影響最后的立體效果。

2.1 采集制作對立體視頻質(zhì)量的影響

立體視頻質(zhì)量的好壞很大程度上取決于前端立體視頻信號源的質(zhì)量。首先考慮立體視頻內(nèi)容的獲取途徑。總的來說，途徑可分為3大類：立體拍攝、立體動畫制作以及2D轉(zhuǎn)3D視頻方法，如圖2所示。

2.1.1 立體拍攝

立體拍攝方法有多種：

1）使用三維掃描儀刻畫出相機(jī)到場景中每一個物體像素點的物理距離，深度信息刻畫非常精確。但是其價格昂貴，掃描時間長，只能掃描靜態(tài)物體，不能進(jìn)行動態(tài)場地的三維掃描，掃描場景區(qū)域有限，因此不具備普適性。

2）使用深度相機(jī)，同樣也能獲取場景中的三維信息，但是因為深度相機(jī)較多地采用紅外線方式進(jìn)行深度測量，如果發(fā)射出去的射線經(jīng)過了若干個面的反射，比如反射到墻上，墻反射到地上，地又反射到桌子上，然后反射回接收器，深度計算就會產(chǎn)生比較大的偏差，因此精度比較低，產(chǎn)生的立體畫面質(zhì)量比較差。

3）使用多相機(jī)拍攝系統(tǒng)。雙目采集通過2個攝像頭模擬人的雙眼，方便得到場景跟人眼匹配的立體信息。但是缺點在于：首先2個攝像鏡頭不可調(diào)整，其次只有2個視點，用戶無法選擇新的視點觀看場景，即缺乏交互功能。多目采集正好彌補(bǔ)了這些缺點，但攝像機(jī)數(shù)量多，攜帶不便，數(shù)據(jù)量非常大，壓縮起來困難。清華大學(xué)建立了一個環(huán)形的光場采集系統(tǒng)，在籠子里鋪上一圈攝像機(jī)，配不同的光照，采集過程中實現(xiàn)變光照，然后多相機(jī)多角度采集。當(dāng)然，這個系統(tǒng)攝像機(jī)數(shù)量多，數(shù)據(jù)量也非常大，而且采集過程中光照不停變化，分析數(shù)據(jù)特性比較困難。Ijsselsteijn等人專門研究了拍攝機(jī)器參數(shù)變化對立體圖像質(zhì)量的影響，對3D電視系統(tǒng)數(shù)據(jù)采集的攝像機(jī)參數(shù)優(yōu)化有指導(dǎo)意義[3]。用多相機(jī)模擬系統(tǒng)代替人眼拍攝立體視頻存在2個問題。首先，人眼具有快速的視線聚合距離調(diào)整功能，模擬系統(tǒng)附加自動控制裝置模擬這些人眼的細(xì)微運(yùn)動比較困難。其次，多臺攝像機(jī)的曝光、鏡頭縮放和聚焦控制必須做到同步，否則會存在stonekey，crosstalk等扭曲效應(yīng)[4]。圖3為立體拍攝設(shè)備實物舉例。

2.1.2 立體動畫制作

計算機(jī)制作生成三維動畫的軟件非常多，如3ds Max，Maya等。這方面對立體視頻源質(zhì)量不在討論范圍內(nèi)。

2.1.3 2D轉(zhuǎn)3D

目前通過2D轉(zhuǎn)3D技術(shù)獲得的立體視頻質(zhì)量普遍不高。2D轉(zhuǎn)3D方式首先使用普通攝像機(jī)拍攝立體環(huán)境，通過光線透過鏡頭在CCD成像面上得到二維圖像，通過二維信息換算或者反算回原有的三維信息，在視覺上是一種求解過程，但未知變量個數(shù)遠(yuǎn)遠(yuǎn)大于所能建立起來的方程數(shù)，因此解非常多。正因如此，最終恢復(fù)出來的三維場景的結(jié)果只能是一個近似結(jié)果，不可能還原成真實的三維場景。此外，還有一個問題，因為變量個數(shù)很多，方程個數(shù)同樣很多，整個求解復(fù)雜度非常高，導(dǎo)致立體效果較差。

2.2 編解碼對立體視頻質(zhì)量的影響

立體電視的拍攝制作都是在保持左眼信號與右眼信號分離與獨立的情況下進(jìn)行的，不進(jìn)行混合與碼流壓縮，保持2個信號的高質(zhì)量，一旦完成制作，就要根據(jù)應(yīng)用考慮下一步的處理。

現(xiàn)行電視只傳送一個平面的信息，而立體視頻還需傳送深度信息，立體視頻要拍攝左右眼2路視頻。這種逼真感的直接代價就是2倍甚至更多于普通視頻的數(shù)據(jù)量，這給立體視頻的傳輸和存儲帶來困難，所以必須借助于高效的編碼技術(shù)壓縮數(shù)據(jù)量。

目前立體視頻壓縮編碼方法主要有基于視差估計的編碼、多視點視頻編碼和三維網(wǎng)格編碼3種技術(shù)[5]。基于視差估計的編碼是尋找各視點圖像間的空域相關(guān)性，但重建的目標(biāo)圖像塊效應(yīng)比較嚴(yán)重。多視點視頻由放置于不同位置的攝像機(jī)對同一場景同步拍攝獲取的多個視頻序列構(gòu)成，用戶觀看時可改變視點或視角。同一個場景內(nèi)多個視點的畫面之間存在很高的相關(guān)性，編碼時通過消除空間冗余和時間冗余壓縮數(shù)據(jù)量，但由于不同視頻有其基于內(nèi)容的特殊性，壓縮方式不一定適用于所有內(nèi)容的立體視頻。三維網(wǎng)格用于描述三維場景、人臉部表情和身體動作的變化，通過三維建模軟件和三維掃描獲取三維網(wǎng)格模型，數(shù)據(jù)量巨大，一般通過量化法向、紋理坐標(biāo)、顏色、頂點軌跡等屬性達(dá)到壓縮的目的，而量化造成了視頻質(zhì)量不可避免的下降[6]。

Stelmach等人研究了立體視頻編碼技術(shù)與主觀感知質(zhì)量間的關(guān)系。通過研究左右2視點在不同壓縮率和不同空間分辨力對立體圖像質(zhì)量的影響時發(fā)現(xiàn)，立體圖像質(zhì)量主要取決于質(zhì)量較高的圖像視點，這意味著只要保持主觀質(zhì)量較好的那個視點碼率不變，適當(dāng)降低另一個視點圖像的編碼碼率，不會影響立體圖像的主觀質(zhì)量[7]。

在研的編碼方法還包括多描述編碼（Multiple Description Coding）、信道自適應(yīng)編碼（Channel Adaptive Coding）以及多視點視頻編碼(Multiple Visual Coding)，不斷減小編碼環(huán)節(jié)對源視頻造成的損傷。

2.3 信道傳輸對立體視頻質(zhì)量的影響

立體信號的傳輸離不開目前的電視傳輸手段——有線傳輸、衛(wèi)星傳輸、地面?zhèn)鬏斠约靶屡d的互聯(lián)網(wǎng)傳輸（IPTV）。3D電視數(shù)據(jù)量巨大，傳輸帶寬加大，而且數(shù)據(jù)之間還有非常緊密的聯(lián)系，傳統(tǒng)傳輸技術(shù)面臨挑戰(zhàn)。

目前國際上立體電視主要是基于衛(wèi)星傳輸?shù)牧Ⅲw電視業(yè)務(wù)。為了讓已安裝機(jī)頂盒的用戶解碼立體信號，基于衛(wèi)星傳輸?shù)牧Ⅲw電視業(yè)務(wù)傳輸?shù)氖强臻g交錯的SBS（Side-by-Side）的半高清立體信號，需戴眼鏡觀看。SBS方式將每幀圖像一分為二，顯然這種方式以犧牲水平分解力為代價。與SBS相對應(yīng)的是up/down方式，減半垂直分解力，即每幀圖像在垂直方向上像素減半，減半的左右眼圖像合并成新的一幀，其碼流與SBS方式相當(dāng)，都造成清晰度下降。

新興的基于互聯(lián)網(wǎng)的立體視頻點播傳輸系統(tǒng)框架如圖4所示。在整個框架中，立體視頻點播服務(wù)端可以和多個客戶端相連，負(fù)責(zé)立體視頻數(shù)據(jù)的RTP封裝、發(fā)送，RTSP命令的響應(yīng)等，客戶端利用RTSP協(xié)議點播立體視頻節(jié)目，實現(xiàn)節(jié)目的播放、暫停、停止、隨機(jī)訪問等操作。網(wǎng)絡(luò)服務(wù)端利用網(wǎng)頁的方式發(fā)布節(jié)目，客戶端利用瀏覽器了解節(jié)目的相關(guān)信息并進(jìn)行點播。傳輸對視頻質(zhì)量造成的影響主要包括以下4點：

1）音視頻同步。當(dāng)聲音與顯示的視頻圖像不匹配時，稱為音視頻失同步，通常由于視頻鏈路傳送端和接收端之間的時鐘差異導(dǎo)致。如果通過IP網(wǎng)絡(luò)傳輸立體視頻信號，由于IP網(wǎng)絡(luò)與生俱來就是異步的，只能通過確保充足的網(wǎng)絡(luò)帶寬和不存在處理瓶頸（如路由器過載等會導(dǎo)致分組次序錯亂）加以解決。

2）丟包。丟包是IP視頻傳輸系統(tǒng)經(jīng)常發(fā)生的差錯之一，原因包括IP報頭破壞、鏈路過載、數(shù)量不足或網(wǎng)絡(luò)設(shè)備故障等。IP系統(tǒng)只能最大限度地降低丟包率，但對于偶爾發(fā)生的丟包現(xiàn)象很難避免。

3）分組抖動。當(dāng)組成視頻數(shù)據(jù)流的分組無法以一種平滑連續(xù)的方式到達(dá)時，就會產(chǎn)生分組抖動。對于時效性要求不高的數(shù)據(jù)，例如Web網(wǎng)頁，抖動無影響，但是對于實時的視音頻數(shù)據(jù)流而言，抖動的危害性很大。

4）誤碼。當(dāng)用戶接收的信號與最初發(fā)出的數(shù)據(jù)不同時，就出現(xiàn)了誤碼。不同的傳輸介質(zhì)（無線、光纖、同軸電纜、雙絞線等）導(dǎo)致誤碼出現(xiàn)的原因各不相同。一些差錯僅會影響到一個像素，無害；而多數(shù)差錯會影響到一連串的視頻幀，非常嚴(yán)重。由于誤碼趨向于隨機(jī)分布，沒有太好的方法預(yù)測。目前糾正誤碼的主要方法有差錯重傳、前向糾錯等。但差錯重傳會導(dǎo)致延時，前向糾錯會消耗額外帶寬，實際使用時還需綜合考慮[8]。

2.4 立體顯示對立體視頻質(zhì)量的影響

3D顯示是3D電視技術(shù)鏈中的最后一環(huán)，也是最影響終端用戶的一環(huán)。要顯示3D內(nèi)容，就要表示出每個點的深度或距離信息。3D顯示技術(shù)直接影響立體視頻清晰度、視場、深度、亮度、色度、對比度等各方面。

實現(xiàn)3D成像的方法有多種，設(shè)備上可分為液晶顯示器、等離子顯示器、投影儀以及新出現(xiàn)的手機(jī)等移動設(shè)備；技術(shù)上可分為眼鏡式3D和裸眼式3D技術(shù)2大類。表1分別對2大類立體顯示技術(shù)對立體視頻質(zhì)量的影響進(jìn)行了比較。

從表1中可看出，不同的顯示技術(shù)直接導(dǎo)致不同的立體顯示效果。雖然3種眼鏡式3D技術(shù)最終都將發(fā)展為更高一級的裸眼3D技術(shù)，但偏光式和主動快門式3D顯示技術(shù)成像效果好、技術(shù)成熟，是目前3D顯示的較好選擇。

2.5 其他因素對立體視頻質(zhì)量的影響

人類的立體視覺一般由心理立體視覺與生理立體視覺兩部分組成[9]。心理立體視覺是人通過觀察事物形成的一種立體視覺經(jīng)驗和視覺記憶，可以幫助人們觀看平面圖像時感覺到一定的深度信息。生理立體視覺是由人眼的晶狀體調(diào)節(jié)、雙眼會聚和雙眼視差等因素構(gòu)成的立體視覺，其中雙眼視差是人眼最強(qiáng)烈的生理立體視覺因素。但據(jù)統(tǒng)計，約有4%～6%的人由于先天或后天的原因，存在視差立體感視盲，看任何物體都是平面，沒有空間距離感和深淺度。進(jìn)一步估計，一般來說雙眼視力相差度數(shù)在250°以上，就可能成為“立體視覺異常”。這類人觀看立體電視時，立體感必然也會大打折扣[10]。此外，每個人由于個體的差異，雙眼視差有所不同，所看立體景深有出入，而拍攝攝像機(jī)的視差是固定的，這也會導(dǎo)致部分人觀看立體視頻時立體效果有所降低，或出現(xiàn)雙眼疲倦、身體不適感。

表1 立體顯示技術(shù)對立體視頻質(zhì)量的影響

3 結(jié)論與展望

影響立體視頻質(zhì)量的原因是多方面的，隨著技術(shù)的進(jìn)步，研究人員正在不斷采取新的方法，提高立體視頻質(zhì)量。

在編解碼方面，中國具備自主知識產(chǎn)權(quán)的第二代信源編碼標(biāo)準(zhǔn)AVS2定義了關(guān)于立體視頻編解碼的標(biāo)準(zhǔn)，支持深度編碼、場景編碼等新的立體視頻表示方法，并介入ISO/IEC MPEG的高效視頻編碼（HVC）的制定；國際上，藍(lán)光光盤協(xié)會制定的藍(lán)光3D標(biāo)準(zhǔn)采用了基于多視角視頻編碼（MVC）的3D視頻編碼技術(shù)，該技術(shù)是基于ITU H.264的AVC視頻編碼技術(shù)上的拓展，相比2D內(nèi)容，藍(lán)光3D標(biāo)準(zhǔn)使用的MPEG-4-MVC技術(shù)對左右眼畫面的數(shù)據(jù)進(jìn)行壓縮后數(shù)據(jù)增量大約為50%，能夠?qū)崿F(xiàn)與現(xiàn)有2D藍(lán)光播放機(jī)的全高清1 080p高分辨力的后向兼容性。

在傳輸方面，HDMI高清晰度多媒體接口協(xié)議標(biāo)準(zhǔn)在HDMI 1.4的基礎(chǔ)上，專門為3D立體影像傳輸進(jìn)行升級，改進(jìn)的1.4a版規(guī)范和對應(yīng)的兼容性測試標(biāo)準(zhǔn)（CTS）也已發(fā)布，通過改進(jìn)的HDMI接口可以在一根傳輸電纜內(nèi)傳送無壓縮的音頻信號及高分辨力的立體視頻信號。

在顯示方面，近日美國CES2011消費類電子展上出現(xiàn)了不少新型顯示器。Cinema 3D電視采用FPR（Film Patterned Retarder）技術(shù)，很好解決了主動快門式立體電視圖像模糊及閃爍問題。3D Light Boost技術(shù)采用液晶板表面薄型的薄膜，使3D影像的清晰度達(dá)到最大化。Cinema 3D電視同時配備Local Diming、微型像素控制以及支持減少運(yùn)動模糊的“Tru Motion 400 Hz”功能，極大提高了立體電視的顯示效果，液晶顯示器的響應(yīng)時間也得到縮減，這樣不但可使3D圖像更加清晰，還能減少鬼影現(xiàn)象，避免觀眾視覺疲勞[11]。多款新型主動快門式3D眼鏡重量越來越輕。其中一款用戶可以定做有度數(shù)的鏡片，方便了近視眼患者；另一款采用全新鏡架邊緣設(shè)計，鏡架連接于LCD鏡片上沿，為觀眾提供更大的畫面觀看范圍。

可以預(yù)見，隨著立體視頻技術(shù)的不斷進(jìn)步，立體視頻質(zhì)量將不斷提高，立體電視將成為今后一種新型主流的娛樂形式。

[1]JULESZ B.Binocular depth perception of computer-generated patterns[J].Bell System Technical Journal，1960，39（5）：1125-1162.

[2]李小蘭.立體電視編碼傳輸技術(shù)及業(yè)務(wù)實現(xiàn)[J].電視技術(shù)，2010，34（11）：4-9.

[3]IJSSELSTEIJN W，DE RIDDER H，VLIEGEN J.Subjective evaluation of stereoscopic images：effects of camera parameters and display duration[J].IEEE Trans.Circuits and Systems for Video Technology，2000，10（2）：225-233.

[4]WOODS A，DOCHERTY T，KOCH R.Image distortions in stereoscopic video systems[EB/OL].[2010-12-21].http：//www.andrewwoods3d.com/spie93pa.html.

[5]沈縈華，呂朝輝.3DTV中的編碼技術(shù)綜述[J].電視技術(shù)，2009，33（11）：28-30.

[6]DEERING M.Geometry compression[EB/OL].[2010-12-21].http：//citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.2.8941&rep=rep1&type=pdf.

[7]STELMACH L B，TAM W J.Stereoscopic image coding：effect of disparate image-quality in left-and right eye views[J].Signal Processing：Image Communication，1998，14：111-117.

[8]辛普森，格林菲爾.IPTV與網(wǎng)絡(luò)視頻：拓展廣播電視的應(yīng)用范圍[M].郎為民，集巧，譯.北京：機(jī)械工業(yè)出版社，2008.

[9]侯春萍.平面圖像立體化技術(shù)的研究[D].天津：天津大學(xué)，1998.

[10]孫延祿.3D影像顯示方法叢談[J].現(xiàn)代電影技術(shù)，2010（1）：49-53.

[11]美國2011電子消費展CES2011專題報告[EB/OL].[2010-12-21].http：//www.pconline.com.cn/zt/ces2011/datafamily/datafamilynews/1101/2314065.html.