活態(tài)文化資源雙目立體視頻存儲(chǔ)技術(shù)研究

李華，蘇志斌，任慧

(中國(guó)傳媒大學(xué)自動(dòng)化系，北京100024)

活態(tài)文化資源雙目立體視頻存儲(chǔ)技術(shù)研究

李華，蘇志斌，任慧

(中國(guó)傳媒大學(xué)自動(dòng)化系，北京100024)

活態(tài)文化資源是一種重要的人文資源，對(duì)其進(jìn)行合理的記錄和保存對(duì)文化的發(fā)展和傳承具有重要意義。本文重點(diǎn)對(duì)雙目立體視頻數(shù)據(jù)的存儲(chǔ)方式進(jìn)行分析和研究。實(shí)驗(yàn)表明，采用Simulcast方式對(duì)兩路視頻進(jìn)行存儲(chǔ)處理，生成兩路高清視頻文件能夠更好的保存我國(guó)寶貴的文化資源，同時(shí)推動(dòng)文化領(lǐng)域的核心技術(shù)發(fā)展。

活態(tài)文化資源；雙目立體視頻；存儲(chǔ)技術(shù)

1 概述

活態(tài)文化資源[1]是一種以人類行為活動(dòng)為主體的非物質(zhì)文化遺產(chǎn)，是人類生存和發(fā)展的寶貴財(cái)富，其主要特征包括：作為人的行為活動(dòng)的動(dòng)態(tài)性和傳承性，作為藝術(shù)、文化表達(dá)形式的創(chuàng)造性和獨(dú)特性，作為民間文化的群體性和地域性[2]。典型的活態(tài)文化資源有民族舞蹈、戲曲、婚慶、祭祀和傳統(tǒng)手工藝制作等。由于受各種因素影響，很多寶貴的文化資源正逐漸消失。對(duì)這種不可再生資源進(jìn)行恰當(dāng)?shù)挠涗浐捅４妫瑢?duì)文化的發(fā)展和傳承具有重要意義。本文主要依托國(guó)家科技支撐計(jì)劃項(xiàng)目“文化資源數(shù)字化關(guān)鍵技術(shù)及應(yīng)用示范”的子課題“文化資源數(shù)字化采集、加工、支撐技術(shù)的研究”，重點(diǎn)對(duì)活態(tài)文化資源雙目立體視頻的存儲(chǔ)技術(shù)進(jìn)行研究，并通過(guò)實(shí)驗(yàn)選出合適的存儲(chǔ)方式對(duì)立體視頻數(shù)據(jù)進(jìn)行保存。

2 雙目立體視頻存儲(chǔ)方式分析和研究

雙目立體視頻數(shù)據(jù)是通過(guò)采用間距為65mm的單機(jī)雙鏡頭攝像機(jī)系統(tǒng)進(jìn)行拍攝所得，數(shù)據(jù)量較大。為了能夠在保證視頻質(zhì)量的同時(shí)降低數(shù)據(jù)量，本節(jié)對(duì)雙目立體視頻的存儲(chǔ)方式進(jìn)行了分析研究。

2.1 視頻存儲(chǔ)方式現(xiàn)狀分析

(1)Simulcast是對(duì)兩路視頻信號(hào)各自進(jìn)行處理，如圖1所示，都采用相同的編碼格式，各自存儲(chǔ)、傳輸，互不干擾，是典型的雙路存儲(chǔ)方式。這種方法完全利用現(xiàn)有的2D視頻編碼方法，處理簡(jiǎn)單。但是沒(méi)有利用兩個(gè)視點(diǎn)間的空間冗余，數(shù)據(jù)量大，編碼效率較低。

(2)MRSC(Mixed Resolution Stereo Coding)又稱為非對(duì)稱立體視頻編碼。與Simulcast類似，是對(duì)兩路信號(hào)各自壓縮處理，但該方法利用了雙目抑制理論，即當(dāng)一個(gè)視點(diǎn)圖像質(zhì)量大幅下降時(shí)，感知視頻質(zhì)量將取決于另一視點(diǎn)的全分辨率圖像質(zhì)量，對(duì)左右眼視頻采用不同質(zhì)量等級(jí)進(jìn)行編解碼。這種方式可以在降低比特率的同時(shí)，保證較好的立體視頻主觀質(zhì)量。

(3)H.264 stereo SEI message(Supplemental Enhancement Information)原理如圖2所示。該方法得到的壓縮比特流除包含幀數(shù)據(jù)外，還有兩視點(diǎn)的關(guān)系、視圖順序等附加信息。接收端通過(guò)檢測(cè)SEI message就可以立即識(shí)別出視頻縮放、去噪、彩色格式轉(zhuǎn)換等信息并進(jìn)行適當(dāng)?shù)奶幚?。它具有可靠有效的壓縮性能[4]。該方法通過(guò)H.264/AVC標(biāo)準(zhǔn)實(shí)現(xiàn)。

(4)MVP(MPEG-2 Multi-View Profile)這種方法類似于H.264 stereo SEI message，但它基于MPEG-2標(biāo)準(zhǔn)，通過(guò)MPEG-2實(shí)現(xiàn)。

圖1 simulcast和MRSC編碼方式

圖2 SEI和MVP編碼方式

(5)SVC(Scalable Video Coding)其高質(zhì)量視頻比特流中包含一個(gè)或多個(gè)較低空間分辨率、較低時(shí)間分辨率或者較低質(zhì)量的視頻信號(hào)編碼的子比特流。這些子比特流通常由較大比特流的包丟棄衍生出來(lái)。用較低分辨率的數(shù)據(jù)來(lái)預(yù)測(cè)高分辨率數(shù)據(jù)，從而降低高分辨率視頻的編碼比特率。該方法現(xiàn)作為H.264/MPEG-4 AVC標(biāo)準(zhǔn)的擴(kuò)展，通過(guò)H.264/AVC實(shí)現(xiàn)。

(6)MVC(Muti-view video coding)通常用于多視點(diǎn)視頻的編解碼，利用相鄰視點(diǎn)的圖像作為參考幀進(jìn)行視點(diǎn)間預(yù)測(cè)。MVC能夠有效的對(duì)從多個(gè)視點(diǎn)同時(shí)采集的視頻序列進(jìn)行編碼，并生成單路碼流。它是目前為止對(duì)多路視頻最高效的編碼方法。當(dāng)MVC用于雙目立體視頻時(shí)，其編碼效率同H.264/AVC stereo SEI message。該方法通過(guò)H.264/AVC標(biāo)準(zhǔn)實(shí)現(xiàn)。

(7)Video Plus Depth (V + D)利用普通視頻生成深度視頻，再將深度信息映射為8bit灰度圖輸出。歐洲ATTEST (Advanced Three Dimensional Television System Technologies)研究指出，深度信息碼流只需要彩色信號(hào)的20%，總碼率低，現(xiàn)行的2D接收器可以只解析Video信息而忽略Depth信息，兼容性好，但不能處理半透明物體和遮擋關(guān)系，且復(fù)雜度較高。

商人與文人——明末徽州書畫商王越石與鑒藏家的交往………………………………………………范金民（4）：112

2.2 雙目立體視頻存儲(chǔ)方式研究

本文的研究對(duì)象主要是項(xiàng)目組購(gòu)置單機(jī)雙鏡頭攝像機(jī)采集系統(tǒng)拍攝所得數(shù)據(jù)。對(duì)于活態(tài)文化資源雙目立體視頻的存儲(chǔ)，需要考慮以下幾個(gè)因素：1)該系統(tǒng)將左右視點(diǎn)視頻數(shù)據(jù)獨(dú)立存儲(chǔ)到兩張S×S卡上；2)雙路存儲(chǔ)所需的2D視頻壓縮技術(shù)已相當(dāng)成熟，而單路存儲(chǔ)的3D壓縮技術(shù)還有待進(jìn)一步的發(fā)展；3)視頻數(shù)據(jù)作為珍貴資料保存，并用于今后的各項(xiàng)研究，需要更好的后向兼容性；4)壓縮無(wú)實(shí)時(shí)性要求；5)目前的3D顯示技術(shù)使觀眾實(shí)際看到的畫面比輸出視頻損失了一半分辨率；6)單路方式在生成一路碼流時(shí)已經(jīng)損失了不可恢復(fù)的額外數(shù)據(jù)。所以，本文重點(diǎn)對(duì)以Simulcast和MRSC為主的雙路存儲(chǔ)方式進(jìn)行分析研究。

Simulcast方式在編碼前后對(duì)圖像不做任何額外處理，兩路視頻采用相同的圖像分辨率、編碼方法進(jìn)行編解碼并存儲(chǔ)。MRSC方式是先對(duì)一路(如左視點(diǎn))圖像進(jìn)行水平和垂直方向像素各進(jìn)行1/2的下采樣，得到的圖像分辨率為原來(lái)的1/4，另一路(如右視點(diǎn))圖像不做額外處理，然后再對(duì)兩路視頻采用相同的編碼方法進(jìn)行編解碼并存儲(chǔ)。若將采集到的兩路參數(shù)相同的原視頻左視點(diǎn)僅經(jīng)過(guò)下采樣、上采樣直接送入播放器，其效果遠(yuǎn)差于Simulcast方式，但是如果在總比特率一定的情況下，左視點(diǎn)視頻經(jīng)下采樣，再在編碼時(shí)控制其所占比特率，并且在解碼后將其圖像進(jìn)行上采樣后再送入播放器，則可以獲得較好的立體視頻綜合質(zhì)量[5]。

3 雙目立體視頻存儲(chǔ)方式質(zhì)量評(píng)價(jià)

為了更清晰直觀的分析Simulcast和MRSC兩種方式在雙目立體視頻存儲(chǔ)方式上的優(yōu)缺點(diǎn)，本文分別采用了客觀和主觀質(zhì)量評(píng)價(jià)的方式對(duì)存儲(chǔ)結(jié)果進(jìn)行分析。

3.1 客觀質(zhì)量評(píng)價(jià)方法

為了更直觀的得到兩種方式的左右視點(diǎn)綜合客觀質(zhì)量結(jié)果，本文采用兩視點(diǎn)的總峰值信噪比TPSNR(Total Peak Signal to Noise Ratio)來(lái)衡量客觀質(zhì)量[6]。計(jì)算公式如下：

其中：

AMSE(Average Mean Square Error)為左右視點(diǎn)的原圖像和經(jīng)壓縮解壓后圖像的均方誤差平均值。

3.2 觀質(zhì)量評(píng)價(jià)方法

目前比較常用的主觀評(píng)價(jià)方法是雙激勵(lì)連續(xù)質(zhì)量標(biāo)度法DSCQS (Double Stimulus Continuous Quality Scale)[7]。該方法要求觀察者觀看多組由參考序列和測(cè)試序列組成的視頻對(duì)，在每組序列觀看兩次或多次后，對(duì)組中的參考序列和測(cè)試序列質(zhì)量分別進(jìn)行打分。參考序列和測(cè)試序列隨機(jī)播放，序列播放及打分時(shí)間安排如圖3所示，其中T1=T3=10s，T2=3s，T4=5-11s。評(píng)分表如圖4所示，采用5分制連續(xù)評(píng)分準(zhǔn)則，以避免打分時(shí)的量化誤差。打分時(shí)要求觀察者要綜合考慮雙目立體視頻的深度感覺(jué)、立體感、舒適度、視覺(jué)經(jīng)驗(yàn)等因素。

圖3 DSCQS法時(shí)間安排

圖4 DSCQS評(píng)分表

客觀質(zhì)量評(píng)價(jià)方法只能大體上反映出視頻質(zhì)量，其結(jié)果與主觀結(jié)果不一定一致，有一定局限性，但計(jì)算方便適于實(shí)際應(yīng)用。主觀評(píng)價(jià)是評(píng)價(jià)視頻質(zhì)量最直接、最有效的方法。立體視頻質(zhì)量需要綜合考慮立體感、舒適度等多種因素，雖然費(fèi)時(shí)費(fèi)力不便于在實(shí)際中廣泛應(yīng)用，但是考慮到本文實(shí)驗(yàn)結(jié)果的可用性，綜合采用了客觀和主觀兩種方法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。

4 實(shí)驗(yàn)和結(jié)果分析

本文以H.264編解碼方法為例對(duì)Simulcast和MRSC兩種存儲(chǔ)方式進(jìn)行了實(shí)驗(yàn)。采用了項(xiàng)目組購(gòu)置的雙目立體視頻采集系統(tǒng)拍攝所得數(shù)據(jù)，對(duì)多組視頻序列進(jìn)行客觀和主觀的測(cè)試。首先通過(guò)客觀實(shí)驗(yàn)結(jié)果確定兩種方式在相同總比特率條件下，左右視點(diǎn)各占多少比特率時(shí)能達(dá)到最佳的客觀效果，然后根據(jù)該結(jié)果播放相應(yīng)的立體視頻，并進(jìn)行主觀視頻質(zhì)量評(píng)價(jià)。

4.1 客觀實(shí)驗(yàn)和結(jié)果分析

文中列出了其中的3組測(cè)試序列的左視點(diǎn)圖像第一幀如圖5(a)、6(a)、7(a)。分別計(jì)算左視點(diǎn)所占總比特率的百分比從10%-90%時(shí)的多組序列對(duì)應(yīng)的TPSNR值，并以其為橫、縱坐標(biāo)畫曲線如圖5(b)、6(b)、7(b)所示。三組序列的總比特率分別為200kbit/s、600kbit/s、1200kbit/s。Simulcast方式使用的分辨率都為960×540，MRSC方式中各視點(diǎn)分辨率如下：bamboo：左視點(diǎn)480×270、右視點(diǎn)960×540；skateboard：左視點(diǎn)480×270，右視點(diǎn)960×540；taekwondo：左視點(diǎn)480×270，右視點(diǎn)960×540。

圖5(a) bamboo

圖5(b) bamboo-TPSNR

圖6(a) skateboard

圖6(b) skateboard-TPSNR

圖7(a) taekwondo

圖7(b) taekwondo-TPSNR

由實(shí)驗(yàn)結(jié)果可知，Simulcast方式下，左視頻比特率約占50%時(shí)TPSNR值最高，MRSC方式下，左視頻比特率分別占32%(skateboard)、35%(bamboo)和40%(taekwondo)時(shí)，相應(yīng)的視頻獲得最高的TPSNR值。MRSC方式的最優(yōu)左視點(diǎn)所占比特率沒(méi)有固定值，根據(jù)視頻而變化，但基本是在30%-40%。

4.2 主觀實(shí)驗(yàn)和結(jié)果分析

觀看時(shí)，使用Stereoscopic Player播放器，由10名志愿者戴上紅青眼鏡對(duì)以紅青方式顯示的立體視頻進(jìn)行觀看，并根據(jù)DSCQS方法，綜合考慮深度感覺(jué)、立體感、舒適度、視覺(jué)經(jīng)驗(yàn)等因素進(jìn)行打分。文中將Simulcast方式的視頻作為參考序列，編解碼時(shí)左視點(diǎn)約占總比特率的50%，MRSC方式的視頻作為測(cè)試序列，編解碼時(shí)使用的左視點(diǎn)比特率按照客觀實(shí)驗(yàn)結(jié)果所得的最優(yōu)和次優(yōu)比例進(jìn)行，以進(jìn)一步評(píng)價(jià)。具體參數(shù)如表1所示。

DSCQS法得到的分?jǐn)?shù)表顯示為連續(xù)分?jǐn)?shù)。為了使平均分?jǐn)?shù)更直觀，在所有打分結(jié)束后，對(duì)較集中的分?jǐn)?shù)區(qū)間進(jìn)行量化、加和、取平均值，得到的評(píng)價(jià)結(jié)果如表2所示。

表1 待評(píng)價(jià)視頻參數(shù)

表2 主觀質(zhì)量評(píng)分結(jié)果

由實(shí)驗(yàn)結(jié)果可知，在一定條件下MRSC方式的主觀質(zhì)量略優(yōu)于Simulcast方式。MRSC方式立體視頻綜合質(zhì)量雖然取決于低質(zhì)量視點(diǎn)所占總比特率比例和總比特率，但是總體來(lái)說(shuō)，低質(zhì)量視點(diǎn)的最優(yōu)比例為30%-40%。

MRSC方式中有一路視頻因?yàn)椴捎盟胶痛怪狈较蛏系母?/2的下采樣，使該路視頻壓縮編碼所需處理的原始數(shù)據(jù)與原視頻相比降低了3/4。能在一定程度上減少總數(shù)據(jù)量。但是，該種方法在下采樣和上采樣過(guò)程中損失的數(shù)據(jù)是不可恢復(fù)的。Simulcast方式擁有較好的主觀質(zhì)量，雖然數(shù)據(jù)量略大，計(jì)算復(fù)雜度比MRSC方式略高[9]，但是該種方法所得的兩路視頻質(zhì)量完全沒(méi)有額外損失。

經(jīng)過(guò)以上對(duì)存儲(chǔ)方式的分析，并考慮到存儲(chǔ)和應(yīng)用等因素，我們最終得出Simulcast方式最符合活態(tài)文化資源雙目立體視頻壓縮存儲(chǔ)的需求。它的優(yōu)勢(shì)主要體現(xiàn)在以下幾個(gè)方面：1)對(duì)兩路視頻進(jìn)行單獨(dú)壓縮處理，不會(huì)損失額外的分辨率；2)兩路生成的都是高清文件，兩者可以互為備份；3)技術(shù)成熟、算法簡(jiǎn)單，完全兼容現(xiàn)有的2D設(shè)備；4)既能滿足3D觀看需求，又能得到高質(zhì)量的原始素材，從而方便進(jìn)行再加工和調(diào)整；5)視頻的主觀質(zhì)量好。

5 結(jié)論

本文根據(jù)活態(tài)文化資源立體視頻存儲(chǔ)需求，對(duì)雙目立體視頻的存儲(chǔ)方式進(jìn)行分析和研究，選用Simulcast方式對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)處理。這可以更好地保存我國(guó)寶貴的文化資源，同時(shí)推動(dòng)文化領(lǐng)域的核心技術(shù)發(fā)展。

[1]蘇志斌，李華，呂朝輝，任慧.活態(tài)文化資源雙目立體視頻采集系統(tǒng)研究[J].中國(guó)傳媒大學(xué)學(xué)報(bào)[2]自然科學(xué)版，2012，19(4)：46-53.

[2]牛淑萍.文化資源學(xué)[M].福州：福建人民出版社，2012，9.

[3]Minoli D.3DTV Content Capture，Encoding and Transmission：Building the Transport Infrastructure for Commercial Services [M].John Wiley & Sons Inc，Hoboken，New Jersey，2010：47-69.

[4]Sun S，Lei S.Stereo-view video coding using H.264 tools[J].Proc SPIE Int Soc Opt Eng，2005，5685：177-184.

[5]Brust H，Smolic A，Mueller K，Tech G，Wiegand T.Mixed resolution coding of stereoscopic video for Mobile devices[C].3DTV Conference： The True Vision - Capture，Transmission and Display of 3D Video，2009：1-4.

[6]Tech G，Brust H，Müller K，Aksay A，Bugdayci D.Development and optimization of coding algorithms for mobile 3DTV[R].Technical Report Mobile 3 DTV，2009.

[7]ITU-R Recommendation BT 500-11.Methodology for the subjective assessment of the quality of television pictures，2002.

ResearchonStereoscopicVideoStorageTechnologyforLivingCultureResources

LI Hua，SU Zhi-bin，REN Hui

(Department of Automation，Communication University of China，Beijing 100024)

Living culture resources are very important among kinds of human resources，so preserving them has great significance in the development and heritage of culture.Our research aims to find a proper storage format of stereoscopic video to record the data of living culture resources.Experiments showed that simulcast way can generate two HD video files with less lost of image quality.This research will benefit the storage of our country’s precious culture resources and promote the development of core technology in cultural field.

living culture resources； stereoscopic video；storage technology

2013-07-03

“十二五”國(guó)家科技支撐計(jì)劃重點(diǎn)項(xiàng)目(2012BAH01F00)

李華(1990- )，女(漢族)，安徽人，在讀碩士研究生。E-mail：ka_ka_li@163.com

TN949

A

1673-4793(2013)04-0066-06

(責(zé)任編輯：龍學(xué)鋒)