活態(tài)文化資源雙目立體視頻采集處理技術(shù)標(biāo)準(zhǔn)規(guī)范研究

任慧，蘇志斌，李華

(中國傳媒大學(xué)自動化系，北京100024)

1 概述

文化資源[1]是人類在社會發(fā)展過程中創(chuàng)造并借以進(jìn)一步從事文化生產(chǎn)和文化活動的各種精神產(chǎn)品的總和。它具有作為人的行為活動的動態(tài)性和傳承性，作為藝術(shù)、文化表達(dá)形式的創(chuàng)造性和獨(dú)特性，作為民間文化的群體性和地域性。從文化資源的展現(xiàn)形式上，可以將其分為靜態(tài)的物質(zhì)文化資源和動態(tài)的非物質(zhì)文化資源，即活態(tài)文化資源。受地域、影響力等因素的限制，很多寶貴的文化資源正逐步消逝，文化資源保護(hù)面臨緊迫形勢。結(jié)合數(shù)字化手段，利用雙目立體視頻采集處理技術(shù)，對文化的保護(hù)和傳承具有重要意義。但該技術(shù)在文化資源領(lǐng)域中，目前沒有統(tǒng)一的標(biāo)準(zhǔn)規(guī)范可參考，制定標(biāo)準(zhǔn)規(guī)范能對種類數(shù)量繁多的文化資源規(guī)范化數(shù)字處理帶來很大的便利，并能有效推動文化領(lǐng)域核心技術(shù)發(fā)展。為了更好的保存和再現(xiàn)活態(tài)文化的內(nèi)容，本文采用基于雙目立體視覺的立體視頻技術(shù)，對活態(tài)文化資源對象采集中涉及的關(guān)鍵技術(shù)進(jìn)行深入研究，并針對標(biāo)準(zhǔn)化的要求進(jìn)行相關(guān)規(guī)范的分析和說明。

2 雙目立體視頻采集對象及其采集要素

2.1 采集對象

根據(jù)文化資源自身的特點(diǎn)和雙目立體視頻采集處理技術(shù)要求，為了充分利用立體視頻的層次和立體感，展現(xiàn)資源對象的動態(tài)效果和文化形態(tài)，該技術(shù)應(yīng)更多的應(yīng)用于普通二維視頻所難以生動展現(xiàn)的場景。經(jīng)分析，雙目立體視頻采集對象需具備以下特點(diǎn)：(1)具有空間層次的場景。立體視頻能更好的展現(xiàn)空間關(guān)系，給觀眾臨場的視覺感受。(2)具有運(yùn)動的主體。立體視頻能對運(yùn)動主體進(jìn)行更生動的記錄和重放。

因此，適合用雙目立體視頻進(jìn)行采集記錄的文化資源包括以下幾類：(1)傳統(tǒng)音樂；(2)民間舞蹈；(3)傳統(tǒng)戲劇；(4)民間體育和雜技；(5)民俗活動；(6)傳統(tǒng)手工藝制作。

2.2 采集要素

采集要素是指能夠完整表現(xiàn)文化資源價(jià)值的構(gòu)成元素，如演出劇情、制作流程、關(guān)鍵動作、歷史價(jià)值性等。明確采集要素能夠更完善的表現(xiàn)資源價(jià)值，對資源對象的立體視頻采集有重要的指導(dǎo)意義。根據(jù)對象的不同采集要素略有差異，具體分類如表1所示：

表1 文化資源立體視頻采集要素

3 雙目立體視頻采集處理系統(tǒng)

雙目立體拍攝的基本原理是利用同型號同性能的雙攝像機(jī)或者雙鏡頭模擬人的雙眼，在一定條件下同時進(jìn)行拍攝記錄，經(jīng)處理后，在顯示端通過3D顯示技術(shù)控制左右眼分別接收各自圖像，從而得到立體效果[2]。系統(tǒng)構(gòu)成如圖1所示。

3.1 采集系統(tǒng)

立體視頻可采用水平支架式、垂直支架式、雙目一體式系統(tǒng)采集，性能比較如表2所示。

攝像機(jī)應(yīng)能夠以高清及以上分辨率方式對文化資源進(jìn)行真實(shí)的記錄，可根據(jù)需要和現(xiàn)場條件選擇其中一種或多種方式進(jìn)行。

立體視頻拍攝方法分為：兩攝像單元光軸平行拍攝的平行法和光軸交叉會聚的方法[3]。對于文化資源的采集，利用會聚法進(jìn)行拍攝，并在后期針對失真進(jìn)行校正更為合適[4]。

為了使立體圖像正確、可用，理論上應(yīng)使左右圖像不存在除了水平視差之外的任何誤差，但實(shí)際操作中很難完全消除誤差。但將其控制在一定范圍內(nèi)，設(shè)置合理的誤差容限，對雙目立體視頻的采集和處理有重要的指導(dǎo)意義。系統(tǒng)誤差應(yīng)滿足表3要求[5]。

圖1 雙目立體視頻采集處理系統(tǒng)構(gòu)成

圖2 出入屏視差角示意圖

3.2 監(jiān)控系統(tǒng)

現(xiàn)場監(jiān)控系統(tǒng)對于立體視頻的采集處理是十分必要的。可采用具有立體顯示功能的顯示器，如分光式顯示器，通過監(jiān)視器反饋數(shù)據(jù)和現(xiàn)場主觀評價(jià)來調(diào)整攝像機(jī)參數(shù)，從而獲得良好的立體視頻。技術(shù)要求如下：(1)立體顯示器應(yīng)支持高清及以上屏幕分辨率；(2)顯示器分離得到的左右眼圖像應(yīng)在亮度、對比度、色度上保持一致；(3)需佩戴相應(yīng)的分光式或快門式3D眼鏡，觀看距離為3倍顯示器屏幕高度；(4)顯示器閃爍頻率應(yīng)確保觀看時無閃爍；要求[6]：分光式240Hz，快門式120Hz。

3.3 后期系統(tǒng)

非線性編輯系統(tǒng)是專為音、視頻設(shè)計(jì)的數(shù)字視頻編輯器。由于立體視頻后期制作的特殊性，后期設(shè)備需選用具有3D立體功能的非線性編輯器(包括安裝3D立體插件的2D編輯系統(tǒng))，一方面能夠方便對雙路視頻進(jìn)行同步剪輯，一方面能夠?qū)σ暡睢⒄`差、匹配失調(diào)等影響3D效果的因素進(jìn)行調(diào)整，并完成3D字幕、特效的制作，輸出相應(yīng)格式的立體視頻文件。如：Sony Vegas Pro(11.0及以上版本)、EDIUS、Apple Final Cut Pro(加3D插件)等。

4 雙目立體視頻采集制作關(guān)鍵技術(shù)

4.1 機(jī)位設(shè)置和拍攝方式

在進(jìn)行立體視頻拍攝時，為充分表現(xiàn)空間層次和立體效果，并完整細(xì)致地捕獲文化資源采集要素，對不同資源對象，需對機(jī)位設(shè)置和相應(yīng)的攝像機(jī)組進(jìn)行詳細(xì)分類，如表4所示。

4.2 采集拍攝技術(shù)

采集技術(shù)總則是以主體為基準(zhǔn)進(jìn)行調(diào)焦，突出主體，合理組合景別，結(jié)合推、拉、搖、移、跟等拍攝技巧，保持鏡頭的畫框?qū)?zhǔn)采集對象，真實(shí)、完整地對采集對象及其采集要素進(jìn)行記錄。具體包括：場景設(shè)計(jì)、景別要求、立體拍攝用光和立體視頻采集技術(shù)要點(diǎn)等方面。

表2 立體視頻采集系統(tǒng)比較

表3 3D視頻拍攝誤差控制容限范圍

4.2.1 場景設(shè)計(jì)

立體視頻適合對有層次感的場景進(jìn)行記錄，避免拍攝如下場景：1、平板的背景，如天空，墻體，LED屏幕等；2、重復(fù)紋理的場景，如格子，柵欄等；3、光線不良的場景，如夜景，亮度不足較暗的環(huán)境；4、只能單眼看到圖像的場景，如從樹葉空隙中透過的陽光、光暈、鏡頭眩光、燈光的偏振、畫框邊緣主體等；5、被攝主體距離鏡頭過遠(yuǎn)的場景，如遠(yuǎn)處的山川，航拍鏡頭等；6、前景近而后景遠(yuǎn)等容易超視差的場景。

4.2.2 景別要求

遠(yuǎn)景，不適合進(jìn)行立體拍攝，無法表現(xiàn)出良好的空間層次感，但可作為背景；全景，應(yīng)合理利用以展現(xiàn)場景層次和完整的活動或者表演內(nèi)容；中景，可更好地表現(xiàn)人物身份、動作以及人物之間的相互關(guān)系，并且表現(xiàn)出出色的立體空間感；近景，可對資源文化要素中關(guān)鍵動作等細(xì)節(jié)進(jìn)行詳細(xì)記錄；特寫，易使對象扁平化，但可適當(dāng)使用以更細(xì)致的表現(xiàn)資源對象的關(guān)鍵動作。

表4 不同活態(tài)文化資源對象的機(jī)位設(shè)置及攝像機(jī)組的選擇

4.2.3 立體拍攝用光

立體視頻采集的用光原則是：使照明充足，畫面明亮，增加拍攝對象的輪廓光，柔化前景和后景的燈光，畫框邊緣少布點(diǎn)光，盡量減少拍攝過程中的光線變化。

4.2.4 立體視頻采集技術(shù)要點(diǎn)

1.立體視頻一般采集技術(shù)要點(diǎn)：

1)機(jī)位應(yīng)盡量靠近被攝主體。

2)攝像機(jī)運(yùn)動要保持良好的穩(wěn)定性，操作要慢，給予充分的視覺深度適應(yīng)時間。

3)拍攝角度應(yīng)在平攝的基礎(chǔ)上，對于全景、中景可適當(dāng)放低機(jī)位，表現(xiàn)視覺層次。

4)取景框四周應(yīng)留出一定的富余量供后期處理。

5)攝像機(jī)多采用廣角鏡頭，畫面大部分物體清晰，強(qiáng)化空間感。

6)避免大范圍推拉變焦，可采用拉鏡頭變焦，少用推鏡頭變焦。

7)攝像機(jī)焦點(diǎn)平面應(yīng)與會聚面盡量保持一致。當(dāng)需要通過焦點(diǎn)平面變化突出主體時，應(yīng)盡量使會聚面同時變化，或者對焦點(diǎn)變化的主體進(jìn)行入屏處理。

2.視差安全準(zhǔn)則

為了獲得舒適的立體圖像，需對立體圖像的視差進(jìn)行控制。Valyu研究認(rèn)為多數(shù)人能夠容忍的輻輳角，即圖2中|α-β|，|β-θ|，應(yīng)不大于1.6°，最大允許視差為人眼到屏幕距離的0.03倍[7]。3D國際財(cái)團(tuán)對視差安全規(guī)定：入屏?xí)r的縱深視差即S不能超過瞳孔間距65mm[8]，以小于50mm為佳，出屏?xí)r輻輳角不大于1°，大場面飛出時輻輳角不大于2°。

3.機(jī)位設(shè)置及深度信息表：

針對不同的采集對象、場景和機(jī)位分布，可通過編寫基于活態(tài)文化資源采集的機(jī)位設(shè)置及深度信息表，按該表對特定資源對象采集時的深度信息進(jìn)行記錄，便于拍攝時的統(tǒng)籌安排及后期的剪輯和調(diào)整。具體內(nèi)容如表5所示。

4.3 后期制作技術(shù)

基于圖像安全性和內(nèi)容完整性方面的考慮，活態(tài)文化資源立體視頻后期制作重點(diǎn)包括視頻剪輯、視差調(diào)整、誤差調(diào)整、畫面過渡、字幕制作幾個方面。

1.素材導(dǎo)入。通過添加命名等方式區(qū)分左右視頻軌道，避免出現(xiàn)左右混淆等情況。

2.素材剪輯。對素材進(jìn)行完整剪輯，注意時間軸的對齊，對于無法調(diào)整的畫面和冗余的畫面，在不影響對象內(nèi)容完整性的情況下，可適當(dāng)刪除。

3.視差調(diào)整。利用3D后期編輯器校正左右眼圖像的水平相關(guān)參數(shù)來調(diào)整視差。只對少數(shù)不合理的畫面進(jìn)行調(diào)整，且謹(jǐn)慎使用圖像的放大、平移、剪裁等手段。

4.誤差調(diào)整。可以一路圖像為基準(zhǔn)，對另一路圖像進(jìn)行位移、旋轉(zhuǎn)、縮放操作以及調(diào)整亮度、色度等參數(shù)來減少誤差。

5.畫面過渡。以立體舒適為原則，切換節(jié)奏要慢，每個鏡頭片段至少持續(xù)5-10秒；以硬切為主，兼用閃黑、漸隱等方式，保證一定的畫面過度時間；避免前后景別落差過大，避免前后鏡頭主體視差變化過大。

表5 立體深度表

6.字幕制作。疊加的字幕在位置上應(yīng)處屏幕中部或下方，在立體效果上應(yīng)處于畫面的最前方，但視差需在安全范圍內(nèi)。字幕可采用外掛的方式，或僅將其用于發(fā)布展示的片段。

7.配合立體顯示器，通過實(shí)時的主觀質(zhì)量評價(jià)反饋來控制視頻質(zhì)量，輔助素材制作。

5 雙目立體視頻數(shù)據(jù)處理

5.1 視頻元數(shù)據(jù)

文化資源數(shù)字化管理需考慮數(shù)據(jù)長期保存、發(fā)布服務(wù)和搜索需求。因此需要對視頻文件添加元數(shù)據(jù)描述信息便于數(shù)據(jù)管理。具體描述項(xiàng)和數(shù)據(jù)類型如表6所示。

5.2 視頻編碼和存儲

5.2.1 立體視頻編碼方式

本節(jié)對雙目立體視頻的編碼方式進(jìn)行了分析研究。目前常用的立體編碼方式有：基于幀兼容的編碼方式和基于多視點(diǎn)信源編碼方式。

1.基于幀兼容的編碼方式研究

幀兼容的原理是在立體視頻編碼前對其先進(jìn)行預(yù)處理操作，將兩路視頻拼接成一路符合2D高清電視標(biāo)準(zhǔn)格式的視頻。如表7所示。

表6 立體視頻基本元數(shù)據(jù)項(xiàng)

表7 幀兼容編碼方式及相關(guān)說明

該方法目前被廣泛應(yīng)用于國內(nèi)外開播運(yùn)行的3D電視系統(tǒng)中。而我國高清視頻格式采用隔行掃描制式，場頻為50Hz，幅型比為16：9，故宜采用Side-by-side(half)的拼接方式。

2.基于多視點(diǎn)信源編碼方式研究

基于視點(diǎn)相關(guān)性的信源編碼方式能提高壓縮效率。主要方式有[9]：1)Simulcast兩路視頻信號各自采用同方式編碼、存儲、傳輸，互不干擾；2)MRSC利用雙目抑制理論，大幅降低單視點(diǎn)分辨率，獲得良好立體效果；3)H.264 stereo SEI message基于H.264/AVC標(biāo)準(zhǔn)，將幀數(shù)據(jù)和兩視點(diǎn)關(guān)系數(shù)據(jù)一起壓縮并傳輸；4)MVP方法同H.264 stereo SEI message，但基于MPEG-2標(biāo)準(zhǔn)；5)SVC基于H.264/AVC，利用低質(zhì)量的子比特流視頻數(shù)據(jù)輔助預(yù)測高質(zhì)量數(shù)據(jù)；6)MVC基于H.264/AVC，利用相鄰視點(diǎn)圖像作為參考幀進(jìn)行視點(diǎn)間預(yù)測，視點(diǎn)數(shù)目可設(shè)為2[10]；7)V + D利用雙視點(diǎn)獲得深度信息，再壓縮傳送深度信息和單視點(diǎn)數(shù)據(jù)信息。

研究表明，Simulcast方式較符合活態(tài)文化資源雙目立體視頻壓縮存儲的需求[11]。

Side-by-side(half)方式和Simulcast方式兼容現(xiàn)有的二維視頻編碼技術(shù)。目前國際上主流的高清視頻壓縮編碼格式主要有MPEG-2、MPEG-4、H.264/AVC三種，應(yīng)根據(jù)數(shù)據(jù)的存儲要求選擇合適的編碼方式。

5.2.2 數(shù)據(jù)存儲方式

建立合理的數(shù)據(jù)存儲分類體系，對文化資源的存儲和管理有重要意義。根據(jù)數(shù)據(jù)應(yīng)用需求，將數(shù)據(jù)存儲分為兩個級別：1.長期保存級，要求視頻保持原始質(zhì)量或制作后輸出最高質(zhì)量，便于對象的長期存儲和再利用。可采用Simulcast方式對兩路視頻數(shù)據(jù)獨(dú)立編解碼，每路數(shù)據(jù)采用MPEG-2壓縮的AVI或MXF格式。2.發(fā)布展示級，要求視頻圖像質(zhì)量滿足電視播出、制作發(fā)行和網(wǎng)絡(luò)共享等需求。當(dāng)用于節(jié)目制作或者監(jiān)看時，采用Simulcast方式下MPEG-2編碼的AVI、MXF、WMV或MOV格式；當(dāng)用于電視播出時，可采用Side-by-side(half)方式下H.264編碼的AVI、MXF、WMV或MOV格式；當(dāng)用于網(wǎng)絡(luò)共享時，可采用Side-by-side(half)方式下H.264或MPEG-4編碼的WMV或MOV格式。

6 總結(jié)

本文對活態(tài)文化資源的雙目立體視頻采集處理技術(shù)進(jìn)行研究。根據(jù)文化資源的特點(diǎn)對采集對象、采集要素進(jìn)行了詳細(xì)的分類，對采集處理系統(tǒng)構(gòu)成、采集技術(shù)、數(shù)據(jù)處理等方面進(jìn)行標(biāo)準(zhǔn)化研究，并提出了活態(tài)文化資源雙目立體視頻采集處理技術(shù)標(biāo)準(zhǔn)規(guī)范方案。本文的研究有助于相關(guān)標(biāo)準(zhǔn)規(guī)范的制定，能夠更好的對我國寶貴的文化資源進(jìn)行記錄和保存，有利于推動文化資源數(shù)字化領(lǐng)域核心技術(shù)的發(fā)展。

[1]牛淑萍.文化資源學(xué)[M].福州：福建人民出版社，2012.

[2]Ozaktas H M，Onural L. Three-dimensional television capture，transmission，display[M].USA：Springer，2007.

[3]韓偉.3D圖像技術(shù)基礎(chǔ)與應(yīng)用(4)：兩眼式3D攝像機(jī)[J].有線電視技術(shù)，2012，(4).

[4]蘇志斌，李華，呂朝輝，任慧.活態(tài)文化資源雙目立體視頻采集系統(tǒng)研究[J].中國傳媒大學(xué)學(xué)報(bào)(自然科學(xué)版)，2012，19(4)：46-53.

[5]廣電總局科技司.3D電視技術(shù)指導(dǎo)意見—節(jié)目制作播出[Z].2011.

[6]范科峰，路程，張素兵.3D顯示技術(shù)、標(biāo)準(zhǔn)與應(yīng)用[M].北京：電子工業(yè)出版社，2013.

[7]劉然.基于計(jì)算機(jī)立體視覺的雙目立體成像研究[D].重慶：重慶大學(xué)，2007.

[8]韓偉.3D立體圖像與立體攝像的基理[J].有線電視技術(shù)，2010，(9)：50-56.

[9]Minoli D.3DTV Content Capture，Encoding and Transmission：Building the Transport Infrastructure for Commercial Services [M].Hoboken，New Jersey：John Wiley & Sons Inc，2010：47-69.

[10]Vetro A，Pandit P，Kimata H ，et al. Joint draft 8 of multiview video coding[R].Hannover，Germany：Joint Video Team(JVT)，2008.

[11]李華，蘇志斌，任慧. 活態(tài)文化資源雙目立體視頻存儲技術(shù)研究[J]. 中國傳媒大學(xué)學(xué)報(bào)(自然科學(xué)版)，2013，20(4)：66-70.