裸眼3D視頻技術與節目制作

◎ 國家新聞出版廣電總局廣播科學研究院 周 毅

裸眼3D視頻技術與節目制作

◎ 國家新聞出版廣電總局廣播科學研究院 周 毅

概述了主流3D格式和國際3D標準發展現狀，正在申請制定的下一代的3D（裸眼）/多視圖中國國家視頻標準覆蓋3D終端，2D到3D轉換軟件和轉換芯片（IC），以及3D內容制作和存儲等，在功能性和可用性上具備較大的優勢。隨后，較詳細地介紹了中國裸眼3D標準的三大檔次、技術優勢以及推進計劃，以期對3D國標的推進起到積極的作用。

裸眼3D；標準；格式

在視覺正常的情況下，人類看到的圖像都是立體的。但是受技術實現上的限制，電視、電影畫面從黑白到彩色，長時期只能顯示二維圖像，而技術發展的最終目標一定是實現與真實場景一樣的視像體驗。因此可以說，裸眼3D是3D研究發展的終極目標。從實現方式和手段上來講，就是“把眼鏡戴到終端顯示器上去”。

然而，任何科學創造的立體視像都是對自然圖像的恢復和重構，因此，必然有很多人為的痕跡，如何抹去這些痕跡，成為目前科研人員需要解決的重點問題。

主流3D格式

目前，業界被廣泛認知的3D格式主要有以下4種：H.264/AVC的多視圖視頻編碼（MVC）；采用Declipse格式的飛利浦圖像加深度圖（2D-plus-Depth/ 2D+Z）；杜比3D格式；2D plus Delta/ MVC（stereoscopic 3D）等。

目前，3D節目內容大都采用side-by-side方式傳輸，如果終端不支持3D，會在電視上同時出現兩幅畫面，不宜觀看。而2D+X的方式因為保留了2D格式的完整信息，可以向下兼容普通顯示設備的播放模式，更符合技術發展的規律。

1.2 D+Z

飛利浦圖像加深度圖（2D+Z）模式主要由主圖像和深度圖像兩部分組成，主圖像就是完整的2D節目源信息，即使終端設備不支持3D，也能通過解碼主圖像，直接播放節目內容，不會浪費頻道的資源。而立體電視的解碼器用主圖像加深度圖來生成兩視圖或者多視圖圖像，實現立體節目的顯示。目前，2D+Z是裸眼3D研究的主流，在ISO/IEC FDIS 23002-3:2007（E）中已被MPEG標準化為對于3D視頻信號的擴展。

2D+Z中的重點技術是Declipse格式，該格式中，每一幀都包含初始的2D圖像、對應每幀的深度圖、被前景對象覆蓋的背景區域和對應的深度圖4個部分（見圖1）。視頻幀中某些部分因為多視圖中前景物體的大量偏移而形成阻擋區，從而影響視頻質量。因此，這種格式可以為阻擋區提供更加精確的填充，從而提高潛在的視覺質量。

圖1 Declipse格式示例

2.杜比3D

杜比3D的方式采用了2D+Delta的方式，與2D+Z方式相比，Delta中除了深度信息還包括邊緣、彩色補償等信息，對于圖像恢復后的質量更有保證，同時也增加了圖像還原的難度（見圖2）。杜比3D的關鍵組件包括解碼器端的實時深度提取（自動轉換）和多視圖渲染，由用戶或自動的深度調整，立體（S3D）和祼眼立體（AS3D）顯示，以及2D到3D實時轉換。實驗顯示，當Delta占主圖像的35%～40%時，效果最好。

圖2 杜比3D原理示意圖

國際3D標準發展現狀

1.日本

由于日本還沒有統一的3D電視標準，各公司采用不同的標準來推廣3D電視。2007年12月，NHK（日本放送協會）采用自主開發的“MT”方式推出3D電視頻道BS11。索尼、松下、東芝等其他公司和美國公司RealD合作，采用RealD格式推廣3D電視[1]。

日前，日本經濟產業省決定制定相關3D影像標準，以使影像制作者不要制作過于強調立體感的圖像，并將向國際標準化組織提出建議，在全世界普及其標準。經濟產業省認為，只有建立起3D產業標準，其3D電視電影等相關產業才能得到進一步發展。此外，經濟產業省還準備采取援助企業進行3D產品開發，開設講座培養年輕人才等措施[2]。

2.韓國

韓國情報通信技術協會（韓國的標準化制定機構）目前已制定完成的3D標準如表1所示。

表1 韓國情報通信技術協會已制定完成的3D標準

日本、韓國、美國和歐洲的3D標準都在制定中，但重點不是顯示端，而在傳輸、壓縮和編碼方面。筆者所在的國家新聞出版廣電總局廣播科學研究院申請制定的3D標準，不僅兼容2D視頻和需佩戴輔助設備的3D視頻，還支持裸眼3D視頻的編碼、傳輸及顯示，在功能性和可用性上優于現存或正在制定的3D標準，可以滿足我國下一代3D標準的制定需求。

中國的裸眼3D標準

1.標準制定的必要性

目前的3D標準存在不足：無法向后兼容現存的視頻編碼標準；不能實現對深度信息和輔助信息的高效編碼；對2D+depth的渲染偽影較低；不能支持新用戶通過視圖合成和多視圖來體驗（3D效果）；不能支持不同的3D/多視圖顯示器和轉換內容。

2.裸眼3D新標準建議

標準旨在建立一套包括編碼、傳輸、解碼和顯示等部分的3D視頻標準，能夠支持多個視頻數據流，在傳統的2D視頻數據流上增加新的輔助信息，因此可以實現高效的3D制作及編碼。

標準不僅支持傳統的3D視頻（需佩戴輔助設備觀看），還支持最新的裸眼3D顯示技術，不僅方便了用戶，也可以帶給用戶全新的視覺體驗。標準在現有的基本視頻流上增加了多層輔助信息，可以在2D/3D數據流間自由切換，并向后兼容現存的2D TV/ HDTV。因此本標準可以通過現有的2D架構引入3D視頻，這在一定程度上降低了系統重構成本，也更容易被用戶接受。

3.新標準的概述

中國的裸眼3D標準提案主要分為基本、高級和下一代三大檔次（見圖3）。

圖3 中國裸眼3D標準提案路線圖

基本檔次：利用簡單的、初級的多視點模式進行三維重現，具有極低復雜度的2D到3D/多視圖轉換硬件，可以放大縮小并且具有自由視點。其優勢是終端負擔較小，運算較快，但是存在圖像效果較粗糙，三維可視角度較小等問題。

高級檔次：分為經濟模式和質量模式兩種（見圖4），與基本檔相比最大的特點是在圖像恢復前置入設備的“眼鏡”進行了連續的、多視點的處理，以提升圖像質量。

下一代檔次：在網絡環境較好、用戶對立體感要求較高的時候，適度補充多視圖模式立體畫面，以完善基本和高級檔次的圖像（見圖5）。

新標準的三大檔次與現存標準的比較如表2所示。

綜上所述，下一代的3D（裸眼）/多

圖4 高級檔次

視圖中國國家視頻標準非常必須，它具備現存3D標準不具備的全新特性和功能，且能廣泛支持不同的顯示器和內容供應商，定將引領世界的3D標準。

圖5 下一代檔次的多視圖導航

在裸眼3D推進計劃的草案中，已經涵蓋3D終端，2D到3D轉換軟件和轉換芯片（IC），3D內容制作和存儲以及互聯網電話3D顯示系統。未來，還將對標準的綠色用眼、環保等方面展開進一步的研究和探索。

表2 新標準比較

[1] 維基百科.立體テレビ放送[EB/OL]. [2014-09-10].http://tinyurl.com/pyp?ca2p.

[2] 傅勇.3D重構全球電子業新秩序[N].經濟參考報，2010-07-06（18）.

周 毅，教授級高級工程師，廣播科學研究院副院長。曾獲第六屆“王選新聞科學技術獎”人才獎之“杰出人才獎”、中國電子學會評選的電子信息科學技術獎、廣電總局科技進步獎等若干，近年組織團隊在URa?dio系統、裸眼立體電視和廣播級高速攝像機方面的研究和產品填補了國內空白，取得了突出成果。

TN949；TP391

A

【本文獻信息】周毅.裸眼3D視頻技術與節目制作[J].電視技術，2014，38（22）.