3D自由視點視頻技術及其在中國館中的應用

尤志翔 ，安 平，2，張兆楊 ，2

（1.上海大學 通信與信息工程學院，上海 200444；2.上海市新型顯示與系統應用教育部重點實驗室，上海 200444）

3D顯示技術可以提供更逼真的沉浸式視覺效果，從而獲取更高的關注度。雙眼觀看到的場景存在一定差別而獲得的立體感稱為雙目視差，而當觀看者移動視點時看到的場景變化則稱為運動視差。這兩種視差成為人類獲取立體感最重要的兩種要素[1]。以兼備雙目視差和運動視差兩種技術特點的自由視點立體技術為核心的應用系統在媒體展示、廣告傳媒、電影電視、通信、3D游戲、體育直播等領域有廣泛的應用前景。

1 3D自由視點應用系統關鍵技術

1.1 3D自由視點應用系統概述[2]

通常，3D視頻系統框圖如圖1所示，分為3D內容獲取、編解碼、傳輸、合成和立體顯示幾個流程。其中，圖1下半部分的多視內容獲取、多視編解碼/繪制和多視顯示構成3D自由視點應用系統。在處理鏈中，自由視點顯示終端設備是最直觀的環節，也最先進入市場應用。3D視頻內容獲取、編碼傳輸以及繪制合成等技術的發展卻相對滯后，尤其多視點3D視頻內容的制作難度較大，廣泛地進入市場尚待時日。從立體顯示效果來看，自由視點顯示設備屏幕尺寸越大，突出感和縱深感越強，越能給人以視覺震撼。由于光柵設計與制備技術和工藝的限制，超大尺寸尤其是100 in以上的自由立體顯示終端非常稀缺，目前難以滿足多媒體展示等相關領域的實際應用需求。

1.2 3D自由視點顯示技術

3D自由視點顯示系統利用微光學技術模仿人眼的立體成像過程，等效于在傳統平面顯示面板內“加戴”3D眼鏡（觀眾無須佩戴）。利用視差光柵（Paralax Barrier）、微柱鏡（Lenticular Sheet）或指向光源（Directional Backlight）等光學處理手段將兩幅甚至多幅像素點精心排列的圖像在空間上分開，其光線分別投向不同的視域，形成了多視圖的觀看效果，觀眾在不同視角可以看到發生細微變化的左右眼立體圖像，兼具運動視差和雙目視差的特點。

1）視差光柵技術（Paralax Barrier）

視差光柵技術的顯示原理是在普通顯示器的面板內增加一層不透光條紋和透光條紋間隔排列成的光柵，當光柵層與2D顯示層之間的距離以及條紋的寬度精確匹配時，能使得背光板的光透過該光柵之后，到達左眼的光線只經過奇數行的像素，到達右眼的光線則只經過偶數行的像素，如圖2所示。由此將左眼及右眼可視的畫面分開，使觀看者可看到3D影像。

該技術可以與LCD，PDP等平板顯示工藝兼容，具備在量產性和成本上的優勢。其缺點主要在于背光被50%左右的不透光條紋阻擋，亮度也隨之降低，影響清晰度。此外，分辨力會因同時視點數目的增加而等比降低，進一步影響觀看清晰度。

2）微柱鏡技術（Lenticular Sheet）

基于微柱鏡技術的3D自由視點顯示設備是在2D顯示器的面板內增加了一個多透鏡層，如圖3所示，像素平面位于透鏡的焦平面上，每個柱透鏡下的圖像像素被分成幾個子像素，而以垂直或一定傾斜角度排列的柱面透鏡控制左右圖像的射向，使右眼圖像聚焦于觀看者右眼，左眼圖像聚焦于觀看者左眼，以達到讓觀看者在不同角度看到不同的影像的立體效果。目前透鏡的截面加工工藝可達微米級，使得條紋狀立體圖像更加精細，因此這種技術目前廣泛用于高清晰的3D數字電視、3D手機、3D大屏幕顯示等。

微柱鏡不會阻擋背光，故顯示亮度不受影響，但由于其3D顯示基本原理仍與視差光柵技術相同，故分辨力會降低。

3）指向光源技術（Directional Backlight）

對指向光源3D技術投入較大精力的主要是3M等公司，指向光源（Directional Backlight）3D技術搭配兩組LED，配合快速反應的LCD面板和驅動方法，讓3D內容以排序方式進入觀看者的左右眼互換影像產生視差，如圖4所示，進而讓人眼感受到3D三維效果。其優點在于對分辨力、透光率的影響小，3D顯示效果佳，但目前技術尚在開發過程中，產品尚未成熟。

1.3 3D自由視點內容獲取與生成技術

3D自由視點顯示需要同一場景多個視點視頻內容的描述，因此最直觀的內容獲取方式是如圖1中那樣通過多視攝像機陣列進行采集獲取，另一種方式是2D高清攝像機拍攝后，通過2D視頻轉換為3D視頻的處理來得到，如圖1下端所示。

多視攝像陣列直接拍攝的3D內容獲取方式可分為如下所述的3種：

1）密集視點方式

指通過64～128個攝像陣列同時拍攝同一個三維場景直接獲得3D內容的方式，在編碼傳輸和解碼后可通過基于圖像的繪制生成3D內容[3]。但其存在的問題是因視點數太多，使拍攝系統龐大、復雜，且數據量巨大，造成壓縮編碼的負擔繁重。

2）稀疏視點方式

指由4～16個較少的攝像陣列來獲取3D內容。此種方式可顯著緩解上一種方式存在的問題，但因視點數較少在屏前觀看時有視點間的突變感，故為了達到視點間平滑切換和漫游交互的要求，需對視點數據基于提取的幾何信息和三維信息進行重構。

3）多視視點加深度信息獲取的方式

此種方式也稱為MVD（多視+深度）方式[4]。該方式可采用稀疏的視點，由于多個彩色視頻和深度包括在接收數據中，由收到的視頻和深度利用基于深度圖像的繪制（DIBR）在顯示端生成更多的中間虛擬視圖[5]，因而在很大程度上可解決前面兩種方式存在的問題。

1.4 自由視點多視視頻壓縮編解碼技術

3D自由視點顯示的視頻內容具有多個視點的視頻數據，最直觀的解決方案就是對每一路視點的2D視頻數據單獨使用現有壓縮編碼技術（如H.264/AVC等）進行處理，這樣相比于2D視頻需要存儲和傳輸的數據量更為巨大。由于3D自由視點視頻通常包括同一場景多個視點的圖像，這些不同視點的圖像在同一時刻也具有高度的冗余度。因此，對多視點視頻圖像的編解碼技術在原有傳統2D視頻時間相關性的基礎上，增加了對于多視點圖像之間空間相關性的處理（多視點視頻編碼技術，MVC）。

MVC編碼效率比各個視頻單獨用基于H.264/AVC編碼可提高2.5 dB左右的增益，對每個視點視頻帶寬的壓縮不到一半，N個視點視頻所占帶寬仍然巨大。因此1.3節中MVD方式由于其所用的視點數比多視點視頻（MVV）所需的視點數大量減少，成為當前研究的熱點。MVD的系統框架如圖5所示，其中，因N數可大量減少，雖然多了深度圖編碼，但深度圖編碼的碼率僅是彩色視頻序列編碼的25%，總的碼率顯著減少[4]。目前國內外研究集中在如何快速地深度估計，通過深度圖增強獲得精確的深度圖，進一步提高深度圖編碼效率和快速虛擬視圖繪制等4個關鍵技術上。

2 3D自由視點視頻系統在上海世博會中國國家館中的實踐

上一節所述3D內容獲取中的2D高清視頻轉換為3D視頻技術、深度估計和增強技術、快速虛擬視點繪制技術以及3D自由視點顯示技術結合上海世博會中國國家館設定的項目要求進行了工程應用實踐。

2.1 中國國家館的應用要求

2010年上海世博會中國國家館中的3D自由視點視頻應用系統由分布在49 m層的“希望大地”仿真濕地展項和33 m層的“森林碳匯”低碳展項組成。要求本課題組開發103 in，85 in和46 in共7套最先進的3D自由視點顯示系統，觀眾無需佩戴立體眼鏡即可在屏幕前直接觀看到栩栩如生的立體影像，且立體視角大，觀看舒適度高，觀看人數不限。同時，還要求在3D內容制作中綜合應用多通道3D-CG特效動畫技術和2D-3D轉換技術，并在實施中通過視差調控技術和參數化播放控制技術，使得自由立體視頻顯示技術和中國館大型主題展示的應用需求完美結合，如表1所示。

表1 3D自由視點系統應用需求

根據以上要求，進行了系統設計、顯示系統制備和3D內容制作。

2.2 系統設計

3D自由視點視頻應用系統布局框如圖6所示，遠端機房中的后臺主機數據流（無壓縮RGB通道，1080p）通過DVI/HDMI延長發送器發出，經專用光纖網絡傳輸后，由DVI/HDMI延長接收器接收，送到3D顯示器中顯示。

1）“希望大地”仿真濕地應用

位于中國館49 m層（12樓）的“希望大地”仿真濕地展項應用了1臺85 in和2臺46 in3D自由視點視頻系統，如圖7所示。立體畫面融于仿真濕地之中，模擬激流水體、靜態水體和沼澤水體等濕地環境，展現希望大地生機盎然的自然景象，營造出3D立體視頻呈現真實場景的視覺效果。

圖7 世博會中國館“希望大地”仿真濕地的立體視覺效果

2）“森林碳匯”應用

“森林碳匯”低碳展項位于中國館33 m層（8樓）的“低碳行動”館中，由4臺103 in 3D自由視點電視系統組成，如圖8所示，立體電視機兩兩一組分別藏于造型樹之間，展示內容以立體影像顯示濕地和森林美景，宣傳低碳理念。

2.3 顯示系統制備

多視點電視由于光柵分光帶來的分辨力損失，很長時間內難以得到實用。但隨著高分辨力顯示器的出現，多視點顯示器對分辨力造成的損失得到了緩解。為了達到高畫質的觀看效果，本項目2D底屏均采用1920×1080的高清分辨力底屏，以提高立體圖像的清晰度與對比度。在合適的觀看距離處，觀眾甚至可以忽略光柵對分辨力的影響。同時，根據現有可提供的面板，綜合考察亮度、對比度和價格后，選擇了松下103 in和85 in PDP專業顯示器作為大屏幕2D底屏，選擇46 in LCD屏幕作為小尺寸底屏。

考慮到展示所需要的現場亮度配合情況，根據1.2節所述，選擇微柱鏡光柵應用于作為小尺寸3D自由視點顯示。選擇視差光柵而不是微柱鏡技術應用于大尺寸PDP底屏，主要有以下兩點考慮：

1）目前的加工工藝難以實現大尺寸單張光柵膜應用，若使用微柱鏡光柵拼接則會使得接縫處的立體效果大打折扣；

2）由于世博設備展示的特殊性，要求超過連續200天及每天16 h以上的滿負荷運轉，由此PDP表面的熱量容易加速微柱鏡光柵的變形和老化，會使得光柵變形造成微柱鏡和屏幕子像素無法按照設計要求精確對準，影響3D顯示效果。

2.4 3D內容制作

1）總體技術方案

項目中的3D視頻節目制作主要采用2D-3D圖像/視頻轉換技術、多通道動畫（3D-CG制作）技術以及獨特的視差調控和特效渲染等技術手段。其總體技術方案如圖9所示。

2）視差調控技術

在設計視差值時，將屏幕作為焦平面，此處人眼的視差為零，在場景中需要有突出感的前景物體通常采用負視差，即左眼看到的像素偏右，右眼看到的對應像素點偏左，兩眼視線交叉，則可以感到物體突出。相反地，背景物體采用正視差，使觀眾有景深感。

大多數立體視頻顯示往往在觀看時會使觀眾有頭暈、目眩等不舒適感，這是由于形成發散視差所致。實際的研究表明，只有滿足雙眼視差異的圖像才能被融合成單一的立體圖像，深度的設計要將視差控制在一個合理的范圍內，以防止視差過大而造成頭暈目眩。因此采用的視差值需要滿足人眼的視覺特性而能根據人眼的舒適程度進行視察調控。

另一方面，由于視差產生的立體感覺會根據不同的三維顯示器而有所差異，本項目中的視頻轉換方案結合了視差調控技術，較好地防止因發散視差而不能使左、右成像點融為一點的現象，并可以根據后期對顯示器的測試，結合具體的觀看需求對3D視頻節目做出調整，使人眼觀看達到最為舒適的效果。

3）特效渲染技術

由于觀看圖片、視頻時，人眼聚焦在屏幕處，視野受到了限制，在觀注感興趣區域時并不需要經過眼睛對晶狀體焦距的反復調解，所以會減弱一些對深度的判斷，此時生理立體視覺完全依靠雙眼視差產生。為此在3D內容制作是加入了特效渲染，如線性透視、光線、陰影等來豐富心理立體視覺，加強最終看到的立體效果。圖10是3D內容制作的效果圖。

3 小結

大屏幕自由視點立體顯示設備能夠給予觀眾很強的立體感和沉浸感，應用于展覽展示應用時融為一體的虛擬現實技術更是給人身臨其境之感。如何在尺寸、視角、視點平滑切換方面獲得更多突破是3D自由視點顯示技術能否獲得更大范圍應用的關鍵之一。

針對自由視點立體顯示的3D內容獲取和生成，本項目結合世博會項目的實踐探討了2D-3D轉換、3D-CG、多視點視頻生成、深度獲取、視點繪制等相關技術。

[1]MATUSIK W，PFISTER H.3DTV：a scalable system for real-time acquisition，transmission，and auto-stereoscopic display of dynamic scenes[EB/OL].[2011-03-29].http∶//people.csail.mit.edu/wojciech/3D TV/3DTV.pdf.

[2]張兆楊，安平，張之江，等，發展3DTV需解決的技術及其應用趨勢[J].電視技術，2010，34（6）：4-6.

[3]DROSES M，FUJII T，TANIMOTO M.Ray-space interpolation based on filtering in disparity domain[EB/OL].[2011-03-29].http∶//sciencelinks.jp/j-east/article/200421/000020042104A0636207.php.

[4]LIU Shujie，LAI Polin，DONG Tian，et al.New depth coding techniques with utilization of corresponding video[J].IEEE Trans.Broadcasting，2011，57（2）：551-561.

[5]SMOLIC A，MULLER K，DIX K，et al.Intermediate view interpolation based on multi-view video plus depth for advanced 3D video systems[EB/OL].[2011-03-29].http∶//www.the3dphone.eu/files/publications/1.pdf.