立體視覺編輯技術研究與設計

韓志宏，余 剛，謝世斌

（成都索貝數碼科技股份有限公司 基礎技術研究院，四川 成都 610041）

立體視覺編輯技術研究與設計

韓志宏，余 剛，謝世斌

（成都索貝數碼科技股份有限公司 基礎技術研究院，四川 成都 610041）

首先對立體視覺編輯的關鍵技術如3D IO硬件、編解碼效率優化、渲染引擎以及編輯系統的功能和流程等進行了研究和闡述，并對目前3D編輯設備的支持情況進行了介紹。然后，重點介紹了索貝公司的E10系列非線性編輯系統。最后，對立體視覺編輯的關鍵技術進行總結。

3D編輯；3D IO硬件；渲染引擎

立體視覺內容基于人眼雙目立體視覺特性，一般采用雙視點同步視頻或圖像，利用立體顯示設備為觀眾提供立體內容。視音頻及圖文等多媒體內容，由于容易創作及接受，在文化產業中處于重要的地位。而基于立體視覺的視音頻及圖文等多媒體內容（以下簡稱3D），對受眾有越來越強的吸引力。近年來，大量的3D大片、動畫上映，收視火爆，也印證了這個趨勢。

相比于傳統的視覺內容制作，在立體視覺內容制作方面，需要通過控制雙目攝像機的同步拍攝來獲取立體內容。同時，在立體視覺內容的加工過程中，需要支持對雙軌立體視頻內容進行同步處理，如調色、特效、字幕等，傳統的非線性編輯軟件無法支持。因此，立體視覺內容制作需要投入大量成本，建設立體拍攝平臺、立體內容后期處理制作平臺，這形成了立體視覺內容制作的成本門檻。

立體視覺內容相比于傳統的平面視覺內容，由于利用了人眼的雙目立體視覺特性，通過人眼的匯聚以及大腦的視覺融合得到內容場景中的深度感。在這個過程中，不合適的立體內容將導致人眼的立體視覺疲勞，并由此影響人體健康。因此立體視覺內容制作有著更高的技術要求。

1 立體視覺編輯技術

立體視覺編輯的關鍵技術包括3D IO硬件、編解碼效率優化、渲染引擎以及編輯系統的流程開發等。

1.1 3D IO硬件

3D IO硬件開發中主要存在的難點在于解決數據量問題，以3D SDI的輸入、輸出出為例，其基帶數據是之前的兩倍。3D IO采集卡，必須具備更高的數據帶寬，以及更快的DSP處理速度。

索貝公司的MG 5000E板卡在設計中，采用PCI-EXPRESS×8接口技術，高達20 Gbit/s的雙向帶寬，支持同時播出和采集4路高清信號，由于有充足的傳輸帶寬，視頻可支持10 bit量化處理，同時也兼容其他量化精度。板卡支持DDR2-SDRAM內存，更高的內存帶寬，更低的芯片價格，滿足板卡處理大批量數據的要求。圖1是MG5000E的外觀圖。

圖1 MG5000E外觀圖

1.2 編解碼效率優化

針對3D立體視覺的應用流程，本文在設計中采用了3D代理文件，通過存儲若干個一般視頻和音頻信息，形成一個3D文件。它是一個虛擬文件，即它的音頻和視頻文件是單獨存儲在磁盤上的。通過3D代理文件索引找到視頻和音頻文件，從而模擬普通的文件格式。

在開發和設計中，需做好并行調度和同步處理，同時對3D代理的左右眼及音頻文件進行解碼，以滿足3D非編處理的需要。圖2為編解碼引擎的架構圖。

圖2 3D文件解碼架構圖

1.3 渲染引擎

GPU并行圖像渲染能力是CPU幾十倍以上，采用CPU+GPU視頻圖像處理技術，可提高圖像處理速度的同時解放了CPU，利用CPU提高視頻解碼、編碼的速度和IO操作的能力，設計中需完成CPU和GPU協作工作的圖像處理流程[1-2]。

其中，CPU主要負責視頻數據的硬盤讀取和解碼、視頻的幀率變換、數據關鍵幀處理、數據流程控制，對GPU處理后的圖像基帶數據進行編碼并寫入硬盤或傳遞到IO設備、信號質量監控等。GPU主要負責圖像的顏色空間轉換，高標清、不同幅面之間適配，圖像疊加、渲染和特技處理等[3-4]。

本設計中，首先對數據量進行充分的壓縮，并統一調度CPU與GPU的任務，從而提高整體性能。該技術的突破是CPU+GPU實現3D非編技術的關鍵。同時實現非編引擎針對以下場景的優化：

1）核心引擎對2K和4K幅面的支持，擴展高端應用領域；2）支持10 bit和16 bit，可提供更好的圖像質量；3）采用DirectX 11構建視覺效果平臺，煙霧、新粒子系統等；4）面向高端制作、3D合成、超高清的優化處理流程。

1.4 3D非編流程及功能設計

1）編輯流程

圖3為3D編輯的主體流程，包括雙目信號實時采集和輸出、文件上下載、實時預監、3D full side by side文件生成等，編碼格式可選擇高清MPEG-2 I幀、高清H.264、高清WMV等。

圖3 3D立體視覺編輯流程圖

2）左右眼調節實現

3D左右眼調節功能偏重于左右眼獨立調節，配合豐富的調節參數，提高3D非編對3D視頻的處理能力，滿足客戶的實際需求。調整界面如圖4所示。

圖4 3D左右眼調節界面示意圖（截圖）

3）與第三方軟件協同交互機制

如圖5所示，通過AAF，EDL等實現與米斯泰克、SMOKE、達芬奇、FCP、Avid、第三方音頻工作站的文件交換。

圖5 與第三方軟件協同示意

4）絢麗的視頻圖文特效的實現

通過高質量的圖形圖形算法與GPU實現相結合[5]，以實現絢麗的視頻圖文特效，如圖6所示。

圖6 頻圖文特效（截圖）

2 3D非線性編輯軟件

目前國內外主流廠商已推出了支持雙目3D制作的非線性編輯產品。

索貝公司的E10采用自行開發的MG5000E板卡進行dual-link 3D雙目信號實時采集和輸出，采用基于ART4引擎的3D立體視覺編輯核心，以及全面更新的引擎，實現分辨率無關以及格式無關的混合編輯技術可以幫助用戶靈活使用各種素材進行節目制作，平滑完成高標清兼容與過渡。優秀的高清GPU特技能力，性能領先；豐富的高清實時特技種類，達到包裝級效果；并具有強大的音頻編輯功能。

E10可以對CG施加通用視頻特技、可以設置CG對象沿任意軌跡運動；具有自己獨立的入屏、出屏和停留特技，可與視頻特技一起組合出非常復雜的特技效果。

E10實現了AFAP（As Fast As Possible）高效率設計，界面設計人性化，用戶可自定義界面組合并隨時呼叫不同的界面模式來配合不同的編輯工作，并提供了大量的便捷工具，大幅度地幫助用戶提高節目制作效率。

3 結束語

本文對立體視覺編輯的關鍵技術進行了研究和闡述，包括：

1）3D IO硬件。主要包括3D IO硬件MG5000E板卡的結構設計和解決3D數據量問題的基本方法。

2）編解碼效率優化方面。同時對3D代理的左右眼及音頻文件進行解碼，做好并行調度和同步處理，以滿足3D非編處理的需要。

3）渲染引擎。采用DirectX11的GPU平臺，提高CPU和GPU的調度優化，并實現絢麗的3D效果。

4）雙目3D非編。需涵蓋立體視覺影視節目編輯全流程的系統功能模塊，并兼容2D影視節目編輯內容。

[1]CHONG A，SOURIN A，LEVINSKIK.Grid-based computer ani?mation rendering[C]//Proc.4th International Conference on Com?puter Graphics and Interactive Techniques in Australasia and Southeast Asia.Kuala Lumpur，Malaysia：[s.n.]，2006：39-47.

[2]MILLER K，PRZYBYLA D，PEGAH M.Soothing the many-head?ed beast：improving the rendering process in the world of 3D ani?mation[C]//Proc.32nd Annual ACM SIGUCCSConference on Us?er Services.New York，USA：[s.n.]，2004：381-384.

[3]李建明，萬單領，遲忠先，等.一種基于GPU加速的細粒度并行粒子群算法[J].哈爾濱工業大學學報，2006，38（12）：2162-2166.

[4]PHARR M．GPU精粹2——高性能圖形芯片和通用計算編成技巧[M]．龔敏敏，譯．北京：清華大學出版社，2007．

[5]昊恩華.圖形處理器用于通用計算的技術現狀及其挑戰[J].軟件學報，2004，15（10）：1493-1504．

TP391

B

?? 雯

2014-09-24

【本文獻信息】韓志宏，余剛，謝世斌.立體視覺編輯技術研究與設計[J].電視技術，2014，38（22）.