雙視立體視頻同步合成系統設計與實現

黎之樂，王興東 ，周 軍 ，熊怡因

（1.上海交通大學 電子工程系 圖像通信與信息處理研究所，上海 200240；2.上海市數字媒體處理與傳輸重點實驗室，上海 200240；3.上海精視信息技術有限責任公司，上海 200030）

0 引言

立體視頻技術是當前視頻研究中的一個活躍領域，已有越來越多的國內外學者從事這方面的研究。立體視頻的研究范圍包括多個研究方向，如立體視頻的提取技術、立體視頻的顯示技術以及立體視頻的編碼壓縮技術[1-4]。立體視頻作為一種比普通視頻提供更多信息內容和具有更多數據量的數字媒體[5]，廣受人們青睞，隨著技術的進步與市場的推動，立體視頻技術必將成為主流的視聽技術。

人兩眼的視差特性是使人產生立體感的根本因素，立體顯示終端要提供一對視差圖像信號，分別送左右眼接收。因此，要完整地傳輸和處理立體視頻需要2倍于普通平面視頻的帶寬。而對更高傳輸帶寬的需求也正是阻礙立體電視推廣的重要因素之一。

筆者介紹一套基于“左右放置”（side-by-side）合成算法[3-4]的立體視頻同步采集系統，其特點在于它可以實時拍攝和錄制符合“左右放置”標準的立體視頻。對合成的視頻信號的編解碼處理僅需要一套普通的編解碼器，且與普通信號的處理沒有任何差別。這樣的設計實現了通過普通電視網絡傳輸立體視頻信號而不需要傳輸網絡提供額外的帶寬，對立體電視的推廣有較大的意義。

1 立體視頻合成算法

1.1 合成算法的要求

合成視頻的算法要滿足以下要求：

1）最終的合成視頻必須同時包含兩路視頻信號的信息。

2）合成視頻的格式必須與合成源信號一致。

3）合成視頻的編解碼和網絡傳輸使用的帶寬與普通的平面視頻信號無異。

所有的合成算法均以視頻輸入源同步為前提。本系統使用了左右放置合成算法，并且提供了相應的幀同步解決方案。

1.2 左右合成算法介紹

左右放置合成算法如圖1所示，最終得到的合成視頻信號數據是按視頻源分別左右放置的。用監視器觀看時，會看到監視器左右兩邊分別對應顯示左右路攝像機拍攝的視頻。

2 立體視頻合成采集系統設計

2.1 系統結構

圖2為合成系統的基本構成圖。系統的兩路輸入視頻信號碼率以及輸出視頻信號碼率均為1.5 Gbit/s。

2.2 DDRSDRAM幀同步解決方案

筆者提出并實現了使用DDRSDRAM芯片作為緩沖器件來對兩路待合成視頻信號進行幀同步的方案。

本方案使用DDRSDRAM作為一路視頻數據的緩存。圖3為本設計中DDRSDRAM部分的數據流示意圖，由于DDRSDRAM存在自刷新操作，因此進出DDRS?DARM的數據流是不連續的，需要使用2個緩存隊列使數據流變得連續。

圖4為幀同步的狀態機示意圖。首先狀態機讀取存入DDRSDRAM中的數據找到幀首，狀態機跳轉，停止讀取DDRSDRAM中的數據，讀取另一路視頻數據找到幀首則狀態跳轉，恢復讀取DDRSDRAM中的數據，此時輸出兩路視頻信號已經同步。

該方案與Genlock方案相比，要廉價和便宜很多，只要使用的FPGA開發板帶一塊與FPGA相連的DDRS?DRAM芯片即可。

本設計采用Lattice生產的LatticeECP2M系列672封裝的FPGA，使用的DDRSDRAM芯片為Etrontech生產的EM6AA160TS-5G，單顆芯片的存儲容量為256 Mbit。

2.3 立體視頻合成實現

2.3.1 降采樣算法

本設計采用的輸入源為1080i格式的高清視頻信號，其合成的關鍵是SMPTE292標準里定義的EAV序列和SAV序列的檢測。

根據SMPTE292標準，SAV到EAV之間的數據屬于有效的視頻行采樣數據，而EAV到SAV的數據為輔助空間數據，輔助數據包括嵌入式音頻等。

在合成過程中，輔助數據空間的數據以一路的數據為準。YCbCr的采樣比例為4∶2∶2，因此需要對Y與Cb、Cr分開處理。

以20 bit的數據格式為例，在有效視頻空間的數據格式見表1。

表1 20 bit高清視頻格式數據

對灰度數據Y，采取隔點取樣的方法對兩路視頻的灰度數據進行降采樣。也就是說表1中Y1，Y3等灰度數據將丟棄。

對色差數據Cb、Cr，不能采取與灰度數據Y一樣的取樣合成方法，否則色差空間里的數據將由第1路的Cb和第2路Cr數據組成。為解決這個問題，對每組Cb和Cr數據進行降采樣。也就是說表1中的Cb1和Cr1等色差數據將被丟棄。

降采樣是視頻合成操作的第一步，是整個合成算法比較重要的一步。降采樣后兩路1920×1080的視頻信號變為960×1080的降采樣視頻信號，但并不改變YCbCr信號的數據比。降采樣要保證經過恢復算法后視頻信號的失真仍能被主觀接受。實驗表明，這樣的降采樣可以被很好地恢復。

2.3.2 降采樣視頻數據合成

合成的任務是將降采樣得到的兩路960×1080視頻信號按照相應的合成算法合成相應的數據格式。

對左右放置的合成算法而言，需要將兩路960×1080的視頻信號按左右集中放置，并拼接成1920×1080格式的合成視頻信號。左右放置合成的編碼相關性較好，因此得到了廣泛應用。

3 應用系統

筆者等人利用上述技術方案設計了一套TD-LTE無線立體高清實時傳輸系統，系統方案見圖5。該系統的TD-LTE網絡由中國移動提供。這套系統中使用的資源包括：2臺高清攝像頭，本設計中制作的幀同步模塊與合成模塊，普通的高清編解碼器，視頻恢復模塊，2臺帶偏振片的高清投影儀以及熒幕。圖6為整套系統使用的設備合影。

4 小結

圖6 立體視頻合成傳輸系統的設備

本文介紹的這套立體視頻同步采集系統使用非常靈活，合成算法集成性好，可以根據不同的需求配置成不同的系統。由于合成視頻成功地減少了額外的帶寬需求，因此這套系統對立體電視的推廣具有一定的意義。

[1]馮茂巖，沈春林.立體顯示技術及其研究現狀[J].電視技術，2008，32（11）：42-43.

[2]張兆楊，安平，張之江，等.發展3DTV需解決的技術及其應用趨勢[J].電視技術，2010，34（6）：4-6.

[3]MUELLER K.3D-TV Transmission Formats and Coding[R].Berlin：Heinrich-Hertz Institut（HHI），Germany，2010.

[4]李小蘭.立體電視編碼傳輸技術及業務實現[J].電視技術，2010，34（11）：4-9.

[5]TAM J.3D-TV：benefits from human visual perception studies[R].Ottawa：Communications Research Centre（CRC），Canada，2010.