立體視頻傳輸與再現研究

摘要：在分析人的立體視覺原理基礎上，設計了一種立體視頻傳輸方案：用兩個攝像頭代替人的雙眼采集遠端場景，采用RTP傳輸兩路視頻，為了確保兩路視頻同步，提出了時間戳匹配算法。最后介紹了使用頭盔顯示器立體顯示方法。

關鍵詞:立體視頻； 擁塞控制； 視頻同步

中圖分類號：TP311.5文獻標志碼：A

文章編號：1001-3695(2007)11-0215-03

0引言

網絡通信技術和視頻編碼技術的發展帶動了視頻和多媒體技術的應用。以往在Internet 上傳輸視頻受到了低帶寬、高延時和高計算復雜性等諸多限制，各種需求應用也受到很大的局限。 但是隨著編碼技術的發展，這些限制和缺陷正在逐漸消除，使得高質量的視頻傳輸服務得到廣泛應用。視頻聊天、視頻會議、視頻監控等技術改變著人們的工作方式、生活方式和學習方式。人類即將告別基于文本的e－mail、e－chat等形式的e時代的初級階段，正進入面對面的網絡視頻新階段。

追求質量和現實感、臨場感始終是這類以視頻為媒介的應用系統所關注的。其目標是通過人類的視覺系統獲得盡可能真實的視覺感受。人類視覺的一個重要功能是通過左、右眼視域的不同產生對深度的感知，即所謂的視覺立體感受。當前絕大部分的視頻傳輸系統都只局限于平面圖像，因此觀察者的視覺立體感受被剝奪了。為了使接收者可以產生立體視覺感知，必須在IP 網絡上進行分別代表左、右眼視點的兩路視頻的傳輸，并且在接收端進行相應的重現和顯示，即立體視頻的傳輸和再現。與單視頻傳輸相比，兩路視頻的傳輸需要解決視頻同步和立體再現等技術難題，本文將給出一種解決方案。

1立體視頻獲取

人雙眼的平均瞳距約為65 mm，基本保持平行。當兩眼從稍微不同的兩個角度去觀察客觀三維世界的景物時，由于幾何光學的投影，與觀察者不同距離的像點在左、右兩眼視網膜上就處于不同的位置上。這種兩眼視網膜上位置的差就稱為雙眼視差，它反映了客觀景物的深度。人眼的深度感即立體感就是因為有了這個視差，再經大腦加工而形成的。根據這個原理，利用兩臺水平放置的攝像機模擬人的雙眼，同步獲取左、右眼有視差的圖像。攝像頭模擬人眼視覺系統[1]如圖1所示。

按照圖1中放置的兩臺攝像機分別用于模擬人的左、右眼，而且具有與自然視覺相似的一些性質，如分離距離(separation)、視線聚合距離(vergence distance)、視域(field of view)。雖然這套模擬系統與真實的人眼視覺系統仍然存在著一些不同，但是能夠較好地模擬人的視覺系統。

2RTP與傳輸模型

由于視頻傳輸對時間十分敏感，必須確保數據的實時性和連續性。傳統的TCP重發機制帶來的時延較大，UDP本身又不提供任何QoS保證，均不適合視頻的實時傳輸。為此，國際通信聯合會(International Telecommunication Union，ITU)和國際互聯網工程任務組(Internet Engineering Task Force，IETF)設計了一個實時傳輸協議(real－time transport protocol，RTP)來解決傳輸實時性數據的難題。RTP一般運行在不可靠的協議層UDP上，為音/視頻等實時數據提供一對一或一對多的傳遞服務，可以向接收端點傳送恢復實時信號必需的定時和順序信息，并向收發雙方和網絡運營者提供QoS監測的手段，降低對網絡帶寬的需求；還可以使視頻會議中容忍少量的丟包，以避免數據包重傳造成的時延。RTP實際包括兩個協議：a)RTP本身。用于傳送實時數據，其功能是提供凈荷類型指示、數據分組序號、數據發送時戳和數據源標志。 b)RTCP。用于傳送實時信號傳遞的質量參數，提供QoS監視機制，同時還可以傳送會議通信中參會者的信息。RTP和RCTP在傳輸過程中提供的信息為視頻同步研究提供了必要前提。傳輸模型如圖2所示。

視頻數據流分別被封裝上RTP、UDP和IP報頭，然后IP數據包通過Internet向接收端發送；同時發送端周期性地接收RTCP包，將QoS反饋控制信息發送到視頻服務器；服務器利用這些信息動態地改變自身參數設置。RTP報頭中包含一個重要的信息，即時間戳（time stamp）。其長度為4 Byte，標志RTP數據包內負載的時間信息，反映數據包內第一個字節的采樣時間。RTCP包中含有接收端報告RR，記錄數據接收的情況。分析此報告可以判斷網絡的負載狀況，為擁塞控制提供了依據。

3兩路視頻同步研究

3．1同步策略

人的雙眼總是在同一時刻去觀察客觀三維世界的，因此，兩路視頻應該同步播放，才能產生好的立體效果。由于網絡的復雜性以及時延存在的客觀性，兩路視頻雖然可以利用多線程技術同時發送，但是兩路視頻經過不同的路由以及不同的阻塞狀況而引起的時延和丟包，很難保證同步接收，如果不加以控制，觀察者就會感覺一路視頻超前，一路視頻滯后。為此，本文采取雙緩沖技術以克服兩路視頻因不同的時延而引起的波動。在不同的丟包方面，首先利用擁塞控制算法保證視頻的連續傳輸，減少丟包率；其次在丟包客觀存在的情況下，提出了時間戳匹配算法，確保視頻的同步播放。

3．2擁塞控制算法

AIMD（additive increase and multiplicative decrease，加性增加和乘性減少）是TCP傳輸層協議廣泛采用的擁塞控制算法。Chiu和Jain在理論上指出了選擇AIMD 能以最快的速度達到帶寬的最大利用，同時也能保證最大的公平性[2]。本文采取類似AIMD算法來實現視頻傳輸的反擁塞控制。首先，發送端根據RTCP反饋包中的接收端報告RR計算丟包率、數據包到達間隔抖動和回路時間等，確定網絡負載的狀況。在這幾個指標中通常只把丟包率作為網絡帶寬調整的依據。丟包率的計算過程中分為四步[3]：

本文給出立體顯示的另一種解決方案，即使用頭盔顯示器。頭盔顯示器通常使用在虛擬現實技術中，給觀察者提供虛擬漫游的效果。筆者采用美國SGI公司研制的VR1280HMD頭盔顯示器。兩個顯示屏相當于兩個小型的CRT顯示器。兩個顯示屏分別有兩個輸入端口，可以輸入不同的信號；與頭盔顯示器配套的顯卡需要有兩個輸出端口，用于連接頭盔的兩個輸入端口。采用3Dlabs公司生產的專業圖形卡Wildcat Rea￣lizm 500(PCI－E)，它支持多顯示屏功能。在設置主要輸出端口和輔助輸出端口后，就可以將窗口根據需要通過不同的端口輸入。利用這點，將兩路視頻的顯示窗口分別通過顯卡的兩個輸出端口輸入給頭盔顯示器的左、右顯示屏。這樣兩路視頻就分別顯示在頭盔的兩個顯示屏上，觀察者帶上頭盔顯示器就可以感受到立體效果了。頭盔顯示器顯示過程如圖3所示。此方案簡單實用，不需要任何圖像或者光學處理即可以獲得立體感知。

5結束語

網絡上各種視頻服務的發展目標是要帶給人盡可能真實的視覺感受，立體視頻能夠比平面視頻提供更多的視覺信息，在科研、生活、教育等領域具有廣泛的應用前景。本文結合當今網絡視頻和立體顯示先進技術，提供了一種立體視頻傳輸方案，并在試驗中證明了此方案的可行性。目前整套系統運行穩定、畫面清晰，能夠給觀察者逼真的立體感知。

參考文獻:

[1]HAWKINS R. Digital stereo video: display compression and transmission [D]. Canberra: Australian National University， 2002.

[2]CHIU D M， JAIN R. Analysis of the increase and decrease algorithms for congestion avoidance in computer networks[J]. Computer Networks and ISDN System， 1989，17(1):1－14.

[3]周兵，畢全起. 一種MPEG碼流網絡帶寬自適應傳輸策略[J].計算機工程，2004，30(16):160－163.

[4]陳嘉健，李崇榮. 基于下一代互聯網的立體視頻傳輸 [J].大連理工大學學報，2005， 45(z1):219-224.

[5]JOHANSON M. Stereoscopic video transmission over the Internet: Internet applications[C]//Proc of the 2nd IEEE Workshop on

WIAPP.2001:12－19.

[6]SCHULZRINNE H， CASNER S. RFC 1890，RTP profile for audio and video conferences with minimal control[S]. 1996.

[7]HILTUNEN M A， SCHLICHTING R D， HAN Xiao－nan， et al. Real－time dependable channels: customizing QoS attributes for distributed systems [J]. IEEE Trans on Parallel and Distributed Systems， 1999，10(6):600-612.

[8]BUSSE I， DEFFNERB， SCHULZRINNE H. Dynamic QoS control of multimedia applications based on RTP[J]. Computer Communications， 1996，19(1):49-58.

[9]CLINE L S， DU J， KEANY B， et al. DirectShow RTP support for adaptivity in networked multimedia applications[C]//IEEE International Conference on Multimedia Computing and Systems. Austin， Texas:[s.n.]，1998.

[10]WU Da－peng， HOU Yi－wei， ZHU Wen－wu， et al. Streaming video over the Internet: approaches and directions[J]. IEEE Trans on Circuits and Systems for Video Technology， 2001，11(3):282-300.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”