支持ＩＰｖ６的多視點視頻點播系統(tǒng)

摘要：介紹了多視點視頻點播系統(tǒng)的框架結構，提出了多視點視頻系統(tǒng)的關鍵技術、網(wǎng)絡傳輸控制以及具體實現(xiàn)方法。

關鍵詞：多視點視頻；系統(tǒng)；編碼；交互

中圖分類號：TP39文獻標志碼：A

文章編號：1001－3695(2008)04－1250－04

多視點視頻[1]（multi－view video/3D video）是視頻處理領域中一種全新的應用，其通過在場景中放置多臺攝像機，記錄下多個視點視頻數(shù)據(jù)，提供給用戶以視點選擇與場景漫游的交互能力。多視點視頻所使用的多臺攝像機按照一定的規(guī)律組合放置。一般有平行、匯聚和發(fā)散三種基本方式，如圖1所示。多視點視頻的提出體現(xiàn)了下一代多媒體應用的發(fā)展方向——網(wǎng)絡化、交互性和真實感。在未來高速的網(wǎng)絡環(huán)境下，多視點視頻將在面向高寬帶與高密度存儲介質(zhì)的交互式多媒體應用領域具有廣泛的應用前景。

目前，國際標準化組織如MPEG已經(jīng)充分認識到多視點視頻這一新的數(shù)字媒體的重要性和應用前景，正在著手制定這方面標準。2001年MPEG會議提出多視點視頻標準；2002年MPEG會議正式發(fā)出了3DAV的需求文檔；2005年MPEG會議形成了3D AV的技術征集文檔。國際上多視點視頻系統(tǒng)的相關工作尚處在初級階段。歐洲的ATTEST建立了向下2D兼容的3D視頻廣播系統(tǒng)，使用基本層（遵循標準的DVB 編碼格式）+增強層（深度信息，采用MPEG－2/4/7 編碼）的編碼方案[2]。Mitsubishi實現(xiàn)了一個全功能端到端的3D－TV系統(tǒng)，它采用具有可擴展性的多路視頻獨立編碼、傳輸?shù)姆桨福趥鬏敳糠种苯佑酶咚倬钟蚓W(wǎng)代替數(shù)字電視的信號調(diào)制、鏈路傳輸、接收解調(diào)等環(huán)節(jié)。ETRI開發(fā)了一系列3DTV直播設備并進行了一定范圍的試播。它采用的是將兩路視頻的視頻幀分別降低垂直分辨率拼成一個視頻幀后編碼、傳輸和解碼的視頻幀復用的系統(tǒng)方案[3]。這些已有的成型系統(tǒng)均存在對硬件要求過高、無法很好支持視點選擇和場景漫游等用戶的交互功能。

本文將支持IPv6的高帶寬網(wǎng)絡環(huán)境中構建多視點視頻點播系統(tǒng)作為研究目標，提出了面向較小規(guī)模的高質(zhì)量交互要求應用。筆者建立了支持視點選擇和平滑視點切換等功能的多視點視頻點播系統(tǒng)，采用基于視點間預測的多視點分組編碼方案，提高了編碼效率，降低了網(wǎng)絡帶寬的需求。

1多視點視頻點播系統(tǒng)的結構框架及關鍵技術

1．1結構框架

多視點視頻點播系統(tǒng)結構框架如圖2所示。

系統(tǒng)包括服務器和客戶端兩部分，它們之間通過高速網(wǎng)絡相連。客戶端的交互控制模塊和服務器端的交互響應模塊分別與各自模塊相連，它們通過高速網(wǎng)絡鏈路進行通信。視頻數(shù)據(jù)處理包括采集、編碼、傳輸、解碼、合成[4]和顯示等。其中的數(shù)據(jù)采集、編碼與合成部分是在服務器端預先處理完成的，數(shù)據(jù)的傳輸、解碼和顯示功能是在線實時交互點播的。

1．2多視點編碼

高效的多視點視頻編/解碼是多視點點播系統(tǒng)研究的關鍵技術之一。在編碼端多路視點的數(shù)據(jù)必須利用多攝像機之間的空間冗余大幅度降低用于傳輸和存儲的碼流，與傳統(tǒng)視頻碼流相比，增加的三維數(shù)據(jù)應不超過一定的上限，以增加新的應用的可接受性；同時，編碼體系還要考慮解碼端基于視點的解碼需求，能夠在有限增加解碼系統(tǒng)復雜度的前提下支持用戶進行交互選擇視點和觀察方向。

由于多路視頻除了本身具有前后時間上的關聯(lián)外，在拍攝空間上還有相互的關聯(lián)，需要利用這些時空關聯(lián)信息以實現(xiàn)高效的多視點視頻的編碼[5]。

1．2．1視點組中關鍵幀的編碼

在一個視點編碼組內(nèi)，關鍵幀是包含信息量最大的視頻幀，同時同一視點軸上的關鍵幀采集于同一場景的同一時刻，采集的攝像機又是位置相鄰，所以它們之間包含了較大的空間冗余信息。于是筆者采用視點間預測的辦法來進行視點組中關鍵幀的編碼，以提高總的多視頻編碼效率。由于在視點軸上的視頻幀都是同步采集，不存在先后順序關系，而位于采集位置中央的視點顯然包含有與其他視點的差異最小、最適合作為其他視點的參考視點，于是選取位于視點組中間視點的關鍵幀采用幀內(nèi)編碼模式最先編碼，兩旁的視頻幀依次向中間參考直至中間視點[6]。其編碼預測結構如圖3所示。

在一個視點組內(nèi)關鍵幀視點間的預測被限定在一定的范圍內(nèi)，位于視點組中間的視點的關鍵幀采用幀內(nèi)編碼，其無須參考任何其他視點；解碼需要最多的其他視點參考幀的是視點組內(nèi)的位于最兩邊的視點，不過其關鍵幀解碼也僅限于需要橫向參考該視點組內(nèi)一半數(shù)目的視點。

采用這種關鍵幀預測結構設計，可以基于視點分組策略，在單個視點組內(nèi)進一步地降低視點間關聯(lián)程度，降低單路視點視頻解碼代價以及視點切換延時。

1．2．2視點組中非關鍵幀的編碼

在一個視點編碼組內(nèi)，關鍵幀采用視點間同一時刻對應視頻幀預測提高了整個視點組的編碼效率。在多視點視頻的視頻序列中，通常會出現(xiàn)平移或者旋轉(zhuǎn)的運動。圖4中的第二個視點的當前時刻視頻幀無法在第一個視點當前時刻對應幀找到合適的參考。不過，它卻可以在第一視點已經(jīng)過去了的前面時刻視頻幀找到非常合適的參考。這樣，非同一時刻的視點間預測在這種情況下可以得到非常好的編碼效果。

基于這樣的考慮，在編碼方案設計中，視點編碼組內(nèi)的非關鍵幀編碼采用非同一時刻的視點間預測。非關鍵幀之間的視點間預測，在編碼方案中不再被使用。即各非關鍵幀編碼參考其視點GOP 內(nèi)關鍵幀和時間順序前一幀，除此以外，各非關鍵幀編碼還可以參考其視點GOP 內(nèi)關鍵幀所參考的其他視點關鍵幀。這樣做除了基于多視點視頻的視頻內(nèi)容特點考慮外，更重要的是為了降低單路視點視頻的提取代價。由于在時間軸上各個視頻幀相關性非常大，各非關鍵幀通過時間軸的預測已有很高的編碼效率。不采用非關鍵幀之間的視點間預測，可以很好地降低視點間相關性，使得單路視點視頻的提取代價大為降低，同時總的編碼效率也不會有明顯損失。

1．2．3視點組的編碼預測結構

多視點視頻編碼方案是一種綜合考慮多視點視頻的壓縮效率、單路視點解碼代價、視點切換延時、并行處理等需求的完整的多視點視頻編碼方案。各個視點組均按照這樣的方案編碼，視點組之間編碼過程相互獨立。例如包含五個視點的視點組編碼預測結構如圖5所示。

編碼方案中在關鍵幀上采用視點間預測編碼，其余幀和Simulcast 同樣采用時間軸的預測編碼，所以編碼整個視頻流所能獲得的收益取決于關鍵幀的間隔，而多視點視頻的應用通常要求較小的關鍵幀間隔以實現(xiàn)快速的視點切換，這樣編碼方案可以較明顯地提高整個視頻流的編碼效率，同時又支持低延時的隨機訪問。

1．3交互功能

支持視點選擇和平滑視點切換等交互功能也是多視點點播系統(tǒng)研究的關鍵技術。由于用戶能夠交互地選擇場景視點，即實際傳輸?shù)接脩艚K端的視頻流可以是多視點視頻碼流中的一路或多路，多視點視頻流化傳輸研究將集中在系統(tǒng)層的多路視頻流/解復用、交互控制通路、基于交互請求的多視點視頻轉(zhuǎn)碼，以及網(wǎng)絡自適應碼流剪裁。

多視點視頻點播系統(tǒng)除了普通視頻點播功能之外，還需要提供以下交互功能來支持多視點視頻應用。

1．3．1視點的交互選擇

在線用戶從服務器磁盤存儲的多路視頻流中任意選擇一路進行播放。播放過程中可以在不同視頻流的同一時刻上進行切換，即從多路視頻流中任意選擇一路進行播放。

1．3．2時間暫停的視點切換

多攝像機連續(xù)切換。在用戶選擇的切換點，服務器將同一時刻的各路攝像機視頻幀按位置順序?qū)懭刖彺婧蟀l(fā)送給用戶，形成某一時刻的場景全景，如圖6所示。用戶利用收到的各路攝像機在該時刻的視頻幀進行本地的視頻合成，形成連續(xù)平滑的切換過程，作為比賽中的精彩全景畫面進行回放。用戶可以在觀看回放過程中選擇最佳的視點繼續(xù)播放。

1．3．3時間連續(xù)的視點切換

連續(xù)視點切換過程按照攝像機位置順序和時間順序，服務器一次選取各路視頻流中對應時刻的視頻幀寫入緩存后發(fā)送給用戶，相當于體育比賽中的回放，如圖7所示。交互機制與時間暫停的后臺合成視點切換相同。合成過程需要解碼起始視點到中止視點中間各路視頻合成時間段內(nèi)的碼流，進行每一時刻兩幀圖像間的插值合成。

2多視點視頻點播系統(tǒng)的實現(xiàn)

2．1播放器功能界面

本文實現(xiàn)的多視點視頻點播系統(tǒng)如圖8所示。用戶指定服務器地址和服務目錄信息來連接到視頻服務器；服務器響應客戶可用的視點數(shù)和相關配置信息；用戶在選擇相應播放模式后可以同時播放四路視點視頻，播放的同時也可以進行視頻切換和播放暫停、停止等功能控制。

當用戶選擇平滑切換時，客戶端進行切換視頻的合成，用戶可以對合成好的視頻進行播放、反向播放以及拖動進度條等操作來選擇最佳視點繼續(xù)觀看視頻。其中最右下角視頻框為平滑選擇切換窗口。

2．2多路播放功能的實現(xiàn)

利用DirectShow提供的一系列標準模塊來進一步實現(xiàn)多視點點播功能。傳統(tǒng)的DirectShow軟件FilterGraph結構在程序初始化時就已經(jīng)確定，標準的DirectShow FilterGraph鏈路只支持一個媒體對象的播放控制，如圖9所示。其中主要包括三個部分：source rilter負責讀取文件，提供視頻源；decoder filter負責視頻解碼和視頻處理；render filter負責顯示，但是它無法在程序運行的過程中動態(tài)地創(chuàng)建或者刪除視頻流，只能銷毀已有的FilterGraph結構，再重新創(chuàng)建。當前視頻流的播放必須被中止，這樣將花費大量的系統(tǒng)開銷。這在多視點視頻系統(tǒng)中是無法接受的。顯然，如何設計軟件的FilterGraph結構是在多視點視頻點播系統(tǒng)實現(xiàn)中所面臨的重大挑戰(zhàn)。

為了支持多路視頻同時播放，筆者構建了如圖10所示的FilterGraph鏈路。使用一個video mixing renderer的filter可以接收多路解碼后的視頻流輸入在屏幕上顯示。但這種FilterGraph鏈路仍然無法獨立分別控制多路視頻的播放，既不能在一路播放的過程中對另一路視頻進行暫停、停止、搜索等操作，也無法在一路視頻的播放過程中不受影響地打開新的視頻播放或進行其他處理。

在實現(xiàn)多路視頻能夠同時播放后，為了實現(xiàn)相互獨立的播放控制以及對其中一路視頻進行倒播或?qū)Χ嗦芬曨l進行平滑切換等功能，筆者采用了一種特殊的FilterGraph結構設計共享Allocator－presenter的FilterGraph結構，如圖11所示。

這種結構能夠很好地解決多視點視頻系統(tǒng)實現(xiàn)中多路視頻流獨立處理的特殊需求問題。它具有如下特點：

a)每一個視頻流都創(chuàng)建一條獨立的FilterGraph 鏈路和一個VMR（video mixing renderer）實例，并由其獨立的FilterGraph manager來管理。

b)所有VMR不使用默認的Allocator－presenter，而是共享一個由應用程序提供的Allocator－presenter。

c)由共享的Allocator－presenter來控制最終顯示視頻的大小、位置以及其他效果。

4)每條視頻流的FilterGraph鏈路完全獨立控制，甚至可以動態(tài)添加和刪除。

2．3支持IPv6的網(wǎng)絡傳輸和控制功能的實現(xiàn)

點播系統(tǒng)的網(wǎng)絡傳輸控制協(xié)議如圖12所示。其中采用RTSP協(xié)議來進行交互控制，包括建立連接、初始化視點以及用戶交互命令的發(fā)送等。RTSP的消息內(nèi)容是由消息類型、視點號兩部分組成。采用RTP協(xié)議進行視頻數(shù)據(jù)傳輸，使用RTCP協(xié)議監(jiān)督和控制RTP協(xié)議對視頻數(shù)據(jù)的傳輸[7，8]。

在傳輸視頻幀前，需要封裝相關視點和交互信息以支持多視點視頻點播系統(tǒng)的應用。視頻幀封裝頭長度設定為16 bit，如圖13所示。前2 bit 用來定義幀類型：bit 0=0，正常播放時I 或P 幀；bit 0=1，表示視頻切換；bit 0~1=10，用于視點切換的I幀；bit 0~1=11，用于視點平滑切換的I幀。bit 2~6用于未來功能擴展保留的4 bit。bit 6~15是用來標志該幀所在的視點ID。

由于DirectShow提供的source filter沒有提供支持IPv6的功能，為了使多視點視頻點播系統(tǒng)能在IPv6網(wǎng)絡環(huán)境下實現(xiàn)，本文采用微軟提供的WMASFReader作為播放系統(tǒng)的source filter。微軟提供的WMASFReader為視頻流在IPv6環(huán)境下的應用提供了很好的支持，這樣在DirectShow環(huán)境下實現(xiàn)了支持IPv6的視頻點播功能。使用的WMASFReader的FilterGraph參考圖如圖14所示。

3系統(tǒng)性能指標

在MPEG 3DAV小組提供的標準多視點視頻測試數(shù)據(jù)EE2進行合成實驗，筆者選用了其中水平拍攝的16 個

視點數(shù)據(jù)，圖像分辨率為320×240 ，相鄰攝像機夾角為22.5°，視頻播放幀率為30 fps。局域網(wǎng)內(nèi)實際測試性能如表1所示。

最后通過原型系統(tǒng)實際運行測試，在視點交互選擇響應、視點平滑切換響應等多視點交互性能指標上均取得了滿意的性能。

4結束語

本文介紹了基于高速網(wǎng)絡環(huán)境下支持視點選擇和平滑視點切換等交互功能的多視點視頻點播系統(tǒng)的具體實現(xiàn)方法。該系統(tǒng)大大提高了多視點視頻點播的性能，讓人們看到了多視點視頻的發(fā)展?jié)摿ΑＯ乱徊降墓ぷ鲗⒀芯扛咝实亩嘁朁c視頻編碼算法和網(wǎng)絡傳輸機制。

參考文獻：

［1］MPEG.ISO/IEC JTC1/SC29/WG11 MPEG2005 N5877，Application and requirements for 3DAV[S]. Poznan:[s.n.]，2005.

［2］BEECKDE M O，WILINSKI P，F(xiàn)EHN C，et al.Towards an optimized 3D broadcast chain[C]//Proc of SPIE.Boston:[s.n.]，2002:42－50.

［3］HUR N， LEE G， YOU W，et al.An HDTV－compatible 3DTV broadcasting system[J].ETRI Journal，2004，26(2):71－82.

［4］LI Fang，YANG Shi－qiang.Virtual viewpoint synthesis in multi－view video system[C]//Proc ofVisual Communications Image Proces－sing (VCIP).Beijing:[s.n.]，2005:1246－1254.

［5］XIE Jian， SUN Li－feng， CHENG Xiao－yu，et al.A multi－view video coding scheme for interactive streaming with low decoding cost[C]//Proc of Picture Coding Symposium.Beijing:[s.n.]，2006.

［6］CHEN G，CHEUNG N M，WANG H S.ISO/IEC/JTC1/SC29/WG11 MPEG2004/m10512，Using inter－view prediction for multi－view video compression[S]. Munich:[s.n.]，2004.

［7］鐘玉琢，向哲，沈洪.流媒體和視頻服務器[M].北京:清華大學出版社，2003:61－82.

［8］JOHANSON M.Stereoscopic video transmission over the Internet[C]//Proc of the 2nd IEEE Workshop on Internet Applications (WIAPP).San Jose:[s.n.]，2001:12－19.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”