李淑華
摘 要:電視技術先后經歷黑白、彩色、數字高清等發展階段,隨著科技的不斷進步,立體電視逐漸成為關注的焦點。立體多視角3DTV處理系統構建及實現的關鍵在于對面向3DTV的立體視頻編解碼及傳輸流方法進行深入分析。本文首先介紹立體視頻編碼,在此基礎上對立體視頻壓縮編碼方法及立體視頻流傳輸方法進行闡述。
關鍵詞:立體電視,編解碼技術,視頻壓縮編碼,視頻流傳輸
3DTV codec based video streaming technology research
Abstract: Television technology has gone through the black and white, color, digital high-definition and other stages of development, as technology progresses, the three-dimensional television has become the focus of attention. Three-dimensional multi-view 3DTV processing system is the key to build and achieve stereoscopic 3DTV-oriented video codec and methods for in-depth traffic analysis. This paper describes the three-dimensional video coding, on the basis of three-dimensional and three-dimensional video compression coding method for video streaming method described.
Keywords: three-dimensional TV, codec, video compression, video streaming
1. 前言
3DTV根據人體左右眼視差特性產生并顯示立體圖像,帶給觀眾全新視覺享受。立體電視是隨著科技的不斷進步,電視技術發展的一大趨勢,但當前仍面臨一些亟待解決的問題,例如,觀眾視覺特性無法得到切實滿足,出現錯位時會造成視覺疲勞或頭痛;多攝像機成本較高;立體制片程序繁雜、成本高,節目源有限等等。實時立體多視角3DTV系統構建的重點在于3DTV編解碼技術及立體視頻流的優化傳輸。
2. 立體視頻編解碼分析
立體視頻與傳統單通道視頻相比,需要處理的數據量更大,在此筆者從空間、時間以及兩個通道間的立體視頻冗余的角度分析立體視頻編解碼技術;此外,壓縮存儲及傳輸立體視頻數據則主要依托于運動補償預測及視差補償預測等技術。
MPEG-2標準中圖像編碼的層次結構。MPEG-2標準中圖像編碼碼流從上而下依次分為6個層次:視頻序列層(Video Sequence)、圖像組層(Group of Pictures,GoP)、圖像層(Picture)、宏塊條層(Slice)、宏塊層(Macro Block)及像塊層(Block)。
除宏塊層和像塊層外,其他4層都有相應的起始碼,解碼器重新捕捉同步,以免一次不同步而丟失一組像素的數據。序列層是指構成某路節目的序列,序列起始碼后的序列頭中包括了圖像尺寸、寬高比、圖像速率等信息,序列擴展中包含了一些附加數據。為了保證能隨時進行圖像序列化,序列是重復發送的。圖像層由圖像層頭部和宏塊條層數據組成。圖像不僅是基本編碼單元,也是一個獨立顯示單元。圖像可分為I、P、B三種類型。圖像層頭部中包含了圖像編碼的類型和時間參數信息。立體視頻拍攝突出特點就是借助雙目平行相機系統從兩個視角拍攝一個景物,這樣所得到的視頻是由左通道及右通道構成,每幀圖像內部的像素之間有信息冗余存在,與此同時,通道內部多幀圖像之間也有信息冗余存在,在立體視頻傳輸系統之下,借助編解碼技術及壓縮技術可以將此類信息冗余予以消除。當前已經具備較為成熟的單通道視頻編碼標準,例如MPEG-2、MPEG-4、H 264以及AVS等,在相關標準所具有的時域分級特性基礎之上,實施立體視頻壓縮具有現實可行性。時域分級分為兩層,分別是基本層及增強層,其中,基本層與立體視頻左通道對應,增強層與立體視頻右通道對應。建立在AVS標準基礎之上的立體視頻編碼示意圖詳見圖1所示。
在上圖中,以AVS標準為主要依據,左通道實施簡單編碼,并對右通道各個圖像塊進行預測,預測方式主要有兩種,分別是MCP及DCP,以誤差較低的作為最終預測結果。
要想實現較好的立體視頻編碼壓縮效果,單純針對兩個通道分別進行高效單通道視頻編碼是不夠的。原因在于,立體視頻編碼一方面需要對各個通道幀內空間冗余度及各個圖像之間的時間冗余度加以考慮,另一方面,兩個通道圖像相互間的空間冗余度也不能忽視,通常情況下,借助視差補償預測法即可將其消除。筆者在此所闡述的是依托于AVS標準的立體視頻壓縮編碼方法,詳見下圖所示。
3. 立體視頻流傳輸方法
立體視頻流最顯著的特征就是擁有雙通道,并且具有諸如高寬帶、非對稱性流量、高并發以及QOS保證等傳統單通道流媒體所具有的特點;不僅如此,立體視頻流還具有以下兩方面顯著特征:第一,立體視頻流與傳統單通道視頻流相比,前者擁有更大的視頻流數據量,通常情況下,比后者多近三分之一;第二,兩個通道數據在重要性程度上有所區別,由于左通道數據是右通道數據解碼的重要基礎,再加上視頻連續性因素,丟失一些右通道的數據不會給視頻整體效果產生明顯影響,對于觀眾而言,對視覺效果產生的不利影響幾乎可以忽略不計,因此,需要在單通道流媒體基礎之上對立體視頻流傳輸予以適當的擴充,并且左通道數據在傳輸上享有優先保障。
傳遞流媒體內容的技術有兩種,分別是CDN和P2P。其中,前者將中心內容置于網絡邊緣,在最近地方獲取內容,這樣會在一定程度上減輕中心服務器及主干網所承擔的壓力,以便為QOS及服務可用性提供更加有力的保障;P2P則借助用戶間的協作實現對內容的獲取,從而達到緩解內容發布者壓力的目的,為傳輸質量提供可靠保證。這兩種傳遞流媒體內容的技術既有優勢,也存在一定的不足,客戶服務器模式是CDN性能的一大特點,其服務能力更加可靠,服務質量更高,不足之處就是系統擴展性能較弱,對成本的要求較高;而P2P的優點在于成本相對低廉,系統擴展性較為優越,其能夠提供的服務資源隨著終端的增加而增加,從而為系統服務可靠性提供有力保障,不足之處主要體現為其需要占用的寬帶量較大。筆者所闡述的依托于3DTV編解碼技術的視頻流傳輸方法融合了兩種傳遞流媒體內容的技術流媒體分發技術,在P2P基礎之上,引進CDN管理機制,CDN充當中心,對于用戶而言,可以借助P2P客戶端獲得所需要的服務。
立體視頻雙通道傳輸與傳統的單通道傳輸相比,二者最大的不同體現在P2P終端系統模型機調度算法方面。單通道流媒體P2P終端首先對視頻流進行打包處理,并加注相應的標記,用戶將屬于自己的包置于buffer當中,并對其進行標注;再以自己擁有的包及周邊用戶buffer map為依據,決定從何處獲取自身沒有的包,這需要依賴于調度算法來實現;而立體視頻具有左右兩個通道,左通道視頻流打包及右通道視頻流打包需要分別進行,此外,需要對左通道視頻及音頻予以集成,一同打包。所以,對于立體視頻而言,P2P終端的buffer及buffer map必須是傳統單通道視頻流的兩倍。除此之外,立體視頻流P2P終端調度算法也要進行相應的調整,并通過將左通道數據置于優先級別來彰顯左通道數據的重要程度,為左通道數據傳輸質量提供可靠性保障。
4. 結語
電視技術發展至今,先后經歷了黑白電視、彩色電視、數字高清電視等階段,隨著科技的進步,立體電視將成為今后電視技術發展的一大趨勢,對于立體多視角3DTV處理系統的構建及實現而言,關鍵在于對面向3DTV的立體視頻編解碼技術及視頻流傳輸方法進行深入分析和研究。立體視頻技術在最近幾年已經取得長足發展,國內在領域的研究也取得一定成績,但立足全局,我國當前仍處于技術創新及起步階段,研發力量不夠充實,產業化基礎不夠扎實,在技術方面還遠遠落后于國外發達國家。筆者在此所介紹的依托于3DTV編解碼技術的視頻流傳輸方法是建立在DSP平臺基礎之上的,為今后的輕量化立體攝像機的研發創造技術條件。
參考文獻
[1] 林豐.一種基于3DTV編解碼技術的視頻流傳輸方法.計算機應用研究,2011年 第09期
[2] 王明偉,王奇,楊潔,林建中.視頻流傳輸性能的研究與分析.電視技術,2010年 第12期
[3] 王明偉,林建中,王奇.一種基于優先級區分的視頻流傳輸控制算法.計算機技術與發展,2011年 第02期
[4] 李天昊,余松煜,殷志明.基于聯合信源信道編碼的視頻流傳輸.通信技術,2002年 第01期
[5] 黎寧,郭傳雄,鄭少仁.視頻流傳輸的網絡質量保障.電視技術,2001年 第11期