多視點視頻編碼方案及其差錯控制技術的研究

羊飛帆

同濟大學軟件學院，上海 201804

0 引言

目前幾乎所有的三維視頻編碼方案基本都采用時間預測，空間預測和視點間的預測，來消除空域、時域以及視點間的信息冗余，而目前異構性網絡又具有時變，易錯等不利因素使得編碼的三維視頻流對信道差錯非常脆弱。所以，對三維視頻傳輸進行差錯控制就顯得尤為重要。

作為執行H.264標準的一部分，JVT定義的JMVC方案因采用分層B幀預測結構而有著更高的編碼效率，所以在研究領域被更多采用，但其工程文件繁多，代碼結構復雜，為了讓更多初識多視點視頻的研究者更快的熟悉該編碼方案，本文從模塊結構和編碼流程圖角度出發介紹其主要功能和運行方式。

本文主要分為兩個部分，第一部分介紹多視點視頻的分類及其差錯控制技術，第二部分主要介紹了JMVC編碼方案各模塊運行方法和模塊介紹。

1 基于多視點視頻的差錯控制技術

1.1 基于分層B幀結構的差錯控制技術

根據分層B預測結構的特點，Ulrich Fecker[1]提出中將這種三維度頻率選擇性外插的算法應用到多視點視頻中，結合多視頻的特點提出一種適合多視頻的誤碼掩蓋四維度頻率選擇性外插算法，該算法利用丟失宏塊周圍正確接收的宏塊數據和同一視點時域上的前后幀視頻序列信息加上鄰近視點的信息來恢復丟失宏塊，但因為此算法需要構造一個四維正交函數，算法復雜度較高，因此不太適合實時的解碼。文獻[2]對多視點視頻中的整幀丟失提出幀相似度的概念，當相似度高于某個閥值時采用空域中的參考幀對丟失幀進行整幀拷貝；當相似度低于某個閥值時采用時域中的整幀拷貝；當相似度介于兩個閥值之間，則利用時域中的相似宏塊和空域中的匹配宏塊對丟失幀進行重建恢復。

1.2 基于雙目預測結構的誤碼掩蓋技術

另一種結構被稱為雙目預測結構，即立體視頻，立體視頻由左，右兩個試點構成，其中左視點使用運動補償預測消除時間域上的的數據冗余，右視點采用運動信息補償加視差信息補償消除時域和視點間的冗余。

文獻[3]提出基于互查的誤碼恢復的評判準則在時域誤碼掩蓋以及視點間的誤碼掩蓋算法中選擇一種最佳的誤碼掩蓋算法對丟失宏塊進行恢復，其中視點間的誤碼掩蓋算法是利用了可見評判繪制工具，從左右視點中得到的正確解碼的圖像數據與深度數據來繪制整個丟失的彩色信息幀。

2 JMVC（多視點視頻聯合編碼方案）

JMVC，多視點視頻聯合編碼方案，是由MPEG和VCEG的JVT團隊推出的參考編碼方案，其主要語言是C++，由于多視點視頻編碼工程本身在改進和變化，所以該方案也仍在開發中。

2.1 JMVC的獲取方法

使用開源CVS軟件來獲取最新版本的JMVC軟件。輸入配置后，點擊獲取列表，獲得模塊列表，從中選擇“JMVC”模塊。

2.2 JMVC的運行平臺

JMVC 可在Windows 和linux 兩種平臺上運行

Windows平臺下的相應的工程文件在目錄JMVCH264Extensionuild中。

該目錄下包含一個H264AVCVideoEncDec.sln工程，該文件即為JMVC的工程文件，使用 Microsoft Visual Studio.NET的編譯器打開。其運行后的結果相應地存放在主目錄的bin和lib目錄下。該目錄下也包含一個VC6的工程文件H264AVCVideoEncDec.dsw,但該版本未經更新，不建議使用。

2.3 JMVC各模塊介紹

JMVC整個工程包含4個庫和6個可執行的工具.四個庫的工程執行后，相應的.lib文件存放在主目錄的lib目錄下：

1）H264AVCCommonLibStatic

該庫是編碼器和解碼器的公用庫，其中包含了很多類的定義，例如宏塊的數據結構，序列參數集，圖片參數集，圖像數據的存取與訪問，以及DCT變換、量化、去方塊濾波等算法。

2）H264AVCDecoderLibStatic

該庫主要提供了解碼器所需的類，例如碼流解析，熵解碼等。

3）H264AVCEncoderLibStatic

該庫主要提供了編碼器所需的類，例如運動估計，模式選擇，熵編碼等。

4）H264AVCVideoIoLibStatic

該庫主要提供視頻數據的讀寫，包括原始視頻數據YUV文件的讀寫，以及碼流中NAL單元數據的讀寫。

3 結論

本文主要分析了多視點視頻下現有的錯誤隱藏方法，由于高效率的壓縮編碼去除了大量的信息冗余，并且由于網絡擁塞等丟包情況的發生，使得這些差錯控制技術愈發重要。目前對于多視點錯誤隱藏的研究還較少，但實際應用卻較為廣泛，未來有著極好的研究背景。

[1]Ulrich Fecker,J¨urgen Seiler,AndreKaup.4-D Frequency Selective Extrapolation for ErrorConcealment in Multi-View Video.MMSP，2008.

[2]Qingdong Cheng.Researches on Error Concealment Techniques for Mobile Three Dimensional Television.ICIP，2011.

[3]Yanling Xu.Similarity Evaluation Algorithm for Concealment Frame Loss Error in Multi-View Video Transmission，2011.