視頻碼流的層次劃分研究

周 菡，于文斌

(1.中國(guó)電信陜西公司信息技術(shù)支撐中心，陜西西安 710071;2.西安電子科技大學(xué)通信工程學(xué)院，陜西西安 710071)

近年來以視頻和圖像等多媒體業(yè)務(wù)作為主要傳輸對(duì)象的通信技術(shù)成為當(dāng)今通信領(lǐng)域研究的重點(diǎn)。但是由于面臨著信道噪聲和頻帶緊缺等因素的影響，在網(wǎng)絡(luò)帶寬十分有限的情況下，只能使用較低的信道編碼效率，而較低信道編碼效率會(huì)造成傳輸冗余的增加，降低信道利用率。因此更好地進(jìn)行數(shù)據(jù)壓縮和差錯(cuò)控制成為多媒體通信技術(shù)的關(guān)鍵問題。

不平等錯(cuò)誤保護(hù)技術(shù)，目前已在圖像和視頻的無線傳輸中得到廣泛關(guān)注［1］。以視頻業(yè)務(wù)信息的傳輸為例，在視頻比特流中的各個(gè)部分有著不同的重要性，某些比特對(duì)錯(cuò)誤的抵抗能力比其他比特要差，從而需要對(duì)信號(hào)的不同部分給予不同等級(jí)的保護(hù)。不等差錯(cuò)保護(hù)作為聯(lián)合信源信道編碼的一種，在網(wǎng)絡(luò)資源有限情況下，根據(jù)業(yè)務(wù)碼流中的不同部分的重要性不同，采用不同的信道保護(hù)機(jī)制，從而獲得可用視頻或圖像業(yè)務(wù)。目前不等差錯(cuò)保護(hù)策略主要有兩個(gè)研究方向:一是研究如何對(duì)信源編碼端數(shù)據(jù)進(jìn)行等級(jí)劃分;二是對(duì)等級(jí)劃分后的數(shù)據(jù)采用怎樣的不等編碼保護(hù)問題。而這其中對(duì)于業(yè)務(wù)碼流信息中的各個(gè)部分重要性的分析和劃分就顯得尤為重要，碼流信息按重要性劃分為接下來的不平等差錯(cuò)編碼保護(hù)提供了可能。對(duì)MPEG－2［2－3］碼流信息的不等差錯(cuò)保護(hù)也引起了廣泛關(guān)注。

文中對(duì)MPEG－2視頻碼流信息的重要性劃分方式進(jìn)行研究，提出一種基于幀間層次的視頻碼流劃分方案。仿真結(jié)果表明本文所提的層次劃分方式優(yōu)于傳統(tǒng)的基于圖像幀的劃分方式經(jīng)不等差錯(cuò)保護(hù)后視頻恢復(fù)效果。

1 幀間層次劃分

下面以MPEG－2視頻標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則，結(jié)合不同圖像幀(I，P，B幀)對(duì)視頻重建所起作用不同提出一種簡(jiǎn)單有效的視頻碼流劃分方式，即幀間層次劃分方式。該劃分方式區(qū)分不同的圖像幀，以及圖像幀中的不同層次，根據(jù)各圖像幀中不同層次對(duì)視頻重建貢獻(xiàn)度不同，將視頻碼流進(jìn)行分類劃分。

在測(cè)試幀內(nèi)層次劃分時(shí)，選用一個(gè)增強(qiáng)層，取數(shù)據(jù)分割的優(yōu)先級(jí)斷點(diǎn)值為69，可將圖像幀中的內(nèi)容分割為兩層，將視頻碼流分成6組不同類型的數(shù)據(jù)，即I幀基本層，I幀增強(qiáng)層，P幀基本層，P幀增強(qiáng)層，B幀基本層和B幀增強(qiáng)層。在不同信道誤碼率情況下對(duì)這6組不同類型的信息分別引入隨機(jī)錯(cuò)誤，則重建視頻圖像的PSNR均值如表1所示。

表1 各幀不同層次出錯(cuò)后重建視頻圖像PSNR均值 /dB

根據(jù)表1中的仿真實(shí)驗(yàn)計(jì)算結(jié)果可知，對(duì)同一圖像幀的基本層及增強(qiáng)層，在相同誤碼率時(shí)重建視頻圖像PSNR均值的存在著差異;不同圖像幀的相同層次之間出錯(cuò)后重建視頻圖像的PSNR均值也存在差異。視頻增強(qiáng)層對(duì)誤碼率有要求，若要接收并使用視頻增強(qiáng)層則必須滿足其相應(yīng)的誤碼要求。

根據(jù)仿真結(jié)果，PSNR均值達(dá)到33～38 dB為準(zhǔn)對(duì)視頻碼流進(jìn)行分類，則視頻碼流被分成4類不同重要性的等級(jí)。其中I幀的基本層對(duì)誤碼要求最高作為第一等級(jí)信息數(shù)據(jù);P幀基本層和I幀的增強(qiáng)層出錯(cuò)恢復(fù)效果接近，對(duì)誤碼要求低于第1類作為第2等級(jí)信息;B幀的基本層及P幀的增強(qiáng)層作為第3等級(jí)信息;B幀增強(qiáng)層的容錯(cuò)能力最強(qiáng)，該類信息為第4等級(jí)。

根據(jù)視頻碼流信息中基本層和增強(qiáng)層對(duì)視頻所起作用的不同，結(jié)合I，P，B幀圖像對(duì)視頻所起作用不同的原則劃分整個(gè)視頻碼流，最終得到4類對(duì)視頻重建貢獻(xiàn)度不同的碼流信息:

第1類信息 包括視頻碼流中的頭、控制信息，I幀圖像的基本層;

第2類信息 包括I幀圖像增強(qiáng)層，P幀圖像的基本層;

第3類信息 包括P幀圖像增強(qiáng)層，B幀圖像的基本層;

第4類信息 包括B幀的增強(qiáng)層及視頻碼流中的填充信息。

按照層次結(jié)構(gòu)劃分方式，在選用的視頻樣本中各類信息所占比例為:0.1701，0.2801，0.4426，0.1072。

根據(jù)上面的不同重要性級(jí)別內(nèi)容，視頻碼流信息按照層次劃分方式進(jìn)行劃分的結(jié)構(gòu)示意圖如圖1所示，圖中的“H”表示圖像頭及slice頭信息，該類信息歸到第一等級(jí)的信息中予以重點(diǎn)保護(hù)。

圖1 視頻碼流層次劃分方式

根據(jù)視頻層次對(duì)視頻貢獻(xiàn)作用不同結(jié)合不同圖像幀的數(shù)據(jù)劃分方式，在劃分時(shí)利用MPEG－2標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則［7－8］，劃分方式簡(jiǎn)單，劃分后所得到的不同類信息的對(duì)重建視頻所起作用也有所不同。圖2為不同等級(jí)信息在不同誤碼情況下的重建視頻圖像的PSNR均值曲線。各類信息的PSNR均值曲線區(qū)分明顯，其中第1、2等級(jí)在不同誤碼時(shí)的重建視頻圖像PSNR均值曲線接近，而與第3、4類信息差距較大。

基于幀間層次的視頻碼流劃分方案是基于視頻標(biāo)準(zhǔn)中數(shù)據(jù)分割原則，根據(jù)各幀不同層次對(duì)重建視頻所起的作用不同的基礎(chǔ)上提出的，實(shí)際上是對(duì)碼流信息中不同類型的數(shù)據(jù)按照數(shù)據(jù)分割方式進(jìn)行了劃分。

圖2 不同信息出錯(cuò)后重建視頻圖像PSNR均值曲線

2 視頻幀間層次劃分的不平等差錯(cuò)保護(hù)

根據(jù)MPEG－2標(biāo)準(zhǔn)中的數(shù)據(jù)分割原則，結(jié)合不同圖像幀，提出將視頻文件分為了4個(gè)不同重要性類別的分類方式。業(yè)務(wù)信息的不平等差錯(cuò)保護(hù)傳輸，在完成了業(yè)務(wù)信息的劃分之后，需要對(duì)不同等級(jí)的信息進(jìn)行不等差錯(cuò)編碼保護(hù)。下面按照幀間層次劃分方式對(duì)所選用的視頻樣本進(jìn)行分類，對(duì)分類信息進(jìn)行不平等差錯(cuò)編碼保護(hù)仿真實(shí)驗(yàn)。

在仿真測(cè)試時(shí)將一個(gè)編碼分組長(zhǎng)度(1504 bit)根據(jù)四類信息所占比例{0.1701，0.2801，0.4426，0.1072}，分為4個(gè)不同長(zhǎng)度用于不同類信息的傳輸。仿真條件:信道為加性高斯白噪聲信道。所采用的信道編碼方式為ZS－IGLDPC，設(shè)置編碼結(jié)構(gòu)中的4類(k=4)不同重要性信息的重復(fù)次數(shù)分別為:Rep1=7，Rep2=6，Rep3=5，Rep4=4;信道編碼碼率為0.5211。對(duì)層次劃分所得的4類信息進(jìn)行不等差錯(cuò)編譯碼仿真，圖3為4類信息的誤碼性能曲線。

圖3 按層次劃分方式不等差錯(cuò)保護(hù)誤碼曲線

在不同信噪比時(shí)計(jì)算4類信息經(jīng)信道不等差錯(cuò)保護(hù)傳輸后重建視頻圖像的PSNR均值，所得結(jié)果如表2所示。

表2 幀間層次劃分UEP重建視頻圖像PSNR均值 dB

通過上表中不難發(fā)現(xiàn)，在選取的信道條件下，采用幀間層次劃分的視頻碼流的不平等差錯(cuò)保護(hù)的重建視頻圖像的PSNR均值要高于不分類情況下均等保護(hù)重建視頻圖像的PSNR均值，且高于按傳統(tǒng)圖像幀劃分時(shí)重建視頻圖像的PSNR均值。在信息信噪比為2.6 dB時(shí)，按照層次劃分方式相比不分類情況，重建視頻圖像的PSNR均值約有8 dB的提高;相比傳統(tǒng)的按圖像幀的劃分方式進(jìn)行不等差錯(cuò)保護(hù)的視頻恢復(fù)圖像，其PSNR均值約有4 dB的提高。

在信噪比為2.6 dB時(shí)，不同分類方式經(jīng)相應(yīng)信道編碼保護(hù)后重建視頻圖像效果直觀圖如圖4所示。

圖4 2.6 dB時(shí)不同分類方式重建視頻圖像效果直觀圖

圖4中的畫圓圈部分為視頻圖像出錯(cuò)位置，按照層次劃分方式經(jīng)不等差錯(cuò)編碼保護(hù)后的重建視頻效果要優(yōu)于碼流不分類均等差錯(cuò)保護(hù)的情況，相比傳統(tǒng)的按照?qǐng)D像幀劃分經(jīng)不等差錯(cuò)保護(hù)的方式在視頻恢復(fù)效果上也有所提高。

3 結(jié)束語

基于幀間層次的視頻碼流劃分方式是在MPEG－2的數(shù)據(jù)分割原則基礎(chǔ)上結(jié)合圖像幀對(duì)視頻影響作用不同而提出的，層次劃分過程復(fù)雜度不高，相比傳統(tǒng)劃分方式，在區(qū)分圖像幀基礎(chǔ)上，只需區(qū)分圖像幀中的不同層次數(shù)據(jù)即可。通過仿真測(cè)試驗(yàn)證，視頻采用幀間層次進(jìn)行碼流信息劃分，作不等差錯(cuò)編碼保護(hù)之后所獲得的重建視頻效果要優(yōu)于不分類情況，相比傳統(tǒng)的圖像幀不同的劃分方式，效果也有較大的提升。

［1］ SRINIVASAN M，CHELLAPA R，BURLINA P.Adaptive source－channel subband video coding for wireless channels［C］.Workshop on Multimedia Signal Processing，1997.

［2］ CHIARIGLIONE L.MPEG and multimedia communications［J］.IEEE Trans.Circuits and Systems for Video Technology，1997，7(1):5 －18.

［3］ HASKELL B G.Image and video coding － emerging standards and beyond［J］.IEEE Trans.Circuits and Systems for Video Technology，1998，8(7):814 －837.

［4］ 孔繁鏘，吳成柯，張方，等.一種基于聯(lián)合信源信道自適應(yīng)的不等錯(cuò)誤保護(hù)方法［J］.電視技術(shù)，2004(11):8－11.

［5］ 楊海明，趙明生.多媒體會(huì)議中圖像通信的不等差錯(cuò)保護(hù)技術(shù)實(shí)現(xiàn)［J］.電視技術(shù)，2004(6):80－82.

［6］ 陳孫陽，陳穎琪，王慈.視頻傳輸不等差錯(cuò)保護(hù)方案設(shè)計(jì)［J］.電視技術(shù)，2010(6):87 －89，105.

［7］ 鄭偉國(guó)，肖自美，楊群星.變碼率MPEG－2視頻編碼的統(tǒng)計(jì)特性及數(shù)據(jù)分割可分級(jí)的新方法［J］.通信學(xué)報(bào)，1998，19(10):32－39.

［8］ 胡棟.視頻分級(jí)編碼及可靠傳輸?shù)木幋a技術(shù)研究［D］.上海:上海交通大學(xué)，2007.