一種新的多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)

鄧凱文，任仙怡，柳 偉，梁永生

(1.深圳大學(xué) 信息工程學(xué)院，廣東 深圳 518060；2.深圳信息職業(yè)技術(shù)學(xué)院 信息技術(shù)研究所，廣東 深圳 518029；3.深圳市可視媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518029)

?

一種新的多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)

鄧凱文1，任仙怡2，3，柳 偉2，3，梁永生2，3

(1.深圳大學(xué) 信息工程學(xué)院，廣東 深圳 518060；2.深圳信息職業(yè)技術(shù)學(xué)院 信息技術(shù)研究所，廣東 深圳 518029；3.深圳市可視媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518029)

多視點(diǎn)視頻編碼的參考預(yù)測(cè)結(jié)構(gòu)雖然具有高效的壓縮效率，但是隨機(jī)訪問(wèn)性能較差。在綜合考慮了編碼效率和隨機(jī)訪問(wèn)等因素的基礎(chǔ)上，提出了一種改進(jìn)的多視點(diǎn)視頻預(yù)測(cè)結(jié)構(gòu)編碼方法。首先，分析視點(diǎn)與視點(diǎn)間的相關(guān)性來(lái)調(diào)整I視點(diǎn)的位置，然后在此基礎(chǔ)上有效地增加B視點(diǎn)的數(shù)目，以獲得較好的綜合性能。實(shí)驗(yàn)結(jié)果表明，該方法與傳統(tǒng)的參考預(yù)測(cè)結(jié)構(gòu)編碼方法相比，提高了編碼效率，并且具有較好的隨機(jī)訪問(wèn)性能。

多視點(diǎn)視頻編碼；預(yù)測(cè)結(jié)構(gòu)；隨機(jī)訪問(wèn)

1 多視點(diǎn)視頻編碼

隨著不斷增長(zhǎng)的需求和顯示技術(shù)的發(fā)展，三維視頻已經(jīng)成為二維視頻的合理擴(kuò)展。越來(lái)越多的應(yīng)用在使用三維視頻技術(shù)，比如3D電視[1]、自由視點(diǎn)視頻[2]等，這種技術(shù)能夠?yàn)橛脩籼峁┩灰曨l場(chǎng)景的不同觀看視角。這些應(yīng)用的關(guān)鍵技術(shù)是多視點(diǎn)視頻編碼技術(shù)，是一種利用多路攝像機(jī)拍攝同一場(chǎng)景得到一組視頻序列的技術(shù)。因此，具有更好的壓縮效率以及交互式體驗(yàn)的多視點(diǎn)視頻編碼成為了當(dāng)前研究熱點(diǎn)之一[3-5]。

多視點(diǎn)視頻的數(shù)據(jù)量隨著攝像機(jī)的增加而增大，大量的冗余信息給存儲(chǔ)和網(wǎng)絡(luò)傳輸帶來(lái)了巨大的挑戰(zhàn)。為此，ITU．T和MPEG的聯(lián)合視頻組(Joint Video Team，JVT)提出了多視點(diǎn)視頻編碼(Multiview Video Coding，MVC)的概念。多視點(diǎn)視頻編碼的需求包括較高的編碼效率、向后兼容、隨機(jī)訪問(wèn)和視點(diǎn)可分級(jí)等[6]。

預(yù)測(cè)結(jié)構(gòu)是多視點(diǎn)視頻編碼中最重要的技術(shù)，預(yù)測(cè)結(jié)構(gòu)的設(shè)計(jì)得到了廣泛的關(guān)注。日本名古屋最早提出了基于多方向(Multi-direction，M)幀預(yù)測(cè)結(jié)構(gòu)，但其計(jì)算復(fù)雜度大且不利于隨機(jī)訪問(wèn)[7]。文獻(xiàn)[8]針對(duì)平行攝像機(jī)采集的多視點(diǎn)視頻序列，提出了一種能夠充分利用相鄰視點(diǎn)間相關(guān)性和多參考幀模式的預(yù)測(cè)結(jié)構(gòu)。文獻(xiàn)[9]提出的GoGoP(Group of GoP)結(jié)構(gòu)是二維視頻編碼圖像組結(jié)構(gòu)的擴(kuò)展，它將視頻序列分成不同的圖像組，圖像組的組內(nèi)和組外分別采用不同的預(yù)測(cè)結(jié)構(gòu)。文獻(xiàn)[10]提出的基于分層B幀(Hierarchical-B Picture)的預(yù)測(cè)結(jié)構(gòu)具有高效的編碼效率，被采用為MVC(Multiview Video Coding)標(biāo)準(zhǔn)的參考預(yù)測(cè)結(jié)構(gòu)，如圖1所示。但是基于分層B幀預(yù)測(cè)結(jié)構(gòu)的隨機(jī)訪問(wèn)性能差、編碼復(fù)雜度高等缺點(diǎn)。

圖1 基于B幀分層預(yù)測(cè)結(jié)構(gòu)

本文根據(jù)實(shí)際應(yīng)用對(duì)編碼效率、隨機(jī)訪問(wèn)性能和編解碼復(fù)雜度等的需求，提出一種改進(jìn)的預(yù)測(cè)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，本文方法在提高編碼效率的同時(shí)能夠提高隨機(jī)訪問(wèn)性能。

2 I視點(diǎn)的位置

關(guān)鍵幀被編碼為I，P，B幀的視點(diǎn)分別稱為I視點(diǎn)、P視點(diǎn)和B視點(diǎn)。I視點(diǎn)是所有視點(diǎn)的基本參考視點(diǎn)，調(diào)整好其位置能提高編碼效率和隨機(jī)訪問(wèn)性能[11]。全局視差估計(jì)的計(jì)算如式(1)所示，當(dāng)MAD值最小時(shí)i的值就是視點(diǎn)V1和V2之間的全局視差。

(1)

式中：w和h分別表示圖像的寬度和高度；MAD(i)表示平均絕對(duì)差值。

計(jì)算平均全局視差如式(2)所示，全局視差的平均值越小表明該視點(diǎn)與其他視點(diǎn)的相關(guān)性越強(qiáng)。

(2)

式中：g(Si,Sj)表示視點(diǎn)Si與Sj之間的全局視差；MAGD(Si)表示視點(diǎn)Si與其他視點(diǎn)全局視差的平均值；N表示視點(diǎn)數(shù)。

當(dāng)視點(diǎn)數(shù)較多時(shí)，這種方法計(jì)算量太大，Sohn等人研究得出I視點(diǎn)是接近中間位置的視點(diǎn)[12]。因此，本文只對(duì)視頻序列的中間4個(gè)視點(diǎn)進(jìn)行相關(guān)性分析，表1給出了不同視頻序列的視點(diǎn)平均全局視差，表中*標(biāo)記的為I視點(diǎn)的位置。

表1 不同視頻序列的平均全局視差

3 改進(jìn)的預(yù)測(cè)結(jié)構(gòu)

相對(duì)于I幀和P幀，B幀有較高的編碼效率，為了提高編碼效率，應(yīng)該盡可能增加B視點(diǎn)的數(shù)目。但是，隨著B(niǎo)視點(diǎn)數(shù)目的增加，編碼復(fù)雜度也會(huì)相應(yīng)增加，所以，本文提出一種通過(guò)I視點(diǎn)的位置增加B視點(diǎn)數(shù)目的方法，如式(3)所示

(3)

式中：MOD表示取模；SI表示I視點(diǎn)位置的值；I，B，P分別代表I視點(diǎn)、B視點(diǎn)和P視點(diǎn)。

當(dāng)SIMOD3為0的時(shí)候，8個(gè)視點(diǎn)的編碼順序?yàn)椤癙，B，B，I，B，P，B，P”，當(dāng)SIMOD3為1時(shí)編碼順序?yàn)椤癙，B，P，B，I，B，B，P”，當(dāng)SIMOD3為2是編碼順序?yàn)椤癙，B，P，B，B，I，B，P”或“P，B，P，B，B，I，B，P”。如圖2所示，根據(jù)本文方法得出當(dāng)SI分別為S3，S4，S5和S2時(shí)的預(yù)測(cè)結(jié)構(gòu)圖，S0～S7表示編碼的視點(diǎn)。因此，MVC參考預(yù)測(cè)結(jié)構(gòu)的編碼順序中B視點(diǎn)的數(shù)目為3、P視點(diǎn)的數(shù)目為4，而本文所提方法B視點(diǎn)數(shù)目為4、P視點(diǎn)數(shù)目為3。

圖2 改進(jìn)的預(yù)測(cè)結(jié)構(gòu)圖

4 實(shí)驗(yàn)分析

為了驗(yàn)證本文方法的編碼效率和隨機(jī)訪問(wèn)性能等，實(shí)驗(yàn)中使用的測(cè)試序列為Ballroom，Exit，Breakdacers和Rena，測(cè)試序列可以網(wǎng)上免費(fèi)下載。使用的測(cè)試平臺(tái)是JVT公布的MVC性能評(píng)價(jià)公共測(cè)試平臺(tái)(Joint Mutliview Video Coding，JMVC8.5)。每個(gè)視點(diǎn)的編碼幀數(shù)為100幀，GoP取值12，幀率為30 f/s(幀/秒)。

隨機(jī)訪問(wèn)性能是評(píng)價(jià)預(yù)測(cè)結(jié)構(gòu)的一個(gè)重要指標(biāo)。多視點(diǎn)視頻編碼系統(tǒng)的隨機(jī)訪問(wèn)性能通常用訪問(wèn)任一幀圖像所需要預(yù)先解碼的圖像幀個(gè)數(shù)來(lái)衡量，如式(4)所示

Nij=3*level+2*?(number_of_views-1)/2」

(4)

式中：Nij表示對(duì)第i個(gè)視點(diǎn)第j幀進(jìn)行訪問(wèn)前需要解碼的幀數(shù)；Level表示該圖像幀在編碼時(shí)所處的層次；number_of_views表示需要訪問(wèn)該圖像需要使用到的視點(diǎn)個(gè)數(shù)。

本文使用Fmax值和Fmean值來(lái)評(píng)價(jià)隨機(jī)訪問(wèn)性能，如式(5)所示

(5)

式中：Fmax和Fmean分別表示訪問(wèn)任一圖像幀所需解碼幀數(shù)的最大值和平均值。

本文使用峰值信噪比PSNR(Peak Signal to Noise Ratio)和碼率來(lái)評(píng)價(jià)編碼效率，PSNR值越高的同時(shí)碼率越低，說(shuō)明編碼效率越好。實(shí)驗(yàn)結(jié)果如表2所示，編碼效率平均提高2.6 dB，隨機(jī)訪問(wèn)性能提高了22%，其中“+”表示增加，“-”表示減少。實(shí)驗(yàn)結(jié)果表明，本文方法提高編碼效率的同時(shí)，隨機(jī)訪問(wèn)性能也有所提高。

表2 實(shí)驗(yàn)結(jié)果

5 結(jié)論

多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)是決定其編碼效率、隨機(jī)訪問(wèn)性能、編碼復(fù)雜度等多項(xiàng)性能的關(guān)鍵因素。本文提出了一種改進(jìn)的預(yù)測(cè)方法，在分析了視點(diǎn)間相關(guān)性的基礎(chǔ)上，通過(guò)調(diào)整I視點(diǎn)位置且增加B視點(diǎn)的數(shù)目來(lái)改進(jìn)預(yù)測(cè)結(jié)構(gòu)的性能。實(shí)驗(yàn)結(jié)果表明，本文方法提高了多視點(diǎn)視頻的編碼效率并且提高了預(yù)測(cè)結(jié)構(gòu)的隨機(jī)訪問(wèn)性能。

[1]劉峰，董明江，丁瑾慶，等.多視點(diǎn)視頻編碼框架及關(guān)鍵技術(shù)[J].南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，33(3)：26-34.

[2]鄧智紕，賈克斌，陳銳霖，等.三維視頻編碼技術(shù)的發(fā)展與挑戰(zhàn)[J].計(jì)算機(jī)應(yīng)用，2011，31(9)：2453-2464.

[3]JACOB C，ECOLE P．Adaptive multiview video strieaming：challenges and opportunities[J]．IEEE Communications Magazine，2013，51(5)：94-100.

[4]VETRO A， WIEGAND T， SULLIVAN G J.Overview of the stereo and multiview video coding extensions of H.264/MPEG4 AVC standard[J].Proceedings of the IEEE，2011，99(4)：626-642.

[5]霍俊彥，常義林，李明，等.多視點(diǎn)視頻編碼的研究現(xiàn)狀及其展望[J].通信學(xué)報(bào)， 2010，31(5)：113-121.

[6]王強(qiáng)，郭曉強(qiáng)，解偉.多視點(diǎn)視頻編碼標(biāo)準(zhǔn)[J].廣播與電視技術(shù)，2010，37(10)：84-91.

[7]OKA S，F(xiàn)UJII T，TANIMOTO M．Dynamic ray-space coding using inter-view prediction[C]//Proc． International Workshop on Advanced Image Technology 2005(IWAIT 2005).Jeju，Korea：IEEE Press，2005：19-24．

[8]雷海軍，楊輝，何業(yè)軍.高效率的多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)[J].電視技術(shù)，2012，36(18)：32-35.

[9]IMATA H K.Multiview video coding using reference picture selection for free-viewpoint video communication[J].Picture Coding Symposium，2004，99(4)：15-17.

[10]MERKLE P，MULLER K，WIEGAND T．Efficient prediction structures for multi-view video coding[J]．IEEE Trans.Circuits and Systems Video Technology，2007，17(11)：1461-1673．

[11]PARK P K，OH K J，HO Y S.Efficient view-temporal prediction structures for multiview video coding[J].Electronics Letters，2008，44(2)：102-103.

[12]嚴(yán)濤，安平，沈禮權(quán)，等.一種新的視點(diǎn)間預(yù)測(cè)結(jié)構(gòu)[J].電子與信息學(xué)報(bào)，2009，31(7)：1610-1614.

鄧凱文(1987— )，碩士生，研究方向?yàn)橐曨l編碼；

任仙怡(1973— )，女，博士后，副教授，研究方向?yàn)閿?shù)字圖像融合；

柳 偉(1972— )，博士，教授，研究方向?yàn)閳D像處理、視頻編碼；

梁永生(1971— )，博士，教授，碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)與數(shù)據(jù)通信。

責(zé)任編輯：時(shí) 雯

New Multiview Video Coding Prediction Structure

DENG Kaiwen1，REN Xianyi2，3，LIU Wei2，3，LIANG Yongsheng2，3

(1.CollegeofInformationEngineering,ShenzhenUniversity，GuangdongShenzhen518060，China；2.InstitudeofInformationTechnique,ShenzhenInstituteofInformationTechnology，GuangdongShenzhen518029，China；3.ShenzhenKeyLabofVisualMediaProcessingandTransmission，GuangdongShenzhen518029，China)

The reference prediction structure of Multiview video coding has a highly efficient compression as well as a poor random access.An improved prediction structure is proposed in this paper by considering coding efficiency and random access.Firstly，the location of I-view is selected by calculating relevance between each of the views，then the number of B-view based on I-veiw is increased.Experimental results show that the proposed prediction structure provides better coding efficiency and improves view random access at the same time.

multiview video coding; prediction structure; random access

國(guó)家自然科學(xué)基金項(xiàng)目(61172165)；廣東省自然科學(xué)基金項(xiàng)目(S2011010000697；S2011010006117；S2012010008997；S2013010012669)；深圳市科技計(jì)劃項(xiàng)目(JC201105190829A)

TN919.81

A

10.16280/j.videoe.2015.07.002

2014-05-15

【本文獻(xiàn)信息】鄧凱文，任仙怡，柳偉,等.一種新的多視點(diǎn)視頻編碼預(yù)測(cè)結(jié)構(gòu)[J].電視技術(shù),2015，39(7).