高效率的多視點視頻編碼預(yù)測結(jié)構(gòu)

雷海軍，楊 輝，何業(yè)軍

（深圳大學(xué) a.計算機與軟件學(xué)院；b.信息工程學(xué)院，廣東 深圳 518060）

3D視頻，又叫立體視頻，主要包括雙目立體視頻、多視點視頻和多視點深度增強視頻，因其具有立體感、高質(zhì)量、多媒體體驗和交互性等特點，越來越受到學(xué)術(shù)界和工業(yè)界的重視，并投入大量精力對其相關(guān)技術(shù)進行深入研究[1]。2012年1月1號19:30開播了3D電視試驗頻道，3D電視大大提升了電視的功能和審美性，為人們帶來新的視聽享受，有利于擴大內(nèi)需。3D電視試驗頻道的開播是我國廣播電視發(fā)展史上的一個新的里程碑，標(biāo)志著我國廣播電視緊跟世界發(fā)展潮流，邁入了新的發(fā)展階段。

多視點視頻是一種有效的3D視頻表示方法，能夠更加生動地再現(xiàn)場景，由不同視點的多個攝像機從不同視角拍攝同一場景得到的一組視頻信號，多視點視頻編碼既要考慮同視點間的冗余又要考慮相鄰視點之間的冗余，具有編碼復(fù)雜度高和數(shù)據(jù)量大等特點。多視點視頻編碼技術(shù)作為3D視頻的關(guān)鍵技術(shù)之一，在三維立體電視（3D Television，3DTV）、自由視點電視（Free-viewpoint Television，F(xiàn)TV）和三維遠(yuǎn)程醫(yī)療（3D Telemedicine）等領(lǐng)域中有著非常廣闊的應(yīng)用前景[2]。多視點視頻編碼目前采用HHI提出的分層次B幀預(yù)測結(jié)構(gòu)比SIMULCAST預(yù)測結(jié)構(gòu)獲得更好的編碼壓縮效率，消除了視點內(nèi)和視點間的部分冗余[3-4]，但是壓縮效率還有待進一步提高，本文在此方面做了些研究工作。

1 采集與應(yīng)用

與傳統(tǒng)二維視頻的采集不同，多視點視頻序列數(shù)據(jù)的采集需要多個攝像機從不同角度同步采集。根據(jù)實際應(yīng)用需要的不同，需要搭建不同的采集裝置。比較典型的采集裝置有平行相機（包括1D，2D）、匯聚和環(huán)形相機等，圖1給出了幾種由日本Nagoya大學(xué)提供的采用100個相機進行同步采集的相機陣列配置示意圖[5]。

圖1 各種多視點視頻采集裝置

多視點視頻編碼的應(yīng)用框架圖如圖2所示，編號為0到N的多個視頻序列數(shù)據(jù)在多視點視頻編碼中心根據(jù)配置的預(yù)測結(jié)構(gòu)進行編碼，編碼生成的碼流由Web服務(wù)器經(jīng)過網(wǎng)關(guān)輸出到因特網(wǎng)，然后傳輸?shù)綉?yīng)用端，在應(yīng)用端通過解碼器接收碼流并且進行解碼操作，具體的應(yīng)用端可以包括高清晰度電視（HDTV）、3DTV、FTV等，在解碼端需要解碼的視頻個數(shù)根據(jù)需要而定。

圖2 多視點視頻編碼應(yīng)用框架圖

2 本文提出的預(yù)測結(jié)構(gòu)的對比及分析

研究具有高效壓縮效率的預(yù)測結(jié)構(gòu)成為MVC研究當(dāng)中的一項重要任務(wù)，多視點視頻編碼框架JMVC[6-7]采用兼顧時域預(yù)測和視點間預(yù)測的分層次B幀預(yù)測結(jié)構(gòu)獲得了良好的壓縮效率。在文獻[8-10]中對多種預(yù)測結(jié)構(gòu)進行了分析，在文獻[11]中提出了KS_IBP，KS_IPP，AS_IBP和SIMULCAST等預(yù)測結(jié)構(gòu)，其中KS_IBP，KS_IPP預(yù)測結(jié)構(gòu)的錨定幀分別采用IBP和IPP結(jié)構(gòu)的視點間預(yù)測，而非錨定幀只采用水平方向的預(yù)測，因此率失真性能沒有兼顧時域和視點間預(yù)測的AS_IBP預(yù)測結(jié)構(gòu)好，JMVC采用多參考幀預(yù)測編碼方式，通過率失真模型選取最佳的參考幀，來獲取更高的壓縮效率。

HHI提出的分層次B幀預(yù)測結(jié)構(gòu)如圖3所示，由于其高效的壓縮性能而被JVT選為標(biāo)準(zhǔn)參考預(yù)測結(jié)構(gòu)，該預(yù)測結(jié)構(gòu)水平方向采用分層次B幀，視點間采用IBP結(jié)構(gòu)，水平方向的分層次B幀由最近的高層次兩幀預(yù)測而得，例如，B2水平方向由I0，B1預(yù)測而得。S0為基本視點，其中奇數(shù)編號視點（S1，S3，S5）的錨定幀和非錨定幀參考同一時刻相鄰視點，如S1視點B2幀在垂直方向參考S0視點B2幀，S2視點B2幀，偶數(shù)編號視點（S2，S4，S6）的錨定幀參考上一相鄰偶數(shù)編號視點，如S2視點I0幀垂直方向參考S0視點的I0幀。由分層次B幀預(yù)測結(jié)構(gòu)分析可知，偶數(shù)編號視點S2，S4，S6的錨定幀的預(yù)測來源于上一相鄰偶數(shù)編號視點，非錨定幀只采用水平預(yù)測，根據(jù)相鄰視點間的差異性最小特性，本文提出的新的預(yù)測結(jié)構(gòu)AS_EIPP（Enhance AS_IPP）如圖4所示，水平方向和垂直方向分別代表時間方向和視點方向，AS_EIPP預(yù)測結(jié)構(gòu)Gop長度為12，水平方向采用分層次B幀預(yù)測結(jié)構(gòu)，視點間采用IPP結(jié)構(gòu)，S0為基本視點，S1，…，S7視點的錨定幀和非錨定幀都參考同一時刻上一個相鄰視點進行垂直方向的視差預(yù)測，相鄰視點之間的差異性最小，相對于AS_IBP可以進一步提高壓縮效率，同時S2，…，S7視點的錨定幀和非錨定幀的后向參考分別來自S0，…，S7，即達(dá)到一個增強效果，進一步提升壓縮效率。

圖4 AS_EIPP預(yù)測結(jié)構(gòu)

多視點視頻編碼采用多參考幀編碼模型，錨定幀和非錨定幀都有水平和垂直方向的多個參考幀，根據(jù)率失真最佳模型選擇最佳參考幀（V*ref），拉格朗日函數(shù)代價為式中：S代表視頻數(shù)據(jù)；I代表編碼參數(shù)集合，包括編碼模型、運動矢量、參考幀索引等；λ代表拉格朗日乘積因子；D（S，I）和R（S，I）分別代表率失真值和比特數(shù)。V*ref包括在I之內(nèi)，最佳的參考幀為

式中，Φ代表當(dāng)前編碼幀的整個參考幀的集合。

3 實驗結(jié)果與分析

3.1 實驗說明

1）PC機配置及操作系統(tǒng)環(huán)境：CPU主頻為2.83 GHz，內(nèi)存為4 Gbyte，操作系統(tǒng)為Win7，多視點視頻編碼系統(tǒng)版本號JMVC8.3.1。

2）量化參數(shù)（QP）值取22，27，32，37和42，搜索范圍為96，Gop長度大小為12，參考幀數(shù)為2。

平均峰值信噪比為

式中：PSNRY，PSNRU，PSNRV分別表示像素Y，U和V分量的峰值信噪比。

比特變化率為

式中：Ri和Rj分別表示參考結(jié)構(gòu)和當(dāng)前結(jié)構(gòu)的比特率。

平均碼率為

式中：Rview,i表示第i個視點的比特率。

3）多視點視頻測試序列：BallRoom，Exit和Vassar[12]的基本屬性如表1所示，各編碼61幀、8個視點。

表1 多視點視頻測試序列基本參數(shù)

3.2 實驗結(jié)果及分析

3個測試序列的實驗數(shù)據(jù)如表2所示，給出了峰值信噪比和碼率的數(shù)據(jù)統(tǒng)計。由表2可知AS_EIPP預(yù)測結(jié)構(gòu)具有最高的壓縮效率，以BallRoom序列為例，相對于SI?MULCAST，當(dāng) QP=22時：KS_IBP，KS_IPP，AS_IBP 和AS_EIPP比特率分別減少171 kbit/s，140 kbit/s，249 kbit/s和317 kbit/s，比特率幅度分別減少7.8%，9.5%，13.9%和17.7%；當(dāng)QP=27時：比特率分別減少163 kbit/s，137 kbit/s，231 kbit/s和242 kbit/s，比特率幅度分別減少16.9%，14.2%，22.2%和25.2%；當(dāng)QP=32時：比特率分別減少121 kbit/s，105 kbit/s，150 kbit/s和163 kbit/s，比特率幅度分別減少22.6%，19.6%，28.0%和30.4%；當(dāng)QP=37時：比特率分別減少82 kbit/s，73 kbit/s，97 kbit/s和103 kbit/s，比特率幅度分別減少26.3%，23.4%，33.1%；當(dāng)QP=42時：比特率分別減少47 kbit/s，42 kbit/s，54 kbit/s和51 kbit/s，比特率幅度分別減少為26.2%，23.4%，30.1%和31.8%。

表2 預(yù)測結(jié)構(gòu)實驗結(jié)果數(shù)據(jù)對比

由表2的數(shù)據(jù)分析可知，AS_EIPP預(yù)測結(jié)構(gòu)具有最好的壓縮效率，與AS_IBP預(yù)測結(jié)構(gòu)相比，比特率減少幅度在1.7%～4%。隨著QP值的增大，比特率越來越小，相對于SIMULCAST，比特率減少幅度呈上升趨勢。率失真曲線對比如圖5所示。

4 小結(jié)

通過分析多種多視點視頻編碼的預(yù)測結(jié)構(gòu)，提出了一種新的預(yù)測結(jié)構(gòu)AS_EIPP，實驗結(jié)果表明，與其他預(yù)測結(jié)構(gòu)相比，該預(yù)測結(jié)構(gòu)具有較好的率失真性能與壓縮效率。多視點視頻編碼主要是基于H.264/AVC編碼框架設(shè)計的，提高編碼效率是該研究領(lǐng)域的核心問題之一，多視點視頻編碼復(fù)雜度大，其中模式?jīng)Q策、多參考幀選擇和運動估計是多視點視頻編碼中最耗時的部分，經(jīng)實驗統(tǒng)計占到總個編碼時間的97%以上，下一步工作將會對編碼復(fù)雜度進行研究，研究高性能算法，以提高多視點視頻編碼的實時性。

[1]MERKLE P，MULLER K，WIEGAND T.3D video:acquisition,cod?ing,and display[J].IEEE Trans.Consumer Electronics，2010，56（2）：946-950.

[2]霍俊彥，常義林，李明，等.多視點視頻編碼的研究現(xiàn)狀及期展望[J].通信學(xué)報，2010，31（5）：113-118.

[3]趙鵬，何小海，王正勇，等.一種多視點視頻顏色校正方法[J].電視技術(shù)，2011，35（21）：29-31.

[4]廖小僮，馬然，安平，等.基于多視點視頻的差錯控制技術(shù)[J].電視技術(shù)，2010，34（3）：11-13.

[5]何萍.多視點視頻編碼中的快速算法研究[D].寧波：寧波大學(xué)，2010.

[6]VETRO A，WIEGAND T，SULLIVAN G J.Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4AVC standard[J].Proceedings of the IEEE，2011，99（4）：626-642.

[7]VETRO A，PANDIT P，KIMATA H，et al.Joint multiview video mod?el(jmvm)8.0[C]//Proc.JVT of ISO/IEC MPEG&ITU-T VCEG 27th Meeting.Geneva：[s.n.]，2008：23-29.

[8]FEZZA S A，F(xiàn)ARAOUN K M，OUDDANE S.A comparison of pre?diction structures for multi-view videoc coding based on the H.264/AVC standard[C]//Proc.7th International Workshop on Systems,Sig?nal Processing and their Applications,2011.[S.l.]：IEEE Press，2011：111-114.

[9]HUO Junyan，CHANG Yilin，MA Yanzhuo.Efficient prediction struc?ture for key pictures in multiview video coding[C]//Proc.Sysposium on Photonics and Optoelectronics,2011.[S.l.]：IEEE Press，2011：1-4.

[10]HO Y S，OH K J.Overview of multi-view Video coding[C]//Proc.14th International Workshop on Systems,Signals and Image Pro?cessing,2007 and 6th EURASIP Conference focused on Speech and Image Processing,Multimedia Communication and Services.[S.l.]：IEEE Press，2007：5-12.

[11]MERRKLE P，SMOLIC A，MULLER K，et al.Efficient prediction structures for multiview video coding[J].IEEE Trans.Circuits and Systems for Video Technology，2007，17（11）：1461-1473.

[12]MERL.Has provided the ballroom,exit and vassar sequence[EB/OL].[2012-03-10].http://www.merl.com.pub/avetro/mvc-testseq/orig-yuv/.