基于小波域的DVC到HEVC快速轉(zhuǎn)碼研究

徐胤顥+卿粼波+吳曉紅+劉曉娟

摘要 分布式視頻編碼是一種編碼端復(fù)雜度低、解碼端復(fù)雜度高的新型視頻編碼技術(shù)，HEVC則是編碼端復(fù)雜度高、解碼端復(fù)雜度低的新一代視頻編碼標(biāo)準(zhǔn)。通過視頻轉(zhuǎn)碼技術(shù)將分布式視頻編碼和HEVC中高復(fù)雜度的運算轉(zhuǎn)移到轉(zhuǎn)碼器，可實現(xiàn)一種編、解碼都簡單的視頻編碼框架。同時，針對在轉(zhuǎn)碼過程中需要對重建的視頻幀進行HEVC重編碼，提出利用分布式視頻的關(guān)鍵幀解碼生成WZ幀的編碼單元四叉樹劃分，以降低分布式視頻編碼到HEVC轉(zhuǎn)碼的復(fù)雜度。實驗結(jié)果表明，該轉(zhuǎn)碼方案與級聯(lián)轉(zhuǎn)碼方案相比，在幾乎不降低視頻質(zhì)量的前提下，極大地降低了轉(zhuǎn)碼計算復(fù)雜度和時間，提高了轉(zhuǎn)碼效率。

關(guān)鍵詞 小波域；轉(zhuǎn)碼；分布式視頻編碼；HEVC

DOI DOI： 10.11907/rjdk.162729

中圖分類號： TP301

文獻標(biāo)識碼： A 文章編號 文章編號： 16727800（2017）002000103

0 引言

伴隨著多媒體技術(shù)的日益完善與廣泛應(yīng)用，數(shù)字視頻技術(shù)誕生了多種視頻編碼技術(shù)，例如H.26x系列、MPEG、JPEG2000和分布式視頻編碼（Distributed Video Coding，DVC）技術(shù)等。由于不同視頻編碼技術(shù)之間存在視頻幀率、視頻碼率和視頻分辨率等不兼容問題，極大地阻礙了多媒體視頻通信的普及與應(yīng)用。可以預(yù)見視頻轉(zhuǎn)碼技術(shù)在多媒體視頻通信時代擔(dān)任的角色將越來越重要。視頻轉(zhuǎn)碼技術(shù)是一種解決視頻編碼端與視頻解碼端不匹配問題的技術(shù)，通過視頻轉(zhuǎn)碼技術(shù)可以實現(xiàn)不同的視頻標(biāo)準(zhǔn)、視頻分辨率、視頻幀率和視頻碼率等之間的相互轉(zhuǎn)換。視頻轉(zhuǎn)碼器可以劃分為兩大類：同構(gòu)轉(zhuǎn)碼器和異構(gòu)轉(zhuǎn)碼器。同構(gòu)轉(zhuǎn)碼器指在同樣編碼標(biāo)準(zhǔn)下的碼流轉(zhuǎn)換，可實現(xiàn)視頻分辨率、視頻幀率和視頻碼率相互轉(zhuǎn)換；而異構(gòu)轉(zhuǎn)碼器是不同類別壓縮視頻流之間的轉(zhuǎn)換，如MPEG2到H.264、MPEG4到H.264和本文的分布視頻編碼到HEVC等。分布式視頻編碼是一種以SlePianWolf（1973）[1]的無損分布式編碼理論和WynerZiv（1976）[2]的有損分布式編碼理論為基礎(chǔ)的新型視頻編碼技術(shù)。分布式視頻編碼技術(shù)通過將系統(tǒng)中高復(fù)雜度的運動估計與運動補償從編碼端轉(zhuǎn)移到解碼端，實現(xiàn)了其編碼端簡單、解碼端復(fù)雜的特點。因此，分布式視頻編碼技術(shù)適用于編碼端計算能力受限、功耗受限和內(nèi)存受限的應(yīng)用場合，例如無線視頻監(jiān)控和無人機航拍領(lǐng)域。

由于DVC具有編碼端復(fù)雜度低的特點，國內(nèi)外學(xué)者對有效地將DVC技術(shù)與傳統(tǒng)視頻編碼標(biāo)準(zhǔn)結(jié)合起來的轉(zhuǎn)碼技術(shù)進行了深入研究。吳偉[3]介紹了分布式到H.264轉(zhuǎn)碼過程中復(fù)雜度高和時延長等問題，以及利用 DVC解碼端生成的運動矢量可降低轉(zhuǎn)碼的計算復(fù)雜度和時間，提高轉(zhuǎn)碼效率；孫思陽等[4]對分布式視頻編碼技術(shù)的理論基礎(chǔ)以及分布式視頻編碼過程中的關(guān)鍵技術(shù)進行了闡述，并詳細(xì)介紹了從DVC到H.264的轉(zhuǎn)碼技術(shù)中各個模塊的實現(xiàn)細(xì)節(jié)。隨著新一代視頻編碼標(biāo)準(zhǔn)的發(fā)布，HEVC的出現(xiàn)標(biāo)志著視頻壓縮編碼技術(shù)進入了新時代。HEVC作為H.264標(biāo)準(zhǔn)的繼承者，與H.264相比，HEVC可以在同等的視頻質(zhì)量下節(jié)省約50%的比特率[5]，但是HEVC以增加其編碼端復(fù)雜度的代價獲得高壓縮率。自從新一代視頻編碼標(biāo)準(zhǔn)發(fā)布后，國內(nèi)外學(xué)者開始對其它視頻編碼轉(zhuǎn)碼到HEVC進行了研究。蔣煒等[6]提出了一種基于區(qū)域特征分析的H.264到HEVC快速視頻轉(zhuǎn)碼方法。以上參考文獻對DVC到H.264與H.264到HEVC的理論基礎(chǔ)以及關(guān)鍵技術(shù)進行了詳細(xì)闡述，但針對DVC到HEVC轉(zhuǎn)碼技術(shù)的相關(guān)研究仍然較少，因此本文提出基于小波域的分布式視頻編碼到HEVC快速轉(zhuǎn)碼技術(shù)研究。通過本文的視頻轉(zhuǎn)碼技術(shù)，可以充分利用分布式視頻編碼與HEVC的優(yōu)點，實現(xiàn)編碼端與解碼端的低復(fù)雜度，并將分布式視頻編碼與HEVC高復(fù)雜度的運算轉(zhuǎn)移到轉(zhuǎn)碼服務(wù)器。

1 DVC到HEVC快速轉(zhuǎn)碼框架

分布式視頻是一種新興的視頻編碼技術(shù)， 它具有編碼端復(fù)雜度低、壓縮效率高和魯棒性高的優(yōu)點。而HEVC是新一代的視頻編碼標(biāo)準(zhǔn)，它具有碼端復(fù)雜度極高、解碼端復(fù)雜度低、壓縮效率極高等特點。DVC到HEVC的轉(zhuǎn)碼技術(shù)可以充分利用分布式視頻編碼和HEVC的優(yōu)勢，使DVC到HEVC的視頻轉(zhuǎn)碼具有編碼端與解碼端復(fù)雜度低、壓縮效率高的特點。

1.1 HEVC四叉樹劃分復(fù)雜度分析

HEVC采用基于遞歸調(diào)用的四叉樹劃分方式，提高了其圖像分塊的靈活度和壓縮性能[7]。然而，該劃分方式極大地增加了HEVC編碼端復(fù)雜度。在HEVC中，CU的劃分尺寸有64×64、32×32、16×16和8×8共4種。一個CTU的四叉樹劃分過程如下：首先計算尺寸為64×64的CU率失真代價以及其PU的最佳預(yù)測模式；再將64×64的CU劃分成4個尺寸為32×32的CU，并計算每個CU的率失真代價以及最佳預(yù)測模式；采用相同的劃分方式再將32×32的CU劃分為16×16和8×8的CU，并計算相應(yīng)的率失真代價和PU最佳預(yù)測模式；最后，從8×8的CU到64×64的CU逐級往上比較其率失真代價，保留最小率失真代價的CU劃分模式。其詳細(xì)劃分過程如圖1所示。

在幀間編碼模式下，確定一個CTU遞歸劃分方式以及每個CU對應(yīng)的PU預(yù)測模式需要計算的率失真代價次數(shù)高達(dá)680次，而對于分辨率為720P的視頻序列，一幅圖片需要計算的率失真代價高達(dá)6.364 8*104次。在HEVC編碼端，CTU的遞歸劃分方式的計算量占整個編碼端計算量的90%以上，其中CU64、CU32、CU16和CU8在CTU各層次劃分的時間開銷所占百分比分別為16%、23%、30%和31%[8]。因此，本文針對HEVC編碼算法中CTU四叉樹劃分高復(fù)雜度的特性，提出在轉(zhuǎn)碼過程中，充分利用分布式解碼的碼流信息來加速HEVC重編碼過程中CTU的四叉樹劃分，以提高轉(zhuǎn)碼器性能。

1.2 基于幀間預(yù)測的DVC-HEVC轉(zhuǎn)碼

由于在HEVC視頻編碼中，I幀和P幀的CU劃分都是采用遞歸調(diào)用的四叉樹劃分方式，根據(jù)幀間相關(guān)性，同一圖像組內(nèi)的I幀與P幀的CU劃分模式存在相似之處，不同之處在于其PU的劃分方式。當(dāng)QP分別為18、22、26時，本文對BasketballDrill與BQMall兩種視頻序列，分別在幀內(nèi)編碼和幀間編碼編碼模式下，對其CU的劃分深度進行統(tǒng)計分析。首先提取幀內(nèi)與幀間編碼后的CU劃分方式，再將100幀圖像中所有的CU分割為4×4的塊，然后對100幀中每個塊對應(yīng)的幀內(nèi)與幀間的CU劃分深度進行統(tǒng)計，統(tǒng)計結(jié)果如表1所示。表1的實驗數(shù)據(jù)說明，幀內(nèi)CU劃分深度大于等于幀間CU劃分深度的比例高達(dá)90%以上，而分布式視頻編碼的關(guān)鍵幀可以采用HEVC幀內(nèi)編碼方式。因此，本文基于分布式視頻編碼的特點以及視頻序列的幀間相關(guān)性提出了小波域分布式視頻編碼到HEVC快速轉(zhuǎn)碼的系統(tǒng)，其轉(zhuǎn)碼框圖如圖2所示。

如圖2所示，在分布式視頻編碼端，由視頻分類器將視頻序列按一定間隔，交替劃分為關(guān)鍵幀（K幀）和Wyner-Ziv幀（WZ幀）。其中關(guān)鍵幀K幀采用HEVC幀內(nèi)編碼方式生成HEVC關(guān)鍵幀碼流，再將關(guān)鍵幀碼流傳輸?shù)睫D(zhuǎn)碼器。WZ幀采用Wyner-Ziv編碼模式[910]生成WZ幀碼流，再將WZ幀碼流經(jīng)反饋信道傳輸?shù)睫D(zhuǎn)碼器。

在轉(zhuǎn)碼器接收到WZ幀碼流和HEVC關(guān)鍵幀碼流之后，首先將HEVC關(guān)鍵幀進行幀內(nèi)解碼，并在解碼的同時提取關(guān)鍵幀的CU劃分方式；將HEVC解碼器解碼重建的視頻圖像經(jīng)小波變換、運動估計和運動補償后生成WZ幀的邊信息，將邊信息經(jīng)過信道譯碼后，進行反量化和離散小波逆變換，重建WZ幀[11]；然后用DVC中關(guān)鍵幀CU劃分方式對重建WZ進行CU的劃分，并判斷當(dāng)前CU的預(yù)測單元PU的最佳預(yù)測模式，將WZ幀的CU劃分深度以及PU預(yù)測模式輸入到HEVC編碼器中；由于HEVC編碼器已經(jīng)得到當(dāng)前WZ幀的CU劃分深度以及其PU預(yù)測模式，HEVC編碼器可以快速地進行HEVC視頻編碼并產(chǎn)生HEVC碼流。

2 實驗結(jié)果與分析

實驗以BasketballDrill、BQMall視頻序列為例，驗證提出的小波域分布視頻編碼到HEVC快速轉(zhuǎn)碼的有效性。本次實驗將本文提出的小波域DVC到HEVC快速轉(zhuǎn)碼與小波域DVC到HEVC級聯(lián)轉(zhuǎn)碼的轉(zhuǎn)碼性能進行對比。實驗視頻序列的視頻格式為420P，測試幀數(shù)為100幀，幀率為30Hz，量化步長分別為18、22、26。為了測試本文提出的小波域分布式視頻編碼到HEVC轉(zhuǎn)碼的性能，本文分別對轉(zhuǎn)碼時間比和峰值信噪比進行數(shù)據(jù)統(tǒng)計，其結(jié)果分別如表2、表3所示。

式（1）中，ΔPSNR表示本文轉(zhuǎn)碼方案與級聯(lián)轉(zhuǎn)碼方案在轉(zhuǎn)碼后視頻的峰值信噪比對比情況，ΔPSNR越小，表明按本文方案對視頻轉(zhuǎn)碼后，視頻質(zhì)量越差。式（2）中T表示DVC到HEVC轉(zhuǎn)碼需要的時間，ΔT表示本文轉(zhuǎn)碼方案在級聯(lián)轉(zhuǎn)碼方案節(jié)省的時間占整個級聯(lián)轉(zhuǎn)碼所需時間的百分比，負(fù)百分比的絕對值越大，表明本文提出的轉(zhuǎn)碼方案節(jié)省時間越多。

表2表示本文小波域分布式視頻到HEVC的快速轉(zhuǎn)碼方案與小波域分布式視頻編碼到HEVC級聯(lián)轉(zhuǎn)碼的轉(zhuǎn)碼時間對比情況。對于BasketballDril序列，當(dāng)Qp值分別為18、22、26時，其△T分別為-40.61%、-41.15%、-56.75%；對于BQMall序列，當(dāng)Qp值分別為18、22、26時，其分別為-66.15%、-68.14%、-68.55%。結(jié)果表明，本文提出的小波域DVC到HEVC的分布式轉(zhuǎn)碼算法和級聯(lián)轉(zhuǎn)碼算法相比，本文提出的轉(zhuǎn)碼算法極大地降低了轉(zhuǎn)碼時間。

表3表示本文小波域分布式視頻到HEVC的快速轉(zhuǎn)碼方案與小波域分布式視頻編碼到HEVC級聯(lián)轉(zhuǎn)碼峰值信噪比的對比情況。對于BasketballDril序列，當(dāng)Qp值分別為18、22、26時，其△PSNR分別為-0.05dB、-0.07dB、-0.07dB；對于BQMall序列，當(dāng)Qp值分別為18、22、26時，其△PSNR分別為-0.17dB、-0.05dB、-0.04dB。本文提出的快速轉(zhuǎn)碼方案與級聯(lián)轉(zhuǎn)碼相比，本文方案的峰值信噪比平均下降了0.075dB。實驗結(jié)果表明，本文提出的小波域DVC到HEVC的快速轉(zhuǎn)碼算法幾乎不降低視頻質(zhì)量。

3 結(jié)語

分布式視頻編碼是一種編碼端簡單、解碼端復(fù)雜的新型視頻編碼技術(shù)，而HEVC則是一種編碼端復(fù)雜、解碼端簡單的新一代視頻編碼技術(shù)。通過DVC到HEVC的轉(zhuǎn)碼器把復(fù)雜度最高的計算轉(zhuǎn)移到轉(zhuǎn)碼器，可以實現(xiàn)一種編碼端與解碼端都簡單的視頻編碼技術(shù)。本文針對HEVC視頻碼中，CU的遞歸劃分方式占整個編碼端計算量的90%以上，提出利用分布式視頻編碼中關(guān)鍵幀的CU信息，在轉(zhuǎn)碼器中對WZ幀進行四叉樹劃分，并生成相應(yīng)CU的預(yù)測模式，從而避免了CU基于四叉樹的遞歸劃分，極大地降低了轉(zhuǎn)碼器復(fù)雜度。本文從轉(zhuǎn)碼時間和轉(zhuǎn)碼后的峰值信噪比方面對本文的小波域DVC到HEVC快速轉(zhuǎn)碼和小波域DVC到HEVC的級聯(lián)轉(zhuǎn)碼進行了對比。實驗結(jié)果證明，本文提出的快速轉(zhuǎn)碼方案在幾乎不降低轉(zhuǎn)碼后視頻質(zhì)量的前提下，能平均降低約56.89%的轉(zhuǎn)碼時間。

參考文獻 參考文獻：

[1] SLEPIAN，DAVID，J K WOLF.Noiseless coding of correlated information sources[J].IEEE Transactions on Information Theory ，1973，19（4）：471480.

[2] WOLFFOWITZ J.The rate distortion function for source coding with side information at the decoder.II[J].Probability Theory & Related Fields，1978，50（3）：245255.

[3] 吳偉，卿粼波，王正勇，等.DVC轉(zhuǎn)碼技術(shù)研究[J].電視技術(shù)，2015（19）：7177.

[4] 孫思陽.DVC分布式視頻編碼到H.264的轉(zhuǎn)碼實現(xiàn)[D].北京：北京郵電大學(xué)，2011.

[5] WANG J，ZHOU L，SUN T.Analysis of HEVC coding standard[J].International Journal of Hybrid Information Technology，2015：116.

[6] 蔣煒.H.264到HEVC視頻轉(zhuǎn)碼技術(shù)研究[D].杭州：浙江大學(xué)，2013.