下一代視頻編碼標準關鍵技術

蔡曉霞，崔巖松，鄧中亮，常志峰

（北京郵電大學 電子工程學院，北京 100876）

1 HEVC背景與發展

H.264視頻編碼標準使得視頻壓縮效率提高到了一個新的水平。自該標準發布以來，H.264以其高效的壓縮效率，良好的網絡親和性以及優越的穩健性等優點迅速得到了廣大用戶的認同。然而，隨著終端處理能力以及人們對多媒體體驗要求的不斷提高，高清、3D、無線移動已經成為視頻應用的主流趨勢。而現有的H.264編碼標準的壓縮效率仍然不足以應對高清、超高清視頻應用，需要更為高效的編碼壓縮方案。與此同時，近年許多新型有效的技術在不斷涌現，使得新標準的定制成為可能。為此國際電聯組織（ITU-T）和移動視頻專家組（MPEG）成立了視頻編碼聯合小組（Joint Collaborative Team on Video Coding，JCT-VC）[1]，將新標準的定制正式提上日程。

2010年4月JCT-VC第一次會議在德國德累斯頓召開，所收到的27個提案從增加編碼復雜度、提高壓縮效率，或者從保證編碼質量、降低編碼復雜度的角度出發[2]，討論如何在H.264/AVC高級檔次的基礎上進一步提高編碼性能。新一代視頻壓縮標準主要面向高清電視（HDTV）以及視頻捕獲系統的應用，提供從QVGA至1 080p以至超高清電視（7 680×4 320）不同級別的視頻應用。其核心目標在于：在H.264/AVC High Profile的基礎上，壓縮效率提高1倍，即在保證相同視頻圖像質量的前提下，視頻流的碼率減少50%[1]。

2 HEVC編碼框架及其關鍵技術

HEVC依然沿用自H.263就開始采用的混合編碼框架[3]，如幀內預測和基于運動補償的幀間預測，殘差的二維變換、環路濾波、熵編碼等。在此混合編碼框架下，HEVC進行了大量的技術創新，其中具有代表性的技術方案有：基于大尺寸四叉樹塊的分割結構和殘差編碼結構，多角度幀內預測技術，運動估計融合技術，高精度運動補償技術，自適應環路濾波技術以及基于語義的熵編碼技術。下文將對這個技術方案進行介紹。

2.1 基于四叉樹結構的編碼分割

為了提高高清、超高清視頻的壓縮編碼效率，HEVC提出了超大尺寸四叉樹編碼結構，使用編碼單元（Coding Unit，CU），預測單元（Prediction Unit，PU）和變換單元（Transform unit，TU）3個概念描述整個編碼過程。其中CU類似于H.264/AVC中的宏塊或子宏塊，每個CU均為2N×2N的像素塊（N為2的冪次方），是HEVC編碼的基本單元，目前可變范圍為64×64至8×8。圖像首先以最大編碼單元（LCU，如64×64塊）為單位進行編碼，在LCU內部按照四叉樹結構進行子塊劃分，直至成為最小編碼單元（SCU，如8×8塊）為止，如圖1所示。

對于每個CU，HEVC使用預測單元（PU）來實現該CU單元的預測過程。PU尺寸受限于其所屬的CU，可以是方塊（如2N×2N，N×N），也可以為矩形（如2N×N，N×2N），現有HM模型的對稱PU分割類型如圖2所示[4]。

此外，一種新的不對稱運動分割預測（Asymmetric Motion Partition，AMP）方案也已經被JCT所接受[5]，這也是HEVC與H.264在分塊預測技術中最為不同之處。所謂AMP，即將編碼單元分為兩個尺寸大小不一致的預測塊，其中一個PU單元的寬/長為CU單元的1/4，另一個PU對應的寬/長為CU單元的3/4，如圖3所示。這種預測方式考慮了大尺寸可能的紋理分布，可以有效提高大尺寸塊的預測效率。

2.2 HEVC的變換結構

HEVC突破了原有的變換尺寸限制，可支持4×4至32×32的編碼變換，以變換單元（TU）為基本單元進行變換和量化。為提高大尺寸編碼單元的編碼效率，DCT變換同樣采用四叉樹型的變換結構。圖4為編碼單元、變換單元的四叉樹結構關系圖示例，其中虛線為變換單元四叉樹分割，實線為編碼單元四叉樹分割，編號為各編碼單元的編碼順序。采用Z型編碼順序的好處為：對于當前編碼單元，其上方塊、左方塊以及左上方塊預測信息（如果存在）總是可以獲得。

配合不對稱預測單元以及矩形預測單元，新的HM4.0模型還采納了相應的矩形四叉樹TU結構[6]，突破了方塊變換的限制。圖5展示了3級矩形四叉樹變換水平TU結構，同理可有垂直分割結構。

盡管TU的模板發生了變化，但其變換核并沒有發生實質性的變化。現有的關于不對稱變換所使用的變換核是由方形變換核剪裁得到的。通常，n×m的變換系數矩陣的計算公式為

式中：Bn×m為n×m的像素塊，Tm，Tn分別為m×m，n×n的變換核，Cn×m為Bn×m的變換系數。

測試結果表明，非正方形四叉樹更適合矩形PU和AMP變換，可節省大約0.3%的比特，同時增加2%左右的編碼復雜度，對解碼幾乎沒有影響[7]。

采用大尺寸樹形編碼結構有利于支持大尺寸圖像編碼。當感興趣區域一致時，一個大的CU可以用較少的標識代表整個區域，這比用幾個小的塊分別標識更合理。其次，任意LUC尺寸可以使編解碼器對不同的內容、應用和設備達到最優化。對于目標應用，通過選擇合適的LCU尺寸和最大分級深度，使編解碼器具有更好的適應能力。LCU和SCU尺寸范圍可被定義到檔次和級別部分以匹配需求。

3 HEVC預測編碼技術

HEVC的幀間、幀內預測的基本框架與H.264基本相同：采用相鄰塊重構像素對當前塊進行幀內預測，從相鄰塊的運動矢量中選擇預測運動矢量，支持多參考幀預測等。同時，HEVC采用了如多角度預測，高精度運動補償等多種技術，使得預測精度大大提高。

3.1 多角度幀內預測

HEVC的幀內預測將原有的8種預測方向擴展至33種，增加了幀內預測的精細度。另外，幀內預測模式保留了DC預測，并對Planar預測方法進行了改進。目前HM模型中共包含了35種預測模式，如圖6所示。但由于受到編碼復雜度限制，編碼模型對4×4和64×64尺寸的PU所能使用的預測模式進行了限制。

原有的HM模型中色度分量幀內預測采用了5種預測模式，分別為水平、垂直、DC預測、亮度模式以及對角模式。JCT-VC第五次會議后增加了以基于亮度的色度幀內預測[8]，以取代對角預測模式。在該預測模式下，色度分量使用亮度分量的值進行線性預測，相關系數根據重構圖像特性進行計算。該方案在色度分量上取得了8%左右的性能增益，而編碼復雜度基本不變。

然而，盡管現有的幀內預測技術已對PU預測方向有所限制，但編碼的復雜度仍然很高。不少研究人員提出了快速幀內預測算法，以進一步降低編碼的復雜度[9]。

3.2 幀間預測技術

3.2.1 廣義B預測技術

在高效預測模式下，HEVC仍然采用H.264中的等級B預測方式，同時還增加了廣義B（Generalized P and B picture，GPB）預測方式取代低時延應用場景中的P預測方式。GPB預測結構[10]是指對傳統P幀采取類似于B幀的雙向預測方式進行預測。在這種預測方式下，前向和后向參考列表中的參考圖像都必須為當前圖像之前的圖像，且兩者為同一圖像。對P幀采取B幀的運動預測方式增加了運動估計的準確度，提高了編碼效率，同時也有利于編碼流程的統一。

3.2.2 高精度運動補償技術

HEVC的編碼器內部增加了像素比特深度，最大可支持12 bit的解碼圖像輸出，提高了解碼圖像的信息精度。同時，HM模型采取了高精度的雙向運動補償技術[11]，即無論最終輸出圖像比特深度是否增加，在雙向運動補償過程都將使用14 bit的精度進行相關計算。

3.2.3 運動融合技術和自適應運動矢量預測技術

運動融合技術（Merge）將以往的跳過預測模式（Skip Mode）和直接預測模式（Direct Mode）的概念進行了整合。采用融合模式時，當前PU塊的運動信息（包括運動矢量、參考索引、預測模式）都可以通過相鄰PU的運動信息推導得到。編碼時當前PU塊只需要傳送融合標記（Merge Flag）以及融合索引（Merge Index），無需傳送其運動信息[12]。

自適應運動矢量預測技術（Adaptive Motion Vector Prediction，AMVP）為一般的幀間預測PU服務，通過相鄰空域相鄰PU以及時域相鄰PU的運動矢量信息構造出一個預測運動矢量候選列表，PU遍歷運動矢量候選列表選擇最佳的預測運動矢量。利用AMVP技術可充分發掘時域相關性和空域相關性。

值得一提的是，無論是運動融合技術還是自適應運動矢量預測技術，兩者在候選運動矢量列表的設計上都進行了精心考量，以保證運動估計的高效性以及解碼的穩健性。在早期的HM模型中，兩種預測方式所使用的候選運動矢量列表是相互獨立的；在JCT第6次會議結束后，新的HM模型中將兩者的參考列表構造進行了統一[13]，Merge將采用與AMVP相同的方式構造候選運動矢量列表，進行運動信息的推導。

4 環路濾波

1個完整的HEVC的環路濾波過程包括3個環節：去塊濾波，自適應樣點補償（Sample Adaptive Offset，SAO），自適應環路濾波（Adaptive Loop Filter，ALF）。去塊濾波在H.264的去塊濾波技術基礎上發展而來，但為了降低復雜度，目前的HM模型取消了對4×4塊的去塊濾波[14]。自適應樣點補償和自適應環路濾波均為HEVC的采用的新技術。

4.1 自適應樣點補償

自適應樣點補償是一個自適應選擇過程，在去塊濾波后進行。若使用SAO技術，重構圖像將按照遞歸的方式分裂成4個子區域[15]，每個子區域將根據其圖像像素特征選擇一種像素補償方式，以減少源圖像與重構圖像之間的失真。目前自適應樣點補償方式分為帶狀補償（Band Offset，BO）和邊緣補償（Edge Offset，EO）兩大類。

帶狀補償將像素值強度等級劃分為若干個條帶，每個條帶內的像素擁有相同的補償值。進行補償時根據重構像素點所處的條帶，選擇相應的帶狀補償值進行補償。現有的HM模型將像素值強度從0到最大值劃分為32個等級，如圖7所示[16]。同時這32個等級條帶還分為兩類，第一類是位于中間的16個條帶，剩余的16個條帶是第二類。編碼時只將一類條帶的補償信息寫入片頭；另一類條帶信息則不傳送。這樣的方式編碼將具有較小補償值的一類條帶忽略不計，從而節省了編碼比特數。

邊緣補償主要用于對圖像的輪廓進行補償。它將當前像素點值與相鄰的2個像素值進行對比，用于比較的2個相鄰像素可以在圖8中所示的4種模板中選擇，從而得到該像素點的類型：局部最大、局部最小或者圖像邊緣。解碼端根據碼流中標示的像素點的類型信息進行相應的補償校正。

4.2 自適應環路濾波

自適應環路濾波（ALF）在SAO或者去塊濾波后進行，目的是為了進一步減少重構圖像與源圖像之間的失真。ALF采用二維維納濾波器，濾波系數根據局部特性進行自適應計算[17]。對于亮度分量，采用CU為單位的四叉樹ALF結構[18]。濾波使用5×5，7×7和9×9三種大小的二維鉆石型模板，如圖9所示。濾波器計算每個4×4塊的Laplacian系數值，并根據該值將所有4×4塊分成16類，分別對應16種濾波器[19]，每種濾波器的濾波系數通過自適應維納濾波器進行計算。

除上述基于像素的ALF分類外，提案[20]還提出了基于區域的ALF分類。此時，每幀將被劃分為16個區域，每個區域可以包含多個LCU。每個區域使用同一種濾波器，濾波器系數同樣可以自適應訓練得到。

對于色度分量，濾波的選擇過程卻簡單許多。首先，色度分量的濾波決策只需要在圖像層級上進行。其次，濾波時色度分量統一使用5×5矩形濾波模板，不需要通過Laplacian系數來選擇濾波器類型。

5 熵編碼

CABAC是H.264的兩種熵編碼方案之一。現有的CABAC編碼器采用串行處理的方式，解碼端需要足夠高頻率的計算能力方能實時地對高碼率的碼流進行解碼，直接導致解碼功耗和實現復雜度的增加。為了解決CABAC的吞吐能力問題，JCT提出了熵編碼模型并行化的要求。所收集的提案大致從3個角度提出了并行化CABAC解決方案：基于比特的并行CABAC[21-23]，基于語法元素的并行[21]CABAC和基于片的并行CABAC。最后，基于語法元素的并行CABAC編碼方案（即SBAC）被HM模型所采納。目前，HM可支持上下文自適應變長編碼（CAVLC）和基于語法元素的上下文自適應二進制算術編碼（SBAC），分別用于低復雜度的編碼場合和高效的編碼場合。

SBAC的目的在于為具有不同統計模型的句法元素提供高效的編碼方式。在SBAC中[24]，句法元素被分成N個類別，每個類別并行地維護著自己的上下文概率模型及其更新狀態，每個類別的句法元素可對應一個或者多個概率表。因此，當各個類別所處理的比特量較均衡時，與原有串行編碼器相比，并行編碼器的吞吐量將提高N倍。然而實際運用中，各個類別的句法元素比特數不可能均衡，因此編碼器吞吐量的提升將小于N倍。目前，HM中每一個句法元素都對應著一個或者多個概率模型，不同句法元素間的初始概率模型可能相同，并且可為每一個語法元素的每一位設計其選擇概率模型的規則，以便為編碼器提供最準確的概率估計。總體來說，SBAC的編碼過程與原有的CABAC編碼過程大致相同，都包括語法元素值二進制化、上下文概率模型選擇、概率估計與上下文概率模型更新、二進制算術編碼4個部分。具體SBAC的句法元素分類辦法原則及其概率模型選擇辦法可進一步參考文獻[21，24-27]。

6 總結

目前，HEVC的基本編碼框架已經確定，但許多技術細節仍在不斷地研究中。專家組的主要力量集中在進一步提高HEVC編碼效率以及降低其復雜度上。但除了提高HEVC編碼效率以及降低編碼復雜度的提案以外，許多研究人員已經開始研究HEVC的可伸縮編碼和多視點編碼方案，相關研究工作正在有計劃地展開。與H.264 High Profile的編碼性能相比，目前HEVC已經取得了40%左右的壓縮性能提升，而編碼復雜度也達到了150%左右，不同測試場景的編碼復雜度和性能提升程度有較大的差異。降低編碼復雜度仍然是HEVC發展的一項重要議題。2011年7月22日，第6屆JCT會議結束，本次會議總共提出了700多項提案，這些豐富的研究成果正極大地推動著HEVC前進的腳步。而HEVC的發展與完善必將極大地推動高清、超高清視頻的應用步伐，為人類獻上更豐富的視覺盛宴。

：

[1]ITU-T SG 16.Joint collaborative team on video coding[EB/OL].[2011-07-20].http：//www.itu.int/en/ITU-T/studygroups/com16/video/Pages/jctvc.aspx.

[2]SULLIVAN G，OHM J.Meeting report of the first meeting of the joint collaborative team on video coding，JCTVC-A200[R].[S.l.]：JCT-VC，2010.

[3]WIEGAND T，OHM J，SULLIVAN G，et al.Special section on the joint call for proposals on high eff i ciency video coding（HEVC）standardization[J].IEEE Transactions on Circuits and Systems for Video Technology，2010，20（12）：1661-1666.

[4]SUZUKI Y，TAN T，CHIEN W，et al.Extension of uni-prediction simplification in B slices，JCTVC-D421[R].[S.l.]：JCT-VC，2011.

[5]BOSSEN F.Common test conditions and software reference configurations，JCTVC-E700[R].[S.l.]：JCT-VC，2011.

[6]YUAN Y，ZHENG X，PENG X，et al.CE2：Non-square quadtree transform for symmetric and asymmetric motion partition，JCTVC-F412[R].[S.l.]：JCT-VC，2011.

[7]YUAN Y，ZHENG X，PENG X.Asymmetric motion partition with obmc and non-square TU，JCTVC-E376[R].[S.l.]：JCT-VC，2011.

[8]CHEN J，SEREGIN V，HAN W，et al.CE6.a.4：Chroma intra prediction by reconstructed luma samples，JCTVC-E266[R].[S.l.]：JCT-VC，2011.

[9]BROSS B，KIRCHHOFFER H，SCHWARZ H，et al.Fast intra encoding for fixed maximum depth of transform quadtree，JCTVC-C311[R].[S.l.]：JCT-VC，2010.

[10]MCCANN K，SEKIGUCI S，BROSS B，et al.HEVC Test Model 3（HM3）Encoder Description，JCTVC-E602[R].[S.l.]：JCT-VC，2011.[11]UGUR K，LAINEMA J，HALLAPURO A.High precision bi-directional averaging，JCTVC-D321[R].[S.l.]：JCT-VC，2011.

[12]TAN T，HAN W，BROSS B，et al.BoG report of CE9：Motion vector coding，JCTVC-D441[R].[S.l.]：JCT-VC，2011.

[13]HUANG Y，BROSS B，ZHOU M，et al.CE9：Summary report of core experiment on MV coding and skip/merge operations，JCTVC-F029[R].[S.l.]：JCT-VC，2011.

[14]WIEGAND T，BROSS B，HAN W，et al.WD3：Working draft 3 of high-efficiency video coding，JCTVC-E603[R].[S.l.]：JCT-VC，2011.

[15]FU C，CHEN C，HUANG Y，et al.TE10 subtest 3：Quadtree-based adaptive offset，JCTVC-C147[R].[S.l.]：JCT-VC，2010.

[16]FU C，CHEN C，HUANG Y，et al.CE8 Subset3：Picture quadtree adaptive offset，JCTVC-D122[R].[S.l.]：JCT-VC，2011.

[17]EKSTROM M.Realizable wiener filtering in two dimensions[J].IEEE Transactions on Acoustics，Speech，and Signal Processing，1982，30（1）：31-40.

[18]CHUJOH T，WADA N，YASUDA G.Quadtree-based Adaptive Loop Filter，ITU-T Q.6/SG16 C181[R].[S.l.]：JCT-VC，2009.

[19]CHONG S，KARCZEWICZ M，CHEN C，et al.CE8 Subtest 2：Block based adaptive loop filter，JCTVC-E323[R].[S.l.]：JCT-VC，2011.

[20]CHEN C，FU C，TSAI C，et al.CE8 Subtest 2：Adaptation between pixel-based and region-based filter selection，JCTVC-E046[R].[S.l.]：JCT-VC，2011.

[21]BUDAGAVI M，SZE V，DEMIRCIN M，et al.Video coding technology proposal by Texas Instruments，JCTVC-A101[R].[S.l.]：JCT-VC，2010.

[22]WINKEN M，BO?E S，BROSS B，et al.Video coding technology proposal by fraunhofer HHI，JCTVC-A116[R].[S.l.]：JCT-VC，2010.

[23]HE D，KORODI G，MARTIN-COCHER G，et al.Video coding technology proposal by research in motion，JCTVC-A120[R].[S.l.]：JCT-VC，2010.

[24]BUDAGAVI M，DEMIRCIN M.Parallel context processing techniques for high coding efficiency entropy coding in HEVC，JCTVC-B088[R].[S.l.]：JCT-VC，2010.

[25]SZE V，BUDAGAVI M.Parallelization of HHI_TRANSFORM_CODING，JCTVC-C227[R].[S.l.]：JCT-VC，2010.

[26]AUYEUNG C，LIU W.Parallel processing friendly simplified context selection of significance map，JCTVC-D260[R].[S.l.]：JCT-VC，2011.

[27]SZE V，BUDAGAVI M，CHANDRAKASAN A.Massively Parallel CABAC，ITU-T SGI 6/Q.6 VCEG-AL21[R].[S.l.]：JCT-VC，2009.