基于非規則PU模式的HEVC視頻編碼方法

于成業，何小海，滕奇志，鐘國韻，李 元

(四川大學電子信息學院，四川成都610064)

隨著高清、超高清視頻的應用，目前主流的H.264/AVC［1］視頻編碼技術已經逐漸不能滿足高壓縮率的要求。面向高清視頻應用的新一代國際視頻標準HEVC(High Efficiency Video Coding)［2］最終草案已經于2013年1月發布，在保持H.264/AVC標準視頻質量的基礎上，基本完成了使碼率降低一半，即壓縮率提高了一倍的目標。

HEVC視頻編碼標準在H.264/AVC視頻編碼技術的基礎上做了很多方面的技術改進。相對于H.264/AVC中劃分的宏塊和子宏塊，HEVC中定義了3種編碼單元:編碼單元(CU)、預測單元(PU)和變換單元(TU)。一個CU又可以劃分為多種PU，HEVC中最多有8種不同的幀間PU預測模式。HEVC中的幀間預測由不同尺寸CU預測模式和不同的PU模式組合而得，PU尺寸包括64×64、32×32、16×16、8×8和4×4，并且其PU 的分割方式包括對稱PU模式和非對稱PU模式。通過這些更精細的劃分，提高了幀間預測的塊匹配精度。另外，HEVC還定義了一種稱為融合模式的方法，該方法利用時域上或者空域上相鄰的塊直接復制數據來對當前塊進行編碼，該方法極大地降低了編碼數據量，從而提高了編碼壓縮率。

HEVC中幀間預測保留了H.264中基于塊匹配的運動估計技術，而塊匹配運動估計的思想是利用矩形塊對運動物體進行運動估計，具體到HEVC中就是利用不同的PU形狀和尺寸對視頻圖像進行匹配估計，然而在實際的視頻圖像中，運動物體的運動邊界是規則的并不多，如果視頻中多數幀都是此種情況，運動估計發生偏差的可能性就較大，造成幀間預測的殘差較大，最終導致編碼碼率較高［3］。如果采用非規則分塊的方式，運動估計塊匹配的精度就會更高，幀間預測的殘差也會更小，編碼碼率就能夠得到一定程度的降低。因此，本文提出了非規則PU模式方法，為實現該方法在幀間預測方面做了改進，最后為降低非規則PU模式判決過程的計算復雜度設計了一種快速算法。

1 已有的非規則分塊方法

目前的HEVC標準中定義了8種不同的PU預測模式，如圖1所示，但這些都是相對規則PU預測模式。基于引言中所述，在HEVC視頻編碼框架下采用非規則分塊方式可以有效地提高幀間預測的塊匹配精度，從而相應地可以減小幀間預測殘差。部分文獻也提出了HEVC視頻編碼框架下的一些非規則PU模式算法。文獻［4-5］提出了加入一定數量的非規則PU模式的方法來降低碼率，但是由于加入較多的PU預測模式，導致計算復雜度增加。文獻［6］提出了一種自適應分塊方式將CU分成兩種非規則PU，該方法定義了兩個參數r、d來確定PU的分割邊界，通過這兩個參數來確定非規則PU的劃分方式，如圖2所示，實驗數據顯示采用這種方法降低了4%左右的編碼碼率，但計算復雜度卻升高了100%左右。文獻［7］提出了如圖3所示的6種非規則PU模式，但只是在CU尺寸為8×8時才進行遍歷，實驗數據顯示在計算復雜度升高20%的情況下，編碼碼率降低了1%左右。

圖1 HEVC中8種PU模式

圖2 文獻［6］中的非規則PU分塊方式

圖3 文獻［7］中的非規則PU分塊方式

2 本文提出的算法

2.1 非規則PU模式方式

結合以上文獻已有的非規則分塊方法，提出如圖4所示的兩種非規則PU模式;從圖中可以看出，采用的非規則PU模式與文獻［7］中的兩種PU模式相同，如圖3中的標號5，6。區別是將這兩種PU模式加入到各種CU尺寸的遍歷中去，而文獻［7］中的非規則PU模式只在CU尺寸為8×8時才會遍歷。HEVC的CU采用四叉樹劃分機制，因此文獻［7］中的其他4種模式(圖3中標號1，2，3，4)與兩種非規則PU模式在四叉樹遍歷的機制下，會出現較多的重復，所以不再加入文獻［7］中的另外4種PU模式。另外，8×8尺寸的CU已經足夠精細地表現視頻圖像中的紋理細節，如果在8×8尺寸的CU中加入非常詳細的非等分非規則PU模式，反而只會增加計算復雜度，得不到很好的效果。綜合以上分析可知，只需將圖4中的PU模式加入到各種CU尺寸的遍歷中去，在充分降低HEVC編碼碼率的情況下，避免計算復雜度不必要的上升。

圖4 非規則PU模式

2.2 非規則運動估計方法

國內外的一些學者和研究機構也在致力于非規則運動估計方法研究，普林斯頓大學、臺灣國立大學等［8-9］提出了基于內容的自適應運動搜索方法，通過判斷前一幀的搜索范圍，來確定當前幀的搜索范圍。密蘇里大學［10］提出了一種在解碼端學習的方法，實驗結果表明該方法能夠得到較好的視頻圖像質量。美國加州大學［11］提出了通過比較當前幀與參考幀之間的相位相關性確定初始搜索點，減少了幀間預測過程中運動估計所用的時間。以上文獻的運動估計方法都是針對運動物體的運動邊界是規則的情況，這些方法并不完全適合非規則的運動估計。因此，需要深入研究非規則塊運動估計方法，來降低幀間預測運動估計過程的計算復雜度。

基于兩種非規則PU模式方法，對MV預測過程也做了相應改進，把一個CU分成兩個非規則PU，并分別對這兩個PU分塊進行運動估計，這樣通過運動補償得到的殘差數據就會更小，運動估計也會更準確。HEVC標準中定義了不同的PU模式運動方向，由于把一個CU分成兩個非規則PU，并分別進行運動估計，則這兩個PU分塊的MV運動信息不相同。因此，對當前的PU分塊進行運動估計時就不用參考與之在同一個CU里的相鄰PU的MV了。

HEVC標準中的運動向量融合技術利用時域上或者空域上相鄰的塊直接復制數據來對當前塊進行編碼，并不需要對宏塊進行運動估計，直接使用選出的最佳運動估計信息(運動矢量、參考幀序號)對當前PU進行幀間預測。由于加入了非規則PU模式方式，為適應該算法，幀間預測中運動向量融合方式也要做相應改進，對比HEVC中規則PU模式的融合方式，本文使HEVC中空域上原有的融合方式保持不變，增加了如圖5所示的融合方式。由于處于同一個CU分塊中的兩個非規則PU模式具有不同的MV信息，而兩個非規則PU的MV信息是基于相鄰重建塊的MV信息參考而得的，圖5a、圖5b、圖5c中當前PU分塊分別與1，3及5相鄰塊之間了間隔了一個相鄰PU分塊，而當前PU的相鄰PU的MV信息與1，3，5相鄰塊相近，則當前PU分塊的MV信息不會和這些相鄰塊相同。因此圖5中的3種情況下不再進行融合。

圖5 增加的非規則PU的融合方式

2.3 針對非規則PU模式的快速算法

由圖2可知HEVC的幀間預測PU模式包括4種對稱PU模式和4種非對稱幀間PU模式，共8種規則的PU模式。如引言中所述HEVC還定義了一種稱為融合模式的方法。因此HEVC中每種非對稱PU模式對應非對稱PU模式預測過程和非對稱PU融合模式預測過程。為了去除冗余的預測模式，HEVC也定義了相應的針對對稱和非對稱PU模式的快速算法［12-14］，在保證編碼質量的情況下省去不必要的計算量，同樣在每一種尺寸的CU中加入非規則PU模式的遍歷，雖然可以增加幀間預測的準確度降低碼率，但同時也會增加編碼計算復雜度。因此，有必要找到一種可以自適應跳過非規則PU模式的幀間預測快速算法。本文設計了一種針對非規則PU模式的快速算法，分為下面的兩種情況，算法如下:

1)非規則PU模式

(1)當CU尺寸為64×64或最佳PU預測模式(遍歷當前CU所有的PU模式，取其中率失真代價值最小的一種PU模式)為融合模式時跳過兩種非規則PU模式。由于當前CU(64×64)尺寸太大，此時不可能達到CU的最佳劃分，使用過多的PU模式只會增加計算復雜度，因此跳過兩種非規則PU模式，當最佳PU預測模式為融合模式時，則可知當前CU的預測參考了周邊CU運動估計信息，為避免不必要的計算復雜度，同樣跳過兩種非規則PU模式。

(2)當最佳PU預測模式不為融合模式時，由于非規則PU模式和PU模式三大分割類中的任何一類都不相同，直接遍歷兩種非規則PU模式。

2)非規則PU融合模式

(1)當最佳PU預測模式為skip模式時，當前CU基本是采用融合模式，但不分割類的融合模式的預測精度不是很理想，采用兩種非規則PU融合模式能夠有效提高預測精度，因此遍歷兩種非規則PU融合模式。

(2)當前CU上一層CU的最佳PU預測模式為幀內PU模式且其最佳PU預測模式為非對稱分割類的橫向分割類或豎向分割類的PU模式時，當前CU基本是采用融合模式，而且可能處在像素紋理詳細或運動特性比較復雜的區域，由于非規則PU模式和PU模式三大分割類中的任何一類都不相同;則遍歷兩種非規則PU融合模式。

(3)其他情況跳過兩種非規則PU融合模式。

3 實驗及結果

本文將所提方法與HM8.0測試模型進行比較，實驗平臺為HM8.0標準測試環境，為體現算法的普適性，采用了8種視頻序列。測試其中的前100幀，圖像組結構(GoP)設為“IPPP”，CU 尺寸為64×64，32×32，16×16和8×8等4種。QP值取22，27，32和37。為了比較本文算法和HM8.0算法之間的性能，將不采用快速算法的非規則PU模式算法和采用快速算法的非規則PU模式算法分別與HM8.0測試模型進行對比，其計算公式為

式中:ΔP，ΔB和ΔT分別表示本文算法與HM8.0測試模型算法在PSNR(峰值信噪比)、編碼碼率和編碼時間三項數值上的差值;PPRO和PREF分別表示所提出的算法和HM8.0測試模型算法的PSNR;BPRO和BREF分別表示所提出的算法和HM8.0測試模型算法的編碼碼率;TPRO和TREF分別表示所提出的算法和HM8.0測試模型算法的編碼時間。算法實驗結果如表1所示，從表中可以看出，在不使用快速算法的情況下使用非規則PU模式可以節省2.24%的碼率，編碼時間上升37.26%，PSNR波動較小。在加入快速算法之后，碼率節省雖然下降了1.09%，但編碼的時間大幅節省，與HEVC原始算法相比只上升了10.91%，同時PSNR波動較小，由于HEVC視頻編碼標準中碼率的降低相對比較困難，文獻［6］在編碼時間升高一倍的情況下，碼率降低了4%左右;文獻［7］在編碼時間升高20%的情況下，碼率降低了1%左右，故通過比較可知，本文算法實驗結果是非常理想的。

表1 非規則PU模式算法與HM8.0測試模型算法比較結果

4 結論

本文從降低HEVC編碼碼率的角度，提出了兩種非規則PU模式，為適應該非規則模式重新設計了部分幀間預測過程，最后為降低非規則PU模式判決過程計算復雜度設計了一種快速算法。實驗結果顯示，相比已有的HEVC編碼方法，基于非規則PU模式的HEVC編碼方式在時間上升高37.26%，在PSNR波動很小的情況下，平均節省碼率2.24%。在加入快速算法的情況下，計算復雜度大幅降低，平均節省碼率1.09%，編碼時間只上升了10.91%。

［1］WIEGAND T，SULLIVAN G，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2003，13(7):560-576.

［2］UGUR K，ANDERSSON K，FULDSETH A，et al.High performance，low complexity video coding and the emerging HEVC standard［J］.IEEE Trans.Circuits Syst.Video Technol.，2010，20(12):1688-1697.

［3］何小海，王正勇.數字圖像通信及其應用［M］.成都:四川大學出版社，2006.

［4］ZHENG Xiaozhen，YU Haoping.Huawei＆ HiSilicon report on flexible motion partitioning coding［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［5］ZHENG Xiaozhen，YU Haoping.Huawei＆ HiSilicon report on flexible motion partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［6］EDOUARD F，PHILIPPE B，GUO L.Simplified geometry block partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［7］ZHENG Xiaozhen，YU Haoping，LI Shao，et al.Non-rectangular motion partitioning［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［8］SU Yeping，SUN Mingting.Fast multiple reference frame motion estimation for H.264/AVC［J］.IEEE Trans.Circuits Syst.Video Technol.，2006，16(3):447-452.

［9］HUANG Y，HSIEH B，CHIEN S，et al.Analysis and complexity reduction of multiple reference frames motion estimation in H.264/AVC［J］.IEEE Trans.Circuits Syst.Video Technol.，2006，16(3):507-522.

［10］LIU Wei，DONG Lina，ZENG Wenjun.Motion refinement based progressive side-information estimation for wyner-ziv video coding［J］.IEEE Trans.Circuits Syst.Video Technol.，2010，20(12):1863-1875.

［11］PAUL M，LIN W，LAU C，et al.Direct inter mode selection for H.264 video coding using phase correlation［J］.IEEE Trans.Image Processing，2011，20(2):461-473.

［12］CHOI K，PARK S，JANG E.Coding tree pruning based CU early termination［EB/OL］.［2013-10-02］.http://phenix.int-evry.fr/jct/.

［13］ZHONG Guoyun，HE Xiaohai，QING Linbo，et al.Fast inter-mode decision algorithm for high-efficiency video coding based on similarity of coding unit segmentation and partition mode between two temporally adjacent frames［J］.Journal of Electronic Imaging，2013，22(2):1-19.

［14］李元，何小海，鐘國韻，等.一種基于時域相關性的高性能視頻編碼快速幀間預測單元模式判決算法［J］.電子與信息學報，2013，35(10):2365-2370.