一種改進的H.264幀內預測模式選擇算法

唐浩漾, 王曙光

(西安郵電大學 自動化學院, 陜西 西安 710121)

一種改進的H.264幀內預測模式選擇算法

唐浩漾, 王曙光

(西安郵電大學 自動化學院, 陜西 西安 710121)

針對H.264幀內預測模式選擇中失真估計不準確和計算量大的問題，提出一種改進的H.264幀內預測模式選擇算法。該算法首先對像素的遞歸失真估計方法進行改進，較為準確地估計了多種幀內預測模式下的預測失真，然后利用相鄰塊預測模式的相關性預先篩除部分預測模式，降低了H.264中幀內預測的復雜度。與 JM 參考軟件的對比結果表明，該優化算法能在保證很好的圖像質量的同時，將幀內預測模式選擇的時間減少60%以上，有效地提高了視頻圖像的編碼效率和視覺質量。

視頻編碼；H.264/AVC；幀內預測；率失真優化

H.264/AVC是由ISO和ITU組建的聯合視頻組(JVT)推出的新一代視頻壓縮標準[1]。為了實現更高的編碼效率，H.264/AVC標準采用了很多新的編碼技術，如多模式的幀內預測、宏塊的靈活劃分、增強的運動估計、改進的去塊效應濾波器等，但這些技術也使得視頻編碼的復雜度急劇上升[2]。

率失真優化技術是H.264/AVC中的核心技術之一，H.264/AVC以全搜索的方式進行幀內預測，通過選擇率失真代價最小的模式作為最優編碼模式，較好地取得了碼率和失真之間的平衡[3]。在H.264/AVC的率失真優化(Rate-distortion Optimization, RDO)幀內預測模式選擇中，采用絕對誤差和(Sum of Absolute Difference, SAD)作為失真的判決函數，但SAD僅反映時域的差異，不能有效反映傳輸過程和解碼器端可能引起的失真[4-5]。遞歸優化的像素估計方法(Recursive Optimal Per-pixel Estimate, ROPE)是一種基于像素的遞歸估計算法，其將視頻傳輸失真分為由量化引起的編碼失真和網絡丟包產生的傳輸失真[6]，本文根據H.264/AVC的多模式幀內預測對ROPE方法進行改進，較為準確地計算出多種幀內預測模式的失真，改進了H.264/AVC幀內預測的率失真性能。

H.264/AVC支持的幀內預測模式較多，為了確定一個宏塊的幀內預測模式，需要執行592種率失真代價(Rate-Distortion Cost, RD_Cost)的計算，導致幀內預測的復雜度很大[7]。為了降低編碼復雜度，本文在RDO模式選擇之前篩除部分編碼性能不佳的模式，減少率失真代價的計算數量，降低編碼復雜度。

1 H.264/AVC的幀內預測模式

H.264/AVC利用相鄰宏塊的空間相關性來進行幀內預測編碼。對于一個給定的宏塊，首先利用相鄰的周圍宏塊對此宏塊進行預測，然后對實際宏塊和預測宏塊的對應像素差值做變換編碼，從而減少Intra幀的編碼數據量[8]。如圖1所示，把16×16亮度宏塊劃分成16個4×4的子塊，4×4預測塊的像素a～p可以由已經編碼并重建像素采樣點(A～H, I～L, M)預測。

圖1 幀內預測的各像素點分布

按照圖像的不同紋理特征，H.264/AVC將一幅Intra幀圖像劃分為不同大小的塊。對于亮度分量，H.264/AVC對含有較多空域細節信息的宏塊采用4×4預測，有9種預測模式，而對于較平坦的區域采用16×16的預測模式，有4種預測模式；對于色度分量，預測是對整個8×8塊進行的，有4種預測模式[9]。圖2為Intra4×4幀內預測的9種模式預測方式，包括一種DC模式和8種方向預測模式。

圖2 Intra4×4幀內預測模式

在幀內預測模式選擇過程中，H.264/AVC計算所有幀內預測模式的率失真優化代價函數，以選出整個宏塊的最優預測模式。最優預測模式選擇過程中用到的RDO代價函數定義為

Jmode(M|λmode)=SAD(M)+λmodeRM,

(1)

其中M為候選的編碼模式，λmode為用于模式選擇的拉格朗日乘子，λmotion=0.85×Q2，Q為宏塊量化參數，RM為碼流位數，是在給定的模式和量化參數條件下編碼殘差數據及其他有關信息的總比特數之和。SAD(M)為編碼模式M的失真度估計，其值為一個編碼塊的原始采樣s(x,y)和預測樣點p(s,y)差值d(x,y)的絕對值之和，即

。

(2)

2 幀內預測模式的失真估計

ROPE算法作為一種像素域的遞歸估計算法，能較為準確地計算出解碼器端整像素精度的每個像素失真度期望[10]。但ROPE算法并沒有考慮幀內不同預測模式的差異，不適合H.264/AVC標準，本文首先對ROPE算法進行改進，估計H.264中不同幀內預測模式下的預測失真。

(3)

(4)

皇帝拍拍她的手背：“那就好?！被实壑敢恢干砗螅半蘼犝f你不適，就忍不住來了，正好也催促太醫過來，給你仔細瞧瞧?！?/p>

(5)

(6)

(7)

(8)

(9)

(10)

(11)

圖3 H.264/AVC編解碼過程示意圖

3 幀內4×4塊預測模式快速選擇

Intra幀圖像存在著相同或相近的紋理方向，其相鄰塊的預測模式往往會相同。利用這一特性，在進行幀內4×4模式選擇時，首先利用幀內預測的最有可能模式(most probable mode，MPM)進行編碼模式的預判斷，以縮小預測模式選擇的范圍。

H.264中Intra4×4幀內預測的最有可能模式MPM定義為當前4×4塊的左、上相鄰塊采用的最小編號的預測模式，不存在左或上相鄰塊的邊界塊則以DC模式作為其MPM[7]。

設定±22.5°范圍預測模式偏差為相似性幀內預測，近似為有相同的MPM。表1為當前4×4塊與左、上相鄰4×4塊的MPM相似性，它們的預測模式偏差在±22.5°范圍內。首先判斷當前塊與相鄰4×4塊的MPM分布差異

mode_4×4intra(i)≈

mode_4×4intra(i,neighbor)。

(12)

步驟1 計算當前預測塊和其左、上相鄰塊的MPM。

步驟2 判斷其MPM是否滿足式(12)的判決條件。如果滿足，計算當前塊和其相鄰塊的MPM的RD_Cost，選擇具有最小代價的模式為RD_Cost1，否則直接執行步驟3。

步驟3 計算方向性最強的4個預測方向：模式0、模式1、模式3、模式4分別代表水平、垂直、兩個對角線方向的預測，方向性最強，計算模式0、1、3和4的RD_Cost，選擇具有最小代價的模式為RD_Cost2。

步驟4 比較第2、第3步中計算出的率失真代價，選取具有最小率失真代價的模式作為當前幀內4×4塊的預測模式。

表1 Intra4×4最有可能預測模式的相似性關系

4 仿真結果與分析

在H.264/AVC標準的測試模型JM16.2[11]中實現改進算法，并與JM16.2參考軟件中的全搜索幀內模式選擇算法，文獻[12]中快速幀內模式選擇算法SDD，文獻[13]中快速幀內模式選擇算法DES進行實驗對比。

實驗采用3個具有代表性的CIF格式的標準測試序列Foreman，News和Football。3個序列具有不同的運動程度和紋理特性，每個序列編碼100幀。實驗中，使用了基于上下文的自適應二進制算術編碼(CABAC)，采樣格式為4∶2∶0，采用率失真優化，實驗只做幀內編碼，將所有的編碼幀都設置為I幀。實驗條件如表2所示。

表2 JM16.2編碼參數設置

實驗評價指標包括平均PSNR差異ΔPSNR，碼率變化率ΔBitrate、編碼時間降低百分比ΔTime，它們分別表示快速算法相對JM16.2全搜索算法的編碼性能變化，采用JVT參考文件中的Bjontrgaard方法[14]可對它們進行計算，即

ΔPSNR=RPSNR_fast-RPSNR_JM,

ΔBitrate=BBitrate_fast-BBitrate_JM,

表3詳細比較了3個測試序列采用全I幀編碼時，各種幀內模式選擇方法在不同量化參數下的綜合性能比較。

表3 各種幀內模式選擇算法綜合性能比較

從表3可以看出，改進算法相比JM16.2中的全搜索算法，在平均損失0.045 dB的PSNR或增加1.186%碼率的情況下，能減少約63%的編碼時間。由于文獻[12-13]中的快速幀內模式選擇方法失真估計仍然采用JM參考模型中的失真估計方法，限制了RDO模式選擇的準確性，編碼性能不如本文算法。文獻[12]減少了率失真優化模式選擇中候選模式的數量，對各序列編碼時間與本文方法更接近，文獻[13]檢測到無方向相似性時退化為全搜索方式，其編碼性能與本文算法更接近，但編碼時間更長。

圖4比較了當QP=32時News.cif序列在各種快速模式選擇算法下的R-D曲線和編碼時間對比。從圖中可以看出，改進算法在編碼時間上明顯優于兩種對比方法，在率失真性能方面也有改善，尤其是在中低碼率時這種改進更加明顯。

(a) R-D曲線

(b) 編碼時間

5 結束語

利用H.264/AVC中幀內預測的多模式劃分特點，準確估計了H.264多模式下的幀內預測失真，并將該失真測度模型應用于H.264/AVC的RDO幀內預測模式選擇中，結合幀內預測模式的鄰域空間相關性，減少了率失真代價的計算數量，提高了算法的編碼性能。實驗結果表明，提出的幀內預測模式改進算法，與JM16.2中的全搜索方式相比，具有基本相同的平均PSNR值，但能減少約60%的編碼時間，具有較好的重建圖像質量和更高的編碼效率。

[1] 田小平，田永召.面向交互應用的HEVC編碼性能分析[J]. 西安郵電大學學報, 2014, 19(3):6-11.

[2] Kumar S, Xu L Y, Mandal M K, et al. Error resiliency schemes in H.264/AVC standard[J]. Elsevier J.of Visual Communication and Image Representation, 2006, 17(2):570-576.

[3] Zhang Zhishou, Sun Qibin, Wong W C,et al. Rate-Distortion-Authentication Optimized streaming of authenticated Video[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17(5):544-557.

[4] Li Xiang, Oertel N, Hutter A, et al. Laplace distribution based lagrangian rate distortion optimization for hybrid video coding[J]. IEEE Transactions on Circuits and System for Video Technology, 2009, 19(2): 193-205.

[5] 唐浩漾,王曙光,趙洪鋼.基于率失真優化的H.264參考幀選擇算法[J].西安郵電大學學報,2014,19(4):31-35.

[6] Leontaris A, Cosman P C. Video compression for lossy packet networks with mode switching and dual-frame buffer[J]. IEEE Transactions on Image Process, 2004, 13(7): 885-897.

[7] 宋云，沈燕飛，龍際珍，等. 基于方向梯度的H.264幀內預測模式選擇算法[J].計算機學報，2013,36(8)：1757-1764.

[8] Asheri H, Rabiee H, Pourdamghani N, et al. Multi-directional spatial error concealment using adaptive edge thresholding[J]. IEEE Trans on Consumer Electronics, 2012, 58(3):880-885.

[9] 唐浩漾，王文慶，王曙光. 基于像素遞歸失真估計的率失真優化模式選擇算法[J].西北大學學報:自然科學版，2014, 44(1)：51-56.

[10] Leontaris A, Cosman P C. Video compression for lossy packet networks with mode switching and dual-frame buffer[J].IEEE Transactions on Image Process, 2004, 13(7): 885-897.

[11] Joint Video Team. H.264/AVC reference software JM16.2[CP/OL].(2011-01-06)[2014-02-09] http://iphome.hhi.de/suehring/tml/download/old_jm/

[12] Wang Jia Ching,Wang Jhing Fa, Yang Jhing Fa,et al. A fast mode decision algorithm for and its VLSL design for H.264 intra-prediction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2007, 17(10):1414-1422.

[13] Tsai A C, Wang J F, Yang J F, et al. Effective subblock- based and pixed-based fast direction detections for H.264 intra prediction[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2008, 18(7):975-982.

[14] Bjontegaard G. calculation of average PSNR differences between RD-curves.[EL/OL].(2001-04-01)[2014-02-09] http://wftp3.itu.int/av-arch/video-site/0104_Aus/VCEG-M33.doc

[責任編輯:祝劍]

An improved intra-frame prediction mode selection algorithm for H.264

TANG Haoyang, WANG Shuguang

(School of Automation, Xi’an University of Posts and Telecommunications, Xi’an 710121, China)

To improve the distortion estimation accuracy and simplify the computational complexity of intra-frame prediction mode selection for H.264, an improved Intra-frame prediction mode selection algorithm is proposed. A recursive optimal per-pixel estimate algorithm is modified to estimate the reconstructed distortion for various intra modes of H.264/AVC. The correlation between neighboring blocks and neighboring direction prediction mode is then used to predict the intra-frame mode, which efficiently skip some unlikely prediction modes and reduce the complexity of intra-frame prediction mode selection. Compared with the mode selection algorithm in H.264 reference software, the improved algorithm can save more than 60% of the encoding time with a negligible coding performance loss. Experimental results show that the proposed algorithm can achieve better coding efficiency and image quality.

video coding, H.264/AVC, intra prediction, rate-distortion optimization

10.13682/j.issn.2095-6533.2014.05.009

2014-06-24

陜西省自然科學基金資助項目(2012JM8022， 2011JM8003)；陜西省教育廳專項科研基金資助項目(12JK0540)

唐浩漾(1975-)，男，博士，講師，從事視頻處理與多媒體通信研究。E-mail: tanghaoyang@xupt.edu.cn 王曙光(1972-)，男，碩士，副教授，從事控制工程與多智能體研究。E-mail: wangshuguang@xupt.edu.cn

TN 919

A

2095-6533(2014)05-0046-05