基于全局和局部殘差復雜度的幀間模式選擇

李如春，林宇俊，施朝霞

(浙江工業大學 信息與工程學院，浙江 杭州 310023)

基于全局和局部殘差復雜度的幀間模式選擇

李如春，林宇俊，施朝霞

(浙江工業大學 信息與工程學院，浙江 杭州 310023)

摘要：針對H.264/AVC傳統幀間模式選擇算法的高復雜度，提出了一種適合各種視頻分辨率格式的快速幀間模式選擇算法.該算法基于全局殘差復雜度(General residual complexity，GRC)和局部殘差復雜度(Local residual complexity，LRC)，通過GRC與QP來近似計算一個閾值，然后通過對局部殘差復雜度跟該閾值比較來決定宏塊的活躍度，再根據宏塊的活躍度選出候選的幀間模式，由此進行率失真優化(Rate-distortion Optimization，RDO)計算，從而減少了不必要幀間模式的RDO計算，取得了較高的編碼效率.實驗結果表明，與JM18.4默認的幀間模式選擇算法相比，該算法在峰值信噪比和碼率基本不變的前提下，可以平均減少大約60%的幀間編碼時間。

關鍵詞：幀間模式選擇；全局殘差復雜度；局部殘差復雜度；宏塊活躍度

Inter-mode selection based on general and local residual complexity

LI Ruchun, LIN Yujun, SHI Zhaoxia

(College of Information Engineering, Zhejiang University of Technology, Hangzhou 310023, China)

Abstract:Considering the high complexity of traditional H.264/AVC inter-mode selection algorithm, this paper proposes a fast inter-mode selection algorithm for different video resolution. This algorithm is based on general residual complexity(GRC)and local residual complexity(LRC).The threshold is calculated approximately by GRC and QP and the LRC is compared with this threshold to determine the macro block activity. Then the candidate inter modes are selected according to the macro block activity and the rate distortion optimization (RDO) is calculated. It can reduce unnecessary RDO calculation in inter-mode and enhances a higher coding efficiency. Experimental results show that comparing with JM18.4 default inter-mode selection algorithm, this algorithm can reduce of 60% of its inter-frame coding time on average with the invariable peak signal noise ratio and coding rate。

Keywords:inter-mode selection; general residuals complexity; local residuals complexity; macro block activity

H.264/AVC標準[1]在選出各個宏塊最優幀間模式之前，需要遍歷每個宏塊所有的幀間模式，對每個模式都采用率失真優化策略[2]進行計算，然后取具有最小率失真代價值(RDOcost)的幀間模式作為最佳幀間預測模式.因此，一個宏塊的每種幀間模式都需要分別進行運動估計[3].對每個幀間候選模式都進行RDO代價計算，然后選擇RDO代價最小的模式作為最優幀間編碼模式，這種方法雖然精度最高，但同時復雜度極高，開銷巨大，有待優化.傳統的快速幀間模式選擇算法，實現方式大致分為閾值法和預測法兩大類.但要得到自適應的閾值往往需要對已編碼碼流進行一系列復雜分析，這在很大程度上增加了編碼負荷；預測法通常需要對宏塊信息進行變換和處理，提高了編碼器對硬件的要求[4].由于最優塊大小和殘差之間具有高度相關性[5]，根據宏塊的殘差可以預測最優塊大小，因此，筆者提出基于全局和局部殘差復雜度的快速幀間模式選擇算法，該算法只需要對已編碼碼流進行簡單分析，就可以有效提高編碼速度，減小系統開銷.從圖像質量、編碼時間等角度論證了提出算法的優越性。

1快速幀間模式選擇算法

1.1算法優化的依據

H.264/AVC標準采用拉格朗日乘數計算每種模式的RDO代價，每個模式的代價[6]可以表示為

RDOcost=D(MODE)+λMODE×R(MODE)

(1)

式中：RDOcost為當前預測模式的率失真代價值，D(MODE)為重建塊與原始塊之間的量化差，R(MODE)為當前預測模式下編碼所需比特數，λMODE為當前預測模式的拉格朗日乘數。

在使用公式(1)進行運動估計和模式選擇時，變化的塊大小可以減小預測的有效殘差[7].觀察發現最優塊大小和殘差之間有高度相關性.圖1顯示了一個殘差幀.幀的每個部分選擇了最佳分割尺寸，使傳輸信息量最小，并將選擇的分割加到殘差幀上.圖1中可以看到：在平緩的區域(殘差顯示灰色)在編碼時選用大的塊；另一方面，含有多運動邊界的區域(殘差顯示黑色或白色)在編碼時采用較小的塊。

根據上述觀察結果，根據宏塊的殘差就可以預測最優塊大小.如果用一個較大塊進行運動估計時，所得到的殘差較小，則此塊大小可以被采用為最優模式.相反，如果用一個較大塊進行運動估計時，所得到的殘差較大，則需進一步劃分塊的大小，以獲取最優模式[8]。

圖1　殘差幀Fig.1　The residual frame

1.2基于GRC和LRC的幀間模式選擇算法理論分析

進行16×16宏塊的運動估計之后，LRC作為當前宏塊和其進行運動估計時參考宏塊的絕對差和被計算出來，其中16×16宏塊的LRC公式如下：

(2)

式中：c代表當前宏塊；r代表16×16運動估計時的參考宏塊；x，y代表宏塊中像素水平和垂直位置.16×8，8×16宏塊的LRC值只需相應將公式(2)中x,y取值分別變為8即可.宏塊的活躍度根據LRC可以表示為

(3)

基于選中的宏塊活躍度，為了決定最優模式，對應的候選幀間模式如表1所示.如果LRC小于等于T0，宏塊活躍度為低，因此只需要對16×16這個幀間模式進行RDO計算；宏塊活躍度中、宏塊活躍度高對應的候選幀間模式按照表1依次類推.為了決定公式(3)中自適應的閾值T0和T1，GRC被定義為

(4)

式中：N和M分別為圖像幀的高和寬；C為當前幀；R為顯示次序上的前一幀參考幀。

表1根據宏塊靈活度候選幀間模式的分類

Table 1The classification of candidate intermodes according to MB activity

宏塊活躍度分類候選幀間模式低016×16中116×16,16×8,8×16高216×16,16×8,8×16,P8×8

閾值Ti被定義為

Ti=αi×μi

(5)

式中：i在{0，1}中取值；αi為圖像質量和編碼時間的權衡，經過大量的實驗，選擇α0=1.1，α1=1.5；μi實際上為參考幀相應宏塊類型的LRC值的平均值，比如說μ0代表所有最優模式是16×16宏塊LRC值的平均值，而μ1代表所有最優模式是16×16，16×8，8×16宏塊LRC值的平均值，μ0，μ1具體定義如下：

μ0=Mean(∑LRC(Inter16×16)n-1)

(6)

μ1=Mean(∑LRC(Inter16×16+Inter16×

8+Inter8×16)n-1)

(7)

式中：μ0,μ1的值需要幀間模式選擇后才能計算，而且模式較多計算繁瑣，所以在此之前采用GRC和QP來近似得到Ti.通過多組視頻序列實驗取平均值得到圖2結果，其代表根據不同的GRC值得到閾值Ti，i∈{0，1}，圖2(a～d)分別表示QP=24，28，32，36的結果。

圖2　不同QP下GRC與閾值Ti關系曲線Fig.2　The relation curve of GRC and Ti by different QP

從圖2可以觀察到閾值可分為2段，比如在圖2(a)中:GRC≤4和GRC>4.在GRC≤4中，Ti可以近似被看作常數，因為曲線斜率接近0.在GRC>4中，Ti接近一個線性方程.因此，Ti可以建模成為

(8)

式中：ai，bi，ci選取表2中的值；G的計算式[9]為

(9)

式中[x]定義為小于或等于x的最大整數。

表2　各個QP值下ai，bi，ci的值

通過對表2中8個QP值對應的閾值使用Matlab描點得到圖3，觀察到這些值近似可以表示

圖3　按指數函數擬合近似曲線Fig.3　Approximate curve of exponential function fitting

為一個函數f(QP)=p×eq×QP，于是使用Matlab指數函數進行擬合，分別計算出p和q值，于是表2中的參數值ai，bi，ci，可表示為

(10)

1.3算法具體實現

算法的整體過程描述如下：

Step1根據式(4)計算當前幀的GRC。

Step2基于GRC，根據式(5，8～10)決定2個閾值T0和T1。

Step3進行16×16宏塊的運動估計，然后根據式(2)對當前幀的每個16×16宏塊進行LRC計算。

Step4基于16×16宏塊的LRC、T0和T1，根據式(3)決定宏塊的活躍度。

Step5基于得到的宏塊活躍度從表1中決定當前宏塊分類。

Step6根據分類對候選的幀間模式進行RDO計算得到RDO代價。

Step7最小RDO代價的幀間模式作為最優模式。

Step8如果當前宏塊是當前幀的最后一個宏塊，則跳轉到步驟9.否則，跳轉到步驟4進行下一塊宏塊的處理。

Step9如果當前幀是最后一幀，就結束編碼過程.否則跳轉到步驟1對下一幀進行處理。

2仿真實驗

2.1實驗數據準備

實驗環境:Inter(R)Core(TM)I5-3320MCPU@ 2.60GHz；8GB內存；Windows8.1+JM18.4[10].JM配置參數如下：參考幀數目1，序列類型IPPP，編碼幀數100，RDO優化ON，熵編碼CABAC，QP=28，32，36，40，運動搜索方式UMHexagonS，其他采用默認配置。

選取QCIF，CIT，WQVGA，WVGA，720P，1080P不同格式的視頻測試序列，QP從28，32，36，40選取，采用了亮度峰值信噪比的變化值△PSNR、輸出碼流碼率變化百分比△Br和運動估計時間變化百分比△Ts這三個指標，對提出的算法和JM默認算法進行綜合性能的比較。

2.2仿真結果

QCIF格式具有較大運動強度序列(Carphone)和較小運動強度序列(News)與JM18.4算法比較的率失真曲線，如圖4(a)所示，CIF格式具有較大運動強度序列(Akiyo)和較小運動強度序列(Container)與JM18.4算法比較的率失真曲線，如圖4(b)所示.對于QP從28，32，36，40選取具體測試結果取平均后如表3所示。

從表3看出：筆者算法和JM18.4默認的算法相比較，其峰值信噪比和輸出碼率變化不明顯，但其幀間編碼時間可以縮短60%左右.圖4中，視頻序列的率失真曲線基本重合.因此，在峰值信噪比和輸出碼率基本不變的前提下，筆者算法可以有效提高視頻編碼效率。

圖4　視頻序列率失真曲線Fig.4　RD curves of video sequenc

序列運動強度序列格式像素序列名稱△PSNR/dB△Br/%△Ts/%較大QCIF176×144Carphone-0.080.12-62CIF352×288Akiyo-0.03-0.34-62WQVGA416×240BQSquare-0.010.52-56WVGA832×480BasketballDrill-0.020.41-59720P1280×720FourPeople-0.02-0.08-641080P1920×1080Kimono-0.05-0.51-67較小QCIF176×144News-0.04-0.15-59CIF352×288Container-0.03-0.46-61WQVGA416×240RaceHorses-0.041.46-63WVGA832×480BQMall-0.01-0.20-54720P1280×720KristenAndSara-0.030.25-671080P1920×1080ParkScene-0.020.28-64平均-0.030.11-62

3結論

提出了一種基于全局和局部殘差復雜度的快速幀間模式選擇算法，該算法基于GRC和LRC來決定宏塊的活躍度，選擇候選幀間模式的3個子集來代表不同宏塊的活躍度，對于有效的QP變化，給LRC的閾值設計了自適應的值.相比傳統算法，此算法在視頻質量和碼率基本不變的情況下，大大減少了編碼時間，降低了系統開銷。

參考文獻：

[1]ISO/IEC. ISO/IEC 14496-10-2003 Information technology-coding of audio-visual objects-part 10: advanced video coding [S]. Geneva：ISO/IEC，2003。

[2]WIEGAND T, SCHWARZ H, JOCH A, et al. Rate-constrained coder control and comparison of video coding standards[J]. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7)：688-703。

[3]任克強,張旭光,羅會蘭.改進的H.264幀間模式選擇算法[J].中國圖象圖形學報,2013,18(8)：893-900。

[4]畢厚杰.新一代視頻壓縮編碼標準—H.264/AVC[M].北京：人民郵電出版社,2005。

[5]ANTONIO O, KANNAN R. Rate-distortion methods for image and video compression[J]. IEEE Signal Processing Magazine,1998(11)：23-50。

[6]張真.H.264視頻編碼算法研究[D].西安：西北工業大學,2007。

[7]WIEN M. Variable block-size transforms for H. 264/AVC[J]. IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7)：604-613。

[8]GARY J S, THOMAS W. Rate-distortion optimization for video compression[J]. IEEE Signal Processing Magazine,1998(11)：74-90。

[9]SEONGWAN K, KYUNGMIN L, JAE H K, et al. Fast intermode decision algorithm based on general and local residual complexity in H. 264/AVC[J]. EURASIP Journal on Image and Video Processing,2013,30(5)：12-23。

[10]ITU Telecommunication Standardization Sector. H. 264/AVC reference software：JM18. 4[EB/OL].[2014-08-08]. http://download. csdn. net/detail/jasonde2012/4902024。

(責任編輯：陳石平)

中圖分類號：TN919.8

文獻標志碼：A

文章編號：1006-4303(2015)02-0222-05

作者簡介：李如春(1968—)，女，浙江青田人，副教授，研究方向為多媒體信號處理、信號檢測和微電子技術等，E-mail：lrc@zjut.edu.cn。

基金項目：國家自然科學基金資助項目(61306090)

收稿日期：2014-11-19