基于圖像復雜度及運動信息的碼率控制算法

陳立峰，李子印

(中國計量學院 光學與電子科技學院，浙江 杭州 310018)

基于圖像復雜度及運動信息的碼率控制算法

陳立峰，李子印

(中國計量學院 光學與電子科技學院，浙江 杭州 310018)

JVT-H017是H.264視頻編碼標準中采用的碼率控制算法提案，但在許多實時場景應用中該算法還存在平均絕對差值(MAD)預測不準確等一些不足。針對現有碼率控制技術的缺陷，提出一種改進的基本單元層碼率控制算法。一方面在基于圖像復雜度和運動信息的基礎上采用了4種時空加權模型預測平均絕對差值，并且采用運動矢量信息對圖像復雜程度進行判定；另一方面結合MAD的變化情況分配目標比特。實驗結果表明，相比于JVT-H017和一些新的文獻算法，改進算法的編碼圖像峰值信噪比得到了提高，同時實際碼率更接近于目標碼率，碼率控制性能更優越。

H.264；碼率控制；平均絕對差值；運動矢量

作為新一代的視頻編碼標準，H.264以其高效的編碼效率、良好的網絡適應能力以及諸多新技術引起了人們的廣泛關注[1]。碼率控制是H.264視頻編碼器結構中的重要組成部分，其作用在于根據信道的狀態平滑碼流，控制和改善視頻質量，因此碼率控制的性能直接關系到視頻編碼標準的應用與推廣[2]。

然而在H.264編碼過程中量化參數QP同時用于率失真優化和碼率控制，導致“蛋雞悖論”而不能直接套用以往編碼標準的算法，如MPEG-2中的TM5[3]、H.263中的TMN8[4]以及MPEG-4中采用的VM8[5-6]。為解決此問題，現有的H.264編碼標準采用了由Ma等人提出的JVT-H017提案[7]中的算法，但該算法在視頻序列存在快速運動或場景變換時，由于各幀的復雜度相差過大以及線性MAD預測模型的不準確，導致最終編碼輸出的碼率波動性較大，圖像質量不高。

因此，針對H017算法在基本單元層碼率控制上的不足，學者們提出了多種碼率控制算法進行改進。JVT-W042提案[8]沿用了H017的基本算法流程，著重于代碼的優化重寫，并支持全I幀和分級B幀的碼率控制。另外，文獻[9]通過一種簡單的幀差法來衡量圖像復雜度，進而改進幀層碼率控制。文獻[10]針對視頻中的大量場景切換，提出一種基于非連接點的場景切換檢測算法，結合自適應GoP分組技術提高碼率控制性能。文獻[11]在ρ域模型基礎上提出平方根模型，用于改進基本單元層的碼率控制。文獻[12]提出一種結合人眼視覺特性的碼率控制算法，在基本單元層引入視覺敏感因子進行目標比特分配。文獻[13]利用視頻信源的時空相關性提出一種新穎的編碼特性預測機制，并利用Lagrangian優化技術推導出兩種高效的位率失真優化分配算法。文獻[14]采用兩個率失真模型進行碼率預測，即給出一種基于雙模預測的自適應碼率控制方法來提高碼率控制精度。

本文將MAD值作為圖像復雜性的度量參數來調整目標比特的分配。在MAD值的預測方面，充分利用視頻序列中的空間信息來改進MAD預測模型，同時利用運動矢量的大小作為判斷依據來決定所采用的MAD預測模型。實驗結果表明，與JVT-H017以及較新的文獻算法相比，本文算法可獲得更好的圖像質量，并且具有更高的碼率控制性能。

1 JVT-H017碼率控制算法

JVT-H017碼率控制方案由兩層組成：GoP(Group of Picture)層碼率控制和幀層碼率控制，若編碼中基本單元不是一幀，則再增加額外的基本單元層碼率控制。

H017提案中的基本單元層碼率控制算法主要包括3個步驟：1)目標比特數的分配；2)預測當前基本單元的MAD值；3)基本單元量化參數QP值的計算。

1.1 目標比特數的分配

假設P幀中未編碼的基本單元數為Nbu，用frb表示分配給當前幀中未編碼基本單元的剩余比特數，則對于當前編碼基本單元所分配的目標比特數為frb/Nbu，即平均分配剩余比特數。

1.2 預測當前基本單元的MAD值

在H017提案中使用線性預測模型來預測當前基本單元的MAD值

MADcur=a1×MADpre+a2

(1)

式中：MADcur為當前基本單元的預測值；MADpre表示前一幀相同位置處基本單元的實際值；a1和a2為預測模型系數，初始值分別為1和0，之后通過線性回歸技術進行更新。

1.3 基本單元量化參數QP值的計算

完成MAD值的線性預測后，使用二次率失真模型[15]來計算當前基本單元的QP值。二次率失真模型如下

(2)

式中：Ri(j)是編碼第i幀第j個基本單元所需要的比特數；X1和X2為該模型的一、二階系數，在每個基本單元編碼結束后進行更新；MAD為上一步所得到的預測值，由此可計算量化參數QP。

2 本文的改進算法

通過對H017算法中的基本單元層碼率控制方案的描述可知，該算法的MAD預測模型只考慮了基本單元間的時間相關性，沒有利用其空間相關性。

另外，在對未編碼基本單元的目標比特分配方面，H017中的算法同樣沒有考慮圖像的復雜度因素，只是平均分配剩余比特。

這兩方面的不足將導致該算法在處理高速運動或頻繁發生場景切換的視頻序列時出現較大誤差，重新更新的模型參數也會同樣因為缺少復雜度因子而造成誤差傳播，從而影響視頻的碼率穩定性以及圖像編碼質量。因此本文分別從MAD預測模型和分配剩余比特數兩個方面來對原算法進行改進。

2.1 改進的基本單元MAD預測模型

由于在一般的視頻序列中，MAD值的大小在時間和空間兩方面均有很強的相關性。因此本文利用基本單元間的空間相關性來改進MAD預測模型，并且引入運動矢量作為衡量圖像復雜度的標準，根據圖像的復雜程度來決定選用的預測模型。

如圖1所示，編碼過程中利用當前編碼基本單元Cur和前一幀相同位置基本單元Pre的鄰域對原算法進行改進。

圖1 編碼幀的基本單元分布情況

具體的MAD時空加權預測模型為

(3)

2.1.1 水平運動矢量較大的情況

(4)

式中：X1和X2為當前幀水平方向上的擴展參考基本單元，如圖2所示。

圖2 水平運動矢量較大時的參考基本單元分布情況

2.1.2 垂直運動矢量較大的情況

(5)

式中：X3，X4，X5為當前幀垂直方向上的擴展參考基本單元，如圖3所示。

圖3 垂直運動矢量較大時的參考基本單元分布情況

2.1.3 其他情況

在不符合前兩種情況時仍然采用式(3)來計算當前基本單元的MAD值。

在上述4種預測模型中，加權系數為常數，算法復雜度低，并且考慮了基本單元MAD值之間的時間和空間相關性。在圖像運動劇烈的情況下，不僅在原算法基礎上加入了相鄰基本單元的平均MAD值，還對加權系數分別賦予不同的權值來進行調整。

改進算法還通過設置4個預測模型來針對不同復雜度的編碼圖像，再結合運動矢量作為圖像復雜度的判斷依據來對加權預測進行分級處理。這也是利用了運動矢量的性質，由于運動矢量本身就部分體現了圖像的復雜度，其絕對值越大，圖像變換速度越快，運動也就越劇烈，以此作為衡量圖像復雜度的標準可以使MAD的預測更為合理。改進的預測模型在引入運動矢量作為圖像復雜度閾值判斷的同時，也將其水平、垂直分量進行比較來判斷圖像的復雜類型，針對不同類型的視頻序列在預測模型中分別添加水平或垂直預測基本單元，從而更精確地預測當前基本單元的MAD值。

通過大量實驗，并且考慮到實時低碼率下的應用，采用宏塊作為基本單元，取b1=0.35，b2=0.45，b3=0.2，Th=16(在下文實驗中均按此參數進行測試)可提高預測精度。

2.2 基于圖像復雜度的目標比特分配優化

H017提案在基本單元層中采用將剩余比特數平均分配給所有未編碼基本單元的碼率控制方案，這樣的平均分配方案并沒有考慮到圖像中不同基本單元之間復雜度的差異性，在場景快速變化時分配過少的目標比特，導致量化參數QP過大，影響碼率控制的精度和圖像編碼質量。

文獻[16]中用MADradio來代替MAD，其中MADradio是線性預測的MAD值與已編碼幀的平均MAD的比值，即用已編碼幀的平均MAD值來表征圖像序列的復雜度，并指出MADradio能很好地反映當前幀相對于整個序列的運動劇烈程度。

為了更合理地給未編碼基本單元分配目標比特，本文在MAD時空加權預測模型的基礎之上，將式(3)所得到的MADcur引入到目標比特的分配計算中。

本文利用當前基本單元的預測值MADcur與之前已編碼基本單元的MAD平均值MADave的比值作為復雜度衡量因子λMAD，用來調整剩余比特數的分配。具體算法如下

(6)

(7)

(8)

3 實驗結果與分析

為了驗證本文算法的有效性，所有的實驗都是在JVT的開源模型JM10.1上進行，并且與JVT-H017算法以及文獻[9]的相關算法進行了比較。選用的測試序列為akiyo，silent，mother-daughter，foreman，carphone，highway的QCIF格式視頻以及waterfall的CIF格式視頻，其中waterfall視頻代表了垂直方向運動大于水平方向運動的非常規運動序列。

在測試條件上將目標碼率分別設置為48kbit/s和64kbit/s，編碼幀數為200幀，幀率為30f/s(幀/秒)，參考幀數為1，采用Hadamard編碼，熵編碼類型采用CAVLC，初始量化參數為28，GoP結構為IPPP，即編碼時第一幀為I幀，其余為P幀。

實驗結果見表1與表2，兩份表格分別記錄和比較了各序列的峰值信噪比以及碼率控制情況，其中碼率偏差是實際碼率與目標碼率的差值與目標碼率的百分比，比值越小說明算法碼率控制得越精確。圖4是foreman視頻序列在目標碼率為48kbit/s時各幀PSNR的比較曲線，比較算法為JVT-H017以及本文算法。圖5是foreman視頻序列在目標碼率為48kbit/s時的主觀質量比較情況，左、右分別為JVT-H017和本文算法所得到的圖像。

表1 JVT-H017、文獻[9]算法和本文算法的PSNR比較

由表1及表2的實驗數據可以看出，在低碼率條件下，相比于其他算法，本文算法不僅得到了更高的PSNR，還使實際碼率更接近于目標碼率。同時本文算法對waterfall這一非常規類型的視頻序列也能有較好的表現，在48kbit/s的目標碼率下能夠使碼率偏差由JVT-H017的0.40%降低到0.17%，這是由于本文算法考慮了垂直運動矢量較大這一情況后所得到的結果。

由圖4和圖5可以從客觀和主觀兩個方面發現本文算法得到的視頻質量更好，在視頻主觀質量上，本文算法更好地還原了人物的面部特征，這也是改進了JVT-H017算法中平均分配剩余比特方案后所帶來的優勢。

4 結論

本文分析了H.264中的JVT-H017碼率控制算法，指出該算法的不足并進行了相應改進。改進后的算法充分利用了編碼過程中的運動矢量信息來預測MAD值，在此基礎上根據MAD值的變化情況來反映圖像序列的復雜度，從而更精確地分配目標比特。實驗結果表明，與JVT-H017算法以及較新的算法相比，本文算法在碼率控制方面更加精確，圖像質量也有一定提高，從而改善了H.264視頻編碼的性能。

表2 JVT-H017、文獻[9]算法和本文算法的碼率比較

圖4 foreman序列PSNR實驗結果比較

圖5 foreman序列的主觀質量比較

[1]THOMASW，GARYJS，GISLEB，etal.OverviewoftheH.264/AVCvideocodingstandard[J].IEEETrans.CircuitsandSystemsforVideoTechnology，2003，13(7)：560-576.

[2]CHENZ，NGANK.Recentadvancesinratecontrolforvideocoding[J].SignalProcessingImageCommunication，2007，22(1)：19-38.

[3]ISO/IEC/JTC1/SC29/WG11，MPEG93/457，MPEG-2videotestmodel5[S].1993.

[4]CORBERAJR，LEIS.RatecontrolinDCTvideocodingforlow-delaycommunication[J].IEEETrans.CircuitsandSystemsforVideoTechnology，1999，9(1)：172-185.

[5]LEEH，CHIANGT，ZHANGYQ.ScalableratecontrolforMPEG-4video[J].IEEETrans.CircuitsandSystemsforVideoTechnology，2000，10(9)：878-894.

[6]VETROA，SUNH，WANGY.MPEG-4ratecontrolformultiplevideoobjects[J].IEEETrans.CircuitsandSystemsforVideoTechnology，1999，9(1)：186-199.

[7]JVT-H017，Proposeddraftofadaptiveratecontrol[S]. 2003.

[8]JVT-W042，Ratecontrolreorganizationinthejointmodel(JM)referencesoftware[S]. 2007.

[9]陳曉，劉海英.一種改進的H.264/AVC幀層碼率控制算法[J]．電視技術，2013，37(9)：5-7.

[10]方志軍，高永彬，舒雷，等.場景切換視頻自適應幀間碼率控制[J].中國圖象圖形學報，2013，18(6)：692-698.

[11]LIULi，ZHUANGXinhua.AnovelsquarerootratecontrolalgorithmforH.264/AVCencoding[C]//Proc.IEEEInternationalConferenceonMultimediaandExpo.NewYork：IEEEPress，2009：814-817.

[12]鄭巧燕，郁梅，彭宗舉.一種結合人眼視覺特性的H.264/AVC碼率控制算法[J].光電子·激光，2011， 22(3)：440-445.

[13]袁武，林守勛，牛振東.H.264/AVC碼率控制優化算法[J].計算機學報，2008，31(2)：329-339.

[14]朱仲杰，白永強，蔣剛毅，等. 基于雙模預測的精確碼率控制[J].中國圖象圖形學報，2010，15(4)： 541-546.

[15]CHIANGT，ZHANGYQ.Anewratecontrolschemeusingquadraticratedistortionmodel[J].IEEETrans.CircuitsandSystemsforVideoTechnology，1997，7(1)：246-250.

[16]JIANGMQ，YIXQ，LINGN.Improvedframe-layerratecontrolforH.264usingMADratio[J].IEEEInternationalSymposiumonCircuitsandSystems，2004，23(5)：813-816.

Novel Rate Control Algorithm Based on Image Complexity and Motion Information

CHEN Lifeng，LI Ziyin

(CollegeofOpticalandElectronicTechnology，ChinaJiliangUniversity，Hangzhou310018，China)

In view of drawbacks of existing rate control algorithms，an improve rate control algorithm for H.264 is proposed. On the one hand，four novel weighted models using both temporal and spatial information are proposed to predict the MAD of different motion intensity. On the other hand，the changes ofMADare adopted to represent the image complexity，and used as a coefficient of the target bit allocation. Compared with algorithms of JVT-H017 and references， the bit rate of proposed algorithm is closer to the target bit，and the average of peak signal to noise ratio is improved.

H.264；rate control；mean absolute difference(MAD)；motion vector(MV)

國家自然科學基金項目(61007012)；國家科技支撐計劃子課題項目(2012BAF07B05-3)；浙江省科技創新團隊項目(2010R50020)

TN919.81

A

10.16280/j.videoe.2015.01.007

2004-12-10

【本文獻信息】陳立峰，李子印.基于圖像復雜度及運動信息的碼率控制算法[J].電視技術,2015，39(1).

陳立峰(1987— )，碩士生，主要研究方向為視頻編解碼技術；

李子印(1978— )，博士，碩士生導師，主要從事視頻壓縮與通信、圖像處理、模式識別等方面的研究。

責任編輯：時 雯