基于梯度的HEVC自適應碼率控制算法研究

付文杰，何小海，熊淑華，林宏偉，卿粼波

(四川大學　電子信息學院，四川　成都　610065)

基于梯度的HEVC自適應碼率控制算法研究

付文杰，何小海，熊淑華，林宏偉，卿粼波

(四川大學電子信息學院，四川成都610065)

摘要:針對新一代視頻編碼標準HEVC中的碼率控制問題，提出了一種基于梯度的自適應碼率控制算法。算法的主要特點是自適應獲取每個LCU的梯度來表示其復雜度，根據復雜度分配LCU層目標比特。同時，在分配幀層目標比特時利用緩沖區的狀態信息，以使編碼器輸出的實際碼率更符合給定的目標碼率，并使緩沖區滯留的數據盡量少，即傳輸時延盡量小。實驗結果表明，該算法與標準的HEVC碼率控制提案K0103相比，緩沖區滯留數據量平均減少約39.31%，峰值信噪比平均提高約0.54 dB，同時實際碼率與目標碼率之間的碼率偏差平均降低約0.39%。

關鍵詞:HEVC；碼率控制；自適應；梯度

1HEVC編碼

隨著技術的不斷進步，視頻分辨率逐漸提高，視頻編解碼標準也在不斷更新，經過MPEG、H.264/AVC等視頻編解碼標準的發展與完善，新一代視頻編解碼標準(High Efficiency Video Coding，HEVC)誕生。HEVC與之前的標準相比，具有更加有效靈活的編解碼方式[1]，編碼碼率相對于H.264/AVC節約了50%左右。

雖然HEVC編碼標準的數據壓縮率相對于H.264/AVC標準更高，但是由于視頻序列每幀的信息量略有差異，使得編碼碼率大小有波動。而在實際應用中，系統提供的帶寬一般是固定且有限的。因此，碼率控制問題應運而生。本文算法在標準的HEVC碼率控制方法基礎上進行改進，使每幀輸出比特數盡量平穩，以保證在有限帶寬下，實時傳輸編碼碼流，盡可能降低時延，同時避免緩沖區數據溢出。

HEVC標準碼率控制過程分為兩步[2]，第一步是根據幀結構、紋理復雜度等參數進行目標比特分配；第二步是根據目標比特更新編碼參數，進行編解碼，最終得到實際比特。因此，目標比特分配直接影響實際比特分配，對于碼率控制效果的優化具有重要意義。

在視頻實時傳輸系統中，編解碼器中都設有緩沖區以暫時存儲數據，緩沖區滯留數據量的大小代表該系統時延大小。為了實時傳輸數據，盡可能降低時延，必須降低緩沖區滯留數據量。文獻[2]在現有的R-λ模型基礎上提出了一種基于緩沖區狀態的碼率控制算法，設置較小的緩沖區，利用緩沖區狀態進行碼率控制。文獻[3]提出了一種基于梯度的幀內碼率控制算法，通過建立幀內平均像素梯度值與目標比特之間的關系來達到碼率控制的目的，另外還提出一種新的目標比特與QP(量化參數)之間的對應關系模型。文獻[4]在H.264/AVC標準碼率控制模型基礎上進行改進，在宏塊層與幀層之間增加了宏塊行層，并在幀層比特分配的過程中使用了緩沖區狀態反饋，使已編碼幀的緩沖區狀態對下一待編碼幀的碼率分配進行調節，減少了緩沖區滯留數據量，即降低了時延。

2HEVC標準碼率控制模型介紹

目前，HEVC標準的碼率控制過程分為三層：GOP(圖像組)層、幀層和LCU(最大編碼單元)層。碼率控制模型經歷了R-Q模型、R-ρ模型后，現在普遍使用的是模R-λ型。下面對碼率控制過程及三種模型進行簡要介紹。

2.1碼率控制過程

GOP層的碼率控制思想主要是利用提前設置的目標碼率、序列幀率及GOP的大小等參數得到一個GOP的目標比特[5]

(1)

式中：Rtar表示配置文件設置的目標碼率；f表示測試序列的幀率；Ncoded表示已編碼幀數；Rcoded表示已編碼比特數；sw表示平滑窗大小[6]；NGOP表示GOP的大小。

幀層目標比特由TGOP、當前幀在GOP中所占權重等參數決定。其中，對于全I幀，GOP大小為1，幀層目標比特即GOP層目標比特，Tpic=TGOP。對于非全I幀，每幀目標比特的權重不同，具體權重在文獻[7]中有詳細介紹。模型如下[7]

(2)

式中：CodedGOP表示當前GOP已編碼比特數；ω表示當前幀在GOP中所占權重。

LCU層目標比特取決于當前LCU的復雜度占其所在幀未編碼LCU的復雜度的權重

(3)

式中：Bitheader表示包含GOP標志位、幀標志位等數據在內的編碼數據頭信息；CodedPic表示當前幀已編碼比特數；ω表示每個LCU在當前幀中復雜度所占權重。

2.2碼率控制模型

文獻[3]介紹了最初始的碼率控制R-Q模型，其核心思想是將碼率R與量化參數Q之間建立一種二次關系，文獻[8]中提出了一種該模型的改進模型。但是由于該模型存在很多缺點，如R-Q之間的“蛋雞悖論”問題，該模型在HEVC中不予采納。

文獻[9]中建立了碼率R與參數ρ間的一種線性關系，即R-ρ模型。然而，該模型并沒有克服R-Q模型的缺點，因此實用性不強。

標準的HEVC碼率控制算法采用的是R-λ模型。R-D關系為D(R)=Ce-kR，其中C和k是與源數據特性相關的參數。令λ為R-D曲線的斜率，得到R-λ模型如下[10]

(4)

R-λ模型克服了R-Q模型的若干缺點，參數λ在率失真優化(RDO)之前根據目標碼率確定，調整λ的值就可以調整目標碼率，而且比QP更精確等。因此，模型是目前最常用的碼率控制模型，本文算法實驗環境HEVC也是采用該模型。

3基于梯度的自適應碼率控制算法

碼率控制算法的目的在于利用圖像信息盡可能精確地預測目標比特，從而更精確地更新編碼參數，得到更準確的實際比特。而預測目標比特通常采用的是復雜度權重的方法，常見的復雜度表示方式有MAD、SATD以及Sobel算子等。文獻[11]改進了H.264/AVC的幀內碼率控制算法，該改進算法將梯度作為復雜度的表示方式應用到H.264/AVC的R-Q模型中，模型參數進行自適應更新，使碼率控制性能得到提升。文獻[12]在H.264/AVC框架中證明了利用當前宏塊與參考幀同位置宏塊之間的絕對誤差和SAD在幀間編碼中表示復雜度的有效性，間接證明了梯度表示復雜度的算法在幀間預測編碼的適用性。

結合文獻[11]和文獻[12]中的核心思想，本文主要介紹一種改進的基于梯度的自適應碼率控制算法。本文中的自適應概念主要是針對非I幀圖像，分別獲取當前幀每個LCU的幀內、幀間梯度，當前LCU的復雜度選擇二者的較小值，以LCU復雜度占當前幀總復雜度的比例來分配每個LCU的目標比特。同時，除第一幀外，每幀進行目標比特分配時利用已編碼幀緩沖區狀態信息調節目標比特分配，減少緩沖區滯留數據量，從而降低時延。

3.1梯度表示方法

參考文獻[11]中H.264/AVC宏塊梯度的表示方法，建立HEVC幀內基于梯度的復雜度計算模型如下 [12]中介紹的幀間表示復雜度的方式，建立幀間基于梯度的復雜度模型如下

Gintra(i,j,k)=

(5)

式中：Ix,y,k表示第k幀坐標為(x，y)位置的像素亮度。HEVC中LCU的尺寸是64×64，本文算法為了降低計算復雜度，采用隔點采樣的方式求解LCU梯度。

R(x,y)=If(x,y)-Ir(x,y)

(6)

式中：If(x,y)表示當前位置像素亮度；Ir(x,y)表示參考幀同位置像素亮度；R(x,y)即當前位置像素與參考幀同位置像素亮度之差；Ginter(i,j,k)為幀間梯度。

幀總梯度為當前幀所有LCU梯度的累加和

(7)

式中：對于LCU的梯度GLCU(i,j,k)，若當前幀為I幀，則直接采用幀內梯度表示當前LCU的復雜度，若當前幀為非I幀，則獲取當前LCU的幀間梯度和幀內梯度，取較小值作為當前LCU復雜度的度量。

3.2緩沖區狀態及比特分配

本文算法重點改善了幀層和LCU層目標比特分配，而GOP層目標比特分配方式以及編碼參數更新方式仍按照標準模型進行。

根據式(2)得到幀層目標比特(后面稱為標準目標比特)后，設定緩沖區的大小為標準目標比特的1/3。對于除第一幀以外的幀，幀層目標比特的分配由所有已編碼幀累加的緩沖區滯留數據量進行反饋調整，調整后的目標比特稱為修正目標比特。緩沖區數據量計算方式為

(8)

式中：Bitsactual表示每個LCU實際編碼比特；Bitssize表示與LCU尺寸成正比的固定比特，已編碼幀的所有LCU的差值累加即當前幀的緩沖區狀態。

緩沖區反饋調整的主要目的是使當前幀的目標比特更加精確，編碼后得到更加精確的實際比特，從而使當前幀累加到緩沖區的數據對緩沖區數據量有所調整。緩沖區滯留數據量對幀層目標比特的具體調整方式為

(9)

根據式(9)得到的幀層修正目標比特進行LCU層的目標比特分配。遍歷每個LCU，獲取其幀內梯度，若為非I幀，則獲取幀間梯度，取幀內幀間梯度的較小值作為當前LCU的梯度，以其梯度權重分配目標比特并進行編碼參數更新。

3.3本文算法具體流程

綜合前文所述，本文算法的核心思想是對復雜度表示方式及幀層目標比特分配進行改進。復雜度表示方式采用幀內幀間梯度中的較小值，幀層目標比特分配過程利用了緩沖區狀態信息。具體算法流程如下，流程圖如圖1所示。

1)根據視頻序列的目標碼率、幀率、GOP大小分配GOP層和幀層的目標比特(若為第一幀，則采用標準目標比特，若不是第一幀，則采用修正目標比特)。

2)計算當前幀每個LCU的幀內梯度表示復雜度。

3)判斷當前幀是否為I幀，若是，則直接采用幀內梯度表示復雜度，否則計算幀間梯度，取幀內幀間梯度的較小值作為當前LCU的復雜度。

4)根據當前幀每個LCU的復雜度占幀總復雜度的比例為每個LCU分配目標比特。

5)根據每個LCU尺寸占當前幀尺寸的比例分配標準目標比特，即固定帶寬。

6)每個LCU的實際編碼比特與固定帶寬的差值進行累加，即為緩沖區滯留數據量。

7)下一幀進行目標比特分配時由所有的已編碼幀累加的緩沖區滯留數據量進行調整，得到下一幀的修正目標比特。

圖1　本文算法流程圖

4實驗結果及分析

為了與K0103提案比較實驗效果，本文實驗采用只包含K0103提案的HEVC標準HM10.0測試模型。配置文件使用encoder_lowdelay_P_main，文件中設置GOP的大小為4。選取8個不同分辨率的標準YUV視頻序列的前200幀分別在量化參數QP為22，27，32的情況下進行測試。另外，為了證明本文算法對突變圖像同樣具有普適性，將4個具有不同紋理特性的大小為832×480的標準YUV序列分別取前30幀，拼接成一個120幀的拼接YUV序列，即表1中的pinjie832×480。

本文實驗平臺為CPU為intelcorei5 3470 3.2GHz及內存為4Gbyte的PC。為了客觀地分析本文算法，將不使用碼率控制的情況下得到的實際碼率作為碼率控制的目標碼率，在使用碼率控制情況下對標準K0103提案和本文改進算法進行對比實驗。

表1給出的是9個YUV視頻序列在不同QP下的實驗數據。Δr表示的是標準算法和改進算法的實際碼率分別與目標碼率相比的碼率偏差。ΔPSNR表示改進算法與標準算法之間峰值信噪比之差

(10)

ΔPSNR=PSNRProposed-PSNRHM10.0

(11)

由結果可知，本文改進算法與標準HM10.0相比，碼率偏差平均約降低了0.39%，峰值信噪比平均提高了0.54dB。而且對于拼接序列，本文算法也具有絕對優勢，充分證明了本文碼率控制算法的普適性。

對于本文增加的緩沖區的概念，所有已編碼幀的每個LCU實際比特與固定帶寬之間的差值累加即當前幀的緩沖區滯留數據量。表2給出了9個視頻序列前200幀平均緩沖區滯留數據量。表示改進算法與標準算法相比，平均每幀緩沖區數據量差值百分比。

(12)

由結果可知，本文改進算法與標準HM10.0相比，緩沖區滯留數據最低降低11.86%，最高降低81.84%，平均降低約39.31%。因此，本文算法在固定帶寬情況下，緩沖區滯留數據量大幅度減少，在低延時固定帶寬情況下有較好的應用前景。

圖2、圖3分別為序列RaceHorses_416×240_30在QP為22時和序列Johnny_1 280×720_60在QP為27時的緩沖區滯留數據量對比。由圖中曲線可以看出，本文算法緩沖區滯留數據量與K0103相比有很大程度的減少，進一步論證了本文算法的優越性。

圖2　RaceHorses QP=22緩沖區狀態

圖3　Johnny QP=27緩沖區狀態

為了驗證本文改進算法碼率控制的平穩性效果，實驗統計了改進算法與標準HM10.0算法每幀編碼實際輸出比特。圖4、圖5分別為序列RaceHorses_416×240_30在QP為22和序列Johnny_1 280×720_60在QP為27時每幀實際輸出比特。由圖中可以看出，本文改進算法與標準算法K0103相比，實際輸出比特更加平穩，可以有效避免壓縮碼流在固定帶寬傳輸情況下發生緩沖區上溢或者下溢。

表1改進算法與標準HM10.0碼率及PSNR對比

序列名稱QP目標碼率/(bit·s-1)實際碼率/(bit·s-1)Δr/%HM10.0改進HM10.0改進ΔPSNR/dBRaceHorses416×240224809456481670248222620.150.270.69272883536289144428921390.270.290.73321544036155151415478220.480.250.68BasketballPass416×240222210216222189822167840.520.290.53271157022116952411661861.080.790.50325969386047946004001.320.580.30BQMall832×480222685452626930770269015350.280.180.37271611265416184762161621230.450.310.68329419342949952294483320.850.310.74PartyScene832×480221842129618536174184501340.620.160.72279790100988188298565180.930.680.49325428650551185054737521.530.830.14Johnny1280×720221979156219907314198034340.580.060.29271105478411162875110902220.980.320.52326353335642807463879701.180.550.76FourPeople1280×720229037534915763491114101.330.820.99275118264516451251239450.910.110.40323094790311392631001450.620.170.27BasketballDrive1920×1080227113323871238634712858240.150.210.39272929825029397710293698920.340.240.73321510922415189728151453620.530.240.59BQTerrace1920×1080227527441175461088753311330.250.080.31272281362722912274228749880.430.270.41321092550110946234109356620.190.090.37pinjie832×480222761575027870870277913770.920.640.81271668155016864123168151731.090.800.803297972631006165098786402.690.830.34平均————0.770.380.54

5結論

本文的碼率控制算法利用視頻圖像的紋理特性及幀間相似性，在進行LCU層目標比特分配時采用了自適應的幀內幀間梯度選擇算法，利用梯度權重分配目標比特。在幀層目標比特分配時采用了緩沖區狀態反饋，調整幀層目標比特分配，使實際輸出比特更加精確。由實驗結果可知，本文改進算法與K0103相比，碼率偏差平均降低了約0.39%，峰值信噪比平均提高了約0.54dB，同時在固定帶寬情況下，本文算法的緩沖區滯留數據量平均減少了約39.31%，同時實際傳輸比特更加平穩，可以有效避免緩沖區溢出。

[1]SULLIVANGJ，OHMJR，HANWJ，etal.Overviewofthehighefficiencyvideocoding(HEVC)standard[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2012， 22(12)： 1649-1668.

表2改進算法與標準HM10.0所需最大帶寬及緩沖區滯留數據量對比

序列名稱QPBufused/bitHM10.0改進Δbufused/%RaceHorses416×240222214894784634-64.57271743324987536-43.35321133919758803-33.08BasketballPass416×24022951508578078-39.2527563738384138-31.8632317375236169-25.59BQMall832×4802276637884497174-41.322759102513766256-36.283238198282562047-32.93PartyScene832×4802286232025905435-31.522753753454266216-20.633232431372857657-11.89Johnny1280×7202263797021523254-76.12273844618698039-81.843228466451155708-59.40FourPeople1280×7202237239951270604-65.882725462601864394-26.783216400161429376-12.84BasketballDrive1920×1080222656018214188638-46.5827137559108154489-40.723267220053866767-42.48BQTerrace1920×10802227563031165206900-40.0427112367248174444-27.253259085075207716-11.86pinjie832×4802268695413586887-47.792756834953583507-36.953239714032677698-32.58平均———-39.31

圖4　RaceHorses QP=22每幀實際比特

圖5　Johnny QP=27每幀實際比特

[2]YANGZZ，LIS，LUOZY，etal.LowdelayratecontrolforHEVC[C]//Proc. 2014IEEEInternationalSymposiumonBroadbandMultimediaSystemsandBroadcasting(BMSB).[S.l.]：IEEE， 2014：1-5.

[3]TIANL，ZHOUYM，CAOXJ.Anewrate-complexity-QPalgorithm(RCQA)forHEVCintra-pictureratecontrol[C]//Proc. 2014InternationalConferenceonComputing，NetworkingandCommunications(ICNC).[S.l.]：IEEE，2014：375-380.

[4]LEEYG，SONGBC.AnIntra-frameratecontrolalgorithmforultralowdelayH.264/advancedvideocoding(AVC)[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2009，19(5)：747-752.

[5]WANGMH，LIHL.Anefficientframe-contentbasedintraframeratecontrolforhighefficiencyvideocoding[J].IEEEtransactionsonsignalprocessingletters，2014，22(7)：896-900.

[6]XUL，ZHAOD，JIX，etal.Window-levelratecontrolforsmoothpicturequalityandsmoothbufferoccupancy[J].IEEEtransactionsonimageprocessing，2011，20(3)： 723-734.

[7]LIB，LIL，LIHQ.RatecontrolbyR-lambdamodelforHEVC[C]//Proc.JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11，11thMeeting.Shanghai：IEEE，2012：29-34.

[8]LIZG，PANF，LIMKP，etal.AdaptivebasicunitlayerratecontrolforJVT[C]//Proc.JointVideoTeam(JVT)ofISO/IECMPEG&ITU-TVCEG，DocJVT-G012-r1， 7thMeetingPattayaII.Thailand：IEEE，2003：76-82.

[9]HEZ，KIMYK，MITRAS.Low-delayratecontrolforDCTvideocodingvia-domainsourcemodeling[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2001，11(8)：928-940.

[10]LIB，LIHQ，LIL，etal.λdomainratecontrolalgorithmforhighefficiencyvideocoding[J].IEEEtransactionsonimageprocessing，2014， 23(9)： 3841-3854.

[11]JINGX，CHAULP，SIUWC.Framecomplexity-basedrate-quantizationmodelforH.264/AVCintraframeratecontrol[J].IEEEtransactionsonsignalprocessingletters，2008(15)：373-376.

[12]WUD，PANF，LIMKP，etal.FastintermodedecisioninH.264/AVCvideocoding[J].IEEEtransactionsoncircuitsandsystemsforvideotechnology，2005，15(7)：953-958.

付文杰，女，碩士生，主要研究方向為圖像通信；

何小海，博士生導師，主要研究方向為圖像處理、模式識別和圖像通信；

熊淑華，女，碩士生導師，主要研究方向為多媒體通信；

林宏偉，博士生，主要研究方向為圖像通信；

卿粼波，碩士生導師，主要研究方向為圖像處理、嵌入式系統、機電一體化。

責任編輯：時雯

Adaptive rate control algorithm based on gradient for HEVC

FU Wenjie，HE Xiaohai，XIONG Shuhua，LIN Hongwei，QING Linbo

(CollegeofElectronicsandInformationEngineering，SichuanUniversity，Chengdu610065,China)

Abstract:Due to the problems such as rate control of the high efficiency video coding standard， an adaptive rate control algorithm based on gradient is proposed. In the algorithm， each LCU’s gradient is adaptively obtained to represen its complexity， and then target bits depending on the complexity of the LCU is allocated.At the same time，in order to make the actual bits of each frame as closely as possible to the target bits， the buffer status feedback is used to minimize the delayed buffer data . The experimental results show that compared with the rate control algorithm in HEVC standard， the delayed buffer data is reduced about 39.31%， the peak signal-noise ratio (PSNR) is increased about 0.54 dB， and the bitrate error is reduced about 0.39% on average.

Key words:HEVC； rate control； adaptive； gradient

中圖分類號：TN919.81

文獻標志碼:A

DOI：10.16280/j.videoe.2016.04.001

基金項目：國家自然科學基金項目(61471248)；四川省科技計劃項目(2015JY0189)；四川省教育廳2014年研究生教育改革創新項目(2014-教-034)

作者簡介：

收稿日期：2015-11-23

文獻引用格式：付文杰，何小海，熊淑華，等. 基于梯度的HEVC自適應碼率控制算法研究[J].電視技術，2016，40(4)：1-6.

FU W J，HE X H，XIONG S H，et al. Adaptive rate control algorithm based on gradient for HEVC [J].Video engineering，2016，40(4)：1-6.