一種HEVC樣點自適應補償改進方法

趙 川，張萌萌，馬希榮

(1.天津師范大學 計算機與信息工程學院，天津 300387；2. 北方工業(yè)大學 電子信息工程學院，北京 100144)

一種HEVC樣點自適應補償改進方法

趙 川1，張萌萌2，馬希榮1

(1.天津師范大學 計算機與信息工程學院，天津 300387；2. 北方工業(yè)大學 電子信息工程學院，北京 100144)

新一代視頻編碼標準HEVC在環(huán)路濾波技術中采用樣點自適應補償算法解決變換量化引起的振鈴效應，包括邊帶補償和邊緣補償，但是邊帶補償算法沒有完全考慮邊帶分布情況，僅傳遞4個連續(xù)的邊帶。利用圖像直方圖充分分析了邊帶分布情況，自適應地提取了幀內預測模式紋理信息，針對不同大小的樹形編碼塊提出了一種樣點自適應補償改進方法。實驗結果表明，與HM10.0相比，該方法提高了編碼性能，尤其在色度上比特率增益可達到-7.53%，圖像邊緣部分主觀評價質量提升效果明顯。

HEVC；樣點自適應補償；邊帶補償；直方圖分析；紋理特性

1 HEVC編碼

隨著存儲數據海量化、存儲方式多元化以及計算機網絡通信軟硬件水平提升，超高清、超高分辨率視頻已經成為用戶的強烈需求。H.265/HEVC視頻壓縮編碼標準由ISO移動圖像專家組(MPEG)和ITU視頻專家組(VCEG)的優(yōu)秀學者歷經3年時間不斷優(yōu)化創(chuàng)新，繼承上一代H.264/AVC標準優(yōu)勢，編碼效率提高近50%，尤其表現(xiàn)在8K×4K、1 080p等高分辨率視頻中，吸引全球范圍科研機構和Microsoft、Polycom等視頻領域跨國公司的廣泛關注。

HEVC依然使用H.264的混合編碼框架[1-2]，包含預測、變換、量化、熵編碼等模塊，框架中每個模塊為提高壓縮性能加入更加高效的算法策略而相應帶來計算復雜度，如幀內預測支持35種模式、幀間預測引入Merge模式、變換量化支持高達32×32變換單元、熵編碼放棄了低效的CAVLC而僅采用CABAC算法等。用戶在視覺上對視頻的主觀評價為主觀質量評價，而高清視頻圖像展現(xiàn)出的紋理細節(jié)極易引起評價者的注意，尤其是物體邊緣和文字內容對主觀評價起著至關重要的作用。為進一步提升視頻的主觀質量，HEVC環(huán)路濾波技術不僅沿用H.264標準中的去塊濾波器，而且加入樣點自適應補償濾波，減少由運動估計和變換量化所產生振鈴效應帶來的視頻主觀質量損失。

在歷次視頻編碼聯(lián)合開發(fā)組織會議征集草案中，草案JCTVC-A124[3]在HEVC的初始版本中使用邊帶修正(BDC)和極值修正(EXC)，消除重建幀與原始幀之間的失真；草案JCTVC-D122[4]提出樣點自適應補償(SAO)，吸收BDC、EXC技術，改進為邊帶補償(BO)和邊緣補償(EO)，選取最小失真模式進行樣點補償；草案JCTVC-E049[5]設定樹形編碼單元為補償單元，其中包括一個亮度樹形編碼塊(CTB)和兩個色度CTB，并且提取鄰近CTB信息應用Merge模式快速算法。

在環(huán)路濾波器中，HEVC融合BO和EO算法進行SAO濾波[6-7]，旨在消除從4×4到64×64大小CTB塊變換量化和運動估計8抽頭亮度濾波和4抽頭色度濾波后引起的吉布斯效應。如圖1所示，無論量化步長(QP)變化，在視頻序列圖像邊緣處重建幀像素點與原始幀相比均會產生明顯的正負差值，出現(xiàn)振鈴效果。本文針對此問題，利用視頻序列原始圖像直方圖統(tǒng)計和幀內預測判別過程的自適應紋理信息，分析原始圖像CTU像素值分布和邊緣特性，改進BO算法使BO編碼效率顯著提升。

圖1 吉布斯效應產生振鈴效果示意圖

2 樣點自適應補償濾波器設計

振鈴效應是圖像中物體邊緣位置產生連續(xù)失真現(xiàn)象，很大程度影響圖片主觀質量。SAO濾波是為提升經過預測、變換、量化、去塊濾波后重建幀質量，降低與原始幀之間的失真程度，主要采用BO和EO算法。

2.1 邊帶補償

BO將圖像灰度值分成若干個邊帶，如8比特深度視頻格式以0～255值表征亮度和顏色分量，每個邊帶包含8個像素值共32個邊帶，即用[8，8k+7]表示第k個邊帶，k∈[0，31]。每個邊帶根據自身像素特點進行補償，且同一邊帶使用相同補償值。HEVC考慮到CTB的像素值大多分布在連續(xù)4個邊帶中，因此，僅對4個連續(xù)邊帶的像素值進行補償，如圖2所示。通過率失真計算最優(yōu)補償值，最終將起始邊帶位置和4個帶符號的補償值傳至解碼端。

圖2 8 bit深度視頻邊帶補償范圍示意圖

2.2 邊緣補償

EO是基于邊緣像素值檢測的濾波過程，設定圖3a中0°，45°，90°，135°這4種邊緣檢測方向，將當前像素值c與鄰近像素值a、b對比，并設定圖3b中4種邊緣補償分類條件：比兩側鄰近值小；等于一側鄰近值且比另一側鄰近值小；等于一側鄰近值且比另一側值大；比兩側鄰近值大。最后，按照不同邊緣補償類型分別計算出重建幀像素與原始幀像素差值均值作為補償值，HEVC將補償類型以及補償值絕對值傳至解碼端。

圖3 邊緣補償像素檢測條件

2.3 SAO優(yōu)化算法設計

2.3.1 提取鄰近SAO參數的參數融合模式

SAO使用參數融合模式(Merge模式)，提取鄰近CTB的SAO參數，僅需要傳遞融合標志位至解碼端，從而進一步提高傳遞效率。因此，SAO傳輸補償類型為BO模式、EO_0、EO_45、EO_90、EO_135和MERGE_UP、MERGE_LEFT，還有不補償。其中MERGE模式中，MERGE_UP是提取CTB上側SAO補償參數，而MERGE_ LEFT左側的SAO補償參數。

2.3.2 SAO率失真優(yōu)化算法

HEVC采用SAO率失真優(yōu)化算法，避免多次重復計算重建幀與原始幀之間的失真，大幅度提升了SAO率失真算法效率。

設(x，y)為像素位置，s(x，y)為原始幀像素值，u(x，y)為重建幀像素值(SAO補償前)，C為像素范圍，m為補償值。

原始幀與重建幀之間的失真為

Dpre=∑(x,y)∈c(s(x,y)-u(x,y))2

(1)

原始幀與重建幀(SAO補償后)之間的失真為

Dpost=∑(x,y)∈c(s(x,y)-(u(x,y)+m))2

(2)

因此，SAO補償前后Dpre與Dpost的差值為

ΔD=Dpost-Dpre=∑(x,y)∈

c(m2-2m(s(x,y)-u(x,y)))=Nm2-2mE

(3)

式中：N是幀像素個數；E是原始幀與SAO補償前重建幀之間的差值和。

在決策SAO最優(yōu)模式時，利用相對率失真函數ΔJ=ΔD+λR快速計算失真，其中λ為拉格朗日因子，R為編碼SAO參數信息所需的比特數。

3 邊帶分布直方圖分析

直方圖是表征圖像像素分布特征的結構圖，SAO以邊帶為單位將像素值進行分類對重建幀進行補償，因此本文利用直方圖進一步觀察序列的邊帶分布特征。根據視頻圖像特性，邊帶分布較復雜，平滑塊集中在較窄的邊帶，含有尖銳邊緣的區(qū)域集中在跨度較大的兩個邊帶，而大塊區(qū)域含有更多像素點，邊帶分布比較分散。本文針對較大和較小的CTB分別進行如下分析。

3.1 針對較大CTB直方圖分析

對64×64，32×32和16×16的較大CTB包含內容豐富，邊帶分布復雜，不僅含有4個連續(xù)邊帶分布的情況，而且出現(xiàn)邊帶分布較集中或較分散的情況。截取32×32大小CTB分析邊帶觀察直方圖分布，圖4a顯示復雜的紋理區(qū)域邊帶分布較分散，邊帶分布跨度大于4個邊帶，而圖4b顯示平滑的紋理區(qū)域邊帶分布較為集中，邊帶分布跨度小于4個邊帶。

圖4 SlideShow序列中32×32CTB邊帶分布

因此，本文以較大原始幀CTB為單元，對像素值邊帶分布統(tǒng)計分析。以JCT-VC測試條件[8]指定的Class A至 Class F 中21個8 bit測試序列為統(tǒng)計樣本，0～255像素值分成32個邊帶，每個邊帶含有8個灰度值，測試視頻出現(xiàn)4個連續(xù)邊帶的CTB作為正常分布塊，而出現(xiàn)少于4個連續(xù)補償邊帶的CTB作為窄邊帶分布塊，出現(xiàn)大于4個連續(xù)邊帶的CTB為寬邊帶分布塊。

根據統(tǒng)計分析結果表明，如表1所示，對于較大CTB的正常分布塊占52%，而寬邊帶和窄邊帶分布塊分別占8%和40%。

表1 較大原始幀CTB邊帶分布概率 %

3.2 針對較小CTB直方圖統(tǒng)計

對8×8，4×4大小則包含像素點較少，與較大塊CTB相比所含內容較少，邊帶分布不僅含有4個連續(xù)邊帶分布的情況，而且出現(xiàn)HEVC無法解決的兩個或多個邊帶分布跨度較大的情況。截取8×8大小CTB分析觀察邊帶直方圖分布，圖5a顯示邊帶分布較分散，集中出現(xiàn)在兩個邊帶，且邊帶分布跨度大于4個邊帶，而圖5b顯示邊帶分布較分散，邊帶集中出現(xiàn)在多個邊帶，邊帶分布間跨度大于4個邊帶。

圖5 SlideShow序列中8×8 CTB邊帶分布

因此，與較大塊CTB相同，本文選取JCT-VC測試條件指定視頻序列樣本，將邊帶分布集中在1個波峰情況作為單波峰分布塊，而邊帶分布形成2個波峰(跨度大于4個邊帶)作為雙波峰分布塊，大于2個波峰(波峰間跨度大于4個邊帶)作為多波峰分布塊。

根據統(tǒng)計分析結果表明，如表2所示，對于單波峰補償塊出現(xiàn)概率為71%，而雙波峰和多波峰出現(xiàn)概率分別為25%和4%。

表2 較小原始幀CTB邊帶分布概率 %

4 幀內預測模式信息提取紋理

HEVC幀內預測是利用預測單元鄰近像素點信息，消除圖像的空間冗余性。HEVC提供35種預測模式，其中包含33種方向預測模式，DC、Planar兩種平滑區(qū)域預測模式。為降低幀內預測復雜度，HEVC利用哈達瑪變換殘差計算的粗略模式選擇(RMD)和鄰近信息可能最優(yōu)模式(MPM)，提取幀內預測最優(yōu)模式集計算率失真代價(RDO)，得到幀內預測最優(yōu)模式。

本文前期的大量工作[9-10]得出結論，RMD最優(yōu)模式與RDO最優(yōu)模式在表征預測塊紋理上具有相關性，尤其是針對較小的CTB單元。若RMD最優(yōu)模式與RDO最優(yōu)模式均為方向預測模式且方向性一致或相鄰，可準確表征預測塊紋理方向，從而提取圖像的邊緣方向；若RMD最優(yōu)模式與RDO最優(yōu)模式均為DC或Planar模式，可準確表征預測塊為平滑區(qū)域。因此，通過預測編碼過程中每次幀內預測模式判別，利用RMD最優(yōu)模式與RDO最優(yōu)模式之間的相關性，可快速提取CTB紋理特點。

5 邊帶補償改進方法設計

本文基于直方圖觀察分析CTB邊帶分布，分別針對64×64,32×32,16×16的較大CTB和8×8,4×4的較小CTB的復雜的邊帶分布情況，自適應地提取幀內預測模式的信息判別CTB紋理特征，對HEVC中的BO算法進行優(yōu)化，圖6a和圖6b分別為應用于較小和較大CTB的BO改進方法流程圖。

圖6 邊帶補償改進方法流程圖

5.1 自適應判定紋理特征

為準確判斷圖像波峰特征，在計算8×8和4×4較小CTB邊帶補償模式前，提取幀內預測中RMD最優(yōu)模式和RDO最優(yōu)模式，利用兩種模式圖像紋理相關性進行“圖像紋理判別”，如圖6a所示。

如果RMD最優(yōu)模式與RDO最優(yōu)模式均為DC或者Planar模式時，該CTB則為平滑區(qū)域；如果RMD最優(yōu)模式與RDO最優(yōu)模式的同為角度模式，且方向相鄰(模式相差小于或等于2)，該CTB則為圖像紋理規(guī)則區(qū)域，即含邊緣區(qū)域；如果RMD最優(yōu)模式與RDO最優(yōu)模式的同為角度模式，且方向不相鄰(模式大于2)，該CTB則為圖像紋理非規(guī)則區(qū)域，即無邊緣區(qū)域。

5.2 邊帶補償新增模式

根據圖像直方圖分析過程得到結論，針對較小與較大CTB邊帶分布特點不同，分別采用不同補償模式。

對于8×8和4×4較小CTB，如圖6a所示，圖像紋理判別后，若為平滑區(qū)域，則該區(qū)域判定為單波峰分布，以傳統(tǒng)BO為標志位，傳遞4個連續(xù)的邊帶補償值；若為含邊緣區(qū)域，判定邊界特征像素點對邊帶間隔Y，如圖7a和圖7b分別表示 8×8 和4×4的邊界特征像素點位置，以幀內預測過程提取的CTB紋理方向為參考對稱軸，判定圖7中具有相同數值位置的特征像素點，如果特征像素點所在邊帶間隔Y<4則該區(qū)域依然判定為單波峰分布，以傳統(tǒng)BO為標志位，如果Y≥4則該區(qū)域依然判定為雙波峰分布，以BO_D為標志位，傳遞2個非連續(xù)邊帶補償值；若為無邊緣區(qū)域，則提取波峰邊帶值后，以BO_M為標志位，識別含像素較多的波峰邊帶，傳遞3～4個非連續(xù)邊帶補償值。

對于64×64，32×32，16×16較大CTB，如圖6b 所示，統(tǒng)計圖像像素邊帶分布，判定圖像屬于正常邊帶分布、窄邊帶分布或寬邊帶分布。正常邊帶分布依然保留BO模式，以傳統(tǒng)BO為標志位，傳遞4個連續(xù)的邊帶補償值；窄邊帶分布設置BO_N為標志位，傳遞2個連續(xù)邊帶補償值；寬邊帶分布設置BO_B為標志位，傳遞5～8個連續(xù)邊帶補償值。

6 實驗結果

本實驗測試環(huán)境使用HEVC標準參考代碼HM10.0在Windows 8系統(tǒng)VS2012編譯運行，按照HEVC測試標準[8]規(guī)定，對Class A-Class F所有測試序列進行統(tǒng)計和測試。以全I幀(AI)、隨機存取(RA)、低延遲-P幀(LP)、低延遲-B幀(LB)為編碼環(huán)境，設置22，27，32，37作為QP值，利用Bjontegaard-Delta比特率[11](BD-rate)將提出的邊帶補償優(yōu)化改進方法與HEVC原始BO方法進行對比，并統(tǒng)計編解碼時間，結果如表所示。

客觀評價上，表3展示了4種編碼條件下大量樣本的測試結果，Y，Cb，Cr這3個分量的比特率獲得增益平均值為 -0.42%， -2.34%，-2.72%。該方法在色度分量上編碼效率，尤其是在靜態(tài)背景特征的Class E的測試序列、LP測試環(huán)境下可達到-7.53%。表中的編碼時間和解碼時間變化顯示，編解碼復雜度上的提升可忽略不計。主觀評價上，將改進方法與HEVC原始BO方法解碼后的圖像與原始幀對比，圖8a～圖8c左圖顯示邊緣部分像素點得到較好補償，而且 圖8a～圖8c 右圖顯示改進算法一定程度上避免了不適用SAO補償情況出現(xiàn)。

表3 6組序列在不同測試環(huán)境下的編碼效率及運行時間

圖8 序列SlideShow編碼圖像主觀評價對比

7 結論

本文利用圖像直方圖觀察序列原始幀邊帶分布，分析較大和較小CTB邊帶分布特征，新增BO_B，BO_N，BO_D，BO_M這4種邊帶補償模式，彌補HEVC邊帶補償算法的不足，并自適應提取幀內預測模式判別中RMD最優(yōu)模式與RDO最優(yōu)模式相關性表征紋理特征，輔助較小CTB邊帶補償模式選擇。實驗結果表明，與HM10.0相比，本文提出SAO改進方法提高了編碼性能，尤其在色度上比特率增益可達到-7.53%，并且圖像邊緣部分主觀評價質量提升效果明顯。

[1] SULLIVAN G，OHM J，WOO-JIN H，et al.Overview of the highefficiency video coding(HEVC)standard[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1649-1668.

[2] BOSSEN F， BROSS B， SUHRING K，et al. HEVC complexity and implementation analysis[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1685-1696.

[3] KEN M， WOO-JIN H，IL-KOO K. Document JCTVC-A124，Samsung’s response to the call for proposals on video compression technology[S]. 2010.

[4] FU C，CHEN C，HUANG Y， et al. Document JCTVC-D122，Picture quadtreeadaptive offset[S]. 2011.

[5] FU C，CHEN C， TASI C，et al. Document JCTVC-E049，Sample adaptive offset with LCU-Independent decoding[S]. 2011.

[6] FU C，ALSHINA E，ALSHIN A， et al.Sample adaptive offset in the HEVC standard[J]. IEEE Trans. Circuits System Video Technology， 2012， 22(12)：1755-1764.

[7] 唐華敏，杜建超，王慶雷.視頻編碼標準HEVC中的環(huán)路濾波技術分析[J].電視技術，2014，38(11)：1-4.

[8] BOSSEN F. Document JCTVC- J1100，Common HM test conditions and software reference configurations[S]. 2012.

[9] ZHANG M，ZHAO C，XU J. An adaptive fast intra mode decision in HEVC[C]//Proc. IEEE International Conference on Image Processing(ICIP).Orlando： IEEE Press， 2012，221-224.

[10] ZHANG M， ZHAO C， XU J， et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.IEEE International Symposium on Circuits and Systems (ISCAS).Beijing： IEEE Press， 2013，2852-2855.

[11] BJONTEGAARD G. Document VCEG-M33，Calculation of average PSNR differences between RD curves[S].2001.

趙 川(1986— )，助理實驗師，主研視頻編碼與通信、圖像視頻處理；

張萌萌(1978— )，副教授，主要研究方向為視頻傳輸及編碼、圖像信息處理、嵌入式系統(tǒng)設計；

馬希榮(1962— )，女，教授，主研情感計算、模式識別、智能機器人。

責任編輯：時 雯

Improved Scheme for Sample Adaptive Offset in HEVC

ZHAO Chuan1，ZHANG Mengmeng2，MA Xirong1

(1.CollegeofComputerandInformationEngineering，TianjinNormalUniversity，Tianjin300387，China；2.CollegeofElectronicInformationEngineering，NorthChinaUniversityofTechnology，Beijing100144，China)

Sample adaptive offset(SAO)is adopted in the state-of-the-art video coding standard HEVC，including band offset(BO) and edge offset(EO) to attenuate ringing artifacts，which are more likely to appear after transform and quantization. Although BO spreads over 4 continuous bands， it is a fixed strategy for different blocks with the same size and does not consider a range narrower or wider than four bands. In this paper， band distribution of coding tree block(CTB)is analyzed by utilizing histogram， and adaptively bring a block’s texture characteristics in intra prediction. Based on the analysis， an improved strategy is further developed for BO in SAO for HEVC. Experimental results indicate that significant performance and up to 7.53%, BD-rate reduction is achieved in chrome with marginal running time increase and the subjective visual quality is enhanced in the edge under common test conditions of HEVC

oftware version 10.0.

HEVC；sample adaptive offset；band offset；histogram analyze；texture characteristic

【本文獻信息】趙川，張萌萌，馬希榮.一種HEVC樣點自適應補償改進方法[J].電視技術,2015，39(13).

國家自然科學基金項目(61370111；61103113)；天津師范大學教學改革研究基金項目(JG14409021)；天津師范大學實驗室改革研究基金

TN919.81

A

10.16280/j.videoe.2015.13.003

2015-02-02