采用HEVC的精細可分級編碼

洪佳慶，林其偉

（華僑大學 信息科學與工程學院，福建 廈門361021）

精細可分級（FGS）編碼方案最先是基于MPEG-4提出的，之后被正式納入 MPEG-4標準中［1］.近年來，隨著H.264的廣泛實用，許多國內外學者提出了一些基于H.264的FGS方案［2］.在這些基于H.264的FGS方案中，原始視頻流被分為兩個碼流：基本層碼流，增強層碼流.基本層碼流可以保證最基本的視頻質量［3］，而增強層碼流則可以提高增強的細節(jié)上的視頻質量.FGS的增強層可以根據當時網絡帶寬的情況對碼流進行任意位置的截斷，只傳輸保留的部分，用戶端接收到的增強層碼流越多，解碼的視頻質量將會越高.FGS能夠提供連續(xù)的可分級編碼性能，在信道帶寬時變較大時，能很好地調節(jié)增強層的碼流，使視頻圖像質量過渡平滑.對于H.264 FGS，國內外學者從主觀圖像效果和客觀編碼效率兩方面提出多種改進方法.如基于雙環(huán)的MC＋FGS［4］、基于關鍵幀的開環(huán)、閉環(huán)混合編碼［5］等，可以有效地提高編碼效率，但也存在誤差傳遞和積累問題，而且需要更大的計算復雜度.本文在新一代的視頻編碼標準［6］HEVC（high efficient video coding）基礎上，提出一種改進的精細可分級編碼方案.

1 基于離散余弦變換系數的位平面編碼

將位平面編碼量化后的離散余弦變換（DCT）系數看作是由若干個比特組成的二進制數［7］.對每個8×8的DCT塊，采用Zig-Zag掃描的順序，把64個DCT系數的絕對值寫成二進制的形式，將相同位置的比特提取出來，得到一個位平面.位平面的個數由DCT系數的絕對值的最大值決定，編碼從最高平面到最低平面.每個平面用（RUN，EOP）符號表示，通過VLC編碼產生輸出碼流［8］.RUN表示1前面連續(xù)0的個數，EOP表示是否還有值為1的系數未被編碼.若一個平面64個比特全為零，則用ALLZERO表示.按照這種位平面編碼方法形成的（RUN，EOP）符號具有“嵌入式”的特性，能夠在符號流的任意位置進行截斷.

2 改進的FGS編碼器結構

在以往的改進算法中，FGS的基本層采用的是H.264編碼器，提高基本層的編碼效率.但隨著視頻應用的發(fā)展，H.264的局限性不斷凸顯，而HEVC是面向更高清晰度、更高幀率、更高壓縮率視頻應用的協議標準，將成為今后視頻應用發(fā)展的趨勢.因此，對FGS的基本層進行改進，在基本層采用HEVC編碼器.

圖1 改進的FGS編碼器結構Fig.1 Improved structure of FGS encoder

改進的FGS編碼方案編碼器結構，如圖1所示.將一個視頻序列編碼為一個基本層碼流和一個增強層碼流.上面部分為FGS增強層的處理流程，對原始圖像與基本層重建圖像的差值圖像采用基于DCT系數的位平面編碼方式，得到增強層碼流，具有可分級能力；基本層采用完整的HEVC編碼器，將原始視頻圖像與預測圖像的差值進行變換、量化、熵編碼，從而得到基本層碼流.

3 改善視頻圖像主觀效果

3.1 選擇增強

為了提高視頻的視覺質量，FGS提供了3種功能：頻率加權［9］、選擇增強［10］和錯誤恢復特性［11］.選擇增強是根據人們在觀察圖像時，往往對某一區(qū)域感興趣，通過將感興趣的數據塊的比特平面進行上移，保證這些數據優(yōu)先編碼.在帶寬有限時，感興趣區(qū)域的數據能夠盡可能多地保留下來，在接收端能夠保證用戶感興趣區(qū)域的主觀質量.選擇增強示意圖，如圖2所示.

3.2 HEVC編碼單元的分割方式

HEVC采用了更加靈活的編碼結構來提高高分辨率視頻的編碼效率，包括編碼單元、預測單元和變換單元.將一幀圖像分割成互不重疊的最大編碼單元（largest coding units，LCU），每個LCU以遞歸方式劃分為多個編碼單元（CU）［12］，直到8×8的CU為止.假如LCU設置為64×64，則CU的可能劃分方式有64×64，32×32，16×16，8×8（編碼單元的尺寸必須為2N×2N，其中N為以2為底的冪）幾種方式，如圖3所示.總的來說，對于較平坦的區(qū)域采用較大的分割尺寸，對于運動劇烈的區(qū)域采用較小的分割方式.

圖2 選擇增強示意圖Fig.2 Schematic of selective enhancement

圖3 最大編碼單元的分割圖Fig.3 Segmentation of the biggest coding unit

3.3 基于編碼單元分割的FGS編碼器

在HEVC中，分割尺寸的選擇會影響壓縮性能.通常情況下，大的分割尺寸適合于圖像中的平坦區(qū)域，小的分割尺寸適合于圖像中的細節(jié)比較豐富的區(qū)域.

對于LCU設置為64×64的情況，在編碼增強層之前，根據HEVC編碼單元分割模式的選擇特點，對于尺寸為16×16和8×8的CU進行位平面提升，提升3個位平面，但對于尺寸為64×64，32×32的CU不進行位平面提升.將提升的區(qū)域作為感興趣區(qū)域進行優(yōu)先編碼和傳輸，改善解碼后視頻主觀質量，編碼器結構如圖4所示.

第一幀CU分割圖，如圖5所示.從圖5可以看出：運動劇烈的區(qū)域分割尺寸較小.通常在視頻序列中人們感興趣的是運動的前景對象，因此將分割尺寸小的CU進行位平面提升，能有效改善主觀效果.

圖4 基于編碼單元分割的FGS編碼器結構Fig.4 Structure for FGS encoder based on coding units segmentation

圖5 第一幀編碼單元分割圖Fig.5 Coding units segmentation for first frame code

4 實驗結果及分析

使用 HM 10.0［13］測試不同碼率下改進算法的編碼性能，配置文件選encoder＿lowdelay＿P＿main.cfg與BasketballDrill.cfg.測試序列為Flowervase＿832×480＿30.yuv和BasketballPass＿416×240＿50.yuv，編碼10幀.將重建圖像序列的亮度分量的平均峰值信噪比（RSN）作為客觀評價視頻質量的標準，FGS的基本層中采用HEVC編碼器，增強層中采用MPEG-4 FGS增強層編碼.結構編碼視頻與僅采用HEVC編碼視頻性能比較，如圖6所示.從圖6中可以看出：碼率較小時，HEVC FGS編碼的視頻圖像質量略高于HEVC；隨著碼率的升高，視頻圖像的質量越高.

對16×16，8×8塊進行提升、優(yōu)先編碼和傳輸，其圖像質量與不進行提升編碼感興趣區(qū)域的圖像質量對比，如圖7所示.從圖7中可以看出：感興趣區(qū)域的PSNR有很大的提升，其中BasketballPass序列平均提升了近5.661 d B，Flowervase序列平均提升了近1.934 dB；且隨著碼率的提升，差值逐漸增大.

圖6 基于HEVC的FGS與HEVC性能比較Fig.6 Comparison between HEVC and FGS based on HEVC

圖7 基于編碼單元分割FGS性能比較Fig.7 Comparison between FGS and FGS based on CU segmentation

5 結束語

在新一代視頻編碼標準HEVC的基礎上構建可分級編碼方案，其基本層采用完整的HEVC編碼器，增強層采用MPEG-4 FGS的增強層編碼方案.通過統(tǒng)計編碼單元的分割方式，對小的分割方式優(yōu)先編碼與傳輸.實驗結果表明：整體視頻圖像的質量、細節(jié)區(qū)域的視頻圖像質量都得到了有效提高.

［1］ 鄭夜星.精細可分級視頻編碼算法研究［D］.廈門：華僑大學，2010：8-14.

［2］ HE Yu-wen，WU Feng，LI Shi-peng，et al.H.26L-based fine granularity scalable video coding［C］∥IEEE International Symposium on Circuits and Systems.Scottsdale：ISCAS，2002：548-551.

［3］ 謝建國.基于預取得視頻帶寬適應性傳輸算法［J］.計算機研究與發(fā)展，2009，46（2）：211-216.

［4］ 賀艷春.基于 H.264的FGS視頻編碼技術的研究［D］.廈門：華僑大學，2012：23-25.

［5］ 葉曉彤，鄧云，蔡樂才.基于關鍵幀的開環(huán)-閉環(huán)混合FGS編碼框架［J］.西南交通大學學報，2009，44（4）：484-489.

［6］ BROSS B，HAN W J，OHM J R，et al.High efficiency video coding（HEVC）text specification draft 10（for FDIS ＆Consent），JCTVC-L1003＿v2［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-296.

［7］ LI Wei-ping.Overview of fine granularity scalability in MPEG-4 video standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11（3）：301-317.

［8］ 饒琴.精細粒度可分級編碼算法研究［D］.廈門：華僑大學，2011：20-22.

［9］ KIM S，HO Y-S.HVS-based frequency weighting for fine granular scalability［J］.Proc Information Communication Technologies，2003，8（10）：127-131.

［10］ 周孝.精細可分級編碼技術的研究［D］.廈門：華僑大學，2008：19.

［11］ 王相海，宋傳鳴.圖像及視頻可分級編碼［M］.北京：科學出版社，2009：24.

［12］ HAN W J，MIN J，LEE T，et al.Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20（12）：1709-1720.

［13］ BOSSEN F，FLYNN D，SUEHRING K.HEVC HM10 reference software，JCTVC-L1010［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-4.