基于調色板模式的屏幕視頻幀內編碼快速算法

王 菲

(同濟大學 電子與信息工程學院，上海 201804)

基于調色板模式的屏幕視頻幀內編碼快速算法

王 菲

(同濟大學 電子與信息工程學院，上海 201804)

基于HEVC的屏幕視頻編碼根據屏幕視頻的特征，引入了調色板模式、基于Hash的塊匹配算法等新技術。這些新技術雖然提升了編碼的質量，但同時增加了編碼器的復雜度。為降低屏幕視頻編碼器的復雜度，提出了一種基于調色板模式的屏幕視頻幀內編碼快速算法。該算法結合了屏幕視頻的特征和幀內編碼模式的空間相關性，有效地減少了幀內編碼單元的模式搜索范圍。該算法可以在保證視頻編碼質量的前提下，有效降低編碼復雜度，減少編碼時間。在屏幕內容編碼的標準測試平臺SCM5.4的實驗結果顯示，本算法可以降低21%的編碼時間，同時只引起0.93%的BD-Rate的上升。

屏幕視頻編碼；調色板模式；幀內編碼

0 引言

新一代視頻壓縮編碼標準——高效視頻編碼技術(High Efficiency Video Coding，HEVC)，它將自然圖像視頻壓縮效率相對于H.264/AVC提升了數倍。近年來，隨著視頻會議、遠程桌面共享等應用越來越廣泛，人們對帶有文字圖表的圖像等屏幕視頻的需求量越來越大，傳統的視頻編碼技術如HEVC、H.264/AVC等對自然圖像視頻處理固然有效，但是由于屏幕視頻圖像不同于自然視頻圖像的特點，如局部塊顏色的數量有限、邊緣鋒利、色調不連續、沒有可捕獲的噪聲等，如果使用傳統的自然圖像編碼技術，極有可能降低屏幕視頻編碼效率。

基于HEVC視頻壓縮編碼標準的屏幕視頻編碼標準(Screen Content Coding，SCC)仍在完善之中，但是SCC依舊沿用了HEVC的框架，即HEVC所采用的四叉樹結構的編碼單元(Coding Unit，CU)劃分方式，并對每種尺寸的CU、預測單元(Prediction Unit，PU)或變換單元(Transform Unit，TU)通過計算率失真代價(Rate Distortion Cost，RD_Cost)得出最優尺寸。鑒于屏幕視頻的特性，為了提高編碼效率，SCC在HEVC原有技術的基礎上添加了調色板模式(Palette Mode)、幀內塊復制(Intra Block Copy，IntraBC)、自適應顏色變換(Adaptive Colour Transform，ACT)、基于Hash的塊匹配技術、自適應運動矢量分辨率決定(Adaptive Motion Resolution Decision，AMRD)等技術[1]。

目前研究人員已經對SCC幀內編碼的復雜度進行了優化，并取得了良好的效果，如文獻[2]用平均像素代價來提前決定SCC幀內編碼CU的尺寸。

本文主要利用SCC新引入的Palette模式以及幀內編碼單元之間的相關性，在幾乎不影響屏幕視頻編碼質量的情況下，降低編碼器復雜度。

1 Palette模式簡介

SCC在幀內編碼模式中引入了一種新的預測模式，即調色板模式。與傳統的幀內和幀間預測所采用的編碼單元之間去除冗余的方法不同的是，由于屏幕視頻中存在著大量的文字區域，會給編碼單元內部帶來重復像素的冗余，Palette模式的目標就是處理這種重復像素的冗余。在Palette編碼模式中，首先要表示出一個可以將像素值映射到表索引(也稱為調色板索引)的查找表，即為調色板。然后根據游長熵編碼方式對一個編碼單元的索引進行編碼。調色板編碼是一個非常簡單的工具，它跳過了傳統變換/反變換模塊,并提高了譯碼器的吞吐量，結果顯示，無論對有損或者無損編碼，Palette模式都會顯著提高屏幕內容視頻編碼的效率[3]。

2 基于調色板模式的幀內快速選擇算法的分析

圖1所示為SCM5.4標準所對應幀內編碼的流程圖，具體的流程為：當CU的深度為0時，檢測Intra、IntraBCMerge模式；當CU的深度為1時，檢測IntraBC、Intra、IntraBCMerge、Palette模式；當CU深度為2或3時，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

圖1 SCM5.4標準對應的幀內流程圖

通過分析可以看到，當CU深度為0時，只需要執行Intra和IntraBCMerge兩種模式，編碼器的復雜度相對較低；當CU深度大于0時，編碼器的復雜度顯著提升，Palette模式是SCC在HEVC的框架上引入的新技術。為了研究加速的可能性，本文統計了在SCM5.4平臺下，量化參數(Quanlitization Parameter，QP)選取為22、27、32、37，ChineseEditing(1080p)、sc_map(720p)這兩個視頻序列在幀內(All Intra，AI)配置下，當CU的深度為1,2,3，相鄰塊(左側CU和上方CU)的模式為Palette的情況下，當前CU采用的模式為Palette的比例，具體結果如表1所示。其中相鄰塊的關系如圖2所示。

表1 當相鄰塊(左邊CU和上邊CU)的模式為Palette的情況下，當前CU采用的模式為Palette的比例 (%)

圖2 當前CU與其相鄰CU的位置關系

統計結果顯示，當CU的深度為1和2時，在當前CU的相鄰CU同時采用Palette模式時，當前CU也采用Palette模式的比例約為87%，當CU深度為3時，其比例大幅度下降，故本算法主要針對于深度為1和2的CU進行優化。

3 本文提出的種基于調色板模式的幀內快速選擇算法

基于上一節的描述，本文提出了一種基于調色板模式的幀內CU模式快速選擇算法。圖3所示為本文提出的算法的流程圖。

圖3 本文提出的算法對應的幀內流程圖

詳細的算法流程描述如下：當CU深度為0時，檢測Intra、IntraBCMerge模式；當CU的深度為1，2時，計算公式(1)中的flag，如果flag為1，則只檢測Palette模式，如果flag為0，則當CU深度為1時，檢測IntraBC、Intra、IntraBCMerge、Palette模式，當CU深度為2時，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式；當CU的深度為3時，檢測IntraBC、Intra、IntraBCMerge、FastIntraBC、Palette模式。

(1)

4 實驗結果

為了驗證改進后的算法的有效性，本文將本算法與SCC標準算法在SCM5.4的測試平臺下進行了比較。仿真測試的計算機環境配置是Intel Core i7-3770 processor 3.40 GHz clock speed和8 GB RAM。SCM5.4的測試配置為AI，QP選取為22、27、32、37。測試的視頻種類是帶有文字和圖形的運動視頻(Text and Graphics with Motion，TGM)，它是屏幕視頻的一種。測試視頻的分辨率是1 920×1 080和1 280×720。測試視頻選取YUV444、RGB444兩種。最大編碼單元尺寸是64×64，最大的劃分深度是4，變換單元的最大深度是3。

表2是改進后的算法與SCM5.4標準在AI配置下的實驗結果。其中ΔT的定義如公式(2)所示，BD-Rate的定義參照文獻[4]。

(2)

式中，ΔT代表時間的節省百分比，Toriginal代表SCM5.4標準流程在測試平臺下的時間，Tproposed代表改進的算法在測試平臺下的時間。從實驗結果可以看到，該算法對分辨率為1080p的視頻較720p的視頻能夠達到更好的效果。在AI的配置下，對于YUV444的視頻，編碼器的平均加速時間提升了20.59%，BD-Rate升高了0.93%；對于RGB444的視頻，編碼器的平均加速時間提升了20.26%，BD-Rate升高了0.64%。通過實驗結果可以看出，該算法可以在加速編碼器的同時，保證視頻的編碼質量。

表2 實驗結果 (%)

5 結論

本文提出了一種基于調色板模式的幀內快速算法，它可以有效地降低屏幕視頻編碼器的復雜度。首先分析屏幕視頻編碼不同于傳統的自然圖像編碼所采用的新技術；然后通過分析屏幕視頻的特點以及幀內編碼模式的空間相關性確定優化方案；最后通過實驗驗證了算法的有效性。

[1] JCTVC-U1014, Screen content coding test model 5[S]. Warsaw, Poland： JCT-VC of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2015.

[2] SAURTY K, CATHERINE P C, SOYJAUDAH K M. Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]. 2014 Fourth International Conference on. Digital Information and Communication Technology and it’s Applications (DICTAP), IEEE, 2014: 247-252.

[3] Guo Liwei, Pu Wei, Zou Feng, et al. Color palette for screen content coding[C]. 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014:5556-5560.

[4] BJ?NTEGAARD B G. Improvements of the BD-PSNR model[S]. ITU-T SG16/Q6 Input Document VCEG-AI11, 2010.

Fast intra algorithm of screen content coding based on palette mode

Wang Fei

(College of Electronics and Information Engineering , Tongji University, Shanghai 201804, China)

The introduction of new technologies, such as palette mode, Hash-based block matching and so on, which are adopted by screen content coding(SCC), improves the quality of encoder. But at the same time, it increases its complexity. We propose a method which is applied on fast intra coding unit(CU) mode decision of SCC, which aims at reducing the candidates of intra CU modes. This method combines characteristics of screen video content and spatial coherence of intra modes, and can effectively reduce the searching range of CU modes. The method can ensure the quality of coding, and significantly improve the efficiency of SCC intra frame coding. Experimental results show that the proposed method achieves about 21% time saving and 0.9% BD-rate up compared with the SCC standard test mode 5.4.

screen content coding; palette mode; intra coding

TP37

A

10.19358/j.issn.1674- 7720.2017.02.012

王菲.基于調色板模式的屏幕視頻幀內編碼快速算法[J].微型機與應用，2017,36(2)：34-36

2016-08-27)

王菲(1994-)，女，碩士，主要研究方向：屏幕視頻編碼快速算法。