張量結構和活動值的HEVC-SCC 幀內快速算法

陳杰，林琪，張璐，阮文斗

（武夷學院 信息技術與實驗室管理中心，福建 武夷山 354300）

隨著互聯網的發展，視頻通信在各個領域的應用也越來越普及，如遠程視頻教育、遠程視頻會議、無線投屏等技術應用越來越廣泛。人們對于視頻的需求越來越大，不再限于由傳統攝像機所拍攝的自然內容圖像，而是更多地使用由計算機直接生成的屏幕內容圖像。高效視頻編碼標準HEVC[1-2]主要是針對由傳統攝像機所拍攝的自然內容圖像所設計的，如果直接對屏幕內容圖像進行編碼易出現如振鈴、方塊等失真現象，無法滿足人們對視頻質量的需求，所以HEVCSCC[3]應運而生。HEVC-SCC 增加了4 種新的編碼工具——幀內塊復制[4-5]、調色板模式[6-7]、自適應顏色空間變換[8-9]、自適應顏色矢量分辨率[10-12]。

HEVC-SCC 是HEVC 的擴展，編碼樹單元CTU同樣需要進行基于四叉樹進行CU 的深度劃分，在劃分的過程中需要逐一對每種預測模式進行RDO 計算，且SCC 中加入了新的預測工具，使得這一過程帶來了巨大的計算復雜度。所以在CU 劃分過程中存在優化的空間，可以研究如何在CU 劃分過程中跳過不必要的深度和模式預測。CU 劃分需要遍歷4 個深度，最終將4 個深度下的代價進行比較選擇出最佳深度進行編碼，如果在遍歷深度前就能夠精準確定當前CU 的最佳深度，只需要找到當前深度下最優預測模式就能對其進行編碼，顯然這樣可以減少大量遍歷深度的編碼時間，從而提升編碼效率。

基于以上本文提出基于圖像結構張量進行提前判別的劃分決策和基于CU 活動值的HEVC-SCC 幀內模式預判，最后結合劃分決策和模式預判提出基于結構張量和活動值的HEVC-SCC 幀內快速算法。

1 基于結構張量的CU 尺寸劃分決策

HEVC-SCC 在編碼塊尺寸大小選擇上還是采用RDO 的方式。在AI 模式下以一個64×64 大小的CTU為例，編碼器首先將此CTU 當作一個尺寸為64×64的CU 進行模式預測，選出最優模式之后即為深度0的率失真代價結果，之后向下劃分為4 個尺寸為32×32 的子CU，子CU 會重復父CU 的模式預測過程并繼續向下劃分直到深度為3 即子CU 尺寸為8×8 時停止，編碼器會將4 個子CU 的率失真代價總和與父CU 的率失真代價比較來確定編碼尺寸為父CU 尺寸或子CU 尺寸。表1 給出了測試序列“Console”“Slideshow” 的最優深度比例。可以看出對于序列“Console”，只有3.7%的CU 會選擇深度0 為最優深度，但是所有的CU 都要遍歷深度0 下的所有預測模式，對于最優深度不是0 的CU 而言遍歷深度0 下所有預測模式的過程就是“不必要”的過程，即省略這一過程不影響視頻質量。而測試序列“Slideshow”中有48.32%的CU 都選擇深度0 為最優深度，對于這部分CU 來說，遍歷深度1、2、3 下所有預測模式的過程就是“不必要”的過程。

表1 測試序列最優深度分布Tab.1 Optimal depth distribution of test sequence

深度劃分是編碼所耗時間最長的過程，由于SCC新增了編碼工具使得在深度劃分上比HEVC 的計算更加復雜。所以如果能夠在深度劃分時對CU 尺寸進行預決策，以跳過不必要的預測過程，就能有效降低編碼時的計算復雜度。

1.1 圖像特征選取

考慮到SCC 在編碼時對均勻和小的全局運動區域常用大尺寸編碼，復雜或大的全局運動區域常用小尺寸編碼。本章采用結構張量[13-14]來描述CU 的勻稱性，通過結構張量判斷CU 復雜度的高低。

對CU 中的每一個像素點定義一個亮度域，I（x,y）即為相對位置為（x,y）的像素點的亮度值。對于相對位置為（x,y）的像素點，其梯度向量有水平分量gx和垂直分量gy，定義為

在（x,y）位置，張量矩陣J（x,y）為

由張量矩陣可以得出其有兩個特征值λ1和λ2為

λ1為切線方向上的特征值，而λ2為法線方向上的特征值，這兩個特征值能夠表示CU 的均勻性，對每個λCTU公式為

式中：N 為每個CTU 對應的像素個數，在公式里N 為64，λij為每個像素（x,y）的張量矩陣J（x,y）的特征值λ1。

1.2 劃分決策

通過以上分析，可以通過提前設置判決條件，在SCC 進行編碼時對CU 劃分進行提前終止或跳過。由實驗可得，當CU 紋理越復雜時λCTU越大。設置以下兩個條件：

在CU 進行編碼遍歷當前深度所有預測模式前，對條件（7）和條件（8）進行判斷。如果滿足條件（7），則表明當前CU 的紋理較復雜不適用于當前CU 尺寸，則編碼器會跳過當前深度的遍歷進入下一深度的劃分。如果滿足條件（8），則表明當前CU 的紋理簡單適用于當前CU 尺寸，無需再向下劃分為更小尺寸的CU，編碼器跳過下面深度的遍歷。如果兩個條件都不滿足則正常編碼遍歷完當前深度的預測模式后進入下一深度的劃分，對下一深度重新開始兩個條件的判斷。

通過大量實驗后，本章對各個深度下的閾值設置如表2，能夠有效減少CU 劃分時間，從而提升編碼速度。

表2 各個深度下的區間范圍Tab.2 The interval range of at each depth

2 基于活動值的HEVC-SCC 幀內模式預判

由于SCC 沿用HEVC 的編碼框架，其還是逐層、逐一地對每種預測模式進行RDO 計算以選取最優預測模式，所以在預測模式中的可優化空間也很大。

屏幕內容圖像和自然內容圖像在特性上有明顯差異性，屏幕內容圖像中常包含著大量重復的文本、顏色單一的背景、銳利的邊緣等。新增加的編碼工具雖然極大地提升了編碼效率，能夠有效針對屏幕內容減小碼率，但是遍歷過程中需要遍歷所有模式顯然增加了不必要的預測時間。在實際編碼過程中，SCC 對于包含了屏幕內容和自然內容的視頻序列中的圖像塊采用相同的編碼過程，對自然內容同樣要進行IBC模式、PLT 模式的率失真代價計算，對屏幕內容也要進行多角度幀內預測模式的率失真代價計算，這一過程增加了編碼的計算復雜度，如果能夠提前區分屏幕內容和自然內容圖像塊跳過不必要的預測模式，顯然可以使這一過程的計算量降低且不會影響視頻的質量。

2.1 自然CU 與屏幕CU 的差異性分析

HEVC-SCC 在幀內預測編碼時與HEVC 并沒有太大的不同，但是增加了IBC、PLT 模式導致復雜度增大，所以在SCC 測試模型（SCC Test Model，SCM）中對IBC、PLT 模式進行分析十分重要，可以作為模式跳過的理論依據。為了書寫方便，本文在后續中將包含由傳統攝像機所拍攝的自然內容圖像的CU 稱為自然CU，將包含文本、動畫、圖表等由計算機直接生成的屏幕內容圖像的CU 稱為屏幕CU。圖1 為JCT-VC 發布的標準測試序列中M 類的“MissionControlClip3”序列的第一幀，圖中編號1 的CU 為自然內容CU，編號2的CU 為屏幕內容CU。圖2 給出了自然CU 和屏幕CU 的像素點信息，圖2（a）為LCU 地址為100 中宏塊地址為1721 的自然CU 的亮度值信息，圖2（b）為LCU 地址為230 中宏塊地址為3563 的屏幕CU 的亮度值信息。

圖1 “MissionControlClip3”序列的第一幀Fig.1 The first frame of the ' MissionControlClip3 ' sequence

圖2 CU 的亮度值信息圖Fig.2 The brightness value information of CU

從圖3 可以看出，自然CU 與屏幕CU 在像素分布上有明顯區別，自然CU 的像素點值沒有明顯規律，像素點之間的亮度值差異不明顯，而屏幕CU 有著如圖3（b）中綠色方框所標注的垂直或水平的銳利邊緣，每一個綠色方框內其亮度值與兩邊有明顯差異，并將CU 分割成像素值大部分集中在某個數值的兩個區域。SCC 中新引入的IBC、PLT 模式極大地提升了對屏幕內容的編碼效率，文獻[7]中統計得出IBC、PLT 分別提升了30%、15%的編碼效率，但是IBC、PLT 在編碼時所占用的時間也非常高，在測試序列“Programming”中甚至達到了67.77%。

圖3 聯合算法流程框圖Fig.3 Joint algorithm flow chart

2.1 圖像特征選取

屏幕內容圖像是包含文本、動畫、計算機圖形圖像和圖形等計算機直接生成的視頻內容，自然內容圖像是攝像機拍攝的視頻內容，一個視頻有時同時包含屏幕內容圖像和自然內容圖像的混合。自然內容圖像可由HEVC 進行高效編碼，但屏幕內容圖像因其不連續的特點，HEVC 無法對CU 中突變的像素進行有效預測，所以必須使用SCC 引入的IBC 模式和PLT 模式進行編碼。利用像素突變的特點在預測前對圖像進行分類，為屏幕內容圖像和自然內容圖像設置不同的預測模式候選集，從而進行模式決策。

與自然內容CU 相比，屏幕內容CU 的像素點常包含著幾塊由水平或垂直的邊分割而成的像素點值相同的區域。所以對編碼單元CU 提取水平活動值ActHCU和垂直活動值ActVCU[15]作為特征，公式為

式中：pY為當前編碼單元CU 內所有的像素點集合，pY（i,j）為CU 內相對位置（i,j）的亮度值，pY（i-1,j）為CU 內相對位置（i,j）水平方向右邊的第一個亮度值，pY（i,j-1）為CU 內相對位置（i,j）垂直方向下方的第一個亮度值。

對于每個CU，對其計算其水平活動平均值及垂直活動平均值為

式中：N 為CU 的像素點個數。

2.2 模式預判

使用ActH和ActV是因為SC 通常包含銳利的邊緣,當存在銳利的邊緣時，ActH和ActV的值有一個會比較大。本章在這里對每個深度設置以下2 個條件，通過判別當前CU 的ActH和ActV的值來跳過不必要的預測模式的率失真代價計算，條件如下：

當CU 進行遍歷IBC、PLT、35 種角度模式預測前，對當前CU 的ActH和ActV的值進行判別。首先對公式(13)進行判斷，如果當滿足(13)里其中一個條件時，則表明當前CU 含有銳利的邊緣，則將IBC 和PLT模式加入到預測模式候選集中進行率失真代價計算，否則直接跳過IBC 和PLT 模式。其次對公式(14)進行判斷，如果三個條件中有一個滿足時則說明當前CU紋理簡單，只將水平、垂直、DC、PLANAR 加入預測模式候選集中進行率失真代價計算，否則說明當前CU紋理復雜，35 種角度預測模式均不跳過，采用SCM 標準編碼器的正常過程進行編碼。對T1、T2、T3、T4分別取1、1、0.5、5。

3 基于結構張量和活動值的HEVC-SCC 幀內快速算法

提出HEVC-SCC 的幀內劃分決策以及幀內模式預判決策，SCC 在編碼時對CTU 采用基于四叉樹遍歷所有預測模式進行RDO 的方式，不論是CU 尺寸劃分過程還是模式選擇上都有可以改進的空間，所以在做HEVC-SCC 優化算法時應該不僅要考慮到劃分過程也要注重模式選擇部分。劃分決策和模式預判決策可以帶來一定的時間節省，但如果想要獲得較大的時間節省，會引起BDBR 的大幅度提高導致圖像質量下降，所以劃分決策和模式預判決策相結合，以在時間節省和BDBR 之間取得較好的平衡。基于以上，提出了基于結構張量和活動值的HEVC-SCC 幀內快速算法，對聯合算法的流程進行詳細介紹并進行仿真實驗。

3.1 聯合算法流程

圖3 是所提算法的流程框圖，其具體步驟為：

（1）幀內預測開始，對當前CTU 提取其結構張量，并統計張量矩陣特征值λ1的值，求得λCTU；

（2）對CU 的深度初始化，判斷λCTU是否在當前CU的深度區間范圍內。如果否，則執行3。否則跳轉到4；

（3）判斷λCTU是否大于區間上限。如果是則跳轉至9，否則停止向下劃分CU 深度，執行4 和5 跳過6結束快速算法；

（4）計算當前CU 的ActH和ActV的值，當滿足條件ActH＞T1‖ActV＞T2時將IBC、PLT 加入模式候選集中，否則跳過IBC 和PLT 模式；

（5）判斷ActH和ActV的值是否滿足條件（ActH＜T3&&ActV＜T3）‖（ActH＞T4&&ActV＜T3）‖（ActH＜T3&&ActV＞T4），如果滿足條件則只將DC、PLANAR、模式10、模式26 加入預測模式候選集中，否則將35 種幀內預測模式加入預測模式候選集中；

（6）CU 劃分至下一深度。

3.2 實驗結果及分析

對算法進行測試以便直觀地體現此算法的編碼性能，所以將HEVC-SCC 測試平臺SCM-8.8 作為測試環境。測試平臺中進行實驗的主要參數為全幀內（All Intra,AI）環境下量化參數（quantification parameter,QP）選擇22、27、32、37 四種。表3 中列出SCC 進行測試的測試序列和相應的部分參數信息。

表3 測試序列及參數Tab.3 Test sequences and parameters

對于所提算法實驗結果的性能評估使用的參數是BDBR 和ΔTime，BDBR[16]所提算法和源碼版本HEVC-SCC 編碼器的比特率和PSNR 之間變化的計算公式，ΔTime 表示的是源碼版本HEVC-SCC 編碼器與所提算法之間時間變化的公式。對于實驗結果而言，BDBR 越小ΔTime 越大說明所提算法的性能越好，ΔTime 的公式為

式中：timeproposed指全I 幀的前提下所提算法在QP 設置為22、27、32、37 時的平均編碼時間，timeanchor指在全I 幀的前提下SCM-8.3 算法在QP 設置為22、27、32、37 時的平均編碼時間。

表4 列出了第一章、第二章所提出的基于結構張量的劃分決策、基于活動值的模式預判的實驗結果。從表4 可以看出，與SCM-8.8 相比，模式預判在BDBR 減少0.82%的情況下時間節省了12.57%，劃分決策在BDBR 減少1.26%的前提下時間節省了16.13%。

表4 劃分決策、模式預判決策與SCM-8.8 算法的比較Tab.4 Comparison of partition decision,pattern pre-judgment decision and SCM-8.8 algorithm

表5 列出本章所提聯合算法與文獻Lei 等[17]、Tsang 等[18]所提算法實驗結果的比較。從表5 中可以看出，所提算法與SCM-8.8 相比，在BDBR 增加1.95%的情況下，編碼時間平均減少了26.65%。其中，“SlideShow”和“Desktop”序列節省的編碼時間分別達到了39.81%和39.85%。這是由于“SlideShow”序列有許多紋理簡單的區域，所以在編碼時總是大概率的停留在深度0 而跳過其它深度的預測，而“Desktop”紋理復雜，所提算法在編碼時易跳過深度0、1 的預測從而降低計算復雜度。與文獻[22]相比，所提算法在BDBR減少0.11%的情況下，時間節省提高了5.42%。相比于文獻[20]，本文算法在調整閾值將速度節省提高至30.26%的情況下BDBR 僅為2.41%，為使得BDBR 與時間節省有更好的平衡性，將BDBR 控制在2%以內。

表5 所提聯合算法與文獻算法的比較Tab.5 Comparison between the proposed joint algorithm and the literature algorithm

為進一步驗證本章算法的壓縮性能，將所提算法中幾個序列的率失真曲線與SCM-8.8 測試序列的率失真曲線進行比較，如圖4 所示。由圖4 可以看出，所提算法的率失真曲線與SCM-8.8 算法的率失真曲線基本重合。這說明了所提算法的壓縮性能與SCC 標準編碼器的壓縮性能基本相同。

圖4 所提聯合算法和SCM-8.8 標準算法的率失真曲線對比Fig.4 Comparison between the rate-distortion curves of the proposed joint algorithm and the SCM-8.8 standard algorithm

3 展望

針對屏幕內容視頻幀內編碼復雜度高的問題，本文提出了基于結構張量和活動值的HEVC-SCC 幀內預測快速算法，降低了編碼復雜度且能夠節省一定的編碼時間，但是研究方案也存在著許多可以改進的地方，在未來的研究工作中還可以繼續進行優化研究，幀內編碼的優化空間還很大，在這里對未來的工作提出展望。

優化算法中模式決策部分，在CU 提取特征值之后先處理IBC、PLT 的跳過再進行角度模式的選擇，后續工作可以再次結合CU 特性選取不同的特征，對角度模式做進一步的細分以降低編碼計算復雜度。在劃分決策部分，所提算法是根據結構張量特征值在各個深度下依次判別以節省時間，在不同深度所能夠產生的優化效率不同，如果能夠對不同深度下采用不同的CU 特性以進行判別，則可以進一步降低復雜度且提高準確率。

不管是在劃分決策和模式預測上，本文對特征值的閾值選取都是通過大量的實驗之后人工確定的，這也導致了在閾值選取上耗費了大量時間之后，雖然具有一定的科學性，但是在精度上無法做到完全準確。所以在特征提取方面，深度劃分和模式選擇可以結合機器學習對特征進行分析，通過合理的數據模型得出閾值，以提高預測的準確性。