HEVC-SCC快速算法研究分析

陳杰，林琪，張璐，盧榮輝，阮文斗

（1.武夷學院 信息技術與實驗室管理中心，福建武夷山，354300；2.華僑大學 信息科學與工程學院，福建廈門，361021）

0 引言

隨著社會的發展，視頻通信的應用也越來越普及，如遠程視頻教育、遠程視頻會議、無線投屏等技術在教育領域流行起來，受新冠病毒的影響，在2019-2020學年第二學期，全國各地高校、中小學大部分都停課，各地高校、中學乃至小學遵循教育部停課不停學的指導思想，基本上都采用線上教學的方式進行授課，課堂上教師大多數采用教學材料PPT與個人視頻相結合的形式，將知識傳授給學生們。這種教學方式對視頻編碼工具的實時能力有著較高的要求，編碼性能越高、編碼速度越快則線上課程的效果越好，線上教學已成為一種趨勢，未來線上教學在教學中的比重一定會越來越大，這使視頻編碼技術優化成為了一大熱點。

現在所使用的主流編碼標準HEVC[1-3](High Emciency video Coding)于2013年由國際標準化組織（ISO）和國際電工委員會（IEC）以及國際電信聯盟（ITU-T）聯合頒布，這是第一版HEVC，也稱為H.265。在隨后的兩年內，HEVC的第二版和第三版也相繼發布，2014年10發布第二版，包括了范圍擴展、可分級擴展以及多視點擴展，2015年4月發布了第三版[4]，這一版本包含了3D擴展附件的應用，進一步擴大了HEVC的應用范圍。

但HEVC本身是基于攝像機拍攝的自然圖像和視頻特性所設計的，現在的視頻常包含著如計算機圖形、動畫、文本等由計算機產生的屏幕內容圖像，自然視頻圖像與屏幕內容圖像特性不同，屏幕內容視頻一般畫面有很多邊緣銳利的圖像塊、顏色種類少、存在大量重復的圖像塊等，所以ITU-T和ISO/IEC在HEVC標準上提出了屏幕內容編碼[5]（Screen Content Coding,SCC）擴展標準，其主要用于提高對屏幕內容視頻的壓縮性能。SCC極大地減少了對屏幕內容視頻的碼率且提高了視頻質量，但新增的編碼工具卻增加了編碼復雜度，從而增多了編碼時間，這不利于視頻編碼工具的實時應用能力，所以對HEVC-SCC的快速算法研究有極其深遠的意義。本文通過對HEVC-SCC新增的幾種編碼工具及當前的研究現狀進行分析，針對HEVC-SCC的快速算法提出相應的建議及對策。

1 HEVC-SCC技術概括

2014年1月，JCT-VC開始制定屏幕內容標準（SCC），并于2016年基本完成，HEVC-SCC編碼框架如圖1所示，其仍采用HEVC的基于遞歸四叉樹編碼框架，并提出了新的編碼工具：幀內塊數據復制技術[6-7]（Intra Block Copy,IBC）、調色板模式（Palette Mode,PLT）[8-9]、自適應顏色空間變換技術（Adaptive Color Transform,ACT）[10-11]、自適應運動矢量決策技術（Adaptive Motion Vector Resolution,AMVR）[12-14]。

圖1 HEVC—SCC編碼框架

1.1 HEVC編碼技術

1.1.1 CTU到CU的四叉樹劃分

HEVC-SCC采用的編碼方式依舊基于塊，圖像首先被分為大小相等、緊密相鄰不重復的編碼樹單元CTU，CTU的尺寸為64×64，CTU并不是最終的編碼單元，其可以通過自適應進一步劃分為32×32、16×16、8×8的編碼單元CU[15]。當CTU不進行劃分時，一個CTU僅包含一個CU，CU的大小為64×64。當CTU進行劃分時，一定遵循同一尺寸的4方塊等分，以CTU為樹根,劃分后的CU為樹葉，根據CTU劃分的規則，稱其為四叉樹劃分，如圖2所示。將劃分層次分為4層，層數0到3分別對應不劃分、劃分一次、劃分兩次、劃分三次，編碼時按照深度優先的光柵掃描順序處理各個CU。

圖2 CU劃分圖及對應四叉數結構圖[2]

1.1.2 CU中的PU劃分

當CU不再進行劃分確定為最終尺寸時，需要進行預測運算，HEVC-SCC的預測運算是在PU級上進行的，最底層的CU需要劃分成預測單元PU，且只允許一層劃分。CU決定了預測模式，PU攜帶了CU的預測信息，包含了幀內的預測方向、幀間的運動參數等。圖3是CU到PU所有的劃分情況，幀內預測PU劃分只能為2N×2N、N×N，幀間預測PU劃分則可以為圖3中的所有方式，值得注意的是，N×N的劃分方式只能為最小尺寸8×8的CU所用。

圖3 PU的劃分方式

1.1.3 變換單元TU劃分

對殘差信號進行編碼時，需要將CU劃分為變換單元TU，TU是編碼器進行變換和量換的基本單元，從CU到TU的劃分也是四叉樹劃分。與CTU到CU的四叉樹劃分不同的是，此時的樹根是CU樹葉是TU，TU的尺寸最大為32×32，最小為4×4。在HEVC-SCC中對尺寸為32×32、16×16、8×8、4×4的TU用的是離散余弦變換（DCT），對于4×4大小的TU亮度幀內預測的殘差，也可以使用離散正弦變換（DST）。

1.1.4 幀內預測

HEVC為幀內編碼定義了33種角度預測模式，加上平面（Planar）模式和直流（DC）模式共計35種幀內預測模式[16]，其預測模式和方向見圖4，模式編號由像素的個數表示。在進行幀內編碼時，首先準備亮度預測塊周圍的參考像素，如出現參考像素不可用的情況，根據參考像素填充規則進行填充，其次判斷參考像素是否需要平滑濾波，對需要濾波的參考塊進行相應的濾波處理，最后再遍歷不同深度下的CU的預測模式，利用Hadamard變化計算預測殘差絕對值和（SATD），選取STAD值較小的幾種PU模式加入候選集中，對候選集中的殘差信號進行熵編碼，計算率失真代價（RDO）[17]，選取RDO最小的為最優模式。當亮度塊的最優模式確定后，再將此模式與DC、Planar、模式10、模式26作為色度塊的候選集進行計算RDO，從而確定色度塊的最優模式。

圖4 幀內預測模式和角度[2]

1.1.5 幀間預測

視頻的相鄰幀相關性很強，在完整的視頻序列中，相鄰幀之間存在很多相同圖像，只是相對位移發生了變化，如果對這些圖像進行重復的編碼顯然浪費碼字。幀間預測時在相鄰的圖像幀內通過運動估計為當前編碼塊找到最匹配的已編碼塊，得到運動矢量MV，通過MV與匹配塊得到當前編碼塊的預測值，預測值與原始值的差為殘差，編碼時只需對MV、參考幀索引等運動參數與殘差進行編碼即可。

1.2 HEVC-SCC新增編碼技術

1.2.1 幀內塊數據復制技術

屏幕內容視頻有一特點，其每一幀圖像中有大量重復的文字和圖案，如圖5所示，兩個方框內的內容是完全一樣的。當第一個方框編碼完成后，編碼器處理到第二個方框時，顯然不需要再次進行編碼，只需要借助第一個方框進行預測即可，這就是IBC模式的設計思路，這一過程與幀間預測類似，差別在于幀間預測的參考塊在不同幀，而IBC的參考塊為同一幀內的已編碼塊。IBC模式為屏幕內容序列帶來了2%～44%的比特流節省，在IBC模式下最關鍵的是匹配快的尋找，匹配快與編碼塊一定是同一條或片內，塊匹配這一過程是IBC模式中計算量最復雜的，增加了HEVC-SCC的編碼時間。

圖5 屏幕內容圖像中的IBC模式

1.2.2 調色板模式

PLT模式是HEVC-SCC中新增的編碼工具，其對提升屏幕內容視頻的編碼效率的作用是很大的。1個編碼單元CU含有1個亮度塊與2個色度塊，對屏幕內容圖像而言，其局部常包含著大量顏色相同的背景，這些背景被其它顏色分開形成銳利的邊緣，這樣的特性導致HEVC標準編碼效率不高，也是PLT模式設計的來源。區別于幀內編碼先預測再變化的過程，PLT首先統計編碼塊上出現頻率較高的顏色，將較為接近的顏色合并只留下幾種代表性的顏色，對這幾種代表性的顏色進行編碼形成調色板。調色板生成之后編碼器遍歷CU中的像素點，為每個像素點找到調色板中最接近的代表色并分配指向代表色的索引值，當出現某一像素點無法在調色板中找到接近值時，對其標記為escape（逃脫像素）,編碼時對其直接進行量化編碼。當編碼器遍歷完所有像素點時生成索引圖，最后對索引圖進行游程編碼。

1.2.3 自適應顏色空間變換技術

屏幕內容圖像能夠獲得超高清視覺感知的基礎是支持4:4:4顏色格式，HEVC標準采用的RGB顏色空間對屏幕內容進行采樣，但RGB不同顏色分量冗余度高。所以HEVCSCC標準中提出了ACT變化，將4:4:4格式的RGB顏色空間自適應地轉換為顏色分量相關性小的YCoCg顏色空間，其轉換公式如式（1）所示：

由上式可以看出其顏色空間的轉換是線性的，并不會增加解碼時間。HEVC-SCC為了降低復雜度，ACT轉換應用在殘差信號，且對于幀內預測模式，只有亮度塊與色度塊預測模式相同的編碼單元才應用ACT變換。

1.2.4 自適應運動矢量決策技術

自然內容視頻是相機所捕捉的連續的畫面，屏幕內容視頻中包含著大量計算機直接產生的圖像，這些圖像由計算機直接生成在各個整像素點上，其運動是離散的，所以并不需要像自然內容一樣進行分像素的運動補償。AMVR技術能夠在條級別上自適應地進行分像素和整像素的切換，將分像素的小數部分舍去成為整像素，有效地降低了編碼的復雜度。

2 HEVC-SCC的研究現狀及分析

HEVC-SCC新增的編碼工具提升了編碼能力，全幀內模式時（AI模式），在無損情況下，HEVC-SCC相比HEVC壓縮效率提升36%，而在有損情況下，HEVC-SCC相比HEVC壓縮效率提升更是高達56%。但也使編碼器的計算復雜度急劇地增加，其還是采用遍歷四叉樹結構使用率失真優化（RDO）的方法選取最佳預測模式，新增的編碼工具能夠使屏幕內容圖像得到最精準的預測且產生的碼字最少，但是在遍歷不同深度CU最佳模式時，也帶來了十分巨大的運算量。換句話說，HEVC-SCC為了降低碼率而增加了編碼復雜度，如何在不影響圖像視頻質量的情況下，不增加碼率且縮短編碼時間就成了當下研究的熱點。從JCT-VC啟動基于HEVC標準的屏幕內容標準（SCC）的擴展工作至今，越來越多的算法被提出來用于降低編碼復雜度，而且許多快速算法被JCT-VC采納并成為標準的一部分，不斷有國內外專家學者提出基于屏幕內容的快速編碼算法，以下對HEVC-SCC的快速算法做一系列的綜述。

2.1 幀內預測快速算法

國內外學者提出的幀內快速算法主要以HEVC-SCC幀內編碼過程復雜度高為出發點，根據自然內容與屏幕內容的特性，針對性地跳過CU深度、PU模式的遍歷過程，從而減少率失真代價計算以降低編碼復雜度。

歐健珊[18]根據SCC中的IBC及PLT于傳統自然圖像以及屏幕內容圖像有著不同編碼效率提出的，IBC與PLT對于較復雜的屏幕內容有著較強的編碼能力，但對于自然圖像的效率并不高。通過自然內容圖像與屏幕內容圖像經DCT變換后能量分布不同的特性，以DCT系數值引出了整幀圖像預測值PS與CTU預測值S。通過PS將每一幀圖像分為自然內容圖像、屏幕內容圖像、混合圖像。針對自然圖像當中的CTU，跳過IBC與PLT模式，直接采用傳統幀內預測模式。針對屏幕內容圖像，以預測值S將CTU區分為簡單屏幕內容CTU和復雜屏幕內容CTU，簡單屏幕內容CTU跳過IBC與PLT模式直接采用DC、PLANAR、水平、垂直模式的模式預測，復雜屏幕內容CTU采用IBC、PLT模式進行預測。針對混合圖像，遍歷每個CTU計算預測值S，將CTU分為自然內容CTU、簡單屏幕內容CTU、復雜屏幕內容CTU，對每個CTU的編碼處理方法與之前的CTU一致。該文所提算法與SCM8.3標準編碼器相比，可以節省38.55%的編碼時間，只增加了1.82%的平均比特率差（BDBR）。

司朋濤[19]從快速CU劃分、快速PU選擇方面提出了優化算法。文中先提出利用CU像素值的方差(CUD)、平均非零梯度(AveGDN)、CU信息熵(ent)及像素種類值（CNum）來進行CU快速劃分的快速算法。在CU劃分計算率失真代價之前，根據每個特征對不同深度CU劃分的影響：如深度為0時劃分和紋理信息有較大關系，則用CUD判斷是否劃分或快速終止的決策；深度為1時顏色數等相關信息對劃分結果影響較大，則加上CNum來進行決策；深度為2時用CNUM與CUD進行決策。其次又根據不同深度下預測模式的分布，新增了CU像素信息熵（Pixen）、梯度信息熵（GDen）進行不同深度下的PU模式跳過決策。在不同深度下進行對應特征值的計算，將編碼塊分為自然圖像塊或屏幕內容塊，自然圖像塊跳過IBC與PLT模式，屏幕內容塊則根據特征值判斷是否直接使用IBC或PLT模式。文中所提的兩種算法進行聯合仿真，較標準編碼器SCM7.0，節省了34.33的編碼時間，BDBR增加1.36%。

2.2 幀間預測快速算法

幀間快速算法主要通過圖像特性進行參考幀的選取、模式快速跳過、搜索范圍的自適應調整，利用幀間編碼過程中圖像特性的關聯度，以達到縮短編碼時間的目的。

肖傲[20]首先根據當前CU緊密相鄰的前兩幀相同位置CU的深度之和以及平均率失真代價RD和基于QP的函數f(QP)作為判斷依據，提出一種幀間的CU快速決策算法。當滿足條件相鄰幀的最大深度與最小深度之和小于2，且RD小于門閥值1000×f(QP)時，則跳過深度2、3的遍歷過程，在深度0、1之間選擇。當緊密相鄰的前兩幀相同位置CU的深度之和大于4，且RD大于2500×f(QP)時，跳過深度0、1的遍歷過程，在深度2、3之間選擇。其次，論文中還提出了基于Merge模式的PU快速選擇算法。在相同深度下，選擇20個編碼為最優預測模式Merge的CU，計算它們的平均率失真代價代價RDMerged，對當前CU，當RD小于0.5×RDMerged時，選擇預測模式Merg跳過其它PU預測模式以減少RD計算，否則進行下一步，當進行到AMP模式選擇時，如果RD小于1.5×RDMerged，再判斷其父是否為AMP模式，如果滿足公式且其父為非AMP模式，則跳過AMP模式從大小對稱的PU模式中選擇。文中的聯合算法與標準編碼器SCM6.0相比，節省了35.4%的編碼時間，BDBR僅增加1.59%。

霍肖梅[21]則根據不同深度下最佳運動估計方法與最佳預測模式模式的關系提出了優化算法。首先根據各類視頻序列里預測模式的最佳運動估計方法概率分析得出結論:當幀間2N×2N的PU采用Merge時，非對稱劃分的PU采用傳統運動估計的概率非常小，可跳過傳統運動估計，直接使用父PU采用的運動估計技術。其次再對各個深度下的最佳預測模式比例進行分析得出結論：當父CU的最佳預測模式為SKIP時，父CU所處的深度越深，則子CU采用SKIP為最佳預測模式的概率越大，所以當父CU確定使用SKIP模式時，如父CU深度為1則深度為2時只從SKIP、2N×2N、N×2N、2N×N中選擇最優預測模式,如果父CU深度為2則深度為3時只選擇SKIP模式。將兩者結論結合后的聯合算法與SCM16.0相比，在隨機接入配置下可減少39.95%的編碼時間，BD-PSNR減少0.0318dB。

3 展望

HEVC-SCC能夠對屏幕內容視頻進行高效率壓縮，但其復雜度高的特性為實時應用能力帶來了困難，研究在不增加失真度的情況下降低編碼復雜度，能夠提高實時應用能力，讓HEVC-SCC更好地為教育行業提供更高效的服務，能更好地保障各學校應對突發情況時做到不停學的能力，優化算法還具有可提升空間，本文對未來的研究工作提出幾點展望：

（1）屏幕內容幀內編碼部分。大部分幀內快速算法通過提取圖像的特征如CUD、AveGDN、Cnum等以區分自然內容和屏幕內容，縮短了編碼時間，但有些特征值本身的計算也提高了復雜度，人為取值也降低了準確度，未來可以選取計算量小且關聯度大的特征值并且結合機器學習、模式識別等技術手段選取門閥值，以便帶來更高的編碼收益。

（2）屏幕內容幀間編碼部分。幀間算法的復雜度主要體現在參考幀選取、運動塊搜索上，由與運動物體與周圍背景的變化相關性較強，可以更大程度上借助背景來快速確定運動物體的搜索范圍，如背景的某兩處突變而其余背景不變時優先進行突變區域的搜索，以達到運動塊的快速確定。

（3）HEVC-SCC的應用。目前提出的大部分算法在特定序列內都有效縮短了編碼時間，但都有一定偏向性，這是由圖像的特性所決定的。如果在編碼之前就對視頻序列有一定程度上的分類，由不同的優化算法來針對不同的視頻序列，能夠使編碼優化達到最大化。