屏幕內容編碼方法研究進展

劉 丹 陳規勝 宋傳鳴 何 興 王相海

1(遼寧師范大學計算機與信息技術學院 遼寧大連 116029)2(大連理工大學電子信息與電氣工程學部 遼寧大連 116024)3 (吉林大學計算機科學與技術學院 長春 130012)

屏幕內容編碼方法研究進展

劉 丹1,2陳規勝1,3宋傳鳴1,2何 興1王相海1

1(遼寧師范大學計算機與信息技術學院 遼寧大連 116029)2(大連理工大學電子信息與電氣工程學部 遼寧大連 116024)3(吉林大學計算機科學與技術學院 長春 130012)

(liudan_dl @lnnu.edu.cn)

隨著云計算、虛擬桌面等的普遍推廣，屏幕內容圖像已成為新一代云——移動計算模型——不可或缺的一部分.研究壓縮效率高、實時性好、復雜性適中的屏幕內容編碼方法是目前視頻編碼領域的熱點問題之一.從空間域、頻率域、時間域和顏色空間4方面分析了屏幕內容圖像的數據統計特性，進而重點闡述不連續色調圖像的典型編碼方法，將現有方法分為基于調色板-索引圖的編碼算法、基于模板匹配的編碼算法、基于塊匹配的編碼算法、基于字典的編碼算法、基于形狀表示的編碼算法以及時間域編碼方法、色度編碼方法，并進一步總結基于混合框架的屏幕內容編碼方法，對各類算法的優勢和存在的不足進行比較、分析和討論.在此基礎上，介紹了HEVC-SCC編碼國際標準制定工作的進展，并對屏幕內容編碼的未來發展趨勢進行了展望.

視頻編碼；圖像編碼；屏幕內容；屏幕圖像；復合圖像；綜述

隨著計算機和網絡技術的發展，數字化的文本、圖像、圖形和視頻等替代了傳統的模擬媒體，這使得媒體的編輯和傳播變得愈加便捷，又促使媒體由單一形式向復合形式演變，如網頁、PDF(portable document format)文檔、掃描的電子文檔、幻燈片和海報等圖像中均包含了多種形式的媒體，研究者們將此類圖像稱為“復合圖像”(compound image)[1].而近5年，視頻會議、在線教學、遠程醫療和遠程桌面等逐年普及，尤其是云計算取得了迅猛發展，又出現了虛擬桌面、桌面云、WiFi顯示、無線HDMI(high definition multimedia interface)等應用[2]，這些應用均要求把本地計算機屏幕顯示的內容傳輸到遠程終端上并顯示，以實現屏幕共享.由于屏幕內容一般由各種應用軟件生成，如辦公軟件、3D游戲、電影動畫、地理信息系統、網絡瀏覽器等，圖像往往由文本、圖形和自然圖像等若干不同類型的區域混合而成.這類復合圖像又被稱為“屏幕內容圖像”，它已成為新一代云——移動計算模型——中不可或缺的一部分.一方面，屏幕視頻的數據量龐大(1 s的1 920×1 080分辨率@50 Hz的屏幕視頻數據量高達297 MB)，且屏幕共享的交互性對編碼、傳輸的實時性提出了較高要求，許多應用中甚至在10 Gbs的網絡帶寬下都不能滿足高清屏幕視頻的傳輸需求[3].另一方面，典型的JPEG(joint picture experts group)，JPEG 2000，JPEG-LS對屏幕內容中的自然圖像部分有很高的壓縮效率，卻對諸如線條、文字、圖形邊界等非連續色調內容顯得無能為力；而一些對非連續色調內容編碼效率較高的算法，如DjVu，MRC(mixed raster content)，又對自然圖像內容的壓縮能力有限，且計算復雜度高.在這樣的情況下，研究壓縮效率高、實時性好、復雜性適中的面向復合圖像，尤其是屏幕圖像的編碼方法則顯得尤其重要，也為實際應用所亟需.

最初，研究人員通過改變參數的方式來利用JPEG，JPEG 2000等標準算法壓縮復合圖像.例如，文獻[4-5]通過自適應調整量化步長提出了JPEG的一種擴展框架.為了保持清晰的文本圖形邊界，該方法采用較小的步長量化文本圖形區域.文獻[6]在JPEG的基礎上，根據圖像內容自適應地調整編碼器的率失真，從而為文本圖形區域分配更多的位.文獻[7]則采用了H.264AVC的幀內編碼模式，并通過改變不同宏塊的量化參數來分別滿足文本塊和圖像塊的壓縮要求.盡管上述算法的參數可根據內容的不同進行自適應地調整或者交互設定，其編碼效率往往不能令人滿意[8].于是，研究人員一方面逐步總結出復合圖像，特別是屏幕內容圖像，相對于自然圖像的特殊性；另一方面，他們也發現屏幕圖像和其他類型的復合圖像相比，同樣存在一定不同之處，例如：由于塵埃污染和掃描儀本身的緣故，掃描復合圖像存在大量固有的噪聲，而屏幕內容圖像則不受噪聲影響；多幅連續的屏幕內容圖像之間存在沿著時間維的強相關性，可以像視頻序列那樣采用幀間預測編碼；而且，屏幕內容圖像編碼和掃描復合圖像編碼在應用上也有不同，前者需保證屏幕共享的交互性和實時性，編碼算法需兼顧壓縮效率和計算復雜度，而后者則主要應用于替代紙質文件實現文檔數字化，其壓縮效率需要率先考慮，算法復雜度則相對次要.

本文從屏幕內容圖像的數據統計特性出發，重點闡述屏幕內容圖像視頻的編碼進展.將現有方法分為7類，即基于調色板-索引圖的編碼算法、基于模板匹配的編碼算法、基于塊匹配的編碼算法、基于字典的編碼算法、基于形狀表示的編碼算法、時間域編碼方法，以及色度分量編碼方法，并總結了屏幕內容編碼的混合框架，對各類算法的優勢和不足進行比較和分析.最后，對屏幕內容編碼方法的未來發展進行了展望.

1 屏幕內容圖像的統計特性

1.1 空間域的統計特性

屏幕內容往往由不連續色調的文本、圖表、圖形、圖標等圖像和連續色調的自然圖像、視頻片段等不同類型的區域混合而成，而其中的文本、圖表、圖形等元素一般由顯示適配器生成，包含的紋理信息較多，但復雜紋理少，重復圖案多，對比度高，線條細膩，邊緣銳利，顏色種類少[11-12]；而自然圖像則相反，顏色種類多，復雜紋理也多，邊緣一般較為平滑，二者的對比情況如圖1所示.

為了更好地驗證這一點，文獻[8]采用空間頻率測度(spatial frequency measure,SFM)[13]統計了3 150個文本圖形塊和4 552個自然圖像塊的相鄰像素值的變化程度：

SFM=

其中，xi,j表示圖像塊中i行j列的像素值，M和N分別表示圖像塊的高度和寬度(實驗中均設置為16).如圖2所示，文本圖形內容塊中相鄰像素值的變化量廣泛分布于10～160之間，而自然圖像塊的變化量則幾乎全部集中在0～20之間，可見，文本圖形內容塊的像素值變化量明顯高于自然圖像，其像素值的局部相關性不同于自然圖像.

Fig. 1 Comparison between screen content images and natural images[11]圖1 屏幕內容圖像和自然圖像的比較[11]

Fig. 2 SFM distribution of screen content images[8]圖2 屏幕內容圖像的SFM分布[8]

1.2 頻率域的統計特性

屏幕內容圖像與自然圖像在像素值分布方面的差異，導致了二者在頻率域統計特性上的不同.圖3給出了圖1的2個圖像塊經過離散余弦變換(discrete cosine transform， DCT)后的交流系數絕對值分布.可見，自然圖像塊的能量集中于3個大幅值變換系數，而屏幕內容圖像的能量分布則更加均勻，并未呈現明顯的能量集中現象.文獻[8]進一步在更大的數據集上采用頻譜活動測度(spectral activity measure,SAM)度量了3 150個文本圖形圖像塊和4 552個自然圖像塊的圖像變換系數幅值分布：

Fig. 3 DCT AC coefficients distribution of the two kinds of image blocks in Fig.1[11]圖3 圖1中2類圖像塊的DCT交流系數分布[11]

Fig. 4 SAM distribution of screen content images[8]圖4 屏幕內容圖像的SAM分布[8]

1.3 時間域的統計特性

屏幕內容由應用軟件和顯示適配器捕獲生成，且主要記錄軟件界面和用戶操作序列，所以物體的運動特點與攝像機拍攝的自然視頻也存在不同.首先，由于自然視頻反映了物體在客觀世界的運動，它的運動向量在理論上應是連續的；而屏幕內容的運動在本質上是離散的[14]，其最小運動幅度取決于顯示設備的定位精度，即運動向量為整數像素精度.其次，屏幕內容包含了窗口移動放大縮小、頁面滾動、翻頁、淡入淡出等運動，其運動幅度較之自然視頻更大，模式也更復雜[15].文獻[15]通過比較自然視頻序列“Johnny”和屏幕視頻“SlideShow”的相鄰幀的均方差(MSE)發現，前者的幀差變化非常平緩，而后者的幀差則表現出劇烈變化，既存在長時間的零值，又有短時間的突變，如圖5所示.屏幕視頻的這個特點加大了幀間預測的難度，導致編碼器會產生波動較大的輸出碼率.

Fig. 5 Frame difference comparison between screen content sequence and natural video sequence[15] 圖5 屏幕內容序列與自然視頻序列的幀差對比[15]

1.4 顏色空間采樣的差異

典型自然圖像和視頻的標準格式普遍采用4∶2∶0顏色空間采樣，如YUV 4∶2∶0.然而，由于屏幕內容包含大量細線條，有些甚至是1個像素寬的單色線條，如果仍舊采用4∶2∶0的顏色采樣方式，就會產生人眼可見的明顯失真[16].為了實現畫面質量的高保真，目前屏幕內容圖像和視頻格式一般采用4∶4∶4的顏色采樣方式，如RGB 4∶4∶4，這使得屏幕內容圖像的色度冗余高于自然圖像，前者的色度分量在編碼過程中會消耗比后者更多的位.

1.5 小 結

由1.1～1.4節比較可知，屏幕內容有著復雜的空間和頻譜特征，變換編碼已不適用于其不連續色調部分的高效率編碼，這同時也解釋了文獻[4-7]等力圖通過傳統“幀內幀間預測+變換結構”的單一編碼器壓縮屏幕內容等復合圖像的效率不夠理想的根本原因.于是，研究人員開始針對屏幕內容圖像，尤其是不連續色調的文本、圖表、圖形等圖像的數據分布特性，展開了以下4方面研究：

1) 根據不連續圖像的紋理信息多、邊緣銳利、顏色種類少等特點，研究適用于文本、圖表、圖形等屏幕圖像視頻的空間域編碼方法.

2) 根據不連續圖像序列的運動幅度大、運動模式復雜、離散運動等特點，研究有效的、向量精度自適應的時間域編碼(即幀間預測)方法.

3) 根據不連續圖像的色度采樣特點，研究減少屏幕內容圖像視頻的色度信息冗余的方法.

4) 根據屏幕內容是連續色調圖像和不連續色調圖像混合體的特點，研究適用于屏幕內容編碼的總體框架.

本文將分別詳細闡述這4個方面的典型研究工作.

2 不連續色調圖像的空間域編碼方法

對于第1個方面，為了保證文本、圖表、圖形等不連續色調圖像的主觀保真度，目前通常采用無損或近無損編碼算法對其進行壓縮.早期，文獻[17]采用JPEG-LS算法編碼文本圖形圖像塊，但JPEG-LS是針對自然圖像統計特性設計的，不完全適用；文獻[18]采用PNG(portable network graphic)算法編碼不連續色調部分，但計算復雜度高，壓縮比有限.除了應用標準的編碼算法以外，研究人員針對不連續色調圖像的像素分布特性提出了5類更加有效的方法，即基于調色板-索引圖的編碼算法、基于模板匹配的編碼算法、基于塊匹配的編碼算法、基于字典的編碼算法和基于形狀表示的編碼算法.

考慮到不連續色調圖像包含顏色種類少的統計特性，文獻[11]提出將圖像中出現次數較多的幾種灰度值作為基本顏色(base color)，分別為每種基本顏色指定一個索引值構成調色板，再將原圖像的每個灰度值用對應的索引值替代便形成一張索引圖(index map)；只要將經過熵編碼后的調色板和索引圖傳輸至解碼端，即可利用調色板和索引圖重構出復合圖像，如圖6所示.由于該算法發掘了文本、圖表、圖形等圖像的數據特點，成為不連續色調圖像的重要空間域編碼方法之一.

Fig. 6 Diagram of palette -index map coding algorithm[11]圖6 調色板-索引圖編碼算法示意圖[11]

該類算法包括3個主要步驟：調色板和索引圖的生成環節、調色板編碼環節和索引圖編碼環節，后續的研究工作便從這3方面分別展開.

2.1.1 調色板和索引圖的生成方法

為了獲得不連續色調圖像的調色板和索引圖，文獻[11]提出首先采用K-均值算法將像素值聚合成若干類，并用每個聚類中心的值替代相應類中的所有像素值；然后利用樹結構向量量化(tree structure vector quantization， TSVQ)方法將像素值量化成1～8種基本顏色.文獻[19-22]進一步將這種調色板-索引圖方法作為一種幀內編碼模式增加到HEVC-SCC標準中，并且文獻[12,22]提出一種新的調色板生成方法，其主要步驟是先將圖像直方圖進行排序，再從出現頻率最高的像素值開始掃描，若當前像素值不能被調色板中的顏色以低于量化因子的誤差來表示，則將當前像素值作為新的基本顏色增加到調色板.同時，文獻[23]利用HEVC幀差編碼將量化誤差也傳輸至解碼端，實現了屏幕內容的無損壓縮.不過，由于基本顏色的數量num因圖像內容而異，編碼端就需要為每個圖像塊向解碼端傳送一個邊信息來標識num，在一定程度上影響了編碼效率.

于是，文獻[24]提出為每個圖像選取固定數量b的基本顏色，從而減少傳輸num的邊信息量，其主要思路是選取圖像中出現次數最多的b種像素值作為基本顏色，將其余像素值映射成離其最近且距離不超過閾值Δ1的基本顏色，而將那些與最近的基本顏色距離超過Δ1的像素值映射成逃逸色(escape color).經過大量的實驗統計，文獻[24]認為4種基本顏色為最佳數目.該方法選取基本顏色的計算過程簡單快速，但是無法避免由于基本顏色過于集中、逃逸色導致圖像失真偏大的情況.因此，文獻[25]提出了一種構造最優調色板和索引圖的率失真模型，有效控制了屏幕內容圖像的整體失真，其BD-Rate指標較文獻[20]降低了4.7%，不足之處是計算復雜度有所提高.文獻[8,26]也討論了類似的率失真模型，并且給出一種率失真模型的動態規劃解法，其計算量低于文獻[20].

此外，文獻[27]提出了一種索引圖的優化方法，其中心思想是：若2個索引值相鄰的次數較多，則盡可能重新為它們分配2個連續的索引值.該思路較為新穎，將索引圖的壓縮效率提高了43%，但涉及較多的統計運算.

2.1.2 調色板編碼方法

在建立了圖像塊(或編碼單元)的調色板后，文獻[11]采用上下文自適應的算術編碼生成調色板信息的壓縮碼流；文獻[8]通過量化將基本顏色的值域從0～255調整成{0,8,16,24,32,…,248,255}，再利用多符號算術編碼進行壓縮；文獻[24]則采用差分脈沖編碼調制(differential pulse code modulator, DPCM)和霍夫曼編碼對調色板進行壓縮.這3種方法均利用了調色板內部的數據冗余，而考慮到不連續色調圖像顏色種類少的特點，相鄰的或者位于相似紋理區域的不同圖像塊(或編碼單元)的調色板之間必然也存在一定相關性，顯然上述3種方法并未發掘這種相關性.鑒于此種情況，就有研究者提出了局部調色板和全局調色板的解決思路.

所謂的“局部調色板”是指，利用調色板數據的局部相關性而設計的編碼方法.文獻[21,28]采用左側相鄰編碼單元的調色板來預測當前編碼單元的調色板.文獻[29]提出一種調色板合并算法，其主要思路是將當前編碼單元上方和左側相鄰編碼單元的調色板合并，若當前編碼單元的某個基本顏色在該合并調色板C中，則把它在C中的索引值傳輸至解碼端；否則，將該基本顏色直接傳輸至解碼端.除了調色板合并方法以外，文獻[12]建立了一個參考調色板，若當前調色板的某個基本顏色位于參考調色板中，則將該顏色在2個調色板中的索引之差傳輸至解碼端；否則，就利用當前調色板中的前一種基本顏色預測待編碼的基本顏色，只將預測誤差傳輸至解碼端.該方法利用了圖像中不同塊的基本顏色間的相關性和同一圖像塊調色板內部的顏色相關性，取得了不錯的編碼效率.與此類似，文獻[26,30]也給出了調色板的2種編碼模式：隱式模式和顯示模式.前者是用已編碼圖像塊(編碼單元)的調色板作為當前圖像塊(編碼單元)的調色板；后者則是從已編碼圖像塊(編碼單元)的調色板中提取出常用的基本顏色加入到一定容量的參考調色板，再為每種參考顏色設置一個重用標識用于表示其在當前調色板中是否重用.對于那些不在參考調色板、而出現在當前調色板中的顏色，就直接將其編碼進壓縮碼流.同時，為了保持參考調色板有較高的預測準確率，文獻[26,30]又定義了參考調色板的更新操作，實時地將當前調色板中出現的新基本顏色放入參考調色板，而將其中不常用的基本顏色刪除.需要指出，該編碼方案已被HEVC-SCC測試模型接納.

有研究表明[31]，圖像中廣泛存在著非局部相關性，即一個圖像塊往往與同一圖像中位置不相鄰的某塊具有相似的邊緣、紋理或輪廓等，這樣調色板數據也應具有非局部相關性.而所謂的“全局調色板”就是利用調色板的這種非局部相關性所設計的編碼方法.文獻[25]首先利用率失真方法建立整幅圖像的調色板，再采用凸優化方法從中選擇出預測誤差最小的若干種基本顏色建立全局調色板，進而實現對每個圖像塊調色板的最優預測.理論上，該方法可達到優于上述所有調色板編碼方法的效率，但是它需要進行2輪調色板掃描和求解優化問題的多次迭代，故此其計算量明顯高于其他方法，實用性受到了一定限制.

2.1.3 索引圖編碼方法

索引圖是基于調色板-索引圖的編碼算法中體量最大的一部分數據，其編碼效率直接影響調色板編碼算法的整體壓縮性能，所以索引圖編碼是調色板編碼最主要的組成部分.

早期，文獻[11]采用上下文自適應的算術編碼壓縮索引圖，文獻[8]采用上下文重映射和熵編碼壓縮索引圖，二者均利用了索引圖的統計冗余.但由1.1節可知，索引圖中還會出現重復的圖案，即所謂的局部和非局部數據相關性.于是，文獻[12]采用1D串匹配的方法編碼索引圖，如圖7(a)的索引圖片段可編碼成一系列二元、三元組序列(0,14)(1,1,3)(0,17)(1,1,3)…(0,1)(0,2)(0,3)(0,4)(1,4,4)[12].然而，索引圖中的重復圖案幾乎全部是2D圖案，如采用前面的1D串匹配還存在較大冗余.如圖7(b)，1D串匹配產生了多次重復的三元組(1,8,7)，故此文獻[12,32]提出了索引圖的2D串匹配編碼方法，將1個重復的2D圖案表示成四元組“(匹配成功標志，距離，寬度，高度)”，例如圖7(b)的陰影部分可表示成(0，0)(1，1，7，8).可見，充分發掘索引圖的數據相關性可帶來明顯的編碼增益.

文獻[19]提出了一種2重預測編碼方法，即方向預測和模板預測.其中，方向預測如圖8所示，首先計算與待編碼索引相鄰的前一位置的索引值與其水平方向、對角線方向、垂直方向和反對角線方向上各索引值的歐氏距離；再選取歐氏距離最小的索引值所在的方向作為當前位置的預測方向，把待編碼索引沿著預測方向上的索引值作為其預測.對于預測失敗的元素，則進一步采用模板預測，其基本思想是利用統計相關性查找待編碼索引的最佳預測，如圖9所示，在模板“0020”作為上文，下文“1”出現3次，而“2”出現1次，所以“1”被作為待編碼索引的預測.最后，采用CABAC和2叉樹編碼對2個階段預測生成的匹配表進行壓縮.由于方向預測和模板預測分別利用了索引圖的局部相關和非局部相關，索引值被準確預測的概率達到了92%.為此，文獻[24]提出了2級層次預測編碼模式來發掘索引圖的全局相關性：第1級將每個與左側相鄰索引值相等的索引標識為符號“L”，將每個與上方相鄰索引值相等的索引標識為符號“U”，然后將剩余索引標識為“O”，得到如圖10(b)所示的預測符號圖；第2級對每一行預測符號進行分組，每組包含m(m=4)個相鄰的預測符號.對于每個分組，若其中的預測符號均為“L”，則將該分組標識為“X”；若其中的預測符號均為“U”，則將該分組標識為“Y”；否則將該分組標識為“Z”，結果如圖10(c)所示.最后，對各標識符號進行熵編碼.雖然文獻[19,24]是發掘索引圖局部與非局部相關的代表性方法，可是這2種方法涉及多輪掃描，計算量偏高.為此，文獻[29]對文獻[19]進行了簡化，在水平和豎直方向中選取索引值變化量較小者作為預測方向，再采用預測方向上與待編碼索引直接相鄰的索引作為預測值.該方法的計算量僅相當于文獻[19]的20%，但預測方向較少、未兼顧索引圖的非局部相關性，預測效率有所降低，適合于實時要求較高的應用.

Fig. 8 Diagram of directional prediction[19]圖8 方向預測示意圖[19]

Fig. 9 Diagram of template prediction[19]圖9 模板預測示意圖[19]

Fig. 10 Diagram of two-stage prediction of index map[24]圖10 索引圖的2級預測示意圖[24]

與上述方法不同，文獻[33]發掘了索引圖的行、列相關性，提出水平預測模式、垂直預測模式和逐像素預測模式3種編碼模式.具體地講，若一個圖像塊的某一行(列)與其相鄰的前一行(列)有相同索引值或者僅有1個索引值不同，則用垂直(水平)預測模式編碼該行(列)像素的索引值.如果不滿足以上2種模式，則采用逐像素預測模式，即利用左側相鄰像素的索引值預測當前像素的索引值，再將預測誤差寫入碼流.與文獻[8,11,19,29]的每次只能預測1個索引值的方法相比，該方法每次可預測多個索引值，其預測效率更高，所需同步信息更少，因此這一思路經過改進后被HEVC-SCC接納.HEVC-SCC為每個索引值定義2種預測模式：“COPY_ABOVE_MODE”和“COPY_INDEX_MODE”[31,34].前者類似文獻[33]的水平預測模式，后者相當于垂直預測模式，不同的是，這2種模式采用拷貝行程替代了水平(垂直)預測模式的整行(整列)拷貝方式，使得預測不局限于整行(整列)進行，連續預測的索引數目可少于或者多于一行(列)，其編碼方式更加靈活，效率也更高.

2.2 基于模板匹配的編碼算法

針對屏幕圖像中往往包含較多的相同或相似文字和圖形的特點，研究人員提出采用模板匹配的方法來降低屏幕內容中這種非局部相關的信息冗余.模板匹配方法是在H.264AVC廣泛應用的一種幀內預測技術，其基本思想是利用待編碼像素塊的某個鄰域的已編碼像素集合構成一個模板，然后利用該模板在已編碼的區域中搜索與待編碼塊最相似的1個或多個塊，最后用最佳匹配塊[14]或多個相似塊的均值[35]作為待編碼塊的預測.由于這類方法不需向解碼端傳輸同步信息，可有效改善編碼效率，但是基于塊的模板匹配的計算量偏高，且預測準確度不夠穩定.在這種情況下，文獻[36]提出了一種像素粒度的模板匹配預測編碼方法，思路與圖9類似.實驗表明，該方法的預測準確率達到了80%，被準確預測的像素無需編碼，只需編碼預測殘差非零的像素索引、位置和像素值.文獻[37-38]通過統計發現，多數非零殘差對應的像素值也分布在基本色中，為了進一步提高非零殘差的編碼效率，該文采用全局調色板與當前編碼單元調色板的差作為非零殘差的調色板，對小于一定閾值的殘差進行率失真優化下的修正，繼而減少了殘差的碼率，提高了整體的編碼效率.但是，模板匹配的過程仍然非常耗時.為此，文獻[39]將Hash表結構引入到了模板匹配中，提出了對一個由21個像素組成的模板在整幀范圍內進行快速搜索的方法，并采用LZMA(Lempel-Ziv-Markov chain algorithm)熵編碼方法壓縮預測殘差.與HEVC擴展參考軟件相比，該方法的運行時間降低了50%左右，并且編碼效率提高了1倍.

2.3 基于塊匹配的編碼算法

除了模板匹配，基于塊匹配的編碼算法也是一種發掘非局部數據相關性的有效手段，由文獻[40]首次引入H.264AVC中，目前已被采納為HEVC-SCC擴展標準中的預測模式之一，稱為“幀內塊拷貝”(intra block copy, IBC)[14].其基本思想類似于傳統的幀間運動估計，在當前幀的已編碼區域內搜索與待編碼單元相似的塊，再將2個塊的距離(稱為“向量”)及預測誤差進行編碼.如圖11所示，陰影部分為搜索區域，其中，CTU表示編碼樹單元(coding tree unit)，BV表示塊向量(block vector)，CU表示編碼單元(coding unit).

Fig.11 Diagram of intra block copy method[14]圖11 幀內塊拷貝方法示意圖[14]

一方面，為了在編碼效率和計算量之間進行折中，典型的幀內塊拷貝方法往往采用較小的搜索范圍，無法有效提取出屏幕圖像存在的大范圍重復圖案和冗余.于是，文獻[41]提出了一種基于2級Hash的塊匹配方法，首先為每個待編碼塊計算出1級Hash值，將與該塊具有相同1級Hash值的塊作為候選塊；然后，選取與待編碼塊具有相同2級Hash值的候選塊作為最佳匹配塊.根據計算量的對比分析，該方法的搜索速度在一定條件下甚至可超過快速運動估計TZ Search方法，是一種高效率的幀內塊拷貝技術.

另一方面，文獻[42]認為方形塊結構的預測方式對于屏幕內容中的細膩線條等任意形狀、大小的圖案缺乏靈活性，提出了一種類似于HEVC的變塊尺寸運動估計的非方塊匹配模式，改善了塊匹配方法的編碼效率，但是其時間復雜度增加了約14%.文獻[43]則進一步提出將1個編碼單元(CU)劃分為16個矩形的“微塊”，所允許的塊最小長度(或寬度)可達到1個像素.由于預測結構更加精細，該方法的編碼效率較之傳統方形塊結構平均提高了4.78%，編解碼的時間復雜度則提高約6.43%.可見，形狀豐富靈活的塊結構有利于改善屏幕內容的預測效率.實際上，這一結論也是基于字典的編碼算法的研究出發點之一.

2.4 基于字典的編碼算法

基于模板匹配和塊匹配的編碼算法均利用矩形區域的像素集合發掘屏幕內容中蘊含的非局部冗余，但是文本、圖表和圖標等很難用固定形狀的像素集合實現最佳匹配，這樣就出現了一類基于字典的編碼算法.該算法的主要思想是利用待編碼像素所在的1個1D或2D的連續像素串作為模板，該像素串在空間域上可組織成任意的形狀，再在已編碼區域中搜索與其最匹配的像素串，進而對待編碼像素與匹配像素串的距離和匹配串長度進行編碼.

2009年，文獻[44-45]采用基于Lempel-Ziv字典的gzip算法對復合圖像進行編碼，將字典編碼技術引進到圖像編碼中.其后，文獻[14,46]將該方法推廣到屏幕內容的編碼中，應用gzip或LZMA等提出了字典熵編碼，作為全色度無損編碼器的關鍵技術之一，后又經其作者將字典編碼的基本執行單元從最大編碼單元(largest coding unit, LCU)修改為CU[47-48].為了加快像素串的匹配速度，文獻[49]提出了Hash表結構的1D字典編碼以及2種字典模式，對應不同的搜索范圍；文獻[50]通過實驗發現像素串的最佳匹配長度大多是3的倍數，進而提出一種3B計算Hash值的方法，使得像素串在匹配過程中不再逐字節地搜索，并將Hash表的存儲空間減少了23；文獻[51]則認為可適當降低匹配標準，將像素串的無損匹配調整為有損匹配來提高匹配效率，并提出一種基于拉格朗日乘子法的率失真約束的有損字典編碼方法.

然而，文獻[52-54]認為采用1D像素串作為模板無法充分利用圖像的2D相關性，并且要求待匹配像素串和匹配像素串做到精確匹配也具有一定局限性.于是，文獻[52-54]進一步提出一種屏幕內容的2D字典編碼方法，將待編碼單元的Hash值作為字典索引查找到候選的匹配塊，再依據率失真函數確定最佳匹配塊,不過他們所采用的像素串仍然是規則的塊結構.文獻[55]則提出一種廣義的基于2D串拷貝的字典編碼.如圖12所示，連續的像素串可組成2D空間的任意形狀，對于具有復雜形狀的文本、圖標等元素能夠實現更加準確的預測，且匹配過程既能夠在編碼單元間進行，也可以在當前待編碼的單元中進行，比上述的幀內塊拷貝和基于塊的字典編碼等方法更加靈活.同時，該方法還支持待匹配像素串與匹配像素串發生重疊，通過增加匹配長度來提高編碼效率.

Fig. 12 Diagram of 2D string copy[55]圖12 2D串拷貝示意圖[55]

由于基于模板匹配的編碼算法、基于塊匹配的編碼算法和基于字典的編碼算法均充分利用了不連續色調圖像包含大量相同字符或者相同紋理結構這一非局部相關性特點，有效提高了屏幕內容的編碼效率，3類算法的不同之處表現在基本預測結構和預測參數的表示方式上.幀內塊拷貝模式與幀間運動估計在一定程度上可以統一起來，在HEVC等視頻框架下實現較其他兩者更加方便，預測參數表示也較為簡單；而基于字典的編碼算法的預測參數表示卻比較復雜，參數數量也較多.為此，文獻[56]統計分析了字典編碼中位移參數的聯合概率分布和參數之間的相關性，進而優化設計了位移參數的碼字分配方案，并提出一種位移參數的聯合編碼方法，是對基于字典的編碼算法的一種有效改進.另外，上述3類算法的計算量都偏高，盡管研究人員通過引進Hash函數的方式加速匹配計算，可是如何在Hash表的存儲空間、計算量和預測精度之間達到理想的折中仍需探索.

2.5 基于形狀表示的編碼算法

與上述的3種非局部搜索方法思路不同，文獻[9]認為屏幕內容圖像是由點、線、面、三角形和矩形等一些基本形狀組成，并稱之為形狀原語，進而提出了形狀原語提取編碼方法.該方法選擇了4種形狀原語：孤立點、水平線、垂直線和矩形，任何一個復雜的形狀都可以分解為這4種形狀原語的組合，如圖13所示.為了提取屏幕圖像中的這些形狀原語，從最左下角開始按從左到右、從下到上的順序掃描圖像塊，如果當前像素點已包含于前一形狀原語，則下一像素點成為當前像素點，繼續向右、向上掃描.該算法提出的形狀原語比較新穎，而且對形狀原語的編碼也較容易實現，特別是能比較有效地處理不連續色調圖像.

Fig. 13 Diagram of shape primitive extraction[9]圖13 形狀原語的提取示意圖[9]

除了上述的系列性工作以外，還有一些研究者在不斷嘗試更多的編碼方法，如文獻[57]在HEVC的幀內方向預測基礎上，針對屏幕內容圖像中包含大量強邊緣的特點，提出一種基于梯度的邊緣預測的幀內預測模式.其基本思路是利用待編碼像素的3×4鄰域內的像素計算沿著∠0°，∠45°，∠90°和∠135°方向的梯度值，從中選取梯度值最大方向的相鄰像素預測待編碼像素.文獻[58]則在文獻[57]基礎上，進一步提出在中值預測、邊緣預測和幀內方向預測3種模式中選取具有最優率失真性能的模式進行預測的無損編碼算法.該方法不僅與HEVC有很好的兼容性，還比HEVC的幀內編碼效率提高了16.13%.

3 屏幕內容的時間域編碼方法

針對第2個方面，典型自然視頻的物體運動往往是連續的，屏幕內容的物體運動卻由于處理設備和顯示設備的工作特性呈現出離散的、整數像素精度的特點，文獻[59-60]認為若繼續采用分數像素精度的運動估計補償可能導致碼字的浪費，進而提出了一種自適應確定運動向量精度的方法.其基本思路是將待編碼圖像分成不重疊的塊，利用Hash方法在參考圖像中為每個分塊搜索與其匹配的塊，再根據能夠準確匹配的分塊比例和多個閾值選擇合適的運動向量精度.該方法可比單純采用14像素精度運動向量的HEVC提高約3.3%的編碼效率，目前已被HEVC-SCC采納.

屏幕視頻的另一個特點是存在快速全局運動[15].在這種情況下，為了獲得較高的幀間預測效率，需要在較大范圍甚至整幀內展開運動估計和補償.這既會給編碼器帶來較大的計算負擔，又可能使那些源于運動向量中心偏置假設的快速運動估計算法(如TZ search[61]等)陷入局部最優.為此，出現了2類研究工作.

第1類工作側重在運動估計中引進低位深度的像素，例如1 b全搜索僅需簡單的位操作即可實現，并且能將多個像素的匹配誤差并行處理.文獻[62]選取相鄰像素差異最大的位平面將視頻幀量化成2值圖像，然后進行帶有中止判別的1 b全搜索，取得了與8 b全搜索相近的時間域預測效率.文獻[63]進一步通過對比實驗考察了典型的低位深度運動估計對屏幕內容的適用性，發現基于加權異或匹配準則和最高3～4個位平面的運動估計[64]能夠獲得較高的預測效率.

第2類工作的主要思想是借助Hash表提高較大搜索范圍內的塊(串)匹配的效率.文獻[41]提出了基于2級Hash的塊匹配方法，其基本思路詳見2.3節.該方法不僅能夠用于幀內塊拷貝，也可有效應用在幀間預測中.與HEVC的校驗模型相比，它能夠將包含快速運動的屏幕視頻的編碼碼率降低59%.類似地，文獻[65]也提出一種基于雙緩存和Hash表的字典編碼方法，其中主緩存相當于傳統編碼器的幀緩存，用于存儲編碼端重建的參考像素串，次級緩存用來保存最近或頻繁使用的參考像素串.這樣，前者可發掘屏幕內容的局部和短時非局部相關性，而后者則能夠充分利用屏幕內容的長時非局部相關去除時間域冗余.故此，文獻[41,65]均是較為有效的時空域預測方法.

值得注意的是，文獻[15]認為屏幕內容中某些對象的快速運動很可能是由用戶拖動最大化最小化窗口、切換界面等操作所引起的，在這種情況下，編碼算法只需保證視覺上的平滑過渡，而沒必要高保真地壓縮運動對象的內容.于是，文獻[15]采用最大后驗概率將屏幕內容劃分為高實用性內容塊(high utility content)和低實用性內容塊(low utility content)，并進一步利用圓對稱高斯濾波器對低實用性內容塊進行模糊處理.由于考慮了人眼視覺的時域掩蔽效應，該方法可在保持主觀解碼質量的前提下，將所需的碼率降低了24%～40%.

4 屏幕內容的色度編碼方法

針對第3個方面，典型連續色調的圖像和視頻的標準格式普遍采用4∶2∶0顏色空間采樣，對不連續色調圖像的采樣則一般采用4∶4∶4的格式，其3個色彩分量之間存在大量數據冗余，例如在YUV空間，若相鄰的若干像素的亮度值相等，那么其色度值也極可能相等.

一方面，文獻[66]研究發現，通過一定的顏色變換可有效提高色度信息的編碼效率.為了盡量減少顏色空間采樣產生的冗余，HEVC-SCC標準采用一種自適應的色彩空間變換將RGB色彩空間的像素線性轉換到YCoCg色彩空間[14]：

每個編碼單元的預測殘差自適應地在RGB和YCoCg中選取合適的顏色空間進行編碼.

另一方面，文獻[16,67]提出一種基于混合色度采樣率的雙編碼器聯合編碼算法，由1個全色度信息編碼器和1個下采樣色度信息的編碼器組成，前者用于編碼不連續色調的部分，后者用于編碼連續色調的部分.同時，不連續色調部分在全色度空間進行預測，其殘差經色度下采樣后在YUV 4∶2∶0空間進行編碼.在編碼一個圖像塊時，采用一個率失真函數在2個編碼器中自適應選擇，進而充分發掘了不同顏色通道間的相關性.進一步地，文獻[68]認為3個色彩分量之間或者相鄰像素的色彩分量之間存在一定關系，進而提出一種顏色分量間的預測方法，實現了用已解碼像素的亮度和色度分量之間的線性關系和當前像素的亮度分量預測其色度分量.

總體來看，有關屏幕內容圖像的色度編碼方法的研究還不多，而且缺少對屏幕內容色度分量特點的特殊考量.

5 屏幕內容的混合編碼方法

屏幕內容由不連續色調部分和連續色調部分的組成，一方面，前者包含豐富的高對比度、簡單背景的字符邊緣、細線條等，人眼視覺系統對其邊緣失真非常敏感；后者則包含大量的復雜前景和背景、多個顏色種類、平滑邊緣，而視覺掩蔽效應使得人眼對于其信息損失的敏感度降低，這表明2類組成部分的保真度要求不同.另一方面，不連續色調部分和連續色調部分的數據統計特性存在明顯差異，尚不存在某一種編碼方法能夠同時實現2類組成部分的高效率壓縮.故此，研究人員提出采用混合編碼框架，如圖14所示.對屏幕內容的圖像視頻進行編碼，其主要思路是首先將圖像劃分為不連續色調和連續色調2種類型的區域，然后為不同區域選擇恰當的編碼算法，最后將壓縮碼流進行復合.

Fig. 14 General procedure of screen content image coding圖14 屏幕內容圖像編碼的一般流程

5.1 屏幕內容的區域劃分模式

1) 基于對象的區域劃分

基于對象的劃分模式將圖像劃分成具有一定語義的區域，如1個圖形或字符等.其優點是區域劃分準確;而缺點在于對分割算法要求高，且區域形狀不規則，需借助邊信息將區域邊界傳輸至解碼端，額外開銷較大，不便于使用現有算法進行編碼，故幾乎很少采用.

2) 基于層的區域劃分

該模式將每個像素劃分到不同的層，而不同的層可采用不同的壓縮算法.例如，MRC方法[69]把圖像劃分為前景層、背景層和遮罩層.前景層包括文本、圖形或線條，背景層包括自然圖像和空白區域，而遮罩層用來指示某一像素輸出前景層的值還是背景層的值.背景層和前景層使用JPEG，而遮罩層則使用JBIG；DjVu方法[70]則采用基于小波變換的編碼方法(IW44)壓縮前景層和背景層，采用JBIG 2算法壓縮遮罩層.基于層的區域劃分簡化了基于對象的劃分方法，但是尚不存在一種適用于所有圖像的分層方法[29]，并且一部分像素可能同時屬于不同層，也可能在同一層內出現不同類型的圖像區域，以致影響編碼效率.

3) 基于塊的區域劃分

文獻[17]提出將圖像劃分為一系列不重疊的、大小一致(如8×8像素、16×16像素)的塊，再將其分成文本塊、圖形塊和圖像塊等不同的類型，進而采用恰當的方法編碼每種類型的塊.這種區域劃分方法計算簡單，無塊間冗余，不需要邊信息實現編解碼端的同步，且與標準的編碼方法兼容.然而，若當某個像素塊處在不同類型區域的交界時，則可能由于區域劃分的不準確、像素統計特性的不同而降低編碼效率.

基于對象的區域劃分和基于層的區域劃分過程較為復雜且技術尚不成熟，基于塊的區域劃分模式就逐漸發展為屏幕內容混合編碼框架的首選方法.

5.2 基于塊的屏幕內容典型混合編碼框架

基于塊的屏幕內容混合編碼的主要思路是先將圖像劃分為不連續色調塊和連續色調塊，再為不同類型的圖像塊選擇合適的編碼算法實現壓縮.由于本文已經在第2～4節詳細闡述了不連續色調圖像的編碼方法，本節將重點關注塊類型的分類方法和各類算法的主要混合框架.

文獻[17]首先提出了基于塊的復合圖像編碼方法，通過統計一個圖像塊內部顏色的數量來區分不連續色調和連續色調圖像塊，并將處于2種類型區域交界的像素塊定義為邊界塊.隨后，不連續色調圖像塊采用無損近無損的JPEG-LS標準算法編碼，連續色調圖像塊則采用JPEG標準算法編碼，而邊界塊則需通過設置不同的量化參數以便在有損和無損壓縮區域之間實現主客觀解碼質量的過渡.該方法的計算復雜度較低，但由于對不連續色調圖像塊采用JPEG-LS無損編碼，其壓縮效率比較有限.文獻[6]利用相鄰像素的最大誤差將像素塊劃分為自然圖像塊和文本邊緣塊，并借助率失真模型和人眼主觀質量權重為不同類型的像素塊計算合適的量化步長，進而采用基線版本的JPEG有損壓縮完成編碼，其編碼效率較之文獻[17]有一定提高.不過，利用調節量化因子來控制邊界塊編碼質量的手段仍無法有效保持文本內容的銳利邊界.

考慮到多幅連續的屏幕內容圖像之間存在沿著時間維的強相關性，文獻[71]設置了幀內和幀間2種編碼模式.若某個圖像塊在相鄰幀間的變化量低于某個閾值，則采用傳統的幀間編碼進行壓縮；否則，采用幀內編碼進行處理.在幀內模式下，如果圖像塊包含的顏色數量小于某個自定義閾值，則將其作為文本圖形塊進行無損壓縮；否則，對其采用有損方法編碼.并且，在有損編碼過程中，為了保證不同圖像塊具有相近的解碼質量，若連續色調圖像塊內相鄰像素差值的熵低于某個閾值，則認為該塊包含一定的文本圖形內容(類似于文獻[17]中的邊界塊)，采用精細量化矩陣完成有損壓縮，否則采用低質量量化矩陣進行有損壓縮.由于采用了與文獻[17]相近的控制方法，該算法對部分邊界塊的文本邊緣保持得亦有不足.

Fig. 15 General framework of SPEC algorithm[9]圖15 SPEC算法的總體框架[9]

文獻[9]同樣也采用了顏色數量來區別連續色調圖像塊和不連續色調圖像塊.對于不連續色調圖像塊，文獻[9]采用了基于形狀表示或基于調色板-索引圖的編碼+LZW(Lempel-Ziv-Welch)編碼，并通過基于率失真約束的優化算法在兩者之間自適應選取.對于連續色調圖像塊，首先提取出其中的不連續色調像素并采用基于形狀表示的方法進行編碼，然后用周圍像素的平均值填充這些像素得到較為平滑的圖像塊，再用JPEG進行編碼(詳細流程見圖15).該算法對不連續色調圖像塊的壓縮效果較好，但處理包含大量孤立不連續色調像素的混合圖像塊時則會由于邊信息過多影響編碼效率，編碼復雜度也較高.

由上述的3種編碼框架可見，將圖像簡單地分為不連續色調像素塊和連續色調像素塊后，雖然編碼過程較為便捷，可是對那些同時包含不連續色調像素和連續色調類型像素的混合塊，其編碼效率則不令人滿意.為解決這一不足，文獻[72]利用梯度-直方圖分布特性對圖像塊進行了更加細致的類型劃分，分別是平滑圖像塊、不連續色調圖像塊、混合圖像塊和連續色調圖像塊.如圖16所示，首先將待分類塊內的每個像素劃分為低梯度像素、中梯度像素和高梯度像素，然后分析其灰度直方圖，若該塊含有大量中梯度像素，則歸為連續色調圖像塊；若該塊含有大量低梯度像素且直方圖僅有1個主要峰值，則歸為平滑圖像塊；若該塊包含大量高梯度像素并且直方圖有若干主要峰值，則歸為不連續色調圖像塊；若該塊包含大量高梯度像素且直方圖無明顯多峰，則歸為混合圖像塊.其中，連續色調圖像塊采用JPEG進行編碼；平滑圖像塊采用標量量化和算術編碼實現壓縮；不連續色調圖像塊采用調色板-索引圖方法完成編碼；混合圖像塊則利用1級Haar小波和算術編碼進行處理.較之通過顏色數量來分類的方法，該算法的分類更加準確，對混合塊的編碼效率和質量更高，編碼復雜度也較為合理.

Fig. 16 Flowchart of block classification of BFC algorithm[72]圖16 BFC算法的圖像塊分類流程圖[72]

文獻[16]也采用了基于像素梯度和顏色直方圖的思路將像素塊劃分為文本塊和連續色調塊，不同之處在于，文獻[16]分別采用PNG和JPEG形成2個獨立碼流：PNG碼流包含所有文本塊信息，圖像塊用同一顏色填充；而JPEG碼流則包含所有圖像塊數據，文本塊用同一顏色填充.由于PNG支持透明區域，在解碼端重構出2個碼流后，只需將PNG圖像覆蓋至JPEG圖像之上，并使PNG中對應連續色調塊的位置具有透明效果即可構成混合圖像.該編碼方法巧妙地利用了PNG算法，使得編碼器能很好地與瀏覽器兼容，而且其復雜度也低于文獻[72].后來，其作者在文獻[24]中對文獻[18]的文本塊編碼算法進行了改進，提出了一種2級層次預測的調色板-索引圖編碼(詳見2.1.3節)部分)，不僅計算復雜度較之文獻[18]降低了約96%，解碼幀的峰值信噪比也平均提高了1 dB左右.

與上述算法均不同，文獻[44-45]認為采用簡單的塊分類算法并不能保證所有像素塊都能得到最恰當的處理，故該文不再對像素塊進行分類，而是利用率失真準則在基于字典的編碼gzip和H.264幀內編碼算法中擇優選取效率較高的方法完成壓縮.由于能夠取得最優的率失真性能，其后出現的大多數屏幕內容編碼器(如文獻[8,14,48]等)均采用了這種辦法動態決定編碼模式.雖然該算法獲得了較好的壓縮性能，但編碼復雜度較高，尚需進一步簡化其編碼模式的選取.

5.3 HEVC-SCC編碼國際標準進展

基于塊的混合編碼框架已被JCT-VC制定的HEVC-SCC草案所采納，本節簡要介紹標準的主要進展，其詳細情況可參見文獻[14].

HEVC-SCC標準的制定開始于2014年，JCT-VC公開征集屏幕內容編碼方案[73]，并于同年公布了第1版和第2版草案[74]，至今已經發布第6版草案[75].該草案在最新一代視頻編碼標準HEVC[76]及其擴展標準HEVC-RExt[77]的基礎上，引進了幀內塊拷貝、調色板編碼、自適應色彩空間變換、自適應運動向量分辨率等多項新技術(本文第2～4節已經詳細闡述這些方法的主要思想)，并陸續發布了SCM-1.0至SCM-8.3等若干版本的校驗模型軟件，其每個版本的改進情況可詳見文獻[78].根據2016年2月公布的一項對比實驗結果顯示，SCM-6.0針對屏幕內容的壓縮效率較之AVC高4∶4∶4類校驗模型JM-19.0平均高出81%以上[79]，表明HEVC-SCC達到了較高的編碼性能.2017年，HEVC-SCC已作為擴展內容正式加入到HEVC標準中，但距離成為國際標準還需進一步的工作.

6 屏幕內容編碼研究展望

目前，屏幕內容編碼方興未艾，是圖像和視頻編碼領域的熱點研究領域之一，其基本方法和技術雖然日臻完善，但尚未完備，許多問題還處于不斷探索中.鑒于此，我們認為未來屏幕內容編碼將有望在以下3個方面取得進展：

1) 建立多種編碼方法的標準框架及其快速決策方案

由于屏幕內容的統計多樣性，混合編碼方案的有效性已經為研究人員所認可，但是其混合編碼框架尚未統一.基于塊分類的混合編碼受制于分類的精確性，基于率失真決策的編碼方法則又具有較高的復雜度.而由于屏幕內容編碼主要面向實時性要求較高的應用場合，編碼模式的快速決策就顯得格外重要.故此，兼顧編碼效率和計算復雜度的自適應混合編碼統一構架需要深入研究和解決.

2) 建模屏幕內容的空頻域統計規律

眾所周知，自然圖像和視頻編碼效率的不斷提高應歸功于人們對其空間域和頻率域統計規律，尤其是頻率域統計規律認知程度的逐漸深入.然而，現有文獻(如文獻[8,11-13,80]等)對屏幕內容數據分布規律的研究尚不夠深入，相關報道也較少.而且，目前幾乎所有編碼算法都僅利用了屏幕內容圖像的空間域相關性，包括局部相關性、非局部相關性和局部方向相關性[81]，其編碼效率仍有很大的提升空間.若能找到一種有效的數學變換及其可資利用的系數分布規律，則有望進一步改善屏幕內容的壓縮比.

3) 探索新型圖像質量評價方法和編碼方法

現有編碼框架的率失真模型大多追求信號意義下的保真度，而峰值信噪比和均方誤差等函數并不能很好地度量解碼圖像的人眼主觀質量.關于結構相似度(structural similarity, SSIM)指標的研究表明[82]，人眼視覺系統(human vision system, HVS)對于圖像中的結構差異較之亮度差異更加敏感.故此，合理利用HVS的特點，建立符合人眼主觀評價的屏幕圖像質量評價方法可在保持主觀解碼質量的前提下有效提高其編碼效率[83-85].另外，目前所提出的基于調色板-索引圖的編碼、基于模板匹配的編碼、基于塊匹配的編碼和基于字典的編碼等方法大多是在對屏幕內容數據特點的初步認識基礎上，受啟發自經典的編碼技術.相信新型圖像質量評價方法(如文獻[83-85])和更準確的空頻域統計能為屏幕內容編碼指明一個改進方向，乃至促進屏幕內容編碼新思路的涌現.

7 結束語

云計算時代下，屏幕內容的快速編碼和傳輸得到了學術界和工業界的廣泛關注.本文重點闡述了屏幕內容編碼方法的研究進展：首先，從屏幕內容圖像的數據統計特性切入，以屏幕內容編碼方法的演進為主線，將現有方法分為基于調色板-索引圖的編碼算法、基于模板匹配的編碼算法、基于塊匹配的編碼算法、基于字典的編碼算法、基于形狀表示的編碼算法、時間域編碼方法和色度分量編碼方法7類.一方面，經過對各類方法發展脈絡及其基本思想的詳細梳理和比較，本文討論了不同算法的優勢、不足和適用范圍；另一方面，發現目前屏幕內容的混合編碼框架尚不成熟，屏幕內容的空頻域統計規律需進一步明確，而且仍待發掘新型圖像質量評價方法及其適用的編碼方法.據此，對屏幕內容編碼方法的未來發展進行了展望.

[1]de Queiroz R L, Buckley R R, Xu Ming. Mixed raster content (MRC) model for compound image compression[C]Proc of SPIE VCIP’99. Bellingham, WA: SPIE, 1999: 1106-1117

[2]Lu Yan, Li Shipeng, Shen Huifeng. Virtualized screen: A third element for cloud-mobile convergence[J]. IEEE Multimedia, 2011, 18(2): 4-11

[3]JCT-VC. Use cases and requirements for lossless and screen content coding, JCTVC-M0172[R]. Geneva, Switzerland: ITU-T, 2013

[4]Konstantinide K, Tretter D. A method for variable quantization in JPEG for improved text quality in compound documents[C]Proc of IEEE ICIP’98. Piscataway, NJ: IEEE, 1998: 565-568

[5]Konstantinide K, Tretter D. A JPEG variable quantization method for compound documents[J]. IEEE Trans on Image Processing, 2000, 9(7): 1282-1287

[6]Ramos M, de Queiroz R. Classified JPEG coding of mixed documents[J]. IEEE Trans on Image Processing, 2000, 9(4): 716-720

[7]Zaghetto A, de Queiroz R L. Segmentation-driven compound document coding based on H. 264AVC-intra[J]. IEEE Trans on Image Processing, 2007, 16(7): 1755-1760

[8]Lan Cuiling, Shi Guangming, Wu Feng. Compress compound images in H. 264MPGE-4 AVC by exploiting spatial correlation[J]. IEEE Trans on Image Processing, 2010, 19(4): 946-957

[9]Lin Tao, Hao Pengwei. Compound image compression for real-time computer screen image transmission[J]. IEEE Trans on Image Processing, 2005, 14(8): 993-1005

[10]Peng W H, Xu Jizheng, Ostermann J, et al. Call for papers: Screen content video coding and applications[EBOL]. [2016-08-15]. http:jetcas.polito.itCFP-Screen_Content_Video_Coding_and_Applications.pdf

[11]Ding Wenpeng, Lu Yan, Wu Feng. Enable efficient compound image compression in H. 264AVC intra coding[C]Proc of IEEE ICIP’07. Piscataway, NJ: IEEE, 2007: II-337-II-340

[12]Ma Zhan, Wang Wei, Xu Meng, et al. Advanced screen content coding using color table and index map[J]. IEEE Trans on Image Processing, 2014, 23(10): 4399-4412

[13]Mrak M, Grgic S, Grgic M. Picture quality measures in compression systems[C]Proc of IEEE EUROCON’03. Piscataway, NJ: IEEE, 2003: 233-236

[14]Xu Jizheng, Joshi R, Cohen R A. Overview of the emerging HEVC screen content coding extension[J]. IEEE Trans on Circuits Systems for Video Technology, 2016, 26(1): 50-62

[15]Wang Shiqi, Zhang Xinfeng, Liu Xianming, et al. Utility-driven adaptive preprocessing for screen content video compression[J]. IEEE Trans on Multimedia, 2017, 19(3): 660-667

[16]Lin Tao, Zhang Peijun, Wang Shuhui, et al. Mixed chroma sampling-rate high efficiency video coding for full-chroma screen content[J]. IEEE Trans on Circuits Systems for Video Technology, 2013, 23(1): 173-185

[17]Said A, Drukarev A. Simplified segmentation for compound image compression[C]Proc of IEEE ICIP’99. Piscataway, NJ: IEEE, 1999: 229-233

[18]Pan Zhaotai, Shen Huifeng, Lu Yan, et al. Browser-friendly hybrid codec for compound image compression[C]Proc of IEEE ISCAS’11. Piscataway, NJ: IEEE, 2011: 101-104

[19]Zhu Weijia, Ding Wenpeng, Xiong Ruiqin. Compound image compression by multi-stage prediction[C]Proc of VCIP’12. Piscataway, NJ: IEEE, 2012: 1-6

[20]JCT-VC. Screen content coding with multi-stage base color and index map representation, JCTVC-M0330[R]. Geneva, Switzerland: ITU-T, 2013

[21]JCT-VC. Palette mode for screen content coding, JCTVC-M0323[R]. Geneva, Switzerland: ITU-T, 2013

[22]JCT-VC. AHG10: Simplification of palette based coding, JCTVC-Q0047[R]. Geneva, Switzerland: ITU-T, 2014

[23]JCT-VC. Non-RCE3: Modified palette mode for screen content coding, JCTVC-N0249[R]. Geneva, Switzerland: ITU-T, 2013

[24]Pan Zhaotai, Shen Huifeng, Lu Yan, et al. A low-complexity screen compression scheme for interactive screen sharing[J]. IEEE Trans on Circuits and Systems for Video Technology, 2013, 23(6): 949-960

[25]Zhu Wenjing, Au O C, Dai Wei, et al. Palette-based compound image compression in HEVC by exploiting non-local spatial correlation[C]Proc of IEEE ICASSP’14. Piscataway, NJ: IEEE, 2014: 7348-7352

[26]JCT-VC. Screen content coding test model 2 encoder description (SCM 2), JCTVC-R1014[R]. Geneva, Switzerland: ITU-T, 2014

[27]Zeng Wenjun, Li Jin, Lei Shawmin. An efficient color re-indexing scheme for palette-based compression[C]Proc of IEEE ICIP’00. Piscataway, NJ: IEEE, 2000: 476-479

[28]Shen Huifeng, Lu Yan, Wu Feng, et al. Low-cost realtime screen sharing to multiple clients[C]Proc of IEEE ICME’10. Piscataway, NJ: IEEE, 2010: 980-985

[29]Zhu Weijia, Ding Wenpeng, Xu Jizheng, et al. Screen content coding based on HEVC framework[J]. IEEE Trans on Multimedia, 2014, 16(5): 1316-1326

[30]Xiu Xiaoyu, He Yuwen, Joshi R, et al. Palette-based coding in the screen content coding extension of the HEVC standard[C]Proc of IEEE DCC’15. Piscataway, NJ: IEEE, 2015: 253-262

[31]Cherigui S, Guillemot C, Thoreau D, et al. Correspondence map-aided neighbor embedding for image intra prediction[J]. IEEE Trans on Image Processing, 2013, 22(3): 1161-1174

[32]Xu Yiling, Huang Wei, Wang Wei, et al. 2-D index map coding for HEVC screen content compression[C]Proc of IEEE DCC’15. Piscataway, NJ: IEEE, 2015: 263-272

[33]Shen Huifeng, Lu Yan, Wu Feng, et al. Low-cost realtime screen sharing to multiple clients[C]Proc of IEEE ICME’10. Piscataway, NJ: IEEE, 2010: 980-985

[34]Tan T K, Boon C S, Suzuki Y. Intra prediction by template matching[C]Proc of IEEE ICIP’06. Piscataway, NJ: IEEE, 2006: 1693-1696

[35]Tan T K, Boon C S, Suzuki Y. Intra prediction by averaged template matching predictors[C]Proc of IEEE CCNC’07. Piscataway, NJ: IEEE, 2007: 405-409

[36]Tao Pin, Feng Lixin, Song Sichao, et al. Improvement of re-sample template matching for lossless screen content video[C]Proc of IEEE ICME’05. Piscataway, NJ: IEEE, 2015: 1-6

[37]Wang Zheng, Tao Pin, Feng Lixin, et al. Palette improvement for template matching intra coding[C]Proc of CCF HHME’15. Beijing: China Machine Press, 2015: 186-192 (in Chinese)(王正, 陶品, 馮立新, 等. 基于模板匹配的調色板方法[C]第11屆全國和諧人機環境聯合會議論文集. 北京: 機械工業出版社, 2015: 186-192)

[38]Wang Zheng, Tao Pin, Feng Lixin, et al. Palette improvement for template matching intra coding[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(7): 1146-1151 (in Chinese)(王正, 陶品, 馮立新, 等. 基于模板匹配的調色板方法[J]. 計算機輔助設計與圖形學學報, 2016, 28(7): 1146-1151)

[39]Feng Lixin, Tao Pin, Wen Jiangtao, et al. Lossless intra coding on whole frame for screen content video based on template matching[J]. Journal of Beijing University of Aeronautics and Astronautics, 2015, 41(7): 1353-1358 (in Chinese)(馮立新, 陶品, 溫江濤, 等. 基于模板匹配整幀屏幕視頻幀內無損編碼方法[J]. 北京航空航天大學學報, 2015, 41(7): 1353-1358)

[40]JCT-VC. New intra prediction using intra-macroblock motion compensation, JVT-C151[R]. Geneva, Switzerland: ITU-T, 2002

[41]Zhu Weijia, Ding Wenpeng, Xu Jizheng, et al. Hash-based block matching for screen content coding[J]. IEEE Trans on Multimedia, 2015, 17(7): 935-944

[42]Chen Chunchi, Xu Xiaozhong, Liao Ruling, et al. Screen content coding using non-square intra block copy for HEVC[C]Proc of IEEE ICME’14. Piscataway, NJ: IEEE, 2014: 1-6

[43]Zhao Liping, Lin Tao, Gong Xunwei, et al. Intra mini-block copy algorithm for screen content coding[J]. Journal of Computer Applications, 2016, 26(7): 1938-1943, 1980 (in Chinese)(趙利平, 林濤, 龔迅煒, 等. 幀內微塊復制的屏幕圖像編碼算法[J]. 計算機應用, 2016, 26(7): 1938-1943, 1980)

[44]Wang Shuhui, Lin Tao. A unified LZ and hybrid coding for compound image partial-lossless compression[C]Proc of CISP’09. Piscataway, NJ: IEEE, 2009: 1-5

[45]Wang Shuhui, Lin Tao. Compound image compression based on unified LZ and hybrid coding[J]. IET Image Processing, 2013, 7(5): 484-499

[46]JCT-VC. AHG7: Full-chroma (YUV444) dictionary+hybrid dual-coder extension of HEVC, JCTVC-K0133[R]. Geneva, Switzerland: ITU-T, 2012

[47]JCT-VC. Improvements on 1D dictionary coding, JCTVC-Q0124[R]. Geneva, Switzerland: ITU-T, 2014

[48]Chen Xianyi, Zhao Liping, Lin Tao. A new HEVC intra mode for screen content coding[J]. Journal of Electronics & Information Technology, 2015, 37(11): 2685-2690 (in Chinese)(陳先義, 趙利平, 林濤. 一種新的用于屏幕圖像編碼的HEVC 幀內模式[J]. 電子與信息學報, 2015, 37(11): 2685-2690)

[49]Li Bin, Xu Jizheng, Wu Feng. 1-D dictionary mode for screen content coding[C]Proc of IEEE VCIP’14. Piscataway, NJ: IEEE, 2014: 189-192

[50]Jin Xiaojuan, Zhang Peijun, Lin Tao. Optimization algorithm on hash table based on HEVC screen content coding[J]. Computer Engineering and Applications, 2014, 50(17): 155-159 (in Chinese)(金小娟, 張培君, 林濤. 基于HEVC屏幕圖像編碼的哈希表的優化算法[J]. 計算機工程與應用, 2014, 50(17): 155-159)

[51]Zhang Peijun, Jin Xiaojuan, Wang Shuhui, et al. Screen content coding of combining full-chroma HEVC and lossy matching dictionary coder[J]. Computer Science, 2014, 41(3): 286-292 (in Chinese)(張培君, 金小娟, 王淑慧, 等. 結合全色度HEVC和有損字典算法的屏幕圖像編碼[J]. 計算機科學, 2014, 41(3): 286-292)

[52]Zhu Weijia, Ding Wenpeng, Xu Jizheng, et al. 2-D dictionary based video coding for screen contents[C]Proc of IEEE DCC’14. Piscataway, NJ: IEEE, 2014: 43-52

[53]JCT-VC. Screen content coding using 2-D dictionary mode, JCTVC-O0357[R]. Geneva, Switzerland: ITU-T, 2013

[54]Chen Xianyi, Zhao Liping, Chen Zhizhong, et al. 2D intra string copy for screen content coding[J]. Journal of Computer Applications, 2015, 35(9): 2640-2647, 2677 (in Chinese)(陳先義, 趙利平, 陳治中, 等. 二維幀內串匹配屏幕圖像編碼算法[J]. 計算機應用, 2015, 35(9): 2640-2647, 2677)

[55]Zou Feng, Chen Ying, Karczewicz M, et al. Hash based intra string copy for HEVC based screen content coding[C]Proc of IEEE ICMEW’15. Piscataway, NJ: IEEE, 2015: 1-4

[56]Zhao Liping, Lin Tao, Zhou Kailun. An efficient ISC offset parameter coding algorithm in screen content coding[JOL]. Chinese Journal of Computers, 2016 [2016-12-07]. http:www.cnki.netkcmsdetail11.1826.tp.20160328.1604.002.html (in Chinese)(趙利平, 林濤, 周開倫. 屏幕圖像壓縮中串復制位移參數的高效編碼算法[JOL]. 計算機學報, 2016 [2016-12-07]. http:www.cnki.netkcmsdetail11.1826.tp.20160328.1604.002.html

[57]Sanchez V. Sample-based edge prediction based on gradients for lossless screen content coding in HEVC[C]Proc of PCS’15. Piscataway, NJ: IEEE, 2015: 134-138

[58]Sanchez V. Lossless screen content coding in HEVC based on sample-wise median and edge prediction[C]Proc of IEEE ICIP’15. Piscataway, NJ: IEEE, 2015: 4604-4608

[59]JCT-VC. Motion vector resolution control for screen content coding, JCTVC-P0277[R]. Geneva, Switzerland: ITU-T, 2014

[60]JCT-VC. Adaptive motion vector resolution for screen content, JCTVC-S0085_r1[R]. Geneva, Switzerland: ITU-T, 2014

[61]Purnachand N, Alves L N, Navarro A. Improvements to TZ search motion estimation algorithm for multiview video coding[C]Proc of IEEE IWSSIP’12. Piscataway, NJ: IEEE, 2012: 388-391

[62]Sun Ting, Wan Pengfei, Au O C, et al. Fast binary motion estimation for screen content video coding[C]Proc of IEEE APSIPA’14. Piscataway, NJ: IEEE, 2014: 1-5

[63]Duvar R, Urhan O. Performance evaluation of low bit-dept based motion estimation approaches on screen content video[C]Proc of IEEE Signal Processing and Communication Application Conf (SIU). Piscataway, NJ: IEEE, 2016: 2141-2144

[64]?elebi A, Akbulut O, Urhan O, et al. Truncated gray-coded bit-plane matching based motion estimation and its hardware architecture[J]. IEEE Trans on Consumer Electronics, 2009, 55(3): 1530-1536

[65]Zhao Liping, Lin Tao, Zhou Kailun, et al. Pseudo 2D string matching technique for high efficiency screen content coding[J]. IEEE Trans on Multimedia, 2016, 18(3): 339-350

[66]Marpe D, Kirchhoffer H, George V, et al. Macroblock-adaptive residual color space transforms for 4∶4∶4 video coding[C]Proc of IEEE ICIP’06. Piscataway, NJ: IEEE, 2006: 3157-3160

[67]Zhang Peijun, Wang Shuhui, Zhou Kailun, et al. Screen content coding by combined full-chroma LZMA and subsampled-chroma HEVC[J]. Journal of Electronics & Information Technology, 2013, 35(1): 196-202 (in Chinese)(張培君, 王淑慧, 周開倫, 等. 融合全色度LZMA 與色度子采樣HEVC 的屏幕圖像編碼[J]. 電子與信息學報, 2013, 35(1): 196-202)

[68]Zhang Xingyu, Gisquet C, Francois E, et al. Chroma intra prediction based on inter-channel correlation for HEVC[J]. IEEE Trans on Image Processing, 2014, 23(1): 274-286

[69]ITU-T. Recommendation T.44 Mixed raster content (MRC)[S]. Geneva, Switzerland: ITU-T, 1999

[70]Haffner P, Bottou L, Howard P G, et al. High quality document image compression with DjVu[J]. Journal of Electronic Imaging, 1998, 7(3): 410-425

[71]Said A. Compression of compound images and video for enabling rich media in embedded systems[C]Proc of SPIE VCIP’04. Bellingham, WA: SPIE, 2004: 69-82

[72]Ding Wenpeng, Liu Dong, He Yuwen, et al. Block-based fast compression for compound images[C]Proc of IEEE ICME’06. Piscataway, NJ: IEEE, 2006: 809-812

[73]JCT-VC. Joint call for proposals for coding of screen content, MPEG2014N14175[R]. Geneva, Switzerland: ITU-T, 2014

[74]JCT-VC. HEVC screen content coding draft text 2, JCTVC-S1005[R]. Geneva, Switzerland: ITU-T, 2014

[75]JCT-VC. HEVC screen content coding draft text 6, JCTVC-W1005[R]. Geneva, Switzerland: ITU-T, 2016

[76]Sullivan G J, Ohm J, Han W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Trans on Circuits Systems for Video Technology, 2012, 22(12): 1649-1668

[77]JCT-VC. Edition 2 draft text of high efficiency video coding (HEVC), including format range (RExt), scalability (SHVC), and multi-view (MV-HEVC) extensions, JCTVC-R1013[R]. Geneva, Switzerland: ITU-T, 2014

[78]JCT-VC. HEVC screen content coding test model 7 (SCM 7), JCTVC-W1014[R]. Geneva, Switzerland: ITU-T, 2016

[79]JCT-VC. JCT-VC AHG report: SCC coding performance analysis (AHG6), JCTVC-W0006[R]. Geneva, Switzerland: ITU-T, 2016

[80]Chen Cheng, Han Jingning, Xu Yaowu, et al. A staircase transform coding scheme for screen content video coding[C]Proc of IEEE ICIP’16. Piscataway, NJ: IEEE, 2016: 2365-2369

[81]Chen Guisheng, Song Chuanming, Wang Xianghai, et al. Fast prediction algorithm of index maps for screen image coding[J]. Journal of Image and Graphics, 2016, 21(9): 1127-1137 (in Chinese)(陳規勝, 宋傳鳴, 王相海, 等. 用于屏幕圖像編碼的索引圖快速預測算法[J]. 中國圖象圖形學報, 2016, 21(9): 1127-1137)

[82]Wang Zhou, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J]. IEEE Trans on Image Processing, 2004, 13(4): 600-612

[83]Gu Ke, Wang Shiqi, Yang Huan, et al. Saliency-guided quality assessment of screen content images[J]. IEEE Trans on Multimedia, 2016, 18(6): 1098-1110

[84]Wang Shiqi, Ma Lin, Fang Yuming, et al. Just noticeable difference estimation for screen content images[J]. IEEE Trans on Image Processing, 2016, 25(8): 3838-3851

[85]Ni Zhangkai, Ma Lin, Zeng Huanqiang, et al. Gradient direction for screen content image quality assessment[J]. IEEE Signal Processing Letters, 2016, 23(10): 1394-1398

Liu Dan, born in 1981. Lecturer of the School of Computer and Information Technology of Liaoning Normal University. PhD candidate in communication engineering at the School of Information and Communi-cation Engineering of Dalian University of Technology. Her main research interests include image & video coding, and computer vision.

Chen Guisheng, born in 1985. PhD candidate in computer applied technology from Jilin University. His main research interests include screen content video coding (cgs-10@163.com).

Song Chuanming, born in 1980. Associate professor of the School of Computer and Information Technology of Liaoning Normal University. Received his PhD degree at the Department of Computer Science & Tech-nology of Nanjing University. Member of CCF. His main research interests include image and video coding, and digital watermarking of multimedia.

He Xing, born in 1990. Master in educational technology of the School of Computer and Information Technology of Liaoning Normal University. His main research interests include educational video coding.

Wang Xianghai, born 1965. Professor and PhD supervisor of the School of Computer and Information Technology of Liaoning Normal University. Senior member of CCF. His main research interests include computer graphics and multimedia information processing (xhwang@lnnu.edu.cn).

Research Advances in Screen Content Coding Methods

Liu Dan1,2, Chen Guisheng1,3, Song Chuanming1,2, He Xing1, and Wang Xianghai1

1(SchoolofComputerandInformationTechnology,LiaoningNormalUniversity,Dalian,Liaoning116029)2(FacultyofElectronicInformationandElectricalEngineering,DalianUniversityofTechnology,Dalian,Liaoning116024)3(CollegeofComputerScienceandTechnology,JilinUniversity,Changchun130012)

With the widespread promotion of the applications such as cloud computing, virtual desktop, and so on, screen content image has become an integral part of the new generation of cloud—mobile computing model. It is one of the hot issues of video coding field to investigate the screen content coding methods with high compression efficiency, good real-time performance, and moderate computational complexity. On introducing the statistical characteristics of screen content image presented in the spatial domain, the frequency domain, the temporal domain, as well as the color space respectively, this study focuses on typical coding methods of the discontinuous tone images. The state-of-art methods are classified into seven categories, namely the palette-index map based methods, the template matching based methods, the block matching based methods, the dictionary-based methods, the shape representation based methods, the temporal-domain coding methods, as well as the chroma component coding methods. Then the screen content coding methods using a hybrid framework is further summarized. Meanwhile, the advantages vs. disadvantages of various methods are also compared, analyzed and discussed. Based on the above, the progress of drafting the international HEVC-SCC coding standard is introduced, and the development trend of the screen content coding is forecast in the near future.

video coding; image coding; screen content; screen image; compound image; survey

2016-08-22

2017-02-07

國家自然科學基金項目(61402214,41271422)；教育部高等學校博士學科點專項科研基金項目(20132136110002)；遼寧省教育廳科學研究一般項目(L201683681)；大連市青年科技之星項目支持計劃項目(2015R069,2016RQ046) This work was supported by the National Natural Science Foundation of China (61402214, 41271422), the Specialized Research Fund for the Doctoral Program of Higher Education of China (20132136110002), the Foundation of Science and Research for Higher Education of Liaoning Province (L201683681), and the Dalian Foundation for Youth Science and Technology Star (2015R069, 2016RQ046).

宋傳鳴(chmsong@lnnu.edu.cn)

TN911.73; TP37