紋理類型預判和SDC優化的3D-HEVC深度圖幀內算法*

粘春湄，陳 婧，曾煥強

華僑大學 信息科學與工程學院，福建 廈門 361021

1 引言

近年來，隨著3D視頻設備的興起以及人們對3D視頻身臨其境的感知需求，3D視頻的概念已經深入人心，成為學術界和產業界關注的熱點。隨著3D視頻數據量的劇增，如何簡單高效地對3D視頻進行編碼傳輸，并且保證其重建質量，是科研人員和產品開發人員共同面對的主要挑戰。為此，MPEG和ITU-T于2013年成立了聯合專家組（joint collaborative team on 3D video coding extension development，JCT-3V），建立了以新一代高效視頻編碼標準（high efficiency video coding，HEVC）為基礎的3D-HEVC編碼標準[1]。

3D-HEVC標準采用多視點加深度（multi-view video plus depth，MVD）的視頻格式。其中，紋理圖如圖1（a）所示；深度圖由物體與相機的深度距離所產生，如圖1（b）所示。這種視頻格式不需要直接編碼所有視點的視頻，只編碼少數視點，并通過基于深度圖像的繪制技術（depth-image-based rendering，DIBR）合成其他視點信息[2-3]，這在一定程度上減少了視頻編碼的數據量[4]。

Fig.1 Depth map and texture map of the 1st frame in shark sequence圖1“shark”序列的第一幀紋理圖和深度圖

觀察圖1（b），不難發現深度圖中存在大量的平坦區域（紅色框所示）以及明顯的邊緣區域（藍色框所示）。為了更好地保護深度圖的邊緣信息，3DHEVC引入了兩種幀內深度編碼模式（depth modeling modes，DMMs），分別是包含楔形分割的DMM1模式和包含任意輪廓分割的DMM4模式[5]。對于MVD視頻而言，除了需要對傳統的紋理視頻進行編碼，其深度圖編碼也沿用了四叉樹CTU（coding tree unit）遞歸分割技術及預測模式遍歷，且其預測模式共有37種編碼模式，包括35種標準的HEVC幀內編碼模式和兩類DMM模式[6]，這就增加了算法的復雜度。因此，分析深度圖特征，優化其幀內預測算法，是降低3DHEVC算法復雜度的一個思路。

現有的深度圖幀內預測優化算法主要包括：幀內預測模式的預判、CU（coding unit）分割的提前終止以及分段直流編碼（segment-wise DC coding，SDC）等。由于深度圖的特點是平坦區域遠多于非平坦區域，跳過針對邊緣區域DMMs模式的計算和判斷過程可以減小很多不必要的開銷。文獻[7]是對當前編碼的深度塊在哈達瑪變換域中進行邊緣分類，并基于分類結果有效地跳過不必要的DMMs模式的檢查。文獻[8]通過提取編碼塊的4個角點像素值之間的最大差值來判斷是否為邊緣區域，若不為邊緣區域，可以跳過DMMs的檢查。文獻[9]在分析DMM1分割線的起始端與終止端的梯度差特點的基礎上，提出4種對編碼塊邊緣評估的梯度濾波器算法，定位DMM1的最佳起始與終止位置，一定程度上減少了比特率失真。

在對幀內CU分割提前終止的預判上，Min等人[10]提出對CU的全局和局部的水平、垂直、45°對角線方向和135°對角線方向進行復雜度計算，判斷CU是否需要繼續分割。Peng等人[11]提出利用當前CU塊內像素方差與3D-HEVC中對DMMs進行預判的閾值進行對比，并且將4個子CU中方差最大的值與其進行對比，判斷是否對當前CU繼續分割。文獻[12]利用共生灰度矩陣對CTU的像素值進行統計，利用共生灰度矩陣中的非零個數與閾值比較，提前判決CU分割的最佳尺寸，但其閾值應根據視頻內容進行自適應更新。

3D-HEVC采用了分段直流殘差編碼（SDC）方法，其基本思想是將一個預測單元劃分成一個段或兩個段，每個段的殘差用一個常量來代替。使用SDC對殘差塊進行編碼，就不再需要對殘差進行變換和量化，減小了計算復雜度[13]。因為塊中像素變化的某種分布可能會用角度模式預測，所以Liu等人[14]提出一種可以在傳統幀內角度模式下通用的SDC編碼方式。Gu等人[15]提出通過全率失真列表，只對率失真代價（rate-distortion cost，RDcost）最小的模式和DMMs模式進行SDC編碼，而跳過其他模式的SDC編碼過程。但此算法沒有考慮Planar模式對SDC的依賴性，造成合成視點的較大失真。通過對SDC編碼過程的研究發現，在預測模式的方向與編碼塊的紋理具有較高匹配度的情況下使用SDC模式才會更有效，因此在匹配度較低的情況下可以跳過SDC的編碼過程。

基于以上的分析，本文提出一種基于紋理類型預判的3D-HEVC深度圖幀內快速編碼算法。通過Roberts算子判斷編碼單元類型，若當前編碼單元的Roberts梯度和小于某個合理的閾值，說明此編碼單元為平坦塊，在幀內預測時可以跳過對DMMs預測模式的檢查，并且可以提前終止CU的分割，節省預測模式樹狀遍歷的開銷。另外，利用Roberts算子判定當前塊為平坦時，若粗略模式選擇（rough mode decision，RMD）之后的當前模式不是DMMs或者Planar模式時，則跳過對當前模式的SDC檢查，降低計算復雜度。

本文組織結構如下：第2章介紹深度圖幀內DMMs模式選擇過程、CTU的遞歸分割以及SDC編碼；第3章給出本文算法的基本思想，即如何用梯度和指導DMMs模式的跳過及CTU分割深度的預判，并且對SDC的算法進行數據統計；第4章詳細討論本文算法的步驟；第5章對實驗結果進行分析；第6章總結全文。

2 深度圖幀內編碼和SDC編碼復雜度分析

2.1 深度圖DMMs編碼模式的選擇過程

為了更準確地描述深度圖的邊緣信息，3DHEVC深度圖編碼時，預測單元（prediction unit，PU）增加了DMMs模式。DMMs模式包含DMM1模式和DMM4模式，分別對應著楔形分割和輪廓分割，如圖2（a）、圖2（b）所示。

如圖2所示，塊中的楔形分割和輪廓分割具體描述為各自分別被一條線性直線和不規則曲線劃分為兩個區域P1和P2，每個區域用各自的像素平均值預測。3D-HEVC中選擇DMMs作為最佳模式的過程：（1）在RMD過程中，采用全率失真（full rate distortion，full-RD）列表，對列表里的模式（除DMMs）做RDcost計算，選出的最佳模式再加入3種最有可能的模式（most probable mode,MPM）到列表中，這3種最有可能模式MPM是從35種傳統HEVC的預測模式中選出來的；（2）將所有DMMs加入到列表中；（3）當DMMs模式的RDcost最低時，選擇DMMs作為最佳預測模式。可以看出，選擇DMMs作為最佳模式的復雜度較高。

Fig.2 Depth modeling modes圖2 深度編碼模式

2.2 CTU的逐層分割

3D-HEVC中深度圖的編碼沿用了HEVC的四叉樹結構CTU分割方式，如圖3所示。

Fig.3 Quadtree partition of CTU圖3CTU的四叉樹分割

64×64尺寸的CU是最大的編碼單元，即LCU。將LCU逐層分割，其劃分深度級別依次為0、1、2、3，分別對應著 64×64、32×32、16×16、8×8尺寸的CU。對每個深度級別的CU都會進行RDcost的計算，如果當前深度級別的CU的RDcost大于下一個深度級別的4個CU的RDcost總和，則CU繼續劃分。反之，則終止CU劃分。在紋理圖中，平坦區域采用大尺寸的CU分割，而復雜區域采用小尺寸的CU分割，更能保證合成視圖的質量。因為3D-HEVC中的深度圖基本由大量的平坦區域和明顯的邊緣區域組成，所以深度圖中采用大尺寸的CU分割概率比較大。如果能預判深度圖為大尺寸CU分割，則能提前終止對CTU的遞歸分割過程，大大降低編碼的復雜性。

2.3 SDC殘差編碼分析

SDC是一種3D-HEVC中獨有的殘差編碼方法，這種方法僅使用一個或兩個常數值來代替整個的殘差塊，跳過變換和量化的過程，從而起到了節省碼率的作用。3D-HEVC中，在full-RD列表創建完成后，編碼器會對列表中的所有模式進行不使用SDC的RDcost計算和使用SDC的RDcost計算，如圖4所示。

Fig.4 SDC optimization圖4SDC優化

在計算完所有的RDcost后才能決定當前編碼塊的最佳預測模式和是否使用SDC殘差編碼方式。這增加了3D-HEVC的編碼復雜度。

3 深度圖紋理預判和SDC的優化

3.1 邊緣預判對深度圖DMMs模式跳過的可行性分析

Roberts是一種利用局部差分算子尋找邊緣的2×2模板的算子，它采用對角線方向相鄰兩像素之差近似梯度幅值檢測邊緣，公式如下：

當模板用于圖像的每個像素位置處會得到梯度分量gx和gy。計算梯度的幅值時，用梯度分量的絕對值的和來近似梯度的幅值，如下：

在PU上使用梯度和計算，記為SRoberts_PU：

其中，n和m表示當前PU的高度和寬度；M(x,y)表示當前PU在該位置處的像素的梯度值。

當計算的區域是平坦區域時，梯度和會很小；當該區域包含很多邊緣信息時，那么梯度和就會很大。因此可以設定閾值TRoberts_PU，當梯度和SRoberts_PU小于該閾值時，判定為平坦區域，就可以跳過該PU塊的DMMs模式檢測。

在設定閾值時，考慮到Planar和DC模式更適合于平坦區域，這意味著PU塊在平坦區域更容易選擇Planar和DC模式。考慮到在不同視頻序列下，PU塊不同，因此針對不同的視頻內容要不斷對閾值TRoberts_PU進行更新。當采用Planar和DC模式作為最優模式時，取PU的梯度和的均值作為閾值TRoberts_PU。每當PU的最優模式是Planar或者DC模式時，對PU進行梯度和累加并取平均值，從而更新閾值，來適應不同的視頻序列。閾值更新過程如圖5所示。

Fig.5 Flow chart forTRoberts_PUupdate圖5 閾值TRoberts_PU的更新流程圖

為了驗證算法的準確性，本節統計了在梯度和SRoberts_PU小于閾值TRoberts_PU時，使用傳統HEVC預測模式作為最佳模式的概率，記為Q1，如表1所示。通過表1可以看出，所提算法的準確率高達99.18%。這意味著在當前PU的梯度和SRoberts_PU小于閾值TRoberts_PU時，可以判定該區域為平坦區域，跳過對DMMs模式的檢查過程。

Table 1 Proportion that the best mode is traditional HEVC mode inSRoberts_PU

3.2 基于邊緣預判的CTU分割提前判決

從CTU的四叉樹分割過程上看，如果能提前判決CTU的劃分深度等級，就能避免其他深度等級的模式遞歸選擇和率失真計算過程，降低編碼復雜度。本文提出基于梯度和的CU分割提前判決算法，對于大尺寸的CU，使用基于梯度和計算，若它的梯度和滿足設定的閾值，就可認為當前塊是紋理簡單的平坦塊，其RDcost的計算一般優于下一個深度等級，選擇當前尺寸作為最優劃分尺寸的概率比較大，從而提前終止CU繼續遞歸分割，節省編碼時間。

與3.1節相似，判斷區域是否為平坦區域，若為平坦區域，則不需要再對當前CU進行劃分；反之，繼續劃分當前CU為更小的尺寸。與3.1節不同的是，對CU的閾值本文取為0，若梯度和為0，則判定該CU塊是平坦塊，終止CU進一步劃分，若不是，則繼續劃分。

為了驗證算法的準確性，本節統計當前深度等級的CU的梯度和SRoberts_PU為0時，其所對應的當前尺寸作為編碼后最佳分割尺寸的概率，即準確率，記為Q2，如表2所示。從表2可以看出，本文算法的平均準確率為99.75%，意味著梯度和SRoberts_PU為0時，當前CU的尺寸被選為最佳劃分尺寸的概率極大。

3.3 SDC編碼的優化

經過對SDC編碼方式的分析，發現“將殘差塊用一個常數值來代替”這一特征決定了這種編碼方式只有在預測模式與紋理特征具有較高匹配度的情況下才能有優秀的RD表現。而在full-RD列表中的n種預測模式中，只有一種或幾種模式會與當前編碼塊的紋理特征具有較高的匹配度，因此，只需要對這一種或幾種具有較高匹配度的模式進行SDC編碼，而其余的幾種具有低匹配度的預測模式則不需要再進行SDC編碼。考慮到在傳統HEVC中的33種角度預測模式中，預測角度的分配比較密集，在RMD過程中會將相鄰的幾個角度都加入到full-RD列表中，較難從中準確而又快速地判斷出哪一角度與紋理具有最高的匹配度。因此，為了保證預測的準確性，本文不從具有角度紋理特性的編碼塊入手，而是從平坦的編碼塊入手，因為對于平坦塊，能夠準確而又快速地找到與紋理特性具有最高匹配度的預測模式。除此之外，由于深度圖是由大量的平坦區域和明顯的形狀邊緣組成，選擇對平坦塊處理既能較大程度地減少平坦塊的計算開銷，又能保證形狀邊緣處的圖像質量。同時，由于DMMs模式是3D-HEVC中為了保證形狀邊緣質量而專門加入的一種預測模式，并且SDC編碼也專門為DMMs模式設計了兩段式編碼方式，從而考慮并不跳過對DMMs模式的SDC編碼過程，以此保證形狀邊緣處的圖像質量。

Table 2 Proportion that current CU size is the best splitting size inSRoberts_PU=0表2 當SRoberts_PU為0時當前CU尺寸為最佳劃分尺寸的概率 %

因此，本文從平坦的編碼塊入手，提出了一種快速SDC編碼算法。主要思想是當編碼塊為平坦塊時，只對full-RD列表中的Planar和DMMs模式進行SDC編碼，而跳過full-RD列表中其他候選模式的SDC編碼，從而減少編碼過程的計算復雜度。為了不引進新的計算復雜度，本算法通過3.1中定義的梯度和判斷編碼塊是否為平坦塊的方法，即當梯度和SRoberts_PU小于閾值TRoberts_PU時，認為當前塊為平坦塊。為了檢測此算法的準確性，表3統計了當編碼塊為平坦塊時，所有使用SDC的模式的分布。

Table 3 Proportion of all intra modes with SDC inSRoberts_PU

通過表3可以看出，當編碼塊為平坦塊時，使用SDC的編碼方式中Planar所占的比例平均為96.01%，這說明對于平坦塊而言，采用SDC編碼方式的往往為Planar模式。同時，為了保證形狀邊緣的質量，平均有2.97%的比例選擇DMMs模式作為預測模式。因此當編碼塊為平坦塊時，僅對Planar和DMMs模式進行使用SDC的RDcost計算，而跳過其他模式進行SDC的RDcost計算的準確率能高達98.98%。這一結果從統計的角度證明了算法的可行性。

4 結合紋理類型預判和SDC優化的3D-HEVC幀內快速算法

SOG-SDC算法流程如圖6所示，具體步驟描述如下：

（1）算法開始，對當前每個PU塊計算SRoberts_PU。

（2）DMMs分支中，當SRoberts_PU

（3）將DMMs模式插入到率失真列表中，對其進行RDcost計算。

（4）當SRoberts_PU為0時或者此時PU塊的尺寸為4×4時，終止當前CTU繼續分割，否則轉到（5）。

（5）將當前CU分割為4個子CU，并對每個子CU進行RDcost計算，將子CU當作下一個進行分割的CU。

（6）當SRoberts_PU

（7）使用3D-HEVC原始算法，對當前PU塊中所有模式進行使用SDC和不使用SDC的RDcost計算。

（8）終止算法。

5 實驗結果及分析

為了驗證本文算法的有效性，采用3D-HEVC測試平臺HTM16.0作為測試環境，在本文算法基礎上分別對8個測試的視頻序列進行編碼性能評估。對于每個序列，采用幀數為300的全幀內模式，紋理/深度編碼量化參數（quantization parameter，QP）設為（25,34）、（30,39）、（35,42）、（40,45），測試序列及參數如表4所示。

Table 4 Test sequence表4 測試序列

表5展示了本文算法在HTM16.0平臺中相較于3D-HEVC標準減少的編碼復雜度，以及和文獻Liao[12]、Chen[16]、Zhang[17]在相同編碼平臺下實驗結果的比較。

ΔBDBR與ΔT的定義如下：

Fig.6 Flow chart of SOG-SDC圖6 本文算法（SOG-SDC）的流程圖

Table 5 Experimental result of Liao,Chen,Zhang algorithms and this paper algorithm表5 本文算法與Liao,Chen,Zhang算法的實驗結果 %

其中，BDBRoriginal和Toriginal分別表示原始3D-HEVC編碼器在全幀內模式下的合成視點的平均比特率和平均編碼時間；BDBRproposed和Tproposed表示本文算法下合成視點的平均比特率和平均編碼時間。

從表5中可以看出，本文算法相對于原始編碼器在比特率僅增加0.14%的情況下，減少了26.03%編碼復雜度。對比Liao[12]算法，在增加比特率相近情況下，能減少更多的編碼時間。另外，將Chen[16]算法在HTM16.0平臺下實現，其結果顯示本文算法在編碼復雜度方面也有一定的優勢。然而對比Zhang[17]算法，由于其對合成視點優化的判決過程減少了計算次數，使計算復雜度較本文更低，但是其合成視點的質量較差。

根據實驗數據，發現Poznan_Hall2序列節省的時間達到41.81%，是因為本文算法比較依賴于平坦區域，而Poznan_Hall2的場景大部分是不變的平坦區域。相反，GT_Fly僅減少14.39%的編碼時間，是因為GT_Fly的視頻序列中坐落的村莊很多，對紋理細節描述的要求很高，而場景中平坦區域較少，所以本文算法對其優化效果不明顯。

Fig.7 Comparison of RD curves of this paper algorithm with 3D-HEVC standard圖7 本文算法與3D-HEVC標準的率失真曲線比較

另外，對BD-rate損失較大的Newspaper1和Balloons分別繪制其率失真曲線，將本文算法與3DHEVC原始算法的率失真曲線進行比較，如圖7所示。可以看出，本文算法編碼后的兩個序列和原始的率失真曲線在低比特率時幾乎重疊，在高比特率時，PSNR（peak signal to noise ratio）的差別僅低于0.2 dB。這是因為隨著比特率提升，意味著編碼器處理的區域紋理更復雜，對算法的要求更高，本文算法具有較好的性能。

Fig.8 Comparison of subjective quality maps圖8 主觀質量比較圖

除此之外，考慮到對人眼視覺的影響，針對Newspaper1和Balloons兩個視頻序列在QP為25時，對本文算法與原始算法在主觀質量上進行比較。在主觀質量上，提取本文算法的視頻與原始視頻的相同視點，相同幀的深度與紋理的合成視圖。由圖8可以看出，本文算法重建視頻與原始視頻幾乎沒有質量差別，這說明本文算法能在降低編碼復雜度的同時保證視頻的重建質量。

6 總結

本文提出基于PU梯度和的CU分割和DMMs模式跳過，以及SDC選擇性跳過的3D-HEVC快速深度圖幀內算法（SOG-SDC）。算法中利用梯度和計算區域的復雜度，根據梯度和與設定的閾值的比較，提前終止對CU的分割并跳過對DMMs模式的檢查，以及根據以上梯度和的計算，判斷當前PU塊是否為平坦塊，對DMMs和Planar模式跳過SDC的檢查。通過實驗驗證，本文算法在HTM-16.0上的編碼復雜度相較于3D-HEVC標準平均減少26.03%，合成視點的比特率僅增加0.14%，并且與其他較新的3D-HEVC快速算法相比有一定的性能優勢。

:

[1]Müller K,Schwarz H,Marpe D,et al.3D high-efficiency video coding for multi-view video and depth data[J].IEEE Transactions on Image Processing,2013,22(9):3366-3378.

[2]Chen Ying,Hannuksela M M,Suzuki T,et al.Overview of the MVC+D 3D video coding standard[J].Journal of Visual Communication&Image Representation,2014,25(4):679-688.

[3]Fehn C.Depth-image-based rendering(DIBR),compression,and transmission for a new approach on 3D-TV[J].Proceedings of SPIE-The International Society for Optical Engineering,2004,5291:93-104.

[4]Kauff P,Atzpadin N,Fehn C,et al.Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability[J].Signal Processing Image Communication,2007,22(2):217-234.

[5]Chen Ying,Tech G,Wegner K,et al.JCT3V-J1003 Test model 11 of 3D-HEVC and MV-HEVC joint collaborative team on 3D video coding extensions(JCT-3V)document[S].Geneva,2014.

[6]Sullivan G J,Ohm J,Han W J,et al.Overview of the high efficiency video coding(HEVC)standard[J].IEEE Transactions on Circuits&Systems for Video Technology,2012,22(12):1649-1668.

[7]Park C S.Edge-based intra mode selection for depth-map coding in 3D-HEVC[J].IEEE Transactions on Image Processing,2015,24(1):155-162.

[8]Sanchez G,Saldanha M,Balota G,et al.Complexity reduc-tion for 3D-HEVC depth maps intra-frame prediction using simplified edge detector algorithm[C]//Proceedings of the 2015 IEEE International Conference on Image Processing,Paris,Oct 27-30,2014.Piscataway:IEEE,2014:3209-3213.

[9]Saldanha M,Zatt B,Porto M,et al.Solutions for DMM-1 complexity reduction in 3D-HEVC based on gradient calculation[C]//Proceedings of the 7th Latin American Symposium on Circuits&Systems,Florianopolis,Feb 28-Mar 2,2016.Piscataway:IEEE,2016:211-214.

[10]Min Biao,Cheung R C C.A fast CU size decision algorithm for the HEVC intra encoder[J].IEEE Transactions on Circuits&Systems for Video Technology,2015,25(5):892-896.

[11]Peng Kuankai,Chiang J C,Lie W N.Low complexity depth intra coding combining fast intra mode and fast CU size decision in 3D-HEVC[C]//Proceedings of the 2016 IEEE International Conference on Image Processing,Phoenix,Sep 25-28,2016.Piscataway:IEEE,2016:1126-1130.

[12]Liao Jie,Chen Jing,Zeng Huanqiang,et al.Fast depth intra coding using gray level co-occurrence matrix in 3D-HEVC[J].Journal of Signal Processing,2017,33(3):444-451.

[13]Jager F.Simplified depth map intra coding with an optional depth lookup table[C]//Proceedings of the 2012 International Conference on 3D Imaging,Liege,Dec 3-5,2012.Piscataway:IEEE,2012:1-4.

[14]Liu Hongbin,Chen Ying.Generic segment-wise DC for 3DHEVC depth intra coding[C]//Proceedings of the 2014 IEEE International Conference on Image Processing,Paris,Oct 27-30,2014.Piscataway:IEEE,2014:3219-3222.

[15]Gu Zhouye,Zheng Jianhua,Ling N,et al.Fast segmentwise DC coding for 3D video compression[C]//Proceedings of the 2015 IEEE International Symposium on Circuits and Systems,Lisbon,May 24-27,2015.Piscataway:IEEE,2015:2780-2783.

[16]Chen Jing,Wang Bohan,Zeng Huanqiang,et al.Sum-of-gradient based fast intra coding in 3D-HEVC for depth map sequence(SOG-FDIC)[J].Journal of Visual Communication and Image Representation,2017,48:329-339.

[17]Zhang Hongbin,Fu Changhong,Chan Y L,et al.Probabilitybased depth intra mode skipping strategy and novel VSO metric for DMM decision in 3D-HEVC[J].IEEE Transactions on Circuits&Systems for Video Technology,2018,28(2):513-527.

附中文參考文獻：

[12]廖潔,陳婧,曾煥強,等.采用灰度共生矩陣進行深度預判的3D-HEVC深度圖幀內快速編碼算法[J].信號處理,2017,33(3):444-451.