面向繪制質量的深度圖像快速幀內編碼

斯曉華，王國中，彭建華

(上海大學 通信與信息工程學院，上海 200436)

面向繪制質量的深度圖像快速幀內編碼

斯曉華，王國中，彭建華

(上海大學 通信與信息工程學院，上海 200436)

與彩色視頻用來直接顯示不同，在三維視頻系統中深度視頻序列的作用是在繪制虛擬視點時提供所需的幾何信息，所以直接將現有編碼算法應用于深度圖像存在一定的局限性。針對深度視頻序列的作用以及深度圖像自身特征，提出了一種面向繪制質量的深度圖像快速幀內編碼方法，該方法包括基于深度圖像統計特性和空域相關性的圖像區域劃分算法、HEVC的快速編碼單元(CU)和預測塊(PB)決策算法和幀內編碼模式預先選擇算法。實驗結果表明：與直接利用HEVC測試軟件編碼深度視頻相比，該快速算法在保證幾乎相同的主客觀繪制質量的前提下，每個視點的編碼速度平均提升了35%以上。

高效視頻編碼標準；快速幀內編碼；區域劃分算法；編碼單元決策

隨著多媒體應用高速發展，為了更好地適應高效編碼和網絡友好型編碼的需求，在2010年VCEG (Video Coding Experts Group)和 MPEG (Moving Picture Experts Group)聯合成立了視頻編碼聯合組 (Joint Collaborative Team on Video Coding，JCT-VC)來制定高效視頻編碼標準(High Efficiency Video Coding，HEVC)[1]。HEVC采用了多種新的編碼工具來提高編碼性能[2]，這就導致計算復雜度大幅地上升，于是針對HEVC出現了很多的快速算法，Shen等人[3，4]提出了利用空域相關性快速編碼單元(Coding Unit，CU)和幀內模式決策算法；Jiang和Zhang等人[5，6]提出基于梯度的快速編碼模式決策算法。

由于深度圖像是用來繪制虛擬視點并不需要顯示，這樣針對深度視頻這一特性在原有編碼算法上產生了很多的改進快速算法，Chang等人[7]利用深度圖像特征提出了一種快速模式決定算法；Zhang等人[8]提出了一種深度圖像楔形提前決定算法；在多視點加深度(Multiview Video Plus Depth， MVD)中，文獻[9]利用深度圖像和彩色圖像的相關性提高編碼深度。

綜合考慮深度圖像特性和HEVC編碼框架，本文在HEVC參考代碼[10]上實現了基于繪制質量的深度圖像快速幀內編碼算法，實驗結果表明在保證繪制質量的前提下，該算法明顯降低了編碼時間，提升了編碼效率。

1 深度圖像特性和繪制失真

1.1 深度圖像特征概述

深度圖像表征了場景中的幾何信息，圖1(原圖為彩色圖片)可以看出深度圖像是1幅灰度圖像，其紋理與對應的彩色圖像有很強的相關性且紋理較簡單。深度圖像的深度值表示鏡頭到目標物體之間距離，這樣也就從另一個側面表示場景中的物體之間的遠近關系。由于同一個物體的表面到鏡頭的距離是平滑變化的，所以深度圖像邊緣中間存在大片的平滑變化區域(平坦區域)。

圖1 彩色圖像和對應深度圖像

總結深度圖像特征主要有以下幾點：1)深度圖像的深度值表征了目標之間的遠近關系；2)深度圖像的紋理表示了物體的邊緣，且紋理較為簡單；3)深度圖像紋理的中心是大片的平坦區域。

1.2 深度圖像失真與繪制失真

在3D系統的客戶端通過基于深度圖繪制(Depth-Image-Based-Rendering，DIBR)技術[11]，利用深度圖像繪制虛擬視點，下面研究深度圖像編碼失真與繪制的虛擬視點失真之間的關系。Zhang等人[12]利用DIBR映射原理推導出了在水平陣列相機情況下深度失真與繪制失真可以近似表示為

ΔPr(Δxh,Δyv)=k·ΔDp(xp,yp)

(1)

式中：ΔPr(Δxh,Δyv)表示在P位置水平失真Δxh和垂直失真Δyv產生的繪制失真；k是尺度因子；ΔDp(xp,yp)表示在P位置深度圖像的失真。可以看出深度圖像失真和繪制失真是成線性關系。由于深度失真ΔDp(xp,yp)產生映射旋轉失真，當深度失真一定時，xp和yp可以分別表示為

(2)

(3)

式中：z，Δz分別表示鏡頭到目標之間的距離及其失真；x和y分別表示有失真時對應的虛擬視的位置。可以看出當距離失真Δz一定時，距離越遠繪制失真越小。深度值和距離的對應量化如下

(4)

式中：d為深度圖像的深度值；znear和zfar分別表示鏡頭到目標之間的最近距離和最遠距離。

總之，在水平相機陣列中，深度圖像失真和對應的虛擬視點失真成線性關系，且相同深度值失真的情況下，深度值越大的區域失真越大，也即越近的目標失真越大。

2 本文算法

深度圖像的作用是用來繪制虛擬視點，所以繪制圖像的質量是評價深度圖像編碼性能的重要指標，筆者基于HEVC平臺提出了一種面向繪制質量的深度圖像快速幀內編碼算法，該算法利用深度圖像特征提出了基于統計特性的深度圖像區域預劃分算法，并利用空域相關性對深度圖像進行區域再劃分。筆者在研究了深度圖像編碼失真對繪制視質量的影響之后，結合人眼主觀感興趣區域特性，提出了快速CU決策算法和幀內編碼模式預先選擇算法。

算法實現主要包括3個部分：首先，利用深度圖像的特征采用統計的方法將編碼樹單元(CodingTreeUnit,CTU)所屬圖像區域進行預劃分，劃分出前景、背景和待定區域；然后，利用CU空間相關性將待定區域劃分為平坦和紋理區域，并對不同的區域做CU和PB塊大小做提前決策；最后，根據PB區域屬性對PB幀內模式進行提前選擇。

2.1 深度圖像區域預劃分

由于深度圖像的深度值可以表征目標之間的遠近，本文提出了一種基于統計的深度圖像區域預劃分算法。首先統計得到深度圖像值的最大值和最小值，獲得判決圖像區域的閾值，如圖2所示；然后分別統計每個CTU像素點屬性，對CTU所屬圖像區域進行預劃分，程序流程如圖2所示。

圖2 深度值特征獲取流程

圖2是統計1幀獲得當前幀深度值的最大值Dmax和最小值Dmin，然后通過式(5)、式(6)獲得當前幀的前景和背景劃分的閾值

Tfg=Dmax-(Dmax-Dmin)/4

(5)

Tbg=Dmin+(Dmax-Dmin)/4

(6)

式中：fg和bg分別表示前景和背景像素點個數；Tfg和Tbg分別表示前景劃分閾值和背景劃分閾值。這兩個閾值對輸入的CTU進行區域預劃分，通過圖3的過程統計當前CTU屬于背

圖3 CTU區域預劃分流程

景和前景像素總數，當前景像素總數大于預劃分閾值時，把該CTU劃分為前景區域；當背景像素總數大于預劃分閾值時，把該CTU劃分為背景區域；其他CTU劃分為待定區域，這樣就完成了CTU區域預劃分。預劃分閾值Tpre為

(7)

式中：WCTU和HCTU分別CTU的寬和高，是常量。

2.2HEVC的CU和PB決策算法

HEVC中每個CTU按金字塔分層結構分成一定層數的CU(用CU的深度表征層數)，而每個CU在幀內編碼時又劃分為2N×2N和N×N兩種形式的PB。

從1.1節得出深度圖像有以下特征：深度圖像紋理的中心是大片的平坦區域，表征目標的表面。該文算法預劃分的前景區域就是近景物體的表面，該區域屬于平坦區域，適合HEVC的大塊編碼，結合經驗選擇CU的深度為0，PB的大小選擇2N×2N和N×N兩種；從1.2節得出越遠的目標(背景區域)編碼失真對繪制質量影響越小，由基于人眼視覺特性(HumanVisualSystem，HVS)可知人眼對背景區域的失真不敏感，綜合考慮這兩點筆者對背景區域進行了提前決策：CU的深度選擇1和2，PB的大小選擇2N×2N。

CU和PB決策算法充分利用了深度圖像的特征和HVS，對前景和背景區域的編碼CU和PB塊大小提前進行了提前決策，減少了塊模式選擇運算，有效地減少了編碼器的編碼時間。

2.3 幀內編碼模式預先選擇算法

該部分主要包括兩個部分：根據空域相關性再劃分待定區域的CU屬性以及幀內編碼模式預先選擇。流程圖如圖4所示，首先判斷當前CU是否屬于待定區域(2.1節已經對CTU進行了區域預劃分)，如果不屬于，即當前CU屬于前景區域或者背景區域，則選擇當前PB的編碼模式為0(planar模式，適用于表面平滑濾波)和1(DC模式，適用于平坦區域)；如果屬于待定區域，則根據左上PB的編碼模式來判定當前PB屬性，如果左上PB均為方向模式(幀內模式2～34)則當前PB屬于紋理區域需遍歷所有模式；如果左上PB均為模式1則當前PB屬于平坦區域采用模式1；如果左上PB均為模式0則當前PB屬于目標表面區域采用模式1；其他情況則采用模式0和1。

圖4 幀內編碼模式預先選擇

本部分利用了PB與周圍PB的空域相關性，通過已編碼的PB對當前PB屬性進行預測，對待定區域的CU進一步細劃分，然后利用不同區域的特點對編碼模式進行預先選擇，減少了模式候選項，有效地提升了幀內編碼速度。

3 實驗與分析

在Intel(R) Core(TM) i3-2120 CPU，4 GHz RAM，32位Windows 7操作系統下進行了實驗，算法實現的平臺為HEVC參考模型HM10.0，測試序列為JCT-3V(Joint Collaborative Team on 3D Video Coding)官方標準序列，左視點序列分別為Balloons(視點3)、ChampagneTower(視點39)、Kendo(視點3)、Lovebird1(視點6)、Newspaper(視點4)、Pantomime(視點37)；右視點序列分別為Balloons(視點5)、ChampagneTower(視點41)、Kendo(視點5)、Lovebird1(視點8)、Newspaper(視點6)、Pantomime(視點39)。然后分別利用HEVC和本文算法編碼左右視點并繪制虛擬視點。本文利用時間節省率(Time Saving Rate，TSR)來表征快速算法編碼速度提升

(8)

由于繪制視點質量是表征深度圖像編碼的一個重要指標，本文利用PSNR提升(Increase PSNR，Inc_PSNR)來表征虛擬視點的客觀質量提升，計算如下

(9)

式中：THM10.0，Tprop分別表示HEVC和本文快速算法的編碼時間；PHM10.0，Pprop分別表示HEVC和本文快速算法編碼的深度圖像解碼后的繪制視點的PSNR。

從表1可知本文快速算法可以平均提升35%以上的編碼速度，最終繪制的虛擬視點保持了和HEVC編碼基本一致的客觀質量。

表1 快速算法編碼節省時間率以及虛擬視點PSNR提升

4 結束語

本文對深度圖像的特性以及深度失真對虛擬視點繪制的主客觀質量影響進行了研究，綜合考慮HEVC編碼塊的結構和幀內編碼模式的特征，提出了深度圖像的快速幀內編碼方法。為了更好地適應于全I幀的應用場合并有效地改進HEVC編碼計算的復雜度，本文采用了3個算法的有效組合，大量的實驗結果顯示：本文的算法不僅能夠有效地降低深度圖像編碼復雜度，而且能夠保證繪制的虛擬視點的主客觀質量。

[1]BROSS B，HAN W J，SULLIVAN G J，et al.High efficiency video coding (HEVC) text specification draft 10，document JCTVC-L1003[S].2013.

[2]HAN G J，OHM J R，HAN W J，et al.Overview of the high efficiency video coding(HEVC) standard[J].IEEE Trans.Circuits Syst.Video Technol.，2012，22(12)：1649-1668.

[3]SHEN L，LIU Z，ZHANG X，et al.An effective CU size decision method for HEVC encoders[J].IEEE Trans.Multimedia，2013，15(2)：465-470.

[4]SHEN L，ZHANG Z.An fast CU size decision and mode decision algorithm for HEVC intra coding[J].IEEE Trans.Consumer Electronics，2013，59(1)：207-213.

[5]JIANG W，MA H，CHEN Y.Gradient based fast mode decision algorithm for intra prediction in HEVC[C]//Proc.CECNet 2012.[S.l.]：IEEE Press，2012：1836-1840.

[6]ZHANG Y，LI Z，LI B.Gradient-based fast decision for intra prediction in HEVC[C]//Proc.VCIP 2012.[S.l.]：IEEE Press，2012：1-6.

[7]CHANG Y T，CHUNG W H.Fast intra mode decision for depth map coding[C]//Proc.Consumer Electronics(ISCE 2013).[S.l.]：IEEE Press，2013：93-94.

[8]ZHANG Mengmeng，ZHAO Chuan，XU Jizheng，et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.Circuits and Systems(ISCAS 2013).Beijing，China：IEEE Press，2013：2852-2855.

[9]ZHANG Q.Low complexity multiview video plus depth coding[J]. IEEE Trans.Consumer Electronics，2011，57(4)：1857-1865.

[10]MCCANN K,BROSS B,HAN W J. High efficiency video coding (HEVC) test model 10 (HM10) encoder description[C]//Proc. 12th JCT-VC Meeting,JCTVC-L 1002.Geneva:JCTVC Press,2013:106-109.

[11]CHRISTOPH F.Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[J].Proceedings of SPIE，2004(5291)：93-104.

[12]ZHANG Q，AN P，ZHANG Y，et al.Efficient rendering distortion estimation for depth map compression[C]//Proc.Image Processing (ICIP 2011).Brussels：IEEE Press，2011：1105-1108.

斯曉華(1990— )，碩士生，主研三維視頻編解碼技術、深度視頻編碼技術；

王國中(1962— )，博士生導師，研究方向為視頻編解碼與多媒體通信、數字電視、視頻云計算等；

彭建華(1989— )，碩士生，主研三維深度視頻編碼、圖像處理技術。

責任編輯：時 雯

Fast Depth Map Intra Mode Coding Focus on Quality of View Synthesis

SI Xiaohua，WANG Guozhong，PENG Jianhua

(CommunicationandInformationEngineeringDepartment，ShanghaiUniversity，Shanghai200436，China)

The depth map provides the geometrical information for virtual view rendering in 3D video system and it is not displayed in screen，which is different from the color video.As a result，it is necessary to improve the existing compression algorithm when compress the depth map.Aiming at the function and feature of depth map， a fast depth map intra mode compression method focus on quality of view synthesis is proposed.This fast method include image region segmentation algorithm based on the statistic characteristic of depth map and the spatial correlation，fast CU and PB decision strategy in HEVC and fast intra mode decision algorithm.The experimental results show that the proposed fast method can reduce computation time more than 35% and maintain almost the similar quality of synthesized view.

HEVC；fast intra mode coding；region segmentation algorithm；CU and PB decision

國家自然科學基金項目(61271212)；工信部電子信息產業發展基金項目(1213711)；上海市科委重點項目 (12511502502)

TN919.81

A

10.16280/j.videoe.2015.05.003

2014-06-13

【本文獻信息】斯曉華，王國中，彭建華.面向繪制質量的深度圖像快速幀內編碼[J].電視技術,2015，39(5).