一種深度圖失真引入的虛擬視失真估計方法

李春華, 安 平, 張兆揚

(1.上海大學通信與信息工程學院,上海 200444; 2.河北科技大學信息科學與工程學院,石家莊 050018; 3.上海大學新型顯示技術及應用集成教育部重點實驗室,上海 200072)

一種深度圖失真引入的虛擬視失真估計方法

李春華1,2, 安 平1,3, 張兆揚1,3

(1.上海大學通信與信息工程學院,上海 200444; 2.河北科技大學信息科學與工程學院,石家莊 050018; 3.上海大學新型顯示技術及應用集成教育部重點實驗室,上海 200072)

提出了一種深度圖失真引入的虛擬視失真估計方法.該方法依據能量一致性假設要求,將深度圖宏塊劃分為平坦宏塊和非平坦宏塊.平坦宏塊使用頻域塊級方法,非平坦宏塊使用時域像素級方法估計由深度圖失真造成的繪制視失真.虛擬視失真采用左右繪制視融合計算,并計入虛擬視中空洞修復引入的失真.該方法在宏塊分類判據中綜合了相機參數,對于不同拍攝條件下的視頻序列可以使用相同的判別閾值獲得最佳區域劃分,通用性較強.實驗結果證明,該方法兼顧了估計準確性和復雜度,對于在有限碼率預算條件下提高深度視頻編碼效率、優化三維視頻碼率分配具有重要的指導意義.

三維視頻;自由視點電視;失真估計;虛擬視失真;深度圖失真

三維立體電視(3DTV)在傳統二維視頻的基礎上增加了第三維信息——深度,使觀眾猶如身臨其境,感受到強大的3D視覺震撼力.自由視點電視(freeview TV,FTV)采用自由立體顯示技術,支持視點隨觀看位置自適應變化的功能,由此產生的3D視感更加逼真.FTV作為下一代視頻技術的發展方向,得到了學術界和工業界越來越廣泛的關注[1-2].

FTV應用多視視頻(multiview video,MVV)實現自由視點功能.它支持的視點數目越多,視點間的切換就越平滑,視覺舒適度就越好.但隨著視點數目的增加,多視視頻數據量急劇上升,對現有的傳輸和存儲設施構成了巨大壓力.MVV通常采用“多視+深度(multiview video plus depth,MVD)”格式表示,以減小傳輸和存儲數據量.這樣只需傳輸或存儲2～3個用作參考視的彩色視頻及其對應的深度視頻,在接收端使用基于深度的圖像繪制技術(depth image based rendering,DIBR)[3]就可合成出其他所需要的虛擬視視頻.盡管這樣,MVD的數據量依然十分可觀,還需要使用有損壓縮技術進一步減少數據量.目前,國際標準化組織ISO-MPEG和ITU-VCEG正在協作開展基于MVD的3DV編碼標準化研究工作,并推出了基于H.264 AVC 3D擴展的ATM參考軟件和基于HEVC3D[4]擴展的HTM[5]參考軟件.

在MVD壓縮過程中,彩色視頻和深度視頻中的失真共同作用會導致虛擬視失真的產生.研究表明,彩色視頻壓縮與深度視頻壓縮引起的虛擬視失真之間的相關性很弱,可以獨立分析處理[6].彩色視頻產生虛擬視失真的機理與2D彩色視頻失真相同,已經非常明確,而深度視頻失真對虛擬視質量下降的影響尚不清楚.因此,為了減輕觀看3DV的不舒適,提高3DV視覺體驗質量(quality of experience,QoE),準確估計深度失真對繪制失真的影響已成為實現3DV高效編碼、合理進行碼率分配的關鍵.

不同于彩色視頻的用途,深度視頻只用于合成虛擬視視頻,自身并不需要顯示出來.深度失真不為人眼視見,只是間接引起合成視失真.因此,提高解碼深度視頻合成的虛擬視質量,比單純改善深度視頻重建質量更有意義.文獻[7]提出用深度失真產生的繪制失真替代傳統的率失真準則中的解碼失真,構建了視合成優化(view synthesized optimization,VSO)準則進行編碼模式決策,面向虛擬視質量提高深度視頻編碼效率.文獻[8]通過實驗展示了深度圖失真引起的虛擬視失真隨基線距離的變化.文獻[9]推導出了深度圖失真與虛擬視中視差誤差之間的關系.文獻[6,10]在能量一致性假設要求下,借鑒運動預測失真估計方法[15],分別建立了深度圖失真-虛擬視失真頻域幀級和塊級模型.所謂能量一致性假設就是假定各像素視差及視差誤差相同,在3D變換中,參考圖像整體平移到虛擬視圖像.文獻[11-12]則從時域角度入手,假設彩色圖像與其在虛擬視中的映射圖像相似,提出了時域深度圖失真-繪制視失真估計方法.這些深度失真-虛擬視失真估計模型[6,8-12]都忽略了3D變換中的遮擋和顯露現象,整體估計深度失真引起的虛擬視失真,雖然計算速度快,但是在遮擋區域,尤其是深度圖邊緣區域,遮擋和顯露導致的估計誤差明顯增大,容易造成編碼模式選擇錯誤,使編碼效率和碼率分配性能下降.Oh等[13-14]在像素級上建立了兩個深度圖失真-虛擬視失真模型,其中第2種方法考慮了3D變換中出現的遮擋現象,在3DV編碼和碼率分配中取得了較好的效果.但是,該方法沒有考慮深度圖包含大片平坦區域的特性,需要對所有像素判斷遮擋是否發生,計算負擔過重.

針對深度失真-虛擬視失真估計模型中所存在的估計準確性和計算復雜性這對矛盾,本研究提出了一種由深度圖失真引入虛擬視失真的估計方法,在分析深度圖統計特性的基礎上,依據是否滿足能量一致性假設要求,將深度圖宏塊分為平坦宏塊和非平坦宏塊.平坦宏塊采用頻域塊級估計方法整塊處理,快速準確地估計深度失真引起的虛擬視失真;非平坦宏塊以復雜度換取估計準確性,逐像素點檢測遮擋關系估計虛擬視失真.本方法綜合了頻域塊級估計方法和像素級分析方法的優勢,利用深度圖統計特性,平衡了虛擬視失真估計的準確性和算法實現的復雜度.實驗結果顯示,本方法的估計準確性和算法復雜度都優于文獻[10]方法;估計準確性與文獻[13]方法接近,并且算法復雜度有所降低.

1 深度失真-虛擬視失真機理分析

1.1 深度與視差

圖1給出了深度與視差關系示意圖,其中x為橫向坐標軸,z為縱向坐標軸,表示攝像機與物點P(x,y,z)的距離(圖中未畫出垂直坐標軸y);Cl,Cr分別為左、右攝像機的光學中心,其連線為基線B;f為攝像機的焦距;Ll和Lr分別表示左、右成像平面;Ol和Or分別為左、右視圖像中心;Pl和Pr分別為物點P(x,y,z)在左、右平面的成像點.空間像素點在不同視圖像中投影的像素點位置不同,其差值稱為視差.

圖1 深度與視差Fig.1 Relationship of depth and disparity

在平行攝像機陣列經過校正處理的多視視頻中,消除了垂直視差,只存在均勻分布的水平視差.水平視差可表示[1]為

假定zn和zf分別為攝像場景中最近和最遠的深度值,3D空間深度值z量化后得到的深度圖中的像素值L為

1.2 深度圖失真與視差誤差

圖2給出了深度失真與視差誤差的關系示意圖.在深度無失真的情況下,參考視中的像素點mA在深度z的控制下,先反投影到世界坐標系中的物點P,再投影到虛擬視圖像中的點mB.若幾個像素映射到虛擬視相同的像素位置,則最靠近攝像機的像素會遮擋住其他像素.當深度圖失真為ΔL時,mA反投影到世界坐標系中的物點,致使3D空間的對應物點產生幾何失真δz,重投影到虛擬視中的點,引起視差誤差δd.深度圖失真與視差誤差之間的關系[9]為

可見,深度量化值失真ΔL與其在虛擬視中引入的水平視差誤差δd呈線性關系,比例因子a依賴于攝像機參數和場景深度范圍.相同的深度圖失真在不同拍攝條件下可能會產生不同的繪制失真.例如,寬基線、大焦距、近景拍攝產生的繪制失真較大,而窄基線、小焦距、遠景拍攝產生的繪制失真較小.由此可見,視差誤差不僅與深度圖失真有關,還受到拍攝條件的影響.

圖2 深度失真與視差誤差Fig.2 Virtual view distortion caused by depth distortion

深度圖失真引起的虛擬視圖像失真還依賴于參考視紋理圖像局部特性.如果局部區域紋理復雜,鄰近像素值差異較大,即使是很小的視差誤差,也會導致嚴重的虛擬視失真.如果局部區域紋理簡單或平滑(均勻)、鄰近像素值相同或相似,則對視差誤差具有一定的掩蔽性[11].因此,需要結合紋理圖像的局部特性來估計深度圖失真引發的虛擬視失真.

1.3 深度圖失真引起的虛擬視失真

假定IV為用無失真參考視紋理圖像和失真深度圖合成的虛擬視圖像,為用失真參考視紋理圖像和無失真深度圖合成的虛擬視圖像,為用無失真參考視紋理圖像和無失真深度圖合成的虛擬視圖像,則虛擬視圖像失真[9]為

通過DIBR將參考視的紋理視頻與對應深度圖視頻合成虛擬視視頻,其中包括3D變換和空洞填充兩個步驟.在3D變換過程中,一些在參考視圖像中被遮擋的像素點,在繪制視圖像中顯露出來,形成空洞.為了填補顯露區域中的空洞,虛擬視圖像IV(u,v)通常由左右兩路參考視圖像繪制生成的圖像Il(u,v)和Ir(u,v)融合而成,其融合方式為

式中,

其中Tl,Tr,TV分別為左、右參考視及虛擬視攝像機平移參數.

由于深度圖的不連續性,融合生成的虛擬視圖像中仍存在少量的小空洞像素點.在空洞填充過程中,使用圖像修復技術來填補這些小空洞,同時也會在虛擬視中引入失真.

綜上,虛擬視失真為非顯露區域失真D1和顯露區域失真D0之和,即

式中,

其中Dl和Dr分別為深度失真在左右繪制視中產生的失真.

2 深度圖失真-虛擬視失真估計方法

由于不滿足能量一致性假設要求,頻域塊級方法雖然計算速度快,但是在遮擋區域的估計準確性明顯下降.像素級估計方法充分考慮了深度圖中每個像素點的深度值及其遮擋關系,提高了估計準確性,但是加大了計算負擔.為了綜合利用頻域塊級方法低復雜度和像素級估計方法高準確度的優點,本研究提出了一種深度圖失真-虛擬視失真估計方法,其框架如圖3所示.

為了便于深度圖編碼和3DV碼率分配使用,本方法首先將深度圖劃分為與編碼宏塊大小一致的圖像塊,然后根據是否滿足能量一致性假設要求,將深度圖像塊分為平坦宏塊和非平坦宏塊.平坦宏塊使用頻域方法能既快又準地估計深度失真引起的繪制視失真;非平坦宏塊使用像素級估計方法,以計算復雜度換取估計準確性.繪制視失真為各宏塊失真的總和.在計算左右繪制視失真的基礎上,利用式(9)計算合成的虛擬視失真.綜合修復虛擬視失真殘留小空洞引入的失真,可得到由深度圖失真引起的虛擬視失真.

2.1 深度圖宏塊分類

如圖4所示,深度圖由銳邊緣組成的大片勻質區域組成.勻質區域深度值相似,在3D變換中將參考圖像平移到虛擬視中,能夠很好地滿足能量一致性假設要求.邊緣區域深度值差異明顯,在3D映射中形成遮擋和顯露,與能量一致性假設要求相背離.由此可見,有大量勻質區域的深度圖宏塊適合使用頻域方法估計繪制視失真,而有少量邊緣區域的深度圖宏塊不適合使用頻域方法.因此,需要以是否滿足能量一致性假設要求為條件對深度圖宏塊進行分類,根據各自特點使用不同方法估計深度失真造成的繪制視失真.

圖3 本方法框架Fig.3 Frame of the proposed algorithm

圖4 紋理圖與深度圖Fig.4 Textimage and the depth map

根據前述的深度與視差的關系和深度失真通過視差誤差引起虛擬視失真的機理可以看出,視差除了與深度有關,還與比例因子a有關.a由攝像機參數與場景布局決定.a值較小的序列,其深度閾值相對較大,否則將導致區域過度劃分,增加算法復雜度.相反,a值較大的序列,其深度閾值較小,否則會產生區域欠劃分問題,影響估計準確性.因此,本研究從視差角度提出了辨識是否滿足能量一致性假設要求的判據,綜合考慮了拍攝場景和深度對區域劃分的影響.對于不同的攝像機參數和場景布局,閾值保持不變;而深度閾值與比例因子a成反比,隱含進行了自適應調節,有效避免了過度劃分和欠劃分的問題.

為了滿足能量一致性假設要求,確保虛擬視圖像中不出現遮擋和顯露,圖像塊的視差應該具有一致性.在3D變換過程中,因此,視差值可能會是小數,而虛擬視像素坐標為整數,視差值通常采取四舍五入的方法歸并到整數柵格上.為保證平坦宏塊中大部分像素視差具有一致性,本方法要求其視差方差小于0.5,即

值得注意的是,能量一致性假設還意味著深度圖失真在3D映射中不會引起新的遮擋.由式(3)可知,任意像素點的深度圖失真ΔL(u,v)在繪制視中形成的視差誤差δd(u,v)與攝像機參數和拍攝場景布局密切相關.由于3DV拍攝條件各不相同,相同的深度圖失真在窄基線情形下不會引起遮擋,但在寬基線情形下就可能形成遮擋,因此,平坦宏塊還要求深度圖失真引起的視差誤差滿足如下的一致性條件:

只有同時滿足式(10)和(11)這兩個條件,才能保證應用能量譜方法估計深度圖失真引起的虛擬視失真的估計性能.否則,隨著能量不一致程度的增加,估計誤差將越來越大.

2.2 平坦宏塊的深度圖失真-繪制視失真估計

平坦宏塊滿足能量一致性假設要求,采用圖像能量譜的方法能夠既快又準地估計深度圖失真經視差誤差引入的繪制視失真.假設第k個深度圖宏塊為平坦宏塊,其平均視差誤差為則其引起的虛擬視失真為

式中,ψk為對應紋理圖像宏塊的能量密度參數,計算方法為

其中Sx(ω1,ω2)為對應紋理圖像宏塊的能量譜密度函數.

2.3 非平坦宏塊的深度圖失真-繪制視失真估計

非平坦宏塊在繪制過程中會出現遮擋和顯露問題.為了準確估計深度圖失真引入的虛擬視失真,本方法逐像素判別遮擋關系,估計深度圖失真引起的虛擬視失真[13].左視繪制中間視時,當前像素會被右側像素遮擋,而右視繪制中間視時會被左側像素遮擋.因此,對于左視和右視而言,判別遮擋關系時需要按不同方向進行.本研究以右視為例進行說明,左視與之相似.

圖5 遮擋示意圖Fig.5 Occlusion phenomenon in DIBR

如圖5所示,當前像素點在虛擬視中的繪制像素可能被其左側像素對應的繪制像素遮擋.為敘述方便,將其分別簡稱為當前繪制像素和左側繪制像素.如果某一左側繪制像素的水平位置落到當前繪制像素的右側,則當前像素被遮擋,否則未被遮擋.因為遮擋像素不在繪制視中出現,在估計繪制視失真時不予考慮.

圖6 像素級深度圖失真估計繪制失真的簡化計算Fig.6 Simplied pixel-wise virtual view distortion calculation

2.4 顯露區域虛擬視失真估計

虛擬視中的顯露區域在采用融合方法填補大空洞后,還會殘留一些小的空洞.采用圖像修復技術填補小空洞時將會產生失真D0,其可采用概率統計的方法計算[17]:

式中,I(ui,vi)為空洞像素的真實值,為空洞像素的估計值,其概率分布為因此,虛擬視中顯露區域的失真為

綜上,本方法中深度圖失真引起的虛擬視失真為

3 實驗結果與分析

為了驗證本研究所提出的深度圖失真-虛擬視失真估計方法的有效性,以MPEG 3DV標準測試序列Street,Hall2,Newspaper和Balloons為測試對象,進行了仿真實驗驗證.測試序列的相關參數如表1所示.

表1 測試序列參數Table 1 Parameters of the test sequences

本研究在6個不同的量化參數(quantization parameter,QP),即22,27,32,37,42,47下,用H.264參考軟件壓縮了測試序列的參考視深度視頻,之后再用MPEG組織提供的視合成參考軟件VSRS3.5將無失真的參考視紋理視頻和解壓縮的深度視頻合成虛擬視視頻.考慮到無法保證能夠采集到所有虛擬視的真實視頻,本研究以無失真彩色視頻和深度視頻合成的虛擬視視頻作為原始視頻,將無失真參考視紋理視頻和解壓縮深度視頻合成的虛擬視視頻與其對照,計算均方誤差(mena squared error,MSE),并作為實測值來衡量深度視頻失真對虛擬視視頻失真的影響.估計方法得到的MSE與其越接近,表明估計方法的準確性越高.

在已知的塊級深度圖失真-虛擬視失真估計方法中,文獻[10]提出的方法性能最好.該方法對深度方差小于門限閾值1的區域進行四叉樹迭代劃分,直至最小劃分區域(4×4子塊)為止.在已知的像素級深度圖失真-虛擬視失真估計方法中,文獻[13]提出的考慮遮擋的方法的估計準確性最好(下述的文獻[13]方法均指考慮遮擋的估計方法).本研究將本方法的估計準確性與文獻[10]和文獻[13]方法進行了對比.為了對比方便,本研究設置文獻[10]方法的最大劃分塊為16×16,結果如圖7所示.為了進一步表明算法的有效性,本研究還給出了4個測試序列在各QP下的估計誤差ΔMSE(估計MSE與實測MSE的差值)和平均估計誤差avg(|ΔMSE|)(見表2).

從圖7和表2可以看出,本方法與實測值接近,說明本方法的性能較好.和文獻[10]方法相比,本方法的準確性有了明顯提高;與文獻[13]方法相比,本方法的準確性與其接近.文獻[10]的迭代劃分方法雖然提高了滿足能量一致性假設要求的區域數目,但是仍然存在最小劃分區域深度不一致和遮擋等問題,算法準確度不能令人滿意.本方法對非平坦宏塊使用考慮遮擋的像素級估計方法,克服了文獻[10]方法的缺陷,提高了的估計準確性.文獻[10]方法對所有QP采用相同的區域劃分,而實際上,隨著QP的增加,深度失真會導致不滿足能量一致性假設要求的深度圖宏塊數目逐漸增加,且在QP較大處,估計誤差迅速增加.本方法根據深度圖宏塊分類的第二條判據,將由于深度失真加大而不再滿足能量一致性假設要求的宏塊自適應劃分為非均勻宏塊,在大QP壓縮時,有效降低了估計誤差.因此,本方法的估計誤差明顯小于文獻[10]方法.由于本方法在平坦宏塊中使用的頻域估計方法不如像素級估計方法準確,使其估計準確性略低于文獻[13]方法.

圖7 MSE實驗結果對比Fig.7 Contrast of MSE experimental results

表2 估計誤差對比Table 2 Contrast of estimated virtual view distortion

雖然文獻[13]方法的估計準確性高于本方法,但它需要逐像素搜索其左右繪制鄰近像素,在大量沒有發生遮擋的平坦區域浪費了計算資源,增加了計算復雜度.文獻[10]中使用的頻域估計方法本身的計算復雜度并不高,但是迭代劃分會導致計算復雜度加大.此外,文獻[10]方法只能從深度圖失真角度設定的迭代劃分判決條件,不能根據攝像機參數和拍攝條件自動調節,容易出現過度劃分現象,導致計算復雜度無意義的增加.

表3為本研究提出的估計方法與文獻[10]和文獻[13]方法的運行時間對比,其中A1和A2分別為本方法與文獻[10]和文獻[13]方法相比節約的運行時間.實驗運行環境為雙核CPU,主頻3.2GHz,內存2G.可以看出和文獻[10]方法相比,本方法的計算復雜度明顯降低,4個序列的平均運行時間節約了38.6%.和文獻[13]方法相比,本方法的計算復雜度也有所減小,4個序列的運行時間平均降低了27.4%.可見,本方法在估計準確性和算法復雜度之間取得了較好的平衡.

表3 運行時間對比Table 3 Contrast of runtime

在4個測試序列中,Street與Hall2的拍攝條件完全相同,但是Street序列的紋理更為復雜,因而各種方法的估計誤差都較大.Street,Newspaper,Balloons序列的比例因子a依次減小,各種方法的估計誤差也隨之減小.這是由于小的比例因子a對于深度圖失真有一定的掩蔽效應.當深度圖誤差相同時,比例因子a小的形成的視差誤差也較小.本方法使用相同的視差閾值判別深度圖宏塊類型,較小的比例因子a對應的深度閾值較大.深度閾值大意味著更多在文獻[10]方法中需要迭代劃分的深度圖宏塊在本方法中被劃分為平坦宏塊.隨著平坦宏塊比例的增加,本方法較文獻[10]方法提高了節省的運行時間比例,3個序列依次為41.8%, 46.5%和49.8%,但是準確性的改善量有所下降,分別為2.79,1.02和0.57.

Hall2序列的比例因子a雖然比Newspaper序列大,但是其平坦宏塊所占比例較大(例如當QP為42時,這兩個序列的平坦宏塊比例分別為66%和58%),因此與文獻[13]方法相比, Hall2序列比Newspaper序列多節省了2.8%的運行時間.對于Hall2序列的比例因子a而言,本方法的深度圖類型劃分判據與文獻[10]方法的迭代劃分判據實質上并無多大差別.由于文獻[10]方法對Hall2序列的過度劃分非常有限,且Hall2序列中平坦宏塊所占比例較大,因此本方法較文獻[10]方法節省的運行時間非常有限,僅為8.9%.

Street序列的比例因子a取值雖然和Hall2序列相同,但是在大QP壓縮時,其深度圖中的絕大多數不平坦宏塊產生了遮擋關系改變(例如當QP為42時,93.6%的不平坦宏塊改變了遮擋關系),而像素級估計方法無法準確估計遮擋關系改變所引起的虛擬視失真,因此限制了估計準確性的提高.與文獻[10]方法相比,Street序列的平均估計誤差降低了2.79,不如Hall2序列效果明顯.

4 結束語

本研究提出了一種有效的深度失真引起虛擬視失真的估計方法.首先,將深度圖劃分為與編碼單元尺寸相同的宏塊,依據視差及視差誤差一致性條件判別宏塊是否滿足能量一致性假設要求,并將其分為平坦宏塊和非平坦宏塊.然后,平坦宏塊用頻域分析方法整體估計深度圖宏塊失真引入的虛擬視失真,非平坦宏塊采用像素級分析方法,判斷遮擋關系,逐像素估算深度圖失真在繪制視中引入的失真.最后,與顯露區域的虛擬視失真綜合,得到虛擬視圖像總體失真估計值.本方法兼顧了估計準確性和計算復雜度,綜合性能較好,且深度宏塊的分類判據綜合考慮了多視視頻拍攝條件,可以用統一的閾值對各種攝像機設置參數和場景布局的視頻序列進行深度圖宏塊的準確分類,應用非常方便.

[1]張兆揚,安平,張之江,等.二維和三維視頻處理及立體顯示技術[M].北京:科學出版社,2010: 1-100.

[2]MPEG.Applications and requirements on 3D video coding[C]//ISO/IEC JTC1/SC29/WG11. 2009:13-29.

[3]FEHN C.Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV[C]//Proceedings of SPIE Stereoscopic Displays and Virtual Reality SystemsⅪ.2004:93-104.

[4]RUSANOVSKYY D,ZHANG L,CHEN F C,et al.3D-AVC test model 8[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-F1003.2013:1-62.

[5]ZHANG L,TECH G,WEGNER K,et al.Test model 7 of 3D-HEVC and MV-HEVC[C]//Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT3V-G1005.2014:3-40.

[6]LIU Y W,HUANG Q M,MA S W,et al.Joint video/depth rate allocation for 3D video coding based on view synthesis distortion model[J].Signal Proc Image Comm,2009,24(8):666-681.

[7]TECH G,SCHWERZ H,MULLER K,et al.3D video coding using the synthesized view distortion change[C]//PCS.2012:25-28.

[8]MERKLE P,MORVAN Y,SMOLIC A,et al.The e ff ects of multiview depth video compression on multiview rendering[J].Singal Proc Image Comm,2009,24(1/2):73-88.

[9]LAI P,ORTEGA A,DORE A,et al.Improving view rendering quality and coding efficiency by suppressing compression artifacts in depth-image coding[C]//Proc of Visual Communic and Image.2009:894-897.

[10]WANG Q F,JI X Y,DAI Q H,et al.Free viewpoint video coding with rate-distortion analysis[J].IEEE Transactions on Circuits and Systems for Video Technology,2012,22(6): 875-889.

[11]KIM W S,ORTEGA A,LAI P,et al.Depth map distortion analysis for view rendering and depth coding[C]//ICIP.2009:721-724.

[12]KIM W S,ORTEGA A,LAI P,et al.Depth map coding with distortion estimation of rendered view[C]//Proc of SPIE Visual Information Processing and Communication.2010:3534-3545.

[13]OH B T,LEE J,PARK D.Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing,2011,5(7):1344-1352.

[14]OH B T,LEE J,DUSIK P.Fast joint bit-allocation between texture and depth maps for 3D video coding[C].ICCE.2013:193-194.

本文彩色版可登陸本刊網站查詢:http://www.journal.shu.edu.cn

Estimation of view synthesis distortion caused by depth map distortion

LI Chun-hua1,2,AN Ping1,3,ZHANG Zhao-yang1,3
(1.School of Communication and Information Engineering,Shanghai University, Shanghai 200444,China; 2.College of Information Science and Engineering,Hebei University of Science and Technology, Shijiazhuang 050018,China; 3.Key Laboratory of Advanced Display and System Applications,Shanghai University, Shanghai 200072,China)

A method for estimating the virtual view image distortion caused by the depth map coding distortion is proposed.The depth map is divided into macro blocks according to the coding unit.These macroblocks are then classi fi ed into uniform macroblocks and nonuniform macroblocks according to the energy density consistency constraint.The rendered view distortion in the uniform macroblocks is estimated by a block-level frequency domain method,while that in the non-uniform macroblocks by a pixel-level time domain method. Finally,the virtual view distortion is combined with both rendered view distortions.The distortion introduced by inpainting is also computed.With a shooting parameter,it can correctly classify the macroblocks of depth map sequences acquired from di ff erent shootingconditions.Simulation results show that the proposed method can accurately estimate virtual view distortion caused by depth map distortion.It achieves e ff ective balance between accuracy and algorithm complexity,which is important to guide 3D video(3DV)coding and rate allocation under the limited bit rate budget.

3D video(3DV);freeview TV(FTV);distortion estimation;virtual view image distortion;depth map distortion

TN 941.1

A

1007-2861(2015)04-0402-12

10.3969/j.issn.1007-2861.2014.03.016

2014-02-19

國家自然科學基金資助項目(61172096)

安 平(1968—),女,教授,博士生導師,博士,研究方向為3D視頻處理.E-mail:anping@shu.edu.cn