基于紋理平滑度的視點合成失真優化快速算法

竇環，賈克斌，陳銳霖，蕭允治，吳強

?

基于紋理平滑度的視點合成失真優化快速算法

竇環1，賈克斌1，陳銳霖2，蕭允治2，吳強1

（1. 北京工業大學電子信息與控制工程學院，北京 100124；2. 香港理工大學電子資訊工程系，香港九龍 999077）

針對3D-HEVC中深度圖編碼采用的視點合成失真優化方法的高復雜度問題，提出一種基于紋理平滑度的快速算法。首先結合幀內DC預測特性和統計學方法分析平坦紋理圖中像素規律并設定基于紋理圖平坦度的跳過準則；然后在深度圖編碼采用視點合成失真優化方法時提前分離出紋理圖平坦區域所對應的深度圖區域，并終止該區域像素基于虛擬視點合成的視點合成失真計算過程。實驗結果證明該算法的有效性，能在保持編碼質量的同時減少大量編碼時間。

3D-HEVC；深度圖編碼；視點合成失真優化；紋理圖平坦度

1 引言

3D視頻由多臺相鄰攝像機從不同角度對同一場景拍攝得到，不同角度的視頻間具有細微的視角差異，并通過3D顯示技術將這些視角不同的視頻分別投射給觀看者雙眼，從而呈現立體感[1]。相比普通的2D視頻，3D視頻能為觀眾提供更為身臨其境的深度視覺感受。隨著近年來多媒體技術的進步，3D視頻的分辨率逐漸提高，而僅能提供2個視點的雙目立體顯示器已逐漸不再滿足用戶需求，能夠提供更多視點數量的多視點顯示器已成為目前多媒體信息產業的研究焦點。然而，視點數的增加會帶來數據量的成倍增多，為了降低因視點數增多帶來的高數據碼率，需要采用更為有效的3D視頻編碼方案。

目前，最新的2D視頻編碼標準——高效率視頻編碼(HEVC, high efficiency video coding)于2013年被國際電信聯盟ITU-T正式批準，該標準又被稱為Recommendation H.265或ISO/IEC 23008-2 (MPEG-H Part 2)。鑒于其編碼2D視頻的優異性能，運動圖像專家組MPEG和3D視頻編碼聯合組JCT-3V開始著手3D視頻編碼的標準化工作，該標準被稱為3D-HEVC[1~3]。

3D-HEVC標準支持多視點視頻加深度(MVD, multi-view video plus depth)視頻格式的編碼。MVD視頻格式包括2個或3個紋理圖視頻和各自對應的深度圖序列[4]，解碼端通過利用深度圖像繪制(DIBR, depth image based rendering)技術可以在原始的視點間合成新的多個虛擬視點[5]。由于深度圖序列相比紋理圖序列更為平滑，對深度圖進行編碼可以節省更多碼流并降低編碼復雜度。深度圖序列在3D-HEVC中用以合成虛擬視點，因此由編碼深度圖造成的失真會直接導致虛擬視點的失真[6]，如果仍然使用常規的視頻編碼器來編碼深度圖視頻則不能獲得最佳的編碼效果。由于深度圖視頻不會直接提供給用戶觀看，因此在深度圖編碼模式決策過程中采用的率失真優化方法需要考慮到合成的虛擬視點失真，這種技術又被稱為視點合成失真優化(VSO, view synthesis optimization)。

目前，國內外眾多學者都提出了有關計算合成視點失真值的方法[7~16]。這些方法根據其是否基于虛擬視點合成過程分成2類。第一類是基于虛擬視點合成過程的方法[7~11]，需要在3D視頻編碼端調用基于DIBR的虛擬視點合成過程，并根據其合成的結果計算合成視點失真值，其中最著名的方法是計算合成視點失真值變化(SVDC, synthesized view distortion change)[7]，該方法已被3D-HEVC視頻編碼測試模型HTM采用[17]，被用于模式選擇、CU劃分以及運動矢量繼承和合并中。由于引入了虛擬視點合成過程，計算SVDC可以獲得準確的虛擬視點失真值，但也由于其基于全像素遍歷的虛擬視點合成過程而帶來巨大的計算復雜度。有學者提出方法對SVDC過程進行低復雜度優化，文獻[8]提出一種快速跳過(ES, early skip)模式，通過判斷編碼后深度值是否發生變化來跳過深度圖中不必要的虛擬視點合成過程，該方法能夠節省大量編碼時間并同時保證編碼質量，已被HTM采用[17]；文獻[9~11]分析了已失真深度圖中像素不造成合成視點失真的條件，通過判定像素是否滿足該條件來跳過不必要的編碼過程。第二類是通過設定模型來計算虛擬視點失真情況的方法，不需要調用虛擬視點合成過程[12~16]，其中最有名且被HTM采用的方法是視點合成失真(VSD, view synthesis distortion)計算方法[12, 13]，通過分析深度圖質量和合成質量間關系定義合成視點的失真值。這類方法由于不在編碼端引入虛擬視點合成過程，能夠大幅度降低編碼時間，但是不能保證其計算得到的值能正確估計實際的合成視點失真。在HTM中，為了不增加計算復雜度，VSD僅被用在幀內模式預選擇和殘差四叉樹劃分中[17]。

本文基于上述第一類中的SVDC方法，提出一種快速算法來加速其計算過程。首先，根據視點合成過程中深度圖像素與紋理圖及合成視點的紋理圖像素間關系，利用位于平坦紋理區域的失真深度值不會造成合成視點失真的原理，通過結合幀內DC預測的特性和統計學方法分析平坦紋理圖中像素規律并設定基于紋理圖平坦度的像素跳過準則，然后利用該準則判定是否可以跳過深度圖失真像素的虛擬視點合成過程，降低編碼復雜度。

2 基于SVDC的VSO概述

常規的視頻編碼器采用基于拉格朗日的率失真優化 (RDO) 準則為模式選擇和運動估計過程選取最優的模式類別和運動矢量。每個候選模式和候選運動矢量都需要計算率失真代價，然后選取率失真代價最小的作為最終的模式和運動矢量。率失真代價的計算如式(1)所示。

其中，是率失真代價，是失真，是拉格朗日乘子，是編碼所需比特數。失真值通常由計算差值平方和(SSD, sum of squared differences)或絕對誤差和(SAD, sum of absolute differences)得到。

由于對深度圖進行有損編碼后，已編碼深度圖的失真將會直接導致合成視點的失真，因此，式(1)中的失真值需要同時考慮虛擬視點的失真。所以在3D-HEVC深度圖編碼方案中，失真值的計算如式(2)所示。

其中，表示通過VSO過程得到的失真；1和2表示2個權值；depth表示深度圖自身的失真，通常由計算SSD或SAD獲得；synth表示合成視點的失真，在3D-HEVC標準中由計算SVDC或VSD獲得。

2.1 SVDC定義

SVDC表征了深度圖失真與合成視點失真之間的關系，并引入虛擬視點合成技術來提高深度圖編碼的率失真優化性能。SVDC定義了由于深度值變化造成的合成視點中的總體失真值變化情況，具體來說SVDC定義了2個合成的虛擬紋理圖和之間的失真值之差，如式(3)和圖1所示。

圖1 SVDC定義

2.2 SVDC的計算

根據上節可知，計算SVDC需要引入虛擬視點合成過程，但如果直接將虛擬視點合成過程放在編碼端運行，會帶來巨大的編碼復雜度。為了避免由虛擬視點合成過程導致的編碼端計算復雜度提高，HTM引入一種方法使加入虛擬視點合成技術的SVDC計算過程可以簡化，該方法稱之為繪制器模型。繪制器模型有3個主要步驟，分別是初始化、局部重繪制和SVDC計算。

初始化過程在深度圖編碼前進行，原始的深度圖和原始的紋理圖在該階段合成完整的虛擬視點紋理圖；一旦深度圖中某一塊編碼完畢且其最終編碼的深度值已獲取，局部重繪制過程開始工作以更新繪制器模型，繪制器模型將深度圖中已編碼塊的原始數據更改為編碼后數據得到新的深度圖，并且以行為單位重新繪制因深度數據改變而影響的局部位置，得到虛擬視點；在模式選擇過程中，將深度圖中當前編碼塊的像素值更新為根據當前模式進行編碼后得到的值來獲得深度圖，并根據繪制出虛擬視點，然后按照式(3)計算SVDC。

3 基于紋理圖平滑度的VSO快速算法

原始的SVDC計算過程需要對編碼塊中的每一個像素進行變換、內插、融合等操作來繪制虛擬視點，然后再利用式(3)計算SVDC，這種全像素遍歷的繪制過程會使需要進行繪制的像素數目隨著3D視頻分辨率的提高而增多，提高了編碼復雜度。

實際上SVDC的計算過程并不需要對每個像素都進行虛擬視點繪制，如文獻[8]所述的ES模式通過判斷其深度數據是否失真來跳過一部分像素的SVDC計算過程以節省編碼時間。除此之外，仍有雖然深度數據發生變化，但虛擬視點不產生失真的其他像素區域可以跳過。為了判定出這類像素區域來進一步提高編碼效率，本文提出一種基于紋理圖平滑度的VSO快速算法，通過結合由幀內DC預測和統計學方法獲得的紋理圖平滑區域，跳過不產生虛擬視點失真的對應深度圖像素區域的SVDC計算過程。

3.1 算法描述

在虛擬視點合成過程中，當前紋理圖中的像素利用其對應深度圖中的深度值計算得到視差矢量，然后利用該視差矢量對當前紋理圖中像素進行搬移以找到其在合成視點中的像素位置，當紋理圖中所有像素搬移完后，虛擬視點合成完畢。對深度圖進行有損編碼，會導致深度圖中像素值的失真，而深度圖像素值失真會直接導致由其計算得到的視差矢量失真，進而導致對紋理圖中像素進行搬移后在合成視點中的像素位置發生變化，使虛擬視點產生失真。但是，并非所有失真的深度圖像素會導致虛擬視點失真，如果找到這類深度圖像素并跳過其SVDC的計算過程，則能節省VSO的編碼時間，并且保證合成視點的質量不發生變化。因此，如何找到這類深度圖像素是本文提出算法的核心問題。

為了找到這類深度圖像素，需要對紋理圖像素的搬移過程進行分析，如圖2所示，其中點和點表示在原視點中的2個像素位置，實線箭頭表示由原始的未失真深度值計算得到的視差矢量，虛線箭頭表示由編碼后的失真深度值計算得到的視差矢量，點和點表示點和點在合成視點中正確的像素位置，點和點表示點和點在合成視點中失真的像素位置。從圖2中可以看出在原視點中像素處于一個紋理平坦的背景區域，即使其深度值發生失真，其在合成視點中的失真位置仍然與正確位置具有相似的紋理信息；而原視點中像素處于一個紋理并不平坦的區域，如果其深度值發生失真，那么得到的合成視點失真像素位置與的紋理信息會有較大差異，必然造成合成視點失真。由此可見，如果對應的紋理圖中像素處于一個相對平坦的區域，即使深度值發生失真，也不會造成合成視點中的失真，因此跳過這類深度圖像素的SVDC過程不會造成合成視點質量的下降。一般來說，紋理平坦的像素區域通常處于視頻中的背景區域或運動緩慢的區域，在視頻內容中所占比例相對較大，因此如果跳過這些像素區域的SVDC計算過程，可以節省較多的編碼時間。

基于此，本文提出一種快速算法，結合視點合成過程中深度圖像素與紋理圖及合成視點的紋理圖像素間關系，利用位于平坦紋理區域的失真深度值不會造成合成視點失真的原理，在編碼器使用ES模式之后，利用基于幀內DC預測特性和統計學方法的紋理圖平坦度跳過符合上述條件的深度圖像素區域，來進一步加速VSO的處理過程。首先對當前深度圖編碼塊采用ES模式進行加速，若塊中的某一行像素不滿足ES模式的跳過條件，則判斷其是否符合本文提出的基于紋理圖平坦度的像素跳過準則規定的跳過條件，若符合則跳過該像素行中所有像素的SVDC計算過程，減少VSO的編碼時間。本文提出算法的流程如圖3所示，基于幀內DC預測特性和統計學方法的紋理圖平坦度跳過準則的原理及設置過程如下節所述。

3.2 基于紋理圖平滑度的閾值設計

本文提出算法能夠減少VSO編碼時間的前提條件，是需要找到位于對應的平坦紋理區域的深度圖像素，因此本文提出算法的關鍵在于根據紋理圖已編碼信息分析紋理圖的平坦度，然后根據平坦度分析結果設定深度圖中像素的VSO跳過準則，即圖3中虛線框中內容。

3.2.1 紋理平坦像素值規律設定

一般來說，圖像的亮度值Y和色度值UV可以用來測量和判定紋理的平滑度。如果一個區域平滑，則該區域內部的所有像素的亮度值和色度值應當具有規律性。在本文中使用的判定某一行像素區域為紋理平坦區域的像素值規律如式(4)所示。

其中，表示像素的亮度值，和表示相鄰像素序號，表示當前像素行長度，表示反映紋理平坦規律的閾值。因此，本文通過判斷相鄰2個像素亮度值之差是否小于等于設定的跳過閾值來判定紋理是否平坦。

3.2.2 紋理平坦判定條件

HEVC采用多方向的幀內預測技術來消除圖像的空間相關性，因此，幀內預測能夠準確地表征視頻圖像的紋理規律。在HEVC中，幀內DC預測與H.264/AVC中的類似，使用當前編碼單元(CU, coding unit)左邊和上邊2個方向上參考像素的均值來對當前CU內部所有像素進行預測，因此幀內DC預測模式非常適用于圖像的平坦區域編碼。因此如果某一CU采用幀內DC模式作為其最優編碼模式，則可以認為該CU紋理平坦。基于此，本文在紋理圖編碼完成后，記錄使用幀內DC模式作為最優編碼模式的CU尺寸以及該CU內部所有像素亮度值，然后計算該CU的像素亮度均值和亮度平均差值，如式(5)和式(6)所示。

(6)

基于式(5)和式(6)，本文選擇紋理分布和運動幅度較為適中的Balloons序列作為訓練序列，訓練幀數為60幀，對于該序列中所有選擇幀內DC模式作為最優模式的CU計算值，然后統計出現次數最多的值和所有計算出的平均值，如表1所示。從統計結果可以看出，出現次數最多的值（1）和平均值（2）在3個視點和4個情況下的平均值分別為2.75和3.42。因此，在本文提出的基于紋理平坦度的跳過準則中，跳過閾值基于表1的2個統計值結果，選取這2個的平均值進行下取整作為最終的全局跳過閾值，如式(7)所示。

表1 AvgDiff值統計

為了證明本文提出的基于紋理平坦度的跳過閾值的準確度，本文對所有測試序列中采用幀內DC模式進行編碼的各個尺寸CU進行統計，并對本文提出的閾值與符合條件CU的像素亮度均差進行比較并計算命中率，結果如表2所示。

表2 命中率統計

從表2可以看出，命中率的差距主要體現在同一序列內部不同視點間的命中率差距以及不同序列間的命中率差距。1) 同一序列內部不同視點間的命中率差距大，是因為本文統計幀內DC模式編碼塊的像素亮度均差來設置閾值。然而幀內DC模式在模式選擇過程中所占比例并不大，所以如果在某些視點方向上選擇幀內DC模式的CU數量較少并且恰好這些CU的像素亮度均差不等于本文設置的跳過閾值，所以造成同一序列內部某些視點的命中率較低。然而不同視點描述的是同一場景信息，如果某一視點方向命中率低，其余視點方向的命中率高，仍然可以表明選定的閾值有效。2) 不同序列間的命中率差距大，其原因是每個序列的紋理特性不同，所以每個序列幀內DC塊的像素亮度均差結果不同。因此某些序列如Kendo序列其命中率不高。但是如果只選擇最小的均差作為最終閾值，在編碼平坦區域較多且幀內DC塊亮度均差較大的序列時會造成跳過率不高、編碼時間的節省量小，編碼質量卻并不能高于閾值稍高時的結果。因此在個別序列命中率并不高的情況下，閾值的選擇需要具有普適性，本文選取的閾值對個別序列的命中率稍低，但對于其余多數序列命中率高，仍然表明選定的閾值有效。

因此，采用本文提出的基于紋理平坦度的跳過閾值，可以獲得較好的命中率結果，同時該統計并非限定于某特定尺寸的CU，因此可以認為本文提出的跳過閾值對各尺寸的CU較準確地判定紋理平滑情況。

為了證明本文提出的基于紋理平坦度的跳過閾值的加速效果，本文對所有深度圖編碼塊內部未采用ES模式跳過的像素行，使用上述的跳過閾值判定出紋理平滑的像素行，并對其所占百分比進行了統計，統計結果如表3所示。從表3可以看出，利用本文提出的基于紋理圖平坦度的像素跳過準則，可以判定出一半左右的紋理平坦像素行。

表3 紋理平坦像素行百分比統計

4 實驗結果

為驗證本文算法效率，將3D-HEVC參考模型HTM9.2[18]作為測試平臺。由于HTM中的ES算法與本文提出算法協同工作，且文獻[9]提出算法是改進的ES算法，因此依照文獻[19]公布的3DV國際通用測試標準對HTM中無ES模式的原編碼算法 (ori)、文獻[9]方法、ES模式快速算法和本文提出的快速算法 (prop) 進行測試和比較。測試序列為Balloons (1024×768)、Kendo (1024×768)、Newspaper (1024×768)、GTFly (1920×1088)、PoznanStreet (1920×1088)和UndoDancer (1920×1088)。每個測試序列均編碼3個視點和對應的3個深度圖序列[19]，GOP長度設置為8，幀內周期設置為24，虛擬視點步長設置為0.25，紋理圖量化參數設置為25、30、35、40，深度圖量化參數設置為34、39、42、45，測試序列Balloons、Kendo、Newspaper的測試幀數為300幀、幀率為30，測試序列GTFly、PoznanStreet、UndoDancer的測試幀數為250幀、幀率為25。所有實驗在配置為Intel(R) Xeon(R) E31230 3.2 GHz CPU，8 GB RAM的PC上獨立執行。

表4 不同算法的深度圖編碼時間比較結果

4.1 算法復雜度分析

為評價提出算法的計算效率，本文統計了提出算法的像素行跳過率，并統計了分別采用無ES模式的HTM原編碼算法 (ori)、文獻[9]方法、ES模式快速算法 (ES) 和提出的快速算法 (prop) 對各測試序列進行編碼后的深度圖編碼時間。其中，ori算法采用原始的逐像素虛擬視點合成過程生成虛擬視點以計算SVDC值的方法；文獻[9]方法采用ES模式以及判斷當前像素左右相鄰像素梯度值是否相同來跳過SVDC計算過程；ES模式算法通過跳過編碼后深度值與編碼前深度值相同的像素行來加速SVDC計算過程；本文提出算法在ES模式基礎上，利用紋理平坦度設定閾值跳過平坦紋理的像素行來加速SVDC計算過程。各算法的深度圖編碼時間及時間比較結果如表4所示，各算法的像素行跳過率如表5所示。從表4給出的深度圖編碼時間比較結果可以看出，對于所有測試序列，本文提出方法的編碼時間平均占HTM原編碼時間的57.54%，占文獻[9]提出方法和ES模式算法編碼時間的67.97%和85.72%。文獻[9]提出的算法由于其判別條件嚴苛，符合跳過條件的像素行相比本文提出算法少，而又由于其判別條件中的閾值計算過程需要大量迭代過程導致編碼時間增加，因此本文提出的方法能夠比文獻[9]提出的算法獲得更好的編碼效率，編碼復雜度更低。本文提出算法是在ES模式的基礎上，針對非ES模式跳過行進行進一步的跳過優化，因此相比ES模式算法能夠降低更多的編碼復雜度。從表5可以看出，使用本文提出算法對6個測試序列進行編碼，其像素行跳過率的平均值為78.59%，而對于某些紋理平坦的序列如GTFly序列和Kendo序列，由于其平坦的紋理區域相比其余序列更多，使用本文提出的算法能夠檢測到更多的平坦區域，因此其平均像素行跳過率能超過80%。對所有測試序列來說，像素行跳過率隨著值的升高而增加，這是因為編碼器在計算SVDC時，虛擬視點合成過程使用的是重建紋理圖，而隨著值的升高編碼后的重建紋理圖會存在更多平滑的紋理區域，因此在高值情況下使用本文提出算法的像素行跳過率比低值情況下的高。ES模式快速算法的平均像素行跳過率為52.69%，文獻[9]的平均像素行跳過率僅比ES模式提高了不到1.2%，本文提出算法相比ES模式能提高26%的平均像素行跳過率。GTFly序列和Kendo序列相比其他序列所用的深度圖編碼時間更少，該結果也與表5所示的像素行跳過率結果相對應。

表5 各算法的像素行跳過率

4.2 率失真性能分析

為驗證提出算法的率失真性能，本文利用Bjontegaard方法[20]來比較不同算法間的絕對比特率變化量。表6給出了不同算法與HTM中的原編碼算法的比較結果，其中“Base”、“Syn”和“All”分別表示原視點、合成視點以及兩者平均的絕對比特率變化百分比。

表6 Bjontegaard方法得到的率失真性能比較結果(BDBR)

從表6可以看出，與HTM的原始算法相比，本文提出算法的率失真性能雖然略低于文獻[9]提出的算法，但實際上合成視點的比特率僅上升0.6%，原視點和合成視點的平均比特率僅上升0.4%，基本與原編碼算法保持了相同的編碼性能。文獻[9]提出的跳過算法判別條件非常嚴格，能夠保證低誤差，因此率失真性能幾乎與原算法一致，但也如4.1節所述的由于其跳過的像素行較少且閾值計算過程復雜導致其深度圖編碼時間相比本文提出算法略高。本文提出的算法利用幀內DC預測能檢測平坦紋理的特性，跳過更多紋理平滑的像素區域，因此能夠在加速編碼時間的同時保證編碼性能。所提算法針對GTFly序列能獲得最好的率失真性能，這是因為GTFly相比其他序列含有更多平坦的背景區域，因此利用本文提出的算法可以最大程度的發揮基于紋理平坦度閾值的優勢。Newspaper序列和UndoDancer序列由于紋理特性更為復雜，使其率失真性能略低于其他序列。

5 結束語

本文旨在結合紋理圖的平坦特性加速深度圖編碼中的視點合成失真優化過程，在保證視頻編碼質量的同時降低深度圖編碼復雜度。針對深度圖編碼中費時的視點合成失真優化部分，通過利用幀內DC預測的編碼塊紋理特性和統計學方法分析像素紋理平坦規律并設定基于紋理平坦度的跳過準則，然后分離出符合該跳過準則的深度圖像素區域并跳過該區域的視點合成失真優化過程。實驗結果表明提出的基于紋理平坦度的快速算法能夠在保證3D視頻及合成視點編碼質量的條件下，降低深度圖編碼時間。

[1] MULLER K, SCHWARZ H, MARPE D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3366-3378.

[2] ISO/IEC JTC 1/SC 29/WG 11 (MPEG). High efficiency video Coding[S]. ITU-T Rec H.265 and ISO/IEC 23008-2 (HEVC), ITU-T and ISO/IEC, 2013.

[3] SULLIVAN G J, OHM J, HAN W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1649-1668.

[4] CHEN Y, VETRO A. Next-generation 3D formats with depth map support[J]. MultiMedia IEEE, 2014, 21(2): 90-94.

[5] SMOLIC A, MULLER K, DIX K, et al. Intermediate view interpolation based on multiview video plus depth for advanced 3D video systems[C]//IEEE International Conference on Image Processing. San Diego, CA, c2008: 2448-2451.

[6] MERKLE P, MORVAN Y, SMOLIC A, et al. The effect of depth compression on multiview rendering quality[C]//3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video. Istanbul, c2008: 245-248.

[7] TECH G, SCHWARZ H, MULLER K, et al. 3D video coding using the synthesized view distortion change[C]//Picture Coding Symposium (PCS). Krakow, c2012: 25-28.

[8] OH B, LEE J, PARK D, et al. 3D-CE8. h results on view synthesis optimization by Samsung, HHI and LG-PKU[R]. ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 1st Meeting, JCT3V-A0093, Stockholm, Sweden, 2012.

[9] MA S, WANG S, GAO W. Low complexity adaptive view synthesis optimization in HEVC based 3D video coding[J]. IEEE Transactions on Multimedia, 2014, 16(1): 266-271.

[10] MA S, WANG S, GAO W. Zero-synthesis view difference aware view synthesis optimization for HEVC based 3D video compression[J]. Visual Communications & Image Processing, IEEE, 2012, 333(6):1-6.

[11] WANG S, MA S, LIU H, et al. CE8.h: results of simplification of view synthesis optimization by detection of zero distortion change in synthesized view[R]//1st JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 JCT2-A0083, Stockholm, SE, 2012.

[12] OH B T, LEE J, PARK D S. Depth map coding based on synthesized view distortion function[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(7): 1344-1352.

[13] OH B T, OH K J. View synthesis distortion estimation for avc-and hevc-compatible 3D video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(6): 1006-1015.

[14] ZHANG Q, TIAN L, HUANG L, et al. Rendering distortion estimation model for 3D high efficiency depth coding[J]. Mathematical Problems in Engineering, 2014,(1):1-7.

[15] LI C, JIN X, DAI Q. A novel distortion model for depth coding in 3D-HEVC[C]//IEEE International Conference on Image Processing. Paris, c2014: 3228-3232.

[16] LI C, JIN X, DAI Q. An efficient distortion model configuration for depth coding in 3D-HEVC[C]//IEEE Asia Pacific Conference on Circuits and Systems. Ishigaki, c2014: 9-12.

[17] TECH G, WEGNER K, CHEN Y, et al. Test Model 8 of 3D-HEVC and MV-HEVC[R]//8th JCT3V Meeting, ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, JCT3V-H1003, Valencia, ES, 2014.

[18] FRANK B, DAVID F, KARSTEN S. HEVC 3D extension software [EB/OL].https://hevc.hhi.fraunhofer.de/svn/svn_3DVCSoftware/tags/HTM-9.2/.

[19] MULLER K, VETRO A. Common test conditions of 3DV core experiments[R]. JCT3V meeting, JCT3VG1100, San Jose, US, 2014.

[20] BJONTEGAARDA G. Calculation of average psnr differences between rd-curves[R]. ITU-Telecommunications Standardization Secto vceg-m33, 2001.

Fast view synthesis optimization algorithm based on texture smoothness

DOU Huan1, JIA Ke-bin1, CHEN Rui-lin2, XIAO Yun-zhi2, WU Qiang1

(1. Department of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 2. Department of Electronic and Information Engineering, HongKong Polytechnic University, HongKong 999077, China)

A fast algorithm was proposed in order to reduce the view synthesis optimization (VSO) process in depth coding for 3D-HEVC based on texture map smoothness. With the coding information derived from texture video sequences, the pixel regularity of smooth texture region was analyzed to set the skip rule using the properties of intra DC prediction and statistical methods. Then the depth regions corresponding to the flat texture map regions could be extracted and the VSO process of pixels belonging to this type of depth regions could be skipped. Experimental results show the effectiveness of the proposed algorithm.

3D-HEVC, depth coding, view synthesis optimization, texture smoothness

TN919.81

A

10.11959/j.issn.1000-436x.2016057

2015-05-04；

2015-11-06

賈克斌，kebinj@bjnt.edu.cn

計算智能與智能系統北京市重點實驗室基金資助項目(No.002000546615004)；北京市自然科學基金及教委重點科技基金資助項目(No.KZ201310005004)

The Fund of Beijing Key Laboratory of Computational Intelligence and Intelligent System (No.002000546615004), Key Project of Beijing Municipal Education Commission(No.KZ201310005004)

竇環（1988-），女，江蘇儀征人，北京工業大學博士生，主要研究方向為多視點視頻編碼。

賈克斌（1961-），男，河南安陽人，北京工業大學教授、博士生導師，主要研究方向為多媒體信息處理。

陳銳霖（1971-），男，中國香港人，香港理工大學教授、博士生導師，主要研究方向為信息處理、視頻編碼。

蕭允治（1950-），男，中國香港人，香港理工大學教授、博士生導師，主要研究方向為圖像和視頻技術。

吳強（1972-），男，山西沁縣人，北京工業大學副教授、碩士生導師，主要研究方向為多媒體信息處理。