基于學(xué)習(xí)模型的3D-HEVC提前Merge模式終止算法

李躍，楊高波，丁湘陵，朱亞培

（1. 南華大學(xué)計(jì)算機(jī)學(xué)院，湖南 衡陽 421001；2. 湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南 長沙 410082；3. 湖南科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖南 湘潭 411201；4. 衡陽師范學(xué)院物理與電子學(xué)院，湖南 衡陽 421002）

1 引言

隨著3D內(nèi)容獲取和顯示技術(shù)的快速發(fā)展，3D視頻因其能提供更真實(shí)的視覺體驗(yàn)越來越受觀眾歡迎。3D視頻數(shù)據(jù)由多個(gè)紋理視點(diǎn)及其相應(yīng)的深度圖（紋理視點(diǎn)的幾何信息）組成。然而，與單個(gè)紋理視頻相比，3D視頻數(shù)據(jù)更多、更復(fù)雜。因此，高效壓縮對于3D視頻數(shù)據(jù)實(shí)時(shí)傳輸?shù)膽?yīng)用非常重要[1]。

HEVC（high efficiency video coding）由 JCT-VC（joint collaborative team on video coding）開發(fā)并用于單個(gè)紋理視點(diǎn)壓縮[2]，為了進(jìn)一步壓縮 3D視頻數(shù)據(jù)，JCT-3V（joint collaborative team on 3D video coding）在 HEVC的基礎(chǔ)上進(jìn)一步推出了針對 3D視頻壓縮的3D-HEVC壓縮標(biāo)準(zhǔn)[3]。3D-HEVC編碼的預(yù)測結(jié)構(gòu)如圖1所示。圖1中，View軸表示編碼的視點(diǎn)，Temporal軸表示每個(gè)視點(diǎn)在時(shí)序上的編碼幀，基本視點(diǎn)（V0）為獨(dú)立視點(diǎn)，其余視點(diǎn)（V1、V2）為非獨(dú)立視點(diǎn)，Ti（i=0,1,2）為紋理視點(diǎn)，Di（i=0,1,2）為在Ti之后編碼的深度圖，P、B、I表示采用了不同技術(shù)的編碼幀。為了進(jìn)一步提高壓縮效率，3D-HEVC采用了一些新的編碼技術(shù)。例如，為減少視點(diǎn)間相關(guān)性，非獨(dú)立視點(diǎn)編碼采用了視差補(bǔ)償預(yù)測（DCP, disparity compensated prediction）技術(shù)，特別對于深度圖，它由銳利邊緣分開的光滑區(qū)域組成。為了保護(hù)銳利邊緣質(zhì)量，進(jìn)一步提高深度圖編碼的效率，采用了幾種額外的編碼工具，如DMM（depth modeling mode）[4]、DIS（depth intra skip）[5]、SDC（segment-wise DC coding）[6]和 VSO（view synthesis optimization）等。雖然這些先進(jìn)的編碼技術(shù)可以提高3D-HEVC紋理視點(diǎn)和深度圖的壓縮效率，但同時(shí)也增加了3D-HEVC的編碼復(fù)雜度。因此，有必要研究快速編碼方法以降低3D-HEVC編碼器復(fù)雜度，同時(shí)保持編碼性能基本不下降。

為了使3D-HEVC能應(yīng)用于實(shí)時(shí)需求場景或者計(jì)算資源有限的場景，學(xué)者們提出了許多快速編碼方法以降低3D-HEVC的編碼復(fù)雜度，主要分為2種類型：幀內(nèi)快速編碼方法和幀間快速編碼方法。

1) 幀內(nèi)快速編碼方法

已提出的幀內(nèi)快速 3D-HEVC編碼方法主要分為幀內(nèi)快速 CU大小決策方法和幀內(nèi)預(yù)測模式快速決策方法，主要采用基于相關(guān)性分析和基于機(jī)器學(xué)習(xí)的方法，進(jìn)行快速CU大小和預(yù)測模式?jīng)Q策[7-8]。

圖1 3D-HEVC預(yù)測編碼結(jié)構(gòu)

2) 幀間快速編碼方法

3D-HEVC幀間快速方法同樣可分為幀間快速CU大小決策方法和幀間預(yù)測模式快速決策方法，采用的方法主要是基于相關(guān)性分析和編碼信息進(jìn)行快速決策，相關(guān)性分析主要包括模式相關(guān)性、時(shí)空相關(guān)性、視點(diǎn)間相關(guān)性等，編碼信息主要包括率失真代價(jià)（RD cost, rate distortion cost）、運(yùn)動矢量（MV, motion vector）、編碼塊標(biāo)記（CBF, coded block flag）等[9-17]。

例如，Shen等[10]提出利用時(shí)空相關(guān)性、視點(diǎn)間相關(guān)性、紋理深度相關(guān)性和層間相關(guān)性來加速3D-HEVC中的模式?jīng)Q策。類似地，Zhang等[11]根據(jù)空間-時(shí)間和視點(diǎn)間相關(guān)性來建立編碼復(fù)雜度模型，然后根據(jù)復(fù)雜度模型提出2個(gè)低復(fù)雜度方法來降低3D-HEVC編碼的復(fù)雜度。Tohidypour等[12]利用運(yùn)動信息和RD cost，提出了一種用于3D-HEVC非獨(dú)立紋理視點(diǎn)的復(fù)雜度降低方法。Zhang等[13]提出了一種基于運(yùn)動同一性的快速方法，以降低3D-HEVC紋理視頻編碼復(fù)雜度，該方法包括提前CU大小決策、提前SKIP/Merge模式?jīng)Q策和自適應(yīng)運(yùn)動搜索范圍調(diào)整。Li等[14]通過利用RD cost、CBF等編碼信息相關(guān)性建立混合終止模型用于降低3D-HEVC非獨(dú)立紋理視頻編碼復(fù)雜度。Chen等[15]利用視點(diǎn)間的紋理相關(guān)性，提出了一種快速3D-HEVC幀間模式?jīng)Q策方法。Lei等[16]利用灰度相似度和視點(diǎn)間相關(guān)性，提出了一種用于 3D-HEVC深度圖編碼的快速模式?jīng)Q策方法。Liao等[17]利用時(shí)空相關(guān)性及視點(diǎn)間相關(guān)性，提出了一種有效的幀間預(yù)測方法以降低3D-HEVC深度圖編碼復(fù)雜度。

由于在HEVC或3D-HEVC中，SKIP/ Merge模式是一種特殊的幀間預(yù)測模式，通常在背景或運(yùn)動緩慢區(qū)域被選為最優(yōu)模式，并且其不需要進(jìn)行復(fù)雜的運(yùn)動估計(jì)（ME, motion estimation）[18]以獲得預(yù)測信息。因此，研究者提出了一些提前SKIP/Merge模式?jīng)Q策方法以降低編碼復(fù)雜度。例如，Yang等[19]提出了一種提前 SKIP模式?jīng)Q策方法，該方法首先計(jì)算Inter_2N×2N和Merge模式，如果當(dāng)前編碼CU滿足運(yùn)動矢量差（MVD, motion vector difference）和Inter_2N×2N模式的殘差都為零的條件，則跳過當(dāng)前CU深度其余模式計(jì)算。其中，SKIP模式為Merge模式的一種特殊情況，既不計(jì)算ME也不編碼殘差。Li等[20]提出了一種單峰停止模型用于HEVC提前SKIP模式?jīng)Q策。Pan等[21]利用全零塊（AZB, all zero block）和 Inter_2N×2N模式的運(yùn)動信息，提出了一種提前Merge模式?jīng)Q策方法。利用視點(diǎn)間相關(guān)性，研究者提出了一些提前 Merge模式?jīng)Q策方法，分別用于3D-HEVC的非獨(dú)立紋理視點(diǎn)[22-24]和非獨(dú)立深度圖[25]。Li等[26]通過建立概率模型，提出了一種提前Merge模式?jīng)Q策方法以降低3D-HEVC非獨(dú)立視點(diǎn)編碼復(fù)雜度。

然而，現(xiàn)有3D-HEVC提前Merge模式?jīng)Q策方法仍未充分探索所有紋理視點(diǎn)、深度圖的獨(dú)立視點(diǎn)和非獨(dú)立視點(diǎn)的Merge模式提前決策。本文提出了一種基于殘差的學(xué)習(xí)模型，用于所有紋理視點(diǎn)和深度圖提前Merge模式?jīng)Q策，以降低3D-HEVC的編碼復(fù)雜度。本文的主要貢獻(xiàn)包括：1) 提取紋理視點(diǎn)和深度圖的預(yù)測殘差信號作為特征，其與傳統(tǒng)的量化后殘差系數(shù)不同；2) 建立學(xué)習(xí)模型，為每個(gè)P幀和B幀選擇自適應(yīng)閾值；3) 針對 3D-HEVC中的紋理視點(diǎn)和深度圖，提出了提前Merge模式?jīng)Q策方法，該方法在保持編碼性能的同時(shí)降低了編碼復(fù)雜度。

2 問題分析

為了分析3D-HEVC中預(yù)測單元（PU, prediction unit）的預(yù)測模式的分布，采用 2個(gè)不同運(yùn)動特性的視頻序列進(jìn)行測試，“GT_Fly”（1 920×1 088）為緩慢運(yùn)動視頻序列，“ Poznan_Hall2”（1 920×1 088）為快速運(yùn)動視頻序列。測試條件為：對于紋理視點(diǎn)和深度圖，量化參數(shù)（QP, quantization parameter）分別設(shè)置為25、30、35和40，編碼樹單元（CTU,coding tree unit）大小為64×64。圖2給出了紋理視點(diǎn)和深度圖在不同QP下的Merge模式分布情況。從圖2中可以看出，在紋理視點(diǎn)和深度圖編碼中，大部分Merge模式被選擇為最優(yōu)模式。隨著QP的增加，對于紋理視點(diǎn)和深度圖編碼，Merge模式的百分比也逐漸增加。同時(shí)，對于不同的運(yùn)動特性視頻序列，非獨(dú)立視點(diǎn)的Merge模式的百分比大于獨(dú)立視點(diǎn)的Merge模式的百分比。特別地，對于具有緩慢運(yùn)動的“GT_Fly”視頻序列，超過75%和77%的CU分別選擇Merge模式作為紋理視點(diǎn)和深度圖編碼中的最優(yōu)模式。由于“Poznan Hall2”視頻序列中包含快速運(yùn)動對象，因此，在 QP=25時(shí)，僅有34%和54%的獨(dú)立和非獨(dú)立深度圖選擇Merge模式為最優(yōu)模式。但是，在較大的 QP編碼中，Merge模式的百分比仍然相對較高。在3D-HEVC的模式?jīng)Q策過程中，Merge模式都在其他模式之前進(jìn)行計(jì)算，并且紋理和深度圖視頻序列中都存在大量的靜止或運(yùn)動緩慢區(qū)域，而這些區(qū)域大多選擇Merge模式作為最優(yōu)模式。因此，如果可以準(zhǔn)確地提前終止Merge模式，則將跳過幀間和幀內(nèi)的剩余模式計(jì)算過程，從而減少編碼的計(jì)算復(fù)雜度。因此，可以設(shè)計(jì)合理的條件提前終止Merge模式?jīng)Q策，以減少編碼時(shí)間。

圖2 不同QP下紋理視點(diǎn)和深度圖的Merge模式百分比

3 提前Merge模式?jīng)Q策方法

3.1 整體框架

本文提出的方法基于學(xué)習(xí)框架，其目標(biāo)是提前終止Merge模式?jīng)Q策并且保持3D-HEVC紋理視點(diǎn)和深度圖的編碼性能基本不變。與傳統(tǒng)的基于相關(guān)性分析方法不同，本文提出了一種新的基于殘差的學(xué)習(xí)方法提前終止Merge模式?jīng)Q策。具體地，本文將提前Merge模式?jīng)Q策的過程建模為二元分類問題。因此，本文建立了一個(gè)基于殘差的學(xué)習(xí)模型以確定Merge模式是否為最優(yōu)模式。圖3為針對每個(gè)CU深度i的提前Merge模式?jīng)Q策方法的流程。首先，計(jì)算每個(gè)CU深度i的Merge模式。然后，提取Merge模式的殘差信號特征值，將其與學(xué)習(xí)模型的判定參數(shù)值進(jìn)行比較，以確定當(dāng)前CU深度i的Merge模式是否為最優(yōu)模式。學(xué)習(xí)模型的決策參數(shù)值從先前已編碼的最優(yōu) Merge模式中學(xué)習(xí)。

圖3 提前Merge模式?jīng)Q策方法的流程

3.2 特征分析和提取

為每一個(gè) CU深度i獲得最優(yōu)模式，所有預(yù)測模式m都需要通過式(1)計(jì)算其RD cost，即

其中，RDm、Dm、Bm和λ分別表示模式m的 RD cost、預(yù)測失真、編碼比特率和拉格朗日因子。Q表示所有的幀間幀內(nèi)預(yù)測模式。在式(1)中，編碼比特率Bm也可以分為兩部分，頭部比特率和殘差系數(shù)比特率。因此，式(1)可以重寫為

其中，RS表示殘差信號，f(D)和g(B)分別表示失真和殘差系數(shù)比特率的正相關(guān)系數(shù)。然后，結(jié)合式(2)～式(4)，模式m的RD cost計(jì)算可以重寫為

根據(jù)式(5)可以得出結(jié)論，模式m的RD cost與殘差信號具有很強(qiáng)的正相關(guān)關(guān)系。由于最優(yōu)模式?jīng)Q策是基于模式的RD cost的大小進(jìn)行判斷的，因此將殘差信號用作評估提前Merge模式?jīng)Q策的有效特征是合理的。本文將提前Merge模式?jīng)Q策過程建模為二元分類問題，分類方法是通過特征提取和決策參數(shù)學(xué)習(xí)更新。其中預(yù)測殘差r(i,j)定義為

其中，ori(i,j)和pre(i,j)表示原始亮度像素值和預(yù)測模式亮度像素值，W和H分別表示 CU的寬和高。由于方差越小，該組中的數(shù)據(jù)越穩(wěn)定；方差越大，該組中的數(shù)據(jù)越不穩(wěn)定。因此，選擇殘差信號的方差2σ作為特征，計(jì)算式為

根據(jù)式(7)可知，當(dāng)前預(yù)測模式的2σ值越小，原始像素值和預(yù)測像素值之間的失真越小。相反，當(dāng)前預(yù)測模式的2σ值越大，原始像素值和預(yù)測像素值之間的失真越大。因此，如果當(dāng)前預(yù)測模式的2σ很小，則可以提前終止當(dāng)前模式。通常提出的方法中，采用量化后的殘差信號進(jìn)行快速模式選擇，從式(2)可以看出，當(dāng)量化殘差信號時(shí)，它不能很好地反映失真Dm。同時(shí)，量化后的大部分殘差信號將等于 0。因此，本文在量化之前使用殘差信號，可以更好地表示預(yù)測失真。

3.3 基于學(xué)習(xí)的決策參數(shù)更新

提前Merge模式?jīng)Q策被定義為一個(gè)二元分類問題，需要預(yù)先設(shè)置決策參數(shù)以預(yù)測Merge模式的殘差信號是否為最優(yōu)預(yù)測殘差信號，如果Merge模式的預(yù)測殘差信號滿足提前終止模式?jīng)Q策參數(shù)條件，則它將提前終止。通常，可以通過基于統(tǒng)計(jì)學(xué)習(xí)或機(jī)器學(xué)習(xí)方法來選擇決策參數(shù)但是，決策參數(shù)需要大量的原始樣本進(jìn)行訓(xùn)練，這將會進(jìn)一步增加編碼的計(jì)算復(fù)雜度，同時(shí)也增加了編碼硬件設(shè)計(jì)的難度。因此，本文提出了一種簡單的學(xué)習(xí)方法來實(shí)現(xiàn)決策參數(shù)更新，它不需要統(tǒng)計(jì)實(shí)驗(yàn)，只采用一個(gè)原始編碼的最優(yōu)Merge模式數(shù)據(jù)進(jìn)行訓(xùn)練，并且的值為自適應(yīng)更新。圖4給出了學(xué)習(xí)決策參數(shù)獨(dú)立更新框架。為了避免不同QP的影響，決策參數(shù)在每個(gè)編碼幀中重新進(jìn)行更新，即在每個(gè)新編碼幀的開始處初始化決策參數(shù)。不同CU深度i獨(dú)立地更新決策參數(shù)即

圖5 殘差信號方差

3.4 基于學(xué)習(xí)模型的提前Merge模式?jīng)Q策

圖4 學(xué)習(xí)決策參數(shù)獨(dú)立更新框架

由于量化后的Merge模式的殘差信號通常等于0，為了進(jìn)一步提高提前Merge模式?jīng)Q策的準(zhǔn)確性，將編碼塊標(biāo)記（CBF）與式(10)進(jìn)行組合，作為3D-HEVC中紋理視點(diǎn)和深度圖編碼的提前 Merge模式?jīng)Q策條件。根據(jù)文獻(xiàn)[16]，如果模式的CBF=0，則表示當(dāng)前模式很有可能為最優(yōu)模式。因此，紋理視點(diǎn)和深度圖編碼的提前Merge模式?jīng)Q策條件可表示為

4 實(shí)驗(yàn)結(jié)果及分析

4.1 測試條件

為了驗(yàn)證本文提出的提前Merge模式?jīng)Q策算法對 3D-HEVC中紋理視點(diǎn)和深度圖編碼性能的影響，將提出的算法集成到 3D-HEVC參考軟件HTM16.2上實(shí)現(xiàn)，快速編碼決策方法[22]和 DIS模式始終開啟。采用通用測試條件進(jìn)行評估[27]，其中包括JCT-3V推薦的8個(gè)測試視頻序列，用于評估所提出算法的效率，視頻序列包括2個(gè)分辨率，分別是 1 024×768（Balloons、Kendo、Newspaper）和1 920×1 088（GT_Fly、Poznan_Hall2、Poznan_Street、Undo_Dancer、Shark）。每個(gè)測試視頻序列包括3個(gè)紋理視點(diǎn)及其對應(yīng)的深度圖，測試序列的細(xì)節(jié)如表1所示。編碼時(shí)間節(jié)約計(jì)算為

4.2 實(shí)驗(yàn)結(jié)果

表2～表4給出了本文提出的用于3D-HEVC紋理視點(diǎn)和深度圖的提前Merge模式?jīng)Q策方法的編碼性能，其通過紋理視點(diǎn)和深度圖的編碼時(shí)間減少和 Bjontegaard（BD-Rate）來測量[28]。表 2～表4中，video0、video1和video2分別表示單個(gè)紋理視點(diǎn)的BD-Rate編碼結(jié)果，video PSNR/ videobitrate（V/V）表示所有編碼紋理視點(diǎn)的BD-Rate編碼結(jié)果，video PSNR/total bitrate（V/T）表示編碼紋理視點(diǎn)和深度圖的比特率之和的BD-Rate編碼結(jié)果，synth PSNR/total bitrate（S/T）表示合成視點(diǎn)的 BD-Rate編碼結(jié)果，TStexture、TSdepth和TStotal分別表示紋理視點(diǎn)編碼時(shí)間節(jié)約、深度圖編碼時(shí)間節(jié)約和總編碼（紋理視點(diǎn)和深度圖）時(shí)間節(jié)約。

表1 測試視頻序列

表2 本文提出方法的編碼性能

表2給出了本文提出方法的編碼性能。從表2可以看出，本文提出的方法可以有效地節(jié)省紋理視點(diǎn)和深度圖的編碼時(shí)間，同時(shí)保持所有測試紋理視點(diǎn)和深度圖的相似的編碼效率。對于紋理視點(diǎn)，本文提出方法的編碼時(shí)間節(jié)約為 31.2%～50.1%，平均為 41.9%。同時(shí)，video0、video1和video2的BD-Rate平均增加了0.7%、0.8%和0.7%。對于深度圖編碼，編碼時(shí)間節(jié)約為8.2%～30.6%，平均減少 24.3%。同時(shí)，總編碼時(shí)間節(jié)約為28.9%～39.7%，平均為34.4%。V/V、V/T和S/T的BD-Rate平均增加了為0.8%、0.7%和0.8%。以上實(shí)驗(yàn)結(jié)果表明，本文提出的基于學(xué)習(xí)模型的提前 Merge模式?jīng)Q策方法可以有效地提前終止3D-HEVC中紋理視點(diǎn)和深度圖的Merge模式?jīng)Q策。

為了進(jìn)一步評估本文提出方法的性能，將其與提前Merge模式?jīng)Q策方法PanTB[20]、組合快速方法CBF+ESD[9,19]用于編碼性能的客觀比較。表3給出了PanTB方法與原始測試平臺HTM16.2相比的性能。從表3可以看出，PanTB方法的紋理視點(diǎn)、深度圖和總編碼時(shí)間平均節(jié)約了 25.7%、12%和20.6%，video0、video1和video2的BD-Rate平均增加了0.3%、0.5%和0.5%，V/V、V/T和S/T的BD-Rate平均增加了0.7%、0.5%和0.5%。與PanTB算法相比，本文提出的方法可以進(jìn)一步節(jié)約紋理視點(diǎn)、深度圖和總編碼16.2%、12.3%和13.8%的編碼時(shí)間，同時(shí)保持相似的BD-Rate增加。

表3 PanTB方法的編碼性能

表4 CBF+ESD方法的編碼性能

表4給出了CBF+ESD[9,19]方法與原始測試平臺HTM16.2相比的性能。從表4可以看出，CBF+ESD方法對紋理視點(diǎn)、深度圖和總編碼的編碼復(fù)雜度平均降低了34.6%、5.7%和22.7%，video0、video1和video2的BD-Rate平均增加了0.6%、1.6%和1.7%，V/V、V/T和S/T的BD-Rate平均增加了1.0%、1.0%和0.8%。與CBF+ESD方法相比，本文提出的方法可以進(jìn)一步節(jié)約紋理視點(diǎn)、深度圖和總編碼7.3%、18.6%和11.7%的編碼時(shí)間，同時(shí)獲得了更好的編碼性能。

為了更直觀地體現(xiàn)獨(dú)立和非獨(dú)立視點(diǎn)的編碼時(shí)間節(jié)約，圖6給出了PanTB、CBF+ESD和本文提出方法之間的編碼時(shí)間節(jié)約對比。從圖6中可以看出，本文提出的基于學(xué)習(xí)殘差模型的提前Merge模式?jīng)Q策方法節(jié)約了更多的獨(dú)立視點(diǎn)和非獨(dú)立視點(diǎn)編碼的編碼時(shí)間。對于獨(dú)立紋理視點(diǎn)編碼，這些方法減少了幾乎相同的編碼時(shí)間。然而，對于獨(dú)立和非獨(dú)立的深度圖編碼，與PanTB和CBF+ESD方法相比，本文提出的方法可以為每個(gè)測試視頻序列節(jié)約更多編碼時(shí)間。特別是對于非獨(dú)立紋理視點(diǎn)編碼，PanTB方法增加了Poznan_Hall2的編碼時(shí)間，原因在于PanTB方法中首先計(jì)算CU深度0處的Inter_2N×2N模式，然而，集成在3D-HEVC中的快速算法首先計(jì)算Merge模式并提前終止，這可能導(dǎo)致 Merge模式應(yīng)該提前終止而沒有提前終止，而PanTB方法中需要進(jìn)一步計(jì)算Inter_2N×2N模式，從而增加編碼時(shí)間。

為了驗(yàn)證本文提出的方法單獨(dú)用于 3D-HEVC深度圖的編碼性能影響，表5給出了在深度圖編碼下不同快速方法的編碼性能對比，其中文獻(xiàn)[16]方法（測試平臺為HTM13.0）和文獻(xiàn)[17]方法（測試平臺為HTM15.1）都可用于降低3D-HEVC深度圖的編碼復(fù)雜度。從表5中可以看出，本文提出的方法能降低較多的編碼時(shí)間，得到很好的合成視點(diǎn)編碼質(zhì)量。相比文獻(xiàn)[16]方法，本文提出的方法在相似的時(shí)間節(jié)約下，還降低了2.1%的編碼碼率。相比于文獻(xiàn)[17]方法，本文提出的方法可以進(jìn)一步節(jié)約20.8%的深度編碼時(shí)間，同時(shí)降低了0.2%的編碼碼率。綜上所述，將本文提出的方法用于所有3D-HEVC紋理視點(diǎn)和深度圖編碼以及只用于3D-HEVC深度圖編碼，相比于其他先進(jìn)的快速3D-HEVC編碼方法，都能得到更好的編碼性能。

圖6 編碼時(shí)間節(jié)約對比

表5 在深度圖編碼下不同快速方法的編碼性能對比

5 結(jié)束語

本文提出了一種提前Merge模式終止方法，用于3D-HEVC紋理視點(diǎn)和深度圖，通過使用基于殘差的學(xué)習(xí)模型來降低3D-HEVC編碼器的計(jì)算復(fù)雜度。首先，基于每個(gè)最優(yōu)Merge模式中的原始亮度像素和預(yù)測亮度像素來提取殘差信號。其次，基于學(xué)習(xí)殘差的提前Merge模式?jīng)Q策方法采用所提出的殘差信號特征來提前預(yù)測最優(yōu)模式是否為Merge模式。實(shí)驗(yàn)結(jié)果表明，該方法可以有效地減少編碼時(shí)間，在復(fù)雜度降低方面優(yōu)于最先進(jìn)的算法。此外，基于學(xué)習(xí)的方法還有幾個(gè)獨(dú)特的優(yōu)點(diǎn)。首先，與傳統(tǒng)的基于統(tǒng)計(jì)的方法相比，本文提出的方法可以在紋理視點(diǎn)和深度圖編碼中實(shí)現(xiàn)。其次，學(xué)習(xí)模型簡單易實(shí)現(xiàn)，適用于3D-HEVC和HEVC的提前Merge模式?jīng)Q策。