視頻編碼新技術(shù)和新方向

郭勐，聶秀英，黃更生

（1. 中國(guó)移動(dòng)通信有限公司研究院，北京 100053；2. 中國(guó)信息通信研究院，北京 100191）

視頻編碼新技術(shù)和新方向

郭勐1，聶秀英2，黃更生1

（1. 中國(guó)移動(dòng)通信有限公司研究院，北京 100053；2. 中國(guó)信息通信研究院，北京 100191）

以HEVC和AVS2為代表的新一代視頻編碼標(biāo)準(zhǔn)，仍主要采用基于預(yù)測(cè)/變換的編碼框架，但在編碼單元、幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)和去塊效應(yīng)濾波等環(huán)節(jié)均引入了新的編碼技術(shù)。對(duì)這些視頻編碼新技術(shù)進(jìn)行了總結(jié)，同時(shí)分析和探討了場(chǎng)景視頻編碼、云編碼以及深度學(xué)習(xí)視頻編碼等視頻技術(shù)發(fā)展新方向。

視頻編碼；HEVC；AVS2

1 引言

近年來(lái)，隨著網(wǎng)絡(luò)帶寬的提高、智能終端和互聯(lián)網(wǎng)音視頻應(yīng)用數(shù)量的迅猛增長(zhǎng)，視頻流量已經(jīng)成為網(wǎng)絡(luò)傳輸?shù)闹饕髁浚⑶胰栽谝苿?dòng)網(wǎng)絡(luò)中持續(xù)大幅增長(zhǎng)。根據(jù)思科視覺(jué)網(wǎng)絡(luò)指數(shù)（visual networking index，VNI）《全球移動(dòng)數(shù)據(jù)流量預(yù)測(cè)（2016—2021）》報(bào)告，預(yù)計(jì) 2016—2021年，移動(dòng)視頻將增長(zhǎng) 8.7倍，在移動(dòng)應(yīng)用類別中享有最高的增長(zhǎng)率；預(yù)計(jì)到2021年，移動(dòng)視頻流量將達(dá)到 457 EB，占總移動(dòng)流量的78%。持續(xù)增長(zhǎng)的視頻流量不僅對(duì)網(wǎng)絡(luò)傳輸帶來(lái)了巨大挑戰(zhàn)，也帶來(lái)了海量存儲(chǔ)的要求。為了能夠傳輸和存儲(chǔ)海量的視頻數(shù)據(jù)，視頻壓縮編碼作為音視頻應(yīng)用的基礎(chǔ)技術(shù)在快速發(fā)展，以HEVC/H.265為代表的新一代視頻編碼技術(shù)已經(jīng)完成了標(biāo)準(zhǔn)化[1-4]，并逐步應(yīng)用在智能手機(jī)、監(jiān)控?cái)z像機(jī)等設(shè)備中。本文將對(duì)視頻編碼的新技術(shù)進(jìn)行介紹，并從應(yīng)用和技術(shù)的角度分析視頻編碼發(fā)展的新方向。

2 視頻編碼概述

視頻編碼是利用圖像統(tǒng)計(jì)特性，去除視頻信號(hào)中存在的冗余信息的過(guò)程，通過(guò)視頻編碼可以實(shí)現(xiàn)原始視頻數(shù)據(jù)量的大幅減少。圖1截取了視頻序列中相鄰的兩幀。把圖像劃分為像素塊后，可以看到在空間相鄰的區(qū)域中、時(shí)間相鄰的區(qū)域中，圖像像素值相似，通過(guò)幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)技術(shù)可以去除空間冗余和時(shí)間冗余。同時(shí)，人眼對(duì)圖像中的邊緣、輪廓等信息更為敏感，通過(guò)時(shí)域到頻域的變換，可以把高頻的感知冗余做進(jìn)一步的去除。

圖1 視頻冗余信息去除

經(jīng)過(guò)幾十年的技術(shù)發(fā)展，視頻編碼基本采用基于塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)、殘差變換量化和熵編碼方法，形成了統(tǒng)一的技術(shù)框架，如圖 2所示。首先選擇幀內(nèi)編碼或者幀間編碼；對(duì)幀內(nèi)編碼的塊進(jìn)行空間預(yù)測(cè)，對(duì)幀間編碼的塊進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)；對(duì)預(yù)測(cè)后的殘差再做變換和量化，然后進(jìn)行熵編碼，最終得到編碼碼流。為了減少解碼端預(yù)測(cè)誤差積累，在編碼器中還包含了一個(gè)解碼器生成用于幀內(nèi)或者幀間預(yù)測(cè)的參考圖像。

圖2 視頻編碼框架

在視頻編碼標(biāo)準(zhǔn)方面，ITU-T VCEG工作組和ISO/IEC MPEG工作組已經(jīng)制定了H.26x系列標(biāo)準(zhǔn)和MPEG系列標(biāo)準(zhǔn)，為視頻通話、IPTV等各類應(yīng)用的快速普及提供了統(tǒng)一的技術(shù)標(biāo)準(zhǔn)。目前，新一代視頻編碼 HEVC（high efficiency video coding）已由ITU-T VCEG工和ISO/IEC MPEG的聯(lián)合工作組完成了標(biāo)準(zhǔn)制定，在2013年的4月正式發(fā)布。HEVC仍沿用了圖2的編碼框架，但在幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)等編碼環(huán)節(jié)，引入了更高效的編碼算法，能夠更好地去除視頻信息冗余。HEVC主要采用的編碼新技術(shù)包括靈活的圖像塊劃分、多角度幀內(nèi)預(yù)測(cè)、幀內(nèi)預(yù)測(cè)子像素插值和樣本自適應(yīng)補(bǔ)償?shù)龋^之前的H.264編碼算法，在獲得相同視頻質(zhì)量的前提下，HEVC編碼視頻流的碼率節(jié)省了50%[5-9]。在國(guó)內(nèi)，AVS工作組完成了AVS2視頻編碼標(biāo)準(zhǔn)。AVS2沿用圖2的編碼框架，同樣引入了靈活的編碼塊結(jié)構(gòu)、多角度幀內(nèi)預(yù)測(cè)和幀間對(duì)稱預(yù)測(cè)等技術(shù)，獲得了和HEVC相近的編碼性能[3,4]。

3 視頻編碼新技術(shù)

在新一代視頻編碼標(biāo)準(zhǔn)中，主要引入的新技術(shù)有新型編碼單元、多角度幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)子像素插值和樣本自適應(yīng)補(bǔ)償?shù)取?/p>

3.1 新型編碼單元

與以往視頻編碼采用長(zhǎng)度、寬度均為16像素的圖像塊（稱為16×16宏塊（macroblock，MB））作為基本編碼單元不同，HEVC和AVS2均引入了靈活的編碼樹(shù)單元（coding tree unit，CTU）。CTU可以是16×16像素、32×32像素或者64×64像素，采用靈活和較大的像素塊能夠提供高分辨率視頻的編碼效率。CTU進(jìn)一步劃分為編碼單元（coding unit，CU），CU又劃分為多個(gè)預(yù)測(cè)單元（prediction unit，PU）和多個(gè)變換單元（transform unit，TU）。

PU是進(jìn)行預(yù)測(cè)運(yùn)算的基本單元，一個(gè)CU可以劃分為一個(gè)或多個(gè)PU，PU不能超過(guò)一個(gè)CU的大小。圖3示意了一個(gè)2N×2N的CU可劃分為PU的8種方式。HEVC標(biāo)準(zhǔn)規(guī)定幀間預(yù)測(cè)可以在圖3所示的8種方式里面任意選擇，幀內(nèi)預(yù)測(cè)只能選擇2N × 2N或者N×N的方式[9]。

圖3 預(yù)測(cè)單元?jiǎng)澐址绞?/p>

TU是進(jìn)行變換和量化的基本單元，每個(gè)TU可以包含多個(gè)PU，一個(gè)PU也可以包含多個(gè)TU，TU不能超過(guò)一個(gè) CU的大小。為了清晰地描述CTU和CU、TU之間的關(guān)系，HEVC采用了四叉樹(shù)結(jié)構(gòu)。圖4為CU、TU的四叉樹(shù)結(jié)構(gòu)關(guān)系，其中實(shí)線為CU的四叉樹(shù)分割，虛線為TU的四叉樹(shù)分割，編號(hào)為各CU的編碼順序[9]。

圖5對(duì)比了HEVC和H.264在編碼單元?jiǎng)澐稚系牟煌EVC采用可變的塊大小能夠更好地表征出圖像的紋理和結(jié)構(gòu)特點(diǎn)，CU、PU和 TU的分離也使得視頻編碼更加靈活，有助于提高視頻編碼效率。

圖4 編碼單元?jiǎng)澐趾退牟鏄?shù)組織

圖5 編碼單元對(duì)比

3.2 多角度幀內(nèi)預(yù)測(cè)

幀內(nèi)預(yù)測(cè)利用圖像相鄰像素之間的相關(guān)性，為需要編碼的圖像塊生成預(yù)測(cè)像素值，預(yù)測(cè)得到像素值和圖像真實(shí)像素值的差異很小，也就是大部分預(yù)測(cè)誤差基本為0。在編碼端只編碼傳輸預(yù)測(cè)誤差，解碼端一方面解碼預(yù)測(cè)誤差，一方面生成預(yù)測(cè)像素值，將二者加和就恢復(fù)出了被編碼的圖像塊。因此，幀內(nèi)預(yù)測(cè)的關(guān)鍵是能夠盡可能地按照?qǐng)D像塊的紋理、結(jié)構(gòu)特點(diǎn)，生成和真實(shí)像素誤差最小的預(yù)測(cè)像素。HEVC編碼算法較H.264等以往編碼算法，在預(yù)測(cè)的角度上有更細(xì)的劃分，從8種增加到33種。幀內(nèi)預(yù)測(cè)更細(xì)的角度劃分，能夠更好地表達(dá)圖像中的紋理信息和結(jié)構(gòu)信息，從而獲得準(zhǔn)確的預(yù)測(cè)值。圖6對(duì)比了H.264的8種預(yù)測(cè)方向和HEVC的33種幀內(nèi)預(yù)測(cè)方向，HEVC預(yù)測(cè)方向角度由當(dāng)前 PU的最下面一行或最右邊一列像素與上面參考像素行或者左邊參考像素列之間的位移確定，可以看到預(yù)測(cè)角度分別為[?32，?26，?21，?17，?13，?9，?5，?2，0，2，5，9，13，17，21，26，32]/32。同時(shí)，HEVC還定義了平面預(yù)測(cè)（intra_planar）和直流預(yù)測(cè)（intra_DC）。平面預(yù)測(cè)使用水平和垂直2個(gè)方向的線性插值平均作為當(dāng)前像素的預(yù)測(cè)值，適用于紋理平滑、變化趨勢(shì)一致的圖像塊。直流預(yù)測(cè)對(duì)當(dāng)前 PU的所有像素使用參考像素的平均值作為預(yù)測(cè)值，適用于平坦的圖像塊[9]。

圖6 幀內(nèi)預(yù)測(cè)角度對(duì)比

3.3 幀間預(yù)測(cè)技術(shù)

幀間預(yù)測(cè)利用視頻在時(shí)間上相鄰圖像幀的時(shí)域相關(guān)性，使用已經(jīng)編碼的圖像重建幀作為參考幀，通過(guò)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償對(duì)當(dāng)前編碼幀進(jìn)行預(yù)測(cè)，計(jì)算得到和真實(shí)像素值盡可能一致的預(yù)測(cè)像素值，從而去除時(shí)間冗余信息。HEVC幀間預(yù)測(cè)編碼整體上和H.264相似，主要是在子像素插值和運(yùn)動(dòng)矢量編碼方面進(jìn)行了改進(jìn)。

在運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償中，預(yù)測(cè)得到的運(yùn)動(dòng)矢量可以指向整像素點(diǎn)，也可以指向1/2或者1/4子像素點(diǎn)。對(duì)于整像素位置，可以使用參考幀像素值直接進(jìn)行運(yùn)動(dòng)補(bǔ)償；對(duì)于1/2或者1/4像素點(diǎn)，則需要根據(jù)整像素點(diǎn)進(jìn)行插值運(yùn)算，得到1/2或1/4像素點(diǎn)值。在H.264中，首先利用6抽頭的濾波器對(duì)整像素點(diǎn)濾波并舍入得到1/2像素點(diǎn)插值，再平均整像素點(diǎn)和相鄰的1/2像素點(diǎn)值得到1/4像素點(diǎn)插值。HEVC對(duì)此進(jìn)行了改進(jìn)，首先使用分離的兩個(gè)濾波器，分別進(jìn)行1/2像素點(diǎn)和1/4像素點(diǎn)插值，一方面簡(jiǎn)化了子像素插值過(guò)程，另一方面避免了H.264計(jì)算 1/4像素點(diǎn)過(guò)程中的舍入操作，提高了預(yù)測(cè)精度。同時(shí)，HEVC采用了更長(zhǎng)的濾波器來(lái)進(jìn)行子像素插值，對(duì)1/2子像素采用8抽頭濾波器，對(duì)1/4子像素采用7抽頭濾波器，能夠獲得更高的預(yù)測(cè)精度。

在幀間預(yù)測(cè)編碼中，每個(gè)PU都有對(duì)應(yīng)的運(yùn)動(dòng)矢量，為了進(jìn)一步壓縮碼流，運(yùn)動(dòng)矢量同樣需要進(jìn)行預(yù)測(cè)和編碼。在H.264中采用了空域中相鄰塊的運(yùn)動(dòng)矢量中值作為運(yùn)動(dòng)矢量的預(yù)測(cè)值，然后對(duì)運(yùn)動(dòng)矢量預(yù)測(cè)誤差進(jìn)行編碼。HEVC對(duì)運(yùn)動(dòng)矢量編碼進(jìn)行了改進(jìn)，可以把空域中相鄰塊的運(yùn)動(dòng)矢量作為預(yù)測(cè)候選運(yùn)動(dòng)矢量，也可以把參考幀中對(duì)應(yīng)位置的時(shí)域相鄰塊的運(yùn)動(dòng)矢量作為預(yù)測(cè)候選運(yùn)動(dòng)矢量。圖 7說(shuō)明了在空域和時(shí)域上可以采用的多個(gè)候選運(yùn)動(dòng)矢量，其中C0、C1為參考幀時(shí)域相鄰塊的候選運(yùn)動(dòng)矢量，A0、A1、B0、B1、B2為空域相鄰塊的候選運(yùn)動(dòng)矢量。通過(guò)先進(jìn)運(yùn)動(dòng)矢量預(yù)測(cè)技術(shù)，HEVC提高了運(yùn)動(dòng)矢量預(yù)測(cè)的準(zhǔn)確性，進(jìn)一步減少了編碼碼率[9]。

圖7 運(yùn)動(dòng)矢量候選

進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償時(shí)，每個(gè) PU都有一套運(yùn)動(dòng)參數(shù)，為了進(jìn)一步地壓縮編碼參數(shù)，HEVC對(duì)運(yùn)動(dòng)參數(shù)編碼引入了Merge模式，也就是將運(yùn)動(dòng)參數(shù)相同或相近的一些 PU合并起來(lái)形成一個(gè)區(qū)域，為這個(gè)區(qū)域只編碼和傳輸一次運(yùn)動(dòng)參數(shù)。圖8（a）為需要編碼的圖像，其中白色箭頭示意了圖像中主要運(yùn)動(dòng)的類似鐘擺的部分；圖8（b）為經(jīng)過(guò)運(yùn)動(dòng)估計(jì)的CU的四叉樹(shù)劃分，可以看到對(duì)于具有相同或相近運(yùn)動(dòng)參數(shù)的靜止區(qū)域，被劃分為多個(gè)PU；圖8（c）為經(jīng)過(guò)Merge合并后可以共享運(yùn)動(dòng)信息的區(qū)域劃分，這些區(qū)域共用了運(yùn)動(dòng)信息，減少了編碼碼流[9]。

圖8 運(yùn)動(dòng)參數(shù)編碼Merge模式

圖9 邊緣補(bǔ)償?shù)?個(gè)方向

3.4 樣本自適應(yīng)補(bǔ)償

由于視頻編碼均把像素塊作為基本的編碼處理單元，在相鄰的像素塊邊界處會(huì)出現(xiàn)像素值不連續(xù)的現(xiàn)象，這種現(xiàn)象被稱為塊效應(yīng)。為了消除塊效應(yīng)，提高編碼質(zhì)量，H.264等編碼算法均定義了去塊效應(yīng)濾波（de-blocking filter）算法對(duì)重建圖像的塊邊界進(jìn)行平滑。HEVC在采用去塊效應(yīng)濾波的同時(shí)，另外加入了樣本自適應(yīng)補(bǔ)償（sample adaptive offset，SAO）來(lái)增強(qiáng)圖像質(zhì)量。SAO在去塊效應(yīng)濾波之后，對(duì)重建像素塊中的像素值進(jìn)行分類，并加上相應(yīng)的偏移值，達(dá)到降低圖像失真的效果。SAO分為邊緣補(bǔ)償（edge offset，EO）和條帶補(bǔ)償（band offset，BO）。圖9示意了邊緣補(bǔ)償?shù)乃健⒋怪薄?35°和45°的4個(gè)方向[9]。在選定邊緣補(bǔ)償?shù)姆较蚝螅^續(xù)根據(jù)圖10的分類，進(jìn)行像素值的偏移，對(duì)由于量化造成的像素點(diǎn)局部拐點(diǎn)、峰值點(diǎn)和谷值點(diǎn)加上一個(gè)適當(dāng)?shù)南喾吹难a(bǔ)償量，用來(lái)消除編碼引入的偏移[9]。圖10中，類別 1指 ca & & c==b)||(c==a & & c>b)，類別4指c>a & & c>b，類別0指以上都不是。條帶補(bǔ)償將圖像像素值范圍劃分為32等份，每個(gè)等份是一個(gè)“band（條帶）”。條帶補(bǔ)償首先計(jì)算每個(gè)條帶中原始像素點(diǎn)和重建像素點(diǎn)之間的平均值誤差（補(bǔ)償值），并選擇連續(xù)的4個(gè)偏移最大的條帶進(jìn)行補(bǔ)償（把補(bǔ)償值加到每個(gè)重建像素上）。圖11中虛線表示圖像原始像素值，圓點(diǎn)表示圖像重建像素值，條帶補(bǔ)償將對(duì)4個(gè)條帶中的重建像素值加上補(bǔ)償值，使之更接近原始圖像像素值[9]。

圖10 邊緣補(bǔ)償?shù)姆诸?/p>

圖11 條帶補(bǔ)償示例

4 視頻編碼新方向

當(dāng)前，HEVC和AVS2新一代視頻編碼標(biāo)準(zhǔn)已制定完成，其主要技術(shù)仍采用了基于預(yù)測(cè)/變換的編碼框架。為了能夠滿足視頻應(yīng)用持續(xù)增長(zhǎng)的需求，視頻編碼技術(shù)還在快速發(fā)展，出現(xiàn)了一些新的發(fā)展方向。

4.1 場(chǎng)景視頻編碼

雖然標(biāo)準(zhǔn)化的視頻編碼算法能夠在各種類型的視頻上均取得較好的壓縮效果，但在一些特定應(yīng)用中仍有較大的提升空間。例如，在視頻監(jiān)控應(yīng)用中，一般來(lái)說(shuō)攝像機(jī)采集到圖像的背景是保持不變的，如果能夠獲取到視頻監(jiān)控場(chǎng)景的特征，并在編碼過(guò)程中使用，將能夠大幅提高壓縮效率。AVS2標(biāo)準(zhǔn)已經(jīng)面向智能監(jiān)控應(yīng)用，提出了場(chǎng)景視頻編碼，使得整體壓縮效率提高了大約1倍。AVS2的場(chǎng)景視頻編碼引入了場(chǎng)景圖像，在標(biāo)準(zhǔn)中為 G圖像或者GB圖像。G圖像是只使用幀內(nèi)預(yù)測(cè)解碼的場(chǎng)景圖像，應(yīng)被輸出；GB圖像也是只使用幀內(nèi)預(yù)測(cè)解碼的場(chǎng)景圖像，但不被輸出。圖12中說(shuō)明了場(chǎng)景圖像如何作為時(shí)間上的長(zhǎng)期參考幀，用于預(yù)測(cè)[11]，且量化參數(shù)較小。雖然場(chǎng)景圖像使用較小的量化系數(shù)，產(chǎn)生了較多的編碼長(zhǎng)度，但是場(chǎng)景圖像編碼質(zhì)量會(huì)較高，能夠提供更高的預(yù)測(cè)精度，降低后續(xù)編碼幀的編碼長(zhǎng)度。在編碼復(fù)雜度方面，場(chǎng)景視頻編碼未改變編碼框架，仍采用預(yù)測(cè)、變換和量化的編碼技術(shù)，保持了現(xiàn)有編碼技術(shù)相近的時(shí)間復(fù)雜度，編解碼器只增加了存儲(chǔ)場(chǎng)景圖像的緩沖存儲(chǔ)[11]。

圖12 AVS2的場(chǎng)景編碼

目前場(chǎng)景編碼在H.264或H.265等編碼標(biāo)準(zhǔn)中尚未引入，但在實(shí)際產(chǎn)品中，已出現(xiàn)了針對(duì)監(jiān)控視頻場(chǎng)景不變、圖像靜止的編碼優(yōu)化技術(shù)，對(duì)靜態(tài)場(chǎng)景降低幀率、碼率來(lái)實(shí)現(xiàn)進(jìn)一步的壓縮。除了視頻監(jiān)控應(yīng)用，還有視頻會(huì)議、課堂教學(xué)視頻、桌面云等一系列應(yīng)用，都有著視頻場(chǎng)景不變或切換不頻繁的特點(diǎn)，結(jié)合這些應(yīng)用的特點(diǎn)，對(duì)場(chǎng)景加以分析和利用，以便獲取更高壓縮比，是視頻編碼技術(shù)發(fā)展的方向之一[12]。

4.2 云編碼

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，在云端保留了大量的圖像以及視頻，這些圖像和視頻可以用作參考，用于預(yù)測(cè)，從而實(shí)現(xiàn)云編碼，提高編碼效率。

云編碼對(duì)云端的大量圖像和視頻數(shù)據(jù)中提取共性的對(duì)象，形成共享的視覺(jué)詞典。圖13描述了云編碼的技術(shù)特征，當(dāng)新的圖像或視頻需要進(jìn)行壓縮時(shí)，首先分析圖像中的典型編碼對(duì)象，和云端的視覺(jué)對(duì)象進(jìn)行對(duì)比，記錄視覺(jué)詞典的索引后，只編碼有差異的部分[12]。當(dāng)前已有研究工作嘗試了采用SIFT方法提取圖像特征，在云平臺(tái)進(jìn)行特征匹配以實(shí)現(xiàn)圖像壓縮編碼[13]。

云編碼不僅能夠從已有海量圖像視頻數(shù)據(jù)中獲取視頻編碼的先驗(yàn)知識(shí)，提高編碼效率，還能夠利用云端豐富的計(jì)算資源，降低終端編碼復(fù)雜度，是值得深入研究的視頻編碼方向之一。

圖13 云編碼技術(shù)特征

4.3 深度學(xué)習(xí)視頻編碼

隨著計(jì)算能力和數(shù)據(jù)量的提升，深度學(xué)習(xí)成為當(dāng)前人工智能研究的熱點(diǎn)之一。通過(guò)大批量數(shù)據(jù)訓(xùn)練，深度網(wǎng)絡(luò)模型能夠自動(dòng)發(fā)現(xiàn)和提取圖像特征，已普遍應(yīng)用在人臉識(shí)別、圖像分割、目標(biāo)檢測(cè)等任務(wù)上，并取得了優(yōu)于傳統(tǒng)手工特征方法的檢測(cè)和識(shí)別性能。

在圖像編碼領(lǐng)域，Google和MIT的研究人員也開(kāi)始研究采用深度學(xué)習(xí)進(jìn)行圖像和視頻壓縮編碼[14,15]。Google在2016年提出了一種基于神經(jīng)網(wǎng)絡(luò)的有損圖像壓縮方法，采用了基于遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的編碼和解碼器以及二值化和熵編碼神經(jīng)網(wǎng)絡(luò)，在柯達(dá)圖像集合上取得了優(yōu)于JPEG算法的壓縮性能[14]。MIT提出了生成壓縮的概念，采用生成網(wǎng)絡(luò)（generative network）進(jìn)行編碼壓縮。圖14對(duì)比了生成壓縮和JPEG2000的效果，MIT在論文中特別提出和傳統(tǒng)圖像視頻壓縮算法依賴手工設(shè)計(jì)編碼器相比，生成神經(jīng)網(wǎng)絡(luò)具有自動(dòng)特征提取的優(yōu)勢(shì)，將是視頻編碼的重要發(fā)展方向[15]。

4.4 立體視頻編碼

為滿足3D電視、全景視頻的需求，H.264等視頻編碼標(biāo)準(zhǔn)制定了多視點(diǎn)視頻編碼的算法。近年來(lái)，隨著 VR的發(fā)展，立體視頻編碼仍是視頻編碼的研究熱點(diǎn)之一[16]，HEVC也開(kāi)展了面向多視點(diǎn)和深度信息的編碼研究。立體視頻編碼時(shí)，不僅需要去除某一視點(diǎn)內(nèi)的空間和時(shí)間冗余，還需要去除不同視點(diǎn)間的空間和時(shí)間冗余，同時(shí)還需要對(duì)深度圖進(jìn)行壓縮編碼。相比對(duì)每個(gè)視點(diǎn)視頻獨(dú)立編碼傳輸，立體視頻編碼能夠顯著降低碼率，隨著 VR設(shè)備和應(yīng)用的增長(zhǎng)，立體視頻編碼也將逐步得到應(yīng)用。

圖14 生成壓縮效果對(duì)比

5 結(jié)束語(yǔ)

HEVC和 AVS2是當(dāng)前最新制定的視頻編碼標(biāo)準(zhǔn)，在互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和可穿戴等領(lǐng)域都有廣泛應(yīng)用[17-19]。HEVC和AVS2雖然仍采用了基于預(yù)測(cè)/變換的編碼框架，但引入了很多先進(jìn)的編碼技術(shù)。在編碼單元上，可以是 16×16像素、32×32像素或者64×64像素，并能夠進(jìn)一步靈活劃分為預(yù)測(cè)單元和變換單元；在幀內(nèi)預(yù)測(cè)環(huán)節(jié)，可以有33種預(yù)測(cè)方向；在幀間預(yù)測(cè)環(huán)節(jié)，采用了更高精度的子像素插值和高效的運(yùn)動(dòng)矢量編碼；在環(huán)路濾波環(huán)節(jié)，新增加了樣本自適應(yīng)補(bǔ)償。本文首先介紹了視頻編碼的通用框架，隨后總結(jié)了這些編碼新技術(shù)。最后，本文對(duì)視頻編碼技術(shù)進(jìn)行了展望，提出了場(chǎng)景視頻編碼、云編碼、深度學(xué)習(xí)視頻編碼等可能的發(fā)展新方向。

[1]沈燕飛, 李錦濤, 朱珍民, 等. 高效視頻編碼[J]. 計(jì)算機(jī)學(xué)報(bào), 2013, 36(11) : 2340-2355. SHEN Y F, LI J T, ZHU Z M, et al. High efficient video coding[J]. Chinese Journal of Computers, 2013, 36(11): 2340-2355.

[2]SULLIVAN G J. OHM J R, HAN W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. Transactions on Circuits and Systems for Video Technology, 2012, 22(11): 1649-1688.

[3]馬思偉. AVS視頻編碼標(biāo)準(zhǔn)技術(shù)回顧及最新進(jìn)展[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(1): 27-37. MA S W. History and recent developments of AVS video coding standards[J]. Journal of Computer Research and Development, 2015, 52(1): 27-37.

[4]WANG S S, LUO F L, MA S W. Overview of the second generation AVS video coding standard(AVS2)[J]. ZTE Communications, 2016, 1(1): 3-11.

[5]朱秀昌, 李欣, 陳杰. 新一代視頻編碼標(biāo)準(zhǔn)——HEVC[J]. 南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版), 2013, 33(3): 1-11. ZHU X C, LI X, CHEN J. Next generation video coding stan-dard—HEVC[J]. Journal of Nanjing University of Posts and Telecommunications(Natural Science), 2013, 33(3): 1-11.

[6]周作成, 賈克斌. 新一代視頻編碼標(biāo)準(zhǔn)HEVC關(guān)鍵技術(shù)及其應(yīng)用[J]. 北京工業(yè)大學(xué)學(xué)報(bào), 2014, 40(10): 1489-1496. ZHOU Z C, JIA K B. Key technologies and applications of next generation video coding standard HEVC[J]. Journal of Beijing University of Technology, 2014, 40(10): 1489-1496.

[7]趙耀, 黃晗, 林春雨, 等. 新一代視頻編碼標(biāo)準(zhǔn) HEVC的關(guān)鍵技術(shù)[J]. 數(shù)據(jù)采集與處理, 2014, 29(1): 1-10. ZHAO Y, HUANG H, LIN C Y, et al. Key techniques in new video coding standard HEVC[J]. Journal of Data Acquisition and Processing, 2014, 29(1): 1-10.

[8]朱秀昌, 劉峰, 胡棟. H.265/HEVC視頻編碼新標(biāo)準(zhǔn)及其擴(kuò)展[M]. 北京: 電子工業(yè)出版社, 2016. ZHU X C, LIU F, HU D. H.265/HEVC video coding standard[M]. Beijing: Publishing House of Electronices Industry, 2016.

[9]SZE V, BUDAGAVI M, SULLIVAN G J. High efficiency video coding (HEVC) algorithms and architectures[M]. Heidelberg: Springer, 2014.

[10]YANG J Y, DONG S W, TIAN Y H, et al. Introductions to AVS2 scene video coding techniques[J]. ZTE Communications, 2016(1): 50-53.

[11]ZHANG X G, LIANG L H, HUANG Q, et al. An efficient cod ing scheme for surveillance videos captured by stationary cameras[C]//2010 SPIE Conference on Visual Communications and Image Processing, July 11, 2010, Huangshan, China. Bellingham: SPIE Press, 2010: 77442A-1-10.

[12]黃鐵軍. AVS2標(biāo)準(zhǔn)及未來(lái)展望[J]. 電視技術(shù), 2014, 38(22) : 7-10. HUANG T J. AVS2 standard and prospective[J]. Video Engineering, 2014, 38(22) : 7-10.

[13]YUE H J, SUN X Y, WU F, et al. SIFT-based image compression[C]//2012 IEEE International Conference on Multimedia and Expo, July 9-13, 2012, Los Alamitos, USA. New Jersey: IEEE Press, 2012: 473-478.

[14]TODERICI G, VINCENT D, JOHNSTON N, et al. Full resolution image compression with recurrent neural networks[J]. ar-Xiv: 1608.05148v118.

[15]SANTURKAR S, BUDDENY D, SHAVIT N. Generative compression[J]. arXiv:1703.01467v2.

[16]黎洪松, 程福林, 艾新宇. 視頻編碼技術(shù)的若干新進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究, 2016, 33(8): 2246-2254. LI H S, CHENG F L, AI X Y. Survey on some new advances in video coding technology[J]. Application Research of Computers, 2016, 33(8): 2246-2254.

[17]魏崢, 施唯佳, 祝谷喬. 互聯(lián)網(wǎng)視頻中多屏互動(dòng)技術(shù)的應(yīng)用[J]. 電信科學(xué), 2014, 30(5): 27-32, 39. WEI Z,SHI W J,ZHU G Q. Multi-screen interaction technologies on internet streaming video[J]. Telecommunications Science, 2014, 30(5): 27-32, 39.

[18]毛彤, 周開(kāi)宇. 可穿戴設(shè)備綜合分析及建議[J]. 電信科學(xué), 2014, 30(10): 134-142. MAO T, ZHOU K Y. Discussion about the influence of wearable device on mobile operators’ service[J]. Telecommunications Science, 2014, 30(10): 134-142.

[19]魏穎琪, 林瑋平, 李穎, 等. 物聯(lián)網(wǎng)智能終端技術(shù)研究[J]. 電信科學(xué), 2015, 31(8): 146-152. WEI Y Q, LIN W P, LI Y, et al. Study on key technologies of intelligent IoT device[J]. Telecommunications Science, 2015, 31(8): 146-152.

聶秀英（1965?），女，中國(guó)信息通信研究院教授級(jí)高級(jí)工程師，擔(dān)任IEC TC1中國(guó)專家、SAC/TC232委員、CCSA TC1 WG3組長(zhǎng)等，主要從事數(shù)據(jù)通信、多媒體通信、互聯(lián)網(wǎng)、現(xiàn)代服務(wù)業(yè)等領(lǐng)域研究和標(biāo)準(zhǔn)制定工作。獲得國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)1項(xiàng)，省部級(jí)科學(xué)技術(shù)進(jìn)步獎(jiǎng)多項(xiàng)。出版著作兩部，發(fā)表論文60多篇，向ITU-T 提交文稿20多篇。

黃更生（1962?），男，博士，中國(guó)移動(dòng)通信有限公司研究院業(yè)務(wù)所所長(zhǎng)、主任研究員，中國(guó)移動(dòng)技術(shù)咨詢委員會(huì)業(yè)務(wù)領(lǐng)域?qū)＜椅瘑T。

Recent development and prospective of video coding

GUO Meng1, NIE Xiuying2, HUANG Gengsheng1
1. China Mobile Research Institute, Beijing 100053, China 2. China Academy of Information and Communications Technology, Beijing 100191, China

The next generation video coding standard HEVC(high efficiency video coding) and AVS2 have been developed.The key technologies of video coding were surveyed, specifically including coding unit, intra-prediction, inter-prediction and de-blocking filter. Besides that, the new development directions were analyzed and discussed, such as scene video coding, cloud coding, deep learning video coding, and so on.

video coding, HEVC, AVS2

TN919

A

10.11959/j.issn.1000?0801.2017246

郭勐（1981?），男，博士，中國(guó)移動(dòng)通信有限公司研究院高級(jí)工程師、項(xiàng)目經(jīng)理，主要研究方向?yàn)橐粢曨l編碼、視頻云和人工智能等。

2017?07?15；

2017?08?07