從H.264向H.265的數(shù)字視頻壓縮技術(shù)升級(jí)

劉國(guó)梁

（北京鐵路通信技術(shù)中心，北京 ）

H.264，又稱MPEG-4 part10，也稱AVC（Advanced Video Coding），是一個(gè)數(shù)字視頻壓縮標(biāo)準(zhǔn)，由VCEG（ITU-T Video Coding Experts Group）和MPEG（ISO/IEC Moving Picture Experts Group）聯(lián)合組成的JVT（Joint Video Team）開(kāi)發(fā)，于2003年5月發(fā)布公開(kāi)使用的第一個(gè)草稿版本。

H.264和以前的標(biāo)準(zhǔn)一樣，也是DPCM加變換編碼的混合編碼模式。但它采用“回歸基本”的簡(jiǎn)潔設(shè)計(jì)，不用眾多的選項(xiàng)，獲得更好的壓縮性能；同時(shí)它加強(qiáng)了對(duì)各種信道的適應(yīng)能力，采用“網(wǎng)絡(luò)友好”的結(jié)構(gòu)和語(yǔ)法，有利于對(duì)誤碼和丟包的處理。H.264的應(yīng)用目標(biāo)范圍較寬，以滿足不同速率、不同解析度以及不同傳輸（存儲(chǔ)）場(chǎng)合的需求，涵蓋目前大部分的視頻服務(wù)，如有線電視遠(yuǎn)程監(jiān)控、交互媒體、數(shù)字電視、視頻會(huì)議、視頻點(diǎn)播和流媒體服務(wù)等。

1 H.264的關(guān)鍵技術(shù)及優(yōu)勢(shì)

H.264編碼的壓縮過(guò)程，繼承了以往的數(shù)字視頻壓縮協(xié)議，把圖像分成單個(gè)宏塊（16×16），以宏塊為單位進(jìn)行壓縮，在數(shù)字視頻壓縮效率提升的技術(shù)演進(jìn)中，H.264引入了大量的技術(shù)改進(jìn)點(diǎn)，如圖1所示為一個(gè)宏塊的編碼過(guò)程。

圖1中的關(guān)鍵技術(shù)點(diǎn)也正是H.264的優(yōu)勢(shì)所在。

1）多參考幀。

H.264引入了每幀多達(dá)16個(gè)參考幀的參考技術(shù)，相對(duì)于以往的數(shù)字視頻壓縮協(xié)議，H.264的多參考幀技術(shù)更加靈活可變。

2）多變的幀間塊類型。

H.264可以使用最大16×16、最小4×4的幀間塊類型，每個(gè)宏塊的亮度預(yù)測(cè)塊大小可以劃分為16×16、16×8、8×16、8×8四種分割塊，每個(gè)分割塊可以使用不同的預(yù)測(cè)矢量和參考幀圖像，而在8×8分割塊模式下，每個(gè)8×8又可以分割成8×8、8×4、4×8、4×4四種子分割塊，每個(gè)子分割塊可以使用不同的預(yù)測(cè)矢量。因此，對(duì)于單向預(yù)測(cè)的每個(gè)宏塊，同時(shí)可多達(dá)4個(gè)參考幀和16個(gè)預(yù)測(cè)矢量，可以對(duì)預(yù)測(cè)區(qū)域進(jìn)行更加精確的分割，進(jìn)一步提高預(yù)測(cè)進(jìn)度。

3）亞像素預(yù)測(cè)。

H.264的半像素預(yù)測(cè)樣點(diǎn)使用了一個(gè)類似于低通濾波的6階濾波器， 相對(duì)于以往的數(shù)字視頻壓縮亞像素插值算法，H.264能夠更加提高半像素的預(yù)測(cè)效率，而1/4像素使用半像素的線性插值，即進(jìn)一步提升了半像素的濾波效率，又可以降低1/4像素的處理功耗。

4）加權(quán)預(yù)測(cè)。

加權(quán)預(yù)測(cè)的使用，可以在雙向預(yù)測(cè)時(shí)使用不同的加權(quán)系數(shù)對(duì)雙向參考進(jìn)行抽樣，生成加權(quán)后的預(yù)測(cè)值，這種處理對(duì)于一些淡入淡出、交叉淡出過(guò)渡的數(shù)字視頻場(chǎng)景具有非常明顯的預(yù)測(cè)效率提升作用。

5）幀內(nèi)預(yù)測(cè)。

H.264在幀內(nèi)預(yù)測(cè)的實(shí)現(xiàn)上相對(duì)于以往協(xié)議有明顯的改進(jìn)，規(guī)定了4種16×16、9種8×8、9種4×4和4種色度8×8的預(yù)測(cè)模式，允許使用左側(cè)和上側(cè)像素點(diǎn)進(jìn)行預(yù)測(cè)的方法，可以明顯提高在空間域上相似性很高的圖像幀內(nèi)壓縮效率。

6）整型變換。

相對(duì)于以往的數(shù)字視頻壓縮協(xié)議，H.264第一次引入了整型變換的實(shí)現(xiàn)方式，包括4×4和8×8 2種自適應(yīng)的變換方法。整型變換的引入，一方面可以大大降低H.264實(shí)現(xiàn)的功耗，另一方面由于整型變換沒(méi)有以往協(xié)議中浮點(diǎn)運(yùn)算帶來(lái)的進(jìn)度損失問(wèn)題，可以更大程度提高殘差變化后的解碼魯棒性。

7）直流系數(shù)的二級(jí)變換。

直流系數(shù)（DC系數(shù)），又稱低頻系數(shù)，H.264規(guī)定幀內(nèi)預(yù)測(cè)時(shí)，在一級(jí)整型變換之后使用二級(jí)直流系數(shù)的Hardmard變換，可以將各個(gè)DCT變換塊的DC系數(shù)進(jìn)一步壓縮，這種變換在平坦區(qū)域的壓縮效率提升非常明顯。

8）量化。

H.264規(guī)定使用一個(gè)對(duì)數(shù)步長(zhǎng)的量化矩陣，更有利于編碼器計(jì)算和控制壓縮效率，實(shí)現(xiàn)更加精準(zhǔn)的碼率控制算法，同時(shí)規(guī)定了量化的整型運(yùn)算過(guò)程，也可以更有利于反變換的簡(jiǎn)化實(shí)現(xiàn)。另外，H.264允許用戶使用自定義的量化系數(shù)矩陣，這種方式可以使客戶再一步優(yōu)化自己的編碼器，使得編碼量化過(guò)程可以根據(jù)量化系數(shù)的分布概率進(jìn)行優(yōu)化，進(jìn)一步提升壓縮效率。

9）去塊效應(yīng)濾波器。

H.264規(guī)定一個(gè)編解碼環(huán)內(nèi)（in-loop）的去塊效應(yīng)濾波器，引入針對(duì)內(nèi)容檢測(cè)判決的濾波算法，能夠保證畫面內(nèi)容的同時(shí)，又能夠大大降低由于塊變換和量化帶來(lái)的方塊效應(yīng)，去塊效應(yīng)濾波器的使用能夠明顯提升輸出畫面的視覺(jué)效果，同時(shí)也能夠增加參考圖像的預(yù)測(cè)效率，進(jìn)一步提升壓縮效率。

10）熵編碼。

H.264的熵編碼主要包含兩部分：一是針對(duì)語(yǔ)法元素的熵編碼，包括對(duì)參數(shù)信息、宏塊模式信息、預(yù)測(cè)矢量信息等，使用的是哥倫布指數(shù)編碼方法（Exp-Golomb），這種方法能夠?qū)Ω吒怕食霈F(xiàn)的低數(shù)值系數(shù)使用最少的比特?cái)?shù)，根據(jù)概率最大化的壓縮參數(shù)信息；二是針對(duì)量化后殘差系數(shù)的熵編碼方法，有CAVLC和CABAC兩種，其中CAVLC是一種低復(fù)雜度，基于上下文自適應(yīng)的熵編碼方法，其系數(shù)的比特?cái)?shù)設(shè)計(jì)是根據(jù)經(jīng)驗(yàn)統(tǒng)計(jì)的概率分布情況對(duì)H.264系數(shù)進(jìn)行碼表設(shè)計(jì)，應(yīng)用時(shí)根據(jù)實(shí)際的系數(shù)分布狀況進(jìn)行上下文關(guān)聯(lián)查表編碼，而CABAC是一種基于內(nèi)容的算術(shù)編碼方法，復(fù)雜度比CAVLC更高，壓縮效率也比CAVLC更高。

11）場(chǎng)編碼。

針對(duì)特定的隔行掃描視頻（又稱場(chǎng)視頻），H.264專門定義了一種編碼方法，稱之為場(chǎng)編碼，包括幀級(jí)自適應(yīng)和宏塊級(jí)自適應(yīng)2種編碼方法，可以更加靈活的判斷隔行圖像掃描場(chǎng)景，大大提升隔行掃描視頻的編碼效率。

2 H.264缺點(diǎn)分析

H.264的草稿于2003年5月份就發(fā)布了，其后不斷的更新也主要是一些特定應(yīng)用場(chǎng)景的補(bǔ)充，幾個(gè)主要的補(bǔ)充包括：2005年補(bǔ)充的用于更高像素點(diǎn)采樣的Hi10 Profile、Hi422 Profile、Hi444 Profile，2007年補(bǔ)充的應(yīng)用于異構(gòu)網(wǎng)絡(luò)的H.264-SVC（Scalable Video Coding），2009年補(bǔ)充的應(yīng)用于3D立體數(shù)字視頻的H.264-MVC（Multiview Video Coding）。

對(duì)于宏塊級(jí)數(shù)字視頻壓縮的處理過(guò)程，H.264沒(méi)有任何的修改，包括幀間預(yù)測(cè)、幀內(nèi)預(yù)測(cè)、變換量化、熵編碼和去塊效應(yīng)處理過(guò)程，都還一直保持著2003年草稿發(fā)布時(shí)的實(shí)現(xiàn)方式。也就是說(shuō)H.264核心壓縮原理一直沒(méi)有調(diào)整更新。

但是隨著數(shù)字視頻應(yīng)用產(chǎn)業(yè)鏈的快速發(fā)展，特別是從2005年高清數(shù)字視頻的普及應(yīng)用開(kāi)始，原有的標(biāo)清數(shù)字視頻應(yīng)用已經(jīng)快速走向淘汰，數(shù)字視頻的應(yīng)用格式從720 P到1 080 P，數(shù)字視頻幀率從30 fps到60 fps，短短幾年就不斷的突破發(fā)展。站在H.264的角度觀察高清數(shù)字視頻相對(duì)于原來(lái)的標(biāo)清數(shù)字視頻，不只是分辨率的提升，還有以下的顯著特點(diǎn)。

1）宏塊個(gè)數(shù)的爆發(fā)式增加。以前的標(biāo)清數(shù)字視頻，比如PAL格式的標(biāo)清為720×57 650 Hz，每秒鐘的宏塊個(gè)數(shù)為：MBs_PAL/s=(720×576×25)/256=40500；但是一個(gè)720P 60 fps的數(shù)字視頻，其每秒鐘的宏塊個(gè)數(shù)為MBs_720P60/s=

(1280×720×60)/256=216000，是PAL數(shù)字視頻的5.3倍；一個(gè)1080P 60 fps的數(shù)字視頻，其每秒鐘的宏塊個(gè)數(shù)為MBs_1080P60/s=(1920×1088×60)/256=489600，是PAL數(shù)字視頻12.1倍。

2）宏塊內(nèi)容復(fù)雜度的降低化。以前的標(biāo)清數(shù)字視頻，需要在一個(gè)有限的分辨率畫面中包含盡可能多的畫面內(nèi)容，因此平均分配到一個(gè)宏塊中的畫面內(nèi)容就會(huì)比較復(fù)雜，而進(jìn)入高清數(shù)字視頻之后，攝像頭的攝像角度基本上沒(méi)有太多的增加，但是由于分辨率的增加，因此平均分配到每個(gè)宏塊中的畫面內(nèi)容相對(duì)會(huì)更加簡(jiǎn)單，如圖2所示，左側(cè)為低分辨率中一個(gè)宏塊包含的內(nèi)容，右側(cè)為高分辨率下同樣的內(nèi)容分到多個(gè)宏塊中了，相對(duì)來(lái)說(shuō)每個(gè)宏塊的內(nèi)容復(fù)雜度已經(jīng)大大降低，單個(gè)宏塊的編碼效率是可以提高的。

3）運(yùn)動(dòng)矢量數(shù)值的大幅度增加。相對(duì)于一個(gè)PAL（720×576）的標(biāo)清數(shù)字視頻，如果物體在兩幀時(shí)間內(nèi)從畫面左側(cè)高速運(yùn)動(dòng)到畫面右側(cè)，其運(yùn)動(dòng)矢量就是720，但是對(duì)于1080P（1920×1080）的高清數(shù)字視頻，如果物體在兩幀時(shí)間內(nèi)從畫面左側(cè)高速運(yùn)動(dòng)到畫面右側(cè)，其運(yùn)動(dòng)矢量就是1920了。如圖3所示，左側(cè)畫面為一個(gè)水平分辨率為704的數(shù)字視頻畫面，右側(cè)畫面為一個(gè)水平分辨率為1280的畫面。同樣的運(yùn)動(dòng)場(chǎng)景，在左側(cè)畫面中，MV使用32就可以描述了，但是在右側(cè)畫面中，MV需要使用58才能描述該運(yùn)動(dòng)矢量。

前文已經(jīng)指出，H.264是以16×16的宏塊單位進(jìn)行編碼的，所以對(duì)于高清數(shù)字視頻圖像具有如下特點(diǎn)。

①宏塊個(gè)數(shù)的爆發(fā)式增長(zhǎng)，會(huì)導(dǎo)致每個(gè)編碼宏塊的預(yù)測(cè)模式、運(yùn)動(dòng)矢量、參考幀索引和量化級(jí)等宏塊級(jí)的參數(shù)信息在海量的高清數(shù)字視頻宏塊個(gè)數(shù)中，占用太多的碼流資源，在有限的帶寬資源中，分配給真正描述圖像內(nèi)容的殘差系數(shù)信息的可用帶寬明顯減少了。

②單個(gè)宏塊內(nèi)容復(fù)雜度的降低化，導(dǎo)致一個(gè)4×4或8×8塊內(nèi)的變換系數(shù)也傾向于低頻化，相鄰的4×4或8×8塊變換后的低頻系數(shù)相似程度也大大提高，也就是說(shuō)，以4×4或8×8為單位的變換并不能提高低頻系數(shù)的壓縮效率，由于變換塊的顆粒度太小，會(huì)導(dǎo)致高清數(shù)字視頻編碼時(shí)，在相鄰的變換塊之間出現(xiàn)大量的數(shù)值比較接近的低頻系數(shù)。

③H.264的宏塊信息中，前文已經(jīng)提到，對(duì)于一個(gè)單向預(yù)測(cè)的宏塊，H.264的運(yùn)動(dòng)矢量水平和垂直加起來(lái)最少2個(gè)最大32個(gè)，對(duì)運(yùn)動(dòng)矢量預(yù)測(cè)值使用的是哥倫布指數(shù)編碼，該編碼方式的特點(diǎn)是數(shù)值越小使用的比特?cái)?shù)越少，由于高清數(shù)字視頻的應(yīng)用，運(yùn)動(dòng)矢量數(shù)值會(huì)大幅度增加，導(dǎo)致的結(jié)果就是用來(lái)描述運(yùn)動(dòng)矢量數(shù)值的比特?cái)?shù)也大幅度增加。

④H.264使用的熵編碼方式為CAVLC和CABAC 2種，這2種都是基于上下文的編碼方法，都要求編碼過(guò)程為串行編碼，由于并行度太低，這種方式在H.264的產(chǎn)業(yè)化實(shí)現(xiàn)過(guò)程中，特別是針對(duì)GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，熵編碼和熵解碼的串行化處理是非常浪費(fèi)資源的。

3 下一代視頻編碼協(xié)議展望

目前，由MPEG和VCEG組成的國(guó)際數(shù)字視頻壓縮標(biāo)準(zhǔn)組織JVT已經(jīng)啟動(dòng)了下一代數(shù)字視頻壓縮標(biāo)準(zhǔn)的規(guī)劃，并且于2010年10月份完成第三次JVT會(huì)議，下一代數(shù)字視頻壓縮標(biāo)準(zhǔn)目前命名為HEVC（High Efficiency Video Coding）,即H.265，目標(biāo)是在H.264標(biāo)準(zhǔn)2～4倍的復(fù)雜度基礎(chǔ)上，將壓縮效率提升一倍以上。下一代數(shù)字視頻標(biāo)準(zhǔn)主要有以下幾個(gè)方向的技術(shù)提升。

更大的宏塊類型，相對(duì)于H.264的16×16宏塊類型，H.265引入了32×32、64×64甚至于128×128的宏塊類型，目的在于減少高清數(shù)字視頻的宏塊個(gè)數(shù)，減少用于描述宏塊內(nèi)容的參數(shù)信息。

1）更大的變換塊，H.265會(huì)繼續(xù)使用H.264的整型變換算法，但是在H.264的4×4和8×8變換塊基礎(chǔ)上，擴(kuò)充到16×16、32×32甚至于64×64的變換和量化算法，用于大大減少H.264中變換相鄰塊間的相似系數(shù)。

2）使用一種新的MV（運(yùn)動(dòng)矢量）預(yù)測(cè)方式，H.265提出了多種MV預(yù)測(cè)方式，目前的標(biāo)準(zhǔn)工作組還在評(píng)估各算法的優(yōu)劣，并沒(méi)有確定最終的MV預(yù)測(cè)算法，但是肯定有別于H.264中只限于水平和垂直MVD的哥倫布指數(shù)編碼，畢竟該方法在高清數(shù)字視頻中的編碼效率確實(shí)較低。

3）H.265會(huì)引入更加復(fù)雜的幀內(nèi)預(yù)測(cè)方法，在H.264中使用的最多9種的幀內(nèi)預(yù)測(cè)方法，由于宏塊類型的擴(kuò)大，幀內(nèi)模式的特征方向性也更加復(fù)雜，H.265會(huì)擴(kuò)充更加多的方向進(jìn)行幀內(nèi)的預(yù)測(cè)。

4）熵編碼的改進(jìn)主要是在現(xiàn)有H.264 CAVLC和CABAC基礎(chǔ)上，使用并行度更高的熵編碼算法，會(huì)更有利于H.265在GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU上快速高效的產(chǎn)業(yè)化。

5）相對(duì)于原來(lái)H.264去塊效應(yīng)濾波器的處理，H.265提出多個(gè)更加靈活的自適應(yīng)去塊效應(yīng)濾波器，包括in-loop和out-loop，目的是為了進(jìn)一步提高解碼輸出的數(shù)字視頻效果，以及進(jìn)一步提高參考圖像的參考價(jià)值。

H．265標(biāo)準(zhǔn)的發(fā)布和成熟都還有待所采用的編碼技術(shù)和當(dāng)前網(wǎng)絡(luò)技術(shù)的發(fā)展。伴隨著其他應(yīng)用領(lǐng)域的發(fā)展需求和硬件技術(shù)的發(fā)展，H．265的推出只是時(shí)間問(wèn)題。國(guó)際標(biāo)準(zhǔn)組織也是跟隨著產(chǎn)業(yè)鏈的發(fā)展趨勢(shì)，在對(duì)未來(lái)數(shù)字視頻的發(fā)展做出預(yù)測(cè)之后，組織并啟動(dòng)了下一代數(shù)字視頻壓縮算法的標(biāo)準(zhǔn)制定工作，從目前的標(biāo)準(zhǔn)工作來(lái)看，計(jì)劃在2013年2月正式發(fā)布下一代數(shù)字視頻壓縮的標(biāo)準(zhǔn)HEVC（H.265）。H．265標(biāo)準(zhǔn)的發(fā)展和成熟應(yīng)類似于H．264，也將是多種編碼方法和工具的混合使用，實(shí)現(xiàn)編碼效率，編碼復(fù)雜度，圖像質(zhì)量等方面的平衡，它的發(fā)展也必將把視頻編碼理論技術(shù)和應(yīng)用推向一個(gè)新的時(shí)期。

[1] H.264數(shù)字視頻壓縮技術(shù)詳解[EB/OL]．[2011-02-17].http://wenku.baidu.com/view/b1a720d4b9f3f90f76c61bad.html

[2]安訊士．H.264視頻壓縮標(biāo)準(zhǔn)拓展視頻監(jiān)控的潛力[EB/OL]．[2009-02-16]．http://info.secu.hc360.com/2009/02/161125150848.shtml

[3]陳清．H.265標(biāo)準(zhǔn)現(xiàn)狀和發(fā)展應(yīng)用趨勢(shì)[J]．中國(guó)多媒體通信，2008（10):12-15．