AVS3視頻編碼關鍵技術及應用

張嘉琪 雷萌 馬思偉

摘要：超高清（UHD）視頻能為用戶帶來質量更高、沉浸感更強的視覺體驗，但高帶寬成本限制了其推廣和應用。為解決超高清視頻傳輸和存儲的難題，中國數(shù)字音視頻編解碼技術標準（AVS）工作組制定了新一代視頻編碼標準——AVS3，并在超高清產業(yè)化應用方面取得重要進展。介紹了AVS3視頻編碼關鍵技術，以及其與AVS2、多功能視頻編碼（VVC）、開放媒體聯(lián)盟視頻（AV1）等標準的性能對比情況。

關鍵詞：視頻編碼；AVS3；超高清

Abstract： Ultra-high definition （UHD） videos can provide users a higher quality and more immersive visual experiences. However， the application of UHD is limited by high bandwidth cost. To solve the transmission and storage problem of UHD， China Audio and Video Coding Standard （AVS） workgroup established a new generation of video coding standard—AVS3. Currently， AVS3 has made a great contribution to the development of UHD industries in China. Key technologies of AVS3 are described， and a comprehensive comparison with AVS2， versatile video coding （VVC） and alliance for open media video 1 （AV1） is conducted.

Keywords： video coding； AVS3； UHD

視覺是人類獲取信息的重要來源，視頻承載了海量非結構化視覺信息，是應用最廣泛的多媒體數(shù)據(jù)格式，它與人們的生活息息相關，是人類獲取信息的重要途經之一。目前，互聯(lián)網70%以上的流量來自于圖片和視頻，并且這個比例仍在持續(xù)攀升[1]，視頻已成為網絡上體量最大的數(shù)據(jù)格式。據(jù)統(tǒng)計[1]，2017年標清和高清視頻內容約各占視頻流量的一半；2019年標清內容的占比約下降到1/3，高清內容成為主流，而超高清內容的占比正在逐步攀升；預計到2022年，超高清內容的占比約提升到1/4。

超高清視頻具有更高的空間和時間分辨率、更廣的色域和更寬的動態(tài)范圍，是繼視頻數(shù)字化、高清化之后的新一輪重大技術革新。視頻技術從高清向超高清的演進，不僅引發(fā)了內容制播、芯片制造、網絡傳輸?shù)犬a業(yè)鏈各環(huán)節(jié)的升級換代，而且驅動了廣播電視、安防監(jiān)控、智能交通等以視頻為核心的行業(yè)服務轉型。自2018年起，中國超高清視頻產業(yè)已達萬億元級別。預計到2022年，中國超高清視頻產業(yè)總體規(guī)模將超過4萬億元[2]。

成倍增長的數(shù)據(jù)量給超高清視頻的高效傳輸和存儲帶來了巨大的挑戰(zhàn)。以8K、10 bit、120幀/秒的YUV（一種顏色編碼方法）420格式的超高清視頻為例，其原始數(shù)據(jù)的碼率會達到約88.99 Gbit/s。若采用第2代數(shù)字音視頻編解碼技術標準（AVS2）/高效視頻編碼（HEVC）[3-4]標準對原始數(shù)據(jù)進行壓縮，壓縮碼率約310 Mbit/s，帶寬傳輸壓力極大。因此，超高清視頻應用迫切需要更加高效的壓縮技術。

為解決超高清視頻帶寬需求大、存儲難等問題，中國AVS工作組率先展開了具有自主知識產權的、針對超高清視頻的視頻編碼標準的制定工作。在2017年12月舉行的會議中，AVS工作組決定開展面向超高清視頻應用的新一代數(shù)字視頻編碼標準（以下簡稱AVS3）的制定工作。AVS3的制定工作分為兩個階段：第1階段（基準檔次）是從2018年3月到2019年6月，制定面向復雜度優(yōu)先的應用，其性能相較于AVS2提升30%；第2階段（增強檔次）是從2019年6月到2021年12月，目標是編碼效率比AVS2提升1倍以上，同時編碼性能超越同時代的其他國際標準。2020年5月13日，AVS3基準檔次標準正式獲批并被頒布為團體標準。

1 AVS3視頻編碼關鍵技術

AVS工作組自2002年成立以來，一直致力于制定高壓縮率和友好專利政策的視頻編碼標準。經歷了19年的發(fā)展，AVS工作組已經制定從AVS1到AVS3這3代視頻編碼標準。面向超高清視頻應用，AVS3沿用了基于塊的預測變換混合編碼框架，具體如圖1所示。AVS3包括塊劃分、幀內預測、幀間預測、變換量化、熵編碼、環(huán)路濾波等模塊。相較于AVS2，AVS3在保留部分編碼工具的同時，針對不同模塊引入了一些新的編碼工具[5]，并采用了更靈活的塊劃分結構、更精細的預測模式、更具適應性的變換核，實現(xiàn)了約30%的碼率節(jié)省，顯著提升了編碼效率。

1.1 塊劃分

如圖2（a）所示，AVS2采用了基于四叉樹（QT）的遞歸劃分編碼框架，每個編碼單元（CU）的尺寸都是方形且允許被進一步劃分為不同形狀的預測單元（PU）。為提升劃分的靈活性，AVS3引入了基于四叉、二叉（QTBT）和擴展四叉樹（EQT）的劃分方式，如圖2（b）。QTBT加EQT的劃分方式允許出現(xiàn)非方形編碼單元，編碼單元是后續(xù)預測、變換和量化的基礎，非方形劃分更加符合紋理精細和為了便于硬件實現(xiàn)，AVS3采用了局部分離樹（LST）。LST技術為了避免色度出現(xiàn)邊長等于2像素的變換塊，在亮度塊劃分時，如果亮度塊出現(xiàn)邊長等于4像素的邊，則僅對亮度塊劃分，無須對色度塊劃分。為提高硬件流水處理效率，AVS3對一些小塊添加了模式限制。當塊大小滿足限制后，該節(jié)點及其劃分得到的編碼塊的編碼模式只能全部選擇同一種預測模式，如幀間預測或幀內預測。

1.2 幀間預測

幀間預測工具可以分為3類：一類是針對跳過模式和直接模式候選項的擴充，一類是差分運動矢量（MVD）編碼，最后一類則是基于子塊的運動補償。

跳過模式和直接模式是一項使用相鄰編碼塊的運動矢量（MV）進行預測的高效編碼技術。AVS2中的跳過模式和直接模式候選項只有4個相鄰模式和1個時域模式，對圖像非相鄰結構性和紋理多變性的區(qū)域編碼效率不高。AVS3引入了基于歷史運動矢量的預測（HMVP）和高級運動矢量表達（UMVE）等技術。HMVP利用非局部相似性的原理獲取更多非相鄰的運動矢量候選，如圖3（a）所示。HMVP通過動態(tài)更新運動候選矢量列表，保留了與當前塊運動相關性最高的候選項，提高了跳過模式和直接模式、處理非局部相似性運動的能力。UMVE通過對跳過模式和直接模式候選項加入運動矢量偏移，對運動矢量進行更精細的表達，可以更好地消除視頻場景中因劇烈運動而帶來的匹配誤差。

自適應運動矢量精度（AMVR）和擴展運動矢量精度（EMVR）的引入提升了MVD的編碼效率。在AVS2中，運動矢量精度只有1/4像素和1/2像素，且無法靈活選擇。AVS3中的AMVR使用了1/4、1/2、1、2、4像素精度的運動矢量，根據(jù)視頻內容自適應地選擇預測精度，提高了幀間預測在不同區(qū)域的適應性。EMVR提供了不同的運動搜索起始點，擴大了運動矢量的搜索空間，有效提升了運動估計的準確性。

雙向光流（BIO）[6]、仿射運動（AFFINE）和解碼端運動矢量修正（DMVR）[7]等技術采用基于子塊的運動補償，提高了幀間預測準確度。基于物體運動軌跡是平滑的這一假設，BIO通過最小化每個子塊的前向和后向預測樣本之間的差異來計算運動細化差，然后使用運動細化差來調整每個子塊的預測樣本值。如圖3（b）所示，AFFINE根據(jù)仿射變換模型，利用2個（四參數(shù)）或3個（六參數(shù)）控制點的運動矢量導出當前編碼塊的運動矢量場。AFFINE運動模型相對于AVS2中的平移運動模型，可以有效提升具有縮放、旋轉、透視和其他不規(guī)則運動等性能的視頻序列編碼。DMVR將編碼區(qū)域劃分為若干個不重疊的子塊，以初始MV為起始位置，使用最小化均方誤差的模板匹配方法對當前MV進行偏移，進一步修正雙向預測樣本值。

1.3 幀內預測

幀內預測方面的新技術包括幀內預測模式擴展（EIPM）、預測像素濾波、跨分量預測等。

EIPM[8]擴展了幀內預測的角度，如圖4（a）所示。幀內預測模式從33種擴展到66種，包括62種角度模式和4種特殊模式，提高了對方向性紋理的預測能力，可以適應紋理豐富的超高清視頻內容。

幀內預測濾波包含分像素插值濾波和預測像素值濾波。多組濾波（MIPF）根據(jù)塊內像素點的個數(shù)和所在位置[9] ，使用4組不同的插值濾波器生成預測像素。多組濾波適用于不同的顏色分量和像素平滑程度，在復雜度極低的情況下，取得了可觀的性能增益。MIPF得到預測像素后，還可以對預測像素進行幀內預測濾波（IPF）。IPF使用高斯平滑濾波器，根據(jù)參考像素、預測模式和與參考像素的距離對預測像素做進一步的修正，如圖4（b）所示。跨分量預測是指在色度預測編碼過程中，通過兩步預測模式（TSCPM）對色度進行預測編碼。其原理是假定亮度和色度分量之間線性相關，通過最小二乘法求解對應線性回歸的參數(shù)，在求得參數(shù)后，使用亮度重構像素以精細重建對應位置的色度像素，在色度上取得了顯著的增益。

1.4 變換與量化

變換可以集中能量，利于熵編碼進行系數(shù)壓縮。離散余弦變換（DCT）具有很好的去相關能力[10]，且由于其對稱性有利于軟硬件實現(xiàn)，因此能夠在視頻壓縮領域得到廣泛的應用。在上一代視頻編碼標準中，DCT-II作為主要應用的變換核，適用于均勻分布的殘差變換，但缺乏處理不均勻殘差分布的能力。在AVS3中，隱則變換（IST）和子塊變換（SBT）引入了新的變換核DST-VII和DCT-VIII，能夠聚集不均勻分布殘差的能量。IST[11]通過量化塊中偶數(shù)系數(shù)個數(shù)的奇偶性隱式地導出變換核的類型，在提高變換靈活性的同時，沒有引入額外的比特消耗。基于幀間預測殘差分布的局部性，SBT把預測殘差分布的位置限制在殘差塊的1/2或者1/4區(qū)域，如圖5（a）所示，從而降低變換系數(shù)的局部分量，并減少了全零塊的編碼代價，提高了壓縮性能。

在系數(shù)編碼中，AVS3采用了一種基于掃描區(qū)域的系數(shù)編碼方案（SRCC）[12]。SRCC使用參數(shù)（SRx，SRy）控制量化系數(shù)非零的區(qū)域。為了達到碼率和失真之間的平衡以及提高系數(shù)編碼的靈活性，SRCC使用率失真優(yōu)化選擇最優(yōu)掃描區(qū)域。在掃描編碼區(qū)域內的非零系數(shù)時，SRCC采取了從右下到左上的反Z形掃描方式，如圖5（b）所示；非零系數(shù)采用了分層編碼，不同層級使用多套上下文，根據(jù)系數(shù)在掃描區(qū)域的位置和掃描區(qū)域的面積確定上下文模型。精確的上下文建模顯著提升了壓縮效率。

1.5 基于卷積神經網絡的環(huán)路濾波

為了探索神經網絡在編碼標準中的可實現(xiàn)性，AVS3工作組設立了智能編碼專題小組，對基于卷積神經網絡的環(huán)路濾波（CNNLF）[13]進行了深入探索研究。CNNLF能夠代替?zhèn)鹘y(tǒng)的去塊（Deblock）濾波和樣本自適應偏移（SAO）濾波，并取得了6%左右的性能增益。

CNNLF使用神經網絡探索視頻信號之間的非線性關系和變化規(guī)律，對視頻信號的全局信息和局部關系進行了聯(lián)合建模。得益于海量的訓練數(shù)據(jù)和算力的提升，CNNLF的網絡泛化能力要遠高于傳統(tǒng)濾波方式。CNNLF訓練時以殘差塊為單位，加速了網絡收斂過程，并且設置不同量化參數(shù)（QP）段為訓練單元，增強了網絡對QP的泛化能力。如圖6（a）所示，CNNLF的網絡由全局殘差、殘差塊、卷積層和激活層組成，采用亮度、色度分量分離訓練的方式，且亮度分量指導色度分量濾波，進一步提升色度分量的重建質量，如圖6（b）所示。

1.6 性能對比

本文中，我們首先對AVS3與AVS2進行了性能對比，測試時使用的參考軟件版本分別為參考設計模型19.5（RD 19.5）、高性能平臺4.0（HPM 4.0）和高性能平臺9.0（HPM 9.0），其中HPM 4.0和HPM 9.0分別用于測試AVS3第1階段和第2階段。測試配置為隨機訪問（RA）配置，測試結果見表1。可以看出AVS3第1階段相比AVS2平均可以獲得24%的性能提升，且對4K分辨率序列的提升更為明顯，達到了平均25%的性能提升。AVS3第2階段是基于第1階段的進一步推進。相比第1階段，AVS3第 2階段實現(xiàn)了約8%的性能提升；相比AVS2，實現(xiàn)了平均31%的性能提升，同時各分辨率序列的性能提升較為均衡，在部分4K序列上可以達到超40%的性能提升。此外，我們還測試了AVS3采用了CNNLF后的性能，如表1最右側所示可以再獲得近3%的性能提升。

我們還將AVS3和VVC[14]、開放媒體聯(lián)盟視頻標準（AV1）[15]進行了對比。我們選取了5個2K序列及6個4K序列進行測試，測試平臺分別為通用編碼測試平臺（VTM 10.0）、開放媒體聯(lián)盟視頻標準測試平臺（AOMOct）、HPM 4.0和HPM 9.0。如表2所示，VVC、AVS3和AV1相較于HEVC，在客觀性能上都有較大的提升，尤其是VVC的性能提升最為顯著，平均達到了40%；其他各標準中，AV1平均提升了25.5%的性能，對于AVS3，第1階段和第2階段分別達到了平均23%和30%的性能提升。綜合來看，VVC、AV1和AVS3在超高清序列方面都表現(xiàn)出了優(yōu)異的性能，達到了平均25%及以上的性能提升。VVC和AVS3更是達到了超30%的性能提升，個別序列能達到40%的性能提升。

2 AVS3超高清產業(yè)應用

隨著超高清、全景視頻等應用的高速發(fā)展，8K超高清，乃至16K、32K等更高分辨率的視頻內容將進一步流行。2019年，中國發(fā)布的《超高清視頻產業(yè)行動計劃（2019—2022）》明確指出超高清視頻將成為未來視頻產業(yè)的重要發(fā)展方向。

AVS3標準的頒布顯著加速了超高清產業(yè)鏈的升級革新。為了縮短標準制定和成果落地的時間，AVS3工作組在標準制定過程中，采用了分檔制定與芯片集成技術協(xié)同研發(fā)的推進方式，同步推進全產業(yè)鏈應用開源合作。2019年6月，AVS3第1階段基準檔次完成；2019年9月，在阿姆斯特丹舉辦的第五十屆荷蘭廣播電視設備展覽會上，海思發(fā)布了首個基于AVS3標準的8K端到端解決方案，同時推出了全球首顆基于AVS3標準的支持8K分辨率、120幀的超高清解碼芯片Hi3796CV300，如圖7（a）所示；隨后，北京大學、北京博雅睿視科技有限公司和英特爾合作推出了SVTAVS3 8K實時編碼器，并搭建了8K端到端實時編解碼系統(tǒng)，如圖7（b）所示。北京大學深圳研究生院開發(fā)了支持AVS3標準，8K分辨率、60幀實時解碼器uAVS3d。2020年5月，當虹科技AVS3 8K超高清編碼器和上海海思AVS3 8K超高清解碼板完成了AVS3+5G+8K全國直播首測，主要測試在5G鏈路下的8K超高清節(jié)目直播傳輸應用。近期，中央廣播電視總臺啟動“5G+4K/8K超高清制播示范平臺”項目，其中包括搭建AVS2/AVS3標準超高清電視影院直播系統(tǒng)以及5G和超高清相關的測試體系。中央廣播電視總臺會將AVS3 8K超高清現(xiàn)場直播運用在2022年北京冬季奧運會中。

3 結束語

本文簡要介紹了新一代視頻編碼標準AVS3的關鍵技術和AVS3超高清應用情況。與AVS2視頻編碼標準相比，AVS3編碼效率顯著提升。AVS3標準在技術創(chuàng)新、專利政策與生態(tài)建設方面已有全面的布局，為中國8K超高清視頻產業(yè)的發(fā)展奠定了堅實的基礎。可以預見的是，隨著5G的快速發(fā)展和超高清時代的來臨，AVS3標準前景廣闊，將獲得更廣泛的應用。

參考文獻

[1] FORECAST G. Cisco visual networking index： global mobile data traffic forecast update， 2017-2022 [R]. 2017

[2] 工信部等三部門聯(lián)合印發(fā)《超高清視頻產業(yè)發(fā)展行動計劃（2019-2022年）》 [EB/OL]. [2020-12-22]. http：//www.gov.cn/gongbao/content/2019/content_5419224.htm

[3] MA S W， HUANG T J， READER C， et al. AVS2 ？ making video coding smarter [standards in a nutshell] [J]. IEEE signal processing magazine， 2015， 32（2）： 172-183. DOI：10.1109/msp.2014.2371951

[4] SULLIVAN G J， OHM J R， HAN W J， et al. Overview of the high efficiency video coding （HEVC） standard [J]. IEEE transactions on circuits and systems for video technology， 2012， 22（12）： 1649-1668. DOI：10.1109/ tcsvt.2012.2221191

[5] ZHANG J Q， JIA C M， LEI M， et al. Recent development of AVS video coding standard： AVS3[C]//2019 Picture Coding Symposium （PCS）. Ningbo， China： IEEE， 2019： 1-5. DOI：10.1109/ pcs48520.2019.8954503

[6] 王凡， 歐陽曉， 呂卓逸， 等. CE： BIO 雙向光流 [C]//數(shù)字視音頻編解碼技術標準化工作組第六十九次會議. 成都， 中國： AVS工作組， 2019

[7] 徐巍煒， 趙寅， 楊海濤. CE3.1： 簡化DMVR方案[C]//數(shù)字視音頻編解碼技術標準化工作組第七十次會議. 海口， 中國： AVS工作組， 2019

[8] 雷萌， 羅法蕾， 王苫社， 等. CE2-related： 幀內角度模式擴展 [C]//數(shù)字視音頻編解碼技術標準化工作組第七十次會議. 海口， 中國： AVS工作組， 2019

[9] 王英彬， 許曉中， 李一鳴， 等. CE1-related： 幀內預測參考像素濾波設計方法 [C]//數(shù)字視音頻編解碼技術標準化工作組第七十次會議. 海口，中國： AVS工作組， 2019

[10] NUSSBAUMER H J. The fast Fourier transform [M]//Fast fourier transform and convolution algorithms. Berlin， Heidelberg： Springer Berlin Heidelberg， 1981： 80-111

[11] 張玉槐， 張凱， 張莉， 等. 幀內自適應變換 [C]//數(shù)字視音頻編解碼技術標準化工作組第六十九次會議. 成都， 中國： AVS工作組， 2019

[12] 王凡， 歐陽曉， 呂卓逸， 等. SRCC基于掃描區(qū)域的系數(shù)編碼 [C]//數(shù)字視音頻編解碼技術標準化工作組第七十次會議. 海口， 中國： AVS工作組， 2019

[13] 林凱， 賈川民， 趙政輝， 等. CE： 基于殘差網絡的神經網絡濾波 [C]//數(shù)字視音頻編解碼技術標準化工作組視頻組2020年1月加會. 北京， 中國： AVS工作組， 2020

[14] BROSS B， CHEN J， LIU S， et al. Versatile video coding （Draft 10）： ITU-T and ISO/IEC JVET-S2001 [S]. 2020

[15] CHEN Y， MURHERJEE D， HAN J N， et al. An overview of core coding tools in the AV1 video codec [C]//2018 Picture Coding Symposium（PCS）. San Francisco， CA， USA： IEEE， 2018： 41-45. DOI：10.1109/pcs.2018.8456249

作者簡介

張嘉琪，中國科學院計算技術研究所在讀博士研究生；主要研究方向為視頻編碼及處理；所提多項標準提案已被AVS3、VVC等標準采納。

雷萌，北京大學信息科學技術學院在讀博士研究生；主要研究方向為視頻編碼及處理；發(fā)表論文2篇。

馬思偉，北京大學信息科學技術學院教授、博士生導師，國家杰出青年科學基金獲得者，現(xiàn)擔任AVS視頻組組長；主要研究方向為視頻編碼及處理；曾主持“863”計劃、科技支撐計劃、國家自然科學基金重點項目等多項國家級課題；曾獲國家技術發(fā)明獎二等獎、國家科學技術進步獎二等獎、中國電子學會特等獎等獎勵；已發(fā)表SCI論文70余篇，已獲得授權發(fā)明專利50余項。