H.265 標(biāo)準(zhǔn)在視頻會議系統(tǒng)中的應(yīng)用

張 婷

（武警甘肅省總隊，甘肅 蘭州 730000）

0 引 言

近幾年，隨著我國信息化進(jìn)程的加快，IT 技術(shù)持續(xù)革新。加上疫情原因，高效、穩(wěn)定、可靠的視頻會議系統(tǒng)，成為支持人們實現(xiàn)遠(yuǎn)程實時交流、開展協(xié)同工作的交流模式，并被提出新的更高要求。音頻和視頻壓縮技術(shù)是視頻會議的核心技術(shù)，直接關(guān)系到視頻會議的質(zhì)量。

H.265 標(biāo)準(zhǔn)是繼H.264 標(biāo)準(zhǔn)之后的新的視頻編碼標(biāo)準(zhǔn)。H.265 標(biāo)準(zhǔn)在基于H.264 標(biāo)準(zhǔn)的框架下，支持更精確的幀間預(yù)測、多個方向幀內(nèi)預(yù)測等，并對每個圖像進(jìn)行了優(yōu)化，根據(jù)每個圖像分割出更小的宏塊，根據(jù)不同的區(qū)域進(jìn)行預(yù)測，提高了編碼效率，提高了動態(tài)補償和矢量預(yù)測效果。因此，高分辨率、高幀率、高壓縮率的H.265 標(biāo)準(zhǔn)在視頻會議系統(tǒng)中得到普遍運用。

1 H.265 編解碼的相關(guān)技術(shù)

1.1 H.265 編碼標(biāo)準(zhǔn)簡介

H.265 標(biāo)準(zhǔn)在繼承H.264/AVC 標(biāo)準(zhǔn)基礎(chǔ)架構(gòu)的基礎(chǔ)上，總體上沒有太大的改變，仍然是基于混合編碼的框架[1]。其特定的代碼結(jié)構(gòu)如圖1 所示。

圖1 H.265 編碼框架

在此架構(gòu)中，幀間預(yù)測與幀內(nèi)預(yù)測組成了編碼的預(yù)測部分，并結(jié)合單幀圖像內(nèi)部的圖像參數(shù)，進(jìn)行圖像冗余度壓縮，以減少空間冗余。幀間預(yù)測是以特定的參考幀為基礎(chǔ)，通過計算當(dāng)前幀的運動矢量，以消除時間相關(guān)性。一般情況下，在第一幀圖像中，由于沒有相應(yīng)的參考幀，因此只能先進(jìn)行幀內(nèi)編碼，然后再進(jìn)行幀間編碼。在預(yù)測裝置生成預(yù)測信息之后，將所述預(yù)測信息連同所述當(dāng)前幀的信息進(jìn)行編碼器差分，從而對數(shù)據(jù)進(jìn)行一系列量化轉(zhuǎn)換，進(jìn)一步消除冗余信息，并且結(jié)合對比編碼信息與預(yù)測信息，形成數(shù)據(jù)流并輸出。而在此架構(gòu)下，反量化、反變換、濾波等操作則與譯碼器的對應(yīng)功能相同[2]。該部分的主要作用是通過轉(zhuǎn)換和量化的殘差信息來重構(gòu)原始的殘差信息，并將其與某些預(yù)測信息結(jié)合起來，成為幀內(nèi)預(yù)測的必要數(shù)據(jù)；或?qū)δ承┝羞M(jìn)行過濾，最后將其作為參考幀，用于幀間預(yù)測[3]。

1.2 H.265 標(biāo)準(zhǔn)與H.264 標(biāo)準(zhǔn)相比的新特性

H.265 標(biāo)準(zhǔn)是在H.264 標(biāo)準(zhǔn)基礎(chǔ)上的升級版，在保持H.264 部分技術(shù)的基礎(chǔ)上，對編碼流、編碼質(zhì)量、延時及復(fù)雜性等方面進(jìn)行了改進(jìn)[4]。在相同的圖像質(zhì)量和相同的編碼速率下，H.265 標(biāo)準(zhǔn)理論上要比H.264 標(biāo)準(zhǔn)節(jié)省50%的內(nèi)存；采用較好的算法，可以支持在1 ～2 Mb·s-1的傳輸速率下，傳輸720P（1 280×720）的普通高清音視頻傳輸，在實現(xiàn)4K 與8K 超高清視頻傳輸時能有效降低帶寬[5]。

1.3 塊劃分結(jié)構(gòu)

H.264 標(biāo)準(zhǔn)中，每個宏塊大小都是固定的16×16像素，相比較于H.264 視頻編碼技術(shù)，H.265 高效視頻編碼技術(shù)將不同的宏分成不同的宏塊，大小從8×8 到64×64。將信息不多的區(qū)域分割成大的宏塊，可以減少編碼字節(jié)；而對細(xì)節(jié)更多的圖片，將其分割成更小的宏塊，并在編碼后增加更多的字節(jié)，就相當(dāng)于對圖像進(jìn)行了集中編碼。H.265 標(biāo)準(zhǔn)在這種塊結(jié)構(gòu)劃分的基礎(chǔ)上采用一系列自適應(yīng)預(yù)測和變換等編碼技術(shù)，從而降低了碼率，提高了編碼效率[6]。

1.4 幀內(nèi)預(yù)測與幀間預(yù)測

幀內(nèi)預(yù)測的核心是假設(shè)圖像內(nèi)部有大量重復(fù)或關(guān)聯(lián)元素，比如重復(fù)的紋理、明暗變化的色塊等。因此可以從當(dāng)前幀的相領(lǐng)區(qū)域里找一塊，直接預(yù)測當(dāng)前塊。H.265 標(biāo)準(zhǔn)對H.264 標(biāo)準(zhǔn)的預(yù)測方向進(jìn)行了進(jìn)一步的改進(jìn)，其中H.265 標(biāo)準(zhǔn)的亮度預(yù)測方向為33 個，加上DC 預(yù)測模式和Planaar 預(yù)測模式（DC模式適用于整塊平坦區(qū)域，Planaar 適用于像素值漸變的區(qū)域），而H.264 亮度4×4 和8×8 塊支持4個方向、9 個顏色。這樣，H.265 標(biāo)準(zhǔn)幀內(nèi)預(yù)測的準(zhǔn)確性更高，能夠減少殘差數(shù)據(jù)。H.265 標(biāo)準(zhǔn)的幀內(nèi)預(yù)測模式如圖2 所示。

圖2 H.265 幀內(nèi)預(yù)測模式圖

H.265/HEVC 標(biāo)準(zhǔn)，采用了運動補償方式進(jìn)行幀間預(yù)測。H.265 標(biāo)準(zhǔn)在H.264 標(biāo)準(zhǔn)基礎(chǔ)上使用了更高階的濾波器，通過不同濾波器的適配實現(xiàn)不同像素插值的直接計算。高階濾波器直接取值，省去了中間取整過程，直接提升了運動插值的準(zhǔn)確性[7]。H.265 標(biāo)準(zhǔn)的插值精度與H.264 標(biāo)準(zhǔn)一樣，都達(dá)到了1/4 的亮度，但是插值濾波器的抽頭長度和系數(shù)卻有很大差別。

1.5 H.264 和H.265 技術(shù)下的視頻存儲比較

對于130 萬像素的攝像頭，碼流速率為2 MB·s-1，采用H.264 標(biāo)準(zhǔn)，一天的存儲量為2 048×3 600×24÷8÷1024÷1024，約等于20 GB。H.265 技術(shù)下，存儲一天的數(shù)據(jù)量為10 GB。以半年時間為例，使用H.264 標(biāo)準(zhǔn)存儲數(shù)據(jù)為20×6×30=3.6 TB，而使用H.265 標(biāo)準(zhǔn)則是1.8 TB 的數(shù)據(jù)[8]。從帶寬方面來說，采用H.264 標(biāo)準(zhǔn)的視頻傳輸130 萬像素的圖像，最低需要上行速率是6 Mb·s-1，而H.265 標(biāo)準(zhǔn)在4 Mb·s-1帶寬下，就可以傳輸300 萬像素的高清視頻或2 個200 萬像素的視頻，這樣不僅節(jié)省了硬盤的存儲費用，還減少了交換機(jī)的開銷[9]。

相比H.264 編碼，H.265 編碼應(yīng)用到會議系統(tǒng)中，可以將會議端到端的延時降到最低，可以有效解決視頻卡頓，可以實現(xiàn)在低帶寬的條件下實現(xiàn)高清視頻的傳輸，使會議更加流暢高效[10]。

2 H.265 標(biāo)準(zhǔn)的封包及網(wǎng)絡(luò)發(fā)送

2.1 網(wǎng)絡(luò)提取層

視頻會議在解決了編碼的問題后，需要考慮實時不間斷的大量視頻數(shù)據(jù)傳輸，RTP（實時傳輸協(xié)議）在UDP 傳輸協(xié)議的基礎(chǔ)上加入了實時控制協(xié)議，即可以控制數(shù)據(jù)丟包率，又能保證數(shù)據(jù)的可靠性，因此，RTP 協(xié)議是視頻會議中較好的傳輸協(xié)議[11]。H.265標(biāo)準(zhǔn)分為VCL（視頻編碼層）和NAL（網(wǎng)絡(luò)提取層），視頻編解碼功能包括宏塊劃分、運動補償預(yù)測處理以及循環(huán)過濾器處理等都在VCL 層實現(xiàn)；H.265 的NAL 把VCL 的輸出封裝成NALU（NAL 單元），以適應(yīng)基于包的網(wǎng)絡(luò)傳輸或面向包的多路復(fù)用環(huán)境。NALU 的結(jié)構(gòu)由開始碼、NALU 頭以及NALU 數(shù)據(jù)組成。NALU 載荷數(shù)據(jù)中包含圖像的標(biāo)識、參數(shù)、視頻格式、幀數(shù)、補充信息及幀類型等信息。

2.2 H.265 編碼封包策略

編碼器在生成H.265 編碼后，采用RTP 傳輸模式，每個封包單元都要占據(jù)一定大小的頭信息，這就要求封包策略要適應(yīng)網(wǎng)絡(luò)體系，控制每一個RTP包的載荷大小。H.265 標(biāo)準(zhǔn)中，每一個NAL 單元被封包在一個RTP 分組里，再加上RTP 頭信息，RTP封包的問題就變得非常簡單了，即一個NAL 單元作為一個RTP 分組的載荷，直接加上RTP 頭封裝成一個RTP 包。但是這種情況需要VCL 編碼將生成的NAL 控制在小于RTP 最大有效載荷，有時候一幀或一組的數(shù)據(jù)量非常大，H.265 標(biāo)準(zhǔn)支持將過大的NALU 分割成多個RTP 包，也可以將多個較小的NALU 封裝在一個RTP 包中。

值得注意的是，不能將幀首與第一個塊分別包裝成RTP 包，也不能將塊與第一個宏塊單獨包裝成RTP 包。此外，宏塊有時不會以整字節(jié)開頭和結(jié)尾，RTP 包裝是將宏塊作為最小的劃分單元，因此包頭部中包括兩個3 位的整數(shù)Sbit 和Ebit（其數(shù)值從0至7），用于識別封裝H.265 數(shù)據(jù)的首、末字節(jié)中的位數(shù)。

2.3 視頻推送設(shè)計

H.265 標(biāo)準(zhǔn)的目的是在有限的帶寬下傳送高品質(zhì)的網(wǎng)絡(luò)視頻，而它的帶寬要求只有原來的一半。這就意味著智能手機(jī)、平板電腦等移動設(shè)備可以在線觀看1 080p 的高清晰度視頻。H.265 標(biāo)準(zhǔn)還支持4K（4 096×2 160）和8K（8 192×4 320）的超高清晰度視頻。H.265 標(biāo)準(zhǔn)使得網(wǎng)絡(luò)視頻能夠與屏幕的“高解析度”同步。

3 視頻會議系統(tǒng)未來發(fā)展

在疫情的大背景下，視頻會議成為人們工作生活不可缺少的工具。對于跨地區(qū)的企業(yè)或政府部門，視頻會議是組織大型活動、發(fā)布工作部署、開展學(xué)習(xí)教育的重要手段。在平時生活中，視頻會議是網(wǎng)上教學(xué)學(xué)習(xí)、培訓(xùn)或者遠(yuǎn)程交流的重要方式[12]。

3.1 智能化

會議系統(tǒng)的功能絕不僅僅是實現(xiàn)交流，各種新需求的產(chǎn)生，不斷對會議系統(tǒng)提出更高的智能化要求，如背景虛化、自動捕捉、智能分析會議信息、自動添加字幕等。隨著人工智能（Artificial Intelligence，AI）技術(shù)的日益成熟，可以在會議系統(tǒng)中集成AI，從而實現(xiàn)人臉識別、入會簽到及在線標(biāo)注個人姓名。智能化的另一個方面是提高系統(tǒng)的可操作性，功能越來越多而操作越來越簡單，是發(fā)展潮流[13]。

3.2 安全性

視頻會議發(fā)展至今，安全性問題需要更加引起重視。隨著國際局勢的變化，視頻會議系統(tǒng)中芯片國產(chǎn)化及會議軟件國產(chǎn)化已成為不可忽略的趨勢。我國相關(guān)產(chǎn)業(yè)的核心能力不足，特別是硬件視頻會議系統(tǒng)所需的音視頻處理芯片和攝像機(jī)機(jī)芯等核心零件依然高度依賴進(jìn)口，尚未實現(xiàn)自主可控[14]。同時，需要從安全系統(tǒng)架構(gòu)、更有效的安全防護(hù)、多重加密技術(shù)以及完善管理機(jī)制等方面，使視頻會議系統(tǒng)安全得到真正的保障[15]。

3.3 云視頻會議

傳統(tǒng)硬件視頻系統(tǒng)正在被基于云的視頻會議取代。各大主流廠家紛紛推出了軟件MCU 平臺，發(fā)布了基于通用服務(wù)器或虛擬機(jī)的云視頻系統(tǒng)。未來視頻會議的發(fā)展將是云視頻會議與軟件的結(jié)合。動態(tài)變化的多速率視頻碼流，可以智能適應(yīng)不同終端接入會議的問題，解決不同應(yīng)用場景的需求，從視頻應(yīng)用延展到應(yīng)急指揮、防控調(diào)度、個人互聯(lián)、移動介入、監(jiān)控融合等多種應(yīng)用場景[16]。

4 結(jié) 語

由于用戶的要求越來越高，因此視頻會議成為編碼和解碼技術(shù)的先鋒。未來視頻會議中，以硬件視頻為主的專有視頻會議系統(tǒng)，可以通過軟件擴(kuò)容實現(xiàn)現(xiàn)有會議系統(tǒng)的擴(kuò)展，利用桌面集成型的小型攝像頭和顯示器，實現(xiàn)機(jī)動條件下的音視頻傳輸。目前，以H.265 標(biāo)準(zhǔn)為基礎(chǔ)的HM、X265、T265 軟編碼器以及各種各樣的國產(chǎn)硬件編碼器，為H.265標(biāo)準(zhǔn)在視頻會議系統(tǒng)中的應(yīng)用提供了更好的良機(jī)。總的來說，H.265 視頻編碼改進(jìn)了基于塊的視頻壓縮模式，其特點是可變尺寸轉(zhuǎn)換的宏塊、基于候選列表的運動矢量預(yù)測、多幀內(nèi)預(yù)測模式、更精確的運動補償濾波器以及優(yōu)化采樣點自適應(yīng)補償濾波器等，占用更小的帶寬就可以獲得更高清晰度的視頻信號。結(jié)合多速率視頻，云視頻會議采用更新的視頻編碼，智能適應(yīng)系統(tǒng)中不同與會終端的帶寬要求，PC、手機(jī)、會議終端應(yīng)用于不同網(wǎng)絡(luò)（專網(wǎng)、局域網(wǎng)、因特網(wǎng)、移動網(wǎng)絡(luò)、WiFi 甚至藍(lán)牙），能夠使視頻會議系統(tǒng)真正實現(xiàn)任何網(wǎng)絡(luò)、任何場合、任何終端都能看得清。