面向5G網(wǎng)絡(luò)的分布式超高清視頻處理系統(tǒng)

周澤強(qiáng)

（威創(chuàng)集團(tuán)股份有限公司，廣東 廣州 510670）

0 引 言

5G技術(shù)、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能以及超高清視頻技術(shù)相結(jié)合的新一輪數(shù)字化革命將會(huì)推動(dòng)政府和各行業(yè)信息化的高速發(fā)展，與“建設(shè)數(shù)字中國(guó)”的國(guó)家戰(zhàn)略構(gòu)想一脈相承。5G在超高網(wǎng)速、超低時(shí)延、超大鏈接的推動(dòng)下，結(jié)合人工智能深入行業(yè)應(yīng)用，構(gòu)建5G和超高清視頻技術(shù)的融合，將給各行各業(yè)帶來(lái)信息化提升和廣泛應(yīng)用，在應(yīng)急指揮、虛擬現(xiàn)實(shí)/增強(qiáng)現(xiàn)實(shí)、工廠自動(dòng)化、超高清直播等應(yīng)用方面能夠滿足業(yè)務(wù)場(chǎng)景更加苛刻的要求。5G和超高清的融合將會(huì)為“建設(shè)數(shù)字中國(guó)”國(guó)家戰(zhàn)略的實(shí)施提供堅(jiān)實(shí)的平臺(tái)基礎(chǔ)[1]。

為解決高并發(fā)圖像處理帶寬要求，可以采用多機(jī)分布式協(xié)同架構(gòu)來(lái)進(jìn)行性能擴(kuò)展。目前的分布式處理架構(gòu)主要基于以光纖網(wǎng)絡(luò)為物理介質(zhì)的通信傳輸媒介，有線傳輸?shù)木窒扌阅壳耙呀?jīng)嚴(yán)重制約了移動(dòng)視頻的發(fā)展，如在移動(dòng)指揮車上的超高清視頻無(wú)法高效、高質(zhì)量、實(shí)時(shí)地回傳到指揮中心的大屏顯示墻上。因此，迫切需要超高清視頻與5G技術(shù)的深度融合，需要探索一種適合超高分辨率大屏顯示系統(tǒng)的視頻實(shí)時(shí)處理架構(gòu)[2-3]。

本文研究超高清視頻與5G融合應(yīng)用中的多項(xiàng)核心關(guān)鍵技術(shù)，解決多并發(fā)超高清視頻流的實(shí)時(shí)處理、傳輸與顯示方面的技術(shù)難題，構(gòu)建面向5G網(wǎng)絡(luò)的分布式超高清處理系統(tǒng)，推動(dòng)超高清視頻技術(shù)與5G的融合發(fā)展。

1 基于5G網(wǎng)絡(luò)的分布式系統(tǒng)架構(gòu)

總線式架構(gòu)對(duì)于計(jì)算機(jī)桌面超高清圖像應(yīng)用具有優(yōu)勢(shì)，但在海量實(shí)時(shí)信號(hào)源并發(fā)工作時(shí)依然存在瓶頸，影響到系統(tǒng)整體性能的發(fā)揮。分布式并行處理架構(gòu)采用壓縮編碼技術(shù)和多節(jié)點(diǎn)并行處理技術(shù)，可在一定程度上緩解總線式架構(gòu)的帶寬交換瓶頸，但需克服自身系統(tǒng)的網(wǎng)絡(luò)時(shí)延問(wèn)題以及由此引起的同步問(wèn)題。因此，為獲取海量信號(hào)接入時(shí)獲得超高清圖像處理的實(shí)時(shí)性以及顯示的同步性，需對(duì)當(dāng)前處理架構(gòu)加以改進(jìn)，才能滿足更嚴(yán)格條件下的指揮監(jiān)控場(chǎng)景的業(yè)務(wù)應(yīng)用[4-5]。

盡管國(guó)內(nèi)三大運(yùn)營(yíng)商已在大部分城市部署了5G宏站，但仍普遍存在室內(nèi)5G信號(hào)差、室內(nèi)覆蓋盲點(diǎn)及并發(fā)速率低等痛點(diǎn)，滿足不了室內(nèi)4K/8K超高清5G傳輸質(zhì)量要求。本文采用的室內(nèi)5G微基站+室內(nèi)5G小基站的宏微異構(gòu)協(xié)同混合組網(wǎng)方案，將突破基于5G無(wú)線通信網(wǎng)絡(luò)的超高清視頻處理的系統(tǒng)架構(gòu)方面的關(guān)鍵技術(shù)問(wèn)題，在滿足室內(nèi)4K/8K超高清、大帶寬、低時(shí)延的網(wǎng)絡(luò)質(zhì)量要求的同時(shí)，也無(wú)縫銜接了室外移動(dòng)5G宏站[6]。系統(tǒng)架構(gòu)如圖1所示。

2 關(guān)鍵技術(shù)

整個(gè)系統(tǒng)的關(guān)鍵技術(shù)包括超高清視頻開(kāi)展編解碼算法優(yōu)化和超高清視頻5G網(wǎng)絡(luò)傳輸大帶寬、低時(shí)延的QoS質(zhì)量保障兩部分。

2.1 超高清視頻開(kāi)展編解碼算法優(yōu)化

隨著電子消費(fèi)設(shè)備的不斷普及，4K/8K等超高清視頻應(yīng)用得到進(jìn)一步發(fā)展，對(duì)數(shù)字視頻壓縮的性能提出了進(jìn)一步的要求，因此迫切需要基于最新的視頻編解碼標(biāo)準(zhǔn)進(jìn)行超高清視頻編解碼算法優(yōu)化。當(dāng)前典型的視頻編解碼傳輸系統(tǒng)由采集、編碼、傳輸、解碼及顯示5個(gè)部分構(gòu)成[7]。

圖像質(zhì)量與壓縮編解碼的壓縮率相關(guān)。超高清拼接顯示墻系統(tǒng)的超高清視頻圖像來(lái)源大致有兩種，一種是以運(yùn)動(dòng)視頻為主的監(jiān)控?cái)z像頭視頻、影像視頻，另一種是以計(jì)算機(jī)桌面為主的超高清信號(hào)源。計(jì)算機(jī)桌面的畫(huà)面往往是以靜態(tài)圖表、靜態(tài)文字為主的視頻畫(huà)面，不同于運(yùn)動(dòng)視頻。運(yùn)動(dòng)畫(huà)面損傷對(duì)圖像質(zhì)量影響非常大，因此還需解決編碼引擎動(dòng)態(tài)適應(yīng)視頻源的技術(shù)問(wèn)題[8]。

2.2 超高清視頻5G網(wǎng)絡(luò)傳輸大帶寬、低時(shí)延的QoS質(zhì)量保障

4K/8K超高清視頻對(duì)5G無(wú)線網(wǎng)絡(luò)在帶寬容量和傳輸穩(wěn)定性等方面有嚴(yán)格要求。在無(wú)線網(wǎng)絡(luò)環(huán)境復(fù)雜多變及多用戶同時(shí)在線情況下，如何保障超高清視頻要求的大帶寬、低時(shí)延的業(yè)務(wù)要求，是5G超高清視頻系統(tǒng)必須解決的關(guān)鍵問(wèn)題。

在4K/8K超高清視頻傳輸過(guò)程中，往往會(huì)因?yàn)榭湛诃h(huán)境干擾、多用戶并發(fā)等因素導(dǎo)致網(wǎng)絡(luò)質(zhì)量差、資源緊張等問(wèn)題出現(xiàn)。傳統(tǒng)超高清編解碼算法是在接收端靜態(tài)檢測(cè)網(wǎng)絡(luò)質(zhì)量，存在檢測(cè)周期長(zhǎng)、控制響應(yīng)慢等問(wèn)題。通過(guò)基于5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)實(shí)時(shí)監(jiān)測(cè)到的5G網(wǎng)絡(luò)無(wú)線信道質(zhì)量、小區(qū)負(fù)荷及吞吐量等信息，對(duì)編解碼算法進(jìn)行快速閉環(huán)動(dòng)態(tài)調(diào)整算法，可以使超高清編解碼算法更快速、更精準(zhǔn)地控制傳輸效率。

3 系統(tǒng)設(shè)計(jì)

3.1 基于內(nèi)容感知并行切片的像素管道編解碼技術(shù)

針對(duì)目前編解碼傳輸系統(tǒng)延時(shí)問(wèn)題，提出一種基于內(nèi)容感知并行切片的像素管道編解碼技術(shù)以及拉流的交互處理方法，實(shí)現(xiàn)4K/8K超高清編解碼的超低延時(shí)傳輸。通過(guò)圖像內(nèi)容感知、圖像色彩分布及內(nèi)容前后幀判斷，將4K/8K視頻幀數(shù)據(jù)進(jìn)行并行切片，分解為多個(gè)視頻片，基于視頻片進(jìn)行 編解碼[9]。

3.1.1 幀序列化過(guò)程

4K/8K信號(hào)源輸出的圖像基于行掃描，圖像采集組件采集到預(yù)設(shè)置的N行即送給編碼組件進(jìn)行編碼。通過(guò)圖像內(nèi)容感知、圖像色彩分布及內(nèi)容前后幀，判斷畫(huà)面是以運(yùn)動(dòng)視頻為主的監(jiān)控?cái)z像頭視頻、影像視頻還是以計(jì)算機(jī)桌面為主的超高清信號(hào)源，即以靜態(tài)圖表、靜態(tài)文字為主的視頻畫(huà)面，確定是否去掉了緩存一幀圖像的環(huán)節(jié)，減少了幀緩存引入的延時(shí)，盡快將圖像送給編碼組件進(jìn)行編碼。

3.1.2 編碼過(guò)程

編碼組件用于圖像片的編碼，假定N行為一個(gè)片，一幀4K的圖像可序列化為2 160/N個(gè)圖像片。由于編碼過(guò)程需耗費(fèi)時(shí)間，為了實(shí)現(xiàn)快速編碼，引入多個(gè)編碼引擎并行計(jì)算機(jī)制，多個(gè)圖像片被均衡地送到多個(gè)編碼引擎，產(chǎn)生相應(yīng)的編碼幀序列，如圖2所示。

圖2 并行切片化編碼過(guò)程

3.1.3 解碼過(guò)程

當(dāng)編碼組件生成對(duì)應(yīng)的序列化的編碼數(shù)據(jù)后，經(jīng)網(wǎng)絡(luò)傳輸，送到解碼組件。典型的推流傳輸是發(fā)送端主動(dòng)向接收端傳輸數(shù)據(jù)，因發(fā)送端與接收端是異步處理的，當(dāng)接收端處理不過(guò)來(lái)的時(shí)候，發(fā)送端會(huì)緩存一段時(shí)間再繼續(xù)嘗試發(fā)送，緩存的過(guò)程即引入了延時(shí)。反過(guò)來(lái)，當(dāng)接收端處理較快時(shí)，發(fā)送端由于數(shù)據(jù)未準(zhǔn)備好，接收端處于空閑狀態(tài)。因此，引入一種拉流的傳輸機(jī)制，接收端以固定的時(shí)鐘節(jié)拍處理，定時(shí)向發(fā)送端發(fā)送心跳包，使得發(fā)送端、接收端保持同步處理，實(shí)現(xiàn)零緩存?zhèn)鬏敗＝獯a組件用于對(duì)編碼數(shù)據(jù)進(jìn)行解碼，恢復(fù)原來(lái)的圖像數(shù)據(jù)。在此過(guò)程中，一個(gè)圖像幀序列化為多個(gè)圖像片，為了實(shí)現(xiàn)快速解碼，引入多個(gè)解碼引擎并行計(jì)算，多個(gè)編碼數(shù)據(jù)均衡地被送到多個(gè)解碼引擎，如 圖3所示。

圖3 并行切片化解碼過(guò)程

3.2 雙流傳輸自適應(yīng)和雙流編解碼技術(shù)

為動(dòng)態(tài)適應(yīng)不同類型的視頻源信號(hào)，提出雙流傳輸自適應(yīng)技術(shù)、雙流編解碼技術(shù)。其中，一個(gè)編碼引擎（引擎A）實(shí)現(xiàn)H.265/HEVC編碼，另一個(gè)編碼引擎（引擎B）實(shí)現(xiàn)基于管道像素編碼。編碼引擎A實(shí)現(xiàn)的H.265/HEVC編碼信號(hào)經(jīng)過(guò)傳輸后，用作管控端的信號(hào)預(yù)覽；編碼引擎B實(shí)現(xiàn)基于管道的像素編碼，經(jīng)過(guò)傳輸后，用作管控端對(duì)4K/8K信號(hào)源進(jìn)行遠(yuǎn)程操作。渲染過(guò)程用于將圖像片組裝完成的圖像幀再輸出到顯示設(shè)備。進(jìn)行這樣的處理過(guò)程，主要是考慮到如果基于圖像片直接輸出到顯示設(shè)備，由于傳輸抖動(dòng)，可能會(huì)帶來(lái)圖像顯示撕裂。

3.3 基于5G無(wú)線鏈路感知的新型超高清編解碼自適應(yīng)調(diào)整算法

針對(duì)4K超高清視頻傳輸過(guò)程中往往會(huì)因?yàn)榭湛诃h(huán)境干擾、多用戶并發(fā)等因素造成網(wǎng)絡(luò)質(zhì)量差、資源緊張等問(wèn)題，提出基于5G無(wú)線鏈路感知的新型超高清編解碼自適應(yīng)調(diào)整算法。具體判斷實(shí)現(xiàn)方式如下。

5G網(wǎng)絡(luò)提供的無(wú)線網(wǎng)絡(luò)信息能力開(kāi)放服務(wù)能夠提供如無(wú)線信道質(zhì)量、小區(qū)負(fù)荷及吞吐量等能力開(kāi)放信息，結(jié)合AI人工智能分析技術(shù)，可以實(shí)現(xiàn)業(yè)務(wù)QoS從用戶級(jí)→流級(jí)→報(bào)文級(jí)的更細(xì)粒度保障，提供位置感知、鏈路質(zhì)量預(yù)測(cè)等新的網(wǎng)絡(luò)能力。5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)實(shí)現(xiàn)的功能主要包括5G無(wú)線能力開(kāi)放服務(wù)和5G能力開(kāi)放API網(wǎng)關(guān)。

（1）5G無(wú)線能力開(kāi)放服務(wù)。支持無(wú)線承載信道質(zhì)量測(cè)量事件、承載建立/刪除/修改事件，小區(qū)改變事件；支持提供超高清顯示系統(tǒng)發(fā)布訂閱對(duì)應(yīng)的無(wú)線能力事件，支持取消對(duì)應(yīng)的訂閱。

（2）5G能力開(kāi)放API網(wǎng)關(guān)。5G能力開(kāi)放API網(wǎng)關(guān)對(duì)服務(wù)調(diào)用者進(jìn)行認(rèn)證和鑒權(quán)，支持對(duì)API調(diào)用次數(shù)進(jìn)行統(tǒng)計(jì)。

超高清顯示系統(tǒng)與5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)的交互架構(gòu)如圖4所示。

圖4 超高清顯示系統(tǒng)與5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)的交互架構(gòu)

超高清顯示系統(tǒng)與5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)的交互流程主要包括4個(gè)步驟。

（1）5G基站的無(wú)線資源管理模塊將周期性采集的無(wú)線信道質(zhì)量、小區(qū)負(fù)荷及吞吐量等信息通過(guò)OAM操作維護(hù)管理模塊上報(bào)給5G網(wǎng)絡(luò)能力開(kāi)放 平臺(tái)。

（2）5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)將5G基站上報(bào)的無(wú)線能力信息存儲(chǔ)到數(shù)據(jù)庫(kù)，通過(guò)能力開(kāi)放API網(wǎng)關(guān)對(duì)外提供調(diào)用接口。

（3）4K/8K超高清編解碼算法模塊向5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)訂閱無(wú)線能力開(kāi)放服務(wù)，能力開(kāi)放API網(wǎng)關(guān)按訂閱信息上報(bào)無(wú)線能力信息給4K/8K超高清編解碼算法模塊。

（4）4K/8K超高清編解碼算法模塊，結(jié)合5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)所反饋的網(wǎng)絡(luò)狀態(tài)信息來(lái)決策自適應(yīng)調(diào)整。

4 結(jié) 語(yǔ)

目前，國(guó)內(nèi)外尚沒(méi)有5G無(wú)線通信和多路超高清并發(fā)處理的4K/8K超高清新型顯示應(yīng)用體驗(yàn)平臺(tái)。本文通過(guò)構(gòu)建面向5G無(wú)線通信網(wǎng)絡(luò)應(yīng)用的4K/8K超高清顯示系統(tǒng)處理架構(gòu)，針對(duì)多路并發(fā)超高清視頻的超低延時(shí)、同步性等要求，采用多層級(jí)、分布式處理節(jié)點(diǎn)進(jìn)行多視頻業(yè)務(wù)流并行處理、高速串行化調(diào)度及圖像級(jí)聯(lián)擴(kuò)展架構(gòu)來(lái)實(shí)現(xiàn)多屏間顯示同步及實(shí)時(shí)顯示。基于5G網(wǎng)絡(luò)能力開(kāi)放平臺(tái)，根據(jù)實(shí)時(shí)監(jiān)測(cè)到的5G網(wǎng)絡(luò)無(wú)線信道質(zhì)量、小區(qū)負(fù)荷及吞吐量等信息，實(shí)現(xiàn)編解碼算法動(dòng)態(tài)調(diào)整優(yōu)化，提高視頻業(yè)務(wù)感知。

5G+4K超高清視頻技術(shù)應(yīng)用能夠極大程度地提升視頻領(lǐng)域的響應(yīng)能力和分析能力，5G能夠有效解決網(wǎng)絡(luò)傳輸速度、清晰度、實(shí)時(shí)性的傳輸過(guò)程短板，4K/8K能夠?qū)崿F(xiàn)極致的呈現(xiàn)體驗(yàn)，兩者結(jié)合，必將帶來(lái)視頻相關(guān)領(lǐng)域如安防監(jiān)控等的升級(jí)和重大變革。