5G時代下的全民藝術普及視音頻服務技術研究

一、全民藝術普及工作及視音頻服務

為貫徹落實中辦、國辦《關于加快構建現代公共文化服務體系的意見》中關于加快推進公共文化機構數字化建設的精神，2015年起，中央財政面向文化館行業開啟了數字化專項投入。目前，全國已有超過120家文化館得到中央財政數字文化館項目經費支持，累計投入經費1.74億元。隨著在第五次全國文化館評估工作中數字化服務評分項比例的提升，數字化服務正成為全民藝術普及工作的重要組成部分，全國副省級以上數字文化館啟動率達到了97%。為整合數字化全民藝術普及資源，提供一體化、一站式服務，公共文化云服務項目在文化和旅游部的推動下應運而生。該項目以看直播、享活動、學才藝、訂場館、趕大集、讀好書等服務欄目為核心，面向基層，提高整體公共文化供給能力，整合對接國家公共文化云與基于數字文化館服務的各省級全民藝術普及云資源、服務和數據，形成以國家公共文化云為主入口，各省級云聯合服務的公共數字文化服務新模式。截至2020年11月，國家公共文化云累計組織數字資源12萬余條，（其中，視音頻類資源45642條，占比37.94%），訪問量5.6億余人次（其中視音頻類資源訪問量占比81.01%）?？梢姡曇纛l服務在數字化全民藝術普及服務中占據核心地位。對視音頻技術的了解，將有助于在5G時代進一步占領服務制高點。

二、視音頻服務的技術實現過程

為進一步梳理、把握數字化全民藝術普及的視音頻技術服務，首先結合國家公共文化云就視音頻服務用戶端的技術實現過程進行重點分解。

目前，國家公共文化云提供的互聯網服務無論是面向電腦端（PC）、移動端（APP、微信公眾號）還是大屏端（EPG），從技術上講，核心用戶交互界面均使用HTML5方式進行構建。一條視音頻資源，通過互聯網傳輸到用戶端，通過播放器并呈現給用戶時，大體要經過四個步驟：

（一）解協議。流媒體協議的核心在于在統一規則下進行數據傳輸。解協議是將遵循流媒體協議所傳輸的資源分解還原為標準的封裝資源和信令數據，封裝資源為需要具體解碼內容信息的集合包。

（二）解封裝。封裝工作是將視頻、音頻和描述文件形成統一的集合包。解封裝相當于打開集合包，將解協議后獨立出來的封裝資源分離成視頻編碼資源和音頻編碼資源。

（三）解編碼。解編碼的作用在于將傳輸過來的壓縮視頻和壓縮音頻資源進行還原，根據編碼規則的不同，有些資源在壓縮還原后會有一定損失，但通常不影響視聽效果。編碼和解碼工作是整個資源文件從傳輸到播放最核心也是最復雜的環節。力圖尋求高效傳輸與高質量視音頻內容上的平衡。通過解碼，視頻資源最終轉化為非壓縮的圖像數據信息，音頻資源轉化成為非壓縮的音頻抽樣數據信息。

（四）視音頻同步。視音頻同步的核心是根據共同認可的時間信息，對視頻內容和音頻內容進行同步播放。

國家公共文化云用戶端解析視音頻文件的技術過程參見下圖1所示：

圖1.國家公共文化云用戶端解析視音頻文件的技術過程

三、視音頻播放服務的技術對比

國家公共文化云視音頻播放服務過程，對應的關鍵技術為流媒體技術、視音頻封裝技術，視頻、音頻壓縮編碼技術以及視音頻同步技術。

（一）流媒體技術。流媒體技術主要通過規范服務器與用戶端之間通信實現，這些規范形成了不同的流媒體協議。不同的應用場景通常使用不同的流媒體協議。當前互聯網主要應用的流媒體協議如下表1所示：

由上表可以看出，互聯網視頻服務通常采用TCP作為流媒體傳輸協議，因而像RTMP、MMS、HTTP以及基于HTTP協議擴展形成的HLS協議廣泛應用于互聯網視音頻服務中。盡管RTSP+RTP是國際標準，然而由于互聯網環境的不穩定性，RTP這種采用UDP作為傳輸層協議的流媒體協議容易產生丟包等現象，視頻的質量在傳輸過程中容易受到影響，因此并未廣泛應用于互聯網視頻服務。

值得關注的是HLS（HTTP Live Streaming），該協議是蘋果公司推出的直播協議，通過將視頻流切片成文件片段進行傳輸。用戶端在接收文件時首先會尋求索引文件（m3u8），里面會有不同碼率的文件流資源，亦或索引文件中直接給出ts文件列表，用戶端通過給出的ts文件地址依次進行播放。在直播的時候，用戶端會不斷請求索引文件（m3u8），檢查ts列表是否有新的ts切片。因此，HLS因其既可用于直播也可用于點播而被廣泛應用。

（二）封裝技術。封裝技術主要用于將視音頻文件、字幕等信息按照一定的方案存儲在一個文件中。用戶端的播放器根據封裝格式將文件按照既定方案進行解封裝即可得到封裝前的文件。一般來說視音頻文件的后綴名稱就是其封裝格式。目前，互聯網視音頻主要封裝格式如表2所示：

由表2可見，除AVI外，多數的封裝格式都支持流媒體播放，能夠應用于互聯網視音頻服務使用。其中，考慮播放器普及程度等因素，RMVB方式沒有在互聯網視音頻網站中廣泛使用。被較多采納和應用的封裝技術主要為MP4、FLV、TS等。隨著普通用戶互聯網帶寬的不斷提升，特別是4G、5G無線技術的廣泛應用，TS技術因其解封裝后進行播放視頻的過程中，不會出現因流媒體片段跳轉而產生的黑幀現象，而被互聯網視頻服務廣泛采用。

（三）視音頻編碼技術。視頻和音頻的編碼技術是互聯網服務中最重要的技術之一。其中，視頻碼流的數據量占了互聯網視音頻總數據量的絕大部分，視頻編碼用于將視頻像素數據壓縮成為視頻碼流，以降低視頻文件總的數據量，高效率的視頻編碼在同等的碼率下，可以獲得更高的視頻質量。音頻編碼用于將音頻采樣數據壓縮成音頻碼流，以降低音頻文件的數據量，高效率的音頻編碼技術在同等碼率下，可以獲得更好的音質。互聯網視頻、音頻編碼技術如表3所示：

在視頻編碼中，H.264憑借其高效壓縮算法及在戶聯網適應性方面的顯著優勢，成為當今視頻編碼領域的主流標準。HEVC（High Efficiency Video Coding）和VP9屬于較新的編碼技術。值得一提的是，第一版的HEVC視頻壓縮技術于2013年4月被ITU-T（International Telegraph and Telephone Consultative Committee，國際電信聯盟）接受為正式標準。HEVC可以顯著提高壓縮效率、內容的魯棒性和出現錯誤的恢復能力。HEVC預期可以實現利用2Mbps的傳輸速度傳送分辨率1280*720普通高清視頻。根據實驗結果，同等的碼率下不同視頻壓縮編碼標準的視頻質量有如下關系：HEVC（H.265）> VP9 >H.264 > VP8 > MPEG4 > H.263 > MPEG2。

而對于音頻編碼，由于編碼技術已經基本可以滿足現有帶寬下人們的需要，因此近年來并未推出全新的音頻編碼方案。當前音頻編碼技術大部分的改動，都是在MP3的繼任者——AAC的基礎上完成的。根據實驗結果，在低碼率的情況下（48kbps），不同音頻編碼標準的音頻壓縮質量如下：AAC+>MP3PRO > AAC > RealAudio > WMA > MP3。

（四）視音頻同步技術。視音頻同步技術通過分別讀取封裝文件內的視頻和音頻時間戳，并基于基準時間，解決視音頻播放時的畫音同步問題。在視音頻解碼后，播放器以幀數據為單位進行播放。由于媒體流本身視音頻播放起始幀的差距，視頻的非線性播放與音頻的線性播放之間的偏差，以及解碼及渲染的耗時偏差，播放器需要不斷通過文件中的時間戳進行動態的時序同步，確保用戶視聽的良好體驗。視音頻同步技術主要使用的DTS（Decoding Time Stamp）和PTS（Presentation Time Stamp）。DTS為解碼時間戳，用于告訴播放器該在什么時候解碼這一幀的數據。PTS為顯示時間戳，用于告訴播放器該在什么時候顯示這一幀的數據。

四、當前主流服務平臺采用的視音頻技術

為進一步了解當前社會互聯網視音頻主流平臺使用的技術規范，針對當前部分點擊率較高的平臺視音頻參數進行了研究。鑒于國家公共文化云是提供視音頻一體化服務，因此本次調研僅限于提供視音頻一體化服務的平臺，未包括僅提供音頻服務的互聯網平臺。當前視音頻服務主要包括兩種方式：直播和點播。直播即互聯網視音頻平臺直接將視頻內容實時發送給用戶，目前還處于發展階段。國家公共文化云的“看直播”頻道即提供該項服務。點播即根據用戶的需要播放相應的視頻節目，這是互聯網視音頻服務最基本的服務方式，大部分視音頻網站都提供點播服務。

（一）直播。主流互聯網視音頻平臺直播服務及公共數字文化服務平臺參數對比如表4所示：

以上各直播平臺基于互聯網進行視頻流傳輸并通過瀏覽器進行觀看，大部分采取了基于HLS（HTTP Live Streaming）協議的直播方案。HLS協議基于HTTP訪問，通過讀取動態變化的m3u8索引文件，對TS文件進行動態讀取和播放，從而完成視頻直播流的有序接收。

（二）點播。主流互聯網視音頻平臺點播服務及公共數字文化服務平臺的參數對比如表5所示：

綜上，當前互聯網點播普遍采用的流媒體協議為TTP/HTTPS，采用的封裝格式有TS、MP4等，普遍采用的視頻編碼為H.264，普遍采用的音頻編碼為AAC。

五、5G時代全民藝術普及視音頻服務采用技術建議

5G時代已經到來，其高帶寬、低延時的特性必然會對全民藝術普及視音頻服務產生深刻影響。以下將結合公共文化云平臺、數字文化館等公共數字文化服務重點項目采納的標準和現實成果，對5G時代下視音頻服務應選擇的技術方向提出建議：

（一）流媒體技術應用建議

隨著技術的進步，流媒體傳輸技術會向著更穩定、更效率、更便捷的方向前進。隨著HTML5在用戶端的日益普及，以及觀看視頻的終端由PC+瀏覽器到手機端+App的轉變，視音頻直播應考慮脫離Flash的場景開展服務。（Adobe公司已于2021年1月1日起不太提供對Flash的維護支持，微軟公司給Windows 10系統發布了補丁KB4577586用來卸載系統已安裝的Flash插件，各大主流瀏覽器包括Chrome、Edge、Firefox等都宣布將終止對Flash技術的支持，瀏覽器默認把Flash功能設置為禁用。國家公共文化云播放器也于2021年起對播放器進行了重新設置，不再使用RTMP和RTMFP等技術標準。）基于這樣的考慮，HLS（HTTP Live Streaming）以基于HTTP流協議之上的高性能、高適配集成，且支持IOS、Android、Html5等用戶端播放器的原生兼容等優勢，被優先推薦應用。點播服務推薦繼續使用HTTP協議，主要好處是可以減輕服務器壓力。當視頻文件完成下載后即可以斷開鏈接，從而節省出服務器資源為其他用戶請求服務。此外，在提供視頻服務時可以直接使用普通的Web服務器而不必花費有限經費額外購買流媒體服務器，從而可以大幅節省費用。著眼于未來，全民藝術普及直播服務流媒體技術應用建議：HLS（HTTP Live Streaming）、RTMP、RTMFP（Real Time Media Flow Protocol，實時媒體流協議）。

點播服務流媒體技術應用建議：HTTP/HTTPS。

（二）對封裝格式應用的建議

封裝格式相比流媒體協議和壓縮編碼來說，不能算作一個非常關鍵的技術，且不同封裝格式之間的差別很小，很多推出比較早的封裝格式（例如AVI，RMVB）和相對推出較晚的封裝格式（例如MKV）都在視音頻服務中占有一定份額。就互聯網視音頻來說，封裝格式可以分為支持流媒體的格式和不支持流媒體的格式兩種。支持流媒體的格式包括TS、FLV、MP4、MKV等，其特點是可以“邊下邊播”。不支持流媒體的格式如AVI等，需要在下載完整個文件后才能開始播放。盡管5G時代的高帶寬可以在一定程度上加速文件下載，考慮到并發、存儲等限制條件，今后全民藝術普及的互聯網服務仍需要以支持流媒體的封裝格式為核心應用。全民藝術普及直播服務封裝技術應用建議：TS。點播服務封裝技術應用建議：MP4。

（三）對視音頻壓縮編碼技術應用的建議

視頻數據占據了互聯網視音頻數據總量的絕大部分比例，因而其壓縮編碼技術是互聯網視音頻服務中最關鍵的技術之一。從現有市場占有率、發展趨勢判斷，在未來的3—5年內，H.264依然會是主流的視頻壓縮編碼標準。在5G網絡時代，網絡帶寬進一步加大，需要考慮在視頻的傳輸效率和視頻的編解碼效率之間做動態平衡?？赡艿膱鼍笆且曨l壓縮標準的推進步伐減緩，以適當提高碼率的方式增加視頻的清晰度。這樣，通過5G網絡的高帶寬來平衡高碼率帶來的視頻文件加大對傳輸效率的影響，同時不會增加播放終端CPU對視頻文件解碼帶來的計算負擔和工作效率。當然，面對視頻應用不斷向高清晰度、高幀率、高壓縮率方向發展的趨勢，當前主流的視頻壓縮標準協議H.264的局限性也將逐漸凸顯，但是隨著時間的推移，HEVC將最終成為主流的視頻編碼標準。全民藝術普及視頻壓縮技術應用建議：H.264，HEVC/H.265。

音頻數據占據了互聯網視音頻數據總量的小部分比例，不會對互聯網視音頻的總數據量產生太大的影響。因此音頻壓縮編碼技術的進步的需求并沒有視頻就壓縮編碼技術的需求那么大。在目前來說，MP3不僅有廣泛的用戶端軟件支持，也有很多的硬件支持。AAC是MP3格式的接替者。就目前的調查看，網絡視音頻平臺已經普遍采用AAC作為其音頻壓縮編碼的標準。鑒于其優秀的性能，在不久的將來，AAC應該也會在硬件等其他領域超過MP3成為市場上最主流的音頻壓縮編碼格式。全民藝術普及音頻壓縮技術應用建議：AAC。

（四）對視音頻同步技術應用的建議

視頻和音頻都擁有各自的DTS和PTS數據，它們是在編碼時由編碼器依據參考時鐘的時間生成。要實現視音頻同步，需要在播放時讀取文件中的時間戳，同時設立參考時鐘進行播放?？蛇x擇的參考時鐘包括：同步音頻到視頻，同步視頻到音頻，同步音頻和視頻到外部時鐘幾種。全民藝術普及視音頻同步方式建議：同步音頻到視頻。

參考文獻：

[1]魏雪飛，周祥.HLS流媒體技術在廣播電視網絡直播系統的應用[J].廣播電視信息，2020，27（09）：38-40.

[2]周向，李薰春.5G網絡音視頻傳輸標準概述[J].數據與計算發展前沿，2020，2（04）：65-79.

[3]辛齊.多媒體視頻文件格式研究與應用[J].數碼世界，2017（07）：76.

[4]侯峰.淺析高清視頻的編碼與封裝技術[J].科學之友，2011（18）：10-11.

[5] 徐劍烈.H.264向H.265的數字視頻壓縮技術升級研究[J].數字通信世界，2017（07）：6+16.

[6]羅云川，姜秀華，劉平.互聯網視音頻技術現狀與展望[J].上海文化，2014（04）：72-78.

[7]畢建華，范健康，劉春華，宋杰.音視頻同步方法和裝置[P].江蘇?。篊N111954064A，2020-11-17.

[8]陸小華.媒體融合運作體系構建方法與實現路徑——以新華社全球視頻智媒體平臺與相關運作體系為研究樣本[J].現代傳播（中國傳媒大學學報），2019，41（10）：1-11.

[9]陳銀鳳.淺析音視頻同步傳輸研究與實現[J].西部皮革，2016，38（10）：7.

[10]賀海玉.基于5G技術的移動視頻直播系統設計及應用[J].電視技術，2019，43（Z2）：62-64+69

[11]劉平.公共數字文化融合背景下的數字文化館建設與發展思考[J].大眾文藝，2020（07）：13-14.

（作者單位：文化和旅游部全國公共文化發展中心）