2021世界智能大會“5G+VR”直播系統設計及應用實踐

周 薇

（作者單位：天津海河傳媒中心技術管理部）

世界智能大會作為世界智能科技領域學術交流、展覽展示、開放創新、深化合作的盛會，自2017年起在天津已成功舉辦五屆，具有較高的社會影響力。2021世界智能大會于2021年5月20日至23日在天津舉辦，海河傳媒中心作為主制作單位，在面向28家重點網絡媒體與12家全國具有突出影響力的網絡直播平臺提供高質量、零失誤的高清公共信號的同時，借此重大盛會的契機，進行了“5G+VR”直播的嘗試，在多環節進行了技術應用的試驗性探索。

1 虛擬現實技術

虛擬現實（Virtual Reality，VR）技術是一種使用現實生活中的數據，利用計算機生成模擬環境，使用戶沉浸在環境中的一套創建和體驗虛擬世界的計算機仿真系統，是借助計算機和最新傳感器技術創造的一種嶄新的人機交互手段。

相對于傳統領域的內容制播，VR制播的不同主要體現在360°全景、三維（3—dimension，3D）圖像和交互方面，可以給觀眾帶來無與倫比的沉浸感，讓觀眾感覺仿佛置身于現場一般。VR制播在剛興起時，只在王菲演唱會、NBA賽事直播、春節聯歡晚會等大型賽事活動中使用過，現在開始逐漸普及大眾VR內容制作，VR制播也在不斷發展。艾媒咨詢發布的數據顯示，用戶對直播中所運用的VR技術很感興趣，60%的用戶很期待對其進行實際運用[1]。但目前，VR直播由于受到網絡帶寬、視頻壓縮及傳輸技術等方面的限制，無法很好地進行高分辨率畫面高效縫合，直接影響到了自身的發展。

隨著信息技術的不斷發展，第五代移動通信技術（5th Generation Mobile Communication Technology，5G）誕生，其具備大帶寬、低時延、廣連接的特性，為媒體行業實現新發展提供了機遇[2]。媒體行業對于無線通信技術有著天然的需求，“到得了，拍得到，傳得回”是電視節目的重要訴求[3]。2020年7月，《中央廣播電視總臺5G媒體應用白皮書》（2020版）正式發布，其對中央廣播電視總臺基于5G的視音頻采集傳輸、移動云制作和VR制作及分發等應用技術要求進行了詳細描述。5G+VR直播視頻制作流程如圖1所示，在外場進行多機位的VR視音頻采集，通過客戶終端設備（Customer Premise Equipment，CPE）、5G手機等5G接入設備無線連接到5G網絡，網絡提供包括服務質量（Quality of Service，QoS）、切片服務、邊緣云平臺等保障，并提供相關的云端服務，通過5G的接入網、承載網和核心網進行傳輸，臺內的內部基礎網絡通過無線空口或光纖專線的方式就近接入5G網絡，信號和數據進入臺內各制播系統，如總控、5G新媒體平臺、制作系統等，從而形成完整的基于5G的媒體應用體系[4]。

圖1 5G媒體制播應用流程圖

2021年正是5G應用創新發展的關鍵時期，媒體應用是5G應用的重要場景。海河傳媒中心技術團隊結合實際，認真組織并做好落地實施工作，進行了此次“5G+VR”的直播，使觀眾全面感受到了“5G+VR”的獨特魅力。

2 VR全景直播方案設計

此次智能大會開、閉幕式在梅地亞劇場舉行，技術團隊聯合天津聯通公司進行現場5G網絡覆蓋；外場使用VR攝像機拍攝全景畫面，通過ZOOM H4N Pro錄音機進行音頻信號的采集，在Pro 2攝像機內進行視頻的實時拼接縫合，并嵌入音頻信息后壓縮為IP化的視音頻流，通過5G CPE進行上傳，接入5G網絡。臺內通過專線落地，利用部署在梅江院區的實時消息傳輸協議（Real Time Messaging Protocol，RTMP）服務器進行分發，用戶在不同區域利用發布的公網地址或內網地址，就可以在手機、電腦或VR頭顯進行實時觀看。

直播方案設計流程如圖2所示，現場實際搭建和效果圖如圖3所示。

圖2 直播方案設計流程圖

圖3 現場實際搭建及效果圖

3 VR直播具體實施步驟

3.1 5G網絡覆蓋測試

對于廣電行業來說，5G最主要的應用場景就是高數據傳輸速率。5G網絡的峰值傳輸速率可達10 Gbps， 是 4G 長 期 演 進（Long Term Evolution，LTE）蜂窩網的100倍，可滿足高清視頻乃至4K視頻和VR等大數據的傳輸[5]。

在梅地亞劇場，由聯通公司進行5G網絡覆蓋支持，在現場開通了5G室分，提供5G信號。圖4是通過CPE終端將5G信號轉換成無線網（Wireless Fidelity，WIFI）信號后手機連接測試情況，上傳速度達到73.6 Mbps，抖動為22 ms，丟包率為0，很好地滿足了VR信號穩定上傳的傳輸要求。

圖4 手機連接測試情況

3.2 機位選擇

由于此次VR直播只有一個機位，為滿足觀眾的沉浸式體驗需求，技術團隊在機位選擇上進行了反復比較權衡。為不影響正常現場的轉播，機位布置上不能穿幫，就需要避開雜亂的背景。最終開幕式選擇在主會場的2樓設置機位，閉幕式選擇在臺口設置攝像機，以呈現良好的拍攝效果。具體擺放如圖5、圖6所示。

圖5 開幕式機位布置

圖6 閉幕式機位布置

3.3 參數設置

Insta360 Pro 2 VR攝像機配備了九軸陀螺儀，能夠實現針對運動場景的防抖，具備機內推流、自定義服務器推流、機內縫合拼接的功能，在直播準備工作中，在保證2 m內不存在遮擋物的情況下，提前對當前場景進行拼接校準。由于推流服務器性能限制，此次直播沒有采用8K的分辨率，而是采用4K 3 840×1 920@30 fps的分辨率，投影模型采用等距矩形方式，直播推流地址使用臺內的一臺推流服務器，并采用RTMP，推流地址為：rtmp://111.160.193.202/LIVE/111。

3.4 聲音收錄

由于Insta360 Pro 2 VR攝像機在進行直播推流時需要進行散熱，風扇散熱會產生風噪，導致在現場通過攝像機本機收聲的噪音非常大，幾乎聽不清楚聲音，于是嘗試使用調音臺聲音通過3.5 mm接口導入至Pro 2中，但仍然存在音質不佳的問題。為解決聲音收錄的問題，通過比選各種設備，最終選擇專業級全景收聲話筒H4N輸入現場混音后的模擬音頻，經過機內轉換成48 KHz采樣的數字音頻，通過攝像機的USB接口進行聲音的嵌入。經過測試，轉換后的音質良好，能夠滿足直播需求。

3.5 調整曝光設置

在智能大會現場，舞臺上下光線差異較大。全景攝像機采用6目攝像頭環繞結構，對于環境中各個區域不同的光線曝光設置為相同，導致拼接后的視頻出現局部過曝、畫質不佳的現象。經過調整，設置畫面曝光控制為手動，在大會期間，根據大會不同環節、不同場景手動調整攝像機的曝光曲線，以解決背景大屏亮度超標溢出的窘境。

3.6 Logo的疊加

此次VR直播，攝像機是支在一個大約2 m高的三腳架上，拍攝360°全景畫面，但經過畫面的縫合，會出現三腳架的元素，影響畫面美觀。一個有經驗的做法是，為直播制作并設置底部商標（Logotype，Logo），在縫合后的畫面中三腳架的位置疊加上Logo，遮擋部分畫面，不僅能夠豐富畫面的表現形式，增加畫面信息，而且能夠修飾畫面的缺陷。Logo疊加后圖像如圖7所示。

圖7 設置底部Logo

3.7 收看方式

在智能大會期間，不能來現場的觀眾可以通過手機打開特定的insta360 Player軟件進行收看，可以在辦公室利用辦公電腦下載Potplayer應用程序進行觀看，亦可使用VR頭顯收看大會直播實況，讓大家“可操作、可交互”的近距離感受會場氣氛，充分享受創新、賦能、生態的智能大會新體驗。

4 結語

5G作為新一代網絡基礎設施，是經濟社會數字化轉型的關鍵支撐。而VR全景直播是5G應用的首選場景。技術團隊總結分析本次直播的技術系統設計和實踐經驗，對于在融媒體發展背景下，更好地應用5G通信技術、探索媒體的多樣表現形式、完善VR直播技術保障有著重要意義。

針對此次直播中面臨的各種問題和最終呈現效果，技術團隊通過反思，總結了一些需要改進的地方。首先是直播機位過于單調，觀眾容易產生疲勞感；其次是畫面清晰度有待提高；再次是由于推流服務器上沒有安裝全景播放器插件，導致觀眾在觀看時受到了限制，無法通過瀏覽器直接打開VR視頻，只能通過下載相應的應用程序進行觀看。針對這些問題，技術團隊也在積極探索大型會議的VR直播形式，會在后續的VR直播中，通過增加更多機位實現不同位置、不同角度的全景視頻內容切換，豐富視頻畫面。同時，制作VR圖文，并將其疊加在VR視頻上，使整個直播更生動、更靈活，能夠滿足人們日益分化的觀看需求。