NDI技術(shù)在融合媒體生產(chǎn)中的應(yīng)用

張艷華

（徐州工程學(xué)院，江蘇 徐州 221018）

0 引 言

近年來，在主要面向互聯(lián)網(wǎng)、移動(dòng)終端的融合媒體領(lǐng)域，網(wǎng)絡(luò)設(shè)備接口（Network Device Interface，NDI）技術(shù)在傳輸、接入、調(diào)度、監(jiān)控、live制作、播出、安全、收錄、存儲(chǔ)、后期制作及分發(fā)方面得到了應(yīng)用，對數(shù)字分量串行接口（Serial Digital Interface，SDI）技術(shù)起到了補(bǔ)充甚至替代的作用。

相對于大屏端傳統(tǒng)廣播電視制播體系，融合媒體的制作分發(fā)體系有自己的特點(diǎn)。首先，系統(tǒng)架構(gòu)要靈活，能快速響應(yīng)部署；而且設(shè)備要輕量化。其次，融合媒體制作對信號(hào)的客觀技術(shù)指標(biāo)相對大屏要求較低，主觀感受對信號(hào)壓縮的容忍度也相對較高。相對于大屏端的高清、4K/8K的無壓縮信號(hào)，面向小屏的融合媒體生產(chǎn)，因?yàn)樽罱K推流分發(fā)是面向互聯(lián)網(wǎng)和移動(dòng)終端，所以輸入和輸出都是低帶寬的壓縮信號(hào)。再次，融合媒體的制作分發(fā)體系在滿足設(shè)備輕量化和系統(tǒng)靈活性的基礎(chǔ)上，在技術(shù)性能指標(biāo)滿足要求的前提下，要能實(shí)現(xiàn)當(dāng)前制作系統(tǒng)的主要功能。最后，高性價(jià)比。在人人都是自媒體的時(shí)代，傳統(tǒng)廣電領(lǐng)域的高成本重裝備不適合于融合媒體生產(chǎn)。

綜上所述，NDI技術(shù)的很多特性都契合融合媒體的技術(shù)體系，因此在融合媒體生產(chǎn)領(lǐng)域的應(yīng)用越來越廣泛。

1 NDI技術(shù)原理

1.1 NDI協(xié)議

NDI協(xié)議于2015年由NewTek公司提出。該協(xié)議支持視頻信號(hào)通過局域網(wǎng)進(jìn)行傳輸。它首先對視音頻進(jìn)行壓縮編解碼，所以是編解碼的協(xié)議。另外，它在壓縮編解碼的基礎(chǔ)上進(jìn)行低延時(shí)傳輸，所以也是網(wǎng)絡(luò)傳輸協(xié)議。

NDI協(xié)議屬于IP交互協(xié)議，具備延時(shí)低、幀精度處理、支持設(shè)備及數(shù)據(jù)流間可相互識(shí)別等優(yōu)點(diǎn)。同時(shí)，在傳輸視頻數(shù)據(jù)流以外，NDI協(xié)議還可同時(shí)攜帶多通道無壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。其元數(shù)據(jù)信息支持雙向收發(fā)，發(fā)送者和接收者均可通過NDI識(shí)別并連接。NDI支持廣播級(jí)IP傳輸協(xié)議轉(zhuǎn)換，適用于多數(shù)通用網(wǎng)絡(luò)設(shè)備，并可延伸與多種第三方工具進(jìn)行連接。另外，NDI是一種開源接口定義，開放了主要的軟件開發(fā)工具包（Software Development Kit，SDK）功能，在應(yīng)用中只需通過調(diào)用函數(shù)即可直接使用SDK現(xiàn)有功能[1]。

NDI相對的高指標(biāo)、低延時(shí)，滿足了主客觀圖像質(zhì)量評價(jià)要求；即插即用自發(fā)現(xiàn)的特性，滿足快速響應(yīng)部署的要求；支持TALLY和通話，保證了傳統(tǒng)廣電演播的功能，開源特性使得總體擁有成本降低。可見，NDI的這些技術(shù)特點(diǎn)非常符合前述融合媒體技術(shù)體系的需求。

1.2 NDI碼流

NDI協(xié)議包括FULL NDI和NDI|HX（NDI|HX2）兩種。FULL NDI是基于I幀壓縮的，占用的帶寬高，延時(shí)小，信號(hào)質(zhì)量好。NDI|HX是基于長GOP H.264的改進(jìn)版本，占用帶寬低，相對FULL NDI延時(shí)較大，信號(hào)質(zhì)量較低。NDI廠家給出的NDI信號(hào)帶寬數(shù)據(jù)如表1所示。

表1 NDI信號(hào)帶寬

單個(gè)高清（High Definition，HD）的NDI流帶寬典型值為16 Mb·s-1（NDI|HX）或者180 Mb·s-1（FULL NDI），4K超 高 清（Ultra High Definition，UHD）的NDI流帶寬為250 Mb·s-1或者350 Mb·s-1。理論上，萬兆網(wǎng)絡(luò)可以支持40路以上的HD NDI或者20路以上4K UHD的NDI流。

1.3 圖像質(zhì)量

據(jù)其他文獻(xiàn)研究，將高清圖像測試信號(hào)經(jīng)NDI協(xié)議以80～120 Mb·s-1可變碼率編碼并解碼后輸出，圖像質(zhì)量分析儀的測試結(jié)果如表2所示[2]。

表2 圖像質(zhì)量測試結(jié)果

在圖像質(zhì)量測試結(jié)果中，圖像質(zhì)量等級(jí)（Picture Quality Ratio，PQR)算法首先對經(jīng)過被測系統(tǒng)的圖像序列進(jìn)行標(biāo)準(zhǔn)化處理，之后再對處理后的圖像序列和原始參考圖像序列進(jìn)行最小可覺差異（Just Noticeable Difference，JND）計(jì)算。PQR_Y越小則圖像質(zhì)量越好。平均主觀得分差（Differential Mean Quality Score，DMOS）計(jì)算人眼對原始圖像和處理圖像評價(jià)得分的差異, DMOS_Y值越小則圖像質(zhì)量越好。峰值信噪比（Peak Signal to Noise Ratio，PSNR）在壓縮數(shù)據(jù)流協(xié)議傳輸中，達(dá)到40 dB時(shí)信號(hào)即被認(rèn)為非常接近原始圖像的質(zhì)量，在SDI系統(tǒng)中串行傳輸標(biāo)準(zhǔn)信噪比要求65 dB。PSNR_Y值越大，圖像質(zhì)量越好。而NDI的技術(shù)特性，保證了畫面在多次迭代后，質(zhì)量不會(huì)進(jìn)一步損失。

2 NDI技術(shù)在融合媒體制作中的應(yīng)用

2.1 系統(tǒng)解決方案

2.1.1 攝像機(jī)和編解碼器

目前，市場上有很多支持NDI協(xié)議的PTZ攝像機(jī)，一些傳統(tǒng)的廣電設(shè)備商如Panasonic，Newtek，Lumens等公司也在積極跟進(jìn)。這些攝像機(jī)內(nèi)置NDI|HX編碼器。如果攝像機(jī)不支持NDI編碼，也可以通過外置的編碼器來支持FULL NDI+NDI|HX協(xié)議,實(shí)現(xiàn)視頻傳輸和設(shè)備控制。

編解碼器支持HD或者12G-SDI 4K視頻，端到端延時(shí)小于100 ms。支持NDI發(fā)現(xiàn)服務(wù)器功能，可實(shí)現(xiàn)NDI跨網(wǎng)段傳輸。支持Tally燈、通話、多方式供電等傳統(tǒng)廣電實(shí)用功能。通過與軟件集成，還支持設(shè)備遠(yuǎn)程管理和控制、NDI流管理和分發(fā)、大規(guī)模節(jié)目制作管理等功能。

2.1.2 切換臺(tái)

切換臺(tái)是節(jié)目制作的核心設(shè)備，NewTek公司的TriCaster系列產(chǎn)品是其中的代表作。它提供IP和SDI等輸入接口，兼容各式視頻信號(hào)源。以QuickTime或H.264文件格式錄制多通道全分辨率視頻，用于剪輯、切換、回放、歸檔、點(diǎn)播。可實(shí)現(xiàn)實(shí)時(shí)流媒體傳輸、記錄、數(shù)據(jù)驅(qū)動(dòng)圖形、虛擬布景及社交媒體發(fā)布等。還可利用色度鍵在實(shí)時(shí)視頻、圖文和虛擬場景中創(chuàng)造各種合成場景，并將其用于報(bào)告、演講、演示等用途。

2.1.3 傳輸方案

NDI作為網(wǎng)絡(luò)傳輸協(xié)議，一個(gè)重要的特性就是網(wǎng)絡(luò)發(fā)現(xiàn)性。編碼器把信號(hào)源編碼成NDI信號(hào)后在跨網(wǎng)段的局域網(wǎng)傳輸，網(wǎng)絡(luò)內(nèi)包括PC、導(dǎo)播軟件在內(nèi)的終端都可以實(shí)時(shí)發(fā)現(xiàn)、調(diào)度、制作網(wǎng)絡(luò)內(nèi)的所有NDI信號(hào)。網(wǎng)絡(luò)內(nèi)允許存在多個(gè)推NDI流的編碼終端和多個(gè)拉NDI流的解碼終端。

如果采用常規(guī)的網(wǎng)線傳輸，一個(gè)24口千兆以太網(wǎng)交換機(jī)可以支持50路以上的UDP、RTMP、SRT等TS流。除了有線連接，實(shí)際使用中也有用無線網(wǎng)橋或者WiFi的方式當(dāng)成無線圖傳來傳輸FULL NDI的案例。如圖1所示。

圖1 FULL NDI的無線應(yīng)用

2.2 音頻制作

NDI可以像SDI嵌入音頻信號(hào)一樣，在視頻數(shù)據(jù)流以外可同時(shí)攜帶多通道無壓縮音頻數(shù)據(jù)流及元數(shù)據(jù)信息。要求不高的融合媒體制播場景，切換臺(tái)可直接從可選NDI資源中獲得音頻數(shù)據(jù)流[3]。視頻信號(hào)切換時(shí)綁定的音頻信號(hào)跟隨視頻信號(hào)一同完成切換，或者使用推子單獨(dú)控制音頻通道音源輸出。要求較高的制播場景，會(huì)采用NDI+DANTE的全I(xiàn)P架構(gòu)，如圖2所示。

圖2 DANTE處理流程

DANTE作為音頻系統(tǒng)的核心交換協(xié)議，支持NDI音頻數(shù)據(jù)流轉(zhuǎn)換，DANTE虛擬聲卡從NDI中獲得音頻數(shù)據(jù)流。一個(gè)IP視音頻數(shù)據(jù)流以DANTE協(xié)議將音頻信號(hào)傳輸?shù)紻ANTE調(diào)音臺(tái)接口卡，再通過調(diào)音臺(tái)模擬音頻接口接入切換臺(tái)。這種工作模式會(huì)產(chǎn)生音頻延時(shí)。通過NDI網(wǎng)關(guān)調(diào)整視頻信號(hào)延時(shí)量，通過調(diào)整調(diào)音臺(tái)的音頻信號(hào)延時(shí)量，可以將聲畫延遲對齊。

2.3 遠(yuǎn)程制作

在NDI5之前，NDI默認(rèn)采用multi-TCP的傳輸方式。TCP的傳輸方式雖然可靠，但在傳輸穩(wěn)定性較差的環(huán)境下，其傳輸效率低、實(shí)時(shí)性差。所以NDI通常運(yùn)行在局域網(wǎng)上。

2021年6月推出的最新迭代版本NDI5，采用 了QUIC（Quick UDP Internet Connection），它是一種新的可靠用戶數(shù)據(jù)報(bào)協(xié)議（Reliable UDP，RUDP）傳輸機(jī)制。RUDP在傳輸穩(wěn)定性較差的網(wǎng)絡(luò)環(huán)境下，性能要優(yōu)于TCP。QUIC基于UDP，所以它具備UDP的簡單、低延時(shí)的特點(diǎn)，又因?yàn)樗捎昧伺cTCP相似的擁塞控制/數(shù)據(jù)重傳機(jī)制，它又具備TCP的傳輸可靠性。采用RUDP傳輸?shù)腘DI在傳輸上更穩(wěn)定、延時(shí)更低。這使得NDI協(xié)議具備了廣域網(wǎng)協(xié)議的特征，可以在云平臺(tái)上運(yùn)行，遠(yuǎn)程進(jìn)行視頻協(xié)議傳輸及解碼，在不同的設(shè)備之間進(jìn)行視頻共享，將固定的演播室連接到云端演播室，高效快捷地進(jìn)行視頻演播制作。

3 NDI技術(shù)在調(diào)度分發(fā)域的應(yīng)用

不僅僅在制作域，目前在融合媒體生產(chǎn)的其他領(lǐng)域，采用NDI的音視頻網(wǎng)絡(luò)傳輸協(xié)議代替?zhèn)鹘y(tǒng)的SDI信號(hào)傳輸，完成全臺(tái)技術(shù)系統(tǒng)的IP化和IT化升級(jí)也有很多應(yīng)用。

3.1 匯聚接入

匯聚接入模塊的主要功能就是協(xié)議轉(zhuǎn)換，其原理如圖3所示。

圖3 協(xié)議轉(zhuǎn)換原理

RTMP、SRT、HLS、DVB-UDP、WebRTC等多種外來的流信號(hào)和文件信號(hào)接入，可以實(shí)時(shí)轉(zhuǎn)換成NDI信號(hào)和SDI信號(hào)。

3.2 調(diào)度交換

當(dāng)業(yè)務(wù)中有多路NDI信號(hào)需要并發(fā)、調(diào)度、集中管理，可以使用NDI矩陣。有的產(chǎn)品是先將NDI信源引入一個(gè)專有的NDI流服務(wù)矩陣，然后由服務(wù)器進(jìn)行分發(fā)，此時(shí)流服務(wù)矩陣會(huì)成為系統(tǒng)的單一節(jié)點(diǎn)，這樣的結(jié)構(gòu)無法充分發(fā)揮IP架構(gòu)的優(yōu)勢。

目前，NDI切換調(diào)度矩陣不再采用傳統(tǒng)矩陣的通路方式，而是通過交換機(jī)控制網(wǎng)絡(luò)中的NDI視頻信號(hào)元數(shù)據(jù)，通過地址重定向的方式進(jìn)行信號(hào)直接調(diào)度，但并不對信號(hào)進(jìn)行任何物理集中[4]。由于沒有視頻數(shù)據(jù)實(shí)際匯聚到矩陣，自然也不存在單點(diǎn)潰點(diǎn)。

隨著支持NDI協(xié)議的攝像機(jī)、編解碼器、矩陣、字幕機(jī)、多畫面分割器、幀同步、加解嵌等系列產(chǎn)品的出現(xiàn)，這些不同公司的產(chǎn)品雖然可以互聯(lián)互通，但是沒有統(tǒng)一的管理配置。一些國內(nèi)公司自行研發(fā)的NDI管理與調(diào)度產(chǎn)品，可以實(shí)現(xiàn)對現(xiàn)有NDI網(wǎng)絡(luò)中的各種設(shè)備進(jìn)行管理、控制，使眾多的NDI產(chǎn)品快速、便捷地一體化協(xié)同工作[5]。

3.3 分發(fā)處理

3.3.1 NDI多畫面

NewTek公司提供了監(jiān)看軟件NDI Studio Monitor，但是只能監(jiān)看單畫面。現(xiàn)在實(shí)際應(yīng)用的多畫面系統(tǒng)實(shí)質(zhì)上是一款解碼軟件，可根據(jù)業(yè)務(wù)應(yīng)用需求理論上不受限制地創(chuàng)建NDI窗口，每個(gè)窗口可添加多路各種規(guī)格的NDI視頻流，而且畫面樣式可完全自定義，多窗口播放，窗口之間可以一鍵切換，還可以通過HDMI接口上屏。作為輔助功能，多畫面通常還具備音柱顯示、安全框、中心線及邊框等。

3.3.2 推 流

經(jīng)過內(nèi)部NDI網(wǎng)絡(luò)的調(diào)度和處理后，根據(jù)實(shí)際應(yīng)用需求，系統(tǒng)往往還需要實(shí)時(shí)對外推送。例如，要支持SRT對外實(shí)時(shí)交互，實(shí)現(xiàn)遠(yuǎn)程傳輸，支持RTMP互聯(lián)網(wǎng)快速推流，實(shí)現(xiàn)信號(hào)的多平臺(tái)同步播出，有的還需要支持DVB-UDP，為有線電視等傳統(tǒng)播出平臺(tái)實(shí)時(shí)提供信號(hào)。

4 問題和挑戰(zhàn)

隨著整個(gè)技術(shù)生態(tài)的發(fā)展，NDI正向著一種面向云端視頻業(yè)務(wù)的基礎(chǔ)視音頻I/O標(biāo)準(zhǔn)方向發(fā)展。未來，NDI還需要解決一些實(shí)質(zhì)性的問題。

（1）安全性問題。NDI在視頻的連接、獲取過程中完全不需要鑒權(quán)機(jī)制，可以即插即用。隨著NDI5開始支持面向互聯(lián)網(wǎng)和遠(yuǎn)程制作，傳輸方式改成了天生具有較高等級(jí)加密能力的QUIC，但是身份驗(yàn)證、連接握手的機(jī)制、防火墻/NAT穿透等安全性問題還應(yīng)進(jìn)一步解決。

（2）編解碼問題。使用軟件進(jìn)行NDI編碼的性能，相對于解碼仍差很多。4K分辨率下的圖像質(zhì)量和編碼效率如何平衡，也是一個(gè)很大的挑戰(zhàn)。

（3）音頻問題。NDI5在音頻部分有很大提高，目前幾乎兼容所有的音頻軟件、應(yīng)用程序，并且還允許客戶自定義選擇、接收和生成多通道音頻，而延遲近乎于零。但是還沒有構(gòu)建出一個(gè)完整的基于IP架構(gòu)的音頻體系。

5 結(jié) 語

基于融合媒體生產(chǎn)的互聯(lián)網(wǎng)化、移動(dòng)化，NDI技術(shù)在制作、調(diào)度、分發(fā)等領(lǐng)域的應(yīng)用越來越廣泛。隨著技術(shù)生態(tài)的建立，NDI技術(shù)還在不斷發(fā)展完善。