教育直播中音視頻流與文件流雙流技術

邱鍇

一、背景

近年來，在線教育發(fā)展勢頭磅礴，其具有高效、便捷、低門檻、教學資源豐富等優(yōu)點;加上“互聯(lián)網(wǎng)+”推動，在線教育平臺規(guī)模逐漸擴大，據(jù)中國行業(yè)研究報告網(wǎng)數(shù)據(jù)顯示，預計未來幾年將繼續(xù)保持20%左右的速度增長，保持在千億級以上，產(chǎn)品有著廣闊的發(fā)展空間。

網(wǎng)絡直播迅速發(fā)展成為一種新的互聯(lián)網(wǎng)文化業(yè)態(tài)，視頻直播技術已經(jīng)得到了非常廣泛的應用，從秀場到游戲、再到電商、旅游、教育等各個領域，直播的潛能已被無限拓展。

教育直播市場需求速增長的時代，在流量風暴推動下，中國移動借勢在教育直播領域發(fā)力，研發(fā)具有行業(yè)競爭力的自有產(chǎn)品微課堂。

二、關鍵技術

（一）音視頻流

視頻流：主要通過Pc教師客戶端采集視頻流推送到CDN，CDN再進行分發(fā)，觀眾端進行拉流觀看。

音視頻流特點：

（1）更清晰流暢的音質(zhì)。音頻引擎提供了多種編解碼（opus、AMR-wB、AMR-NH、G.711（PcMA/Pc MIJ）、G.729、AAC等），采用了AEC/AES（回聲消除）、ANR（噪聲消除）、AGC（音頻增益控制）、ARS（自動碼率調(diào)整）、PLC（丟包隱藏）、FEC（前向糾錯）等多種技術，明顯改善了音頻的質(zhì)量，無論對端的音量是20分貝還是150分貝，無論對端背景噪聲是鞭炮、人聲、還是工業(yè)噪音，即便在60%丟包的情況下，本端聽到的語音都清晰流暢，且保持在80至100分貝的舒適音量。

（2）更加清晰明亮的畫質(zhì)。視頻引擎采用了智能曝光及圖像增強等先進的視頻采集增強技術，通過模擬和數(shù)字處理方式智能調(diào)節(jié)亮度和對比度，明顯改善了較暗光線環(huán)境下的視頻效果，使畫質(zhì)更清晰明亮。

（3）音視頻傳輸抗丟包。移動網(wǎng)絡的不穩(wěn)定性、高丟包率一直是影響移動通信用戶體驗的大障礙;音視頻引擎采用了獨創(chuàng)的高精度智能算法和先進的QoS質(zhì)量控制技術，解決了因設備和網(wǎng)絡差異引起的音視頻質(zhì)量不穩(wěn)定和體驗無法最佳化的問題，在網(wǎng)絡狀態(tài)好的時候支持高清語音和高清視頻通話、在網(wǎng)絡狀態(tài)不佳時能智能調(diào)節(jié)語音和視頻的清晰度，不至于通話因網(wǎng)絡干擾而被中斷，讓用戶在復雜網(wǎng)絡狀態(tài)下也能享受清晰流暢的音視頻通話。

視頻編解碼及傳輸層除了使用傳統(tǒng)的FIR、FEC和NACK等技術外，還采用了兩種抗丟包技術RPSI-SLI（引用幀選擇技術），通過編解碼（支持H-264，VP8）和RTCP反饋的深度合作，通過RFC4585規(guī)定的兩種反饋控制機制RPSI/SLI來實現(xiàn)發(fā)送端和接收端的信息交流及控制，能夠大大降低網(wǎng)絡丟包對視頻質(zhì)量的損傷。另外，媒體引擎中還使用了自動幀速率控制（SFrC）、碼率自適應（AR8）、分辨率自適應（resolution control）等算法，對幀速率做了非常精細的控制，使得在給定的網(wǎng)絡條件下能夠達到相對最佳的視頻主觀質(zhì)量，即使網(wǎng)絡丟包率較高時（最高60%丟包），仍能提供比較清晰流暢的音視頻體驗。

（二）文件流

文檔流：Pc教師客戶端將文檔、涂鴉等轉換成圖片通過Http、Socket協(xié)議直接傳輸給觀眾。

（三）音視頻流與文件流

直播音視頻單流推送時，交互的信息較少，樣式相對單一。

音視頻流與文件流雙流：融合雙向流技術，不僅能提供了豐富的文件流（課件、涂鴉、聊天等）使得主播和觀眾交互方式更多樣，還有以下三個方面效益：

（1）降低對網(wǎng)絡帶寬的要求：文檔流作為主流，文檔、涂鴉等以圖片的形式傳輸?shù)接^看端，既保證了高清顯示又降低了消耗流量;將視頻流作為輔助流可以設置較低的分辨率，不僅提高視頻流暢性，而且降低流量消耗

（2）提高了轉碼效率：流文件越大，轉碼所需時間約長，將文件流與視頻流分離，大大少于合流形成流媒體，降低轉碼時長，減少轉碼的排隊時長

（3）視頻流和文件流雙流混合成私有格式文件，避免相關文件外傳造成損失。

視頻流和文件流兩個通道進行傳輸將導致雙流在時間上存在不同步的問題，因此，需時間校準算法實現(xiàn)視頻流和文件流同步顯不：

視頻流采集后推流到CDN，CDN通道分發(fā)傳輸存在大約12秒的時間延遲，這個延遲主要由三方面造成：老師推流時設置的關鍵幀2秒;rtmp協(xié)議大約5秒;客戶端播放器緩存一段時間才播放，大約也是5秒

而文檔流是及時傳輸，大約1秒就會顯示，為了規(guī)避時間同步的問題，采用如下技術方案：

在正常網(wǎng)絡情況下對rtmp、flv、hls等協(xié)議傳輸?shù)囊曨l，從老師端開始推流到學生端顯示平均的延遲時間大約12秒，文檔流進行延遲約12秒顯示;為文件流建立時間軸，以保證視頻流和文檔流按時間軸同步。

（1）自動校準：若遇到網(wǎng)絡不穩(wěn)定等情況，根據(jù)時間軸，每5分鐘實現(xiàn)自動校準。

（2）手動校準：點擊重新拉流可以重新同步時間。

中國移動微課堂有效降低教育、培訓行業(yè)的直播門檻，為學校、培訓機構、公司提供更方便的直播能力，教育直播、培訓直播、會議直播助力行業(yè)發(fā)展。