黃天發 李瑞勤 黃鵬飛
(中國電子科技集團公司第三十四研究所,廣西 桂林 541004)
高清視頻會議系統設計
黃天發李瑞勤黃鵬飛
(中國電子科技集團公司第三十四研究所,廣西 桂林 541004)
闡述了高清視頻會議的組網方法,給出一種基于MB86H51高清實時編解碼技術的視頻終端設計方法和MCU的設計。從硬件和軟件兩個方面,依次詳細描述了系統的硬件架構和軟件系統架構。
高清視頻會議;MB86H51;MCU;混音
隨著網絡技術與視音頻技術的不斷發展,高清視頻會議系統相關技術被廣泛應用于視頻會議系統的構建中,相對于標清視頻系統來說,高清視頻會議系統在視頻和音頻效果上有著質的變化,加之高清視音頻系統設備采購價格的逐步降低,高清視頻會議系統在各行業用戶中的應用會更加廣泛。MPEG.4 AVC/H.264通常簡稱為H.264。由于其具有強大的壓縮比、低位碼速率、復雜的程序及與通信應用高度整合的能力,已經成為影音數碼產品必備的功能及標準格式。
本文提出的高清視頻會議系統,是基于電信等傳輸公網,將遠端聲音圖像同步傳輸至近端,作為一個系統它具有完整的網管系統,能獨立、靈活控制本系統中聲音和圖像傳輸。視頻會議系統在遠程教育、遠程醫療、遠程電視電話會議、遠程監控等方面有著廣泛的應用。
2.1系統總體設計
典型的視頻會議系統一般由會議終端、通信鏈路、多點控制單元(MCU)及網管組成。其總體結構如圖1所示。公網是系統的通信鏈路,在本系統中鏈路選擇2M信號,2M信號比IP信號延時小,且延時相對固定,而IP信號組網靈活,但延時較長且不固定,對實時性要求低。各個會場一般包括高清視頻會議終端和視音頻輸入/輸出設備及可選的視音頻切換矩陣;MCU(多點控制單元)實現對整個會議系統的管理,包括廣播會議,點對點會議和輪詢等。該系統實現了遠距離高清視頻通話,真正滿足于企業和政府等領域的需要。

圖1 視頻會議系統典型應用框圖
2.2高清視頻會議終端設計
視頻會議終端采用富士通公司的MB86H51半雙工視頻壓縮編解碼芯片,該芯片工作功率低、外形尺寸小,處理數字視頻速度快,采用H.264/AVC 標準對視頻進行壓縮、解壓縮,最大可支持1920x1080分辨率的高清視頻,編碼數據速率最大為20Mbit/秒。
綜合控制模塊芯片采用飛思卡爾MPC860芯片作為主機,實現對終端的控制。該主機通過數據總線和地址總線異步模式連接到MB86H51的主機接口,實現對MB86H51的初始化配置,及訪問內部寄存器。
芯片MB86H51的碼流接口支持符合ISO/IECl3818.1和Amd3標準的MPEG.TS碼流編解碼,數據每包長192字節,即一個4字節的時間戳頭加上數據包(188字節)的長度。該碼流經過FPGA封裝打包,可選擇的封裝成E1包,連接到電信運營商傳輸網,傳輸到遠端的MCU;同時由遠端來的E1信號經拆包后,還原為MPEG.TS碼流,進入MB86H51解碼成SMPTE 274格式給視頻D/A芯片,最后輸出高清視頻信號,高清視頻接口可選擇:HD.SDI、HDMI、YPBPR或CVBS S-VIDEO。
具體原理框圖如圖2所示。

圖2 視頻會議終端原理框圖

圖3 MCU原理框圖
高清視頻會議終端的工作流程:
(1)編碼器工作流程
①設備剛上電時,先復位所有芯片,編碼板處于空閑狀態。等待用戶設置工作狀態,編碼參數。
②給MB86H51下載bootloader。
③通過I2C配置視頻A/D和D/A芯片,將選定的視頻通道打開,根據選定的打開通道使相應的視頻輸入器件工作起來。
④通過數據總線和地址總線配置MB86H51的內部寄存器,發送開始編碼的指令。
⑤向MB86H51標準板請求狀態信息。
⑥判斷MB86H51編碼板是否真的進入到編碼狀;如果是,則系統開始正常工作。
需要注意的一點是:編碼通道上器件的開啟流程,先讓視頻輸入芯片工作起來,然后打開視頻通道,最后再啟動MB86H51編碼。因為MB86H51只有在接收到正確的視頻信號之后才能進行編碼。
(2)解碼器工作流程
解碼流程和編碼流程相類似,可以和編碼流程同步進行。
2.3MCU (多點控制單元)設計
MCU是視頻會議的核心組成部分,也稱視頻會議服務器,可以說它是視頻會議的大腦。所有終端都要通過標準接口連接到MCU,為用戶提供群組會議、多組會議的連接服務。MCU主要由網管單元,音頻混合單元,視頻音頻信號分配、交換單元構成。
網管單元負責整個系統各臺設備的管理和對主控設備的各項參數進行配置;音頻混合單元主要功能包含32路音頻信號混合后再分配。音頻信號混合后再分配是指32個送到主控設備的音頻信號經過選擇某幾路音頻進行混合后再分配給相應的解碼器輸出;32路E1視頻音頻信號分配、交換,是根據網管信息對視頻音頻信號及其它數據信號進行分配、交換。
本系統中一臺MCU容量為32終端,當終端數目超量時,單機無法提供所有用戶接入,可通過MCU級聯的方式擴充網絡能力,在網絡中最上一級的MCU稱為主MCU,其下接從MCU,從MCU下還可以再接從MCU,以滿足更多終端同時加入會議的需要。其原理框圖如圖3所示。
2.4數字音頻混合
音頻混合是視頻會議系統中的重要功能。當物理上多個聲源同時發出聲音時,傳入人耳的聲音是來源于這些聲波的直接相加。模擬混音則是當多個音頻源同時播放時,入耳聽到的聲波是各個聲源聲波的線性疊加。同時,數字語音的混音也是可以將多個聲源信號按照某種規則進行疊加的。混音是指由一個輸出設備播放出多個音頻流,即提供一個多輸入單輸出的語音通道。線性疊加飽和混音實現簡單、快速、效率高,本系統采用DSP技術進行混音,優點是設計靈活,容量大,方便升級。
(1)線性疊加
若有N路音頻數據需要進行混音處理,混音的時候,需要屏蔽某一路自己的本地音頻數據,這樣就不會聽到本地的自己的聲音,只能聽到其他N-1路的聲音,也就是說,對于第t路音頻,要發送給這個終端t的混音后的數據如公式(1)所示:

其中mixing[i]為混合后一幀中的第i個樣本,input[i,j]為j個用戶的第i個樣本,n為一幀的樣本數目,N為終端個數。
(2)溢出判斷與平滑處理
箝位算法實現簡單,當發生上溢時,箝位以后的值為其所能表示的最大值,當發生下溢時,筘位后的值為其所能表示的最小值,如式(2)所示:

箝位的最大值和最小值受語音數據精度的限制,本系統中音頻采用8 bit的A/D芯片,一般來說最大值判斷高4位是否為全1,最小值判斷低3位是否為全0即可。
系統軟件設計主要包括MCU的嵌入式底層設計和操作界面的網管軟件上層設計。底層軟件主要實現視頻的切換、音頻混合、輪詢、點播和告警等功能。上層網管控制軟件的設計采用Windows應用程序+后臺數據庫模式,設備總體結構如圖4所示。上層軟件和底層嵌入式軟件是基于SNMP網絡管理協議通信。其中SNMP協議采用“管理者—代理”的工作模式,管理者為PC端控制軟件,代理為MCU的網管單元。SNMP通信組件通過管理信息庫(MIB)的OID來指定要訪問的數據項,負責發出用于采集設備的運行數據的Get消息和用于控制設備執行指定的動作的Set消息,網管單元負責執行控制軟件的命令;另外,網管單元也可以將設備中發生的事件通過Trap消息及時上報。SNMP通信組件接收到SNMP消息后傳遞給數據采集進程,由數據采集進程傳遞給集中監控進程。

圖4 軟件總體結構框圖
隨著電視會議的發展以及人民生活水平的提高,高清電視會議將被越來越多的人所接受,由此而帶來了對視音頻信號質量要求的提高;本系統研究的高清視頻會議系統很好的繼承了原有的標清視頻會議系統的資源,原有的用戶線路基本不需要改動即可升級到高清視頻會議系統,非常有利于推動電視會議的快速發展。
[1] Hsiu-Cheng Chang,Chien-Chang Lin,Jiun-In Guo. A novel low-costhigh-performance VLSI architecture for MPEG-4 AVC/H.264 CAVLCdecoding[J].Circuits and Systems,2005. ISCAS 2005.IEEE InternationalSymposium on,2005(6):6110-6113.
[2] 張磊.VoIP語音技術及其應用[M].北京:機械工業出版社,2000.
[3] 王文林,廖建新,朱曉民,等.多媒體會議中新型快速實時混音算法[J].電子與信息學報,2007(3):690,695.
[4] 謝斌.MPC860/850嵌入系統開發入門與指導[M].西安:西安電子科技大學出版社,2004.
[5] 李明江SNMP簡單網絡管理協議[M].北京:電子工業出版社,2007.
[6] 孫鑫,余安萍.Vc++深入詳解[M].北京:電子工業出版社,2007.
Design of High Definition Video Conferencing system
This paper elaborates the scheme of Networking for High Definition Video Conferencing, presents the scheme of High Definition real-time codec base on MB86H51 IC, and the scheme of MCU. Presents the hardware architect and software architect design in detail.
HD Video Conferencing; MB86H51; MCU; audio mixing
TN948.6
A
1008-1151(2016)03-0004-03
2016-02-11
黃天發(1976-),男,中國電子科技集團公司第三十四研究所工程師,從事通信工程、視頻傳輸研究工作。