


摘 要:本文對軟交換+MCU獨立硬件編解碼架構的多媒體會議系統展開研究設計,其中軟交換部分只處理信令和數據轉發,將計算量較大的媒體處理部分交由處理能力更強的MCU專有硬件模塊完成,最大程度的解耦信令處理與多媒體數據處理,節約成本,并可通過配置不同級別MCU模塊以適應多種應用場景,在節約成本的同時提升多媒體會議用戶體驗。
關鍵詞:多媒體會議;會議系統設計;MCU;會議控制
中圖分類號:TN393 文獻標識碼:A DOI:10.3969/j.issn.1003-6970.2021.02.044
本文著錄格式:徐偉.基于軟交換+MCU獨立架構的多媒體會議系統設計[J].軟件,2021,42(02):141-143
Design of Multimedia Conference System Based on Softswitch + MCU Independent Architecture
XU Wei
(Chengmai Technology (Nanjing) Co., Ltd., Nanjing? Jiangsu? 210000)
【Abstract】:This paper studies and designs a multimedia conference system based on Softswitch + MCU independent hardware codec architecture, the soft switch only deals with signaling and data forwarding, the media processing part with large amount of computation is completed by the special MCU hardware module with stronger processing ability, maximum decoupling of signaling processing and multimedia data processing, cost savings, different levels of MCU modules can be configured to adapt to a variety of application scenarios, improve the user experience of multimedia conference while saving cost.
【Key words】:multimedia conference;conference system design;MCU;conference control
0 引言
多媒體會議的出現極大地豐富了日常生活,工作中的溝通交流方式,實現了面對面交流。多媒體會議一般是將IP語音技術、計算機技術、通信技術和互聯網技術相結合的新型產物,一般包括了音頻、視頻、電子白板等實時數據流,是集合現有通信技術優勢而形成的新一代通信方式,特別是隨著5G技術的不斷應用,多媒體會議將帶來更加高清,低時延的用戶體驗,將釋放更大的應用潛力和價值。
在多媒體會議通信系統中主要包含了信令和實時流媒體數據,其中信令主要是指建立多媒體通信會話和會議控制管理相關的消息,處理過程簡單,硬件資源占用較小,而流媒體數據包含了會議成員語音數據,視頻圖像數據,電子白板等實時數據流,處理過程復雜,需要占用較多硬件資源,特別是當會議成員人數較多,或會議成員多媒體數據編碼格式不統一時,不同編碼格式間多媒體數據編解碼處理和混合運算將消耗大量硬件資源進行復雜的編解碼轉換數學運算,導致系統硬件需求急劇上增,隨著系統硬件資源的耗盡,多媒體會議將出現卡頓、延遲、甚至無法通信的情況,嚴重影響用戶體驗。
MCU模塊一般由專有架構或芯片構成,相比通用計算機平臺具備更強的數據處理能力和數學運算能力,但邏輯處理能力相對較弱。在多媒體會議系統中信令處理雖然邏輯復雜,但運算量較少,一般的通用計算機處理能力就能勝任,而媒體數據處理則恰恰相反,需要較高的運算能力。基于以上分析,將多媒體會議中信令處理與媒體實時數據處理向分開,其中多媒體會議信令處理由通用計算機完成,而多媒體會議實時數據流由專有MCU模塊完成,解決通用計算機處理能力不足導致多媒體會議卡頓、掉幀、黑屏等問題,通過較低成本搭建高可用性多媒體會議系統,改善多媒體會議用戶體驗。
1 多媒體會議系統架構設計
多媒體會議信令處理一般包括多媒體會話建立和會議控制管理,其中多媒體會話建立的協議系統主要有SIP、H.232、IAX2以及Google Talk等。
H.323由ITU在1996年提出,通過與IETF的資源預留協議(RSVP)等IP技術結合,可為分組網絡提供多媒體通信,目前已形成第四版。H.323較早在IP網絡上實現聲音、視頻和實時數據信息傳輸,奠定了全球范圍內IP電話通信基礎。SIP全稱為會話初始化協議,由IETF在1999年提出,用于在IP網絡中實現實時多媒體通信。SIP是基于應用層的控制協議,提供了REGISTER、INVITE、CANCEL、ACK、BYE、INFO等方法,主要用于建立、維持和終止多媒體會話,支持用戶定位、用戶有效性檢查、用戶性能檢查、會話建立和會話管理。SIP協議本身不提供服務,而是作為會話建立的基礎,配合SDP(Session Describe Protocol)協議、RTP(Real-time Transport Protocol)協議,SRTP
(Secure Real-time Transport Protocol)等協議構建完整的多媒體通信架構。SIP協議在設計之初就采用了以服務為目的的設計理念,具有簡單、靈活和擴展性強的特點,相比H323協議更加適應IP網絡發展,已成為語音會議發展的主流方向。
本文也將基于SIP協議,并且選擇開源軟件FreeS WITCH作為基于SIP的多媒體會議信令處理系統。FreeSWITCH創建于2006年,是世界上第一個基于IP的開源的跨平臺電話軟交換機引擎、PBX、多媒體網關等,既允許用戶進行一對一的單個呼叫,也能組成能夠處理數百萬呼叫的大型服務器集群,已成為全球首屈一指的開源軟交換平臺,也被廣泛應用到各類多媒體會議系統。
基于MCU的多媒體會議系統架構如圖1所示,多媒體會議信令處理一般服務器(FreeSWITCH)完成,而MCU負責完成多媒體會議成員音視頻實時數據編碼解碼,視頻畫面融屏拼接,電子白板等復雜處理運算,數據流如圖1所示。
圖1所示服務器運行信令處理部分負責信令消息解析,其中信令處理部分完成多媒體會議成員注冊,注銷和狀態管理,以及會話建立、管理、維護;會議控制管理負責MCU資源分配和釋放,當多媒體成員需要對其音視頻數據編解碼處理或融屏處理時,會議控制模塊向MCU下發資源請求和參數控制MCU工作,當會議成員結束通話后會議控制模塊向MCU下發資源釋放請求,回收硬件資源;而多媒體會議中的實時數據流則交由專有MCU模塊處理,其負責完成多媒體會議成員音視頻實時數據編碼-解碼-融屏等復雜處理運算;MCU則根據會議控制管理下發請求及參數進行復雜的數學運算處理,完成音視頻數據轉碼,混屏等操作,然后將處理后的數據發送至用戶成員,系統架構如圖2所示。
2 多媒體會議系統處理流程設計
基于本文架構的多媒體會議系統,信令模塊只負責處理SIP消息處理和會話建立,包括了用戶注冊、會議創建與管理、成員加入與請出,以及會議銷毀等功能。
當信令模塊收到一個多媒體呼叫后,首先檢查本地是否已經存在該多媒體的虛擬會議室,如果不存在先新建一個虛擬會議室,用于多媒體會議管理控制,并由多媒體會議控制管理模塊根據相關參數向MCU下發媒體資源請求,分配媒體資源用于會議成員多媒體處理;當存在虛擬會議室時會議成員直接加入該會議室進行多媒體會議通信,并請求MCU分配硬件資源,而當最后一個會議成員結束會話后,直接銷毀該虛擬會議室,并釋放MCU硬件資源,SIP消息具體流程如圖3所示。
由于本文將多媒體會議成員實時媒體數據與信令處理相互分開,根據SIP協議規范,在多媒體會議成員加入會議時需要協商將多媒體數據發送至MCU模塊進行處理,修改手動修改INVITE消息SDP信息,將SDP信息中標識對端IP地址的c行修改為MCU模塊IP地址,會話建立后,終端就直接將多媒體媒體數據發送至MCU模塊,MCU模塊根據會議控制管理請求參數完成數據處理,并將處理后的多媒體數據發送至用戶終端。
3 語音會議系統數據流分析
為測試本文設計的基于MCU硬件架構的多媒體會議處理性能,本文選用SIPp自動測試工具進行性能測試。SIPp是一款遵循GPL的SIP協議性能測試開放源軟件,通過配置參數文件可測試設備編解碼能力,常用于SIP代理設備、SIP媒體服務器、SIP網關等真實設備性能測試,表1為使用1組MCU模塊編解碼測試結果。
從表1中測試結果可得,多媒體會議質量與系統會議個數和每個會議規模相關性較弱,與系統總會話數相關性較強,當總會話數超過90個時,話音質量清晰,但已出現延時,且視頻圖像出現掉幀,而當系統總會話數超過100個時,話音質量不清晰,且延時明顯,視頻圖像存在黑屏情況,主要原因是隨著會話數量的增加,MCU硬件資源不足,導致編解碼和混屏處理時延增加,話音出現延時和不清晰,但將多媒體會議媒體數據處理單獨獨立出來,使得系統媒體處理能力可以通過配置不同MCU靈活改變,解決系統媒體處理瓶頸問題,靈活配置適配不同應用場景。
4 結語
本文設計的多媒體會議系統將會議成員信令控制和話音數據處理分開,其中信令模塊只負責處理信令,而會議控制管理只復雜會議管理,MCU負責全部的音視頻編解碼和融屏處理,將系統中易造成性能瓶頸的媒體編解碼獨立出來,通過增加或減少MCU編解碼模塊數量來靈活配置系統可會議支持能力,以適應不同的應用場景,提升用戶體驗。
參考文獻
[1] 亓振.基于FreeSWITCH的軟交換通信系統的設計與實現[D].西安:西安電子科技大學,2017.
[2] 何晨澤,曹毅.基于SIPp的SIP協議性能測試研究與應用[J].電子技術與軟件工程,2014(15):43-45.
[3] 張鈺.基于FreeSWITCH的視頻會議系統服務器端的研究與實現[D].北京:北京郵電大學,2019.
[4] 劉一帆,韓衛占,方強.基于SIP協議的跨域會議控制機制設計[J].電子測量技術,2019(16):12-16.
[5] 張洪,劉虹.SIP多方視頻會議應用服務器設計與實現[J].科技與創新,2019(21):94+97.
[6] 任子龍.基于SIP協議的多媒體通信系統的設計與實現[D].北京:北京郵電大學,2019.