網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)錄制與回放方案設(shè)計(jì)

鄭洪英，楊卓霖，陳劍勇

(1.深圳信息職業(yè)技術(shù)學(xué)院 軟件學(xué)院，廣東 深圳518172;2.深圳大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東 深圳518060)

責(zé)任編輯:任健男

視頻會(huì)議系統(tǒng)[1-2]指的是兩個(gè)或兩個(gè)以上的個(gè)人或群體在不同地方通過(guò)網(wǎng)絡(luò)傳輸路線和硬件設(shè)備，將聲音、視頻以及文件資料進(jìn)行即時(shí)傳輸，達(dá)到即時(shí)互動(dòng)交流的效果。視頻會(huì)議系統(tǒng)旨在為位于不同區(qū)域的用戶(hù)提供一個(gè)會(huì)議環(huán)境，使人們足不出戶(hù)就能夠與朋友、同事展開(kāi)會(huì)議討論。視頻會(huì)議系統(tǒng)一般具有以下特點(diǎn):通過(guò)網(wǎng)絡(luò)遠(yuǎn)程參加會(huì)議或者交流;不受地理位置所限制，能夠隨時(shí)隨地進(jìn)行協(xié)作工作;會(huì)議系統(tǒng)一般具有視頻、音頻、文檔共享、白板等功能。

bigbluebutton[3]是github社區(qū)的一款開(kāi)源的視頻會(huì)議系統(tǒng)，它也是一款教育視頻會(huì)議系統(tǒng)。該系統(tǒng)支持多人語(yǔ)音視頻聊天、文字聊天、桌面共享、文檔在線演示、白板、簡(jiǎn)單錄制和回放等功能。由于擴(kuò)充性和開(kāi)源性良好，Bigbluebutton具有很高的開(kāi)發(fā)研究?jī)r(jià)值，不少高校應(yīng)用bigbuluebutton進(jìn)行網(wǎng)絡(luò)視頻教學(xué)[4-5]。目前市面上有許多視頻會(huì)議產(chǎn)品是基于該系統(tǒng)所做的二次開(kāi)發(fā)，如UBI Meeting，ppmeet，263視頻會(huì)議等。

用戶(hù)在視頻會(huì)議系統(tǒng)使用過(guò)程中，往往需要對(duì)會(huì)議過(guò)程進(jìn)行錄制，用于資源保存，以便日后檢索和評(píng)估等。順應(yīng)這個(gè)需求，視頻會(huì)議系統(tǒng)推出會(huì)議的錄制與回放功能[6-8]，但是大部分都是采用客戶(hù)端錄制當(dāng)時(shí)會(huì)議存放到本地計(jì)算機(jī)，如果要將視頻發(fā)布到網(wǎng)上還需要自己親自上傳[9-10]，這對(duì)于用戶(hù)來(lái)說(shuō)，既不方便又費(fèi)時(shí)。并且，如果是在舉行會(huì)議期間一邊錄制，一邊將錄制的視頻流保存在服務(wù)器上，這可能占據(jù)當(dāng)前的寬帶網(wǎng)速，從而影響當(dāng)前會(huì)議的質(zhì)量。

針對(duì)以上的這些問(wèn)題，研制一個(gè)既能方便用戶(hù)使用，又不影響當(dāng)前會(huì)議的交流質(zhì)量的錄制與回放機(jī)制能夠彌補(bǔ)視頻會(huì)議的不足。本文也正是基于這一點(diǎn)，同時(shí)也結(jié)合HTML5的興起，在開(kāi)源項(xiàng)目bigbluebutton的基礎(chǔ)上設(shè)計(jì)了一套基于HTML5網(wǎng)頁(yè)形式的視頻會(huì)議錄制與回放機(jī)制，實(shí)現(xiàn)對(duì)該開(kāi)源項(xiàng)目系統(tǒng)功能的擴(kuò)展。

1 bigbluebutton架構(gòu)

bigbluebutton是采用B/S模式，用戶(hù)只需要用瀏覽器即可使用bigbluebutton系統(tǒng)。bigbluebutton系統(tǒng)由client端(客戶(hù)端)、app端(服務(wù)器端)、ruby端(回放處理端)、web端(網(wǎng)頁(yè)服務(wù)器端)組成。

在bigbluebutton上，用戶(hù)可以通過(guò)兩種方式登錄會(huì)議室，一種方式是用瀏覽器的方式登錄，另一種方式是用電話撥號(hào)接入。當(dāng)用戶(hù)用瀏覽器登入時(shí)，將會(huì)通過(guò)RTMP協(xié)議與red5服務(wù)器建立連接，最后與red5服務(wù)器上的app端和freeswitch端建立Connection，其中app端與client端的白板、文字聊天、文檔演示等功能模塊聯(lián)系在一起。

client端是采用mate架構(gòu)建立的，client端所有的操作都是采用事件分發(fā)的形式。client端和app端進(jìn)行交互的時(shí)候，首先client端先創(chuàng)建一個(gè)事件消息體發(fā)送到Event Bus事件總線上，map事件表時(shí)刻監(jiān)測(cè)事件總線，當(dāng)監(jiān)測(cè)到指定事件時(shí)，觸發(fā)相應(yīng)函數(shù)，通過(guò)shareObject共享對(duì)象與app端進(jìn)行數(shù)據(jù)傳輸;app端往client端傳遞消息，同樣也通過(guò)shareObject共享對(duì)象傳遞消息到client端的service服務(wù)類(lèi)中，服務(wù)類(lèi)接收到消息之后，生成事件并發(fā)送到事件總線，client端的相關(guān)模塊監(jiān)控事件總線，接收相關(guān)事件并作出相關(guān)響應(yīng)。

在bigbluebutton錄制模塊中，錄制的內(nèi)容并不是傳統(tǒng)的流形式的媒體文件，而是本會(huì)議系統(tǒng)當(dāng)下行為的事件信息。每個(gè)事件都完整地包含了每個(gè)行為的具體信息，其中包含的信息有會(huì)議的行為屬性、會(huì)議行為觸發(fā)的時(shí)間、會(huì)議行為的具體內(nèi)容等。在會(huì)議中，會(huì)議的動(dòng)作大概可以分為以下幾種:文字聊天、音頻聊天、文檔演示、用戶(hù)加入退出等。每個(gè)事件信息都含有具體觸發(fā)的時(shí)間，在會(huì)議回放的時(shí)候，相關(guān)文檔會(huì)根據(jù)此行為事件發(fā)生的具體時(shí)間聯(lián)系起來(lái)，從而進(jìn)行文檔的演示播放，該系統(tǒng)的錄制處理過(guò)程如圖1所示。

圖1 錄制處理流程

在傳統(tǒng)的錄制系統(tǒng)中，會(huì)議進(jìn)行錄制一般都是用多媒體流來(lái)記錄視頻和聲音的形式，即用音視頻流的形式保存當(dāng)時(shí)會(huì)議的情況。這樣往往會(huì)導(dǎo)致錄制之后的文件較為龐大。目前大部分錄制系統(tǒng)都是采用壓縮視頻和音頻的方式對(duì)會(huì)議的錄制視頻進(jìn)行優(yōu)化，錄制視頻即使經(jīng)過(guò)優(yōu)化之后，還是需要占用大量的內(nèi)存空間，而且一般情況下，會(huì)議的錄制視頻先保存在本地計(jì)算機(jī)，然后再由會(huì)議主持人上傳到網(wǎng)上供大家點(diǎn)擊觀看。這些就需要主持人的額外時(shí)間，會(huì)議的錄制之后收尾工作就顯得較為麻煩。錄制視頻文件占用大量?jī)?nèi)存、操作不方便(如錄制后需要用戶(hù)上傳)的問(wèn)題在傳統(tǒng)的錄制模式中是無(wú)法避免的。

在bigbluebutton開(kāi)源項(xiàng)目中，錄制模塊另辟蹊徑。通過(guò)一種popcorn.js框架把會(huì)議的音頻、文檔以某種方式聯(lián)合在一起，這樣就不需要再用視頻流的方式來(lái)錄制會(huì)議，只需要將會(huì)議所發(fā)生的各種動(dòng)作以事件的形式記錄下來(lái)，然后將此事件信息與保存在服務(wù)器的聊天音頻流文件上傳到服務(wù)器的演示文檔進(jìn)行時(shí)間的匹配處理，再通過(guò)popcorn.js框架的網(wǎng)頁(yè)進(jìn)行播放，實(shí)質(zhì)上呈現(xiàn)給用戶(hù)的就是一個(gè)完整的會(huì)議視頻。那樣只需要做一點(diǎn)關(guān)鍵性的工作，就是將會(huì)議所發(fā)生的各種行為以一種文字的方式進(jìn)行記錄保存，在此將其簡(jiǎn)單稱(chēng)為行為事件。由于此錄制系統(tǒng)產(chǎn)生的并不是一個(gè)視頻多媒體流文件，所以降低了會(huì)議錄制視頻文件的大小，而且會(huì)議的錄制自動(dòng)執(zhí)行，不需要會(huì)議主持人額外操作。

但是在bigbluebutton開(kāi)源項(xiàng)目中的錄制模塊同樣存在明顯的缺點(diǎn)，那就是會(huì)議的錄制不受人為的控制，會(huì)議一旦開(kāi)始，錄制就開(kāi)始，直到會(huì)議結(jié)束，錄制才結(jié)束。在會(huì)議的中途，錄制完全沒(méi)有辦法停止下來(lái)。雖然bigbluebutton的錄制模塊優(yōu)勢(shì)很明顯，但是它的靈活性太低了，這是不可忽視的缺點(diǎn)，也是急需解決的問(wèn)題。

2 錄制與回放的設(shè)計(jì)方案

2.1 錄制與回放的設(shè)計(jì)方案

在bigbluebutton系統(tǒng)中，在第一個(gè)用戶(hù)開(kāi)啟會(huì)議的時(shí)候，整個(gè)會(huì)議實(shí)質(zhì)上就處于錄制的狀態(tài)，會(huì)議所發(fā)生的每一個(gè)動(dòng)作行為都會(huì)以事件的形式進(jìn)行記錄，直到會(huì)議關(guān)閉，事件的記錄才結(jié)束。對(duì)會(huì)議進(jìn)行錄制的時(shí)候，會(huì)議有些內(nèi)容是無(wú)用的。這時(shí)候往往希望能夠按照自己的需要對(duì)會(huì)議的某一個(gè)關(guān)鍵時(shí)刻進(jìn)行錄制，對(duì)無(wú)關(guān)要緊的會(huì)議內(nèi)容就不需要錄制。

要實(shí)現(xiàn)上述功能，本文提出了一個(gè)思路:在可視操作界面增加一個(gè)錄制按鈕，點(diǎn)擊按鈕會(huì)產(chǎn)生錄制或者暫停錄制的行為，將該錄制和不錄制的動(dòng)作封裝成為一個(gè)事件，通知整個(gè)會(huì)議系統(tǒng)改變錄制的狀態(tài)，而發(fā)出是否錄制的動(dòng)作只能由主持人設(shè)定。在錄制模塊中，系統(tǒng)只需要進(jìn)行簡(jiǎn)單的事件傳遞，在回放處理模塊中，系統(tǒng)綜合該事件的觸發(fā)時(shí)間和參數(shù)對(duì)其他事件和媒體文件進(jìn)行處理，從而生成一個(gè)符合用戶(hù)需求的錄制視頻。

針對(duì)此思路，提出如圖2所示的會(huì)議錄制結(jié)構(gòu):[會(huì)議名，(開(kāi)始時(shí)間、截止時(shí)間)，……，(開(kāi)始時(shí)間、截止時(shí)間)]。一個(gè)會(huì)議實(shí)質(zhì)上是將一個(gè)或者多個(gè)錄制時(shí)間段串聯(lián)起來(lái)從而組合成一個(gè)完整的會(huì)議。而每個(gè)子錄制時(shí)間段都會(huì)由一個(gè)開(kāi)始錄制事件和停止錄制事件組成，每個(gè)錄制事件結(jié)構(gòu)中進(jìn)而包含了事件名，觸發(fā)此動(dòng)作的時(shí)間戳，事件由哪個(gè)所屬模塊觸發(fā)，錄制的狀態(tài)標(biāo)志。

圖2 會(huì)議錄制結(jié)構(gòu)組成

錄制事件中的狀態(tài)標(biāo)志是一個(gè)布爾值，它只有兩個(gè)狀態(tài)——true或者false。當(dāng)為true的時(shí)候，則通知系統(tǒng)錄制開(kāi)始;如果為false的話，則通知系統(tǒng)暫停錄制。錄制事件在整個(gè)錄制的流程扮演非常重要的角色，通過(guò)錄制事件，會(huì)議的錄制可以靈活地由主持人控制。

2.2 回放處理模塊設(shè)計(jì)

本系統(tǒng)的回放處理模塊與bigbluebutton開(kāi)源系統(tǒng)的回放處理模塊的基本原理是相同的，兩者的回放形式都是以音頻文件的總時(shí)間作為會(huì)議的總時(shí)間，在網(wǎng)頁(yè)播放音頻文件的同時(shí)，在音頻的某一時(shí)刻加載顯示word文檔、ppt、圖片等文檔或者文字信息等。通過(guò)這種形式，一個(gè)會(huì)議視頻分為音頻、文檔、文字幾個(gè)部分存儲(chǔ)，而不是一個(gè)獨(dú)立的視頻流文件。由于會(huì)議視頻不是以視頻流的形式保存和播放，會(huì)大大減少會(huì)議視頻的大小，同時(shí)也會(huì)減少網(wǎng)上點(diǎn)播會(huì)議視頻時(shí)的網(wǎng)絡(luò)流量。

bigbluebutton系統(tǒng)回放處理模塊的處理流程流程圖如圖3所示。

圖3 回放處理模塊的會(huì)議視頻處理流程

這個(gè)流程包含3個(gè)步驟:

1)采集過(guò)程:采集會(huì)議的原始文檔、音視頻文件與會(huì)議中各種事件。

2)處理過(guò)程:對(duì)采集的文檔和音視頻進(jìn)行加工處理。

3)發(fā)布過(guò)程:根據(jù)事件列表生成一個(gè)播放列表slide.xml。popcorn.js框架播放會(huì)議視頻時(shí)，會(huì)讀取slide.xml文件表格，從而判斷在播放音頻的某一個(gè)時(shí)間段，播放某一張圖片和某些文字信息。

本系統(tǒng)的回放流程與bigbluebutton最大的不同是:增加一個(gè)錄制時(shí)間數(shù)組。這個(gè)錄制時(shí)間數(shù)組是由錄制模塊的錄制事件的時(shí)間參數(shù)處理得到的，負(fù)責(zé)對(duì)音頻的切割合并處理，同時(shí)對(duì)播放列表slide.xml表格進(jìn)行調(diào)整。這個(gè)錄制時(shí)間數(shù)組是該回放處理模塊的關(guān)鍵數(shù)據(jù)，在整個(gè)視頻的生成過(guò)程起了核心作用。

時(shí)間數(shù)組的制作是在處理過(guò)程的環(huán)節(jié)中生成，該數(shù)組制作較為簡(jiǎn)單，對(duì)錄制事件中的時(shí)間戳進(jìn)行簡(jiǎn)單的處理即能得到時(shí)間數(shù)組。之后，回放處理模塊利用該數(shù)組進(jìn)行2個(gè)方面工作:音頻處理，slide.xml的調(diào)整。

音頻處理過(guò)程如下:

1)時(shí)間數(shù)組中每2個(gè)數(shù)作為1組數(shù)據(jù)，根據(jù)開(kāi)始時(shí)間和時(shí)間間隔用sox工具對(duì)音頻文件進(jìn)行切割。

2)將切割得到的音頻文件進(jìn)行合并成為一個(gè)新的音頻文件。

Slide.xml調(diào)整過(guò)程如下:

1)篩選去掉不在時(shí)間數(shù)組區(qū)間里的事件信息。

2)利用時(shí)間數(shù)組調(diào)整所有事件的時(shí)間信息。

音頻經(jīng)過(guò)切割處理、slide.xml經(jīng)過(guò)調(diào)整后，發(fā)布程序自動(dòng)將音頻、文檔、slide.xml發(fā)布到網(wǎng)上，供網(wǎng)友點(diǎn)擊觀看。

2.3 性能測(cè)試

首先，對(duì)通過(guò)該系統(tǒng)得到的錄制視頻的大小進(jìn)行測(cè)試，該系統(tǒng)錄制視頻并不是傳統(tǒng)意義的視頻流文件，它實(shí)質(zhì)由音頻、文檔、控制播放表格3個(gè)部分組合而成。其中音頻文件是采用ogg壓縮音頻格式，文檔則是轉(zhuǎn)化為一張一張的文檔圖片，只需要對(duì)音頻、文檔圖片、slides.xml控制播放表格測(cè)試其大小，即可得知該錄制視頻的大小。

表1中的數(shù)據(jù)是對(duì)不同時(shí)間段的錄制視頻大小進(jìn)行測(cè)試，從中發(fā)現(xiàn)，即使視頻的時(shí)間長(zhǎng)達(dá)2個(gè)多小時(shí)，它的總大小只有十幾Mbyte而已，而一般一首只有3 min的高清MP3歌曲的大小就會(huì)達(dá)到5～7 Mbyte。相對(duì)于傳統(tǒng)視頻，本系統(tǒng)的錄制機(jī)制無(wú)疑能夠減小硬盤(pán)空間的占用率。

從表1可以看出，錄制視頻的總大小并不是隨著時(shí)間的增長(zhǎng)而增長(zhǎng)，如圖4所示。

表1 不同時(shí)間段的錄制視頻大小統(tǒng)計(jì)

圖4 錄制視頻隨時(shí)間變化的變化圖

從表1中數(shù)據(jù)可以得知，影響著錄制視頻總大小的主要是音頻文件與文檔圖片。其中，音頻文件一般隨著視頻時(shí)間的增長(zhǎng)而增長(zhǎng)，但是文檔圖片大小則是根據(jù)當(dāng)前會(huì)議所演示的文檔的大小決定，與會(huì)議時(shí)間的長(zhǎng)度關(guān)聯(lián)性不大。在圖4中，在橫坐標(biāo)60 min左右出現(xiàn)了一個(gè)峰值，因?yàn)樵谶@個(gè)視頻里面文檔圖片的大小達(dá)到了10 Mbyte以上，從而導(dǎo)致該視頻遠(yuǎn)遠(yuǎn)大于其他錄制視頻的大小。

接下來(lái)，對(duì)回放處理模塊處理錄制視頻所耗費(fèi)的時(shí)間進(jìn)行測(cè)試。首先，固定錄制總時(shí)間為20 min，會(huì)議總時(shí)間不固定，測(cè)試其回放處理時(shí)間。通過(guò)這種方式進(jìn)行多次測(cè)試，測(cè)試數(shù)據(jù)如表2所示，時(shí)間變化曲線圖如圖5所示。

從圖5可以看出，當(dāng)錄制總時(shí)間固定，回放處理時(shí)間隨著會(huì)議總時(shí)間的增長(zhǎng)而增長(zhǎng)，基本呈線性關(guān)系。

最后，從另一個(gè)角度去測(cè)試回放處理時(shí)間的變化情況。當(dāng)會(huì)議總時(shí)間不變，錄制總時(shí)間不固定，回放處理時(shí)間又有何變化呢?將會(huì)議總時(shí)間設(shè)為2 h進(jìn)行測(cè)試，測(cè)試數(shù)據(jù)如表3所示，處理時(shí)間變化圖如圖6所示。

表2 回放處理時(shí)間表 min

圖5 回放處理時(shí)間變化圖

表3 回放處理時(shí)間數(shù)據(jù)表 min

圖6 回放處理時(shí)間變化圖

從圖6中可知，錄制總時(shí)間的變化并不影響回放處理的時(shí)間。綜合圖5和圖6得出一個(gè)結(jié)論:回放處理時(shí)間與會(huì)議總時(shí)間呈單調(diào)遞增線性關(guān)系。之所以會(huì)議總時(shí)間決定回放處理時(shí)間，是因?yàn)樵诓杉⑻幚怼l(fā)布3個(gè)環(huán)節(jié)中，采集和發(fā)布環(huán)節(jié)占用較少，時(shí)間主要耗費(fèi)在處理環(huán)節(jié)中，而決定處理環(huán)節(jié)時(shí)間，恰恰是由處理的音頻總長(zhǎng)度決定，從而會(huì)議時(shí)間決定了回放處理時(shí)間。而對(duì)同樣大小的音頻進(jìn)行切割得到的不同長(zhǎng)度的音頻文件所用時(shí)間幾乎相同，所以錄制時(shí)間的長(zhǎng)短并不影響回放處理的時(shí)間。

3 結(jié)束語(yǔ)

本文主要目的是研究教學(xué)視頻會(huì)議系統(tǒng)的錄制與回放處理的模式。本文首先調(diào)研了bigbluebutton項(xiàng)目的主要框架以及該項(xiàng)目會(huì)議錄制的特點(diǎn)，從多個(gè)方面了解bigbluebutton項(xiàng)目中的錄制模式的優(yōu)點(diǎn)以及缺陷。然后在這個(gè)基礎(chǔ)上，提出自己創(chuàng)新性的錄制模式，既能夠保持bigbluebutton中錄制模式所擁有的優(yōu)越性，又能夠克服該模式帶來(lái)的缺陷。該模式不但能夠按照用戶(hù)需求錄制，且使用十分便利，同時(shí)也能大大節(jié)省視頻所占用的存儲(chǔ)空間。

[1]胡凡良，宋玲，李陶深.基于DirectShow的視頻會(huì)議系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2006，27(7):1164-1166.

[2]AKKUS I E，OZKASAP O，CIVANLAR M R.Peer-to-peer multipoint video conferencing with layered video[J].Journal of Network and Computer Applications，2011(34):137-150.

[3]BigBlueButton Inc.BigBlueButton[EB/OL].[2013-10-15].http://www.bigbluebutton.org，obtained on 2012-02-01.

[4]KISS G.Comparison of traditional and WEB-based education-case study“BigBlueButton”[C]//Proc.2012 International Symposium on Information Technologies in Medicine and Education(ITME2012).Hokkaido，Japan:IEEE Sapporo Section，2012:101-105.

[5]古吉虎.基于開(kāi)源軟件的高職網(wǎng)絡(luò)教學(xué)平臺(tái)的研究與實(shí)踐[D].南寧:廣西師范學(xué)院，2012.

[6]邢林虎，朱志祥.一種新的視頻會(huì)議錄制方法[J].科技信息，2008(9):331-332.

[7]許倩倩，王文學(xué).基于Flash Media Server 2構(gòu)建的在線錄制視頻應(yīng)用研究[J].中國(guó)高新技術(shù)企業(yè)，2007(5):78.

[8]張燦，薛云志，陳軍成.一種基于Android平臺(tái)GUI錄制回放工具的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2012，29(12):6-9.

[9]DEMIR S U，MIRSHAHI N，WARD K，et al.Vessel extraction of microcirculatory video recordings using multi-thresholding based verification algorithm[C]//Proc.International Conference on Biosciences.Cancun，Mexico:CPS Conference Publishing Services，2010:11-15.

[10]WANG H，KUO C J.Robust video multicast with joint network coding and video interleaving[J].Journal of Visual Communication and Image Representation，2010，21(2):77-88.