虛擬圓桌高清視頻會議技術的研究

王瑞剛

（西安郵電學院 通信技術研究所，陜西 西安 710061）

1 引言

虛擬會議的提出旨在解決視頻會議缺乏臨場感的問題，通過構建以會議成員為中心的虛擬會場，明確與會者之間的虛擬空間邏輯關系，提高會議成員的群組感知程度和交互深度，使與會人員能夠以自然的方式（包括圖像、聲音、姿態、眼神等）交互協作。

自1999年ACM國際多媒體技術大會（Association for Computing Machinery International Conferenceon Multimedia）上虛擬空間會議（VST）概念正式提出，許多組織都對這一技術進行了研究。瑞士日內瓦大學MiraLab實驗室和瑞士聯邦技術學院（EPLF）計算機圖形實驗室研制出以“虛擬人控制”為主要特征的VLNet（Virtual Life Network）系統[1]。日本京都大學研制出以“3D虛擬社區和隨時接觸仿真”為主要特征的FreeWalk系統[2]。在國內，孫茂軍等人提出“三投影拼接半沉浸”式HVS系統[3]；孫立峰等人研究了“多視點”的虛擬會議現實與合成技術[4]；呂朝輝等人研究了“中間視”合成方法[5]；胡瑞敏等人提出了“基于空間對象”的虛擬會議音頻重建技術[6]。

總的來講，虛擬會議的技術研究和產業發展比較緩慢。一方面，虛擬會議系統研究還缺乏完整的理論體系，研究方向多集中在虛擬環境建模和視頻合成等方面，忽視了現實會議系統對虛擬技術的需求特點以及與會成員間視頻和聲音實時同步交互這一根本屬性。另一方面，在虛擬演播室中，成熟的建模方法與合成技術不能滿足視頻會議應用的現實需求。

筆者分析了虛擬視頻會議的特點，并從視頻分割合成、聲音定位和同步顯示呈現等方面研究了虛擬視頻會議技術的實現。

2 虛擬圓桌視頻會議的特征呈現

2.1 虛擬視頻會議特征分析

虛擬視頻會議的本質特征就是將現實視頻會議整體嵌入在一個虛擬的會場中，并真實呈現現實會議中的交互關系。本地與會人員的位置、動作、聲音、表情等信息均可在遠端被感知。這種呈現需要借助于現實會議終端的音視頻顯示設備以及虛擬視頻處理設備。

“三投影”呈現方案具有較好的呈現效果，但需要設計專用會議室，其設備和投資對于一般用戶來說難以承受。同時終端須處理多個視頻流，這使得會議系統的規模和控制難度陡增。“單投影”方案在用戶體驗“完全沉浸感”上雖有一定的局限性，但實現簡單，不需要對終端進行太多改造，只要創建的虛擬會場足夠逼真，終端也可呈現具有穩定秩序和深度層次的會議場景。兩種方案都需要大屏幕（大于50 in）投影顯示，而目前的標清視頻會議的像素分辨力多為352×288，則在大屏幕顯示時明顯感覺清晰度不夠，因此，虛擬視頻會議更適合高清（720p格式）視頻會議系統。

2.2 圓桌會議室場景呈現

圓桌會議通常不設主席，與會各方在會議中的地位平等。本文中將圓桌會議分為4個區，分別命名為①，②，③，④，每區可設1～3個座席，如圖1所示。

座席位置用兩位數表示，高位表示座席所在分區，1，2，3，4 分別對應①，②，③，④這 4 個分區；低位表示座席在分區中的位置，0表示中間位，1表示左位，2表示右位。例如，號碼10表示座席位于①區中間位置。

不同的會議內容，應有不同風格的會議室。虛擬會議室的創建應能呈現這一特征，其主要屬性有標識會議性質的橫幅、色調、裝修風格、墻裙背景、植物背景、會議桌的形式、座席數、座席位置安排等。

2.3 座席間視頻交互特征的呈現

每個與會終端和虛擬會場中的一個座席對應，其視頻圖像在該位置合成，與會者以“入席”的方式加入到虛擬會議中。與會者的觀察方向可能隨時變化，大部分時間應指向發言人位置，這一特征可通過位于正前方的終端攝像機捕捉，并在與虛擬會議室合成時予以保留。對于圖1中同一分區的3個座席來說，觀察其余3個分區中的座席方向大體一致。也就是說，處在同一分區的3個座席所對應的會議終端屏幕上呈現的虛擬場景具有很高的相似性，這樣，研究時只須考慮如圖2所示的4個分區間的空間關系即可。

假如①正在發言，且凝視③，②和④正在凝視①，那么在③的投影屏幕上應能呈現這一關系。即②和④分別位于①的左右，且凝視①；①凝視前方，使③感覺①正在關注自己；若①突然轉向凝視②，③同樣可以感知這一變化。②，①，④合成時角度的選擇，應考慮虛擬空間的深淺。

2.4 現實音像空間關系的呈現

在傳統的視頻會議終端中，來自遠端的聲音一般為單路輸出，與視頻圖像之間不存在空間定位關系。虛擬會議中，音像關系的空間定位是產生臨場感和真實感的關鍵因素，因此終端會議室應建立如圖3所示的揚聲器陣列。

對于③中的會議終端，左置揚聲器輸出②的聲音，中置揚聲器輸出①的聲音，右置揚聲器輸出④的聲音，揚聲器輸出通過聲音定位信號控制。對于采用復雜算法的立體聲場處理技術，3個揚聲器同時輸出經處理后的模擬空間聲音信號。

3 技術與實現

3.1 虛擬會議室的創建

虛擬會議室的創建可獨立于視頻會議系統，不需要多點控制單元（Multipoint Control Unit，MCU）的參與，且沒有實時性要求。虛擬會議室的創建可以采用基于模型和基于圖像的兩種技術方案。

基于模型的方案優點是可通過全景縮放和多分辨力全景圖像來模擬變焦距觀察，實現對虛擬會場細節程度的感知，支持空間平滑漫游及空間切換。缺點是建模繁瑣，計算量大，設備需求高，難以實現逼真的交互式虛擬會場。

基于圖像的方案優點是采用實景圖像來表現復雜的三維環境，其逼真度高，沒有繁瑣的三維建模工作，場景的處理時間與場景的復雜度無關，易于實現實時交互，設備要求低。缺點是虛擬會場缺乏統一的空間坐標體系，難以實現任意方式的空間漫游與交互。

虛擬圓桌會議室中，座席位置固定，與會者與會議空間無漫游關系（進入和退出會場情況除外），因此，采用基于圖像的方案更為適合。本文采用Apple公司的Quick-Time VR系統，建立以視點空間為基本單元的多個虛擬會議室，會議進行中，通過在多個虛擬實景會場間的直接切換來模擬不同攝像機位的拍攝效果。

3.2 聲音定位信號的提取

對于聲音定位信號y的提取，可以利用MCU中討論模式的語音激勵控制方式，將當前發言終端的位置信息存儲在聲音定位控制器Yc中，并發送至每個會議終端，控制揚聲器的輸出切換。聲音定位信號也可用來控制虛擬會議和現實會議的切換，同時也用于視頻合成的控制。

3.3 視頻分割與合成

視頻的分割與合成可以在會議終端進行，也可以在集中式MCU中進行。若在會議終端進行，每個終端必須接收來自其他終端發送的多個視頻流，然后進行分割，再與存儲在本地的虛擬會議室合成。若在MCU中進行，則來自每個會議終端發送的多個視頻流經解碼、分割后與虛擬會議室進行合成，再發送給會議終端顯示。后一種方案并不破壞傳統的視頻會議方式，只相當于在MCU中增加了一個“虛擬會議”選項，并且可以實現真實會議和虛擬會議間的直接切換。采用在MCU中實現的方案有：

1）視頻分割

采用一維類間最大方差的背景自動分割法，從每個會議終端視頻流中分割出與會者的上半身圖像Vmn（m=1～4，n=0～2），并存儲在實景圖像存儲器 Mmn中。

2）一次合成法

為某一個會議終端創建一個虛擬視頻存儲器Mijin（i=m，j=n），來自其他終端的分割圖像按照圖1中的空間位置與虛擬會場VB合成Vijin虛擬視頻，存儲在Mijin中，通過MCU控制發送至該終端進行顯示。在會議終端較多時，一次合成法運算量較大。

3）分區分級合成法

先在同一個分區中對3個終端的圖像進行預合成，然后再將分區預合成的圖像與虛擬會場合成。對于圖2所示的情況，兩次合成中，與會者之間都為三角關系，合成運算量較小。

松江區推進公共圖書館總分館制體系建設，有利于補齊城鄉文化短板，改變過去區、街鎮、居村三級資源孤島狀態，改善城鄉二元結構矛盾。有效促進分散資源整合和優質資源向基層投射，縮短群眾和圖書館之間的距離。充分實現政府主導、社會參與的建設目標和充分保障人民群眾基本文化權益的制度建設。

預合成過程可簡單地描述為

預合成的分區圖像Vx存儲在分區圖像存儲器Mx中，如果該分區只有一個終端，則Vx=Vm0。預合成由座席號碼mn控制，合成時可對Vmn進行簡單的縮放操作，或者通過遠端攝像機控制功能，直接調整Vm1，Vm0和Vm2的大小和視角。所有的控制參數均保存在控制參數存儲器Cx中，以便虛擬會議啟動時調用。

在MCU媒體處理器中，由區位代碼x和聲音定位信號y來控制分區視頻信號Vx與虛擬會場VB合成視頻Vxin，區位代碼x決定合成時各分區實景的位置，音頻定位信號y決定合成時各分區左旋或右旋的角度，以產生傾聽發言者的效果。Vxin使與會者視頻圖像（實景）與創建的虛擬會場（虛景）融為一體，通過會議終端投影顯示來呈現具有真實感和沉浸感的會議效果。發送至4個分區終端的虛擬視頻的合成過程可簡單地描述為

3.4 MCU的切換控制

MCU的切換控制主要有：

1）虛擬會議室的創建

在會議模式選單下，添加“虛擬會議”，與“單畫面”、“多畫面”一起組成3種會議模式。“虛擬會議”包含會議室創建、視頻分割、虛擬合成等功能模塊。

2）虛擬會議的呼叫

3）音視頻媒體流的發送

音視頻媒體流的傳輸與視頻會議相同。在呼叫建立后，先播放音樂和虛擬會議室全景畫面，然后傳輸4個分區的虛擬合成視頻流至對應的會議終端。

4）聲音定位信號的發送

發言者的定位信號“0”，“1”，“2”通過 H.245 協議或H.281協議發送至與會終端，控制中置、左置和右置揚聲器的輸出切換，實現與發言者的圖像同步定位。發言者的聲音并不在自身的會場中輸出，這與視頻會議一致。

5）終端退出會議

在會議進行過程中，若某一終端退出會議，其實景圖像從視頻合成中退出，其余終端可覺察到這一過程。

6）會議模式的切換

在某一終端長時間發言時，MCU可在“虛擬會議”與“單畫面”模式間切換，適當“插播”發言者的大畫面頭像，以增加虛擬會議的效果。需要全面了解各會議終端時，可切換至“多畫面”模式。

4 小結

本文對傳統視頻會議進行簡單的改造，不增加攝像機位和多視頻流傳輸，也不改變會議呼叫方式，通過在集中式MCU中增加虛擬視頻分割合成與聲音定位控制功能，在不過度增加MCU負載 （在Media Switch 500型MCU中，CPU使用率增加不大于20%）的情況下，即可實現虛擬圓桌視頻會議應用，且可在現實會議和虛擬會議間直接切換，進一步增強會議效果。在高清視頻會議系統中應用，會議的真實感和沉浸感更好。本文中，會議終端采用單一攝像機，如何模擬現實會議中攝像機多機位、推拉、平移、俯仰等操作應為下一步研究的重點。

[1]VUILLEME A G，CAPIN T K，PANDZIC I S，et al.Nonverbal communication interface for collaborative virtual environments[J].VirtualReality，1999，4（1）：49-59.

[2]NAKANISHI H.FreeWalk：A 3D virtual space for casual meetings[J].IEEE Multimedia，1999，6（2）：20-28.

[3]張茂軍，孫立峰，李云浩，等.虛擬會議空間的研究與實現[J].計算機工程，2001（1）：11-12.

[4]孫立峰，李放，鐘玉琢，等.基于多視點視頻的虛擬會議顯示與合成[J].電子學報，2004，33（2）：193-196.

[5]呂朝輝，董躍.基于圖像的中間視合成方法綜述[J].電視技術，2009，33（6）：26-29.

[6]杭波，胡瑞敏，馬曄.基于空間對象的虛擬會議音頻重建[J].電聲技術，2009，33（7）：48-51.