基于虛擬現(xiàn)實(shí)直播的多人網(wǎng)絡(luò)教學(xué)系統(tǒng)

王思杰 姜忠鼎

(復(fù)旦大學(xué)上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室 上海 201203)(復(fù)旦大學(xué)軟件學(xué)院 上海 201203)

0 引 言

虛擬現(xiàn)實(shí)利用計(jì)算機(jī)生成三維立體的虛擬場(chǎng)景，通過(guò)設(shè)備為用戶提供視覺(jué)等感官模擬，使得用戶可以置身于虛擬環(huán)境中并與之進(jìn)行交互，獲得強(qiáng)烈的沉浸感。虛擬現(xiàn)實(shí)可以分為投影虛擬現(xiàn)實(shí)和頭戴式顯示設(shè)備虛擬現(xiàn)實(shí)兩大類[1]。投影虛擬現(xiàn)實(shí)使用多臺(tái)投影儀或拼接屏，配合多投影顯示系統(tǒng)構(gòu)建大尺寸的屏幕。用戶通過(guò)置身于顯示虛擬場(chǎng)景的環(huán)繞式屏幕中，獲得沉浸感。虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備，也稱虛擬現(xiàn)實(shí)頭盔，通過(guò)在用戶的雙眼前使用兩塊屏幕顯示具有視差的圖像以呈現(xiàn)立體效果，并且采集用戶頭部運(yùn)動(dòng)數(shù)據(jù)，根據(jù)頭部朝向和位置實(shí)時(shí)調(diào)整畫(huà)面內(nèi)容，以產(chǎn)生身臨其境的體驗(yàn)。

全景視頻是虛擬現(xiàn)實(shí)的重要內(nèi)容。全景視頻的優(yōu)勢(shì)在于，通過(guò)視頻拍攝的方式采集全方位的圖像信息，無(wú)須進(jìn)行復(fù)雜的三維建模也可以構(gòu)建沉浸式的環(huán)境，讓用戶體驗(yàn)身處視頻拍攝地的沉浸感。全景視頻與直播結(jié)合，更是可以讓用戶沉浸式地參與世界上另一地點(diǎn)正在發(fā)生的事件，目前市面上許多廠商都推出了集成視頻拍攝、畫(huà)面拼接、直播推流于一體的全景視頻相機(jī)，如Insta360 Pro[2]、Gear 360[3]。這類全景相機(jī)的出現(xiàn)使得全景視頻直播變得更為便捷。

數(shù)字化學(xué)習(xí)的起源可以追溯到20世紀(jì)60年代，由伊利諾伊大學(xué)開(kāi)發(fā)的PLATO系統(tǒng)[4]，它為當(dāng)?shù)氐拇髮W(xué)生提供課程作業(yè)。在線學(xué)習(xí)技術(shù)源自于20世紀(jì)90年代，學(xué)習(xí)管理系統(tǒng)的開(kāi)發(fā)[5]。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在線學(xué)習(xí)在教育領(lǐng)域得到快速的發(fā)展。大型開(kāi)放式網(wǎng)絡(luò)課程MOOC是目前熱門(mén)的網(wǎng)絡(luò)教學(xué)方式。MOOC通常使用視頻作為主要的教學(xué)材料，結(jié)合在線作業(yè)和互動(dòng)式論壇收集學(xué)生數(shù)據(jù)評(píng)估教學(xué)效果。目前最具影響力的MOOC平臺(tái)是由哈佛大學(xué)和麻省理工學(xué)院共同成立的edX和由斯坦福大學(xué)教授創(chuàng)立的Coursera。

MOOC的課程模式可以分為兩種：xMOOC和cMOOC。cMOOC以自學(xué)為主，xMOOC與課堂教學(xué)模式相似。目前主流的MOOC平臺(tái)都是基于xMOOC課程模式。王萍[6]對(duì)xMOOC模式進(jìn)行了總結(jié)。xMOOC模式的主要幾個(gè)模塊為：視頻、作業(yè)、測(cè)試、討論，涵蓋了教學(xué)過(guò)程中知識(shí)傳授、復(fù)習(xí)鞏固、效果反饋、交流分享的需求。

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，沉浸式學(xué)習(xí)成為MOOC的一個(gè)發(fā)展趨勢(shì)[7]，目前國(guó)內(nèi)外很多研究者研究虛擬現(xiàn)實(shí)全景視頻在教育培訓(xùn)領(lǐng)域的應(yīng)用，并進(jìn)行了相關(guān)實(shí)踐。Tawhai[8]利用沉浸式全景視頻進(jìn)行法醫(yī)教學(xué)。Roche等[9]把全景視頻應(yīng)用于體育教師的培訓(xùn)中。Theelen等[10]發(fā)現(xiàn)使用全景視頻對(duì)職前教師進(jìn)行培訓(xùn)可以提高其人際交流的能力。G?nsluckner等[11]認(rèn)為在攀巖慕課中加入全視頻可以提升教學(xué)效果。Argyriou等[12]使用全景視頻制作互動(dòng)程序用于文化遺產(chǎn)教育。McKenzie等[13]錄制全景視頻教學(xué)內(nèi)容，用以評(píng)估全景視頻對(duì)教學(xué)體驗(yàn)的影響。Harrington等[14]使用全景相機(jī)拍攝制作全景手術(shù)教學(xué)視頻。哈佛大學(xué)在edX平臺(tái)上對(duì)計(jì)算機(jī)課程進(jìn)行虛擬現(xiàn)實(shí)直播[15]。

目前現(xiàn)有的使用全景視頻的教學(xué)應(yīng)用仍存在一些問(wèn)題，難以滿足日常教學(xué)的需求。首先使用媒體資源進(jìn)行輔助教學(xué)和隨堂練習(xí)是日常教學(xué)的重要環(huán)節(jié)，McKenzie等[13]與Harrington等[14]的應(yīng)用通過(guò)視頻后期的形式添加媒體內(nèi)容，并非在直播過(guò)程中實(shí)時(shí)使用。目前現(xiàn)有虛擬現(xiàn)實(shí)直播應(yīng)用對(duì)媒體資源的動(dòng)態(tài)加載和交互的支持較差，影響了日常教學(xué)過(guò)程的完整性。另一方面，教學(xué)過(guò)程中教師和學(xué)生，學(xué)生和學(xué)生之間的互動(dòng)十分重要。使用錄播視頻的虛擬現(xiàn)實(shí)教學(xué)，無(wú)法實(shí)現(xiàn)師生互動(dòng)。目前現(xiàn)有虛擬現(xiàn)實(shí)直播課程，如哈佛大學(xué)在edX上直播的計(jì)算機(jī)課[15]，并不支持課堂成員之間的實(shí)時(shí)互動(dòng)，影響教學(xué)效果。并且，課堂教學(xué)過(guò)程中學(xué)生有沒(méi)有注意聽(tīng)講、對(duì)講課內(nèi)容是否感興趣，是授課教師希望了解的內(nèi)容。現(xiàn)有虛擬現(xiàn)實(shí)網(wǎng)絡(luò)教學(xué)系統(tǒng)并未滿足這一需求。

基于上述討論，本文設(shè)計(jì)實(shí)現(xiàn)一套基于虛擬現(xiàn)實(shí)直播的多人網(wǎng)絡(luò)教學(xué)系統(tǒng)，通過(guò)對(duì)虛擬現(xiàn)實(shí)直播在媒體資源以及多人交互方面進(jìn)行增強(qiáng)，使得系統(tǒng)滿足課堂教學(xué)的基本需求，并且利用虛擬現(xiàn)實(shí)特性打造沉浸式體驗(yàn)。媒體資源方面，本文設(shè)計(jì)并構(gòu)建了一套虛擬現(xiàn)實(shí)直播媒體資源系統(tǒng)。系統(tǒng)支持圖片、視頻、網(wǎng)頁(yè)和三維模型資源，在虛擬現(xiàn)實(shí)直播教學(xué)過(guò)程中動(dòng)態(tài)地加載與交互。提升了教學(xué)環(huán)節(jié)的完備性，同時(shí)利用虛擬現(xiàn)實(shí)沉浸感提升教學(xué)體驗(yàn)；多人交互方面，本文設(shè)計(jì)一套應(yīng)用于虛擬現(xiàn)實(shí)直播教學(xué)的多人互動(dòng)方法。利用用戶頭部運(yùn)動(dòng)數(shù)據(jù)和空間聲語(yǔ)音，實(shí)現(xiàn)了對(duì)于全景資源的多人協(xié)同瀏覽方法。通過(guò)對(duì)學(xué)生視線數(shù)據(jù)的收集和可視化，實(shí)現(xiàn)了教學(xué)過(guò)程中學(xué)生視線的實(shí)時(shí)反饋。

1 系統(tǒng)概述

基于虛擬現(xiàn)實(shí)直播的多人網(wǎng)絡(luò)教學(xué)系統(tǒng)，使用全景相機(jī)對(duì)課堂教學(xué)進(jìn)行虛擬現(xiàn)實(shí)直播，學(xué)生通過(guò)佩戴虛擬現(xiàn)實(shí)頭盔參加到課堂教學(xué)中。系統(tǒng)在虛擬現(xiàn)實(shí)直播的基礎(chǔ)上，增加了對(duì)全景視頻、三維模型和網(wǎng)頁(yè)等媒體資源的動(dòng)態(tài)加載與交互。傳統(tǒng)媒體資源在虛擬現(xiàn)實(shí)直播中得以延續(xù)，全景和立體的媒體資源在虛擬現(xiàn)實(shí)中能獲得更好地沉浸感。另一方面，系統(tǒng)針對(duì)全景媒體內(nèi)容，設(shè)計(jì)了一套多人協(xié)同觀看方法，使得全景內(nèi)容能夠更好地應(yīng)用到教學(xué)過(guò)程中。最后，系統(tǒng)收集學(xué)生的視線數(shù)據(jù)在教師端進(jìn)行實(shí)時(shí)可視化，幫助教師了解學(xué)生的觀看區(qū)域，得到教學(xué)效果的反饋。

基于虛擬現(xiàn)實(shí)直播的多人網(wǎng)絡(luò)教學(xué)系統(tǒng)架構(gòu)如圖1所示。系統(tǒng)在教室使用全景相機(jī)進(jìn)行拍攝和推流。客戶端分為教師客戶端和學(xué)生客戶端，使用Unity3D引擎開(kāi)發(fā)。教師客戶端為桌面平臺(tái)客戶端，教師在進(jìn)行虛擬現(xiàn)實(shí)直播時(shí)，通過(guò)這一客戶端推送并使用媒體資源，與遠(yuǎn)程學(xué)生進(jìn)行互動(dòng)以及查看遠(yuǎn)程學(xué)生視線情況。學(xué)生通過(guò)學(xué)生客戶端參加虛擬現(xiàn)實(shí)直播教學(xué)。本系統(tǒng)學(xué)生客戶端支持使用桌面和移動(dòng)端的虛擬現(xiàn)實(shí)頭盔。

本系統(tǒng)使用四類服務(wù)器。流媒體服務(wù)器使用成熟的商業(yè)流媒體服務(wù)器Wowza Streaming Server，它能夠提供穩(wěn)定的流媒體服務(wù)，適用于本系統(tǒng)的應(yīng)用情景。語(yǔ)音服務(wù)器使用Photon Server，負(fù)責(zé)網(wǎng)絡(luò)語(yǔ)音功能。媒體資源服務(wù)器，負(fù)責(zé)本地媒體資源的分發(fā)傳輸。消息轉(zhuǎn)發(fā)服務(wù)器基于Node.js開(kāi)發(fā)，負(fù)責(zé)在教師和學(xué)生之間進(jìn)行網(wǎng)絡(luò)通信，傳遞控制消息和交互數(shù)據(jù)。

2 媒體資源使用

虛擬現(xiàn)實(shí)直播教學(xué)相較于傳統(tǒng)網(wǎng)絡(luò)直播教學(xué)的優(yōu)勢(shì)之一是沉浸感，用戶通過(guò)虛擬現(xiàn)實(shí)頭盔進(jìn)行觀看具有立體效果的全景視頻，以達(dá)到置身教室中的臨場(chǎng)體驗(yàn)。由于虛擬現(xiàn)實(shí)頭盔的畫(huà)面是在虛擬場(chǎng)景中進(jìn)行呈現(xiàn)的，因此虛擬現(xiàn)實(shí)直播教學(xué)可以引入一系列媒體資源，如虛擬三維模型、全景圖片和視頻等。利用虛擬現(xiàn)實(shí)的沉浸感，提升這些媒體資源相對(duì)于傳統(tǒng)教學(xué)的使用體驗(yàn)，從而提升虛擬現(xiàn)實(shí)直播教學(xué)的教學(xué)效果。常見(jiàn)的媒體資源如表1所示，本文設(shè)計(jì)了各類媒體資源在虛擬顯示直播教學(xué)過(guò)程中的載入和交互方式。

表1 媒體資源示例

虛擬現(xiàn)實(shí)直播中的圖片和視頻資源主要指的是全景圖片和視頻。使用VR頭盔觀看全景媒體內(nèi)容可以給人帶來(lái)身臨其境的體驗(yàn)。網(wǎng)頁(yè)是教學(xué)過(guò)程中的常用資源，網(wǎng)頁(yè)中包含多種媒體資源，是傳統(tǒng)課堂中隨堂練習(xí)的重要載體。三維模型資源應(yīng)用于特定教學(xué)場(chǎng)景中，在VR頭盔中觀看三維模型可以觀看到立體效果，相較于在屏幕上進(jìn)行觀看更具沉浸感。

媒體資源的使用流程，主要分為媒體資源加載、呈現(xiàn)、交互和釋放四個(gè)部分。圖2以三維模型資源為例呈現(xiàn)了媒體資源的使用流程，其中序號(hào)標(biāo)識(shí)了三維模型資源的一次使用實(shí)例。

資源加載的關(guān)鍵點(diǎn)在于狀態(tài)同步與容錯(cuò)。媒體資源的狀態(tài)分為使用狀態(tài)和交互狀態(tài)。其中使用狀態(tài)包括加載、呈現(xiàn)和釋放，交互狀態(tài)包括交互指令和交互數(shù)據(jù)。媒體資源的狀態(tài)由教師客戶端控制，在消息轉(zhuǎn)發(fā)服務(wù)器中緩存。學(xué)生客戶端通過(guò)從消息轉(zhuǎn)發(fā)服務(wù)器獲取資源狀態(tài)，與教師客戶端的媒體資源狀態(tài)進(jìn)行同步。容錯(cuò)方面，學(xué)生客戶端在加載媒體資源時(shí)會(huì)進(jìn)行錯(cuò)誤檢測(cè)，并處理能夠自動(dòng)處理的錯(cuò)誤，重新加載資源。結(jié)合狀態(tài)同步，錯(cuò)誤排除后學(xué)生客戶端能夠恢復(fù)至教師客戶端的媒體資源狀態(tài)。圖2中序號(hào)5至29描述了學(xué)生客戶端檢測(cè)媒體資源不存在后，從媒體資源服務(wù)器下載資源，最后通過(guò)狀態(tài)同步還原媒體資源狀態(tài)的流程。教師客戶端的資源加載與學(xué)生客戶端類似，增加了多個(gè)學(xué)生客戶端加載協(xié)調(diào)者的功能，使得每個(gè)客戶端媒體資源呈現(xiàn)的時(shí)間較為一致。圖2中序號(hào)5′至7′描述了教師客戶端等待所有學(xué)生客戶端加載完成后，同步呈現(xiàn)媒體資源的流程。運(yùn)用超時(shí)機(jī)制，使得個(gè)別學(xué)生客戶端出錯(cuò)不影響整體客戶端運(yùn)行。

媒體資源交互分為獨(dú)立交互和同步交互兩類。獨(dú)立交互是每個(gè)客戶端單獨(dú)對(duì)媒體資源進(jìn)行交互。同步交互是學(xué)生客戶端同步教師客戶端的交互過(guò)程。同步交互包括離散型交互和連續(xù)型交互兩類。離散型交互通過(guò)交互指令一次性地改變媒體資源狀態(tài)，如調(diào)整視頻的播放進(jìn)度。連續(xù)型交互持續(xù)地改變媒體資源的狀態(tài)，如旋轉(zhuǎn)三維模型。對(duì)于連續(xù)型交互，教師端以固定時(shí)間間隔發(fā)送媒體資源交互數(shù)據(jù)。學(xué)生端緩存交互數(shù)據(jù)，對(duì)交互數(shù)據(jù)進(jìn)行插值后使用，以得到平滑連續(xù)交互過(guò)程，如圖2中序號(hào)32至36所示。記當(dāng)前收到的交互數(shù)據(jù)為D1，時(shí)間為T(mén)1，緩存的上一次交互數(shù)據(jù)為D0，時(shí)間為T(mén)0。在后續(xù)的每一幀內(nèi)，根據(jù)時(shí)間把在D0和D1中進(jìn)行差值得到Dlerp。假設(shè)當(dāng)前幀為收到D1后T時(shí)間，Dlerp可以根據(jù)式(1)計(jì)算。

(1)

媒體資源的釋放由教師端進(jìn)行控制，通過(guò)向?qū)W生端發(fā)送釋放媒體資源的消息，釋放客戶端中已完成使用的媒體資源，如圖2中序號(hào)10″至14″所示。

3 多人交互方法

本文設(shè)計(jì)一套應(yīng)用于虛擬現(xiàn)實(shí)直播教學(xué)的多人互動(dòng)方法。主要包含兩個(gè)方法：(1) 利用用戶頭部、手部運(yùn)動(dòng)數(shù)據(jù)和語(yǔ)音，實(shí)現(xiàn)了對(duì)于全景資源的多人協(xié)同瀏覽方法，以滿足教學(xué)過(guò)程中互動(dòng)討論的需求；(2) 收集學(xué)生視線數(shù)據(jù)并實(shí)現(xiàn)了一套視線可視化方法，以滿足教學(xué)過(guò)程中學(xué)生視線實(shí)時(shí)反饋的需求。

3.1 基于運(yùn)動(dòng)數(shù)據(jù)的全景內(nèi)容多人協(xié)同觀看

在日常教學(xué)過(guò)程中，多人對(duì)同一教學(xué)內(nèi)容進(jìn)行交流討論是常見(jiàn)的教學(xué)環(huán)節(jié)。在虛擬現(xiàn)實(shí)直播教學(xué)中，針對(duì)全景媒體資源，同樣存在協(xié)同觀看討論、講解的需求。多人協(xié)同觀看需要解決兩個(gè)問(wèn)題：用戶如何進(jìn)行交流；如何幫助用戶快速確定其他用戶的觀看區(qū)域。

對(duì)于用戶交流問(wèn)題，本系統(tǒng)使用網(wǎng)絡(luò)語(yǔ)音作為多人協(xié)同過(guò)程中的交流方式。語(yǔ)音是較為高效便捷的交流方式。系統(tǒng)使用Photon Server語(yǔ)音服務(wù)器及插件Photon Voice實(shí)現(xiàn)客戶端的語(yǔ)音采集和傳輸功能。插件支持空間聲語(yǔ)音，語(yǔ)音可以從場(chǎng)景中的指定位置發(fā)出，用戶可以根據(jù)空間聲判斷音源的大致方位。

接下來(lái)介紹如何幫助用戶快速確定其他用戶的觀看區(qū)域。全景內(nèi)容包括全景圖片和全景視頻，虛擬現(xiàn)實(shí)中全景內(nèi)容是全方位顯示的，協(xié)同觀看的前提是關(guān)注區(qū)域能夠在其他觀眾間傳達(dá)分享。即用戶需要可以方便地向其他用戶指出觀看區(qū)域的方法。由于佩戴虛擬現(xiàn)實(shí)頭盔后缺乏統(tǒng)一的方位，不易找到參照物，僅通過(guò)語(yǔ)言描述位置較為煩瑣。本文提出兩種方法以提高協(xié)同觀看交流的效率：基于用戶虛擬化身、空間聲和視口可視化的觀看區(qū)域指引方法以及基于用戶頭部運(yùn)動(dòng)的引導(dǎo)式觀看方法。

觀看區(qū)域指引方法流程如圖3所示。在場(chǎng)景中為參與多人協(xié)同觀看的用戶建立虛擬化身，虛擬化身面向?qū)?yīng)用戶的觀看區(qū)域，并在球面網(wǎng)格上可視化該用戶的觀看區(qū)域。用戶在進(jìn)行多人協(xié)同觀看時(shí)，首先根據(jù)三維空間聲語(yǔ)音，定位說(shuō)話對(duì)象虛擬化身的位置，然后根據(jù)虛擬化身的朝向找到該用戶的觀看區(qū)域。這一方法符合日常生活中的人與人自然交流的方式，聽(tīng)到聲音后找到說(shuō)話的人，根據(jù)說(shuō)話人的指示找到對(duì)方關(guān)注的區(qū)域。虛擬化身的朝向以及視口可視化的位置，通過(guò)采集和應(yīng)用用戶的頭部旋轉(zhuǎn)數(shù)據(jù)實(shí)現(xiàn)。

Nguyen等[16]提出的利用空間聲語(yǔ)音和視口可視化的引導(dǎo)方法，具有準(zhǔn)確性較低和交互不自然的問(wèn)題。Nguyen等[16]的方法中視口可視化的范圍是相機(jī)渲染的范圍，經(jīng)過(guò)頭盔的透鏡后，用戶實(shí)際可見(jiàn)區(qū)域小于相機(jī)渲染的范圍。本文通過(guò)測(cè)量頭盔實(shí)際可見(jiàn)區(qū)域的方式，優(yōu)化了視口可視化的范圍，使得可見(jiàn)區(qū)域更為準(zhǔn)確。另一方面，Nguyen等[16]的方法中空間聲語(yǔ)音從視口區(qū)域發(fā)出，本文引入了用戶的虛擬化身，空間聲語(yǔ)音從虛擬化身上發(fā)出，相較于從視口區(qū)域發(fā)出更為自然，有助于增強(qiáng)用戶的沉浸感。

基于用戶頭部運(yùn)動(dòng)的引導(dǎo)式觀看方法流程如下：參加多人協(xié)同觀看的用戶分為兩種角色，其中一人作為引導(dǎo)者，其他用戶作為觀察者。引導(dǎo)者分享自己所看到的畫(huà)面，并進(jìn)行介紹講解。參觀者在畫(huà)面中央以屏幕的形式，顯示引導(dǎo)者觀看的畫(huà)面內(nèi)容，如圖4所示。屏幕中的內(nèi)容隨著引導(dǎo)者觀看區(qū)域而變化，不受參觀者頭部運(yùn)動(dòng)的影響。屏幕與視野邊緣之間有留空，留空區(qū)域疊加半透明黑色，使中央的觀察屏幕相對(duì)凸顯。留空區(qū)域的畫(huà)面內(nèi)容會(huì)隨著用戶的頭部運(yùn)動(dòng)而改變，使得用戶頭部運(yùn)動(dòng)可以獲得響應(yīng)的視覺(jué)反饋，從而降低用戶的眩暈感。這一模式下，參觀者可以直接看到引導(dǎo)者的觀看區(qū)域，省去了通過(guò)交流找到同一區(qū)域的過(guò)程。引導(dǎo)者可以繪畫(huà)標(biāo)記線，更精確地指出關(guān)注區(qū)域。適合授課教師進(jìn)行帶領(lǐng)講解，或是請(qǐng)某一同學(xué)進(jìn)行分享介紹的場(chǎng)景。引導(dǎo)式觀看通過(guò)采集用戶頭部旋轉(zhuǎn)數(shù)據(jù)配合觀察相機(jī)渲染RenderTexture實(shí)現(xiàn)。標(biāo)記線繪畫(huà)通過(guò)采集用戶手部運(yùn)動(dòng)數(shù)據(jù)結(jié)合Unity3D中拖尾渲染組件實(shí)現(xiàn)。

Nguyen等[16]提出了類似的引導(dǎo)式觀看方法，但忽略了用戶佩戴頭盔時(shí)頭部?jī)A斜對(duì)引導(dǎo)式觀看的影響，實(shí)際可用性較低。在引導(dǎo)式觀看模式下，用戶的頭部旋轉(zhuǎn)數(shù)據(jù)被用于還原用戶對(duì)于全景內(nèi)容的觀看過(guò)程。用戶佩戴虛擬現(xiàn)實(shí)頭盔觀看全景視頻畫(huà)面時(shí)，頭部可能會(huì)發(fā)生傾斜，即繞視線方向所在的軸發(fā)生旋轉(zhuǎn)。這樣的旋轉(zhuǎn)會(huì)導(dǎo)致被引導(dǎo)用戶觀看的畫(huà)面內(nèi)容產(chǎn)生傾斜，增加用戶的眩暈感。本文對(duì)這一問(wèn)題進(jìn)行了優(yōu)化，對(duì)于用戶頭部旋轉(zhuǎn)采用數(shù)據(jù)，去除其歐拉角的z軸旋轉(zhuǎn)，以消除繞視線方向的旋轉(zhuǎn)抖動(dòng)。使得被引導(dǎo)用戶觀看的畫(huà)面內(nèi)容更為穩(wěn)定。增強(qiáng)了這一交互方式的可用性，提升用戶體驗(yàn)。

3.2 基于眼球追蹤的學(xué)生視線可視化

課堂教學(xué)過(guò)程中學(xué)生有沒(méi)有注意聽(tīng)講、對(duì)講課內(nèi)容是否感興趣，是授課教師希望了解的內(nèi)容。傳統(tǒng)課堂教學(xué)過(guò)程中老師可以通過(guò)直接觀察學(xué)生的眼神等情況，判斷學(xué)生的興趣程度，從而調(diào)整教學(xué)內(nèi)容。遠(yuǎn)程直播教學(xué)過(guò)程中，直接觀察每個(gè)同學(xué)的情況較為困難，但是這一需求仍然存在。本系統(tǒng)使用基于眼球追蹤的視線可視化方法，幫助授課教師把握課堂中學(xué)生的實(shí)時(shí)觀看區(qū)域。

視線可視化的流程如圖5所示。首先在學(xué)生端通過(guò)眼球追蹤硬件配套的開(kāi)發(fā)工具包獲取用戶的三維視線數(shù)據(jù)。然后對(duì)視線數(shù)據(jù)進(jìn)行預(yù)處理，計(jì)算可視化所需的數(shù)據(jù)。接下來(lái)通過(guò)消息轉(zhuǎn)發(fā)服務(wù)器把視線相關(guān)數(shù)據(jù)發(fā)送到教師客戶端，教師客戶端收集每個(gè)學(xué)生的視線數(shù)據(jù)通過(guò)可視化的方式進(jìn)行呈現(xiàn)。

本系統(tǒng)的視線可視化方法包括整體視線可視化和個(gè)人視線可視化兩部分。整體視線可視化幫助授課教師了解學(xué)生視點(diǎn)在虛擬現(xiàn)實(shí)視頻畫(huà)面中的分布情況。個(gè)人視線可視化讓教師可以詳細(xì)查看某一學(xué)生的視線信息。這為教師分析教學(xué)效果提供了更多的維度。

整體視線可視化，主要包含三個(gè)視圖、一個(gè)整體視圖和兩個(gè)關(guān)鍵區(qū)域視圖。整體視圖在全景視頻展開(kāi)畫(huà)面上，以紅色半透明圓點(diǎn)的形式呈現(xiàn)每個(gè)學(xué)生的視點(diǎn)位置。整體視圖幫助教師以全局視角了解學(xué)生的關(guān)注區(qū)域。關(guān)鍵區(qū)域視圖呈現(xiàn)全景畫(huà)面中教師關(guān)心的某一區(qū)域內(nèi)的視線分布情況，一般為教室內(nèi)的黑板區(qū)域和課件區(qū)域，具體位置可以配置。關(guān)鍵區(qū)域視線可視化使用球面網(wǎng)格作為屏幕呈現(xiàn)全景視頻畫(huà)面，使用位于球內(nèi)的觀察相機(jī)渲染關(guān)鍵區(qū)域畫(huà)面。在關(guān)鍵區(qū)域畫(huà)面上使用半透明紅色圓點(diǎn)表示學(xué)生的視點(diǎn)。在關(guān)鍵區(qū)的兩側(cè)，以進(jìn)度條和分?jǐn)?shù)的形式，可視化關(guān)注點(diǎn)在該區(qū)域內(nèi)的學(xué)生占全體學(xué)生數(shù)量的比例。以幫助授課教師快速掌握全體學(xué)生的視線集中程度。

教師可以點(diǎn)擊整體視線可視化界面上的視點(diǎn)，調(diào)出該視點(diǎn)對(duì)應(yīng)學(xué)生的個(gè)人視線信息可視化界面。選中的視點(diǎn)被放大，顏色改變?yōu)辄S色作為高亮顯示并添加描邊效果。個(gè)人視線信息可視化內(nèi)容包括：學(xué)生姓名、觀看時(shí)間統(tǒng)計(jì)和視線分布餅狀圖。觀看時(shí)間統(tǒng)計(jì)顯示該名學(xué)生視線在兩個(gè)關(guān)鍵區(qū)域內(nèi)的停留時(shí)間。視線分布圖以餅狀圖的形式，呈現(xiàn)學(xué)生視線落在不同區(qū)域的占比，幫助教師快速了解某一學(xué)生的觀看區(qū)域分布。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境

本文在實(shí)驗(yàn)室模擬，使用本系統(tǒng)對(duì)課堂教學(xué)進(jìn)行虛擬現(xiàn)實(shí)直播，實(shí)驗(yàn)場(chǎng)景如圖6所示。運(yùn)行環(huán)境由一名教師和30名學(xué)生參與，其中教師和2名學(xué)生是真實(shí)用戶，其余28名學(xué)生為模擬節(jié)點(diǎn)。教師使用桌面平臺(tái)的客戶端。一名學(xué)生佩戴桌面端虛擬現(xiàn)實(shí)頭盔HTC Vive Pro Eye。另一名學(xué)生使用移動(dòng)端VR一體設(shè)備HTC Vive Focus Plus，外接7invensen眼球追蹤設(shè)備。另外使用6臺(tái)計(jì)算機(jī)設(shè)備作為模擬節(jié)點(diǎn)，運(yùn)行28個(gè)未連接VR頭盔的桌面學(xué)生客戶端，模擬多用戶時(shí)使用情況。系統(tǒng)使用Insta360 Pro負(fù)責(zé)全景視頻直播推流。系統(tǒng)共需要三類服務(wù)器，使用一臺(tái)服務(wù)器節(jié)點(diǎn)安裝運(yùn)行。表2列出了實(shí)驗(yàn)使用的計(jì)算機(jī)節(jié)點(diǎn)硬件配置以及模擬節(jié)點(diǎn)運(yùn)行的客戶端數(shù)量。計(jì)算機(jī)節(jié)點(diǎn)之間通過(guò)千兆有線局域網(wǎng)連接，移動(dòng)端頭盔通過(guò)百兆無(wú)線網(wǎng)接入局域網(wǎng)內(nèi)。全景相機(jī)以3 840×3 840分辨率、24幀/s的幀率、15 Mbit/s碼率進(jìn)行直播推流。因此每個(gè)客戶端的網(wǎng)絡(luò)帶寬需求不超過(guò)20 Mbit/s，30名學(xué)生使用總帶寬不超過(guò)600 Mbit/s，千兆網(wǎng)絡(luò)可以滿足帶寬需求。

表2 實(shí)驗(yàn)計(jì)算機(jī)硬件配置表

4.2 實(shí)驗(yàn)結(jié)果

我們首先測(cè)試媒體內(nèi)容的使用。授課教師使用教師客戶端對(duì)學(xué)生推送媒體資源，教師端資源控制界面如圖7(a)所示，教師可以通過(guò)這界面推送預(yù)先配置的媒體資源。實(shí)驗(yàn)主要對(duì)三維模型和網(wǎng)頁(yè)資源的使用進(jìn)行了測(cè)試。

對(duì)于三維模型資源，教師為學(xué)生推送了獅身人面像的模型，并且在教師客戶端對(duì)三維模型進(jìn)行旋轉(zhuǎn)操作，如圖7(b)所示。學(xué)生端相應(yīng)的三維模型呈現(xiàn)如圖7(c)所示，學(xué)生端的三維模型與教室端進(jìn)行了一致的旋轉(zhuǎn)，用以增強(qiáng)操作隱喻提升沉浸感的虛擬手也在模型右下角正確顯示。

對(duì)于網(wǎng)頁(yè)資源，教師為學(xué)生推送了網(wǎng)頁(yè)形式的課練習(xí)，學(xué)生客戶端的呈現(xiàn)效果如圖7(d)所示。網(wǎng)頁(yè)資源可以正確顯示，學(xué)生可以通過(guò)手柄射線點(diǎn)擊網(wǎng)頁(yè)中的選項(xiàng)進(jìn)行作答。

實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)支持由教師端推送三維模型和網(wǎng)頁(yè)資源。教師端可以對(duì)三維模型進(jìn)行旋轉(zhuǎn)操作，并在學(xué)生端同步三維模型的旋轉(zhuǎn)，方便教師進(jìn)行講解。網(wǎng)頁(yè)資源能夠在學(xué)生端正確顯示，學(xué)生可以通過(guò)手柄進(jìn)行交互。

接下來(lái)我們測(cè)試多人協(xié)同觀看效果。實(shí)驗(yàn)由2名學(xué)生共同完成，情景為教師端推送全景視頻資源后，2名學(xué)生佩戴虛擬現(xiàn)實(shí)頭盔，對(duì)全景媒體資源進(jìn)行協(xié)同觀看。分別測(cè)試3.1節(jié)中提出的基于用戶虛擬化身、空間聲和視口可視化的觀看區(qū)域指引方法和基于用戶頭部運(yùn)動(dòng)的引導(dǎo)式觀看方法。

首先測(cè)試基于用戶虛擬化身、空間聲和視口可視化的觀看區(qū)域指引方法，學(xué)生A注意到了全景視頻畫(huà)面中的某一區(qū)域如圖8(a)所示，他使用語(yǔ)音呼叫學(xué)生B一同觀看。學(xué)生B聽(tīng)到學(xué)生A的語(yǔ)音后，通過(guò)空間聲定位到了學(xué)生A虛擬化身所在的位置，如圖8(b)所示。接下來(lái)學(xué)生B根據(jù)學(xué)生A的虛擬化身的朝向，找到了學(xué)生A的觀看區(qū)域，如圖8(c)所示，學(xué)生A的觀看區(qū)域使用白色邊框標(biāo)記出來(lái)。學(xué)生A通過(guò)這一方法自然地找到了學(xué)生B的觀看區(qū)域。

接下來(lái)測(cè)試引導(dǎo)式觀看方法，學(xué)生A引導(dǎo)學(xué)生B觀看全景視頻。圖9(a)為學(xué)生A觀看的畫(huà)面，學(xué)生A使用標(biāo)記線的功能圈畫(huà)出了金字塔頂，且學(xué)生A在觀看時(shí)頭部發(fā)生了傾斜導(dǎo)致畫(huà)面隨之傾斜。圖9(b)為學(xué)生B畫(huà)面中顯示的學(xué)生A的觀看內(nèi)容，可以看到經(jīng)過(guò)學(xué)生A觀看畫(huà)面和標(biāo)記線正確地呈現(xiàn)在了學(xué)生B畫(huà)面中。經(jīng)過(guò)畫(huà)面防抖處理，學(xué)生A傾斜的畫(huà)面得到了修正，提升了學(xué)生B的觀看體驗(yàn)。

實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)提供的全景視頻多人協(xié)同觀看方法，能夠幫助實(shí)驗(yàn)者快速分享或找到其他參與者的觀看區(qū)域。協(xié)同效果符合預(yù)期。

最后測(cè)試視線可視化效果。實(shí)驗(yàn)由2位佩戴VR頭盔的學(xué)生參加，并添加28個(gè)未連接VR頭盔的桌面客戶端節(jié)點(diǎn)，共計(jì)30個(gè)學(xué)生客戶端節(jié)點(diǎn)，以測(cè)試系統(tǒng)的多用戶支持能力。實(shí)驗(yàn)結(jié)果如圖10所示，圖10(a)為可視化界面，左上方兩個(gè)視圖為關(guān)鍵區(qū)域視圖，分別為課件和白板區(qū)域。30名學(xué)生的視點(diǎn)以紅色半透明圓點(diǎn)的形在可視化界面中進(jìn)行顯示。其中高亮并描邊的頂點(diǎn)為教師選中的觀察頂點(diǎn)，其個(gè)人視線信息顯示在右側(cè)的界面中。圖10(b)為教師選中頂點(diǎn)在學(xué)生端的截圖，其中圓點(diǎn)為當(dāng)前學(xué)生的視點(diǎn)，可以看到該視點(diǎn)位置與教師端可視化顯示的位置一致。

在系統(tǒng)實(shí)時(shí)性方面，本文統(tǒng)計(jì)了實(shí)驗(yàn)過(guò)程中視線數(shù)據(jù)從學(xué)生端發(fā)送到教師端接收的耗時(shí)。實(shí)驗(yàn)中教師端收到視線數(shù)據(jù)后，向?qū)W生端發(fā)送相同的回執(zhí)消息。學(xué)生端計(jì)算從發(fā)送視線數(shù)據(jù)到收到回執(zhí)消息的時(shí)間間隔，取其一半作為傳輸耗時(shí)的參考值。學(xué)生端每0.1 s向教師端發(fā)送一次視線數(shù)據(jù)，實(shí)驗(yàn)截取了連續(xù)5 min內(nèi)共3 000個(gè)視線數(shù)據(jù)的傳輸延遲進(jìn)行分析。圖11列出了桌面平臺(tái)學(xué)生客戶端視線數(shù)據(jù)延遲，延遲最大值為28 ms，平均延遲為9.4 ms。圖12列出了移動(dòng)平臺(tái)學(xué)生客戶端視線數(shù)據(jù)延遲，延遲最大值為73 ms，平均延遲為24.3 ms。從實(shí)驗(yàn)結(jié)果可以看出，移動(dòng)端客戶端由于使用無(wú)線網(wǎng)絡(luò)與系統(tǒng)連接，延遲高于使用有線網(wǎng)絡(luò)的桌面端客戶端。總體上看，系統(tǒng)網(wǎng)絡(luò)傳輸最大延遲低于100 ms，平均延遲低于30 ms。這一延遲用戶在實(shí)際使用過(guò)程中不易察覺(jué)，對(duì)系統(tǒng)的實(shí)時(shí)性影響較小。

實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)的學(xué)生視線可視化功能，能夠正確地反映學(xué)生的觀看區(qū)域，支持多用戶的可視化。視線數(shù)據(jù)傳輸?shù)难舆t可以滿足系統(tǒng)實(shí)時(shí)性的需求。

5 結(jié) 語(yǔ)

本文設(shè)計(jì)實(shí)現(xiàn)一套基于虛擬現(xiàn)實(shí)直播的多人網(wǎng)絡(luò)教學(xué)系統(tǒng)，通過(guò)對(duì)虛擬現(xiàn)實(shí)直播在媒體資源以及多人交互方面進(jìn)行增強(qiáng)，使得系統(tǒng)滿足課堂教學(xué)的基本需求，并且利用虛擬現(xiàn)實(shí)特性打造沉浸式體驗(yàn)。媒體資源方面，本文設(shè)計(jì)并構(gòu)建一套虛擬現(xiàn)實(shí)直播媒體資源系統(tǒng)。系統(tǒng)支持圖片、視頻、網(wǎng)頁(yè)和三維模型資源，在虛擬現(xiàn)實(shí)直播教學(xué)過(guò)程中動(dòng)態(tài)地加載與交互，提升了教學(xué)環(huán)節(jié)的完備性，同時(shí)利用虛擬現(xiàn)實(shí)沉浸感提升教學(xué)體驗(yàn)。多人交互方面，本文設(shè)計(jì)一套應(yīng)用于虛擬現(xiàn)實(shí)直播教學(xué)的多人互動(dòng)方法，利用用戶頭部、手部運(yùn)動(dòng)數(shù)據(jù)和空間聲語(yǔ)音，實(shí)現(xiàn)了對(duì)于全景資源的多人協(xié)同瀏覽方法。通過(guò)對(duì)學(xué)生視線數(shù)據(jù)的收集和可視化，實(shí)現(xiàn)了教學(xué)過(guò)程中學(xué)生視線的實(shí)時(shí)反饋。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)具有良好的可用性，能夠較好地實(shí)現(xiàn)直播教學(xué)過(guò)程中媒體資源使用、多人協(xié)同觀看和學(xué)生視線反饋。未來(lái)我們將把教師客戶端發(fā)布到增強(qiáng)現(xiàn)實(shí)頭盔中，使用裸手進(jìn)行交互，使得教師在進(jìn)行真實(shí)世界的授課的同時(shí)，可以沉浸式地參與虛擬環(huán)境的交互。