網真課堂交互技術研究 *

王偉東，金義富

(1.嶺南師范學院 廣東高校數字化學習工程技術開發中心 信息與教育技術中心，廣東 湛江 524048；2.嶺南師范學院 教育技術研究所，廣東 湛江 524048)

一、引言

目前，跨越時空和教學對象限制的網絡教學模式已逐漸普及應用，其中的MOOC[1](Massive Open Online Courses)，由于有很好地共享優質教學資源等特色，得到不少人推崇，但精品課程、網絡課程、慕課等這類遠程教學主要是異步的教學模式，且多采用教授傳播式教學手段[2]，學習者在學習的過程中，未能進行即時提問、解答等實時交互[3]的教學活動，課后也主要以留言版、論壇等字符交互方式進行師生交流。個別能實現同步在線教學的直播式網絡課堂[4]，也存在人物尺寸與實際差異大等顯示效果不好而產生明顯的距離感，有時會出現畫面卡頓等更會降低學生的學習興致，師生間的表情等反應往往難以顧及，教學互動也會打折扣[5]。多采用教師與學習者一對一的教學方式，很少將以第三者眼光看到的師生一起的課堂情景(以下簡稱為“第三人稱課堂情景”)呈現給學習者，學習者缺乏身臨其境的體驗，難以感受出類似于傳統本地課堂的交互效果，影響了遠程直播式網絡課堂的教學體驗和效果。

二、網真課堂

(一)網真技術

“天涯若比鄰”曾經是詩人的美好夢想，但如今的網真[6](Telepresence)技術已能夠將“遠在天邊”立刻展現到“近在眼前”，實現人和環境的尺寸都是一比一真實大小的高清影像，高保真唇音同步的音頻，而且是實時交互。自從思科(Cisco)公司成功地推出了網真會議系統之后，寶利通(POLYCOM)、惠普(HP)、騰博(TANDBERG)等多家公司或機構，也相繼地進行了深入研究和發展，對網真這種高清逼真現場體驗的遠程呈現技術，雖然不斷有模仿，不同廠商各自提出了多種不同的中文翻譯，例如：遠真、擬真、電真、智真等，但未能真正超越，還是網真得到最廣泛的認可，以下統一稱為網真。網真是在結合了統一通信、高清視頻、高保真音頻、環境系統和人體系統工程學等技術，實現了跨越時空卻能真實體驗的一種綜合性技術體系。目前的網真技術主要用于實現網真會議系統，對網真會議室場景的音響和燈光布置進行專門設計，結合視頻處理技術和先進網絡技術，實現網真會議遠程與本地即時視頻無縫融合的逼真呈現。

(二)網真課堂

采用網真技術的網真課堂[7](Telepresence Classroom)可以很好地解決目前異步和同步遠程網絡教學中交互不及時和體驗不真實等問題。相對于網真會議室而言，應用于遠程教學的網真課堂要求更高。早幾年思科公司曾經有文獻討論了網真技術在教育中的初步應用，近期也有相關報道，例如美國的Georgetown大學與遠處的大學用網真技術，使得遠在異地的兩校實現連接，進行了實時的遠程教學交流。近年我國清華大學也研制了一種稱作“智能遠程教室”的網絡教學系統，實現遠程課堂有相當于真實課堂的體驗。我國華東師范大學也為基于e-Learning的未來教室，加入了在線的即時教學環境。但這些已有的實例還不算是真正的網真課堂。

我們參考了華東師范大學的未來教師空間站和廣西師范學院的未來教師空間站，以嶺南師范學院為中心建立了未來教育空間站[8]，通過高速同城專網與合作的中小學建立地面站進行互聯互通，搭建起以嶺南師范學院為中心，服務于湛江市區及附近鄉村的中小學，實現了高校課堂與中小學課堂實時互動等功能的公共服務平臺，其中的網真教室所開展遠程即時教學的網真課堂是最有特色的一個子項目。本地或者遠程的其中一方稱為一個用戶，每個用戶需用帳號和密碼登錄后使用。教師一般是一個用戶帳號給教師一人用，學生每個人可以有一個用戶帳號，但在同一個地方用的即使是很多學生也只用一個用戶帳號登錄即可。當硬件設備條件允許時，可同時支持多個網真課堂群組獨立開展教學，在同一群組中可實現多個用戶同時登錄在線使用，進行現場直播式的實時交互網絡視頻教學。為了兼顧實際開展時的個別特殊情況，例如遲到者、請假者等，允許個別用戶在網真課堂開始進行后的中途才登錄加入該課堂，甚至結束后進行異步的點播學習。對沒專設場景和攝影設備的用戶，允許采用三維的虛擬人替身進入網真課堂學習。

三、網真課堂交互技術

網絡課堂教學中的課堂交互[9]，是在教學活動中師、生、教學內容以及材料工具之間進行的交流互動[10]，主要有三種基本方式，分別是自我交互、人際交互和人機交互[11]。下面所談的交互專指網絡課堂教學過程中的人機交互，通俗地說是指進行網絡教學活動期間，師生用戶對網絡教學系統的輸入與輸出控制。

(一)人機交互技術

早期的人機交互主要是通過命令行界面實現的。有了鼠標之后，出現了圖形用戶界面的人機交互方式。近年又發展了聲音交互以及利用了實體傳感裝置、觸控屏、數據手套、可穿戴設備、遙感手勢控制設備等進行的體感交互[12]，這種常被稱為自然交互技術，用戶不需要專門學習即可通過直觀自然的日常行為與系統進行人機交互。目前體感交互已在娛樂游戲、教育互動、輔助醫療等方面逐漸得到推廣和應用。

(二)遠程網絡教學交互技術

在遠程網絡教學環境中，人機交互按響應的時間可以分為離線非實時交互和在線實時交互。按交互對象可以分為人與內容的交互、一對一的人與人交互、一對多的個體與群體交互、多對多的群體成員間交互[13]等。在遠程教學的過程中，人機交互是必需的，各種形式的交互都各有優勢[14]，在遠程教學活動中可以根據實際需要靈活選用。

(三)網真課堂交互技術

網真課堂的開展過程離不開人機交互操作，下面以嶺南師范學院未來教育空間站的網真課堂為基礎，研究網真課堂交互技術，按功能實現分為八大類，每一類可以單獨使用，也可以采用多個設備同時使用各類交互功能。

1.實時字符交互

在網真課堂中實時語音交互是最常見的交互，但為了避免在同一網真課堂中多人同時進行實時語音交互時產生混亂和互相干擾，提供實時字符交互功能。網真課堂中各用戶可進行實時的字符聊天式交互，既能與指定用戶進行字符交互，也可以面向同一個課堂群組內所有用戶進行廣播式交互，實現有新內容發出時自動刷新顯示。通過該功能可以實現師生在線文字、字符聊天式的討論交流，還支持表情圖的顯示。交互的數據保留在服務器中，也允許同一課堂群組中未登錄的用戶，后來登錄可查看登錄前課堂群組內的討論歷史記錄。可按發言者或時間段等查找歷史交互記錄。實時字符交互功能采用可選設置的兩種方式實現：(1)交互的字符在屏幕上滾動顯示，可以用快捷鍵切換成隱藏，或者立即顯示；(2)在主顯示屏左側用一個輔助顯示器專門滾動顯示交互的字符內容。其中第2種方式可以避免影響網真課堂主顯示畫面的真實感體驗。

2.點播式文件共享異步交互

在網真課堂中師生可以進行音視頻、圖片或各種格式的教學資源文件傳輸共享，用戶將資源文件上傳到共享區后，可分享給指定用戶或整個課堂群組，相關的用戶可進行點播式文件共享異步交互，可以下載資源文件，還可以對該共享進行評價留言和評分。為了鼓勵大家進行公開的資源共享，記錄每個用戶共享的各類資源文件數，參與評價留言數和參與評分數，還記錄每個資源的被下載數、被評價留言數，被評分的總分和平均分，并生成相應的排行榜，動態排名展示。這些可供教師參考，作為學生參與網真課堂教學的部分評價。一般同步實時的課堂教學過程稍縱即逝，如果學生走神錯過了，將無法重現上一刻的講課。為了解決這種問題，可將網真課堂開展的過程實時錄制成流媒體保存，讓相關用戶可進行非實時異步的點播式交互學習，網真課堂的教學資源庫[15]、作業、練習、在線考試、評卷和查成績等都采用這類交互。

3.直播式音視頻同步實時交互

網真課堂最普遍的功能是實現多用戶的直播式音視頻同步實時交互，既能指定整個課堂群組中的某些用戶或所有用戶，進行一對多或多對多的即時廣播式集體討論交流，又可指定某個用戶進行一對一的即時問答式交流。可以一個用戶用一個帳號登錄，也可以多個人一起用一個帳號登錄。教師可隨時切換學生用戶當地的視頻窗口，靈活控制各學生用戶的發言權限，以控制學生端來進行分組音視頻交互。對同一網真課堂群組中的有同時在線的多個用戶，提供可選設置的兩種方式實現直播視頻同步實時交互：(1)只有一個主顯示設備時，同一時刻可以指定某個用戶為主講音視頻，在各用戶的主屏上直播，其他用戶的用快捷鍵切換成小窗口直播或隱藏顯示；(2)采用并排的多個顯示設備，分別顯示各個用戶的直播視頻。

4.遠程即時操控交互

在網真課堂中，遠程場景與本地場景布置一致，高度融合。為了讓師生更加有近在眼前的真實感體驗，提供遠程即時操控交互功能，可以讓本地用戶在遠程的顯示屏或電子白板上進行流暢的操作(例如寫字操作)，并能在同一課堂群組各個用戶的顯示屏上同時顯示這些寫字等操作過程，這為實現網真課堂的師生互動提供了方便，提高了網真課堂的本地化教學的真實感體驗。

5.第三人稱視頻合成控制交互

對開展網真課堂教學的當地實際教室中，除了在前正上方架設主攝影機外，還盡量在后正上方、左側前上方和右側前上方架設輔攝影機，進行多角度同步攝錄網真課堂的視頻，用專線高速網絡傳輸數據。網真課堂的參與者，一般用第一人稱顯示模式，能清楚地看到遠程其他人在課堂中的行為和表情神態。但本地學習者特別是課堂參與者自己在上課過程中的表現，往往是“當局者迷，旁觀者才清”，所以網真課堂提供可選設置的三種方式，來實現查看本地的表現狀況視頻：(1)在本地主顯示屏的右下角以小窗口顯示本地視頻，可用快捷鍵進行切換成隱藏，或立即小窗口顯示，或最大化顯示；(2)在主顯示屏右方用一個輔助顯示器專門顯示本地的視頻；(3)在本地的主顯示屏或者輔助顯示屏上，可用快捷鍵切換成第三人稱顯示模式，也叫做“路人顯示模式”，能夠以旁觀者的角度，看到包括參與者本人在內的網真課堂中所有參與者在課堂上的表現。

其中第三人稱顯示模式的關鍵技術是實現網真課堂的本地視頻與遠程視頻自動合成[16]。針對網真課堂各地環境布局相同的特點，對遠程視頻和本地視頻的圖像序列，進行逐幀的模糊匹配，檢測出人與背景的邊緣特征點，將本地視頻中的人與背景分離，進一步將分離出的本地視頻中的人合并到遠程視頻的相應位置，并模糊和羽化人的邊緣，增強融入感，形成新的第三人稱顯示視頻。這種處理工作稱為潤飾(Retouching)或者是修復(Inpainting)，使合并后的第三人稱視頻，看起來就像是在同一地方的實際課堂場景中拍攝的效果一樣，再進一步加工成自由視點視頻[17](Free View Video)，讓觀看者可在一定的視角范圍內，通過選擇不同的視點或者視向來動態交互式觀看。

6.虛擬角色體驗控制交互

虛擬角色體驗控制交互特別適合沒有專設場景和攝影設備的用戶。以網真課堂場景為背景，為同一網真課堂群組中的每位成員，提供一個三維的虛擬人[18]角色“替身”。虛擬人的三維模型可自行定制，允許設定性別、身高等參數，還提供多種臉型發型等外觀可選擇。也可以按要求的標準自行設計好虛擬人三維角色模型后，上傳到網真課堂系統中使用。對于沒有專設場景和攝影設備的用戶，通過實體與虛擬結合[19]技術，讓代表自己的虛擬人進入正在進行著的網真課堂視頻的空位處，用戶可控制自己的替身的手腳動作、頭勢、唇語、表情等，使虛擬人學習者如同用戶親自身臨其境地，參與正開展著的網真課堂，去體驗與視頻中其他真人一起的網真課堂遠程同步實時交互學習。

7.遠程虛擬體感交互

遠程虛擬體感交互可用于沒專設場景和攝影設備的用戶，進行課后學習或網絡三維游戲化學習。網真課堂結束之后，可多次重復進行虛擬體感交互學習體驗，特別是需要動手的實驗課、實操課等。按網真課堂的標準，在3D引擎上采用三維建模技術，建立與實際網真課堂一樣的，三維虛擬教室教學場景。與第六類的虛擬角色體驗控制交互類似，每位網真課堂群組成員都可以有一個三維的虛擬人角色“替身”。進入遠程虛擬體感交互模式，調出代表自己的虛擬人，這時操作者所處的真實環境，與虛擬的實驗場景和實驗儀器，形成高度沉浸式的虛擬實驗體驗環境，通過體感交互感應器，用戶可以運用手勢、肢體動作或語音等，實現虛擬場景中的體感交互。支持多用戶同時聯機操作，實現網絡3D游戲式的多用戶同時開展遠程虛擬體感交互式學習體驗，用戶在三維虛擬場景中的行為表達可即時地傳送至遠程各方，類似于第五類交互，可用快捷鍵切換第一人稱顯示模式，或第三人稱顯示模式。結合使用3D顯示設備，如裸眼3D顯示器，或者3D投影機加3D眼鏡等，則能夠具有更加逼真震撼的三維沉浸感體驗。

8.智能Agent主動式交互

在網真課堂中加入知識庫和多個智能Agent[20]，通過應用情境感知計算處理技術，獲取網真課堂開展過程中的各種數據信息，分析處理后提供智能化的預警和推送等服務。實現對學生的學習過程進行實時監控跟蹤，分析網真課堂教學過程，解決用戶使用問題等。例如小動作智能Agent可以對網真課堂視頻畫面中的各人進行人臉定位，并監控分析發現有學生持續地低頭或轉頭，超過了轉頭時間閾值時，紅色框圈定這些學生的頭部區域閃動顯示警告，并記錄轉頭視頻片段日志。轉頭時間閾值可以設定。異常聲智能Agent可監測上課講話的學生，學生座位某區域范圍有持續聲音的強度及時間超過異常聲閾值時，藍色框圈定這些視頻的區域進行閃動顯示警告，并記錄下異常聲的視頻片段日志。向導智能Agent，能對網真課堂開展過程中出現的常見操作問題，與可維護的知識庫中相關記錄自動模糊匹配，動態飄出黑色解決的提示字幕或動畫，可以控制放大顯示或縮小或隱藏。自動提醒智能Agent可以根據預先設定的提醒條件，當滿足條件時就彈出紅色閃動的提醒信息字幕。狀態記錄智能Agent可以動態記錄網真課堂的開展情況，如哪些帳號在什么時間登錄或退出，是否屬于遲到或早退，各用戶端的顯示幀頻變化情況等自動存入數據庫，可以隨時調出顯示等。這些交互的結果也用可選設置的兩種方式實現：(1)在本地主顯示屏的右上角以小窗口顯示，可用快捷鍵切換成隱藏，或小窗口顯示，或最大化顯示；(2)在主顯示屏右側用一個輔助顯示器專門顯示智能Agent主動式交互結果。其中第2種方式可避免影響網真課堂主顯示畫面的真實感體驗。

四、網真課堂交互技術使用效果

網真課堂平臺采用云架構的集群部署，現主要在嶺南師范學院未來教育空間站的網真教室與市區內用高速專網互連的兩所中學之間使用，還在繼續開發和完善。為了驗證現網真課堂交互技術的使用效果，自行設計調查問卷網站，題目如表1所示。

表1 調查問卷題目

安排部分用過網真課堂平臺的學生進行作答，共收集到有效提交的答卷51份，其中與教師處于異地為：33人，處于同地的為：18人，回答Q1的統計如下圖所示。Q2全部都選了網真課堂，Q3則有3人選了傳統課堂，查看發現這些人的Q1都是選異地，其Q12的建議分別回答為：“網真課堂很好但硬件要求高，遠程用戶多人一起時，使用還不習慣”“如果網絡有故障，遠程用戶就沒法與在老師身邊的學生比了”“最好能自動提醒老師多關照一下我們遠程的用戶”。

回答Q1的統計圖

從問卷調查網站上導出調查結果數據，整理數據格式，對Q4-Q11選了第一項的值換為5，第二項的值換為4，以此類推第六項的值為0。用SPSS17.0軟件進行統計分析，其中Q4-Q11頻率統計如表2所示，發現只有Q10有一個最小值3代表“有用要改點”外，其他都是4代表“很有用”和5代表“太有用了”。

表2 Q4-Q11頻率統計

續表2

即使是最低認可度的Q10，其頻率如表3所示，也有78.4%是選了5分代表“太有用了”的。經查其他21.6%的人有部分提到的相關建議主要是：參與過的網真課堂中體感交互應用的場合還很少，網真課堂平臺中的該交互功能還有待完善，實際也是要進一步開發完善該功能。由此可見，這些用過網真課堂平臺的學生對八類網真課堂交互技術還是很認可的。

表3 Q10的頻率

五、結束語

網真課堂要求各方的本地場景設計一致，可為未登錄用戶虛位以待，并將當前課堂的場景實時地呈現到各方的本地，還能讓遠程課堂場景與本地課堂場景融合成為一個能即時互動的網真教學場景，可切換為第三者視角觀看體驗；對沒專設場景和攝像機的用戶，允許用三維虛擬人加入正在進行的網真課堂視頻中，與真人進行實時同步交互體驗，實現了異地多用戶遠程實時交互式教學。在課堂中的行為舉止和神態表情，自己本人往往容易忽視，采用第三人稱視頻合成控制交互技術，可讓參與者本人清楚地自己在網真課堂中的表現情況，形成自由視點視頻甚至可進行變換視點或視向的動態交互體驗。網真課堂開展過程中的各狀態數據等，采用智能Agent主動式交互技術可以提供全面的分析呈現，甚至智能化的預警和信息推送等服務。這些不僅是未來美好愿景的理想描繪，而是面向實際應用的開發實踐，通過使用這些交互技術，網真課堂中本地與遠程用戶在物理上的實際距離雖然很遠，但師生們實時交互的體驗距離將顯得近在咫尺。所述八大類交互技術中提到用快捷鍵的地方，都還可以通過屏幕左邊收縮隱藏的快捷菜單實現。各類交互技術可以單獨使用，在輸入、顯示等設備允許的情況下，這些交互技術幾乎也都可以一起同時使用。

[1]韓錫斌,葛文雙,周潛等.MOOC平臺與典型網絡教學平臺的比較研究[J].中國電化教育,2014,(1):61-68.

[2]李艷紅,趙波,甘健侯等.基于MOOC的學習定制服務模型構建研究[J].中國電化教育,2014,(11):39-43.

[3]蔡敏.網絡教學的交互性及其評價指標研究[J].電化教育研究,2007,(11):40-44.

[4]魏雪峰,楊俊鋒.同步網絡課堂的理念、應用及未來發展[J].中國電化教育,2014,(9):93-99.

[5]容梅,林君芬,王陸.交互技術打造高效互動課堂——新理念、新技術和新實踐的三方對話[J].教育信息技術,2013,(3):3-10.

[6]Gary P,Cheryl C B,Bridget R,etc.Telepresence,soundscapes and technological expectation:putting the observer into the equation[J].Virtual Reality,2010,(14):15-25.

[7]金義富,張子石,王偉東.網真課堂體系結構及其教育傳播模式研究[J].中國電化教育,2013,(11):132-136.

[8]金義富,王偉東,張子石.未來教育空間站設計與運行模式研究[J].電化教育研究,2012,(9):77-81.

[9]魏雪峰,崔光佐,李莉等.基于學習過程的課堂交互分析研究[J].電化教育研究,2011,(12):91-97.

[10]張超,吳勇剛.現代遠程教育中教學交互的研究綜述[J].教育信息技術,2013,10(10):158-159.

[11]王志軍.中國遠程教育交互十年文獻綜述[J].中國遠程教育,2013,(9):25-29.

[12]Ren G.,Li C.,O'neill E.,Willis P.3D freehand gestural navigation for interactive public displays[J].Computer Graphics and Applications,2013,33(2):47-55.

[13]陳麗.遠程教學中交互規律的研究現狀述評[J].中國遠程教育,2004,(1):13-20.

[14]葉新東,夏一飛.信息技術課堂教學交互行為模型與評測指標研究與實踐[J].現代教育技術,2011,(8):42-50.

[15]袁松鶴,丁新,邱崇光.遠程教學與管理平臺的設計研究[J].中國遠程教育,2008,(9):69-72.

[16]Dong Liu,Xiaoyan Sun,Feng Wu,Shipeng Li,Ya-Qin Zhang.Image Compression With Edge-Based Inpainting[J].IEEE Transaction on Circuits and Systems for Video Technology,2007,17(10):1273-1287.

[17]劉蘇醒,安平,宓桃,張兆楊.自由視點視頻系統中虛擬視合成及校正方法[J].光電子·激光,2009,20(9):1234-1237.

[18]王偉東,余華強,趙法信.基于Web的3D虛擬人智能導診系統設計[J].湛江師范學院學報,2012,33(6):123-126.

[19]王麒,張際平,許亞鋒.遠程實體與虛擬結合課堂的研究[J].中國電化教育,2012,(12):130-135.

[20]文孟飛,徐錚立,陽春華.基于智能代理技術的遠程開放網絡教學系統[J].中國電化教育,2006,(1):89-92.