三維虛擬學習環境中操作指導型虛擬教師設計與實現*

夏志鵬，劉革平

(西南大學 計算機與信息科學學院，重慶 400715)

三維虛擬學習環境中操作指導型虛擬教師設計與實現*

夏志鵬，劉革平①

(西南大學 計算機與信息科學學院，重慶 400715)

三維虛擬學習環境以其良好的沉浸性逐漸被認可。相對于基于網頁的學習環境，三維虛擬學習環境因操作復雜而對學習者有更大的認知負荷。該文提出引入指導學習者操作的虛擬教師來幫助學習者熟悉三維虛擬學習環境。研究中，在調查的基礎上分析了導致學習者難以適應三維環境的原因，結合真實環境中教師的行為、語言、形象等方面的特點，設計并實現了可以伴隨學習者的操作指導虛擬教師，通過控制組實驗，驗證了虛擬教師的有效性。

三維虛擬學習環境；虛擬教師；操作指導；Open-Sim

一、引言

隨著虛擬現實技術的發展以及網絡環境的持續優化，三維虛擬學習環境以其良好的沉浸性在網絡教育領域應用越來越廣泛。三維虛擬學習環境可以提供身臨其境的類真體驗、可以實現靈活多樣的互動方式、可以體會動手創造的學習經歷，為學習者提供了接近真實的學習環境[1]。但對于學習者來說，由于操作復雜度較高、缺乏指導以及信息量巨大，三維虛擬學習環境相比基于網頁的學習環境有著更大的認知負荷[2]。針對該問題，本研究嘗試以虛擬教師為手段，幫助學習者快速且高效地適應三維學習環境，解決技術認知負荷問題，減少信息“迷航”現象，讓學習者能夠高效地使用三維虛擬學習環境開展學習活動。

隨著虛擬人技術研究的不斷深入，有研究將虛擬人技術應用于三維虛擬學習環境中，構建三維虛擬教師，提供生動的、交互性的、富有親和力的學習指導，以達到增強教學互動、提高學習興趣、激發學習熱情、提升學習成效的目的[3]。目前，對于虛擬教師的研究，國內外已經有了一些成果，比如國外的教學代理Adele[4]、Jacob項目[5]、AvaTalk[6]，這些虛擬教師都對學習者的學習過程提供了幫助，讓學習者的體驗效果提高，國內推出的智能虛擬英語老師Lucy[7]能夠幫助學習者克服啞巴英語的困難，體現了虛擬教師的價值。針對三維環境中的技術認知負荷問題，在借鑒以上研究成果的基礎上，本研究設計了可以跟隨學生行動的、指導其操作的三維虛擬教師，通過測算學習者的體驗時間，完成任務情況和體驗效果，驗證了虛擬教師的助學作用。

二、理論與技術基礎

本研究中虛擬教師的理論與技術基礎包括情境認知理論、智能代理技術以及虛擬人技術。

(一)情境認知理論

情境認知理論(Situated Cognition)認為，大多數知識都是人的活動與情境互動的產物[8]。因此，如果在教學中能為學習者提供接近于真實或仿真的學習情境，那么學習者深入理解知識的機會就會大大增加[9]。情境認知理論強調學習情境和實踐，這就要求虛擬教師的設計要與學習情境緊密結合，讓學習者有身臨其境的感受，要針對特定的學習情境為學習者提供學習資源，結合情境與資源為學習者提供操作指導等服務。

(二)智能代理技術

智能代理(Agent)又稱為智能體技術，是一種軟件單元，具有高度智能性和自主學習性，可以根據用戶定義的規則，自動地為用戶執行有關操作[10]。三維虛擬學習環境中的學習者大多都是獨立化的，如果組織得不好，學生往往缺乏引導，在環境中漫無目的地游覽，造成娛樂性大于學習性的狀況。為此，需要以智能代理技術為基礎，設計智能化的虛擬教師陪伴學習者，監測他們的狀態，為他們安排學習日程，回答各種疑問，根據學習情況制定學習策略。

(三)虛擬人、虛擬教師技術

虛擬人是人在計算機生成空間(三維虛擬環境)中的幾何特性與行為特性的表示，是多功能感知與情感計算的研究內容。借助虛擬人技術，可以在學習環境中設計與實現虛擬教師。這樣的教師，有幾何形體、能與環境交互、可以感知與影響周圍環境。虛擬教師的行為既可以通過智能代理技術由計算機軟件來控制，也可以由真實人控制，即人的化身(Avatar)；虛擬教師與學生之間可以通過自然語言、體態語言等進行交流[11][12]。

因此，在設計虛擬教師時，要涉及到虛擬人的人體建模技術、運動生成與控制技術、手勢識別技術、人體姿態識別技術、面部表情識別和生成技術等。

三、三維虛擬學習環境中的操作指導虛擬教師設計

本研究以開源的Open-Sim虛擬世界平臺為基礎構建了三維虛擬學習環境，其中設計了多名虛擬教師，在學習者使用三維虛擬學習環境的過程中為他們提供操控指導、引路導航等學習服務，以幫助他們盡快熟悉環境、掌握操作方法，達到降低技術認知負荷的目的。

(一)新手用戶使用三維虛擬學習環境的現狀訪談調查

本研究針對新手用戶(即剛接觸該環境的學習者)使用三維虛擬學習環境的現狀進行了訪談調查。被訪談的42名新手用戶中，有59.5%的用戶認為自己難以找到想去的地點；有71.3%的用新手用戶認為三維環境中的信息量大，干擾自己完成學習目標；有61.9%的新手用戶在三維環境中沒有到達要求的學習場所，處于沒有目的的漫游狀態。通過對訪談結果的分析可以發現，在三維虛擬學習環境中，反映用戶外貌的“化身”和仿真的學習情境成為了環境中最重要的部分。

(二) 新手用戶的操作需求分析

剛進入三維環境，學習者要知道如何操控自己化身的運動，要知道如何前往特定的地點、如何與環境中的物體發生交互；學習者可以通過操控化身來表現自己的真實情感，這就需要學習者知道如何創建動作以及操控化身執行動作；學習者可以通過建造虛擬物體進行實踐，這就需要學習者要懂得物體建模的技巧。調查發現，新手用戶大都希望有指導者幫助他們學習三維環境的上述操作技巧，以使盡快轉變為熟練用戶。因此，能夠承擔指導學生操作的虛擬教師將會受到學習者的歡迎。

(三)虛擬教師的框架設計

本研究中虛擬教師的框架如圖1所示，虛擬教師不是一個功能集成的個體，而是由多個個體構成的虛擬教師群體。本研究重點關注將一個大的問題情境分解為多個小的問題情境，每個虛擬教師在不同的問題情境中各司其職。

圖1 虛擬教師的框架

1.感知模塊

該模塊主要負責獲取三維環境中靜態實體和與動態實體的狀態信息、與學習者進行交互的信息、虛擬教師的屬性信息。

2.認知分析模塊

該模塊首先分析感知模塊所獲得的信息，之后根據分析結果，從虛擬教師的語言庫、動作庫和形象庫中調用相匹配的信息，將之傳送給反應模塊。

3.反應模塊

該模塊主要負責對學習者發出的信息進行反饋，反饋的方式包括發送語音和文字信息、執行表達自身情感態度的肢體動作、對自身的外觀形象進行更改等。

4.形象庫

虛擬教師的形象庫設計包含多個方面，包括人物性別、體型、皮膚、頭發、五官以及服裝，這些都可以在Open-Sim平臺內置的外觀編輯器進行設置。但如果要讓人物的形象變得更為精致美觀，則需要借助外部軟件進行設計，比如Adobe Photoshop、Corel Photopaint、Jasc's Paintshop Pro或者Gimp等。在創建虛擬教師的過程中，生成函數需要調用虛擬教師的外觀數據，這就需要用OS腳本中的OsAgentSaveAppearance函數將設計好的外觀數據存儲為一個NoteCard類型文件，之后在虛擬教師生成函數osNpcCreate中調用該NoteCard類型文件。

5.語言庫

虛擬教師的語言庫中包括文字信息、語音信息和圖片信息。文字信息被歸為三種類型：第一類為自我介紹類，主要用于初次檢測到用戶化身在附近時，向用戶介紹自己及承擔的工作；第二類為知識技能類，主要是三維虛擬學習環境基本知識以及操作化身開展學習活動的要領，該類語言務必簡單易懂，減少專業詞匯的使用；第三類為鼓勵指引類，當用戶完成了一個步驟之后，虛擬教師會調用該類別的語言進行鼓勵，此外，當用戶完成了一個單元的學習后，虛擬教師調用該類別語言以告知用戶下一個應該前往的地點。語音信息的內容與文字信息一致，每一句話錄制為一個WAV格式的文件。圖片信息主要用于虛擬教師身邊的信息板上，信息板會跟隨虛擬教師的文字信息發生變化。

6.動作庫

Open-Sim平臺本身含有一個公共動作庫，該動作庫包含了人類交往過程中出現的大部分動作，虛擬教師能夠使用其中的大部分動作。在設計虛擬教師的動作庫時，可以結合真實教師體態動作特點，將公共動作庫中的內容進行篩選，建立一個虛擬教師動作庫。

(四)虛擬教師的功能設計

為了對新手用戶進行操作指導，本研究開發了專門的新手村以對用戶進行專題訓練。新手村對新手用戶的指導分解為7個具體學習步驟，每個步驟設計都遵循由易到難、循序漸進的學習原則。與新手村學習情境相對應，虛擬教師共有5項教學功能，分別為：基本操控指導功能、疑難解答功能、換裝指導功能、引路導航功能、初級建模教學功能，如右圖2所示。

圖2 學習情境與虛擬教師教學功能

1.基本操控指導功能

學習對化身的基本操作是整個學習活動的第一步，也是最簡單、最基礎的步驟。基本操控指導功能集成在一名虛擬教師身上，這名虛擬教師名為“操控示范員”，其所在位置就是學習者第一次進入虛擬環境時其化身默認出現的位置。由于基本操控容易學習，只需要讓虛擬教師每隔一段時間發送出提示信息并相應地演示操作效果即可。

2.疑難解答功能

疑難解答功能利用智能代理技術自動識別學生提出的問題，虛擬教師通過語音和文字的方式對學習者進行回答。以回答學習者如何讓自己的化身執行跳舞動作為例，虛擬教師將該問題分解為三個步驟，一步步告訴學習者如何操作，如果沒有學會，虛擬教師將會重復告知該步驟的要點，直到學習者反饋了諸如“OK”“完成”“YES”“好了”等這樣帶有肯定含義的詞語后，虛擬教師才會繼續教授下一步操作要領。

3.換裝指導功能

換裝指導功能用于指導用戶如何改變化身外觀，展示學習者個性的重要功能。以Open-Sim平臺為例，學習者有兩種換裝方式可供選擇。第一種方式，是在化身外觀編輯器中進行調整，包括調整化身的高矮胖瘦、五官、衣服樣式和鞋子樣式等。第二種方式，用戶可以先獲取心儀的外觀目錄包，之后將該目錄包裝備在自己的化身身上。換裝指導功能效果如圖3所示。

圖3 虛擬教師指導用戶學習更改外觀

4.引路導航功能

該功能以虛擬教師為主體，配合地點路標和“地點傳送器”共同實現引路導航功能。三維虛擬學習環境仿照真實學校建設，由多個區域構成，如教學樓、實驗樓、休閑區、音樂廳、大禮堂等，這就導致很多學習者出現“迷航”的情況，他們或者找不到前往目的地的路，或者到達了目的地卻不知道自己是否到了正確的地點。為了解決“迷航”問題，本研究為環境中的主要地點設計了“地點傳送器”，該工具可以直接將用戶化身傳送到目的地，每一個傳送器旁都設置了一名虛擬教師，告知用戶所在的區域并且指導學習者使用“地點傳送器”。

5.初級建模教學功能

Open-Sim的建模過程比專業的建模軟件3DMAX、Maya等簡單的多，但對于那些沒有建模基礎的學習者來說，仍然具有一定的難度和復雜程度，需要虛擬教師來指導學習者。以創建一塊磚為例，虛擬教師將該操作分為三個步驟進行講解：第一步，虛擬教師會指導學習者創建一個基本體，過一段時間后，虛擬教師會詢問學習者是否完成了該步操作，得到肯定回答之后，虛擬教師開始下一步教學；第二步，虛擬教師會提醒學習者調整基本體的長寬高等參數，使之有了磚墻的樣子，得到肯定回答之后，虛擬教師開始下一步教學；最后一步，虛擬教師會告訴學習者如何打開材質編輯器，并且找到磚頭的紋理并將之附于物體的表面，當學習者確認完成后，虛擬教師會鼓掌并告訴學習者已經完成了在三維環境中進行初級建模的學習，如圖4所示。

圖4 虛擬教師指導用戶學習初級建模技巧

四、實現虛擬教師的關鍵技術

(一)虛擬教師的生成技術

虛擬教師身體的生成過程也是虛擬教師外觀數據生成、存儲和應用的過程。首先，先要在虛擬教師形象庫中選擇和調用形象，將選定的形象數據存儲在一個NoteCard文件中；其次，在環境中選定合適地點任意創建一個物體并為之加入腳本，在腳本中調用OsNpcCreate函數，用于生成非用戶控制角色的函數；最后，在函數的參數中填寫虛擬教師的名字、姓氏、生成地點的坐標以及外觀樣式數據，當腳本開始運行時，虛擬教師便會出現在選定的出生點。

(二)行走跟隨技術

行走跟隨技術主要用在疑難解答和目標導航兩個問題情境中，其關鍵技術就是對平臺中坐標檢測函數llDetectedPos、感應器函數llSensor以及定時器函數llSetTimerEvent的使用。實現過程：首先，利用定時器函數，每0.5秒觸發一次Timer事件；其次，在Timer事件中用感應器函數感應以虛擬教師為圓點范圍內的學習者化身；最后，用坐標檢測函數，獲取學習者化身的坐標信息并使虛擬教師移動到該坐標點附近。

(三)文本信息檢測技術

本研究中的虛擬教師全部都用到了文本信息檢測技術，實現過程主要涉及到兩個函數，即信道檢測函數Listen函數和關鍵字檢測函數llSubStringIndex。Listen函數主要用于檢測并獲取學習者發送的完整文字信息，獲取信息后，llSubStringIndex會將該信息與虛擬教師的語言庫中的關鍵字進行匹配，匹配成功后，虛擬教師就可調取語言庫中的反饋信息回答學習者。

(四)信息板動態變化技術

為了讓知識形象化，研究中還創設了一些信息板放置于虛擬教師身邊，這些信息板跟隨虛擬教師發送的文本信息進行變化，能夠讓學習者更容易理解虛擬教師的語言。信息板的動態變化技術主要涉及到關鍵字檢測函數llSubStringIndex和物體紋理設置函數llSetTexture。當關鍵字檢測函數完成了信息匹配之后，會觸發物體紋理設置函數，該函數會調用語言庫中對應的圖片信息并使之成為信息板表面的紋理，達到信息板的動態變化。

五、虛擬教師的實驗研究

虛擬教師開發完成后，運用實驗研究法在新手用戶中進行了試用與驗證。

(一)實驗問題與假設

針對新手用戶完成全部體驗的時間、體驗效果和每個任務完成時間三個問題，提出以下三個實驗假設：

(1)虛擬教師參與學習過程對新手用戶完成全部體驗的時間沒有影響；

(2)虛擬教師參與學習過程對新手用戶的體驗效果沒有影響；

(3)虛擬教師參與學習過程對新手用戶完成每個任務所用時間沒有影響。

(二)實驗參與者分析

實驗參與者全部隨機選擇，最終選擇了X大學60名在校學生參與實驗，這60名參與者被平均分成兩組，實驗組和控制組各30人，具體特征統計如表1所示。

表1 參與者特征統計表

(三)實驗設計

考慮到參與者性別和3D游戲熟練程度是本實驗的無關變量，隨機分配人員可能會放大無關變量對實驗結果的影響，本實驗沒有將人員隨機分配到兩個實驗組中。為了減少無關變量對實驗結果的影響并且突出因變量的作用，本實驗對參與者有以下兩點設計(數據如表1所示)。

(1)控制組男女比例為1:1，實驗組男女比例為1:2；

(2)控制組中3D游戲的老玩家人數占比高于實驗組。

實驗組與控制組所完成任務的內容是相同的，二者的區別在于實驗組有虛擬教師的輔助，控制組則沒有虛擬教師的輔助。所以，在本實驗中，自變量為有無虛擬教師的學習輔助，因變量為新手用戶體驗時間、每個任務完成所用時間以及體驗效果得分。

(四)實驗數據測量

本實驗一共需要測量三組數據，分別為新手用戶完成全部體驗所用的時間、完成任務的數量、體驗效果。其中，所用時間和完成數量采用人工計時，體驗效果則通過兩份問卷進行測量，分別為《新手用戶獨立體驗結果測試問卷》和《虛擬教師幫助情境下的新手用戶體驗結果測試問卷》。

《新手用戶獨立體驗結果測試問卷》共12道題目，分別從迷航情況、對虛擬環境的整體感受和完成規定操作情況三個維度對新手用戶進行檢測，試卷的內部一致性信度系數為0.724，屬于較為可信。被試者根據自己的體驗情況進行填寫，所有題項均采用李克特五點計分，體驗得分越高則說明體驗效果越好。

《虛擬教師幫助情境下的新手用戶體驗結果測試問卷》共12道題目，分別從完成規定操作情況和對虛擬教師功用的感受兩個維度對新手用戶進行檢測，試卷的內部一致性信度系數為0.663，屬于較為可信。所有題項均采用李克特五點計分，得分越高則說明體驗效果越是良好。

(五)實驗過程

在實驗前，被試者需要閱讀引導材料，獲知實驗規則和實驗目的。控制組和實驗組的被試都需要閱讀引導材料，這份材料可以讓被試了解即將體驗的三維虛擬環境的基本情況以及規定完成的操作。關于規定完成的操作，控制組和實驗組的9項操作內容完全相同并且都要求以最快的速度完成，而完成規定操作的學習情境則完全不同。其中，控制組要求被試進行完全自主化體驗，即沒有任何人的指導，被試需要自己探索，被試可以跳過自己無法完成的某項操作，整個體驗時間建議15分鐘，當體驗時間超過15分鐘，無論是否完成了規定的9項操作，被試可以繼續體驗也可以結束實驗，在15分鐘以內也可以提前結束實驗，完成9項操作則結束實驗。實驗組要求被試根據虛擬教師的提示信息完成9項操作，被試可以暫時跳過自己無法完成的某項操作而進行下一項操作，但被試需要完成全部的9項操作才能結束實驗。

五、實驗結果與分析

對應實驗的三個假設，本實驗針對性地獲得了控制組和實驗組用戶的體驗完成時間、完成任務數量以及體驗得分。獲得這三組數據后，為進一步驗證虛擬教師的助學作用，本實驗對有、無虛擬教師干預所產生的三組數據做了獨立樣本t檢驗，檢驗結果如表2所示。

表2 獨立樣本檢驗結果

從表2中可以看出：

對于“完成時間”而言，t(58)=4.177，p〈.001，說明兩個變量顯著相關，可以推翻原假設，證明虛擬教師的參與對新手用戶完成體驗的時間是有影響的；實驗組用時少于控制組。

對于“體驗得分”，t(58)=-4.570，p〈.001，說明兩個變量顯著相關，可以推翻原假設，證明虛擬教師的參與對新手用戶的體驗效果是有影響的；實驗組的體驗效果要優于控制組。

對于“單任務平均用時”，t(58)= 6.301，p〈.001，說明兩個變量顯著相關，可以推翻原假設，證明虛擬教師的參與對新手用戶完成每個任務所用時間是有影響的。實驗組的單任務用時要少于控制組。

以上實驗結果表明，虛擬教師在三維虛擬學習環境中確實能夠發揮作用，是有助學效果的。如果我們根據學習情境來創設虛擬教師，學習者的學習效率會有提升。

需要指出的是，本研究中的虛擬教師的智能性較弱，與學習者的交互方式依然局限于語言和動作上。為此，如何提高虛擬教師的智能性、使之可以通過創建物體等方式與學習者進行更為高級的交互還需深入研究。

[1]劉革平,謝濤.三維虛擬學習環境綜述[J].中國電化教育, 2015,(9):22-27.

[2]Vogel D, Guo M, Zhou P, et al. In Search of SecondLife Nirvana[J].Issues in Informing Science & Information Technology, 2008, (5):11-28.

[3]趙慧勤,孫波,李春悅.虛擬教師研究綜述[J]. 微型機與應用, 2010,(5):1-8.

[4]Johnson W L, Shaw E. Using agents to overcome deficiencies in web-based courseware[DB/OL]. https://www.researchgate.net/publication/2450366_Using_Agents_to_Overcome_Deficiencies_in_Web-Based_Courseware, 2015-12-20.

[5]Evers M, Nijholt A. Jacob-An animated instruction agent in virtual reality[M]. Berlin: Springer Berlin Heidelberg, 2000.526-533.

[6]Guinn C, Hubal R. Extracting emotional information from the text of spoken dialog[DB/OL]. https://www.researchgate.net/publication/228793579_Extracting_emotional_information_from_the_text_of_spoken_dialog, 2015-12-20.

[7]百度百科. Lucy陪你說英語[DB/OL]. http://baike.baidu.com/view/1904771.htm, 2015-12-20.

[8]高文. 情境學習與情境認知[J]. 教育發展研究, 2001, (8):30-35.

[9]張瑜. SecondLife環境下基于問題的學習活動研究[D]. 重慶:西南大學, 2012.

[10]李偉超, 牛改芳. 智能代理技術分析及應用[J]. 情報技術, 2003,(6): 29-33.

[11]趙慧勤,孫波.基于虛擬智能體技術的具有情感支持的三維虛擬教師的研究[J].中國電化教育,2010, (11):117-123.

[12]趙慧勤, 孫波. 虛擬教師情感合成模型的研究[J]. 中國電化教育,2012, (1):121-126.

Design and Realizing of Virtual Teachers for Operating Guide in 3D Virtual Learning Environment

Xia Zhipeng, Liu Geping
(School of Computer and Information Science, Southwest University, Chongqing 400715)

With the development of virtual reality technology and the optimization of network environment, three-dimensional virtual world which has the features of immersive is widely used in the field of education. But for learners, because of the lack of guidance and the Information Trek, three-dimensional virtual learning environment has a greater cognitive load than web-based learning environment. As one of the applications of artificial intelligence, virtual teacher has the features of lively, interactive, affinity and so on, which can provide effective teaching service and help learners to adapt to the three-dimensional virtual environment quickly and effectively. This study investigate and analyze the reason why learners have difficulties to adapt to the three-dimensional virtual environment, and proposes that virtual teacher which has so many advantages can help learners to adapt to the three-dimensional virtual environment quickly and effectively. At last, this study tests the validity of virtual teacher by experiment.

3D Virtual Learning Environment; Virtual Teacher; Operating Guide; Open-Sim

G434

：A

夏志鵬：在讀碩士，研究方向為網絡與遠程教育(278787036@qq.com)。

劉革平：教授，研究方向為三維虛擬學習環境、網絡學習支撐系統、智慧校園(liugp@swu.edu.cn)。

2016年3月9日

責任編輯：趙興龍

1006—9860(2016)05—0098—06

* 本文受中央高校基本科研業務費專項資金創新團隊項目“智慧學習環境研究”(項目編號：XDJK2014A002)資助。

①劉革平為本文的通訊作者。