基于WebXR和AI智能體的小學英語情境化學習系統設計

摘要：本文提出了結合AI智能體與WebXR技術標準，打造智能沉浸式小學英語情境化學習系統的方案。作者闡述了基于WebXR和AI智能體的小學英語情境化學習系統的架構設計，為讀者提供了一個清晰的整體框架，并聚焦于AI智能體在整個學習系統中運行的核心原理，展示其在學習過程中的關鍵作用。本文旨在為開發者提供一套全面而詳盡的產品設計藍圖，推動小學英語情境化學習的創新發展。

關鍵詞：人工智能；AI智能體；WebXR；英語學習

中圖分類號：G434 文獻標識碼：A 論文編號：1674-2117（2024）18-0086-04

引言

英語情境化學習對提升學習者的實際應用能力至關重要。然而，現實環境的限制使得學習者難以進行充分的真實環境對話練習。因此，就有必要引入AI角色參與對話練習，進行泛化學習。然而，在與AI角色進行對話時，存在一個關鍵問題：AI角色對話內容的生成。雖然AI具備豐富的通識知識，能夠靈活應對各種話題，但對于一些特定的學習場景，我們希望學習者能夠按照既定的句型與內容進行針對性的訓練，此時需要AI角色能夠根據對話的上下文，精準地按照預設句型與內容進行對話，而不要進行泛化生成。再有，AI在處理時效性較強的近期事件時存在一定的局限性，為了彌補這一不足，希望能夠協同網絡搜索功能，以便在必要時為AI提供相關的最新動態，確保其對話內容既準確又富有時效性。

針對上述問題與需求，本文致力于設計一個基于WebXR和AI智能體的小學英語情境化學習系統。

基于WebXR和AI智能體的小學英語情境化學習系統框架

1.系統功能結構

本系統主要功能涉及學習中心與后臺管理兩大部分。

（1）學習中心

學習中心是與學習者直接相關的功能，包含賬戶維護、場景構建、場景學習、會話導出、會話分享。賬戶維護指學習者注冊、登錄和個人信息維護等基礎功能；場景構建指學習者可以自己構建個性化學習場景，并與其他角色一起學習；場景學習指學習者可以進入自己或他人創建的場景，與其他同伴角色或AI角色進行沉浸式對話學習；會話導出指可以將基于場景的會話以視頻的形式進行導出，內容涉及場景視頻、對話音頻、字幕等，形態可以是一般MP4視頻、固定視角的VR視頻，也可以為基于本系統序列化數據的在線沉浸式視頻（在支持VR設備下可調整觀看視角）；會話分享指將生成的視頻提供給其他學習者觀看和學習。

（2）后臺管理

后臺管理是支撐系統運行的相關功能，包括用戶管理、模型管理、內容管理、AI策略管理。用戶管理指用戶注冊驗證與密碼找回等基礎功能；模型管理指對3D場景模型和3D角色模型的管理，這些模型主要由系統提供，用戶在創建具體場景時，可從系統中進行選擇（也可上傳自己的個性化3D模型）；內容管理指關于對話內容（文本和音頻）的維護，用戶在創建具體場景時，可以選用已有內容（也可自己編輯內容）；AI策略管理指在會話過程中如何讓AI發揮作用，如AI角色在生成對話內容時對本地知識庫的依賴度、協調會話過程中AI的協調策略等。

2.系統運行流程

系統運行的總體流程如圖1所示。首先，管理員需要創建場景模型庫、角色模型庫以及對話內容庫。隨后，學習者可以根據自己的需求創建新的學習場景，他們可以從庫中選擇或上傳場景模型與角色模型，并選擇或自定義對話內容，這些內容既可以是預設的，也可以是開放式的。在創建完場景后，學習者需要發布該場景并邀請其他學習者加入。一旦場景準備就緒，學習者便可以進入自己創建或他人發布并邀請自己的場景中進行學習，從而正式開啟基于具體場景的沉浸式對話學習體驗。在整個會話過程中，AI智能體會積極參與并協調對話，確保會話能夠順暢且持續地進行。

AI智能體運行核心原理與任務

本文中AI智能體運行的核心原理如圖2所示。AI智能體（Agent）協調大語言模型（LLM）進行環境感知與工具調用，這一復雜過程涵蓋了多個關鍵組件：大語言模型（LLM）、場景庫（Scenes）、思維鏈（Chains）、工具庫（Tools）、原始內容庫（Contents）、向量內容庫（Contents_Vector）、會話庫（Records）、向量會話庫（Records_Vector）。

1.組件間的協同與分工

LLM代表任一款大語言模型（如ChatGPT、文心一言、ChatGLM等），負責深度理解和生成自然語言文本；Agent是系統的智能會話控制中樞，在會話過程中負責調用LLM與用戶進行交互，必要時進行工具調用，并將結果返回給LLM參考和使用；Tools是提供給LLM的各種工具，主要負責本地向量化嵌入數據的存儲與檢索；Scenes指具體會話場景，LLM能夠從Scenes中感知會話信息并與Agent進行協調處理；Contents是對話內容原始文本資料（如關于購物的一段完整對話文本）；Contents_Vector是原始文本資料的片段拆分及其向量化嵌入表示，方便Agent進行語義檢索；Records是在具體場景中記錄的各角色的會話信息（由AI從會話音頻中解析出的文字）；Records_Vector是會話文本信息的向量化嵌入表示；Chains指Agent多次與LLM進行交互產生的任務鏈，包括系統運行過程中LLM與Agent自動生成的任務鏈，也包含系統預先設定的任務鏈。例如，根據當前的會話進程與內容，Agent可以有針對性地多次調用LLM來評估用戶的歷史會話和系統內容庫，從而提升生成內容的匹配度。

2.關于場景和角色的說明

場景是會話的虛擬空間，場景={主題，場景說明，場景模型，會話內容，是否固定會話內容，是否固定角色數，角色數量，最大真人角色數量，AI角色數量}。對于角色數量，如果會話內容固定，角色數量也即固定，會話時各個角色依次進行對話；若會話內容不固定，則需要規定AI角色數量，真人角色數量不限；在會話過程中，如果場景中真人角色不足，則缺失角色由AI角色自動補充。

3.AI角色會話內容生成策略

在涉及AI角色扮演的會話場景中，本文采用以下策略生成會話內容：AI智能體根據當前會話的上下文內容，運用檢索增強生成（RAG）技術，從系統已有會話內容庫中檢索相關信息。若檢索到的內容與當前會話情境匹配度達到預設的閾值，AI智能體將直接采用這些內容進行回應；否則，AI智能體將檢索到的內容及匹配度、當前會話上下文傳給大語言模型，由大語言模型基于上述信息進行深入理解，輔以網絡搜索工具，自動創作出符合語境的對話內容。

在整個對話內容生成過程中，AI智能體、大語言模型和網絡搜索工具三者緊密協作，充分利用系統自有會話內容、網絡上的豐富信息以及AI本身所掌握的廣泛知識進行內容生成。這種設計旨在實現精準內容與通識知識之間的互補，既避免內容過度泛化，又能確保會話可持續進行，從而讓AI角色與學習者之間的交流更加自然、順暢，仿佛兩位真實的學習者在進行互動。

4.AI智能體的多元化協同工作

在系統運行過程中，除會話內容生成外，AI智能體還需在其他各方面與大語言模型緊密協作，以確保系統穩定高效運行。

（1）AI角色自動生成

在涉及AI角色的會話中，AI智能體會依據場景需求，動態生成適量的AI角色，與學習者一起參與會話，豐富交互體驗。

（2）角色形象智能匹配

根據當前場景的主題、內容描述以及預設的會話內容，AI智能體會調用大語言模型進行語義匹配，并從系統3D角色模型庫中自動為各個角色分配模型。

（3）語音識別與生成

在場景會話中，AI智能體需要調用大語言模型和工具進行語音識別并對識別出的文本進行向量化嵌入與存儲。在有AI角色參與的會話中，還需要根據智能生成的對話文本，調用文本轉語音工具生成音頻（需要根據角色選用合適的音色）。

（4）會話活動的組織

AI智能體會結合當前場景、學習者的參與情況、歷史會話信息和角色基本信息，適當地組織會話的開場，介紹背景、穿插旁白，以營造活躍的氛圍。

（5）確保會話的持續性

在會話進行過程中，AI智能體會在突發事件時發揮組織與協調作用。例如，當某個學習者中途退出場景時，AI智能體會立即生成替代的AI角色，確保會話能夠不間斷地進行。

（6）場景的無縫切換

隨著會話的深入，可能需要轉換到不同的場景。AI智能體會根據當前場景和會話上下文，自動從系統中選擇并切換到新的場景，使會話更加自然流暢。

小學英語會話場景構建依據與策略

1.場景構建依據

在設計小學英語學科會話場景時，要遵循《義務教育英語課程標準（2022年版）》（以下簡稱“英語課標”）的指導原則及小學英語核心素養要求，確保場景的實用性和教育性。首先，依據標準中提出的“以學生為中心”的教學理念，踐行學思結合、用創為本的英語學習活動觀，以主題為引領選擇和組織課程內容，設計與學生日常生活緊密相關的會話場景，以激發學生的學習興趣和積極性。其次，注重場景的交際性和實踐性，通過模擬真實場景中的對話，培養學生的語言運用能力和跨文化交際能力。最后，遵循循序漸進的原則，按照課標規定的小學英語分級體系，從簡單的日常會話開始，逐步過渡到涉及更多復雜語法結構和詞匯的會話場景，以確保學生能夠在逐步提高的過程中建立自信，掌握扎實的英語基礎知識。同時，場景構建堅持開放性原則，用戶可以進行個性化場景構建。

2.場景構建策略

在圍繞小學英語課標構建學習場景時，既要考慮場景的內容承載性，又要兼顧場景之間內容的關聯性，以便于大語言模型能夠精準地捕捉場景的核心要素，并順暢地在不同場景間進行無縫切換。依據小學英語課標的具體內容與其內在的邏輯關聯，除了上文中明確界定的場景內容等屬性外，還應為每個場景設定相應的元數據集合，這些元數據是小學英語課標中涉及的各個元知識點。例如，在購物場景中，元數據集合可以包括顏色、種類、大小、尺碼、價格、喜歡與否、打招呼方式以及告別語等；而在自我介紹場景中，元數據集合則應涵蓋高矮、胖瘦、具體身高、具體體重、性別、飲食喜好、體育愛好、五官特征描述、喜歡的顏色、頭發長短等。通過場景和元數據集形成的場景知識關聯矩陣，將極大地提升大模型在會話中的智能調度能力，讓AI驅動下的會話活動更加自然。

風險與應對策略

本系統的潛在風險主要是AI內容生成。盡管本文設計的AI角色對話內容生成策略在平衡精準內容與通識知識方面進行了兼顧，但也必須正視其中存在的一些不容忽視的風險與挑戰。

首先，在調用具體大語言模型時，生成內容的可控性是一大挑戰。這可能導致在某些敏感或關鍵對話中，AI智能體的回應可能引發不必要的爭議或誤解。因此，需要根據實際情況持續調整和優化智能策略，以確保對話的相關性和適宜性。

其次，隨著大語言模型的持續進化，其思維和價值觀也會隨之變遷，這無疑會對生成內容的方向產生持續而深遠的影響。為應對這一挑戰，需要時刻關注對話內容，并在必要時調整智能體策略以適應大模型的更新。更進一步，可以考慮引入一個輔助智能體，采用不同的大語言模型，獨立承擔內容相關性與適宜性的審查工作和糾偏工作，與本文所述的智能體協同作業，共同提升對話的準確性和適宜性。

最后，需要警惕用戶故意誤導行為可能對系統造成的負面影響。這種誤導可能使大模型產生認知偏差和幻覺，甚至被用戶同化，偏離小學英語情境化學習系統的設計初衷。為此，可考慮在智能體中引入誤導監督機制，并在必要時進行干預與叫停，以確保系統良性運行，為用戶提供高質量的學習體驗。

結語

本文基于WebXR和AI智能體，設計了一款智能沉浸式小學英語情境化學習系統，所述方案均具備技術可行性，能夠為系統實際開發提供具體可行的指導與遵循。伴隨AI技術的飛速發展，本系統也將在多方面進行持續優化，如在技術更加成熟時，可以根據場景主題和對話內容，自動生成3D場景和3D角色，從而為學習者帶來更加豐富的沉浸式學習體驗。

參考文獻：

中華人民共和國教育部.義務教育英語課程標準（2022年版）[S].北京：北京師范大學出版社，2022.

本文系吉林省教育廳“十三五”社會科學項目資助課題“VR/AR技術賦能教育出版應用模式研究及支撐平臺構建”（課題編號：JJKH20200201SK）研究成果。