基于人工智能和元宇宙的人機交互學習智能代理

葛 睿，陳秀真

(1.上海信息技術學校 信息技術系，上海 200331；2.上海交通大學 信息安全工程學院，上海 200126)

0 引言

隨著人工智能的發展，自然語言處理(natural language processing，NLP)技術已經應用于諸如語音識別、機器翻譯和輿情監測等許多領域，如最近大熱的聊天機器人chatgpt其中NLP的身影便無處不在[1]。人工智能標記語言(artificial intelligence markup language，AIML)是一種基于XML(可擴展標示語言，Extensive Markup Language)格式的語言，可用于開發具有NLP能力的軟件代理，主要用于基于人工語言互聯網計算實體的聊天室應用程序的創建和定制[2]。類似地，模糊標記語言(fuzzy markup language，FML)同樣是一個基于XML的標記語言，主要可用于描述模糊系統的結構和行為且模糊系統獨立于專用于托管和運行它的硬件架構[3]。計算智能(computational intelligence，CI)是人工智能的核心技術之一，它由模糊邏輯(fuzzy logic，FL)、神經網絡(neural network，NN)和進化計算(evolutionary computation，EC)三大部分組成。AI-FML是一個可以為中小學生提供學習人類知識和邏輯運算規則的設計模型[4]。元學習(Meta-learning)是指讓AI學會如何學習，從而提高其效率的技術，同時也是將物理和數字相融合的可視化世界[5]。一般來說，元宇宙技術包括虛擬現實(virtual reality，VR)以及增強現實(augmented reality，AR)。文獻[6]將元宇宙分類為硬件、軟件、內容、用戶交互、實現和應用幾大部分。此外，他們還提到了教育會是元宇宙的重要應用領域，如視聽教學(audiovisual-based education)和問題導向式教學(problem-based learning)。對于學生們來說，因為書面上的內容和實際體驗的感受是完全不同的，因此體驗式學習(Experiential learning)非常重要。受此啟發，本文提出了一種基于AI-FML元宇宙的架構，包括元數據收集、元信息處理、元知識抽取、模糊本體構建和元智能學習，可供中小學生實際體驗計算智能的應用。《心經》是佛教傳統中使用最為頻繁的經文[8]，本文將AI-FML與《心經》的教義相結合，使提出的智能代理更加具有可解釋性。此外，也將AI-FML元宇宙引入到上海4所中小校的實驗課中。參與的學生使用AI-FML平臺來構建基于CI應用程序的知識庫(knowledge base，KB)和規則庫(rule base，RB)；然后可以應用基于FML的粒子群優化(particle swarm optimization，PSO)工具[9]，將FML和PSO進行結合，使用訓練數據集訓練KB和RB；接下來，在導入學習模型并輸入值后，學生可以進行模塊化編程，以控制位于不同空間中的AI-FML機器人或其他學習工具的語音，表情和動作。通過這種方式，他們可以與AI-FML共同學習，以模擬這些工具的感知和認知特征。

1 本文的人機交互學習智能代理

1.1 AI-FML元宇宙

本文的整體框架，包括提出的智能代理、軟硬件(AI-FML hardware and software)、元宇宙學習域以及基于AI-FML的學習CI模型。在學習過程中，學生通過概念式學習(concept-based learning)、體驗式學習(experience-based learning)、操作式學習(operation-based learning)、實踐式學習(practice-based learning)、應用式學習(application-based learning)和表達式學習(expression-based learning)來熟悉AI-FML。學生在元宇宙學習域中在機器的引導下學習，并學習如何與機器進行互動。該智能代理進行元數據的收集來評估學習者的學習成績，以表達他們對學習內容的感知。

1.2 CI基礎知識學習

IEEE(電氣與電子工程師協會，institute of electrical and electronic engineers)計算智能學會(computational intelligence society，CIS)中學生外展小組(high school outreach，HSO)的愿景是將CI引入課堂，以激發學生們的興趣。FL系統有五個重要組成部分，包括模糊規則(fuzzy rule)、模糊變量(fuzzy variable)、模糊集合(fuzzy set)、隸屬度(membership degree)和隸屬函數(membership function)。

2 基于《心經》的模糊本體論在AI-FML元宇宙中的語義理解

《心經》是佛教中最常被背誦的經文之一，其中充滿了人類智慧的結晶。基于CI學習空間域、人類學習時間域以及基本模糊本體論的AI-FML元宇宙結構，可用于中小學生的學習。可以看到，學生們可在各自的AI-FML時域和空域上觀察元智能，通過不斷深入學習不同年齡段的HI(human intelligence)，并逐步擴展AI-FML的學習內容，實現從小學到大學的學習目標。這樣一來，學生們便可看見并親身體驗所學的知識，理解奮斗過程中所付出的汗水。隨著時間的推移，學習到的元智能越來越接近IEEE CIS HSO的實際情況，同時不同年齡段的人學習時所掌握的知識量以及與實際情況的接近程度也不同。

表1 模糊變量表

圖1為基于CI和人類對《心經》語義理解的AI-FML元宇宙學習平臺。AI-FML元宇宙學習平臺包括人類智能和人工智能。此外，該平臺還包含元數據、元信息、元知識、元智能和模糊本體等供學習。表2為人類基于《心經》的語義理解，用于AI-FML元宇宙的體驗和學習。

圖1 基于CI和人類對心經語義理解的AI-FML元宇宙學習平臺

表2 基于CKIP 標注工具的模糊變量表

人類對心經的語義理解用于AI-FML元宇宙的學習和體驗如下。

1)AI-FML初學者在其AI-FML元宇宙的時空域中觀察元智能。

①他深入學習FS、NN、EC和FML，以提高到達學習目的地(如小學(elementary school，ES)、初中(junior high school，JHS)、高中(senior high school，SHS)或大學(university，U)時HI的表現。

②然后，他才能理解和體驗形相、感覺、認知、形成和意識，并超越一切苦難和困難。

2)在AI-FML元宇宙中，智者明白形式并不與空性有所不同，而空性也不與形式有所不同。

①形即為空，空即為形。

②感覺、認知、形成和意識在AI-FML元宇宙中的情況也類似。

3)在AI-FML元宇宙中，智者明白所有法相都是空無特性的。

①它們不產生，不毀滅，不玷污，不純潔；它們既不增加也不減少。

②它們沒有形式、感覺、認知、形成或意識。

③無眼睛、耳朵、鼻子、舌頭、身體或思想。

④無色、聲、香、味、觸、法。

4)在AI-FML元宇宙中，無眼界，直至無意識的境界。

①無無明亦無無明盡。

②直至無老死亦無老死盡。

③無苦、無聚、無滅、無道、無智、無得。

④學者通過跟隨人類到達目的地的智能來獲得元智能。

5)在AI-FML元宇宙中，學者的思想是暢通無阻的。

①因為沒有障礙，他不會感到恐懼。

②同時他也將遠離扭曲的夢幻思維。

③最終，他從學校畢業，并獲得進化元智能。

④根據到達目的地的人類智能，他獲得了最高層次的普適元智能。

6)因此，AI-FML元宇宙的學者理解了HI。

①它是一個偉大的精神，一個光輝璀璨、超然至高、無與倫比的元宇宙。

②它能消除一切苦難。

③它是真實而非虛假。

④因此，他講述并傳授關于AI-FML學習之路的HI。

⑤他是這樣朗誦的：

(a)請前往AI-FML元宇宙之門。

(b)你將獲得AI-FML學習和體驗的美妙HI。

fAIFML_HS(x：a，b，c，d)=ES[a，b，c，d]=

JHS[a，b，c，d]=SHS[a，b，c，d]=U[a，b，c，d]=

(1)

公式(2)和(3)分別表示隸屬函數fAIFML_HS(Learning Content：a，b，c，d)和fAIFML_HS(Learning Episode：a，b，c，d)。

fAIFML_HS(Learning Content：a，b，c，d)=

{ES[FS，NN，EC，FML]，JHS[FS，NN，EC，FML]，

SHS[FS，NN，EC，FML]，U[FS，NN，EC，FML]}=

(2)

fAIFML_HS(Learning Episode：a，b，c，d)={ES[6，7，11，12].

JHS[11，12，14，15]，SHS[14，15，17，18]，

(3)

3 用于學生體驗和學習的AI-FML元宇宙智能代理

3.1 AI-FML元宇宙體驗課堂平臺

在地區1到N的城市1、…、L分別設有體驗室和體驗中心。此外，基于人類智能的元知識和領域本體位于學習域1～N中，人工智能和機器智能也存在于學習域1～N中。AI-FML機器人的智能代理，包括視覺智能、聽覺智能、語言表達智能、觸覺智能和大腦智能，因此可以是觀察者、行動者或執行者。觀察者將視覺數據傳輸到AI-FML 元宇宙平臺，行動者執行模塊化程序的表達動作，執行者接收AI-FML的結果并執行相關動作。不同地區不同城市的AI-FML學習域的年輕學生，可以通過元宇宙體驗式學習，與AI-FML工具的機器智能共享或共同學習他們的人類智能。

學習域中的學生將其人類智能發送到元宇宙中的AI-FML學習平臺或實驗室。此后，AI-FML學習平臺或實驗室將機器智能發送到學習域中的AI-FML工具。

3.2 AI-FML元知識提取與構建

圖2展示了基于模糊本體論的智能代理的實現，可用于中學生在AI-FML元宇宙中的學習和元知識構建。整個過程分為數據收集和數據評估兩個階段。首先，領域專家根據CI相關內容構建CI相關本體論。在數據收集階段，學生將CI元素與現實應用相結合，并學習如何與嵌入到基于CI的學習體驗體(learning experience agent)中的AI-FML工具交互。與此同時，學習數據進行了存儲。在數據評估階段，智能學習標簽體(intelligent learning label agent)提取收集到學習數據的關鍵概念，并存儲帶標簽的內容。最后，智能學習評估體(intelligent learning evaluation agent)以熱力圖的形式反映學生的學習成績。

圖2 用于元知識構建的智能代理結構(增加人機交互畫面)

3.3 智能學習標簽和評估代理

智能學習標簽代理負責從收集到的學習數據中提取關鍵概念，圖3顯示了收集到的學習數據示例，在小學A的AI俱樂部中，四名學生在觀看計算機圍棋程序教學視頻(視頻1)和AI-FML人機協作教學視頻(視頻2)后的書面陳述。圖4為本文的軟件架構界面，包括領域本體構建和標注。

圖4 軟件架構展示圖

提出的智能代理算法輸入：學生學習元數據如下。

輸出：學生的學習狀況熱力圖

過程：

1)使用Protégé軟件構建領域本體。

2)使用CKIP 標注器創建字典文件。

①讀取領域本體的.owl文件。

②提取主題RDF(資源描述框架，resource description framework)語句的主語，謂語和賓語。

③儲存主謂賓語。

④根據提取的主語為CKIP標注器創建字典文件。

3)從學生的學習元數據中提取關鍵概念。

①給定學生學習元數據的目標URL(統一資源定位器，uniform resource locator)。

②將提取的標題設置為元數據。

③設置要提取的HTML標簽。

④執行提取。

⑤存儲提取的關鍵概念。

4)提取的關鍵概念在CKIP中進行操作(使用CKIP提取關鍵概念)。

①給定學生學習元數據的目標URL(統一資源定位器，uniform resource locator)。

②提取CKIP 標注器中的結果并存儲。

5)學習熱力圖中的成績。

①利用CKIP提取的學生元數據中的關鍵信息，計算本體概念之間的相似度。

②給予這種學習元數據適當的權重，以計算學生的學習成績。

6)輸出學習元數據中的學習成績。

下面為基于CKIP標記器的小學A中視頻1和視頻2提取的詞集。我們提取本體的概念，以計算 (Concepti，Conceptj)的相似性，其中 Concepti和 Conceptj分別表示來自構建的本體和學生學習元數據提取的詞集中的概念。

小學A視頻1和視頻2中的詞集：

視頻(Na)的(DE)三(Neu)個(Nf)重點(Na)視頻(Na)三(Neu)大部分視頻(Na)三(Neu)以人為中心的 AI(VA)以人為中心的 AI(FW)以人為中心的 AI(FW)人類(Na)協作(VA)模式(Na)以(P)人(Na)為(VG)中心(Nc)的(DE)AI(FW)人類智慧(VH)人類智慧(Na)人工智能(Na)人類(Na)協作(VA)模式(Na)教育學習應用(Na)人類(Na)協作(VA)模式(Na)人類(Na)協作(VA)模式(Na)教育學習應用(Na)智慧(Na)學習(VC)和(Caa)執行(VC)智能(Na)學習(VC)和(Caa)執行(VC)不(D)確定(VK)的(DE)外部(Ncd)環境(Na)視頻(Na)1(Neu)內容(Na)視頻(Na)內容(Na)智能(Na)學習(VC)和(Caa)執行(VC)學習(VC)和(Caa)執行(VC)可以(D)模仿(VC)人類(Na)學習(VC)AI(FW)是(SHI)可以(D)以(P)簡單(VH)的(DE)方式(Na)來(D)學習(VC)人工智能(VH)以(P)聰明(VH)的(DE)方式(Na)執行(VC)任務(Na)。

4 實驗結果與分析

4.1 基于強化學習本體模型的智能代理

2022年秋季學期，我們向上海的4所國際學校(包括上海市民辦中芯學校，上海協和國際學校，上海惠靈頓國際學校和上海長寧國際學校，以下簡稱小學A，小學B，中學C與中學D)引入了AI-FML元宇宙學習。小學A的五年級學生每周在AI俱樂部學習120分鐘，小學B的六年級學生每周在計算機課上學習兩節AI-FML課程，每次80分鐘，中學C和中學D的學生每周分別學習兩個小時和一個小時。在每個學習階段中進行了基于概念、經驗、操作、實踐、應用和表達等不同組合的學習，使學生們熟悉AI-FML元宇宙。值得一提的是，在小學生學習時，進行的操作式學習比初中學生要少得多；與之相對，表達式學習對所有不同年齡組的學生都很重要。

4.2 通過模糊本體論實現學生《心經》的學習

本節中設計了基于《心經》模糊本體概念的學習模型，將人類智能和機器智能應用于基于AI-FML的學習CI模型，讓初學者通過與機器和AI-FML機器人互動來理解CI的基本概念。這種寓教于樂的方式對學生們來說很容易接受，通過AI-FML工具或機器人的視覺智能，他們可以在不同的空間中體驗機器智能。圖5(a)顯示了小學A中的學生登錄Google虛擬課堂和AI-FML元宇宙的計劃時間和實際花費時間的曲線圖，可以看到，計劃時間與實際時間逐步匹配。此外，我們還進行了概念式學習、實踐式學習和表達式學習的比較：由圖5(b)可以看到，小學A的學生在學習AI-FML概念時，實際花費的時間比計劃的時間更長，也許對于小學生來說學習AI-FML的概念很難，因為在實際中我們也的確發現了他們使用平板電腦花了很多時間在AI-FML元宇宙中對他們理解的概念進行標注。由圖5(c)可以看到，小學生在每一個階段中都花了很多時間一起玩耍并學習，以在AI-FML元宇宙中體驗、實踐、操作和應用現實世界的CI應用。由圖5(d)可以看出，表達式學習實際花費的時間比計劃的時間多，但最終在課程結束時趨于一致。

圖5 學生在各方面計劃和實際花費的時間

4.3 CI學習熱力圖

我們應用學習熱力計來評估在2022年秋季學期，小學A和小學B的學生學習AI-FML和英語時，根據學生的聽覺智力、口頭表達能力、視覺智力和書面表述表現來評估其學習情況。

表3給出了他們與機器人共同學習AI-FML的一些基本信息。學習熱力圖的關鍵評估要點，以學習機器語言AI-FML為例，關鍵要點包括1)看講座視頻，然后把他聽到和看到的關鍵概念標注出來；2)說出他所學到的知識；3)練習構建其AI-FML應用的KB和RB以及4)測試題作答。

表3 共同學習AI-FML的信息

圖6為不同階段學生學習成績的曲線及其趨線，可以看到：1)小學B學生的趨線斜率比小學A學生的更高，表明小學B的參與模式使學生進步更快；2)小學B學生在第三和第四階段的學習成績最低，因為概念式、實踐式和操作式學習對這些學生來說很難標注其關鍵概念；3)第四課時之后，小學B學生的學習成績逐漸增加，并在最后兩課時中達到最高，這表示小學B學生持續保持進步，這種學習方式有助于小學生學習CI；4)與小學B相比，小學A學生的學習成績趨線更平緩。但是，小學A的平均學習成績為76，高于小學B的平均學習成績。

圖6 兩個小學學生學習成績的變化及其趨勢

4.4 英語學習熱力圖

本節中，提出的智能代理對中學C參與的32名初二學生在AI-FML 元宇宙中進行人機共學英語的學習成績進行了評估。表4顯示了其基本信息。參與的學生來自兩個初二班級，第一課時和第二課時中每節課的總時長分別為90分鐘和45分鐘。此外，采用異質分組法將每個班級的學生分成四組，因此每個班級第1組的英語水平最高。每個班級第1組和第2組的學生人數分別為(4，4，4，3)和(4，4，5，4)，因為班級1的第1組中有兩名學生缺席了第一節課的學習課程。

表4 共同學習英語的信息

基于CI的學習經驗代理具備視覺智能、聽覺智能、書面表達和口頭表達能力，他們與年輕學生交互以收集其學習數據。智能學習標簽代理和智能學習評估代理根據學生在英語聽、說、讀、寫能力的表現評估其學習成績，其中聽占30%，說占30%，讀占10%，寫占30%。

圖7和圖8分別展示了班級1和班級2的學習熱力圖，其中左上角、右上角、左下角和右下角的四個六邊形分別表示第1、2、3、4組，中心的六邊形表示整個班級的平均值，熱力圖旁邊的數字表示根據參與學生的元數據測量的整體學習成績。0到100表示學生們學習熱力圖的范圍，其中50為中點。1班的平均學習成績從49上升到60，2班的平均學習成績從64上升到70。觀察到兩個班級中皆是第1組的學習熱力圖表現最好。

圖8 班級2的學習熱力圖

5 總結與展望

本文提出一種基于人工智能和元宇宙的人機交互學習智能代理，將《心經》中模糊本體論的概念應用于小學生和中學生學習英語以及AI-FML元宇宙中的FML。通過將《心經》的原則與基于模糊本體論的智能代理相結合，提出了一種面向年輕學生在AI-FML元宇宙中學習的智能代理，以賦予其計算、感知和認知智能。在引入AI-FML人機交互學習到上海的4所中小學后，觀察到智能代理可以有效地工作，并且學生的學習熱情在結束時呈上升趨勢。未來，我們希望將這種學習CI模型推廣到國內甚至世界上的其他學校，讓他們在玩耍、享受的同時也能學習到CI的實際應用。