如何開展“虛實融合+多模態感知交互”的智能實驗？*

摘要：現代信息技術的進步推動了虛擬仿真實驗的發展，然而當前的虛擬仿真實驗普遍缺乏實際操作感，且交互方式相對單一，不僅影響了學生的實驗體驗，而且不利于培養學生的動手能力。為此，文章首先參考虛實融合、多模態感知交互的相關研究成果，構建了“虛實融合+多模態感知交互”的智能實驗模型，并設計了智能實驗系統和流程以從技術上實現此模型。之后，為驗證此模型的有效性，文章以鈉與水的反應為實驗內容，開展了“虛實融合+多模態感知交互”的中學化學智能實驗。在此實驗中，文章開發了中學化學智能實驗原型系統，并通過對比實驗比較了實驗效果，結果發現：在相同的實驗操作時間段內，無論是實驗任務完成質量還是完成效率，使用原型系統的智能實驗都優于使用NOBOOK在線仿真實驗教學平臺的仿真實驗，參加智能實驗的學生腦力負荷更小且更好地掌握了知識與操作技能。文章的研究可為虛實融合和多模態感知交互在智能實驗教學中的融合應用提供理論指導，并可為人工智能賦能實驗教學創新研究提供實踐參考。

關鍵詞：虛實融合；多模態感知；自然交互；智能實驗；中學化學

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2024）11—0111—10 【DOI】10.3969/j.issn.1009-8097.2024.11.011

引言

《關于加強和改進中小學實驗教學的意見》《中國教育現代化2035》等文件均明確提出要促進現代信息技術與教育教學深度融合^[1][2]，為中小學實驗教學的智能化提供了政策指導。在傳統化學實驗教學中，普遍存在學生對實驗操作基礎知識的掌握不牢、實驗過程易出錯可能出現意外事故、實驗試劑浪費嚴重、實驗教學創新性不足等問題^[3]。現有虛擬教學系統的應用，雖在一定程度上緩解了上述痛點問題，但在實際教學過程中又引發了新的問題，如記憶大量的操作命令增加了學生的認知負荷、完全虛擬化的實驗環境弱化了學生對實驗的真實感受與經驗積累、無法精確地傳達學生的真實操作意圖導致實驗結果出現偏差等。

探索虛實融合的實驗教學環境，開展自主探究的智能實驗教學，對學生實驗學習和知識理解具有重要作用^[4]。而智能實驗的開展，需要虛實融合的實驗場景和主動理解學生實驗操作意圖的多模態感知交互——虛實融合和多模態感知交互的結合，能解決現有虛擬仿真實驗中普遍存在的過分依賴虛擬動畫、交互方式相對單一的問題，并有效降低學生的認知負荷和操作負荷。基于此，本研究嘗試構建“虛實融合+多模態感知交互”的智能實驗模型，并設計智能實驗系統和流程以從技術上實現此模型，同時開展中學化學智能實驗來驗證此模型的有效性，以期為智能實驗的開展提供理論參考和實踐指導，并進一步推動實驗教學與現代信息技術的深度融合。

一 相關研究

1 虛實融合相關研究

虛實融合是實現虛擬世界與物理世界雙向交互、映射聯動的一種方式。從技術發展的角度來看，目前虛實融合主要有數字孿生、信息物理系統、元宇宙、實況-虛擬-構造仿真四種典型的技術路徑^[5]。從發展領域和應用場景來看，虛實融合在健康教育、智慧學習、實驗教學等領域得到了關注和應用。例如，健康教育方面，孫夢婷等^[6]將“虛實融合+質量控制”的元宇宙智能診療系統應用于慢性疾病健康管理；智慧學習方面，趙瑞斌等^[7]基于虛實融合構建了具身型混合現實學習環境并設計了相關的學習活動，楊彥軍等^[8]設計了面向沉浸式虛實融合環境的具身學習活動框架，以促進學習者的認知發展和素養提升；而實驗教學方面，唐朝暉等^[9]基于虛實融合的開放式實驗教學，構建了智能實驗室開放管理系統；朱永寧等^[10]結合探究式教學需求，提出了虛實融合的探究式實驗系統，使學習者獲得豐富的學習體驗。

隨著虛擬仿真實驗研究的逐漸深入，一些研究者開始注意到了虛擬仿真實驗交互過程中存在的問題。例如，尹雋等^[11]研究了虛擬仿真教學系統學習效果的影響因素，發現該系統在為學生帶來多維感知的同時，也增加了其認知負荷；胡藝齡等^[12]提出虛擬實驗環境能夠促進學生行為技能的遷移，但也帶來了更高的認知負荷和生理不適。目前，虛擬仿真環境普遍存在過分依賴虛擬動畫的問題，導致學生的腦力負荷較高，這在一定程度上影響了其虛擬仿真實驗的體驗。縱觀虛實融合的技術發展和場景應用，可知相關研究者已在推動虛實融合、促進現代信息技術與教育教學的融合發展方面進行了積極探索，特別是在其實驗教學應用方面做了很多嘗試。因此，將虛實融合應用于智能實驗不僅具有可行性，而且為實驗教學改革創新提供了新思路。

2 多模態感知交互相關研究

多模態感知交互是指使用手勢、語音、圖像、文本等，以觸覺、視覺、聽覺等為媒介，實現計算機與人之間的信息交換^[13]。例如，在醫療領域，王黨校等^[14]提出了面向人類智能增強的多模態人機交互機制，通過能進行可控認知負荷、及時生理反饋和雙向體腦交互的人機交互系統，幫助患者恢復認知和運動能力。在心理健康領域，張凱樂等^[15]開發了一種面向情緒調節的多模態人機交互技術，可以識別用戶情緒，并通過文本對話和體感交互實現對用戶情緒的調節。而在教育領域，易心武等^[16]設計了沉浸式虛擬現實多模態交互模型，可以實現用戶意圖識別；胡小強等^[17]探討了多模態交互在教學中的應用，可以提升課堂的交互性和學生的學習興趣；陸吉健等^[18]構建了基于MR實驗的“多模態+人機協同”教學方式，能夠更好地激發并培養學生的創新性思維與動手能力。以上研究表明，多模態感知交互實現了人的“多感覺”有機融合，增強了計算機感知用戶意圖和環境上下文的能力，能為用戶提供更精準的服務和響應。因此，針對當前虛擬實驗中存在的學生認知負荷重、學生操作意圖無法精確傳達等問題，可以采用多模態感知交互實現對學生意圖的主動理解及其實驗行為的監控、指導或警示，從而提升實驗體驗。

二 “虛實融合+多模態感知交互”的智能實驗設計

1 “虛實融合+多模態感知交互”的智能實驗模型構建

具身認知理論認為，人的認知受外界環境、心理情境和社會場境的共同約束，認知不僅產生于人的行為，還發生在具體的場景中^[12]。具身認知支持著學生與學習環境的動態交互，能夠增強學生在學習過程中的情境體驗^[19]。沉浸式實驗場景能夠支持虛實融合的實驗場境、自然交互的實驗互動、寓學于境的學習模式，而具身認知理論在多通道感知、動態交互、情境體驗等方面能很好地支持沉浸式教學過程的多模態感知交互。因此，基于多模態感知交互的智能實驗不僅能夠幫助學生構建多維度、立體化的具身交互體驗情境，還能通過視覺、聽覺、觸覺等通道主動感知學生的操作意圖，進而實現學生與實驗場境的自然交互。基于此，本研究構建了“虛實融合+多模態感知交互”（Virtual-Real Fusion + Multi-modal Perceptual Interaction）的智能實驗模型（下文簡稱“VRM”模型），如圖1所示。

VRM模型由多模態空間輸入層、數據表征與感知層、意圖融合理解層、實驗操作應用層、交互界面顯示層組成：①在多模態空間輸入層，通過學生的動作、語言等獲取學生在物理空間和虛擬空間中的場景信息。②在數據表征與感知層，利用多種傳感器和語音識別技術在信息空間實現對學生行為信息、場景信息的數據化表征，并通過智能感知設備（如智能眼鏡、智能燒杯、數字手套）實時感知學生的行為，準確獲得學生的操作意圖。沉浸式虛擬仿真的數據表征和多模態意圖理解，有利于改善學生的實驗態度，激發其主觀能動性。③在意圖融合理解層，將智能感知設備感知的學生行為按類別分為視覺感知、聽覺感知、觸覺感知、行為感知；同時，利用多模態融合感知算法^[20]，將得到的場景感知意圖與語音指令發出的主動實驗意圖進行多模態融合理解，進而感知學生的真實操作意圖。④在實驗操作應用層，建立真實場景與虛擬場景的映射關系，依托虛擬實驗場景中的距離導航引導，同步輸出智能實驗設備虛擬替身在虛擬實驗場景中的實驗行為和觸摸行為。⑤在交互界面顯示層，實現對實驗操作的場景響應，如通過實驗結果的語音提示、動畫播放，給出糾錯提醒或展示對應的實驗現象。

2"“虛實融合+多模態感知交互”的智能實驗系統設計

為從技術上實現VRM模型，本研究結合實驗任務需求，設計了基于VRM的智能實驗系統（Intelligent Experimental System Based on VRM，VRM-IES）。VRM-IES將虛擬實驗環境與真實物理設備相結合，通過多模態感知交互技術，實現學生與實驗設備、實驗場景自然且高效的交互。此外，學生還可以使用VRM-IES反復進行實驗訓練，并通過多次的反復“試錯”加深自己對實驗知識的理解與記憶。VRM-IES的構成主要如下：①智能交互界面，主要通過手勢、語音、姿態行為識別等，實現學生與系統之間自然、高效的信息交互；②多模態感知設備，用于物理實驗場景中對學生動作、語音等信息的采集，如深度攝像機、麥克風陣列；③智能實驗設備，是指根據具體實驗需要設計的、帶有傳感器的智能實驗器材，如智能感知燒杯；④虛擬場景顯示終端，通過三維場景建模創建實驗場景和實驗設備模型，利用虛擬現實技術實現虛擬元素與物理場景的無縫融合，進而通過帶有圖形處理器的計算機設備將實驗場景在顯示終端予以呈現；⑤數據處理與計算單元，是指應用機器學習、數據挖掘、多模態感知交互等技術，對實驗數據、上下文信息和學生實驗意圖等進行理解與分析，為智能實驗的信息感知、場景呈現、高效交互提供支持。

3"“虛實融合+多模態感知交互”的智能實驗流程設計

根據實驗教學的目標和要求^[21]，本研究依托VRM模型，設計了包含實驗準備、實驗原理學習、實驗探索與驗證、實驗結果評估與反饋四個環節的“虛實融合+多模態感知交互”智能實驗流程，如圖2所示。

①實驗準備：根據實驗任務確定實驗內容，明確實驗目標，準備實驗器材，進而搭建虛實融合的實驗場景。②實驗原理學習：根據確定的實驗內容學習實驗原理，掌握實驗內容中所涉的基本概念，梳理實驗操作的具體步驟，并分析實驗過程中可能會遇到的風險。③實驗探索與驗證：在完成前面兩個環節操作的基礎上，同步進行實驗方案設計和虛擬場景初始化，之后通過多模態感知與交互實現對學生實驗行為的監控、意圖理解和交互操作，進而根據意圖指令完成實驗結果呈現，設計實驗結果語音提示和動畫播放。其中，實驗方案設計主要是完成意圖知識庫和語音知識庫的構建——意圖知識庫是指根據實驗內容和實驗目標確定的關鍵操作行為集合，用于表示各種實驗操作及其相關的屬性、行為和上下文信息；而語音知識庫是關鍵操作行為的語音指令集合，包含一系列預定義的語音指令及其對應的操作或響應信息。虛擬場景初始化是指將虛擬實驗場景設置到實驗初始狀態，之后通過虛擬器材建模，構建實驗器材的三維模型，以便學生與實驗系統進行交互操作。④實驗結果評估與反饋：實驗操作結束后，教師組織學生通過自評、他評的方式對實驗結果進行評估，總結實驗經驗，剖析實驗過程中要重點注意的問題和存在的不足，并結合相關評價和建議優化實驗方案。

三 “虛實融合+多模態感知交互”的中學化學智能實驗設計

為驗證VRM模型的有效性，本研究按照前述智能實驗流程開展了“虛實融合+多模態感知交互”的中學化學智能實驗。該實驗選擇鈉與水的反應作為實驗內容，原因是適量的鈉與水相遇反應會釋放出氫氣，而過量的鈉和水發生反應會引起爆炸現象，其用于對比觀察的效果較好；另外，氫氣在真實化學實驗中難以被觀察，且爆炸現象在真實實驗場景中存在安全隱患。本實驗采用對比研究法，為期2周：第1周進行實驗準備；第2周先進行實驗原理學習、實驗前測，之后進行實驗探索與驗證、實驗后測，最后進行實驗結果評估與反饋。

1 實驗對象

本研究選取山東省J中學某班的43名高一學生進行鈉水反應實驗，其中男生22人、女生21人，平均年齡16.5歲。本研究按性別比將43名學生隨機分成人數大致相等的兩組，其中實驗組22人（含男生11人、女生11人），對照組21人（含男生11人、女生10人）；兩組學生均視力正常，且個體特征無顯著差異。

實驗分為前測和后測，所有試題均由該班化學教師按教學大綱編制，重在檢測學生實驗前、后的知識掌握程度。實驗前，兩組學生由同一化學教師講解鈉水反應化學實驗并進行前測。前測由8道選擇題組成，用于測試學生的先驗基礎知識水平。T檢驗結果顯示，實驗組成績的均值M=77.64、標準差SD=2.54，對照組成績的均值M=77.48、標準差SD=2.56，說明兩組學生的先驗基礎知識水平不存在顯著差異（t=0.21，p＞0.1）。

2 測量工具

NASA-TLX量表是一種常用的腦力負荷評價量表^[22]，由腦力需求、身體負擔、時間需求、任務績效、努力程度、挫敗感六個維度構成，主要用于測評人在執行任務時的腦力負荷。每個維度用1～10分進行取整評分，分值越小，表示該維度的量化評估值越低。本研究采用NASA-TLX量表，從上述六個維度測評兩組學生的腦力負荷情況，以驗證VRM模型的有效性。

3 實驗原型系統

如前文所述，VRM-IES是VRM模型的技術實現。為有針對性地開展鈉水反應實驗的實證分析，本研究基于VRM-IES開發了中學化學智能實驗原型系統（下文簡稱“原型系統”）。原型系統基于Unity 3D平臺構建虛擬場景和實驗器材模型；運行環境配置包括Core（TM）i7CPU、2.80GHz、16GB內存，顯卡為Nvidia Geforce GTX3090，操作系統為Windows10（64位），視覺和語音輸入設備為Kinect2.0。

（1）智能感知設備

根據實驗需要，本研究應用3D技術制作1：1仿真實物燒杯，之后在仿真實物燒杯內置實驗用的觸覺感知器、姿態感知器、紅外測距儀等傳感器制作成智能感知燒杯，如圖3所示。其中，觸覺感知器用于檢測手拿燒杯時的壓力、溫度等數據；姿態感知器可實時獲取燒杯的三維數據，基于Unity 3D平臺將燒杯的位置和姿態呈現在3D立體場景中；而紅外測距儀可感知實物燒杯與實驗操作臺上其他實驗設備的相對位置。

（2）多模態感知交互的用戶意圖理解

根據多模態行為與用戶意圖之間的映射關系，智能感知燒杯感知到的多模態行為數據將以串口通信方式傳輸到計算終端，而原型系統可以對智能感知燒杯的三維模型進行實時跟蹤定位。在得到傳感器信息和語音識別結果后，原型系統將多模態行為數據導入意圖融合理解層，并采用基于特征合并的決策融合方法判斷學生的操作意圖^[13]。之后，原型系統采用向量乘法規則進行模態融合^[23]：①輸入交互數據，在意圖融合理解層獲得主動實驗意圖和場景感知意圖。②將主動實驗意圖和場景感知意圖與用戶意圖知識庫（如表1所示）中的獨立意圖（如意圖1、意圖2）進行比對，并將其映射到用戶意圖知識庫的相應位置。③采用0、1編碼方式編碼，即意圖知識庫和意圖集中都有的元素位置編碼為1，意圖庫中有但意圖集中沒有的元素位置編碼為0；同時，按向量形式表示，將傳感意圖向量記為X₁，語音意圖向量記為X₂。最后，將兩個向量相乘，按照公式（1）計算得到新的向量Y，即為融合后的意圖向量。

公式（1）

若Y=0，則模態融合失敗，說明感知意圖與語音識別到的主動意圖不匹配，無法進行下一步操作，原型系統將使用語音對用戶進行錯誤提示，請用戶重新輸入語音指令；若Y不是零向量，則模態融合成功，原型系統將提醒用戶進行下一步操作，并將結果傳入實驗操作應用層。例如，當主動意圖為“滴入酚酞試劑”時，即X₂=[0 "0 "1 "0]，若此時觸覺感知器獲取到的意圖為“滴入酚酞試劑”，即X₁=[0 "0 "1 "0]，則Y=[0 "0 "1 "0]，此時Y不是零向量，模態融合成功；若此時觸覺感知器獲取到的意圖不是“滴入酚酞試劑”，此時Y=0，模態融合失敗。

4 實驗操作任務

實驗操作任務包括：①用手拿起兩只智能感知燒杯，分別倒入約一半的蒸餾水；②選擇膠頭滴管滴入1～2滴酚酞試劑；③對鈉塊實物進行切割，切成一大一小2塊鈉；④取出鑷子抓取大的鈉塊，放入其中一只燒杯的蒸餾水中，觀察鈉與水反應發生爆炸的現象；⑤取出鑷子抓取小塊鈉放入另一只裝有同等容量蒸餾水的燒杯中，觀察鈉與水反應釋放氣體的現象；⑥用試管收集產生的氣體并進行氣體檢測，拿出打火機，點燃試管中的氣體，觀察出現的淡藍色火焰。

NOBOOK在線仿真實驗教學平臺是利用仿真和多媒體技術模擬真實實驗情境的虛擬實驗平臺^[24]。為進行實驗效果對比，本研究中的實驗組使用原型系統，按照“虛實融合+多模態感知交互”的智能實驗流程完成上述鈉水反應實驗的操作任務，如圖4、圖5所示；而對照組使用NOBOOK在線仿真實驗教學平臺^[24]，完成上述鈉水反應實驗的操作任務，如圖6所示。每個學生的實驗操作時間均為30分鐘，實驗次數不限。

四 “虛實融合+多模態感知交互”的中學化學智能實驗分析與結論

1 實驗分析

為驗證學生在腦力負荷上是否會因為實驗環境的不同而存在差異，本研究對兩組學生參加實驗后的腦力需求、身體負擔、時間需求、任務績效、努力程度、挫敗感進行了NASA-TLX量表評價和獨立樣本T檢驗，結果如表2所示。表2顯示，在腦力需求方面，實驗組的得分均值（M=4.14）低于對照組（M=5.29），存在顯著差異（t=-3.87，p＜0.01），說明相較于使用NOBOOK在線仿真實驗教學平臺的仿真實驗，使用原型系統的智能實驗對學生認知和智力能力的要求更低，學生的認知負荷更小。在身體負擔方面，實驗組的得分均值（M=6.86）高于對照組（M=6.43），不存在顯著差異（t=1.27，p＞0.1），說明仿真實驗與智能實驗在操作負荷方面沒有明顯差異。在時間需求方面，實驗組的得分均值（M=5.59）低于對照組（M=7.52），存在顯著差異（t=-6.71，p＜0.01），說明智能實驗的時間緊迫程度低于仿真實驗，且學生實驗效率更高。在任務績效方面，實驗組的得分均值（M=7.32）高于對照組（M=6.43），存在顯著差異（t=3.41，p＜0.01），說明智能實驗比仿真實驗的實驗成功率更高，且更能激發學生的學習動力。在努力程度方面，實驗組的得分均值（M=6.12）低于對照組（M=7.76），存在顯著差異（t=-9.16，p＜0.001），說明相較于仿真實驗，參與智能實驗的學生交互更自然、實驗更輕松。而在挫敗感方面，實驗組的得分均值（M=6.09）低于對照組（M=7.81），存在顯著差異（t=-10.85，p＜0.001），說明相較于仿真實驗，參與智能實驗的學生遭受的情感壓力和挫敗感更小、更有信心做好實驗。

為驗證VRM模型的有效性，本研究對兩組學生進行了實驗后測。后測由8道選擇題和1道簡答題構成，用于考察學生是否掌握了實驗任務相關的知識與操作技能。后測T檢驗結果顯示，實驗組成績的均值M=80.36、標準差SD=2.11，對照組成績的均值M=76.71、標準差SD=2.00，說明兩組學生參加實驗后的知識與操作技能掌握情況存在顯著差異（t=5.82，p＜0.001）。整體來說，實驗組學生的知識與操作技能掌握情況明顯優于對照組，且在30分鐘的實驗操作時間內，實驗組學生取得實驗成功的概率更大。

2"結論與討論

上述實驗分析結果表明，在相同的實驗操作時間段內，無論是實驗任務完成質量還是完成效率，智能實驗都優于仿真實驗，參加智能實驗的學生腦力負荷更小且更好地掌握了知識與操作技能，其原因主要在于：

①虛實融合的實驗環境增強了實驗帶入感和參與度，提升了學生的學習興趣和體驗感。本研究通過模擬真實設備的交互操作，將虛擬場景與真實實驗相融合并以生動、形象的方式呈現，既增強了學生對實驗原理、實驗內容的理解與記憶，也提升了學生的學習興趣。另外，虛擬仿真實驗環境普遍存在的過分依賴虛擬動畫導致學生腦力負荷較高的問題也在虛實融合的實驗環境中得到了一定緩解，學生參與智能實驗，既有真實的實驗操作感，也能通過語音提示、動畫播放有的放矢地進行虛擬實驗，從而有效提升了學生對于實驗的體驗感。

②多模態感知的交互方式帶來了智能、自然的交互體驗，降低了學生的腦力負荷。一方面，智能實驗通過融合視覺、聽覺、觸覺等感官信息，以語音、手勢等直觀的方式與原型系統進行多模態交互，給學生帶來了智能、自然的交互體驗。另一方面，原型系統通過智能實驗中的智能感知設備和場景信息，能更加全面地理解并響應學生的實驗操作意圖；同時，其通過距離導航引導，能即時指導學生實驗操作，使學生無需記憶便可操作，從而降低了學生的腦力負荷。

五 結語

本研究構建了“虛實融合+多模態感知交互”的智能實驗模型，并從技術實現的角度設計了“虛實融合+多模態感知交互”的智能實驗系統和流程。以此為依托，本研究開發了“虛實融合+多模態感知交互”中學化學智能實驗原型系統并將其應用于鈉水反應實驗，對比了智能實驗與仿真實驗的腦力負荷、知識與操作技能掌握情況，由此驗證了“虛實融合+多模態感知交互”的智能實驗模型的有效性。本研究推動了虛實融合和多模態感知交互在智能實驗教學中的融合應用，構建的“虛實融合+多模態感知交互”的智能實驗模型不僅可以應用于化學實驗教學，還可為物理、生物等學科的實驗教學提供理論指導。但是，本研究在開展智能實驗時僅設計了智能感知燒杯，這在一定程度上限制了實驗場景對于多模態感知信息的獲取和學生實驗意圖的精確理解。基于此，后續研究將研發針對化學智能實驗的智能實驗設備交互套件，以提升智能設備對學生實驗意圖理解的精確性；同時，將設計物理、生物等學科的智能實驗并進行應用評價分析，以促進智能實驗應用研究的深入開展和示范推廣。

參考文獻

[1]教育部.教育部關于加強和改進中小學實驗教學的意見[OL].

lt;http：//www.moe.gov.cn/srcsite/A06/s3321/201911/t20191128_409958.htmlgt;

[2]新華社.中共中央、國務院印發《中國教育現代化2035》[OL].

lt;https：//www.gov.cn/zhengce/2019-02/23/content_5367987.htmgt;

[3]范寒寒，張戎，朱久娟.虛擬仿真技術在大學分析化學實驗教學中的應用[J].化學教育（中英文），2022，（20）：117-122.

[4]林健.工程教育的信息化[J].高等工程教育研究，2022，（1）：1-10.

[5]馮琦琦，董志明，彭文成，等.幾種典型的虛實融合技術發展研究[J].系統仿真學報，2023，（12）：2497-2511.

[6]孫夢婷，楊達偉，謝林杉，等.元宇宙醫學在慢性疾病健康管理中應用的研究進展[J].復旦學報（醫學版），2023，（2）：292-295.

[7]趙瑞斌，范文翔，楊現民，等.具身型混合現實學習環境（EMRLE）的構建與學習活動設計[J].遠程教育雜志，2020，（5）：44-51.

[8]楊彥軍，張佳慧.沉浸式虛實融合環境中具身學習活動設計框架[J].現代遠程教育研究，2021，（4）：63-73.

[9]唐朝暉，吳元喜.基于虛實融合的智能實驗室開放管理系統[J].實驗技術與管理，2017，（10）：226-229.

[10]朱永寧，樓澤如，吳天翔，等.虛實融合的探究式實驗系統研究[J].系統仿真學報，2023，（1）：82-94.

[11]尹雋，李路路，齊新雷，等.虛擬仿真教學系統學習效果的影響因素研究[J].現代教育技術，2022，（1）：64-74.

[12]胡藝齡，聶靜，張天琦，等.具身認知視域下VR技術賦能實驗教學的效果探究[J].現代遠程教育研究，2021，（5）：94-102.

[13]陶建華，巫英才，喻純，等.多模態人機交互綜述[J].中國圖象圖形學報，2022，（6）：1956-1987.

[14]王黨校，鄭一磊，李騰，等.面向人類智能增強的多模態人機交互[J].中國科學：信息科學，2018，（4）：449-465.

[15]張凱樂，劉婷婷，劉箴，等.面向情緒調節的多模態人機交互技術[J].中國圖象圖形學報，2020，（11）：2451-2464.

[16]易心武，薛錦云，游珍，等.沉浸式虛擬現實多模態交互模型研究[J].江西師范大學學報（自然科學版），2024，（1）：52-58.

[17]胡小強，桑小十.多模態交互在教學中的應用[J].中國信息技術教育，2022，（13）：89-93.

[18]陸吉健，周美美，張霞，等.基于MR實驗的“多模態+人機協同”教學及應用探索[J].遠程教育雜志，2021，（6）：58-66.

[19]艾興，李葦.基于具身認知的沉浸式教學：理論架構、本質特征與應用探索[J].遠程教育雜志，2021，（5）：55-65.

[20]范寒寒，張戎，朱久娟.虛擬仿真技術在大學分析化學實驗教學中的應用[J].化學教育（中英文），2022，（20）：117-122.

[21]中華人民共和國教育部.義務教育化學課程標準[M].北京師范大學出版社，2022：5-12.

[22]肖元梅，范廣勤，馮昶，等.中小學教師NASA-TLX量表信度及效度評價[J].中國公共衛生，2010，（10）：1254-1255.

[23]Batabyal T， Chattopadhyay T， Mukherjee D P. Action recognition using joint coordinates of 3D skeleton data[A]. IEEE International Conference on Image Processing[C]. Quebec City， Canada： IEEE， 2015：4107-4111.

[24]NOBOOK.NOBOOK在線仿真實驗教學平臺[OL]. lt;https：//www.nobook.com/index.htmlgt;

How to Carry out the Intelligent Experiment of “Virtual-Reality Fusion + Multi-modal Perceptual Interaction”

——Taking the Intelligent Experiment in Middle School Chemistry as an Example

XU Zhi-Peng¹""""FENG Zhi-Quan^{2[Corresponding Author]}""""QIU Xiao-Yu³""""SUN Run-Yuan²

（1. Information Management Department， University of Jinan， Jinan， Shandong， China 250022;

2. College of Information Science and Engineering， University of Jinan， Jinan， Shandong， China 250022;

3. Quancheng Laboratory， Jinan， Shandong， China 250101）

Abstract："The advancement of modern information technology has promoted the development of virtual simulation experiments. However， the current virtual simulation experiments generally lack the real operation sense， and the interaction mode is relatively simple， which not only affects students’ experimental experience but also is not conducive to the cultivation of students’ hands-on abilities. Therefore， this paper firstly constructed an intelligent experimental model of “Virtual-Reality Fusion + Multi-modal Perceptual Interaction”， by referring to the relevant research results of virtual-reality fusion and multi-modal perceptual interaction， and designed the intelligent experimental system and process to realize this model technically. Subsequently， in order to verify the effectiveness of this model， the paper took the reaction of sodium with water as the experimental content to carry out an intelligent experiment of “Virtual-Reality Fusion + Multi-modal Perceptual Interaction” in middle school chemistry. In this experiment， a prototype system for the intelligent experiment in middle school chemistry was developed， and the experimental effects were compared through comparative experiments. The results showed that within the same experimental operation time，"whether the completion quality or the completion efficiency of experimental task，"the intelligent experiment using the prototype system was superior to the simulation experiment using the NOBOOK online simulation experimental teaching platform， and students who participated in the intelligent experiment had a lower mental load and better mastered knowledge and operational skills. The research of this paper could provide theoretical guidance for the integrated application of virtual-reality fusion and multi-modal perceptual interaction in intelligent experimental teaching， and can offer practical reference for the empowerment of innovative research of experimental teaching by artificial intelligence.

Keywords："virtual-reality fusion; multi-modal perception; natural interaction; intelligent experiment; middle school chemistry