多模態交互在教學中的應用

胡小強 桑小十

摘要：現代信息技術的高速發展，為人機交互帶來了新途徑，多模態交互成為人機交互史上的全新可能，也為其他領域帶來了新的活力。與此同時，新技術的產生與發展也對教育領域產生了巨大沖擊，研究以教學中的“多模態交互”為介入點，對多模態交互相關概念的界定進行闡述，接著分析了多模態交互技術在教學中的應用，并以物理力學實驗為例開展教學設計，將多模態交互技術進行有效融合，總結出多模態交互在教學中應用的優勢，最后給出建議。

關鍵詞：多模態交互;教學設計;VR教學;虛擬實驗室;物理

中圖分類號：G40-057 ?文獻標識碼：A ?論文編號：1674-2117（2022）13-0089-05

● 教學中的“多模態交互”

1.多模態交互的概念

“模態”（Modality）最早是作為一種生物學的概念被提出來的，之后隨著科技的不斷進步與發展，逐漸被引申到計算機與人工智能領域，成為機器與現實物理事物之間聯系的一種理論通道。顧曰國教授認為模態是指人類通過感官跟外部環境之間進行互動的方式，用單個感官進行交互的叫單模態，用兩個的叫雙模態，三個以上的叫多模態。[1]在新技術時代，眼睛、鼻子、嘴、手和耳朵可以通過多模態交互技術變成鼠標和鍵盤，更準確地將信息傳達給計算機交互，擴大了交互的多樣性。多模態交互技術的實現就是這樣一個復雜的信息傳輸、分析、處理、呈現的過程。在這個過程當中，設備和用戶能夠達到隨時隨地進行聯合交互的效果，無論是聽覺、視覺、觸覺還是手勢通過多模式交互技術，用戶便可以在一個專門為它開發的接口上選擇不同類型的輸入設備（如鍵盤、鼠標、手寫筆、觸摸屏、語音等）的連接，可以確定訪問信息所使用的交互模式并與之進行交互。多模態交互技術在多種領域廣泛應用，目前運用得較多的領域包括教育、醫療、工程、娛樂、游戲、軍事、航空、航海等。

2.多模態交互技術在教學中的應用

多模態交互技術在教育領域有著廣泛的應用。在國家重大課題方面，由潘志庚教授作為首席科學家領銜的國家重點研發計劃項目“多模態自然交互的虛實融合開放式實驗教學環境”主要研究復雜實驗教學環境中的實時仿真、多通道感知（視、聽、觸、嗅）的同步呈現，研究探究式學習過程建模與行為量化評估等科學問題，開發新型的教學實驗，解決現有中學實驗課程中探究性弱、自主性差、精準性低、實驗成本高等系列難題。

多模態交互技術在教學中也有許多應用。例如，在科學教學中，其應用主要以科普為主，如在婦聯、科協、消防、地震局等部門的指導下，中山大學以及華南師范大學開發了一套“恩授”教育游戲，向兒童介紹科學、自然、衛生等科學知識，其中融合了多模態、體感游戲等創新技術，在游戲中兒童需要眼、耳以及肢體的多種配合來進行操作，讓其以第一人稱的方式模擬進入地震、火災、溺水等虛擬的三維場景，在互動體驗中學習各種安全知識和自救技能，增強自我保護能力，保障生命和財產的安全。又如，在地理教學中，其應用主要是以視聽交互及手勢交互為主，以《地質災害》一課為例，教師使用桌面VR一體機展示3D洪水現象并且進行拖拽，從各個角度展示，達到學習者的視聽交互。學習者可以通過手勢交互進行救災活動，如人群的驅散、挖通渠道、搬運石塊等。學習者在模擬環境中解決問題，將地理知識與實際生活聯系，化抽象為具體，提高了學習積極性，進而提高了教學效率。

● 多模態交互在教學中應用的優勢

1.多模態交互技術能提升課堂交互性

過去，教師在研究教學設計問題時常采用非交互性的多媒體教學形式，主要包括教學學習科學系統中的口頭和視覺表現形式，這是屬于線性的過程，從信息獲取的角度來看，這種學習方式僅僅只是向學生的記憶中添加信息，教師的工作也僅是向學生呈現信息，學生的工作只有簡單的接收信息。但通過多模態交互技術會使教學的整個過程和效果產生明顯的不同。封虹虹認為，要尊重學生的主體地位，教師應該在教學中根據學生特征，因材施教盡享多模態教學。[2]打造虛擬應用場景進行交互式學習，可以在英語課堂中提升學生對課堂的關注度，進而使其對英語學習產生濃厚的興趣。在英語課堂中需要針對不同特點的學生，通過多模態交互技術、VR技術打造虛擬英語應用場景，實現虛擬視聽交互、人機交互，讓每位學生都能夠且愿意參與到課堂中進行學習。這種學習環境是高效互動的，因為它關注到每一位學生的學習節奏。

2.多模態交互技術能促進學生的有意義學習

有意義學習依賴于認知活動，如從一節課中選擇相關的信息，將其組織成一個連貫的結構，并將新知識與現有知識相結合。非交互的環境不能促進行為的主動性，如果想通過簡單的演示文稿來設計一個能激發學生認知能力的演示文稿，那確實是一個挑戰。與之相比，利用多模態交互技術的交互式學習環境更有利于構建學生的有意義學習。施建平認為，交互要達到“心物相融，啟智引思”，多模態情境要達到作用于多感官，能給學生帶來全身心的沉浸，使之在情境中思考。以《七律·長征》一詩為例，在學習“金沙水拍云崖暖，大度橋橫鐵索寒”這兩句時，學生無法通過簡單的多媒體課件和圖片了解為什么面對如此險境紅軍戰士會有“暖”意。為了讓學生真正理解當時的場景，可采用聲、光、電等多重交互技術搭建虛擬的金沙江和大渡河，使學生的視覺、聽覺與智慧設備進行交互，進入當時的作戰場景，親身體會當時戰斗的慘烈，從而感受紅軍的艱辛以及大無畏的精神，深刻了解紅軍長征精神。[3]

3.多模態交互技術能促進學生的學習興趣

多模態交互技術是一種具有視覺、聽覺、觸覺等多感知沉浸的技術，在教學中使用多模態交互技術，可以讓書本中的知識變得可以觸摸、互動、感知，讓學生在過程中有身臨其境的沉浸式體驗。讓學生具有沉浸其中的豐富感受以及自由度高的交互體驗，不僅有效提高了其學習主動性，更是給學生提供了大量的親身體驗、觀察、操作以及與其他學生協作學習的機會，促進了學生認知活動的開展以及知識的建構。[4]有學者研究表明，在教育教學的過程中，通過單一模態學習的學習者的學習能力比通過多種模態共同學習的學習者的學習能力要差。心理學認為，單一個體情緒系統的發生機制和表達機制都屬于復雜的范疇，主要強調外界環境刺激和內部生理、心理和其認知狀態對個體心理的情緒變化的共同作用。傳統的學習方式，常是教師的單線講授，學生被動吸收，整個過程無法刺激學生產生情緒變化，難以激發特定的大腦活動模式，學生難免會覺得學習枯燥無味。這也表明，單一模態的刺激難以提高學習者的情緒狀態。馬菁認為，多模態學習模式可以喚起學生學習英語詞匯的積極性，教師可以在課堂中運用多模態交互技術營造出兼具游戲性和娛樂性的學習環境，通過多種模態參與的渠道激勵學生參與到詞匯的教學中，引發學生對課堂的情感認知的深層共鳴。[5]通過多模態交互技術對利用多種智能傳感設備學習的學習者進行視覺、聽覺、觸覺、嗅覺等多種感官的刺激，提高學習者的情緒狀態，實現“認知—行為—情感—交互”的過程。[6]

● 基于物理力學實驗的教學設計

物理是一門注重實驗的自然科學基礎課程，物理實驗的操作環節是必不可少的，多模態交互技術可以通過視覺、聽覺、觸覺等多種模態進行交互打造虛擬實驗室，具有彌補實驗場地以及實驗設備的不足、打破空間和時間的限制、優化已有教學和實驗模式以及優化抽象物理現象的呈現等優點。下面，筆者以物理力學實驗——牛頓第一定律實驗為例，通過多模態交互技術輔助進行教學設計。

1.基于學情設計教學目標

《牛頓第一定律》是人教版物理九年級《運動和力》中的內容，其中主要包括三個方面：維持運動需要力嗎、牛頓第一定律以及慣性。本節課是在學生學習了運動學和力學初步知識的基礎上，首次將力和運動聯系起來，研究力和運動的關系和規律，是聯系運動和力的紐帶與橋梁，同時為后面力學知識的學習打下基礎。將多模態交互技術通過VR虛擬實驗室的形式運用到本節課的教學活動中，在傳統的虛擬實驗室中加入視、聽、觸交互，讓學習者能夠沉浸式地體驗實驗操作的整個過程。

基于此，將本節課的教學目標設計如下：

①知識與技能目標：知道牛頓第一定律的內容;了解慣性的概念，會解釋簡單的慣性現象。

②過程與方法目標：學會利用VR頭盔與手套進行實驗操作，在師生互動、生生互動、人機互動中進行交流討論并得出實驗結論。

③情感態度與價值觀目標：使用VR設備進行多模態交互激發學習興趣以及好奇心;通過對實驗探究活動的參與，學習科學家實事求是、尊重自然規律、不迷信權威的科學態度，感悟科學規律獲得的過程要經過許多科學家的不懈努力、培養科學的思維方法和科學探究精神。

2.設計實驗活動展開教學

①提出問題。教師播放多媒體課件，展示亞里士多德和伽利略的觀點，進行師生以及生生討論交流，提出實驗探究問題。

設計意圖：通過交流討論提出問題，培養學習者的探究能力、合作學習意識以及科學的思維方式。

②探索知識。學生帶著問題觀看教師實驗，教師在VR虛擬實驗室中，選擇表面粗糙、比較光滑和很光滑三種水平面進行實驗，得出實驗數據，讓學生總結和分析數據，并推理假設在完全光滑的水平面上會得到什么樣的數據。

設計意圖：學生很少接觸VR虛擬實驗室，教師首先進行實驗，為下一環節學生的實驗操作做示范，發揮學生的主體作用，讓學生自己分析實驗數據、得出結論、回答問題，引導學生進一步推理，激發學生在下一環節中動手操作的興趣，培養學生假設和推理能力。

③自主實驗。學生通過VR虛擬實驗室對教師演示實驗進行還原，得出自己的數據，通過所佩戴的VR手套進行觸覺交互來判斷每一個水平面的光滑程度，并進行實驗，在此基礎上，選擇表面完全光滑的水平面進行上述推理的求證并得出結論。

設計意圖：通過多模態交互技術和VR設備，可以將現實中僅能通過假設和想象來實現的現象具象化，讓學生通過實踐來學習這部分知識，突破重難點。

④總結實驗，教師總結講授牛頓第一定律和慣性。實驗設計過程如下頁圖所示。

● 多模態交互在教學設計應用中的建議

1.注重低成本多模態交互硬件的研發

在企業前期開發多模態交互技術的應用和設備時，研發的成本較高，導致市面上絕大多數多模態技術設備銷售價格普遍居高，很多學校和機構因為資金問題無法承擔多模態交互技術設備高昂的價格，因此導致多模態交互技術無法在學校的教育教學中廣泛普及。同時，大多數的智慧軟件普遍存在通用性差、使用難度大、開發花費巨大且應用效果有限等問題。另外，從技術層面來說，新興的傳感應用技術、3D的物理建模技術、高速的圖形圖像處理、成像顯示、人工智能等開發智慧軟件普遍所需的相關技術，還有很多問題有待解決。[7]以上諸多問題都限制了多模態交互技術在中小學教學中的推廣應用與普及。因此，多模態的硬件設備只有得到廣泛的研究與開發，才能從根本上解決在教學中推廣和普及的問題。

2.鼓勵多模態交互教學資源的開發

目前，多模態交互技術才剛剛起步，硬件設施不完善，很多學校因為資金短缺沒有配齊多模態交互設備以及相應的智慧教室，且大部分中小學教師并未具備熟練使用新技術的能力，不知道應如何把多模態交互技術與教育教學進行融合并進一步開發相關的教學資源。[8]同時，服務于中小學基礎教育的教學資源比較少，以上種種原因造成多模態交互技術在中小學教學中難以進行實踐與應用。所以，教育部門可鼓勵教師積極參與到多模態交互教學應用資源的開發中，豐富多模態教學應用資源的深度和廣度。相信隨著多模態交互技術的不斷發展、新興技術的進步，將多模態交互技術應用于教學勢在必行。

3.拓展在實驗教學等方面的應用

目前，傳統實驗教學多是以實物課堂的形式為主，教師以一邊示范一邊講解的形式進行授課，教師做一步學生做一步，實驗過程變得零碎，有些實驗將理論教學和實驗操作分開，分多節課進行，導致理論知識與實踐操作在時間和空間上嚴重脫節。同時，在實驗過程中因為班級人數較多，學生在實驗中有不懂或者做錯的地方教師也無法及時指出并進行指導，而實驗器材的限制使得學生無法在預習以及復習階段進行實驗。此外，還有些實驗儀器面臨體積過大、價格過高等問題，有些實驗器材和材料難以準備，有些實驗無法確保安全性。針對這些問題，多模態交互技術運用到教學當中，通過視覺、聽覺、觸覺等多種模態融合AR/VR等技術，開發虛擬實驗室，不僅減小了時間和空間的差距，解決了傳統實驗中的耗材問題、安全問題等，還可以通過程序判斷有效避免學習者在實驗中操作失誤卻無法即時得到指正的問題，大大提高了實驗教學的教學效率。[9]

● 結語

現代教育技術的進步與發展、人們學習觀念的轉變以及教育教學大環境的改善，為多模態交互技術進入教學帶來了基本的便利條件。目前，我國的多模態交互技術與教學融合的研究雖然尚處于起步階段，但相信隨著社會的不斷進步、技術的不斷研究與發展，以及在教學中不斷加深的實踐研究，多模態技術將會逐漸趨于成熟，多模態教學也將會日漸成熟，在不久的將來成為教學中不可或缺的一部分，給教學注入新的生機與活力。

參考文獻：

[1]顧曰國.多媒體、多模態學習剖析[J].外語電化教學，2007（02）：3-12.

[2]封虹虹.大學英語視聽課堂多模態教學模式構建路徑[J].淮北職業技術學院學報，2021，20（01）：51-53+66.

[3]施建平.小學語文教學中多模態學習情境的創設[J].語文世界：教師之窗，2021（03）：4-5.

[4]陳璟.虛擬現實技術在基礎教育中的應用及對策分析[J].普洱學院學報，2020，36（06）：130-132.

[5]馬菁.探析多模態教學模式在高中英語詞匯教學中的運用[J].校園英語，2021（05）：175-176.

[6]王一巖，王楊春曉，鄭永和.多模態學習分析：“多模態”驅動的智能教育研究新趨向[J].中國電化教育，2021（03）：88-96.

[7]胡建平，黃國政.Leap Motion體感技術在教育中的應用現狀及問題分析[J].福建廣播電視大學學報，2016（05）：23-28.

[8]李瓊華，羅敏.多模態視角下農村小學英語口語教學的問題診斷及對策研究——以湖北省B小為例[J].湖北師范大學學報：哲學社會科學版，2019，39（01）：138-142.

[9]何珊.VR技術在物理實驗教學模式創新中的應用[J].蘭州石化職業技術學院學報，2021，21（01）：61-63.

作者簡介：胡小強（1970—），男，漢族，江西南昌人，碩士，江西科技師范大學教育學院副院長，研究方向為虛擬現實技術在教育中的應用、現代教育技術等;桑小十（1997—），女，漢族，山東臨沂人，碩士，江西科技師范大學教育學院（通訊作者），研究方向為多模態在教學中的應用。