5G環境下的多模態智慧課堂實踐

蔡蘇 焦新月 楊陽 蔣林帆 余勝泉

摘要：5G技術的普及將推動教學向個性化、精準化、智能化、融合化方向發展。然而，目前國內對5G技術與教育融合的研究多為理論探索與理念構建，缺乏課堂應用實踐案例。因此，探討5G環境下多模態融合教學的智慧課堂教學方式，有助于將理論與實踐相結合，為智慧課堂的開發與應用提供參考。北京師范大學“移動學習”教育部—中國移動聯合實驗室聯合中國移動開發了5G環境下的多模態智慧課堂實踐案例——“彩虹的秘密”，通過多模態資源整合、多模態互動、多模態評估的多模態智慧教學方式，利用5G高帶寬、低時延、大連接的技術特性，接入VR/AR/MR設備、全息投影、智能白板、移動終端、智慧學習筆等多種形態的智聯終端和教育裝備，實現多種軟硬件設備間的無縫互聯、協同工作，為學習者提供沉浸式的實時學習體驗。總結實踐經驗，實施多模態智慧課堂，需要“以學生為本”構建多模態學習環境和多通道融合的多模態資源，鼓勵學生通過自主探究，實現新舊概念的交互。此外，多模態智慧課堂還倡導多元、動態的學習評價體系，以幫助教師進行精準決策和調控。

關鍵詞：5G;多模態;智慧課堂;模型構建;實踐案例

中圖分類號：G434 ? 文獻標識碼：A ? ?文章編號：1009-5195（2021）05-0103-10 ? doi10.3969/j.issn.1009-5195.2021.05.011

基金項目：國家自然科學基金面上項目“智能增強現實學習環境中多通道信息融合計算及評測研究”（61977007）。

作者簡介：蔡蘇，博士，副教授，北京師范大學教育學部“VR/AR+教育”實驗室，“移動學習”教育部—中國移動聯合實驗室，北京師范大學未來教育高精尖創新中心（北京 100875）;焦新月，碩士研究生，北京師范大學教育學部教育技術學院（北京 100875）;楊陽，教師，云南大學附屬中學大學城校區（云南昆明 650000）;蔣林帆，碩士研究生，北京師范大學教育學部教育技術學院（廣東珠海 519000）;余勝泉，博士，教授，博士生導師，北京師范大學“移動學習”教育部—中國移動聯合實驗室，北京師范大學未來教育高精尖創新中心（北京 100875）。

一、5G技術催生智慧教育新命題

自2012年世界無線電通信（World Radiocomnication Conferences，WRC）會議后，世界各國和組織紛紛開始投入第五代移動通信網絡（5th-Generation Mobile Communication Technology，簡稱5G）技術的開發建設（蘭國帥等，2019）。2018年，《教育信息化2.0行動計劃》發布，提出加快面向下一代網絡的高校智能學習體系建設要求，要求“適應5G網絡技術發展，服務全時域、全空域、全受眾的智能學習新要求”，“形成泛在化、智能化學習體系，推進信息技術和智能技術深度融入教育教學全過程”（中華人民共和國教育部，2018）。2020年的《政府工作報告》也明確指出要“發展新一代信息網絡，拓展5G應用”（新華社，2020）。

相對于4G，5G技術具有更強的關鍵性能力：傳輸峰值速率達到20Gbps、用戶體驗數據率達到100Mbps、頻譜效率提升3倍、移動性達500公里/小時、時延達到1毫秒、連接密度每平方公里達到10Tbps、能效比IMT-A提升100倍、流量密度每平方米達到10Mbps（IMT-2020（5G）推進組，2015）。基于5G技術的三大核心使用情境：增強型移動寬帶、超可靠和低延遲通信、大規模機器類型通信（ITU-R，2015），云計算、大數據、人工智能、物聯網、移動互聯網、傳感器、虛擬/增強現實等技術將獲得賦能發展和更好的融合應用機會（張坤穎等，2019），進而可以對人們的工作、生活和學習領域產生綜合影響（蘭國帥等，2019）。有研究者提出5G應該被視為一個平臺（袁磊等，2019），通過它與各類服務的無線連接，移動通信技術將實現大規模的互聯互通，完成從經典的流量服務模式向全要素生態鏈模式轉變（趙興龍等，2019）。

5G技術對于教育領域的影響也將體現在對整個教育生態體系的深刻改變和重塑（張坤穎等，2019）。5G技術將促成其他技術在學習環境中的“超快獲取”“超多連接”和“超強可靠”（趙興龍等，2019），讓師生的技術使用體驗得到優化。當前虛擬現實（Virtual Reality，VR）和增強現實（Augmented Reality，AR）技術大多限于桌面式的應用，5G技術憑借傳輸速度的提升將實現資源應用客戶端模式向云端模式的轉變（趙興龍等，2019），使分布式和沉浸式的VR/AR應用得到較好的應用和普及（張坤穎等，2019），實現真實場景的實時和流暢再現。5G低時延的特征也將改善當前多媒體傳輸的延遲、卡頓、低清晰度現象，支撐超高清視頻和全息影像的實時流暢呈現，讓多個空間的師生可以實現實時互動交流，達成與課堂外實景的全方位、立體化互動（趙興龍等，2019）。5G技術還將通過助力大數據技術和物聯網技術對學習環境中的數據進行更好地測量、收集、分析和報告（趙興龍等，2019），使信息收集更多元、更全面。總的來說，5G技術將促使學習環境向更加個性化、精準化、智能化、融合化的方向發展，助力師生實時獲取豐富的多模態學習資源，從而推動教學方式和學習方式發生重大轉變。

二、5G技術促進多模態教與學模式重構

模態是交流的渠道和媒介，包括語言、文字、技術、圖像、顏色、音樂等符號（夏穎，2016）。事件中模態的使用實現了人類感官與外界環境的交互（Kress et al.，2001）。當多個感官參與到與環境的互動中，實現的互動就是多模態的，人們日常的互動都是多模態的（顧曰國，2007）。課堂環境中可以包含豐富的模態，如PPT課件、視頻等相關文字和音頻、視頻材料，支持學生通過視覺、聽覺、觸覺等，與教師及課程內容之間建立起多模態互動（戴志敏等，2013）。

5G技術催生的教育應用所引發的教育變革，促進了全息技術、高清晰視頻、VR/AR、物聯網技術+教育等教學形態的涌現，使得意義表征和信息交流更加多模態化，為多模態融合的智慧課堂創造了機會（田陽等，2019）。在此背景下，教學方式和學習方式的重構成為促進5G課堂環境下多模態交互的關鍵。多模態融合的智慧課堂需要我們改變傳統的教學方式，實施多模態教學，以促進課堂教學最優化（王慧君等，2015）。多模態教學是在多模態理論指導下，將語言、圖像、聲音、動作等的多模態要素整合成為最有效的意義表達和交流方式，并指導學生借助多模態手段構建意義。多模態教學法強調身體和大腦調動多個感官通過多種媒體協同參與教學過程（沈洪等，2015）。在多模態教學中，教師運用多模態系統對課堂教學進行設計，借助VR、AR、全息等技術，建設多模態課程資源，充分調動學生感官潛能，為學習者提供多模態的交互學習環境，促進學習者對學習內容的多模態理解和意義建構。師生在這種多模態的交互過程中，將會促進有效學習的發生（田陽等，2019）。

由此可見，在5G技術的支持下，多模態融合的智慧課堂將會對傳統的教育方式產生巨大的沖擊。因此，探討5G環境下多模態融合的智慧課堂教學方式具有重要的理論價值與實踐意義。然而，目前國內對5G技術與教育融合的研究多為理論探索與理念構建，由于技術的限制，鮮有將5G技術應用于課堂的實踐案例。因此，本研究擬通過5G環境下的多模態智慧課堂實踐，探討5G環境下多模態融合教學的智慧課堂教學方式。2019年7月26日，中國移動在深圳發布“5G+智能教育”行業應用首發暨“5G智慧課堂”開課儀式。北京師范大學“移動學習”教育部—中國移動聯合實驗室、“VR/AR+教育”實驗室聯合中國移動開發了一節5G多模態智慧課堂實踐案例——“彩虹的秘密”。現場通過5G網絡實現了全息信號傳輸，并利用全息投影、AR、智慧學習筆等新技術進行了一堂跨越深圳、北京、貴陽三地的小學科學示范課。本文將以這一節5G課堂為案例，展現5G環境中的技術應用和多模態交互過程，分析多個技術在5G環境下的教學作用，結合實踐經驗給出5G環境下多模態智慧課堂的實施建議，以期為后續5G與教育的深入融合提供案例參考。

三、5G多模態智慧課堂模型構建

在5G 技術的支持下，各種多模態資源之間的交互會變得更加便捷，這為教與學模式的創新、諸多教育要素的整合重組提供了契機。教師、學生、學習資源、學習環境是5G支持下教育場景的四大基本要素，他們之間相互作用，相互影響（袁磊等，2019）。多模態的智慧課堂需要充分發揮各要素的優勢，利用5G環境下多模態的信息技術，使學生與教師、學習資源、學習環境之間的交互更加多樣化、個性化，發掘各模態的潛能，使各要素之間相輔相成（王慧君等，2015）。

基于上述設計思路，我們結合實踐構建了5G環境下多模態智慧課堂模型，如圖 1所示。5G網絡下的多模態學習環境應充分利用5G高帶寬、低時延、大連接的技術特性，通過接入多種形態的智聯終端和教育裝備（如VR/AR/MR設備、全息投影、智能白板、移動終端、智慧學習筆等），實現多種軟硬件設備間的無縫互聯、協同工作，為學習者提供真正沉浸式的實時學習體驗。

5G網絡高帶寬和低時延的特性，使全息投影技術能支持學生與異地的學科專家進行實時的交流，全息立體地顯示教學過程，實現跨時空教學資源的多屏投射（張坤穎等， 2019），讓師生交互脫離時空的限制;5G 的低時延讓沉浸式/交互式的AR環境更具個性化與情景化，學生可以在真實課堂中觀察到現實生活中難以觀測或操縱的虛擬物體，具有與世界零距離接觸的真實感知體驗;智慧學習筆的筆跡識別引擎、機器學習批改引擎、個性化推薦引擎能夠以多種方式連接到網絡，教師和異地專家能實時了解學生的學習情況;5G超100Mbps的用戶體驗數據速率，可以大大增強AI的數據分析能力，使不同模態的數據實現跨媒體的學習和推理，進而實現智能管控、智能測評以及個性化推薦（蘭國帥等， 2019）。5G技術高帶寬、低時延、大連接的特性為多模態學習資源和信息交互以及多終端互通互聯提供了傳輸條件，有助于實現更加智能化的多模態學習環境構建。

我們將5G多模態智慧課堂教學過程總結概括為多模態資源整合、多模態互動和多模態評估三個階段。

1.多模態資源整合——情境導入

5G環境下的多模態課堂需要教師在課程設計階段整合多模態的資源，幫助學生從多個感官通道進行信息獲取。在情境導入階段，教師利用多種信息化手段，制定優質的多模態學習資源，如VR/AR課程資源、音視頻資源、含多種媒體（圖片、文本、動畫等）的PPT等，使多種模態結合以實現對學生多種感官的刺激，激發學生的學習興趣和注意力。

2.多模態互動——知識建構

5G環境下的多模態互動除了包括教學中的師生、生生等交互外，還包括教師、學生和環境中的設備三者之間的交互。學生可以通過移動終端設備（如手機、平板等）與多模態資源（VR/AR、全息、視音頻等）或教師進行交互，實現視覺、聽覺、觸覺等多通道的輸入和輸出，調動學生多種感官協同參與，與教師和同學展開深入的交流和討論，從而獲得深層次的知識建構（王慧君等，2015），促進知識內化。多模態互動能有效提升學生的問題解決和協作溝通等高階思維能力，這也是當今中國創新發展和創新人才培養的一個重要著力點。

3.多模態評估——應用檢測與反饋

在5G網絡的支持下，各種移動終端的跨時空性和便捷性使得教師使用多種模態方法對學生的學習結果或過程進行持續監測和跟蹤成為可能。多模態評估強調從多種信息渠道收集學生的學習過程和結果數據。5G的高帶寬、低時延等特性允許教師從不同的信息通道，收集學生多方面的學習過程數據。如AI驅動評估，基于學習分析技術，可為教師、學生和家長提供學生學習進展的持續反饋;智慧筆的自動筆跡識別，可將所有學生的過程性或總結性結果傳至終端，生成學情分析報告，從而對學生進行個性化推薦。此外，多模態評估還體現在評價方式的多模態、評價手段的多模態、評價維度的多模態等方面（王慧君等，2015）。因此，多方法、多渠道、全方位的多模態評估將使學習變得更加數字化、智能化，最終實現優化教學模態、提高智慧教學成效的目標。

總之，5G支持下的多模態學習環境為學生、教師、學校搭建了一個更為暢通互聯的大場域，其中所蘊含的多模態資源整合、多模態互動和多模態評估，構成了未來5G多模態智慧課堂的新生態。

四、5G多模態課堂之實踐案例：彩虹的秘密

1.課程概況

基于5G多模態智慧課堂的模型，我們以小學科學五年級上冊科教版第二單元《光》和蘇教版第二單元《光與色彩》為基礎設計了綜合拓展課——“彩虹的秘密”，并在深圳、北京、貴陽三地進行了實時同步教學，教學時間為40分鐘。在本節課中，學生需要結合單元所學知識解釋彩虹的成因和顏色特征，總結出形成彩虹的條件、時間和方位，簡單敘述彩虹是拱形的原因。

彩虹是一種生活中不常見且難以人為操控的自然現象，學生難以在真實環境中進行仔細的觀察和探究。在5G環境下，使用AR眼鏡和基于平板的AR應用重現彩虹，可以豐富學生的直接經驗，促進學生與環境進行交互，啟發學生主動探究關于彩虹的自然規律。在教學過程中，每一位學生的智慧學習筆與教師終端互聯，通過筆跡識別和自動批改，教師可以實時得到學情分析報告，實現對學生的精準教學。同時，基于5G傳輸的全息技術實現了異地學科專家進課堂與師生對話，促進優質資源的互通共享，拓展了課堂的信息面，幫助師生從更深層次認識自然。

本課程主要分為四個環節。教師在課程中通過對不同技術的運用，促進師生、生生、學生與學習環境、學生與學習內容之間進行多模態交互，基于彩虹這一生活中具體的現象促進學生對于光學知識的綜合運用和深入理解。

2.環節一：多模態資源整合——AR情境導入

本環節通過AR眼鏡為師生提供沉浸式的彩虹觀測體驗作為課程的情境導入環節。教師引導學生在虛實結合的AR環境下觀察彩虹形成的過程和現象，形成感性認識，獲取彩虹現象中的關鍵事物及其特征。在彩虹的形成這一AR場景中，學生可以觀察到烏云聚集、大雨滂沱、雨過天晴這一彩虹形成的氣象過程，并在彩虹出現的情境下，觀察到雨后云層和太陽與彩虹的相對位置，通過刺激學生視覺、聽覺等多種感官，為學生創設了身臨其境的學習體驗。圖 2為師生通過AR眼鏡觀察彩虹現象。教師在學生觀察的過程中，將推進觀察的進程，并且通過提問引導學生表達觀察到的現象，啟發學生根據生活經驗和AR環境中觀察到現象提出科學問題，并基于色散、反射和折射等光學知識，對彩虹的顏色數量、顏色排列、形成原因等問題進行解答。

本環節在課件之外主要使用了基于AR眼鏡的學習資源，旨在以虛實結合的方式在真實空間中呈現彩虹的形成，創設體驗環境，豐富學生的感性認識，為學生觀察彩虹的形成提供理想條件，激發學生的興趣和好奇心。整個教學環節通過整合AR資源調動了學生的視覺、聽覺、觸覺等多種感官，實現了多模態的交互，從而使學生全身心地投入到多模態學習環境中來。

3.環節二：多模態互動——師生全息交流

本環節中教師根據上一環節學生的解答，提出更深入的問題：“彩虹為什么是拱形的？”我們基于5G傳輸的全息投影，將北京的學科專家的影像、聲音、課件和板書實時呈現在課堂中（如圖 3所示），深圳師生們的影像和聲音等信息也通過5G實時傳輸到北京和貴陽。北京的專家和深圳的現場師生進行實時的問答和交流。專家通過課件為師生們介紹了不同顏色光線的彩虹角，揭示彩虹是拱形的原理，并啟發學生根據彩虹的形成推斷霓的形成光路。學生通過智慧學習筆進行繪圖，每位學生所畫的圖案通過智慧學習筆捕捉呈現在教師端，實現教師對學生作答的實時監控。

本環節主要使用基于5G傳輸的全息技術，讓異地專家以生動形式走進課堂，帶來專業化的深層信息，促進學生對知識的理解。為實現專家、教師對學生的精準指導，課題組使用智慧學習筆捕捉學生的作答圖像，并將圖像實時傳輸到教師端，輔助教師實時掌握學生的學習情況，實現學生與教師、異地專家的多模態互動，從而調動學生多種感官的協同參與，使學生獲得深層次的知識建構。

4.環節三：多模態互動——生生協作探究

本環節是上一環節的延伸和拓展。在學生深入理解彩虹的形成過程和形成條件后，教師引導學生總結彩虹出現的時間段和方位，以及降雨方位對彩虹出現的影響。學生使用平板上的AR課件以小組為單位進行交互式探究，分別通過控制時間滑塊改變太陽的位置，旋轉識別卡片以全局視角觀察彩虹出現的場景，旋轉虛擬人物的朝向以人物視角觀察彩虹變化的場景，如圖 4所示。學生在交互和觀察現象的時候進行交流討論，并用智慧學習筆記錄探究發現。同時教師發揮主導作用，引導學生從太陽的位置和空氣中水珠的位置解釋觀察到的現象，并啟發學生運用AR技術組織探究結論，進行分享交流。

本環節主要采用了基于平板交互的AR學習資源，以小組探究的形式促進學生主動發現規律、建構知識。通過AR技術呈現虛實結合的城市彩虹沙盤場景，支持學生控制實際不可操作的事物，觀察現象的變化，自主發現自然規律，實現生生之間的協作探究以及學生與AR學習資源之間的多模態互動。

5.環節四：多模態評估——實時反饋，提升學生情感價值觀

本環節是課程的總結和評價環節。教師通過課件呈現情境問題，學生根據所學的知識進行判斷，并使用智慧學習筆作出選擇，教師實時得到學生作答結果的統計，判斷學生的知識掌握情況，如圖 5所示。在判斷題之后，學生填寫一份邀請卡，生成一個彩虹形成的虛擬情境，并邀請伙伴在合適的時間一起去觀察彩虹。在課堂的最后，師生們一起再次通過沉浸式的AR觀察彩虹，帶著對知識的理解再次感受虛實結合的彩虹，深化對彩虹的理解和感受，促進學生情感價值觀的提升。

本環節使用智慧學習筆作為多模態評價的工具。智慧學習筆實時捕捉和統計學生的答案，使教師可以得到實時的學情統計，幫助教師精準獲取學生的理解難點，進行有針對性的講解，從而實現評價方式（小組評價、教師評價）、評價手段（智慧學習筆過程檢測）、評價維度（認知、情感等）的多模態應用。

五、5G多模態智慧課堂實踐案例中技術對教育的影響分析

基于5G的三大使用情境，“彩虹的秘密”這一堂課實現了異地實時全息投影、沉浸式和交互式AR技術和智慧學習筆的使用，并構成了師生平板、智慧學習筆、AR眼鏡、教室白板和云端的互聯互通。在課堂中，多元技術的運用拓充了媒體的形式，設備間的互聯使得教學過程中使用的資源和產生的數據可以在多個終端傳遞、呈現，充分調動學生多個感官對學習環境的感知和加工，形成多模態的交互。

5G技術、全息投影技術、AR技術和智慧學習筆是本課程中主要使用的關鍵技術和設備，每一種技術和設備都在課堂中為實現多模態的互動教學起到了重要的作用。

1. 5G對教學的支撐作用

本課程中，5G技術支撐了其他技術的運用。首先，5G技術保證了全息影像的實時傳輸，使北京、深圳、貴陽三地的圖像和聲音信號可以幾乎零時延地傳送到另一個場地，實現了不同空間師生的實時交流。由于5G傳輸的高容量特性，異地的教師可以靈活使用課件和板書輔助講解，學生可以清晰看到教師、課件和板書的動態影像。其次，5G技術保證了AR技術的沉浸性和交互實時性。基于5G技術提供的增強型寬帶，AR應用中可以采用云端復雜模型和多音頻營造更為逼真的情境，在使用過程中也不會出現因視角轉換和交互引起的卡頓和延時現象。第三，5G技術保證了教學過程中數據的實時獲取、統計和報告。多名學生的智慧學習筆實現了與教師終端的互聯，學生在學習過程中的選擇、畫圖和書寫結果都可以被記錄和分析，并以報告的形式呈現在教師的終端上，輔助教師監控學情，作出決策。最后，5G技術保證了多設備的互聯互通，教師可以通過課堂中的大屏幕展示AR情境、課件、學生答題情況。教師的平板和學生的學習筆均能以無線形式與大屏幕進行連接，增加了教學過程的互動性。

總之，5G技術可以成為課堂教學環境構建的底層核心技術，為課堂引入更豐富的學習資源和信息交互提供傳輸條件，使教學環境更加智能、融合、個性、精準。除了本次課堂中的技術應用，5G技術還可以用于實現其他自然環境在教室中的呈現、大型虛擬仿真實驗的開展、分布式AR探究的進行以及更多類型數據的記錄、處理和報告。總的來說，5G技術環境下，更多真實、虛擬的空間可以被無縫接入課堂，各教學元素之間將具備更強的聯通性和互動性，教學過程的數據將會得到更全面的記錄和更實時的處理。

2.全息技術在智慧課堂的應用

全息即完全信息，全息技術即利用光的干涉原理，將整個物體發射的特定光波以干涉條紋的形式把物體的全部信息記錄下來，并在一定條件下形成與物體本身具有極高相似度的三維圖像（李佩佩等，2017）。在本課程中，不同顏色光線的彩虹角是理解彩虹顏色排列和拱形的重點，講解該知識點需要分析多種光路情況，這對普通教師來說有一定難度。通過全息技術讓專家參與課堂，學生可以通過與專家教師的交流形成對這一知識更清晰的認識，從而更好地理解彩虹的形成。通過全息技術，北京專家講課的影像被呈現在深圳的課堂上，學生可以看到異地教師的動作和表情，與其進行實時的交流。相比于電話、視頻等形式的連接方式，全息技術可以保留更多的信息，并使兩個分離的空間連接、融合起來，讓學生和異地教師及資源的交互擺脫時空分離的限制。

全息技術的使用可以更生動地將其他空間的事物呈現在課堂中，除了像本節課中這樣引入其他專家教師為學生進行知識講解外，全息技術也可以用于引入一個具體的事物到課堂中進行全方位的展現，如一個文物、動物或者器械。隨著光學設備的發展，未來全息技術還可以用于將另一場景疊加到教室空間中，讓學生在教室中體驗置身于任何地方的感覺。

3. AR在智慧課堂的應用

AR是一項支持將虛擬對象和真實世界融合并協同顯示在真實環境中的技術。一個基于AR的系統具有以下三個特征：虛實結合、實時交互和三維注冊（蔡蘇等，2016;Azuma，1997;Azuma et al.，2001）。本課程在第一環節和第三環節中分別使用了基于Realmax的AR眼鏡和基于平板的AR技術。在第一個環節，基于AR眼鏡的沉浸式環境在學生所處的真實課堂中疊加虛擬對象，支持師生之間、同伴之間進行多模態的交流。通過AR眼鏡，學生可以在教室中直接觀察彩虹形成的過程和現象，通過直接體驗深化學生對于彩虹的感性認識，支持學生對過程性的自然現象進行完整細致地觀察。在第三個環節，基于平板的AR技術支持學生通過與卡片和平板呈現的模型之間的交互控制現實生活中不可能操控的物體，從空中和地面的視角同步觀察彩虹，總結彩虹出現的時間和方位。通過AR技術，學生可以得到更多的觀察和探究機會。他們可以觀察需要一定條件才能在現實生活中看到的現象，也可以控制現實條件下不能操控的現象，通過虛擬仿真獲得探究體驗，并通過主動學習的方式完成知識建構。

已有研究證明AR在有助于提升學習滿意度和效果（Akcayir et al.，2017）之余，還能幫助學習者形成對抽象概念的理解（陳穎博等，2020;Cai et al.，2017;Strzys et al.，2018;Cai et al.，2019），以及有選擇性地進行學習（Ruiz-Ariza et al.，2018）。在本節課所用的眼鏡沉浸式AR技術和平板交互式AR技術的基礎上，可以進一步使用分布式的AR技術，實現多人協同作業，促進教學過程中學生之間的協作與交流。

4.智慧學習筆的作用

智慧學習筆通過自動筆跡識別、大數據分析、機器學習個性化推薦，有助于實現精準教學輔導并減輕教師負擔。智慧學習筆裝載了筆跡識別引擎、機器學習批改引擎、個性化推薦引擎和泛在連接裝置。它能夠以多種方式連接到網絡，實現客觀題的自動批改和主觀題的自適應批改，形成學情分析報告。在本節課中，每位學生都擁有一支與教師終端連接的智慧學習筆。第二個環節中學生使用智慧學習筆進行畫圖分析，答案實時呈現給教師和異地專家，使教師和專家能夠更為及時、精準地攻克教學難點。第三和第四個環節中，學生使用智慧學習筆進行選擇和記錄，教師通過學情分析報告實時掌握學生的作答情況，對教學進程進行更好的安排。

智慧學習筆的運用促進了教育領域大數據的收集和學習分析技術的應用。在獲得更多作業數據的情況下，結合推薦算法，智慧學習筆可以定位學生的薄弱知識點，推送強化練習，實現個性化、精準化的教學。對于教師來說，批改系統可以大幅提升作業批改效率，學情分析報告能夠輔助教師對學生的學習情況進行更深入細致的挖掘，幫助教師從數據的層面對教學過程和學生學習過程形成更精確的認識。

六、面向5G的多模態智慧課堂的反思及實施建議

本次教學實踐在5G網絡的支持下，綜合創設了具有AR、全息、智慧學習筆、交互白板等技術且可以和云端互通的多模態學習環境，在教學過程中實現了多模態資源整合、多模態互動和多模態評估，是從理論到實踐的一次嘗試，可為今后開展5G網絡下的多模態智慧課堂教學提供借鑒。盡管此次聯合示范課堂取得圓滿成功，從教學及技術角度來說仍然存在一些問題。總結和反思此次實踐經驗，本文提出以下5G多模態智慧課堂的實施建議。

1. 5G多模態學習環境的建設——以學生為本

“彩虹的秘密”這堂課基于5G的三大使用情境，實現了異地實時全息投影、沉浸式和交互式AR技術和智慧學習筆的使用，構成了師生平板、智慧學習筆、AR眼鏡、教室白板和云端的互聯互通。在課堂中，多技術的運用拓充了媒體的形式，設備間的互聯使得教學過程中使用的資源和產生的數據可以在多個終端傳遞、呈現，充分調動學生多個感官對學習環境的感知和加工，形成了多模態的交互。但在教學過程中研究者也發現：多種技術的綜合使用給學生帶來了一些困擾，如AR眼鏡等專用設備對小學生來說質量過重，容易讓學生產生疲勞;教師的教學活動需要在多種技術之間進行交替操作，容易分散學生的注意力等。

5G技術促進了全息技術、VR/AR、大數據、人工智能、物聯網等技術在教育領域的應用，營造了更為智能化、融合化的教學環境。當多個技術被運用到教學中時，恰當地發揮每個技術的作用，促進技術之間的互相加成是實現技術賦能教育的重要議題，也是實現融創式智慧教學的重要方面（陳琳等，2016）。因此如何促進技術之間相互協同，激發學生發揮更大的潛能是當前教育信息化的主要目標。然而大多數教育工作者寄望技術會對教育教學帶來革命性變革，但卻以為加大設備的投入和使用即可達到。事實上，智慧課堂構建成功與否，最主要的標志是看課堂教學中信息化的作用是否由提供便利和提高效率升級為支撐教學創新（鐘紹春等，2020）。因此學科教師應與時俱進，根據學科特點、學習者特征和智慧課堂理念進行多模態教學活動的再設計，立足于讓學生提高問題解決能力、創新能力等高階思維能力來應用AR/VR等技術創建的多模態學習環境。同時，推進5G技術與教育新技術的融合，提供能方便師生課堂應用的輕量級設備，也是保障多模態智慧課堂能夠落地實施的重要舉措。

2. 5G多模態資源整合——注重多通道融合

“彩虹的秘密”課程中主要使用了AR軟件讓學生身臨其境地感受雨過天晴等場景，動畫、聲音、圖片等調動了學生的視聽等多通道，實現了多模態的感官刺激。多模態資源是學生獲取知識的主要來源，不同的學生有著不同的感官傾向，多模態的刺激有利于學生對學習內容的關注和記憶，因此要盡可能多地設計和構建多種模態的課程資源。教師在教學過程中，可以通過合理使用全息、VR/AR等技術，拓展學生學習的空間，豐富學生可以獲取的信息類型，為學生進行自主探究提供支持。此外，在進行多模態學習資源的創設過程中，同樣應以學生為本，使課堂能夠幫助學生提高自身的多元互動能力和各種器官協同工作的能力，使學習者輕松快樂地學習，而且使師生、生生相互協作，相互促進，形成學習共同體，激發出更大潛能。

3. 5G多模態互動——重視自主探究、概念交互

本次5G多模態課堂的教學嘗試中使用了全息技術、AR技術、智慧學習筆等技術讓學生與同伴、教師、學習環境之間進行了多模態的交互。學生在本節課堂中達到了較好的學習效果，這得益于課程設計階段教師注重學生的自主探究以及概念交互。

多模態互動的過程中應以教師為主導，以學生為主體，重視學生的自主探究。教師不僅要關注學生的知識獲得，也要關注學生的能力培養，重視學生已有概念和新概念的交互。在本案例中，彩虹的形成條件等知識都是在教師的引導下，讓學生通過自主與多模態資源進行交互探究所得。陳麗（2004）指出學生與媒體的交互旨在促進學生與學習資源、同伴和教師的交互，從而實現學生自身已有概念和新概念的交互。教師應將實現學生的概念交互作為技術媒體引入的衡量標準。教師需要在技術進入課堂時形成清晰的作用路徑，即技術將如何促進學生與教學要素的信息交互，從而如何推動哪些新舊概念的交互。在技術使用的過程中，教師要時刻關注路徑中要素交互的觸發，實時推動學生概念交互的發生，幫助學生實現深層次的學習（王志軍等，2017）。

此外，在多模態互動的過程中還應注意通過多模態信息和支架降低技術帶來的認知負荷。綜合使用多種技術必然會給學生帶來較高的認知負荷，但已有研究證明教學中多模態的信息在一定程度上能夠降低學生對于知識學習的認知負荷（郇怡斌，2013）。新技術進入課堂，教師需要給予學生一定的時間熟悉操作。在初始階段，教師需要進行一定的示范操作，通過投屏演示與解說相結合的方式介紹技術產品使用方式，幫助學生盡快熟悉產品。在課堂過程中，教師需清晰地發布技術應用的任務，避免學生過度探索。結構清晰的任務單等支架工具也可以起到引導學生合理使用技術的作用。

4. 5G多模態評估——多元、動態評估

多模態智慧課堂倡導多元化的學習評價體系（周曉春，2020）。本次多模態課堂中使用了智慧學習筆對學生進行多模態評估，但由于技術的限制，在多元、動態評估方面仍有欠缺，還未能全面、動態地對學生的表現進行評估。

隨著5G技術的發展，多元化、動態的評估方式可以對學習主體在某一特定階段的學業表現作出準確、全面、合理的評價與反饋。如使用學習分析技術，捕捉、處理活動過程中的學生數據，對學生使用其他技術的學習結果進行實時監測;智能設備實時捕捉學生在學習過程中產生的多模態數據，對數據進行分析和報告呈現。隨著筆跡識別技術的發展，教師可以根據課程內容啟發學生利用圖像、文字等多種方式進行記錄，拓展學生學習數據的類型。此外，數據的分析可以幫助教師對學生的課堂表現進行動態評估，也可以用于檢測學生應用其他技術進行學習的成果。具體來說，通過對學生探究過程數據的分析，教師可以了解不同小組的探究過程和結果，對學生進行精準指導;通過統一問答測試，教師可以掌握全體同學的學習情況，抓住教學難點，進行有針對性的講解。

未來5G多模態智慧課堂的建設將建立5G環境下的學習分析、情感識別、情境感知等智能感知環境，形成教與學實時數據采集規范，動態采集教與學數據，為實現多模態的教學創新提供精準的數據支持，幫助教師進行精準決策和調控。

參考文獻：

[1]蔡蘇，王沛文，楊陽等（2016）.增強現實（AR）技術的教育應用綜述[J].遠程教育雜志， 34（5）：27-40.

[2]陳麗（2004）.遠程學習的教學交互模型和教學交互層次塔[J].中國遠程教育，（5）：24-28，78.

[3]陳琳，陳耀華，李康康等（2016）.智慧教育核心的智慧型課程開發[J].現代遠程教育研究， （1）：33-40.

[4]陳穎博，張文蘭，陳思睿（2020）.基于增強現實的場館學習效果分析——以“AR盒子”虛擬仿真學習環境為例[J].現代遠程教育研究，32（5）：104-112.

[5]戴志敏，郭露（2013）.多模態信息認知教學模式中案例教學效果解析[J].教育學術月刊，（1）：79-83.

[6]顧曰國（2007）.多媒體、多模態學習剖析[J].外語電化教學，（2）：3-12.

[7]IMT-2020（5G）推進組（2015）.5G概念白皮書[EB/OL]. [2019-03-22]. http：//www.imt2020.org.cn/zh/documents/1.

[8]蘭國帥，郭倩，魏家財等（2019）.5G+智能技術：構筑“智能+”時代的智能教育新生態系統[J].遠程教育雜志，37（3）：3-16.

[9]李佩佩，陳琳，馮熳（2017）.全息技術在智慧教育中的應用研究[J].現代教育技術，27（6）：12-17.

[10]沈洪，馬楠，陳宇（2015）.基于多模態信息融合理論的信息技術外包人才培養課程體系構建 [J].中國高教研究，（3）：86-88.

[11]田陽，陳鵬，黃榮懷等（2019）.面向混合學習的多模態交互分析機制及優化策略[J].電化教育研究，40（9）：1-8.

[12]王慧君，王海麗（2015）.多模態視域下翻轉課堂教學模式研究[J].電化教育研究，36（12）：70-76.

[13]王志軍，趙宏，陳麗（2017）.基于遠程學習教學交互層次塔的學習活動設計[J].中國遠程教育，（6）：39-47.

[14]夏穎（2016）.基于多模態話語分析理論的大學生自主學習模式研究——以大學英語課程為例[J].黑龍江高教研究，（9）：138-141.

[15]新華社（2020）.政府工作報告[EB/OL].[2020-12-01].http：//www.gov.cn/premier/2020-05/29/content_5516072.htm.

[16]郇怡斌（2013）.新媒介時代英語專業視聽課多模態教學的實施[J].教育與職業，（14）：151-152.

[17]袁磊，張艷麗，羅剛（2019）.5G時代的教育場景要素變革與應對之策[J].遠程教育雜志，37（3）： 27-37.

[18]張坤穎，薛趙紅，程婷等（2019）.來路與進路：5G+AI技術場域中的教與學新審視[J].遠程教育雜志，37（3）：17-26.

[19]趙興龍，許林，李雅瑄（2019）.5G之教育應用：內涵探解與場景創新——兼論新興信息技術優化育人生態的新思考[J].中國電化教育，（4）：5-9.

[20]中華人民共和國教育部（2018）.教育部關于印發《教育信息化2.0行動計劃》的通知[EB/OL].[2020-10-12].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[21]鐘紹春，鐘卓，張琢（2020）.如何構建智慧課堂[J].電化教育研究，41（10）：15-21，28.

[22]周曉春（2020）.多模態視域下英語學習智慧課堂構型初探[J].湖北文理學院學報，41（4）：72-76，85.

[23]Akcayir， M.， & Akcayir， G. （2017）. Advantages and Challenges Associated with Augmented Reality Crossmark for Education： A Systematic Review of the Literature[J]. Educational Research Review， 20：1-11.

[24]Azuma， R. （1997）. A Survey of Augmented Reality[J]. Presence of Teleoperators & Virtual Environments， 6（4）：355-385.

[25]Azuma， R.， Baillot， Y.， & Behringer， R. et al. （2001）. Recent Advances in Augmented Reality[J]. IEEE Computer Graphics and Applications， 21（6）：34-47.

[26]Cai， S.， Chiang， F.-K.， & Sun， Y. et al. （2017）. Applications of Augmented Reality-Based Natural Interactive Learning in Magnetic Field Instruction[J]. Interactive Learning Environments， 25（6）：778-791.

[27]Cai， S.， Liu， E.， & Yang， Y. et al. （2019）. Tablet-Based AR Technology： Impacts on Students Conceptions and Approaches to Learning Mathematics According to Their Self-Efficacy[J]. British Journal of Educational Technology， 50（1）：248-263.

[28]Kress， G. R.， & Van Leeuwen， T. （2001）. Multimodal Discourse： the Modes and Media of Contemporary Communication[M]. London： Arnold.

[29]Ruiz-Ariza， A.， Casuso， R.A.， & Suarez-Manzano， S. et al. （2018）. Effect of Augmented Reality Game Pokemon GO on Cognitive Performance and Emotional Intelligence in Adolescent Young[J]. Computers & Education， 116：49-63.

[30]Strzys， M. P.， Kapp， S.， & Thees， M. et al. （2018）. Physics Holo.lab Learning Experience： Using Smartglasses for Augmented Reality Labwork to Foster the Concepts of Heat Conduction[J]. European Journal of Physics， 39. doi： 10.1088/1361-6404/aaa8fb.

[31]ITU-R（2015）. IMT Vision-Framework and Overall Objectives of the Future Development of IMT for 2020 and Beyond[R]. Geneva： ITU-R M.2083：5.

收稿日期 2020-12-20責任編輯 汪燕

Practice of Multimodality Smart Classroom Under 5G Environment

CAI Su， JIAO Xinyue， YANG Yang， JIANG Linfan， YU Shengquan

Abstract： The popularization of 5G technology will promote the teaching to be more personalized， precise， intelligent， and integrated. However， the current domestic research on the integration of 5G technology and education is mostly theoretical exploration and concept construction， and there is a lack of practical cases in real classrooms. Therefore， exploring the smart classroom teaching method of multimodality teaching in the 5G environment will help to combine theory with practice， and provide a reference for the development and application of smart classrooms. Joint Lab for Mobile Learning of MOE-CMCC in Beijing Normal University and China Mobile Communications Corporation （CMCC） have developed a case of multimodality smart classroom under the 5G environment： “The Secret of Rainbow”. This smart classroom adopted a multimodality smart teaching method which consists of the integration of multimodality resources， multimodality interaction and multimodality evaluation， and connected to a variety of intelligent terminals and educational equipment including VR/AR/MR equipment， holographic projection， smart whiteboard， mobile terminal， smart learning pen， taking advantages of the technical characteristics of 5G-wide bandwidth， low latency， and large connection. It realized the seamless interconnection and collaborative work between a variety of hardware and software devices， providing learners with an immersive real-time learning experience. This study summarized that when implementing multimodality smart classrooms， it is necessary to take the “student-oriented” as a principle to construct a multimodality learning environment and multimodality resources integration of multi-channel， and encourage students to realize the interaction between new and old concepts through independent exploration. In addition， the multimodality smart classroom also advocates a diversified and dynamic learning evaluation system to help teachers make precise decisions and adjustments.

Keywords： 5G; Multimodality; Smart Classroom; Model Construction; Practical Case