多模態視角下中小學人工智能課堂教學行為分析

中圖分類號：G4 文獻標志碼：A 文章編號：2096-0069（2025）03-0057-08

引言

隨著“人工智能 + 教育”的發展和智慧教學環境的普及，教學行為的數據形態、技術環境、分析工具等都在不斷變化。吳玲娟[認為教學行為不再是單一化的師生語言行為，而是包含師生語言、身體動作、信息技術應用等多模態行為。史素夢等[則認為教學行為是反映教師教學能力的最佳途徑。多數研究者基于改進型弗蘭德斯互動分析系統，運用滯后序列分析挖掘課堂存在的問題并提出建議。例如，李曉敏等[3采用滯后序列分析法總結出優質小學人工智能課堂特征，并提出相應的建議；胡炬等[4認為該方法是基于時間序列的“切片”，主要是對課堂教學行為進行編碼和量化處理，從而為課堂教學提供指導性意見。但這僅是以單模態的視角分析課堂中的師生行為，而沒有將言語、行為、信息技術應用等模態進行融合分析，難以發揮模態間的互補性作用，以呈現復雜的教學情景。為此，李小娟等開始探索運用多模態視頻分析軟件分析教學行為的模態密度和模態協同情況。

2017年至今，我國發布了一系列政策文件推動中小學開展人工智能課程，著力培養學生的人工智能素養。學術界已涌現出大量的中小學人工智能課堂研究成果。于勇等通過分析日本中小學人工智能課程體系的現狀，為我國中小學人工智能教育課程體系的發展提出建議。李天宇[通過挖掘STEAM教育融入中小學人工智能教育的切入點，構建了基于STEAM教育的中小學人工智能教育模式。李睿等基于經典的評價系統三要素模型，設計出指向人工智能課程教學評價的評價量規設計模型。然而，當前針對中小學人工智能課堂的教學行為研究相對較少。此外，中小學人工智能課堂中的師生充分運用了語言、體態動作、圖片、視頻等多模態符號，符合多模態教學行為的研究條件?；诖?，本研究從多模態視角研究3個問題： ① 師生在中小學人工智能課堂中的模態分布特征如何？ ② 在中小學人工智能課堂的不同教學環節，師生所采用的多模態有何不同？ ③ 中小學人工智能課堂的教學行為模態如何協同？

一、研究設計

（一） 研究對象

本研究選取某市中小學3＼～8年級人工智能的3節優秀課例視頻作為研究對象，具體為四年級上冊第6課“迎賓機器人”、五年級上冊第6課“能識別交通標志的無人車”和八年級上冊第6課“打卡機器人”，每個課例的時長為40分鐘。這3節屬于人工智能編程課程，是中小學人工智能課程的核心內容之一，主要依托開源硬件或虛擬編程平臺，運用圖形化編程語言、Python編程語言等編程語言，逐步培養學生的智能思維。

（二）研究方法及研究工具

本研究基于張德祿的多模態話語分析理論框架，結合已有的中小學人工智能教育教學研究，確定了語言、身體姿態和信息技術應用3類模態及5個教學環節，形成中小學人工智能課堂多模態教學行為分析框架，如表1所示。

為方便分析同一時刻不同模態的教學行為數據，本研究采用多模態語料標注軟件ELAN6.5作為研究工具，參照中小學人工智能課堂多模態教學行為分析框架的模態類型在軟件中定義不同層級，形成中小學人工智能課堂多模態教學行為標注模板。然后，由3位具有人工智能教育背景的研究人員采用面對面形式，以每3秒為間隔，對3節人工智能課例進行標注。

二、數據分析

通過在ELAN6.5軟件中對3節人工智能課堂的多模態標注，獲得每節課的標注數為2500＼～3000個，共得到7919個標注數，并將導出的標注類型、標注數量、標注時長等統計結果導入Excel表格進行統計，最后從教師的多模態特征、學生的多模態特征、不同教學環節師生的多模態特征、多模態教學行為的協同作用等方面展開具體的數據分析。

（一）中小學人工智能課堂中教師整節課的多模態特征

教師在課堂上的多模態特征影響著整個課堂的狀態、進程和效率。在中小學人工智能課堂中，教師的多模態特征是怎樣的呢？3節課例的多模態數據統計結果如表2所示。3位教師在課堂上主要利用了眼神、手勢、語言、信息技術應用等4種模態符號，其中使用最頻繁的是眼神模態，總頻率為1744次，總占比為50.99% ；其次是信息技術應用模態，總頻率為814次，總占比為 23.80% ；語言模態（546次， 15.96% 和手部動作模態（250次， 7.40% ）相對比較少。

不同教師所采用的模態行為存在差異。 ① 在眼神模態中，3位教師各有側重。課例1教師更多地注視個體學生（ 36.92% ），關注個別學生的表現；課例2的教師傾向于面向講臺 （39.36% ，集中把控教學內容；而課例3的教師傾向于面向全班（ 47.05% ，關注學生群體的學習情況。 ② 課例 1～ 課例3的運用教師媒體技術輔助教師講解模態占信息技術應用模態的比例，明顯高于其他模態，分別為 35.64% 一 29.23% ， 20.26% 同時反映出3位教師依賴媒體技術來支持課堂講授的情況。此外，相較于課例1教師，課例2和課例3的教師使用面向全班展示學生作品的頻數及其占信息技術應用模態的比例較高，分別為19次 /7.39% 和98次137.12% ，以檢驗學生的編程能力和知識掌握程度。 ③ 在語言模態中，課例 1～ 課例3的教師主要側重于講授，占比分別為 14.74% 、 12.18% 、 19.23% ，而提問和反饋則相對較少。 ④ 在手部動作模態中，課例1～課例3的教師運用指示性手勢和板書模態的頻數比較多，其中，課例2的教師更注重通過板書講解機器人的原理和流程圖；相較于其他教師，僅有課例1的教師有意識地運用鼓勵性手勢肯定學生的表現，并通過指示性手勢提升學生的注意力。

（二）中小學人工智能課堂中學生整節課的多模態特征

學生在課堂中的多模態特征能夠有效表征學生的學習狀態和有效預測學生的學習效果。如表3所示，3節課例的學生在課堂上主要利用了眼神、手部動作、語言和信息技術應用等4種模態符號，其中，眼神模態的總頻率為2053次，總占比為 61.45% ；手部動作模態的總頻率為891次，總占比為 26.67% ；語言模態的總頻率為258次，總占比 7.72% ；信息技術應用模態的總頻率為152次，總占比為 4.16% 9

不同課例的學生所呈現出的多模態特征存在明顯差異。 ① 在眼神模態中，相較于課例1（277次）和課例2（290次），課例3（750次）的學生更頻繁地注視學生個人區域。這一差異與教師是否操控學生端計算機屏幕有關，容易出現在教師通過板書講解的過程中，學生仍繼續面向學生端計算機的情況，導致教師多次口頭提醒學生注視黑板。 ② 課例1（小學低年級）、課例2（小學高年級）、課例3（初中）的學生主動發言頻數和占語言模態比例分別為105次 193.75% 85次/74.56%.9 次 128.12% ，這一趨勢反映出隨著年級的提高，學生在課堂討論中的主動性逐漸減弱。 ③ 在手部動作模態和信息技術應用模態中，課例1和課例2的學生以紙質版任務單作為學習輔助工具，而課例3的學生是通過在線學習網站完成，其原因與學生的信息素養水平有關。此外，課例1和課例2的學生通過虛擬平臺與實體人工智能硬件聯動，提升了學生在人工智能課堂中的沉浸感。

（三）中小學人工智能課堂中不同教學環節師生的多模態特征

師生在不同教學環節中所表現的多模態行為標注總數如下頁表4所示。場景導入環節是師生通過多模態互動營造課堂氛圍的初始環節。在這個環節，3節人工智能課例的師生使用眼神模態的總頻率最高為339次，占該環節全部模態的比例為 68.90% ，其次是信息技術模態的使用總頻率和占比為79次 116.06% ，然后是手部動作的使用總頻率和占比為41次 18.33% ，最后是語言的使用總頻率和占比為20次 14.07% 。可見，教師主要通過眼神模態與學生進行互動，采取PPT、微課視頻等信息技術模態用于輔助講解，使用指示性手勢鼓勵學生回答問題；學生則主要通過眼神和語言模態表達在課堂中的投人狀態。

原理認知環節是人工智能課程的基礎理論部分。在這個環節，3節人工智能課例的師生使用眼神模態總頻率最高為774次，占該環節全部模態的比例為11.32% ，其次是信息技術的使用總頻率和占比為261次 /18.47% ，然后是手部動作的使用總頻率和占比為205次 14.51% ，最后是語言的使用總頻率和占比為160次 11.32% 。與上一個環節相比，師生在此環節更加注重信息技術模態的使用，原因在于人工智能的原理過于抽象，教師需借助視頻、圖片等可視化形式降低學生的認知負荷；學生則通過任務單書寫、機器人搭建等模態理解人工智能的原理。

算法設計環節是人工智能課程的核心部分。在這個環節，3節人工智能課例的師生使用眼神模態總頻率最高為963次，占該環節全部模態的比例為 59.52% ，其次是語言的使用總頻率和占比為254次 /15.70% ，然后是信息技術的使用總頻率和占比為222次 113.72% ，最后是手部動作的使用總頻率和占比為170次 /10.51% （2號與上一個環節相比，師生在此環節的語言模態使用頻率明顯增加，原因在于教師需要運用通俗易懂的語言講解機器人功能的算法設計邏輯，幫助學生逐步理解算法的思想。

作品實現環節是學生動手實踐的重要部分。在這個環節，3節人工智能課例的師生使用眼神模態總頻率最高為1725次，占該環節全部模態的比例為53.91% ，其次是手部動作的使用總頻率和占比為756次 123.63% ，然后是信息技術的使用總頻率和占比為462次 114.44% ，最后是手部動作的使用總頻率和占比為170次 110.51% 。與上一個環節相比，師生在此環節的手部動作模態使用頻率明顯增加，原因在于教師通過指引性手勢強調關鍵步驟和提供平臺操作的技巧，而學生需要動手實踐完成作品才能真正掌握算法的思想。

課堂總結與智能社會責任培養環節是對課程的回顧總結與學生的智能社會責任培養。在這個環節，3節人工智能課例的師生使用眼神模態總頻率最高為896次，占該環節全部模態的比例為 64.37% ，其次是語言的使用總頻率和占比為216次 115.52% ，然后是信息技術的使用總頻率和占比為182次 113.07% ，最后是手部動作的使用總頻率和占比為82次 /5.89% 。與上一個環節相比，師生在此環節的語言模態使用頻率明顯增加，原因在于教師鼓勵學生發表本課程的收獲和對人工智能技術的看法，從而培養學生的表達能力。

（四）多模態教學行為間的協同作用

韓艷方[]認為模態協同是指運用不同的模態形式（如語言、文字、圖像等）進行協作，增強信息的表達力和交際效果。為分析中小學人工智能課堂中不同模態協同構建的完整意義，本研究選取3個課例的原理認知、算法設計和智能社會責任培養片段展開深入探討，并從時序角度繪制中小學人工智能課堂的多模態教學行為協同情況，如下頁圖1所示（橫向表示時間序列，縱向表示多模態教學行為協同）。同時，本研究發現在相同的教學片段中，不同課例展現出的模態協同方式存在差異性。

1.促進學習者人工智能原理理解的多模態協同

為促進學習者對人工智能原理的理解，3節課例主要采取以下3種多模態協同方式： ① 教師“注視個體 + 指示性手勢”和學生“轉向學生個人區域 + 書寫 + 操作人工智能平臺”模態協同，如：學生在教師的引導下完成任務單中機器人工作原理的練習，同時借助人工智能平臺搭建虛擬機器人，深入理解機器人各元件的作用和聯系。 ② 教師“面向講臺 + 講授 + 指示性手勢 + 媒體技術輔助講解”和學生“轉向教師區域”模態協同，如：在講解“迎賓機器人”工作原理時，通過PPT展示該機器人的各元件，協同語言將各元件的任務類比為人的身體部位，降低學生的認知負荷。 ③ 教師“注視全班+ 媒體技術輔助講解”和學生“轉向學生個人區域”模態協同，如：在講解“無人車”工作原理時，教師通過播放富含動畫、圖片等形式的微課視頻，呈現無人車各個部件之間的關系，而學生通過學生端計算機近距離觀看。

2.提升學習者人工智能編程能力的多模態協同

為提升學習者的人工智能編程能力，3節課例主要采取以下3種多模態協同方式： ① 教師“注視全班”和學生“轉向同伴 + 主動發言”模態協同，如：學生在完成機器人作品的過程中遇到困難時，其同伴會主動講授解決辦法。 ② 教師“注視全班 + 反饋和技術展示學生作品”和學生“轉向學生區域 + 操作人工智能平臺 + 操作人工智能硬件”模態協同，如：教師在引導學生編寫程序時，首先用目光掃視全班，隨后借助軟件向全班展現某位學生的作品完成情況，讓學生調試和運行平臺的程序來檢驗實體機器人的功能，并在語言上給予肯定的評價和引導。 ③ 教師“面向講臺 + 講授 + 指示性手勢 + 板書”和學生“轉向教師區域”模態協同，如：教師通過PPT呈現“迎賓機器人”功能的部分流程圖，通過板書講解填充流程圖的要求，運用指示性手勢引導學生完成內容，提高學生對程序思路的認識和理解。

3.培養學習者智能社會責任感的多模態協同

為培養學習者的智能社會責任感，3節課例主要采取以下3種多模態協同方式： ① 教師“注視全班”和學生“轉向同伴 + 主動發言”模態協同，如：在小組討論“無人車在生活中的利弊”的過程中，學生能夠基于課堂內容進行大膽創想，從而提升表達能力以及社會責任感。 ② 教師“注視全班 + 反饋”和學生“轉向教師區域 + 主動發言”模態協同，如：在教師組織學生發表如何設計一款減輕醫護人員負擔的機器人時，學生敢于發表想法，同時教師認真玲聽學生的建議，給予微笑和鼓勵性手勢，從而提升師生互動效率和加快課堂進度。 ③ 教師“注視全班 + 講授 + 媒體技術輔助講解”和學生“轉向教師區域”模態協同，如：教師通過微課視頻呈現人工智能在生活中的利弊，學生以聆聽的方式簡單記憶。

三、研究結論與改進建議

本研究發現，3位教師在中小學課堂中所應用的模態類型基本一致，其中眼神模態是3位教師使用最為頻繁的模態，特別是注視個體和面向全班，強調了個性化關注和整體教學效果。信息技術應用模態也占據著重要地位，3位教師在課堂中積極地運用信息技術，尤其是在媒體技術輔助講解和展示學生作品方面，但該模態的實時分析學生學習數據幾乎沒有。手部動作模態中的指示性手勢和板書的使用頻率較高，而鼓勵性手勢使用頻率偏低，說明3位教師有意識地利用肢體動作吸引學生的注意力，但對學生的肯定性評價比較匱乏。

學生的多模態特征具有豐富而多樣的表現。眼神模態在3個課例中均是學生使用最為頻繁的模態，特別是轉向學生個人區域和轉向教師區域的使用頻率較高，這說明學生關注課堂的學習并積極與教師互動。手部動作模態也得到了相當的重視，尤其是操作人工智能平臺和操作相關硬件方面，這表明學生積極參與實踐性學習。語言模態相對較高的使用頻率反映了學生在表達個人觀點、主動發言和回答問題等方面的活躍度。相比之下，信息技術應用模態的使用頻率較低，尤其是在完成理論學習和上傳作品方面，學生的應用相對較為有限。

在不同的教學環節，師生的眼神模態數量一直占據主導地位，但其他模態的數量有所變化。在場景導入、原理認知環節，信息技術應用模態凸顯表明教師在向學生講授人工智能的抽象知識時傾向于采用可視化手段，這也印證了通過圖像和視頻等媒體形式傳遞信息有助于降低學習者的認知負荷，提高學習效果；在算法設計、課堂總結與智能社會責任培養環節，語言模態的凸顯表明教師在向學生解釋機器人功能的算法設計邏輯時，更加注重語言的表達；在作品實現環節，手部動作模態的凸顯表明教師通過指示性手勢，強調作品的關鍵操作步驟，促使學生親自動手實踐，這有助于學生將理論知識應用到實際中，加深對算法思想的理解。此外，在傳授知識復雜度最高的算法設計環節和實踐能力綜合性較強的作品實現中，教師所使用的模態頻數都高于其他環節，這也進一步驗證了教師在突破教學重點、難點的過程中，所選取的模態往往復雜度較高，使用頻率也比較高。

多模態教學行為主要由眼神 + 語言、眼神 + 手部動作、眼神 + 信息技術、眼神 + 語言 + 手部動作、眼神 + 手部動作 + 信息技術、眼神 + 言語 + 手部動作 + 信息技術等不同渠道的模態共同構建最有效的意義表達。多模態教學行為間的協同方式隨著教學內容的差異而進行動態調整，以實現知識的有效傳遞。教師通常選取語言、眼神、手部動作、信息技術等模態協同方式，具象化人工智能理論知識，同時加強學生的實踐操作，促進理論與實踐的結合。在涉及倫理和社會責任等方面的教學內容時，師生往往以眼神和語言為主，協同信息技術應用模態，以培養學生的批判性思維和智能社會責任感。

基于此，本研究提出中小學人工智能課堂教學建議：一是合理選取不同教學環節的模態類型和數量。在不同的教學環節，以引導學生的學習過程為主，圍繞學科核心素養、教學重難點、知識的特點等方面，靈活設計不同的模態信息組合。在組合不同的模態信息時，應考慮模態間的關系是否具有互補、強化和協同作用，避免出現抵消、相斥現象。二是提高模態協同方式的有效性。在中小學人工智能課堂中，僅通過教師的講授語言、媒體信息呈現及學生的注視和玲聽，難以使學生透徹地理解人工智能的原理。若增強教師的手勢指導、智能評價以及學生動手操作實物機器人，則有助于提高人工智能課堂的教學效果。三是關注多種模態間的轉換與配合。同一類型模態間進行轉換時，需借助其他模態進行信息表達。如：教師想使學生的眼神由學生端計算機屏幕轉向板書，可通過聽覺模態引導學生的眼神進行轉移，提高教學效率。

四、結語

本研究首先構建了中小學人工智能課堂多模態教學行為分析框架，借助多模態視頻分析工具ELAN6.5標注了3節中小學人工智能優秀課例的多模態教學行為，并分析和總結了師生在中小學人工智能課堂中的模態分布差異和協同方面的特征，最后從模態類型和數量、模態協同方式有效性、模態間轉換與配合等方面提出了改進中小學人工智能課堂質量的相關建議。本研究的主要局限性在于多模態教學行為類型不夠豐富，課例分析的類型和樣本數量也不夠充足，因此，在未來的研究中需擴大樣本量，借助人工智能技術識別中小學人工智能課堂多模態教學行為，以更精準地反映中小學人工智能課堂的多模態教學特征。S

參考文獻

[1]吳玲娟.外語視頻直播課堂的多模態教學行為研究及啟示[J].現代教育技術，2022，32（10）：53-60.

[2]SHIS，GAOJ，WANGW.Classroomteachingbehavior analysisBasedon Artificial Intelligence[M].Singaprope city：SpringerSingapore，2021：25-36.

[3]李曉敏，鄭友嫻，劉昊，等．小學人工智能課堂教學行為分析研究[J].數字教育，2024，10（4）：38-43.

[4]胡炬，盧甜，趙健.師范生實習支教云端音樂課堂多模態教學行為分析[J].電化教育研究，2022，43（9）：114-119，128.

[5]李小娟，劉清堂，吳林靜，等.混合同步課堂中師生多模態互動行為的動態協同分析[J].電化教育研究，2022，43（8）：43-50.

[6]于勇，徐鵬，劉未央.我國中小學人工智能教育課程體系現狀及建議：來自日本中小學人工智能教育課程體系的啟示[J].中國電化教育，2020（8）：93-99.

[7]李天宇.基于STEAM教育的中小學人工智能教育研究：以“機器會思考嗎”一課為例[J].現代教育技術，2021，31（1）：90-97.

[8]李睿，何敏怡．人工智能課程教學評價量規設計模型與實踐案例研究[J].數字教育，2023，9（1）：77-84.

[9]張德祿.多模態話語分析綜合理論框架探索[J].中國外語，2009，6（1）：24-30.

[10]韓艷方.多模態話語中模態協同的多維分析：系統功能視角[J].外語學刊，2022（1）：35-40.

（責任編輯 李強）

Analysis of Teaching Behavior in Primary and Secondary School Artificial Intelligence Classroom from a Multimodal Perspective

Gu Jiahuan， Ma Xiufang （SchoolofoatioologinuationouthiaalUesityangougdong

Abstract：The analysis of teaching behavior inprimaryand secondaryArtificial Intelligence Classroom helps teacher identify classroom teaching problems and improve the level of Artificial Intelligence Classroom teaching. However， there are fewer studies on the teaching behavior of Artificial Intelligence Clasroom in primary and secondary school.This paper constructed a framework for analyzing the teaching behavior of primary and secondaryschoolArtificial Intellgence Clasroom fromamultimodal perspective，andusedELAN6.5software to multimodallyannotate threequality primaryandsecondaryschool Artificial Inteligence Classroom examples to analyzethemodaldistributioncharacteristic，modalsynergisticcharacteristic，andmodalcharacteristicdierence between teacher and student in the classroom. Finally，the paper put forward relevant suggestions for optimizing primaryand secondaryschool Artificial Intelligence Classroom in terms of the type and number of modes，the effectivenessofmodal syergisticapproachandtheintermodalconversionandcooperationexpectingtoprovide references for the improvement of teaching quality and analysis of teaching behavior in primary and secondary school Artificial Intelligence Classroom.

Key words： Multimodal; Primaryandsecondaryschool; Artificial Intelligence Clasroom; Teachingbehavior analysis; ELAN