基于多模態數據的智慧課堂學生學習行為研究

DOI：10.3969/j.issn.1673-8454.2024.04.012

作者簡介：江婕，江西科技師范大學教育學部副教授、碩士生導師（江西南昌 330038）；于文婷，江西科技師范大學教育學部碩士研究生（江西南昌 330038）；王海燕，江西科技師范大學教育學部碩士研究生（江西南昌 330038）

基金項目：2023年江西省教學改革課題“智慧學習環境下基于多模態數據的學習行為評價研究”（編號：JXJG-23-10-13）；2023年江西省高校人文社會科學研究項目“智慧學習環境下基于多模態數據的學習行為研究”（編號：JY23106）

摘" "要：新興技術賦能下的智慧課堂為學生學習行為監測、評價、反饋、預警提供豐富的教育多模態數據，充分采集、處理和分析教育多模態數據能夠為教育研究和實踐提供參考。首先，梳理已有智慧課堂學習行為分析和多模態數據教學研究，借鑒學習行為分類系統，構建基于多模態數據類型的“聲音數據—圖像數據—文本數據”三維的多模態數據分析框架，從言語學習活動、位置移動、身體動作、技術使用四個方面呈現智慧課堂下學生學習行為變化；其次，將體現學生學習行為特征的多模態數據編碼，并進行質性表征形成編碼體系；最后，從情境和時序行為分析視角出發，對課例中的學習行為多模態數據進行頻度變化及周期性變化分析。研究得出，在智慧課堂環境下，學生課堂學習參與性、主動性、專注度均在不斷提升，課堂學習氛圍朝著積極的方向發展，無效及無關學習行為逐漸減少。此外，通過對學生學習行為多模態數據的剖析，以期為學生了解自身學習行為及狀態、教師進行個性化教學，以及研究者構建學習評價體系提供數據來源、科學依據。

關鍵詞：智慧課堂；學習行為；多模態數據；框架構建；數據分析

中圖分類號：G434" " " " "文獻標志碼：A" " " " "文章編號：1673-8454（2024）04-0107-11

一、引言

當今教育界，正在發生新一輪的“課堂革命”，物聯網、大數據、云計算、人工智能等技術在教育場景中的應用，使傳統教育受到顛覆式的沖擊，同時也面臨最直接的挑戰。2008年IBM提出“智慧地球”戰略，“智慧”概念在教育教學中獲得廣泛關注。國家高度重視智慧課堂的發展及應用：提出基于智慧課堂1.0的“云、端”信息化平臺架構，發布《教育信息化十年發展規劃（2011—2020年）》[1]提出推進智慧課堂發展，2019年教育部公布“智慧教育示范區”創建項目，促進智慧課堂全面應用。

智慧課堂的發展離不開智能技術的支撐，經濟合作與發展組織發布的《2021 OECD數字教育展望》報告中，將智能技術對課堂教學的改變作為重點關注領域。[2]近年來，隨著智能系統、眼動儀、腦電儀等智能感知設備的發展，以及自然語言處理、計算機視覺、語音識別、生理信息識別等智能技術的成熟，為智能課堂發展帶來新的契機。[3]

本研究以智慧課堂智能設備為數據搜集技術支撐，利用數據挖掘、機器學習獲取與分析數據，從多模態學習行為分析的視角出發，基于學生學習行為構成要素，設計形成多模態數據的學習行為分析框架，并進行為期一學期的行為數據收集，以期探究學生學習行為變化規律，挖掘潛在教育價值，推進教育研究朝著數據化、動態化、科學化、精準化方向發展。

二、智慧課堂學生學習行為多模態分析

課堂是教育教學的主戰場，是人才培養的重要陣地。在學習過程中，學生通過視覺、聽覺、觸覺等多種感官渠道，與教師、同伴、科技產品、傳統學習工具等對象進行互動，產生大量多模態數據，“人—機—物”三元融合，進而在大腦皮層完成對新知識的意義建構。[4]

（一）智慧課堂學習行為研究

教學是由教師的“教”和學生的“學”共同組成的活動，活動代表行為的發生。課堂教學行為劃分為教師行為、學生行為、互動行為。其中，學生行為是在課堂教學過程中，學生對課堂活動的行為反饋。對行為的細致分析有助于教師掌握學生學習狀態，以便提供更準確的幫助。[4][5]課堂學生行為分析是系統地收集與課堂學生行為有關的一切信息，根據培養目標和要求，運用合理的評價方法，對其學習活動及相關因素進行測量和價值判斷。

早期，弗蘭德斯（Flanders）形成基于10維度的課堂互動分析系統（FIAS），提出S-T分析方法，基于時序記錄師生行為數據；由于課堂信息化及富媒體技術的不斷發展，研究者將信息技術融入編碼系統，開發行為分析軟件，有學者整理出學生課堂學習行為投入度的6個觀察指標，基于計算機視覺技術，設計學生課堂學習行為分析系統；有學者設計了基于信息技術的互動分析編碼系統（ITIAS）；[6]有學者將智慧課堂教學互動數據可視化呈現，動態化生成數據分析框架。[7]近年來，立足人工智能時代“多模態”的價值，越來越多的學者開始聚焦多模態數據支持的學習分析研究。[8]多模態學習分析的前沿地位確立于2012年的多模態交互國際會議（ICMI），該會議旨在提出將多模態分析技術與學習科學研究相結合，幫助研究者更好地理解學習的發生機制。

多模態學習分析立足于實際需要，融合學習分析理論和人工智能技術，利用智能傳感設備和智能分析技術探究學習生態的全貌，深化學習分析。本研究嘗試基于多模態學習分析的視角，整合多模態數據來研究智慧課堂中的學習行為特征及變化。

（二）多模態數據的采集

隨著人工智能技術的發展及計算機教育學理論的提出，逐漸實現多模態數據支撐的智能教育應用機制。多模態學習分析利用智能技術采集分析學習多模態數據——表情、眼動、語言、手勢、呼吸、動作、皮電等，識別多元學習空間并深度融合，從而探究學習者認知、行為、情感變化。從現有技術層面來看，多模態數據采集主要有以下幾個途徑。

一是利用平臺采集分析技術形成文本數據，通過在線學習平臺識別學習者在線學習流數據，形成其學習參與互動的文本，如在線瀏覽觀看數據、課堂討論參與、作業提交等文本內容，掌握學習者的情緒感知狀態、認知水平。有學者利用學習者MOOC在線學習行為的文本數據，構建在線學習中基于交互文本的學習行為評價模型，挖掘學習者的情緒狀態、個性化學習特點。[9]有學者利用Web挖掘技術記錄云端學習內容、學習路徑和空間使用記錄等數據，為學習者個性化推薦學習路徑。[10]

二是利用自然語言處理、語音識別技術，對學習者和教師的語音、語調、話語信息數據進行采集和識別。陳雅淑利用語音情感識別技術，判斷學生課堂情緒狀態、興奮度。從而幫助教師判斷學生個性化學習行為，針對性設計課堂模式、課堂交互活動。[11]侯成坤設計課堂教學行為自動識別模型，通過大規模音頻數據集編碼對課堂交互行為進行分析。肯定語音這一模態對教學行為分析的重要性。[12]

三是利用計算機視覺技術、360全景技術，來采集學習者面部神情、動作行為、身體姿態、位置移動等課堂行為數據，對學習者課堂學習專注度、認知情感變化進行智能識別。汪翔根據智慧課堂場景中頭部姿態建立數據庫，依據頭部姿態算法性能，判斷課堂中的學生注意力。[13]利用智能算法、自動標注等方式，識別學習者坐、舉手、站立、睡覺、耳語等基本行為特征。衛曉娜通過抓拍靜態圖像，監測一定時間內學習者眨眼次數，分析識別學習者注意力，判斷其學習狀態。[14]

四是利用生理識別技術對學習者腦電感應、皮膚電、激素分析等數據進行采集，為學習者學習行為研究提供多樣的生理數據支持。[15]研究表明，通過腦機接口和智能眼鏡，可以智能處理表情、情緒與腦神經網絡之間的關系，從學習者情緒態度判斷其學習狀態。[16]生理信號（皮電、腦電、心率）能關聯學習行為過程中認知或情緒變化。[17]

（三）多模態數據的分析框架

教學過程中蘊含大量多模態行為數據，為了合理、準確地構建智慧課堂學習行為多模態分析框架，本研究回歸已有學習行為分類方法，解讀多模態學習分析意義，綜合考察學生學習行為和智慧課堂核心特征，以確定智慧課堂學生學習行為的多模態分析框架。

通過文獻梳理可知，學習行為分類研究成果圍繞師生間“學、教、管、測、評”等教學活動進行分析，有學者根據多模態數據類型，將學生學習行為劃分為基于文本數據的練習、使用媒體行為，基于視頻數據的聽講、提問、討論、使用媒體行為，基于語音數據的提問、討論行為。[18]有學者基于課堂教學與信息技術的融合創立ITIAS交互分析編碼系統，其中將學生行為劃分為依據技術、沉寂、學生言語3個維度，10個編碼體系。2012年有學者優化了 ITIAS 系統，結合數字化智慧課堂教學環境，建立IFIAS系統。該系統再次強調課堂中的言語行為。[19]有研究者提出TBAS課堂行為分析系統，該系統突出信息化教學環境下學生人機交互行為，增加無意義教學活動維度（I），對學生活動、信息技術的類別劃分更加詳盡，更加適用于智慧教室環境中對學習行為進行具體的研究和分析。[20]有學者對智慧課堂核心特征與具身認知理論研究后構建四維度ATMB教學互動多模態分析框架，提及課堂中還存在大量言語及非言語互動，肢體語言作為學習過程的影響因素，成為多模態學習分析的重要研究對象。[21]

通過解讀多模態學習分析意義及特征可知，智慧課堂的發展使學習行為數據不再局限于觀察者紙筆記錄，而是在不同教學場景中全方位監測物理空間、信息空間、心理空間，實現多元學習數據（語言、動作、表情、手勢）深度挖掘。[22]對課堂教學活動中主體、教學情境、教學環境等進行數字化表征，結合智慧課堂“人—機—物”三元交互機制和行為模式，深入揭示學習者行為、生理、認知、情感變化。[23]融合腦類、智能計算等理論知識，揭示外顯行為特征與內在認知發展之間的潛在作用關系，為智慧課堂生態系統的建構提供多元的理論和技術支持。[24]

本研究根據智慧課堂環境下所呈現的數據類型特征，將學生學習行為多模態數據分為多模態聲音數據Sound data（以言語為主的學生課堂活動）、多模態圖像數據Image data（以身體動作及位置改變為主的學習活動）、多模態文本數據Text data（以技術使用為主的學習活動），從聲音、圖像、文本三個維度建構智慧課堂學生學習行為多模態分析框架。筆者根據對課堂學習活動的實際觀測，將課堂學習活動下的多模態數據從第三個梯度分別劃分為“無效”數據和“有效”數據，最終生成多模態數據框架，如圖1所示。

（四）多模態分析框架解讀

1.多模態聲音數據

智慧課堂采用語音識別技術，利用話筒、拾音設備（吊麥）采集學習者的聲音數據。語言信息是學習活動和學習發生的主要載體，學習行為分析要從課堂中學生的言語交互出發。依據學生活動在聲音數據表現的“有聲”和“無聲”特征，將多模態聲音數據劃分為“有聲數據”和“無聲數據”，并在第三梯度劃分為“有效”和“無效”。筆者將有助于學習的聲音稱為“有效有聲數據”，反之則為“無效有聲數據”。“有效有聲數據”包括回答問題、提問、成果分享、討論交流、評價反饋等；“無效有聲數據”包括話題偏離、閑聊等。筆者將有助于學習的無聲數據稱為“有效無聲數據”，如思考、聽講等；反之稱為“無效無聲數據”，如走神、沉默等。

2.多模態文本數據

以技術使用為主的學習活動主要依賴各類網絡學習平臺（微信、QQ、超星學習通、中國大學慕課、百度云） 實現人機交互，云端學習平臺可生成大量個性化文本數據，如智能設備資料獲取、移動端簽到、學習平臺應答、交流討論、作業練習、成果展示、評價反饋等。筆者以該行為是否有助于學習為依據，從第三梯度將其劃分為“有效技術支持”和“無效技術支持”。這些技術支持的數據可以在學習平臺生成個性化的學習文本記錄，組成本研究多模態文本數據來源。

3.多模態圖像數據

通過視頻采集，利用體感系統、動作捕捉系統、360視頻技術，對學生位置移動、個體動作、面部表情等圖像數據進行數據化表征，以此研究學生學習行為的多模態圖像數據。如位置移動數據，研究者從空間學角度，通過機器學習算法揭示學習者和學習群體的位置及距離對其學習狀態的影響，了解學生學習活動情況。身體動作數據主要采集學生眼睛注視方向、軀干面向的動作數據。

三、研究設計

（一）研究對象

本研究從本科教學活動中，選取學期初、學期中、學期末各兩節，共6節智慧課堂教學活動作為分析課例，將學生的課堂學習行為作為觀測分析對象，遵循智慧課堂學生學習行為多模態分析框架，利用智慧課堂多模態數據分析方法，探究智慧課堂環境下學生學習行為特征及變化規律。課例選取遵循四個原則：①課堂類型一致，減少課型差異對學習行為的影響；②聲音錄制清晰，能準確識別學生的聲音信息；③畫面錄制多方位，包括全景、特寫、動態捕捉，能觀察學生整體與局部的行為；④網絡學習平臺穩定，能夠滿足智慧課堂教學活動開展。

（二）數據編碼

將學習行為分析框架細化，列舉對應的學習行為特征。同時，根據列舉的學習行為特征進行編碼標注，聲音數據包括10個學習行為特征，根據聲音數據對應英文首字母S將其依次形成S1-S10編碼10個；圖像數據中的位置移動包括6個學習行為特征，與上述方式一致依次形成M1-M6編碼6個；身體動作包括13個學習行為特征，依次形成A1-A13編碼13個；文本數據包括10個學習行為特征，依次形成T1-T10編碼10個。

（三）學習行為質性表征

本研究將體現學生學習行為的多模態數據進行質性表征。從學習行為的外在表現及內在動機，將學習行為劃分為參與性學習行為、主動性學習行為和專注性學習行為。參與性學習行為是學生在課堂中完成學習活動的行為，是學生“做”的行為表現。主動性學習行為是體現學生自覺主動的學習行為，是學生“態度”的行為表現。專注性學習行為體現學生投入課堂的精神狀態，是學生“能力”的行為表現。在學習行為的3種質性表征中，由于主動性學習具有參與性，而參與性僅體現學生課堂參與行為。因此，在本研究中，某一行為如果具有主動性質性表征，在數據統計時歸為主動性，不再歸為參與性重復計算。最終形成智慧課堂學生學習行為多模態分析編碼體系，具體見表1。

（四）多模態數據統計

利用智慧課堂環境中的聲音、圖像、文本數據采集設備，兩位觀察者實時觀測統計并對多模態學習行為進行時間間隔編碼對照。以20秒為間隔進行獨立編碼，利用ELAN6.1軟件對課例進行編碼標注，最后對統計結果進行可視化呈現。兩位觀察者根據學習行為編碼體系協商確定數據采集具體規則及細節，達成統一后，按照編碼體系表分別進行數據統計，對統計編碼數據進行梳理校對，為學習行為研究提供精準的多模態數據支持。

四、多模態數據分析

多模態學習分析利用量化學習分析思想對智慧課堂環境下的教學場景信息進行數據化表征。本研究分別從情境視角和時序視角出發，分析智慧課堂學習環境下學生學習行為頻度及變化規律，尋找學生學習行為與學習態度、注意力、主觀能動性、課堂學習效果之間的作用關系，推動智慧課堂教學與管理的有效發展。

（一）情境視角：多模態行為頻度分析

行為頻度分析是研究學習行為的方法之一，指在教學過程中，某一種行為的樣本數量與所有行為樣本總數的比值。行為類別的使用頻率可以反映教學過程中學生不同學習行為的頻率高低，以此判斷學生課堂學習行為的變化規律。以下研究結論從智慧課堂情境視角呈現并分析多模態數據。

1.參與性學習行為

參與性學習行為主要體現在圖像數據中的學生位置移動（M）、身體動作（A）和文本數據的技術支持（T）3個模態維度，是學生“做”的行為表現。觀察者和研究者商討決定采集3個維度17個編碼數據，統計學生在智慧課堂中的有效位置移動模態數據（M1-M4）共65組，有效身體動作模態數據（A6-A10）共281組，從學生學習平臺導出有效技術支持文本數據（T1-T8），共得到130組數據。由于現有智慧課堂環境設備無法獲取無效行為及無行為數據，且人為統計存在主觀差異造成采集困難。故在此研究中不統計，將參與性學習行為分析的重點放在有效參與學習行為。根據3個維度的行為編碼數據形成詞云圖來進行可視化呈現，如圖2所示。

從學期初、學期中、學期末各階段詞云圖中，可見參與性學習行為A7（面向教師）所占詞云面積均最大，表示該行為出現頻度最高。A6、A9行為頻度也較高，表示學生通過交互白板觀看課件、板書、學習資源等行為較多。智慧課堂中，學生會使用智能學具實現線上線下相結合的學習活動，通過學習平臺生成的學情報告可知，T8（資料搜集）、T5（交流討論）、T6（成果分享）行為出現次數較多，表示學生能積極利用學具進行資料搜集，開展云端學習群體間的合作交流。

從學期初、學期中、學期末，各階段詞云圖面積大小、種類變化可見，參與性學習行為數量逐漸增加，課堂豐富和活躍呈顯著增長；在學期初，M1-M6（位置移動）的參與性學習行為數量少，出現次數較小，隨著時間推移逐漸出現在課堂學習活動中，在學期末，可以看到表示身體動作的M1（座位）、M2（講臺）、M3（組間）和M4（組內）參與性學習行為呈逐漸顯著趨勢；學習行為整體狀態隨著學期發展，A、T、M這3個維度的有效學習行為頻率均在不斷增加，學生學習參與度在顯著提升。

2.主動性學習行為

據學生學習行為多模態編碼表中學習行為質性表征，主動性學習行為多體現在以語言為主的教學活動，是學生學習 “態度”的行為體現，即多模態聲音數據（S）。對學期初、學期中、學期末三個學期段課例統計，得到主動性學習行為的聲音數據（S1、S3、S4、S5、S6）共124個，包含學期初36個、學期中38個、學期末50個。由于無法準確獲取S8、S9行為數據，人為判斷存在歧義，商討后不統計，得到學生實際產生的主動性學習行為數據共84個，包含學期初16個、學期中26個、學期末42個。將5組數據作頻度分析，得到在一堂課中學生實際產生的主動性學習行為數量與該課中應產生的主動性行為總數量的比值。比值越接近1，表示學生主動性學習行為發生頻率越高。將該頻度變化進行可視化呈現，圖3中五組編碼數據比值隨著學期發展均呈現上升趨勢并不斷接近1。

如圖3所示，通過對學生主動性學習行為頻度分析可知，學生在智慧課堂學期初發生頻率較低的主動性學習行為，隨著時間發展發生次數逐漸增多，學生學習態度得到有效改善。例如，學生使用學習平板線上舉手、發布成果和評價，線下主動回答問題、交流討論的主動性學習行為增加。

3.專注性學習行為

專注性學習行為主要體現在圖像數據中的身體動作行為（A1-A5）。根據專注性的定義和維度可知，學習專注性指學習者專注于學習過程及學習活動的一種心理狀態，強調時間段上的持久和注意力的穩定，是學習者學習“能力”的行為表現。觀察者以秒為單位統計課堂中學生每項學習活動的專注性行為時長與學習活動總時長的比值，以此判斷學生行為專注性程度。比值越接近1，表示學生專注性高，學習能力提升。

如圖4所示，隨著學期發展，學生關注學習內容方面，教師提醒的次數減少，學生能及時專注于交互白板（A1）、學生認真傾聽教師講授（A2）、同學發言（A3）、觀看書本內容（A5）的專注性在逐漸提高，專注性比值逐漸趨近1。研究發現，在學期初，學生注視學具（A4）行為的比值超過1，說明學生過度使用學具，學習注意力轉移到學具本身。隨著學期發展，該行為頻度不斷縮小并趨向1，說明無關學習的學具使用行為在逐漸減少，學生對課堂的專注性逐漸提高。

（二）時序視角：多模態行為變化分析

在教學研究中，時序分析通常是指在教學過程中以橫軸為時間軸、縱軸為行為類別，來表示課堂教學過程中隨時間推移的行為變化，實現復雜教學系統的行為分析。為了從時序視角分析智慧課堂中學生學習行為動態變化，筆者選取交流討論、成果分享和評價反饋3個教學活動片段進行分析，分別繪制學期初、學期中、學期末智慧課堂學生學習多模態行為時序圖（橫向表示時間序列，縱向表示行為多模態共現），如圖5、6所示，通過對比可知，從時序視角出發，學生學習行為表現出以下較為明顯的變化特征。

第一，課堂交流討論是學生參與學習、自主學習、完成知識有意義建構的過程。智慧課堂的交流討論環節，學生行為變化為：教師將討論發布在學習平臺上，學生根據討論題借助智能學具進行資料搜集和自主學習（T8、T4），學生身體動作變化所關涉的元素依次為交互白板（A1、A6）、書本（A5、A10）、學具（A4、A9）、同學（A3、A8）。學生組內組間（M3、M4）移動的次數增多。隨著學期發展，合作學習過程中學生無關學習的身體動作（A11）、無身體動作（A12、A13）以及無關學習的技術使用行為（T9）明顯減少。

第二，成果分享階段，學生借助學習平臺提交學習成果（T6）；教師共享屏幕，通過交互白板進行學習成果展示，并讓學生介紹其成果。有聲數據統計學生主被動應答（S1、S2）、介紹成果（S5），位置移動數據統計從座位上起立或坐下（M1）、在講臺（M2）上結合作業展示進行分享。比較學期初、中、末的成果分享學習活動，課堂秩序有明顯改善，學生傾聽他人分享學習成果時表現的無效有聲行為（S7）有所減少，有效無聲行為（S8、S9）逐步增加，這表示在智慧課堂學習中，學生學會傾聽，并進行主動思考。學生的主動應答行為，在座位及講臺的移動行為均有所增加，表示學生參與課堂的主動性和積極性在不斷提高。

第三，評價反饋階段，通過師生評價、生生評價、自我評價、學習平臺學情分析等方式，從多角度給予學生更加科學的評價反饋。在智慧課堂中不僅可以通過線下言語評價的方式（S1-S6），還可以通過線上學習平臺進行評價（T7），學生使用智能學具可進行生生之間的互評，也可通過發布評價問卷進行組間評價或自評。學習平臺還能生成個性化學期分析報告。評價形式的多樣，不但能提高學生學習的參與性，更能多維度給學生提供準確評價反饋。隨著智能學具、學習平臺使用熟練度提高，學生利用技術手段參與課堂評價的行為大幅度增多，與此同時學生主動應答、主動提問、主動參與討論等有聲行為也有明顯增加。

第四，教師在智慧課堂中注重與學生的交互，在學生交流討論時走入學習群體內進行觀察指導，在學生分享學習成果時通過學習平臺了解學生任務完成情況，在評價反饋時引導學生進行情感交互，提高學生課堂學習主動性，將課堂主體地位歸還給學生。因此，學生學習專注度不斷提高，能及時準確注視教師、同學、交互白板、學具、書本（A1-A5）。課堂中學生有效學習行為的不斷增加、無效及無關學習動作的減少，均能說明在智慧課堂學習過程中，學生學習行為及學習效果在不斷朝著積極的方向發展。

五、結論

基于多模態數據分析，構建基于多模態數據類型的S-I-T學生學習行為多模態分析框架，對學生學習行為進行質性表征，通過編碼形成SMAT學生學習行為多模態分析編碼體系，通過整理分析具體課例的多模態數據，對智慧課堂環境下學生學習行為進行數據化、科學化、智能化研究分析，得出以下結論。

第一，S-I-T智慧課堂學生學習行為多模態分析框架充分利用智慧課堂環境中的智能設備采集生成聲音、圖像和文本數據。根據多模態數據類型形成S-M-A-T智慧課堂學生學習行為多模態分析編碼體系，能有效地從言語學習活動、位置移動、身體動作、技術使用4個維度呈現智慧課堂下學生學習行為變化，并賦予其行為質性表征，為多模態學生行為研究提供數據采集和行為評價標準。

第二，多模態數據學習分析方法更適合進行智慧課堂學生學習行為的研究，從單模態有效有聲數據S分析和單模態有效圖像數據A分析，到多模態A-T-M三模態交叉分析，再到S-M-A-T四模態時序分析。智慧課堂中存在大量且豐富的學生學習行為。隨著學期發展，學生學習行為呈現出較為明顯的變化。從情境和時序視角分析學生學習行為頻度及變化規律，能為多模態學習行為研究提供新思路。

第三，通過一學期的具體課例觀察，在智慧課堂中，表現學生“做”的參與性學習行為在數量和內容上都呈現上升趨勢，課堂學習活動逐漸豐富；表現學生“態度”的主動性學習行為頻率不斷提高，主動提問、交流合作學習、成果分享、評價反饋等有效學習行為均在顯著增加；表現學生“能力”的專注性學習行為比值逐步向1靠近，無效學習行為減少，專注度顯著提升。

參考文獻：

[1]吳曉如，劉邦奇，袁婷婷.新一代智慧課堂：概念、平臺及體系架構[J].中國電化教育，2019（3）：81-88.

[2]劉三■，楊宗凱，李卿.計算教育學：內涵與進路[J].教育研究，2020，41（3）：152-159.

[3]王一巖，王楊春曉，鄭永和.多模態學習分析：“多模態”驅動的智能教育研究新趨向[J].中國電化教育，2021（3）：88-96.

[4]胡欽太，伍文燕，馮廣，等.深度學習支持下多模態學習行為可解釋性分析研究[J].電化教育研究，2021，42（11）：77-83.

[5][22]張琪，李福華，孫基男.多模態學習分析：走向計算教育時代的學習分析學[J].中國電化教育，2020（9）：7-14，39.

[6]倪彤光，顧曉清，薛磊.在線學習模式下大學生學習績效評價模型研究[J].福建電腦，2023，39（1）：22-26.

[7]王冬青，韓后，邱美玲，等.基于智慧課堂動態生成性數據的交互可視化分析機制研究[J].電化教育研究，2019，40（5）：90-97.

[8]ISWARYA C. Analysis of college students’ learning outcomes based on educational data mining[J]. Journal of Educational Research and Policies， 2021，3（7）.

[9]沈欣憶，吳健偉，張艷霞，等.MOOCAP學習者在線學習行為和學習效果評價模型研究[J].中國遠程教育，2019（7）：38-46，93.

[10]趙錚，李振，周東岱，等.智慧學習空間中學習行為分析及推薦系統研究[J].現代教育技術，2016，26（1）：100-106.

[11]陳雅淑.基于語音識別的多維課堂交互分析[D].武漢：華中師范大學，2021.

[12]侯成坤.基于多模態融合的課堂教師教學行為自動識別研究[D].武漢：華中師范大學，2020.

[13]汪翔.面向智慧課堂學習行為分析的頭部姿態估計方法研究[D].武漢：華中師范大學，2021.

[14]衛曉娜.E-Learning系統中基于Adaboost算法的注意力識別[J].電腦知識與技術，2010，6（10）：2453-2456.

[15]趙春，舒杭，顧小清.基于計算機視覺技術的學生課堂學習行為投入度測量與分析[J].現代教育技術，2021，31（6）：96-103.

[16]KSHITIJ S， MICHAIL G. Multimodal data capabilities for learning： what can multimodal data tell us about learning？[J]. British Journal of Educational Technology， 2020，51（5）.

[17]韓穎，董玉琦，畢景剛.學習分析中情緒的生理數據表征——皮膚電反應的應用前瞻[J].現代教育技術，2018，28（10）：12-19.

[18]張樂樂，顧小清.多模態數據支持的課堂教學行為分析模型與實踐框架[J].開放教育研究，2022，28（6）：101-110.

[19]方海光，高辰柱，陳佳.改進型弗蘭德斯互動分析系統及其應用[J].中國電化教育，2012（10）：109-113.

[20]穆肅，左萍萍.信息化教學環境下課堂教學行為分析方法的研究[J].電化教育研究，2015，36（9）：62-69.

[21]童慧，楊彥軍.基于多模態數據的智慧課堂教學互動研究[J].電化教育研究，2022，43（3）：60-68.

[23]周順，王益華，馮鑫華.基于智慧課堂的教學行為數據分析研究[J].中國教育信息化，2020（11）：71-75.

[24]鐘薇，李若晨，馬曉玲，等.學習分析技術發展趨向——多模態數據環境下的研究與探索[J].中國遠程教育，2018（11）：41-49.

Research on Student Learning Behavior in Smart Classroom Based on Multimodal Data

Jie JIANG， Wenting YU， Haiyan WANG

（Education Department， Jiangxi Normal University of Science and Technology，Nanchang 330038，Jiangxi）

Abstract： The smart classroom empowered by emerging technologies provides rich educational multimodal data for student learning behavior monitoring， evaluation， feedback， and early warning. Fully collecting， processing， and analyzing educational multimodal data can provide reference for research and practice related to education and teaching. Firstly， a multimodal data analysis framework based on the three-dimensional dimensions of sound data， image data， and text data is constructed by reviewing existing research on intelligent classroom learning behavior analysis and multimodal data teaching， and drawing on the classification system of learning behavior. The framework presents changes in student learning behavior in intelligent classrooms from four aspects， namely speech learning activities， position movement， body movements， and technology use; Secondly， the multimodal data reflecting the characteristics of student learning behavior will be encoded and qualitatively represented to form an encoding system; Finally， from the perspective of situational and temporal behavior analysis， the frequency and periodic changes of multimodal data on learning behavior in lesson examples is analyzed. Research has shown that in a smart classroom environment， student participation， initiative， and focus in classroom learning are constantly improving， and the classroom learning atmosphere is developing in a positive direction， with ineffective and irrelevant learning behaviors gradually decreasing. In addition， by analyzing multimodal data on student learning behavior， it is aimed to provide data sources and scientific basis for students to understand their own learning behavior and status， personalized teaching for teachers， and the construction of learning evaluation systems for researchers.

Keywords： Smart classroom; Learning behavior; Multimodal data; Framework construction; Data analysis

編輯：王天鵬" "校對：王曉明