多模態數據支持的課堂教學行為分析模型與實踐框架

張樂樂 顧小清

（華東師范大學 教育學部教育信息技術學系，上海 200062）

一、引言

21世紀是“課堂革命”的世紀，世界各國的課堂正靜悄悄地發生變化（佐藤學，2014）。課堂是教育教學的主戰場、人才培養的主陣地，人工智能技術打破了傳統課堂標準化、同質化束縛，加速了課堂教學與管理的創新變革。經濟合作與發展組織發布的《2021OECD數字教育展望》，將智能技術對課堂教學的改變作為重點關注領域。隨著課堂智能系統、眼動儀、腦電儀、可穿戴設備等智能設備的發展，以及自然語言處理、計算機視覺和語音識別、生理信息識別等智能技術的成熟（王一巖等，2021），課堂教學研究將突破以外顯學習行為識別為代表的淺層感知技術瓶頸（劉三女牙等，2021），實現對學習情境中師生狀態、意圖的深層感知。我國《新一代人工智能發展規劃》指出，要鼓勵人工智能與神經科學、認知科學等基礎學科開展跨學科探索，加強引領人工智能算法、模型發展的基礎理論研究（國務院，2017）。當前，人工智能機器學習算法、卷積神經網絡算法在教育領域應用較為廣泛，課堂教學數據的深度挖掘與分析，為處理課堂教學行為的復雜性、可解釋性提供了技術支持。

國內外已有大量有關課堂教學行為分析研究，常用的課堂教學行為分析方法—學生和教師課堂行為分析法（S-T課堂分析法）、弗蘭德斯互動分析體系（FIAS）采用人工編碼、計時的方式采集數據，一定程度推動了傳統課堂教學質量的提升。然而，人工采樣存在樣本量小、費時費力、容易出錯、有較強的主觀色彩等不足，不利于發現真實的教學問題和教學規律。進入智能時代，多模態課堂教學行為分析為解決這些問題提供了機遇，技術賦予機器更強的判斷和決策能力，可對無法精準獲取或難以察覺的課堂教與學數據進行智能采集和分析，深入探究學習背后的信號或潛在機理。那么，如何利用智能技術伴隨式地采集課堂教學行為數據，應采集哪些數據表征學習者的學習狀態，這成為智慧課堂教學行為分析的難點，也是教育研究關注的焦點。本研究以人工智能技術為依托，從多模態教學行為分析的視角出發，對多主體課堂教學行為分析的構成要素進行歸類，設計基于多模態的課堂教學行為分析模型，構建課堂教學行為分析實踐框架，以期為多模態數據支持的課堂教學實踐提供理論支撐，推進課堂教學智能化發展。

二、文獻綜述

課堂教學行為分析一直以來都是課堂教學研究的重點，技術發展使得課堂教學行為不再局限于肉眼可見的外顯行為，更多關注生理、心理等內隱數據，以及時發現教學問題，揭示教育規律。國內外多模態課堂教學行為分析研究主要關注多模態行為數據的采集分析方法、多模態課堂情緒感知與行為分析和多模態課堂教學活動編排。

（一）多模態行為數據的采集分析方法

1. 基于視頻的課堂多模態數據采集

基于視頻的課堂數據采集是目前課堂教學行為分析較常用的數據采集方法，即通過視頻采集和提取學習者面部表情、頭部運動、身體姿勢等特征，計算識別學習者的相關行為。例如，于等（Yu et al.，2017）利用微軟體感系統記錄學生的課堂學習視頻圖像，通過人臉識別和姿態識別檢測學生的典型課堂行為（如坐、舉手、站立、睡覺和耳語）；武喬維奇等（Vujovic et al.，2019）運用動態捕捉系統獲取面對面協作學習場景中學習者的凝視方向和反應速度、學習者之間的距離和運動等行為數據；斯坦等（Tan et al.，2020）利用360度視頻技術錄制課堂活動的多模態數據，如師生對話、移動、眼神、手勢、演示實物、使用設備等，為教師精準教學提供數據支持。

2. 基于語音的課堂多模態數據采集

基于語音的課堂數據采集主要利用語音識別技術采集線上線下學習者和教師的語音數據，實現對他們情緒感知、協作交流等狀態的深度挖掘與分析。例如，岑等（Cen et al.，2016）開發了面向在線學習的實時語音情感識別系統，通過語音活動檢測、語音分割、信號預處理、特征提取、情緒分類和情緒頻率的統計分析，實時監測在線學習環境中學習者的情緒狀態；里克爾梅等（Riquelme et al.，2019）使用應答器采集學生的語音數據，分析小組協作的持續性和激勵性；陳雅淑（2021）通過對課堂語音文件的降噪、特征提取，判斷學生上課的情緒狀態：興奮、平靜、低落；宋志海（2018）設計了課堂教學行為識別系統，采用深度學習的語言文本分類技術，自動識別課堂語言行為（如教師的講授、指令、鼓勵、提問）。

3. 基于文本的課堂多模態數據采集

基于文本的課堂數據采集主要通過識別學習者在線交互文本、評論文本等內容，掌握學習者的情緒感知狀態、認知水平。例如，馮翔等（2019）基于長短期記憶算法構建學業情緒自動預測模型，將學習者學習過程中產生的反饋文本進行分類，識別與分析學習者的情緒感知狀態；田等（Tian et al.，2014）基于在線學習交互文本識別學習者的情緒，構建了基于交互文本的情緒識別研究與應用框架。國內不少中小學校還使用點陣筆、高掃儀、高拍儀等智能設備，智能化采集與分析學生的課前、課中、課后作業，通過識別學生的書寫筆跡與表達的文本內容，了解學習者的作業態度、作業情緒（如煩躁、喜悅等）。

4. 基于感知設備的課堂多模態數據采集

已有研究表明，利用可穿戴設備（如智能眼鏡）和植入設備（如腦接口）自動采集、編碼與處理師生情緒和表情數據，可實現對情感和神經腦網絡的識別（炕留一等，2022），表征學習者的學習情緒或學習狀態、預測教師的某些教學活動。例如，杰美特（Jamet，2014）通過眼動線索觀察學習者的課堂注意力分布，定位學習者感興趣的教學內容或多媒體呈現形式，比較學習者使用不同教學媒體的行為差異，以科學、直觀的數據表征學習者的學習偏好。普里托等（Prieto et al.，2016）利用頭戴式便攜眼動儀、腦波儀、智能手機，自動采集教師的眼動、腦波、三維加速度、視頻錄像和語音等數據，使用機器學習算法預測教師發布的任務等教學活動。

（二）多模態課堂情緒感知與行為分析

多模態課堂情緒感知與行為分析主要借助深度學習、機器學習等算法分析師生的動作姿勢、生理、心理等數據，全面科學地反映學生的學習狀態、教師的教學行為和教學風格，對優化教師的教學設計、提高課堂教學質量具有重要意義。

1. 學習者情緒感知分析

情緒是學習者重要的內隱學習特征。已有研究認為，學習者情緒感知分析就是利用相關算法提取學習者的生理、心理、行為等數據特征，并結合分析技術進行推測。例如，孫波等（2015）采用基于張量分解的算法識別學生的圖像表情，將學生情感狀態分為專注、自信、高興、困惑、驚訝、疲勞和厭煩七種。屈梁浩（2019）通過檢測學習者的睜眼、閉眼和打哈欠行為判斷學生的疲勞程度，并利用卷積神經網絡模型（AlexNet）把實驗者的學習狀態分為疲勞和不疲勞兩種。還有研究者借助自動識別技術、機器學習算法等提取、分析學習者的課堂學習參與度和學習興趣等。例如，懷特希爾等（Whitehill et al.，2014）開發了自動化課堂學習參與度識別器，采用機器學習的方法自動采集學習者的面部表情，推斷學習者的學習參與度。韓麗等（2017）構建了基于人臉檢測與表情分析的課堂教學評價系統，建立了認知行為與學生頭部姿態、面部表情之間的特征關系，分析學生的課堂參與度和活躍度。陳靚影等（2018）通過識別與融合學習者頭部姿態、面部表情、課堂互動等多模態信息，從認知注意力、學習情感與思維活躍度三個維度理解學生的學習興趣。

2. 課堂教學行為分析

隨著自然語言處理、語音識別、生理信息識別等技術的發展，多模態師生課堂教學行為數據不僅能夠反映學習者的認知發展、高階思維、學習習慣、學習持續力等特征（顧小清等，2021），還能真實反映教師教學情況。國內諸多研究者利用智能算法、自動標注等方式識別、提取師生課堂教與學的行為特征，以反映課堂的真實狀態。例如，付等（Fu et al.，2019）使用人體姿態識別算法提取人體骨骼、面部和手指的關鍵點，通過基于卷積神經網絡的分類器識別學習者聽課、疲勞、舉手、側身和讀寫五種課堂學習行為。任等（Ren et al.，2002）利用隱馬爾可夫模型，根據臉、胳臂、手、軀干三維運動特征識別教師從講臺上拿物件、放回物件、指向學生、指向屏幕、與學生交流、解釋、喝水七種動作。盧國慶等（2021）采用人工智能引擎自動標注課堂教學行為，發現教師的讀寫、講授、巡視行為較多，師生互動、生生互動較少。還有研究者從空間學角度，利用機器學習算法分析教師與學習者、學習小組的位置和距離對學習者學習狀態的影響。馬丁內斯·馬爾多納多等（Martinez-Maldonado et al.，2020）利用定位傳感器捕獲教師的定位數據，論證課堂中師生之間的距離對學習者認知、情緒的影響。

（三）多模態課堂教學活動編排

少有研究關注多模態數據支持的課堂教學活動編排。已有研究認為智能活動編排主要是將課堂教學行為分析產生的數據輸入不同的活動，幫助教師關注學習者，理解課程，有效管理課堂教學。狄隆伯格（Dillenbourg，2015）利用眼球跟蹤、視頻、音頻和加速器提取學習者特征，建構簡單又有教學意義的編排圖，支持教師教學反思。拉卡等（Raca et al.，2013）利用“教室地圖”定位學習者的實時數據，并采用計算機視覺方法，通過學生的姿勢和其他行為線索評估學生的注意力，增強教師活動編排的準確性。可見，基于多模態數據探究學習者背后的行為規律、行為習慣等，可輔助教師進行課堂教學管理，提高教學活動的效果。

綜上所述，多模態數據支持的課堂教學行為分析為學習者、教師、研究者提供了全方位、多角度的課堂教學實踐與分析方法，為智慧課堂的發展提供了新思路。然而，當前人工智能技術還處于弱人工智能階段，受數據采集設備、教師技術應用能力和數據分析能力等限制，多模態數據支持的課堂教學實踐尚未實現常態化、規模化應用。如何將智能感知設備引入課堂，基于視頻、語音、文本等方式采集數據，深入挖掘和分析師生的情緒和行為特征，改變課堂教學模式，尚需探究。這也是未來課堂教學實踐的關注點。

三、多模態數據支持的課堂教學行為分析模型

隨著人工智能、5G、虛擬現實、增強現實等技術的快速發展，新的教學形態不斷涌現，使得意義表征和信息交流更加多模態化（田陽等，2019）。本研究圍繞數據驅動的課堂教學行為構成要素，設計了涉及多主體、多空間、多環節的多模態課堂教學行為分析模型。

（一）要素篩選：數據驅動的課堂教學行為分析

明確數據驅動的課堂教學行為構成要素是構建多模態數據支持的課堂教學行為分析模型的基礎。本研究以“課堂教學行為”為關鍵詞，通過檢索中國知網收錄的2015年以來CSSCI來源期刊發表的相關文獻發現，課堂教學行為要素主要針對教師和學生兩大主體。已有研究圍繞教師和學生在學、教、管、評等活動進行行為分析，不同教學情境中教學主體的教學行為構成要素呈現多樣化特點。參考穆肅等（2015）對課堂教學中師生行為的分類，本研究的教師教學行為包括講授、演示、師生互動、操作設備、課堂監管，學生學習行為包括聽講、提問、討論、練習、使用媒體（見表一）。

表一 課堂教學行為要素分類、描述與數據類型

（二）設計原則：基于多模態數據驅動的課堂教學生態解析

多模態課堂教學行為分析模型旨在對課堂教學活動的主體、教學情境、教學環節等進行數據化表征，揭示課堂教學規律或課堂教學的內在發生機制。其一，結合人、機、物三元融合的發展趨勢，加強對智慧課堂“人”（學生和教師）、“機”（智能設備）、“物”（教學內容和教學資源）三要素的關注（王一巖等，2021），明確教學主體的活動任務，探究教育主體、教育客體之間的交互機制；其二，強化分析課堂物理空間、信息空間和心理空間對教學行為的影響機理，探究不同情境對教學主體行為的影響，及時跟蹤教學主體的教與學狀態，促進教師深入理解教學過程和教學結果，及時改進教學策略；其三，基于課堂教學生態視角，將教學行為的相關因素進行歸類，建立各要素之間相輔相成的關系，構建立體、多維的分析模型，實現課堂教學行為的精準分析與評價；其四，以教學活動情境為基礎，根據課堂教學行為主體與教學情境的交互，構建師生認知發展、行為動作、情緒感知與教學內容、教學設備等的聯系，實現“多主體、多空間、多環節”的相互促進與融通。

（三）模型建構：多模態數據支持的課堂教學行為分析模型

智慧課堂是由多要素構成且各要素之間相互聯系、相互作用的復雜系統—“師—機—生”等多主體在“物理—信息—心理”等多空間（劉三女牙等，2021），圍繞“教師的教—學生的學—師生互動”等環節，開展多模式的教育教學活動。本研究參考孫眾等（2021）提出的人工智能支持課堂教學分析框架，結合課堂師生行為要素，構建“多主體、多空間、多環節”的多模態數據支持的課堂教學行為分析模型（見圖1）。

圖1 多模態數據支持的課堂教學行為分析模型

1. 教學主體

人工智能技術的引入改變了傳統課堂的教與學關系，智能技術逐漸作為“中介”參與課堂教學和學習交互的各個層面（許亞鋒等，2020）。傳統的“師生”二元關系逐漸被“人—機—物”多元互動的新型關系所取代，一定程度上增加了課堂教學的復雜性與科學性。“人—機—物”多主體協同是多模態課堂教學行為分析的核心要素，貫穿課堂教學的全過程。

1）人：教師和學生

人主要指教師和學生。教師是課堂教學活動的組織者、指導者，其課堂教學行為數據主要包括話語、神態、動作姿勢、操作設備、與學習者交互等。學生是課堂教學的主體，是知識的獲得者、創造者，其課堂教學行為數據主要包括外顯行為和內隱行為。外顯行為表現為表情、話語、身體動作、人機交互、與線下教師的交互問答等，內隱行為表現為心率、血壓、腦電波等。

2）機：人機交互設備

人機交互設備為教學活動的開展提供了智能工具支持，實現了教學主體在學習場景中交互行為的數據化表征。目前，教學常用的人機交互設備包括智能終端、智慧黑板、點陣筆、智能導學系統和學習平臺等。教師利用設備或智能教育產品開展教學時，會產生人與設備的交互行為數據，如設備使用次數、使用時長等。同樣，學習者借助智能教育產品使用個性化學習資源推送、智能診斷等服務，也會產生與設備交互的行為數據，如登錄時長、登錄頻率等。可見，智能設備在教學主體中扮演著重要角色，是支持師生行為發生的基礎。

3）物：教學內容或工具

教學內容作為課堂教學的關鍵因素，其內容的形式、類型決定了教師教學活動的設計、教學方法的使用或教學媒體的選擇。眾所周知，課堂教學內容主要涉及教學章節、知識點、教學重難點及作業測試等。教師要將教學內容清晰、完整地呈現給學習者，需借助黑板、交互式電子白板、智能終端等工具。教師展示教學內容或學習者學習教學內容時會產生系列的教與學行為數據，如學習內容瀏覽時長、點擊次數、資源類型的選擇等，這些數據可以反映學習者的學習偏好、學習風格等特征，為教師的教提供數據支持。

2. 課堂環境

智慧環境的創設是課堂教學有效開展的前提和基礎，以虛擬現實、生理感知等為代表的智能技術為課堂人機交互、教學決策提供了精準的服務與支持。技術賦能的智慧課堂從“以學生為本”的視角出發，突破固有的物理環境、信息環境限制，更關注學生認知發展的心理向度，強調課堂教學對學習主體心理因素的影響。本研究將課堂環境分為物理空間、信息空間和心理空間三部分，通過數據分析教學主體在三個空間中的行為表現，不斷提升行為分析的深度與智能化水平。

1）物理空間

物理空間作為多空間融合的基礎，其主要場所是傳統的教室。精準分析物理空間的教學行為數據，主要涉及學生的座位、教室的空間結構、教師的移動距離等。學習者的座位與教師授課距離的遠近，影響學習者的學習狀態和學習效果。學習者近距離與教師面對面接觸，可快速通過教師的板書、語速、表情神態等明確教學內容的重難點，及時有效地互動，碰撞激發思維的火花。只有有效的師生互動，才能提高課堂教學效果，對學生理解和掌握所學知識乃至建構完整、系統的知識體系產生重要影響。

2）信息空間

信息空間作為物理空間的升級形式，指利用智能教學設備開展教與學活動，促進師生在信息空間的互動，包括學習者與學習資源的交互、教師與智能設備的交互和師生之間的互動交流。其中，學習者與設備和學習資源的交互，主要表現為學習者利用設備拍照上傳、文本輸入、指尖點擊等行為，智能系統根據行為數據智能診斷、評估學習者的學習意圖、學習偏好和學習風格等，個性化推薦適切的學習資源。師生之間的交互主要表現為教師利用智能終端對學生的測試結果或疑難問題給予針對性反饋和指導，了解班級學生知識點的掌握狀況，學生也能及時發現自身存在的問題并查漏補缺。

3）心理空間

心理空間作為物理空間和信息空間的補充，重點關注學習者的心理、認知、情感狀態，強調“人”的發展。本研究認為心理空間就是利用智能感知設備識別和采集物理空間、信息空間中“人—機—物”之間互動對話、神態表情、肢體動作等數據，剖析學習者內在的學習機理、情緒感知狀態，是物理空間和信息空間中課堂教學行為分析的“升華”。心理空間對學習者情感狀態的全面、立體刻畫，有助于揭示學習者深層次的情感發生機制，以提供完善的學習情感支持服務。

3. 教學環節

多模態數據支持的課堂教學行為分析，為教師主動適應新技術、積極有效開展教學提供了可能。智慧課堂構建了數據驅動的“教師教學—學生學習—師生互動”多環節融會貫通的教學新范式，打破了傳統教學模塊化的“枷鎖”，實現了教與學方式的重塑。

1）教師教學

智能環境下的教師教學包括教學情境的創設、教學活動的設計和教學內容的講授等。教師借助智能系統（如教學平臺、智能軟件等）、教學工具（如黑板、教具、電子白板等）創設真實的學習情境，選擇合適的教學內容或教學資源，開展相應的教學活動（如項目式學習、線上線下混合式教學等），培養學生的能力（如協作實踐能力、問題解決能力等）。

2）學生學習

課堂教學的學生學習行為主要包括回答教師問題、認真聽講、思考、做測試題及與同伴討論交流。通過智能感知設備抓取學習者的面部表情、眼神、姿勢動作等特征和回答問題的語音拾取，教師可以了解學習者能否根據講授內容及時、主動地思考，能否在討論交流中發揮優勢。同時，智能應用系統中測試題目的作答數據，可用于表征學習者的學習風格和知識點的掌握狀況，為優化教師的教學策略提供建議。

3）師生交互

師生交互是課堂教學的必要環節，是調動課堂氛圍、激發學習者學習積極性的“調節劑”。物理空間、信息空間中學習者的學習表現（回答問題情況、討論交流情況）、學習狀態（面部表情、眼神）等多維數據，可幫助教師及時掌握班級學生的整體認知水平與認知風格。同時，互動過程中，教師也能夠根據學習者的表現，主動了解自身在教學風格、教學交互設計、教學活動組織等方面存在的問題，以此改進教學設計，提升教學效果。

四、多模態數據支持的教學行為分析實踐框架

不少研究者探討了多模態支持的學習分析過程，提出了相關的模型范式以規范其操作流程。尚卡爾等（Shankar et al.，2019）利用數據價值鏈（data value chain，DVC）概念得出多模態學習數據過程模型，包括數據發現、數據融合和數據利用；牟智佳（2020）認為多模態學習分析包括數據收集、數據存儲、數據標注、數據處理和數據開采；汪維富（2021）認為多模態學習分析包括數據發現、數據融合、數據利用等“三大步七小步”處理流程。綜上來看，多模態學習分析流程一般包括數據采集、數據分析、數據融合和數據應用。為了清晰地描述課堂教學行為的分析過程，本研究以多模態學習過程數據為指導，以課堂教學行為分析模型為核心，在數據驅動的教學環境下，從課堂教學、數據采集、智能分析和應用服務四方面構建了多模態數據支持的課堂教學行為分析實踐框架（見圖2），以期為具體的課堂教學實踐提供支持。

圖2 多模態數據支持的課堂教學行為分析實踐框架

（一）課堂教學層：基于教學行為分類的情境要素設計

以學生為中心的課堂教學不僅需要教師創設合適的教學情境，選擇適切的教學內容、教學設備以滿足多樣化的教學活動需求，還需根據學習者的學習狀態及時調整教學計劃，增強師生、生生之間的互動交流。依據教學行為的要素分類，本研究的教學情境要素包括教學主體、教學內容、教學資源、教學環境、教學交互等：1）教學內容。依據課程標準和教學目標的要求，教師結合生活實際選擇教學內容，正確把握知識難度，并以適宜的形式呈現，實現育人目標。2）教學設備。作為輔助課堂教學的工具，其在教師演示、講授等教學行為中發揮了重要作用。例如，教師通過一邊講授教學內容一邊演示虛擬智能設備（如AR、VR），營造輕松逼真的學習場景，提高學生課堂活動的參與度。3）教學活動。這是課堂師生關系存在的重要紐帶，是一切教學行為發生的基礎，即通過借助合適的教學工具和教學資源，設計符合課程要求的教學活動，在活動過程中滲透教學內容、教學方法、教學媒體等要素，從而實現“多主體、多空間、多任務”之間行為的交互分解，幫助學習者掌握知識的同時，促進學生核心素養（如小組協作交流能力、實踐探究能力等）的培養，最大程度地滿足學習者的學習需要。

（二）數據采集層：基于多模態數據的課堂教學行為表征

多模態課堂教學行為分析是對教師行為、學生行為、師生情感、師生交互等方面的綜合表征，需要大量內隱外顯的、多維數據指標才能將其全面、立體地呈現。隨著智能技術的廣泛應用，數據采集方式轉變為智能化、伴隨式，本研究基于多維課堂教學行為要素的分類，利用智能傳感器、視頻、音頻、智能設備等方式對教學過程各要素開展“多主體、多環境、多環節”的全方位數據采集。1）學習者和教師層面：利用攝像頭、眼動儀、智能手環、智能學習設備等采集學習者、教師的外顯行為和內隱信息數據（如師生情緒感知數據、行為數據等）。2）信息空間：利用知識圖譜技術標記學習內容，跟蹤記錄學習者的學習過程數據，如人機交互數據，隨堂測試數據等，實現個性化資源的精準推送。3）師生互動：通過麥克風、拾音器、攝像頭獲取學習者與教師或與同伴之間交流的語音數據（如教師講授、提示、指導等語音，學習者的回答、交流等語音）、動作姿勢數據等。利用人工智能技術實現師生行為、話語、表情等多維數據的挖掘與分析，并將結果以可視化的方式呈現，這在一定程度上彌補了傳統數據采集分析的弊端，提高了課堂教學行為分析的全面性與真實性。

（三）智能分析層：基于多模態數據的教育問題研究

智能分析主要通過關聯多模態數據支持的課堂教學情境特征與師生特征，使教學活動的主體與教學情境匹配，構建基于多模態的師生模型，探究教學內容、資源、設備、環境等要素對學習者和教師的認知結構、情緒發展和自我反思的影響，實現對課堂教學行為的深度剖析。

1. 基于多模態的師生、教學情境數據的特征挖掘

本研究利用多模態數據融合分析方法，將采集的多維數據進行融合，從中提取與學習者特征、教師教學特征相關的關鍵指標，加以精準刻畫。1）學習者特征挖掘指通過多模態數據融合的方法，融合分析學習者的行為數據、話語數據、文本數據、生理數據等，形成學習者在“認知、行為、情感、交互”方面的可計算的外在表征模式，深層次地探究影響學習者認知發展、情緒感知的內在機理。2）教師特征挖掘指利用多模態數據融合的方法融合分析教師的行為數據、語言數據、生理數據，實現對教師教學風格、教學行為的精準刻畫。3）情境要素精準監測指利用多模態數據融合的方法對“人—機—物”多主體、“物理空間—信息空間—心理空間”多空間和多任務進行精準分析，提取教學內容、教學資源、教學設備、教學交互和多維環境等方面的關鍵特征，實現對課堂教學情境的精準刻畫。

2. 基于課堂教學情境的師生建模

基于課堂教學情境要素的師生建模的關鍵是探討教學情境的創設對學習者、教師在認知、情感等的影響，分析教學情境要素與學習者模型、教師模型之間的映射關系，探究教學情境（如教學內容的設計、教室空間的結構、學生座位的分布、人機的交互、教師的位置、師生距離等）對學習者學習興趣、學習狀態、學習風格等的影響，以此建構更加完善的學習者模型，為個性化學習服務提供支持。同時，探究教學內容、師生交互、物理空間等要素對教師教學行為、教學效果的影響，挖掘教師的教學風格、教學模式、教學活動設計等對學習者學習動機、認知發展等的影響，完善教師模型。

（四）應用服務層：基于多模態數據的智能教學服務

多模態課堂教學行為分析的應用服務階段主要探討課堂教學的分析數據如何真正應用到教、學、管等環節中，實現課堂教學數據價值的最優化。

1. 基于多模態課堂教學行為數據的個性化學習服務

多模態課堂教學行為分析研究通過采集和分析學習者多模態數據，可實現對其認知、行為、情緒等的精準評價，促進學習者與教育情境要素之間的聯結貫通，明確學習發生的機制，從而調整教學情境的相關要素，改變學習路徑，為學習者提供“定制化”學習支持。

2. 基于多模態課堂教學行為數據的高效教學服務

通過采集分析學習者學習全過程、伴隨式數據，教師可充分掌握學生的學習特征、認知水平，進而調整教學策略，改變教學模式，提高課堂教學效果。同時，多模態課堂教學行為數據還包含基于計算結果自動生成的課堂記錄和教師成長曲線，可及時跟蹤教師教學能力變化（劉清堂等，2019），為教師的自我反思、提升專業教學水平提供依據。

3. 基于多模態課堂教學行為數據的課堂管理服務

由智能設備采集“多空間、多主體、多環節”中的課堂教學行為數據，建立統一的課堂活動編排模型，一定程度上能夠滿足數據驅動的精準教學活動的結構化需求，推進課堂教學的高效管理。同時，數據驅動的多元認知追蹤與歸因分析技術，可對學習者認知、思維、能力、情感等進行全方位測評，幫助教師精準把握學生的學情和學習狀態，給予針對性的“施教”，提高課堂教學管理服務的質量。

總之，人工智能技術給課堂教學帶來了新的理念、新的評價方式，包括以數據化的形式呈現那些難以表征、視覺難以觀察到的現象，可推動教師的教學決策和課堂管理走向科學、有效。本研究以多模態課堂教學行為分析的研究現狀為基礎，明確了基于多模態課堂教學行為分析的關鍵要素與設計原則，設計了課堂教學行為分析的模型，提出了課堂教學行為分析的實踐框架，為后續課堂教學行為分析的實踐研究提供理論依據和參考。