多模態(tài)視域下智慧課堂協(xié)作學習投入度分析模型構(gòu)建及應用

吳軍其 吳飛燕 張萌萌 戴新菊 張影

[摘? ?要] 在協(xié)作學習中，學習投入是影響學生學業(yè)成功和教育教學質(zhì)量的重要因素，對其有效測評能為教師研判協(xié)作活動提供依據(jù)。人工智能和智能感知技術(shù)的發(fā)展催生了智慧課堂，學習投入測評方式也由單一維度向多模態(tài)融合分析轉(zhuǎn)變。文章基于多模態(tài)學習分析理論，結(jié)合智慧課堂協(xié)作學習的特點，探討技術(shù)與學習測評的深度融合，從行為、認知和情感三個維度分析學習投入，構(gòu)建智慧課堂協(xié)作學習投入度分析模型并在實際課堂中應用。實踐發(fā)現(xiàn)來自智慧課堂協(xié)作學習過程的視頻、音頻、日志、生理和自我報告等多模態(tài)數(shù)據(jù)，其中的每一模態(tài)數(shù)據(jù)均有與學習投入度呈相關(guān)關(guān)系的特征變量。研究結(jié)果表明，基于多模態(tài)數(shù)據(jù)的測評能較全面地反映學生的學習投入狀態(tài)，為協(xié)作學習中教師精準施策提供依據(jù)，促進教育評價數(shù)據(jù)化、科學化、精準化。

[關(guān)鍵詞] 多模態(tài)學習分析; 智慧課堂; 協(xié)作學習; 學習投入度; 模型

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

一、引? ?言

協(xié)作學習在培養(yǎng)學習者團隊協(xié)作精神、發(fā)展社交技能、促進高階認知發(fā)展等方面具有其他教學模式無可比擬的優(yōu)勢，受到教育研究者和實踐者的一致重視[1]。然而，協(xié)作學習常出現(xiàn)搭便車、參與不均和交互缺乏深度等投入不足的現(xiàn)象[2-3]。研究表明[4-5]，教師的有效監(jiān)控、干預和指導能促進學生的學習投入以提高協(xié)作學習的效率。那么，如何有效監(jiān)測學生的投入狀態(tài)，為協(xié)作學習中教師精準施策提供依據(jù)就成了研究焦點。

早期協(xié)作學習投入度測評常用方法包括自我報告法、教師打分法和訪談法等。其中應用最為廣泛的是以“NSSE（美國全國大學生學習投入調(diào)查問卷）”為代表的自我報告測評方法。隨著在線學習普及，數(shù)字畫像成為測評學習投入度的重要方式之一，Soffer等通過收集在線平臺學習者日志數(shù)據(jù)，開展學習投入度測評研究[6]。然而，學習過程是復雜的，自我報告數(shù)據(jù)或日志數(shù)據(jù)均只提供學習過程的部分信息，難以全面描摹學生的學習狀態(tài)。智慧課堂的到來，為學習過程的多模態(tài)數(shù)據(jù)收集帶來極大便利，在協(xié)作學習測評中出現(xiàn)“對多模態(tài)的呼吁”[7]。Martínez等通過計算機、麥克風和傳感器收集協(xié)作學習過程數(shù)據(jù)，以此分析學生的學習狀態(tài)[8]。馬志強等利用多模態(tài)數(shù)據(jù)挖掘影響協(xié)作學習投入度的因素[9]。以上研究表明，基于多模態(tài)數(shù)據(jù)的測評方式能更全面、科學地評價協(xié)作學習的投入狀態(tài)?？梢?，多模態(tài)學習分析是技術(shù)和教學深度融合的產(chǎn)物，協(xié)作學習投入度的測評將逐漸由單一維度轉(zhuǎn)變?yōu)槎嗄B(tài)融合分析。

二、多模態(tài)數(shù)據(jù)表征的學習投入度分析

（一）多模態(tài)學習分析內(nèi)涵

互聯(lián)網(wǎng)技術(shù)急劇發(fā)展催生大量數(shù)據(jù)，數(shù)據(jù)驅(qū)動循證在教育改革中興起，多來源、多維度數(shù)據(jù)融合支撐的教學研究已成為未來學習分析的趨勢[10]。由此，多模態(tài)學習分析逐漸興起，它是指以學習理論為核心，以交互、感知、語義理解技術(shù)作為支撐，盡可能收集學習過程中的聲音、視頻、問卷等多模態(tài)數(shù)據(jù)，圍繞學習過程中所產(chǎn)生的學生生理和行為數(shù)據(jù)進行分析，以揭示學習規(guī)律[11]。多模態(tài)學習分析具有鮮明的特征：互補性、互證性、融合性和轉(zhuǎn)換性[12]。即每一樣態(tài)的數(shù)據(jù)都是對某一學習現(xiàn)象的部分解釋，多種模態(tài)數(shù)據(jù)互補共同解釋教學全過程;不同類型的學習數(shù)據(jù)驗證同一教學現(xiàn)象或結(jié)果，提高結(jié)果的科學性和公信力;各種樣態(tài)的數(shù)據(jù)相互融合，共同表征某一類學習指標;同時，物理數(shù)據(jù)可轉(zhuǎn)換為數(shù)字數(shù)據(jù)并可視化，以便教師依據(jù)數(shù)字畫像進行精準教學。

（二）多模態(tài)學習分析在學習投入度測評中的應用

運用多模態(tài)數(shù)據(jù)測評學習并不是新應用，早在20世紀90年代，Ambady等人通過“薄片”（即短視頻片段）分析大學生的身體和非語言行為，以此來預測學生的期末表現(xiàn)[13]。R.Munoz通過微軟Kinect傳感器自動捕捉、識別和可視化十種身體姿勢，獲取學生的手勢、動作、表情等數(shù)據(jù)，并結(jié)合傳統(tǒng)考試等方法，科學、全面地評估學生的學習[14]。Kaori Tamura運用眼動儀和腦電儀收集學習者多模態(tài)數(shù)據(jù)，挖掘自主學習中存在的問題[15]。在學習投入度測評方面，早期研究者多使用機器學習算法，構(gòu)建可以解釋學生學習投入的模型。隨著傳感器、可穿戴設(shè)備和腦電儀等智能感知設(shè)備在教育中推廣，利用音視頻、日志和生理等多模態(tài)數(shù)據(jù)測評學習投入已成為重要的發(fā)展趨勢[16]。Carolis等提出通過分析學習者表情、動作并借助問卷調(diào)查可獲得對學習投入的有效評估[17]。張琪等運用多模態(tài)數(shù)據(jù)表征學習投入，建立包含學習者瞬時行為數(shù)據(jù)、內(nèi)容交互數(shù)據(jù)、情境互動數(shù)據(jù)的分析框架[18]。馬志強等基于學習過程的多模態(tài)交互信息，構(gòu)建了協(xié)作學習投入度分析框架[9]。學者們從理論和框架方面給出多模態(tài)數(shù)據(jù)測評學習投入度的思路，但基于案例和實踐的研究較少，另外對特定教學環(huán)境比如在智慧課堂、對特定教學活動比如協(xié)作學習中運用多模態(tài)數(shù)據(jù)測評學習投入的研究較少。

綜上所述，運用多模態(tài)數(shù)據(jù)測評學習投入度能較全面、科學和系統(tǒng)地分析學生的學習狀態(tài)，隨著技術(shù)和教育的深度融合，傳統(tǒng)單一維度的測評方式將逐漸轉(zhuǎn)為多模態(tài)數(shù)據(jù)測評模式。本研究基于多模態(tài)學習分析理論，構(gòu)建智慧課堂協(xié)作學習投入度測評模型并應用到實踐，期望從理論到實踐為多模態(tài)數(shù)據(jù)測評智慧課堂協(xié)作學習投入度提供些許參考。

三、智慧課堂協(xié)作學習投入度分析模型構(gòu)建

（一）模型構(gòu)建

1. 設(shè)計目的

本研究以智慧課堂協(xié)作學習投入度評價為研究對象，構(gòu)建基于多模態(tài)的智慧課堂協(xié)作學習投入度分析模型。該模型的應用，為教師在協(xié)作學習環(huán)節(jié)精準施策提供腳手架，促進學生在協(xié)作學習中的投入，提升學習投入度測評的科學性和公信力，提高課堂教學效率。

2. 模型要素

本研究參考李新學者提出的多模態(tài)學習投入度測評方法[19]和馬志強學者提出的協(xié)作學習投入度分析路徑[9]，確定了智慧課堂協(xié)作學習投入度分析模型涵蓋環(huán)境要素、教學活動、測評內(nèi)容和測評方法這四大模塊。其中，環(huán)境要素指智慧課堂特有的軟硬件設(shè)備及功能;教學活動包括協(xié)作學習教學環(huán)節(jié)及其教學流程;測評內(nèi)容指學習投入度及其包含的維度;測評方法即多模態(tài)數(shù)據(jù)測評，運用多模態(tài)數(shù)據(jù)進行特征提取以表征學習投入狀態(tài)。

3. 設(shè)計思路

在進行學習分析時，需先明確分析的對象，即教學活動;然后再確定評價的內(nèi)容，包括評價維度和指標;進而考慮采用什么測評方法。因此，在設(shè)計智慧課堂協(xié)作學習投入度分析模型時，把教學活動設(shè)定為模型的核心，測評內(nèi)容圍繞教學活動而設(shè)計，測評方法則依據(jù)測評內(nèi)容需要進行選擇，環(huán)境要素伴隨并影響著教學活動、測評內(nèi)容和測評方法這三個要素而存在。模型設(shè)計的具體流程為：第一，確定教學活動為協(xié)作學習，明確其要素和流程;第二，圍繞協(xié)作學習活動，確定測評內(nèi)容為學生的學習投入度，包括行為投入、認知投入和情感投入;第三，確定測評方法，包括采集的數(shù)據(jù)源以及數(shù)據(jù)所表征的特征變量;第四，挖掘智慧課堂支撐學習投入度測評的環(huán)境優(yōu)勢，如技術(shù)、設(shè)備和資源等;最后，構(gòu)建具有“智能化、全流程、多維度、多模態(tài)”的智慧課堂協(xié)作學習投入度分析模型，如圖1所示。

（二）模型內(nèi)涵

1. 智能化的技術(shù)環(huán)境

智慧課堂具有鮮明的技術(shù)特征：教學決策數(shù)據(jù)化、學習評價即時化、交流互動立體化、資源推送智能化和教學呈現(xiàn)可視化[20]。在協(xié)作學習中，要善于發(fā)揮智慧課堂優(yōu)勢，創(chuàng)設(shè)智能化的學習環(huán)境。例如，運用智慧課堂的互動分組、無線投屏和交互白板等工具支持協(xié)作學習的討論、演示和分享，營造友好的協(xié)作學習氛圍;運用智慧學習平臺隨時隨地開展學習，形成泛在的協(xié)作學習環(huán)境;運用智慧錄播系統(tǒng)和智能感知設(shè)備收集學習過程多模態(tài)數(shù)據(jù)，形成基于數(shù)據(jù)循證的評價和反饋機制?？傊浞滞诰颦h(huán)境優(yōu)勢，推動技術(shù)與教學深度融合，基于數(shù)據(jù)循證精準施策，提升學生協(xié)作中的投入度，從而提高課堂效率。

2. 全流程監(jiān)測協(xié)作學習

協(xié)作學習過程涵括課前準備、任務呈現(xiàn)、協(xié)作過程和成果分享等環(huán)節(jié)，學生在任何一個環(huán)節(jié)的投入狀態(tài)都有可能影響到最終的學習效果。因此，需要線上和線下，課前、課中和課后，全流程捕捉、記錄和跟蹤協(xié)作學習過程，及時診斷學生學習投入狀態(tài)，形成協(xié)作學習全流程多方位的監(jiān)測、評價和反饋閉環(huán)。

3. 多維度測量學習投入

學習投入是表征學習效果最直接的指標之一[21-22]， Fredricks等人通過大量實證研究提出學習投入包含行為投入、認知投入和情感投入[23]。行為投入指學習者帶有動機、目標和毅力等特性參與任務互動[24]，如在協(xié)作中的角色扮演、參與度和互動情況等。認知投入是指學習者在學習過程中調(diào)用的認知策略[25]，如學習者在協(xié)作中對知識（記憶、理解、應用、分析、評價、創(chuàng)造）、技能（了解技能、掌握技能、解決問題）和能力素養(yǎng)（合作能力、溝通能力、創(chuàng)新能力、審辯思維能力）方面的展示。情感投入是一種情緒，包括學習興趣和學習風格，如學生在協(xié)作中顯露出的高興、厭倦等情緒，或是對協(xié)作互動和協(xié)作資源表現(xiàn)出的興趣和偏好等。總之，從行為、認知和情感多個維度測量學習投入度，能全面客觀描摹學生的學習效果。

4. 多模態(tài)數(shù)據(jù)表征學習投入狀態(tài)

多模態(tài)學習分析通過整合多個模態(tài)數(shù)據(jù)，能夠為教育科學研究提供準確研判[26]。學生協(xié)作學習中的行為投入、認知投入和情感投入是通過動作、表情、語言、生理變化、心理變化和自我報告等表現(xiàn)出來的。在智慧課堂中，利用智能設(shè)備如錄播系統(tǒng)捕捉學生的動作、表情和姿勢，形成視頻數(shù)據(jù);利用智慧平臺記錄學生學習印記，形成日志數(shù)據(jù);利用錄音筆記錄學生討論內(nèi)容，形成音頻數(shù)據(jù);利用智能感知設(shè)備如智能手環(huán)記錄學生的生理數(shù)據(jù);利用量表獲取學生自我報告數(shù)據(jù)。將這些多模態(tài)數(shù)據(jù)進行融合和分析，進而反映學生學習投入狀態(tài)，例如，視頻數(shù)據(jù)記錄面部表情中的專注、厭煩以及困惑可表征學生的情感投入和認知投入;日志數(shù)據(jù)記錄的學習時長可表征學生的行為投入;量表自我報告數(shù)據(jù)可表征行為、認知和情感投入;生理數(shù)據(jù)如心率、壓力可表征學生的行為和認知投入。

四、智慧課堂協(xié)作學習投入度

分析模型實踐應用

本案例將多模態(tài)數(shù)據(jù)表征的智慧課堂協(xié)作學習投入度測評模型應用到一線教學，期望能從實踐層面為智慧課堂協(xié)作學習投入度測評提供借鑒。

（一）實驗設(shè)計

以H高?！盎瘜W教學論”的“高中化學模型建構(gòu)”一課為例開展實驗研究。該課程在智慧教室進行，智慧教室有錄播系統(tǒng)、無線投屏、互動分組、交互白板、移動終端和“小雅”平臺等工具。本課教學流程包含預習、理論講授、實踐體驗和總結(jié)提升四個教學環(huán)節(jié)，其中實踐體驗部分是學生的協(xié)作學習，教學流程如圖2所示。

（二）實驗過程

本實驗針對智慧課堂協(xié)作學習環(huán)節(jié)，首先采集每組學生的多模態(tài)數(shù)據(jù);然后對各模態(tài)數(shù)據(jù)進行編碼和統(tǒng)計;最后對數(shù)據(jù)進行分析。

1. 數(shù)據(jù)采集

采集學生協(xié)作學習過程中的音頻數(shù)據(jù)、視頻數(shù)據(jù)、“小雅”平臺數(shù)據(jù)、生理數(shù)據(jù)、問卷自我報告數(shù)據(jù)和作品評價量規(guī)數(shù)據(jù)，數(shù)據(jù)采集過程如圖3所示。

在數(shù)據(jù)采集中，利用智慧教室錄播系統(tǒng)和攝像機多機位采集各小組視頻數(shù)據(jù);利用錄音筆采集各小組音頻數(shù)據(jù);利用“小雅”平臺收集學生日志數(shù)據(jù);利用智能手環(huán)采集學生心率和壓力等生理數(shù)據(jù);利用在線調(diào)查系統(tǒng)收集學生自我報告問卷數(shù)據(jù)。其中該問卷是在分析智慧課堂協(xié)作學習特點的基礎(chǔ)上，參考彭紹玲學者的“同伴關(guān)系與大學生學習投入的現(xiàn)狀調(diào)查問卷”[27]和汪雅霜學者的“大學生學習投入度量表”[28]改編而成，包含行為投入、認知投入和情感投入三個維度，行為層面由小組學習中的角色扮演、小組活動參與度和課堂交互組成;認知層面包括知識、技能和能力素養(yǎng);情感層面主要為小組學習喜好。運用SPSS對整體問卷進行可靠性分析，Cronbach's Alpha值0.847，說明該問卷有較高信度;同時邀請專家對問卷效度進行評判，專家們一致認為該問卷具有較好的內(nèi)容效度。利用量規(guī)采集學生協(xié)作學習成果的評價數(shù)據(jù)，量規(guī)是由三名化學教學論專業(yè)資深教師共同制訂而成。

2. 數(shù)據(jù)編碼及統(tǒng)計

對采集到的各模態(tài)數(shù)據(jù)進行特征提取、編碼和統(tǒng)計。其中，視頻數(shù)據(jù)、音頻數(shù)據(jù)、“小雅”平臺數(shù)據(jù)、問卷自我報告數(shù)據(jù)的分析內(nèi)容和編碼維度如圖4所示。

（1）視頻數(shù)據(jù)編碼統(tǒng)計

視頻數(shù)據(jù)主要分析學生的面部表情、頭部姿勢和手部動作。其中，面部表情編碼識別采用FACS表情識別工具，并結(jié)合孫波學者情感與AU的關(guān)系框架[29]進行統(tǒng)計分析。將各小組視頻每間隔3秒抽樣一次各生成584個樣本，在Nvivo中進行編碼和統(tǒng)計。

（2）音頻數(shù)據(jù)編碼統(tǒng)計

從學生討論（與課程內(nèi)容相關(guān)、與課程內(nèi)容無關(guān)）、安靜或混亂兩個維度三個指標進行音頻內(nèi)容切割，運用累計時長法在EXCEL中統(tǒng)計，獲取各小組音頻對應編碼維度時長。

（3）“小雅”平臺數(shù)據(jù)統(tǒng)計

按照圖4“小雅”平臺數(shù)據(jù)編碼維度，收集各小組成員的日志數(shù)據(jù)，并將該數(shù)據(jù)從平臺導出到SPSS中，以便后續(xù)進行數(shù)據(jù)分析。

（4）問卷數(shù)據(jù)編碼統(tǒng)計

將問卷調(diào)查系統(tǒng)數(shù)據(jù)導出，問卷選擇題數(shù)據(jù)導入到SPSS中分析，問卷開放題數(shù)據(jù)按組歸類，每組為一個案例導入Nvivo編碼分析。

（5）生理數(shù)據(jù)編碼統(tǒng)計

從智能手環(huán)讀取學生心率和壓力數(shù)據(jù)并進行統(tǒng)計，統(tǒng)計維度為每位學生心率變化極差（最大心率—最小心率）、壓力變化極差（最大壓力—最小壓力）以及壓力分布（偏高、中等、正常、放松）。

（6）量規(guī)數(shù)據(jù)處理

量規(guī)測量各組學習成效，計算每組最終成績，并將成績前27%的小組定義為高成就，后27%小組定義為低成就。

3. 數(shù)據(jù)分析

在標注高成就的小組中隨機抽取一組作為高成就組，在標注低成就的小組中隨機抽取一組作為低成就組，對這兩個小組的學習投入數(shù)據(jù)進行比較分析。

（1）音頻數(shù)據(jù)分析

在本課的協(xié)作學習中，高、低成就組在安靜或混亂、討論內(nèi)容與課程相關(guān)、討論內(nèi)容與課程無關(guān)這三個方面的時長如圖5所示，結(jié)果顯示兩組在討論或混亂的時長基本相等，高成就組在討論與課程內(nèi)容相關(guān)方面的時間較長，在討論與課程內(nèi)容無關(guān)的時間較短。

（2）視頻數(shù)據(jù)分析

對每個學生面部表情、頭部姿勢和手部動作這三個維度對應的高興、困惑、厭煩、驚訝、疲勞、專注、自信、抬頭、低頭、歪頭以及和同伴交流時有手部動作共11個指標進行分析，通過SPSS對高低成就組的這11個指標均進行Mann-WhitneyU檢驗，結(jié)果顯示高、低成就組學生在協(xié)作學習中困惑、疲勞、專注以及和同伴交流時有手部動作這四個方面有顯著性差異，如表1視頻數(shù)據(jù)分析結(jié)果所示。在協(xié)作學習中高成就組的學生呈現(xiàn)出的專注度高，而且他們較喜歡在表達觀點時輔以手部動作，低成就組的學生較容易出現(xiàn)困惑和疲勞等面部表情。

（3）“小雅”平臺數(shù)據(jù)分析

對每個學生在平臺上的任務完成度、學習時長、自主觀看、作業(yè)、討論和隨堂測試成績這6項進行分析，通過SPSS對高、低成就組的這6項均進行Mann-WhitneyU檢驗，結(jié)果顯示高、低成就組在“小雅”平臺任務完成度和討論這兩個方面有顯著性差異，如表1“小雅”平臺數(shù)據(jù)分析結(jié)果所示，高成就組的任務完成度和討論數(shù)量顯著高于低成就組。

（4）生理數(shù)據(jù)分析

對生理數(shù)據(jù)中每個學生的心率變化極差、壓力變化極差、壓力偏高、壓力中等、壓力正常和壓力放松這6項指標進行分析，通過SPSS對高、低成就組這6項指標均進行Mann-WhitneyU檢驗，結(jié)果顯示高、低成就組學生在心率變化極差和壓力變化極差存在顯著性差異，如表1生理數(shù)據(jù)分析結(jié)果所示。高成就組的心率變化極差顯著高于低成就組，而壓力變化極差顯著低于低成就組。

（5）問卷數(shù)據(jù)分析

運用SPSS對高、低成就組問卷中21個題項均進行Mann-WhitneyU檢驗，結(jié)果顯示高、低成就組學生在行為維度中的“明確小組分工”和“小組成員都參與了討論”這兩項存在顯著性差異;在認知維度中的“課前推送的資源，為我在協(xié)作討論中提供想法”存在顯著性差異;在情感維度中的“喜歡互動投屏分享成果”和“錄播系統(tǒng)能督促學習”這兩項存在顯著性差異，如表1中的問卷自我報告數(shù)據(jù)分析所示。

（三）結(jié)論與討論

1. 基于多模態(tài)的測評能較全面反映學生的投入狀態(tài)

從以上數(shù)據(jù)分析發(fā)現(xiàn)：第一，音頻數(shù)據(jù)表征的學生討論內(nèi)容與課程是否相關(guān)會影響其學習投入度。第二，視頻數(shù)據(jù)表征的在協(xié)作學習中當學生表現(xiàn)出專注，或在討論中輔以手部動作時，其投入度較高;反之，當出現(xiàn)困惑或疲勞表情時，其投入度低。第三，日志數(shù)據(jù)反映的在課程平臺中完成任務和積極開展討論能表征學生學習投入度較高。第四，生理數(shù)據(jù)反映的當學生心率有較大波動時，學習投入度高;反之，當壓力變化波動較大時，學習投入度低。第五，自我報告數(shù)據(jù)反映的在協(xié)作學習中明確小組分工、小組成員都參與討論、課前推送資源、運用互動投屏分享成果和利用錄播系統(tǒng)監(jiān)測學生，這些都有利于提高學生的學習投入度，見表2?？梢?，影響智慧課堂協(xié)作學習投入度的因素較復雜，基于多模態(tài)數(shù)據(jù)表征的智慧課堂協(xié)作學習投入度分析模型能較全面地挖掘影響學生投入度的相關(guān)因素，能科學客觀地評價學生協(xié)作學習的投入狀態(tài)。

2. 基于多模態(tài)的測評為協(xié)作學習中教師精準施策提供依據(jù)

在智慧課堂中，教師通過監(jiān)測多模態(tài)數(shù)據(jù)表征的協(xié)作學習投入狀態(tài)，對小組學習進行研判并施策。如表2所示，當學生面部表情出現(xiàn)困惑或疲勞，或者壓力變化波動過大，或討論內(nèi)容與課程無關(guān)，這都表示其學習投入度較低，教師可適時進行干預;當其面部表情表現(xiàn)出專注或與同伴交互過程中出現(xiàn)手部動作，或心率變化波動較大，或討論內(nèi)容與課程相關(guān)，這些現(xiàn)象表明其學習正在投入狀態(tài)，教師不宜打擾。另外，在協(xié)作學習中，加強課前預習環(huán)節(jié)的引導、明確小組分工、督促每個成員參與小組學習、利用好智慧教室的無線投屏分享成果及錄播系統(tǒng)監(jiān)測學習的功能，這些能大大提高學生的學習投入度，教師要努力為學生創(chuàng)造諸如以上條件的友好的協(xié)作學習環(huán)境。

3. 基于多模態(tài)的測評促進教育評價數(shù)據(jù)化、科學化、精準化

本研究利用多模態(tài)數(shù)據(jù)監(jiān)測學習投入的變化規(guī)律，較全面地揭示了學生在協(xié)作過程中行為、認知和情感的投入狀態(tài)，突破了傳統(tǒng)單一數(shù)據(jù)源測評的局限，為教師課程設(shè)計、教學活動組織和教學工具的選擇提供有價值的依據(jù)。2020年9月中共中央、國務院印發(fā)《深化新時代教育評價改革總體方案》，標志著我國教育評價改革進入前所未有的重視階段，人們期望采用更可靠、更高效、更智能的手段整合多維度、多層次的信息，制定更具準確性和解釋性的測評方案，來推動教育評價改革順利開展[30]。多模態(tài)理念為充分利用現(xiàn)代技術(shù)、創(chuàng)新教學評價方法和開發(fā)教育評價工具提供新的思路，其將賦能教育評價逐漸向數(shù)據(jù)化、科學化、精準化的方向發(fā)展。

五、結(jié)? ?語

智能技術(shù)的發(fā)展，為解決協(xié)作學習投入度測評單一的問題，帶來了新的方法。我國多模態(tài)學習分析尚處在探索階段，理論研究和實踐應用任重道遠。隨著人工智能與教育融合發(fā)展，多模態(tài)學習分析將成為促進教育評價改革的中堅力量。本研究基于多模態(tài)學習分析理論，構(gòu)建智慧課堂協(xié)作學習投入度分析模型并在教學實踐中應用，為全面、科學、精準地分析學習投入提供參考路徑。下一步研究將在更大范圍內(nèi)開展實驗，通過設(shè)計不同類型和不同難度的任務開展課堂實踐，獲取更豐富和更具代表性的數(shù)據(jù)，從而提升模型通用性和準確性。

[參考文獻]

[1] 毛剛，劉清堂，吳林靜.基于活動理論的小組協(xié)作學習分析模型與應用[J].現(xiàn)代遠程教育研究，2016（3）：93-103.

[2] 李京杰，馬德俊.博弈論與協(xié)作學習的組內(nèi)合作及組間競爭問題探討[J].電化教育研究，2010（2）：18-21.

[3] 陳向東，羅淳，張江翔.共享調(diào)節(jié)：一種新的協(xié)作學習研究與實踐框架[J].遠程教育雜志，2019，37（1）：62-71.

[4] 李艷燕，邢爽，包昊罡，蘇友，張媛.在線協(xié)作學習中學習分析工具對教師干預的影響研究[J].中國電化教育，2019（2）：80-86.

[5] 鄭蘭琴，梁妙.教師指導對協(xié)作學習效果影響的實證研究[J].電化教育研究，2014，35（8）：89-94.

[6] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[7] SCHNEIDER B， BLIKSTEIN P. Unraveling students' interaction around a tangible interface using multimodal learning analytics[J]. Journal of educational data mining， 2015， 7（2）：217-231.

[8] MART？魱NEZ R， COLLINS A， KAY J， et al. Who did what？ Who said that？ Collaid： an environment for capturing traces of collaborative learning at the tabletop[C]//In Proceedings of 2011 Acm International Conference on Interactive Tabletops and Surfaces. New York： ACM， 2011：172-181.

[9] 馬志強，岳蕓竹，王文秋.基于多模態(tài)交互信息的協(xié)作學習投入分析[J].現(xiàn)代教育技術(shù)，2021，31（1）：47-53.

[10] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）：338-349.

[11] 牟智佳.多模態(tài)學習分析：學習分析研究新生長點[J].電化教育研究，2020，41（05）：27-32，51.

[12] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）：6856.

[13] AMBADY N， ROSENTHAL R. Half a minute： predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness[J]. Journal of personality and social psychology， 1993， 64（3）： 431.

[14] MUNOZ R， BARCELOS T S， VILLARROEL R， et al. Body posture visualizer to support multimodal learning analytics[J]. IEEE latin America transactions， 2018， 16（11）：2706-2715.

[15] TAMURA K， LU M， KONOMI S， et al. Integrating multimodal learning analytics and inclusive learning support systems for people of all ages[C]//International Conference on Human-computer Interaction. Cham： Springer， 2019：469-481.

[16] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： A

"grey-box" approach[J]. British journal of educational technology， 2019， 50（6）：3004-3031.

[17] CAROLIS B D， D'ERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//Proceedings of the IEEE International Conference on Web Intelligence. New York： ACM， 2019：80-85.

[18] 張琪，王紅梅.學習投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[19] 李新，李艷燕，包昊罡，程露.學習投入測評新發(fā)展：從單維分析到多模態(tài)融合[J].電化教育研究，2021，42（10）：100-107.

[20] 孫曙輝，劉邦奇，李鑫.面向智慧課堂的數(shù)據(jù)挖掘與學習分析框架及應用[J].中國電化教育，2018（2）：59-66.

[21] 郭建鵬，劉公園，楊凌燕.大學生學習投入的影響機制與模型——基于311所本科高等學校的學情調(diào)查[J].教育研究，2021，42（8）：104-115.

[22] 劉繁華，易錫添.在線學習投入的分析模型構(gòu)建及應用研究[J].電化教育研究，2021，42（9）：69-75.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[24] 武法提，張琪.學習行為投入：定義、分析框架與理論模型[J].中國電化教育，2018（1）：35-41.

[25] 馬志強，蘇珊，張彤彤.基于學習投入理論的網(wǎng)絡(luò)學習行為模型研究——以“網(wǎng)絡(luò)教學平臺設(shè)計與開發(fā)”課程為例[J].現(xiàn)代教育技術(shù)，2017，27（1）：74-80.

[26] 吳永和，郭勝男，朱麗娟，馬曉玲.多模態(tài)學習融合分析（MLFA）研究：學理闡述、模型樣態(tài)與應用路徑[J].遠程教育雜志，2021，39（3）：32.

[27] 彭紹玲.同伴關(guān)系對大學生學習投入的影響研究[D].南昌：江西師范大學，2021.

[28] 汪雅霜.大學生學習投入度的實證研究——基于2012年“國家大學生學習情況調(diào)查”數(shù)據(jù)分析[J].中國高教研究，2013（1）：32-36.

[29] 孫波，劉永娜，陳玖冰，羅繼鴻，張迪.智慧學習環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠程教育研究，2015（2）：96-103.

[30] 駱方，田雪濤，屠焯然，姜力銘.教育評價新趨向：智能化測評研究綜述[J].現(xiàn)代遠程教育研究，2021，33（5）：42-52.

Construction and Application of Collaborative Learning Engagement Analysis Model for Smart Classroom from A Multimodal Perspective

WU Junqi，? WU Feiyan，? ZHANG Mengmeng，? DAI Xinju，? ZHANG Ying

（Faculty of Artificial Intelligence in Education， Central China Normal University， Wuhan Hubei 430079）

[Abstract] Learning engagement is an important factor affecting students' academic success and education and teaching quality in collaborative learning. Evaluating students' learning engagement effectively can provide the evidence for teachers to analyze and judge collaborative activities. The development of artificial intelligence and intelligent perception technology leads to the smart classroom， and the evaluation method of learning engagement has also changed from a single-dimensional one to multimodal fusion analysis. Based on multimodal learning analysis theory， combined with the characteristics of collaborative learning in smart classroom， this paper discusses the deep integration of technology and learning evaluation， analyzes learning engagement from three dimensions of behavior， cognition and emotion， constructs an analysis model of smart classroom collaborative learning engagement， and applies it in practical classes. It is found that multimodal data such as video， audio， log， physiology and self-report from the collaborative learning process in smart classroom， each modal data has characteristic variables that are correlated with learning engagement. The research results show that the evaluation based on multimodal data can comprehensively reflect students' learning engagement， provide a basis for teachers to make precise policy-making in collaborative learning， and promote data-based， scientific and accurate educational evaluation.

[Keywords] Multimodal Learning Analysis; Smart Classroom; Collaborative Learning; Learning Engagement; Model

[作者簡介] 吳軍其（1972—），男，湖北武漢人。教授，博士，主要從事教育技術(shù)學和教師教育研究。E-mail：wujunqi @ccnu.edu.cn。

基金項目：華中師范大學國家教師發(fā)展協(xié)同創(chuàng)新實驗基地建設(shè)研究項目“‘人工智能+名師課堂創(chuàng)新應用”（項目編號：CCNUTEIII 2021-13）