多模態學習分析技術支持的學習評價研究*

張家華 胡惠芝 黃昌勤

多模態學習分析技術支持的學習評價研究*

張家華 胡惠芝[通訊作者]黃昌勤

（浙江師范大學 浙江省智能教育技術與應用重點實驗室，浙江金華 321004）

面對新時代高質量教育與創新人才的發展需求，傳統學習評價的弊端日益凸顯，亟需創新體制、深化改革。多模態學習分析通過多維度全面采集和分析學習過程動態數據，使面向過程與真實學習情境的學習評價成為可能。文章首先基于當前學習評價的難點問題分析，剖析了多模態學習分析應用于學習評價的價值內蘊。隨后，文章提出四類多模態數據所映射的評價表征維度和內容，從確立目標、獲取數據、建構模型、提供反饋四個方面構建并闡釋了基于多模態學習分析的學習評價流程。最后，文章結合相關研究成果提出多模態學習分析的學習評價應用建議，以期為面向過程的發展性學習評價改革賦能助力，并為高階學習評價提供新視角。

多模態數據；學習分析；學習評價；學習過程；數據表征

教育評價改革是建設高質量教育體系的關鍵環節和動力，引領著教育高質量發展的目標方向。傳統的學習評價受技術的限制，難以對個體及群體性學習過程進行細致分析，無法支持理解復雜的學習現象。多模態學習分析作為一種新興技術，為不同學習環境中的人、機、資源所產生的學習測量與評價提供了新的視角[1]。如何應用多模態學習分析對真實學習情境中復雜的學習活動進行評價，成為了教育研究者關注的熱點問題。基于此，本研究從當前學習評價的難點問題出發，通過挖掘多模態學習分析應用于學習評價的價值內蘊，進一步分析多模態學習分析如何賦能學習評價表征，并構建基于多模態學習分析的學習評價流程，以期為新時代教育評價改革與創新提供參考。

一 當前學習評價的難點問題

在深化教育教學改革的新形勢下，傳統學習評價的弊端日漸凸顯，已在一定程度上制約了新時代教育的創新發展。當前，學習評價面臨的難點問題主要如下：

1 學習評價忽視高階思維

高階思維是指發生在較高認知水平層次上的心智活動和認知能力，包括學生的獨立思考、批判創新、問題解決及學習能力等。培養和發展學生的高階思維，不僅是教育對現實訴求的回應，也是新時代教學研究和實踐的目標定位與努力方向。傳統紙筆測試以紙作問、用筆答題，重在測試學生學習認知方面的記憶與理解，難以全面考查學生的真實學習能力，容易忽視學生的高階思維發展，不利于培養學生的創新能力和批判性思維[2]。21世紀的人才培養非常注重非認知能力的發展，這給傳統紙筆測試帶來了沖擊和挑戰，亟待探索高階思維測評的實踐方式。

2 學習評價難現真實情境

目前，以數據驅動的學習分析大多聚焦于以計算機為中介的在線學習情境[3]，如在線學習管理平臺就是網絡學習活動數據采集的重要載體。其中，用于評價研究的學習數據大多來自數字平臺的記錄，依靠對鼠標的點擊、鍵盤的敲打等方式進行采集，忽視了學生在自然物理環境下真實學習交流的實時數據，且僅憑有限的學習過程數據無法助力教師在復雜學習環境下對學生的認知建構、情感交流、實踐能力、創新思維等做出真實有效的評價，難以幫助學生真正地改善學習過程、優化學習體驗。

3 學習評價過程重視不足

傳統學習評價多以考試成績作為主要依據，片面強調測量結果的客觀性，這消解了學習評價本身的價值。學習本是一個漸進的過程性活動，評價應該貫穿于整個學習過程，關注讓學生形成有意義的學習經歷并提供有用的反饋，強調有效性、實效性和高效性。因此，學習評價要融于教學活動過程中，而不能僅作為臨近學習結束的一個環節簡單嵌入；應對學習過程進行持續評估，以最大程度地發揮評價的功能；同時，評價應與個體學習過程緊密地融合在一起，以便教師及時診斷學情，幫助學生找出學習過程中存在的問題并及時引導解決，全面把握學生的真實需求。

綜上所述，如何關注問題真實情境，立足學習過程來評測學生思維發展、知識獲得和認知建構，是當前學習評價亟需解決的問題。多模態學習分析可通過高頻次、細粒度捕捉學習過程中的多種數據，結合多模態數據融合模型與分析算法，即時反饋學習評價結果，為解決當前學習評價難點問題提供了新方案。

二 多模態學習分析的價值內蘊

多模態學習分析旨在通過捕獲、融合和分析多種來源的數據，以實現對學習行為、認知、信念、動機、情緒等多方面的客觀理解與深刻洞察[4]。隨著物聯網技術的發展，研究者利用眼動追蹤、紅外成像、腦電和面部識別等技術收集到多種模態數據，這些數據可以幫助分析復雜環境中的學習活動，如影響學生如何與設備、人、其他資源互動的認知和情感因素，包括壓力水平、先驗知識、認知水平、參與動機、情緒變化等。Drachsler等[5]指出，使用學習分析中的多模態數據可以獲得比單一數據更全面的學習過程信息，并能更好地分析影響學習效果的因素。Sharma等[6]通過對42項有關多模態數據應用于學習分析的研究發現，使用來自眼動跟蹤、腦電圖和面部視頻的多模態數據來預測學習技能習得，其效果要比使用任何單個數據預測更好。表1列出了多模態數據應用研究的典型案例，可以看出：多模態數據融合能夠支持對學習過程和結果的有效分析與預測，有助于解釋復雜的學習過程，故基于多模態數據的融合分析將成為學習分析和評價的研究重點。

表1 多模態數據應用研究的典型案例

研究人員學習環境融合數據應用方向 Larmuseau等[7]非正式的在線問題解決皮膚電活動（GSR）、心電圖（ECG）和心率變異性（HRV）測量認知負荷情況 Olsen等[8]ITS的正式協作環境凝視、日志、對話和音頻預測測驗成績和學習改善情況 Ahn等[9]游戲化學習（GBL）凝視和面部理解學習情緒對學習成績的影響 Vujovic等[10]協作學習運動和視頻數據解釋協作學習的參與水平和行動范圍 Emerson等[11]正式學習凝視、面部和日志預測學習動機和學習結果 Ochoa等[12]非正式學習視頻、音頻和演講文件評估口頭陳述能力

綜上，多模態學習分析可以獲取學生真實、細致的深層次學習數據，幫助研究者對學生的認知建構、學習動機和行為表現進行較為全面的評估，其應用于學習評價的價值內蘊主要包括：

1 促進發展性評價

基于發展性評價觀的學習評價不僅要關注學習結果，還應重視學習過程，提倡在教學過程中不斷反思評價過程與結果，根據學習者的特點和能力提出適合其發展的、有針對性的建議[13]。多模態學習分析有助于教師動態了解學生的學習表現、注意力情況和認知發展水平，根據學生的學習情況做出判斷、調整教學，并提供個性化的學習指導。例如，曹曉明等[14]基于多模態數據融合深度學習算法，采集學生在MOOC學習過程中的臉部圖像、腦電波和學習日志數據，對其學習參與度進行準確識別，實現了學習過程的動態評價并為個性化學習提供了證據支持。

2 強化綜合性評價

發展學生的綜合素質是新課程改革的關鍵所在，而評價學生的綜合素質需要結合學習過程和結果的相關數據進行全面考慮[15]。多模態學習分析可對學生的合作能力、學習品質、創新精神等進行多維度的考察和評估，有助于促進學生高階思維的發展。通過對學生綜合素質相關的數據進行分類采集、分析和整合，有效評測學生綜合素質能力的發展水平。例如，Blikstein等[16]提出使用高頻率多模態數據收集和機器學習技術，通過自動化、細粒度的數據分析追蹤復雜學習環境中的學習軌跡，實現對學生的認知能力、情感態度、信念動機等更加細致和深入的理解。

3 保障真實性評價

智能化技術工具的廣泛應用，為收集、分析技術豐富場景中的學習過程數據提供了極大便利。多模態學習分析可將日常真實學習環境中師生的語言、動作、眼神等數據通過高清攝像頭、拾音設備和智能化數據采集終端進行獲取，突破了傳統的單一數據收集研究局限，有助于評價學生運用所學知識完成復雜的開放性任務、進行知識體系的建構等能力，真實呈現學生理解、思考和解決問題的過程。例如，Von Davier等[17]設計了基于多模態數據的計算模型框架，用于捕獲、分析和測量復雜真實情境下的人類行為，并使用可穿戴傳感器采集學習者的非語言行為，以此作為評估人際交往能力、自身人格特征等的重要證據和方法。

三 多模態數據類型及其評價表征

Blikstein等[18]將多模態學習分析劃分為九個范疇：①文本分析；②話語分析；③筆跡分析；④草圖分析；⑤動作和手勢分析；⑥情感狀態分析；⑦神經生理標記分析；⑧眼睛凝視分析；⑨多模態整合和多模態界面分析。陳凱泉等[19]根據數據特性，將這九個范疇涉及的數據歸為四類：外顯數據、生理數據、心理數據、基礎數據。依據此數據劃分標準，本研究探究了多模態數據與學習評價的內在關系映射，發現不同類型的數據通過特征提取可以表征不同的評價維度和內容，如圖1所示。通過對學習者在多樣化學習情境（如自主學習、協作學習、混合學習等）中產生的體征數據和學習過程行為數據進行全樣本分析[20]，不僅能揭示學習者學習績效、學習軌跡的變化，還有助于解釋學習者個性化的認知、思維、情感等內隱特征變化的機理和規律，從而為開展精準學習干預、優化教學過程提供重要依據。

1 外顯數據

外顯數據是指學習過程中可直接被觀察到或記錄的真實數據。其中，文本分析代表對學習過程的日志記錄；話語分析是指學習過程中學習者的語言，包括師生對話、人機對話和學習者之間的對話，通過提取語音、語調、語氣等可進行語音分析和韻律特征分析；筆跡分析和草圖分析常見于學習者識字、繪圖教學。采集這些外顯數據，可評價表征學習者當前的學習狀況、問題解決能力、師生互動水平等。

圖1 多模態數據類型及其評價表征

2 生理數據

生理數據是指人體內部結構在接受刺激時所發生變化的數據，是學習者心理和行為的反映。來自大腦、心臟、皮膚的信息是生理數據的重要來源，如腦電圖、心電圖、電流皮膚反應等數據。其中，腦電圖可用于提取長期或短期記憶負荷、認知工作量等深層心理過程相對應的特征，電流皮膚反應、心率等數據可測量學習者在不同困難水平上從事在線問題解決活動的認知負荷。通過生理數據集，可以評價表征學習內容難度、學習者的情緒狀態等，為學習評價測量提供重要的客觀變量。

3 心理數據

心理數據是學習者自身的心理活動數據，如認知、注意、情感（如緊張、興奮）等數據。具體來說，攝像頭、肌電傳感器可采集手勢和姿態數據，來呈現學習者在學習過程中身體的移動軌跡；臉部肌電圖可獲取學習者的面部表情數據；而眼動儀能感知學習者眼睛的關注焦點變化。此外，通過卷積神經網絡和監督學習算法，可準確獲取攝像機所捕捉圖像中學習者的骨骼關鍵點信息，并實現動作姿勢識別，據此可評價表征學習者的學習興趣、注意力變化等。

4 基礎數據

基礎數據是任何學習分析實踐所必備的數據。其中，學習者的學情信息（包括年齡、性別、興趣偏好、家庭背景、前期學習狀況等），可通過學籍檔案、成績單得以反映。這些基礎數據體現了學習者在學習之初就已具有的個人屬性和特質，其必須與其他層面的數據結合起來分析才具有實際意義。例如，結合學習者的基礎數據對其心理、生理等進行分析，有助于個性化評價表征學習者的學習風格和學習基礎，并通過挖掘基礎數據中存在的相關性與因果聯系，進一步揭示學習者的學習過程。

四 基于多模態學習分析的學習評價流程

多模態學習分析技術可以采集高頻、細粒度、微觀層面的學習數據，從多個維度更好地反映學習者的真實學習狀態，從而提高評價的層次和質量，為推動學習評價從靜態的學業成就的數字化表征評價走向動態的、立體的過程性學習評價提供了新途徑。本研究從過程視角審視學習評價，構建了基于多模態數據分析的學習評價流程，如圖2所示。該流程包括確立目標、獲取數據、建立模型、提供反饋四個主要環節，可根據學習軌跡不斷進行自我優化，重在為學習者提供持續的“分析—評價—反饋”之動態循環評價，并努力體現“評價即學習”的理念。

圖2 基于多模態學習分析的學習評價流程

1 確立目標

在教學開始之初，教師需要了解學習者已有的知識基礎，確立知識或技能獲得所要達到的預期目標，據此選擇合適的學習環境、評價指標和評價方式。其中，學習環境包括線上、線下和混合式學習環境，不同環境下的學習動機、情感態度、認知發展等可能存在一定的特征差異。根據學習評價目的或功能的需求不同，教師可以選擇診斷性評價、形成性評價或總結性評價方式。因此，學習環境和評價方式將作為支持評價指標建立的重要內容。

2 獲取數據

在教學過程中需要不斷地采集學習者信息，以持續評估其學習表現、確定其學習狀態。為此，可以利用智能終端、傳感器、可穿戴設備、智能系統等工具，收集學習過程中人與設備、資源等交互所產生的軌跡化、序列化的多模態數據。結合已確定的評價指標和對應的評價表征關系，這些多模態數據將作為反映學習者當前生理、心理等不同層面的學習狀況特征信息，并作為下一階段數據提取融合與分析建模的依據。

3 建立模型

學習環境和學習活動的多樣性將導致采集的多模態數據分布離散、缺乏關聯，需要整合物理和數字空間學習過程中的認知、情緒、行為等關系進行立體建模，以建立學習數據與外顯學習行為、內隱學習特征之間的聯系。其中，數據提取融合需要研究者對所獲取的學習數據（如眼部凝視、姿勢、心率等）進行規范化處理，生成數據集，同時將不同模態的數據轉換為數字化表征并進行篩選，以保證數據質量。當數據符合規范要求后，便可進行數據分析建模，即根據一定的規則關系和學習算法（如機器學習、分類與聚類等）對這些數據集進行特征提取、意義建構和融合分析等，尤其是對非結構化數據分析過程中的關鍵發現加以解釋和建議。

4 提供反饋

評價結果可視化是提供反饋的首要步驟，可通過學習儀表盤、知識圖譜等將數據分析結果呈現給利益相關者。不同利益相關者可根據數據分析結果，利用自評、互評、他評等方式進行評價干預。人機協同下的雙重評價反饋將作用于學習者自身，幫助其確立新學習目標、進入下一階段的動態循環。例如，教師可根據學習者的學習進展和問題，動態調整、改進教學進度和方法；學習者可及時對自己的學習水平和能力做出相應判斷，形成合理的學習預期，完善學習計劃；教育研究者可依據學習評價分析結果，對教學內容、方法或環境等提出優化改進建議。

五 多模態學習分析的學習評價應用建議

智能教育場景下的多模態學習分析拓寬了學習評價的視域。隨著物聯網傳感技術的發展，硬件成本逐漸降低，測量精度不斷提高，可穿戴、便攜式的手環產品已在日常生活中用于監測體溫、血壓、皮電、心電等主要體征，一些可進行嵌入式開發集成的、元器件級別的傳感器在工業和教育領域開始廣泛應用，多模態數據采集和分析的技術將逐步進入實用階段。結合相關探索性研究案例，本研究針對多模態學習分析的學習評價應用提出以下建議：

1 伴隨式數據處理

過程性學習評價要求學習數據的獲取和處理能夠實時、高頻地進行，而智能技術的發展為學習過程原始數據的伴隨式采集和實時數據匯聚提供了重要支撐[21]，使得多模態數據采集與分析得以貫穿于整個學習過程。例如，王麗英等[22]利用自動化操作行為事件監聽、表情識別、生理特征監測等技術，持續采集MOOC在線學習者的數據，并對其認知、情感、行為投入等數據進行自動分析融合和及時評價反饋，可為不同學習者提供個性化、實時性的提示和指導。

2 多場景交叉融合

智能化技術的應用豐富了教育應用場景，也推動多樣化教學場景與多模態學習分析的交叉融合成為實現精準教學、科學評價的重要途徑。例如，陸吉健等[23]提出了混合現實（Mix Reality，MR）場域中“多模態+人機協同”教學方式，并依托MR實驗套件與智能傳感設備進行MR場域中多模態情境導學、智能診學、人機助學、精準評學的教學實踐，實現了過程性評價與結果性評價相融合的全方位精準教學評價，促進了多模態教學和人機協同教學的交叉融合。

3 低成本常態實踐

目前，多模態學習分析尚被限于在特定的教學或實驗環境中進行，而要實現真實學習情境下自然或非侵入式的數據獲取仍存在一定的難度。因此，基于常態化教學環境搭建或開發低成本、易操作的多模態分析系統將成為后續研究重點解決的問題。例如，Cornide-Reyes等[24]通過引入低成本傳感器和單板計算機、全向麥克風等設備，結合小型平板電腦采集學習者的音頻、圖像等多模態數據，用于評估真實課堂環境下學習者的溝通和協作技能，從而證實了多模態學習分析應用于學習者核心技能發展評估的可行性。

[1]Worsley M, Chiluiza K, Grafsgaard J F, et al. Multimodal learning and analytics grand challenge[A]. The Fourth International Conference On Multimodal Interaction[C]. New York: ACM, 2015:525-529.

[2]尚秀芬,邱曉歡.教育評價改革:紙筆測試中高階思維能力測評的可行性探析[J].教育理論與實踐,2018,(32):20-22.

[3]胡欽太,伍文燕,馮廣,等.深度學習支持下多模態學習行為可解釋性分析研究[J].電化教育研究,2021,(11):77-83.

[4]汪維富,毛美娟.多模態學習分析:理解與評價真實學習的新路向[J].電化教育研究,2021,(2):25-32.

[5]Drachsler H, Schneider J. JCAL Special issue on multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):335-337.

[6]Sharma K, Giannakos M. Multimodal data capabilities for learning: What can multimodal data tell us about learning?[J]. British Journal of Educational Technology, 2020,(5):1450-1484.

[7]Larmuseau C, Cornelis J, Lancieri L, et al. Multimodal learning analytics to investigate cognitive load during online problem solving[J]. British Journal of Educational Technology, 2020,(5):1548-1562.

[8]Olsen J K, Sharma K, Rummel N, et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British Journal of Educational Technology, 2020,(5):1527-1547.

[9]Ahn B T, Harley J M. Facial expressions when learning with a queer history APP: Application of the control value theory of achievement emotions[J]. British Journal of Educational Technology, 2020,(5):1563-1576.

[10]Vujovic M, Hernández‐Leo D, Tassani S, et al. Round or rectangular tables for collaborative problem solving? A multimodal learning analytics study[J]. British Journal of Educational Technology, 2020,(5):1597-1614.

[11]Emerson A, Cloude E B, Azevedo R, et al. Multimodal learning analytics for game‐based learning[J]. British Journal of Educational Technology, 2020,(5):1505-1526.

[12]Ochoa X, Dominguez F. Controlled evaluation of a multimodal system to improve oral presentation skills in a real learning setting[J]. British Journal of Educational Technology, 2020,(5):1615-1630.

[13]李葆萍,周穎.基于大數據的教學評價研究[J].現代教育技術,2016,(6):5-12.

[14]曹曉明,張永和,潘萌,等.人工智能視域下的學習參與度識別方法研究——基于一項多模態數據融合的深度學習實驗分析[J].遠程教育雜志,2019,(1):32-44.

[15]田愛麗.綜合素質評價:智能化時代學習評價的變革與實施[J].中國電化教育,2020,(1):109-113、121.

[16][18]Blikstein P, Worsley M. Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[17]Von Davier A A, Zhu M X, Kyllonen P C. Innovative assessment of collaboration[M]. Cham: Springer, 2017:173-184.

[19]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態學習分析、適應性反饋及人機協同[J].遠程教育雜志,2019,(5):24-34.

[20]劉清堂,李小娟,謝魁,等.多模態學習分析實證研究的發展與展望[J].電化教育研究,2022,(1):71-78、85.

[21]劉邦奇,喻彥琨,袁婷婷.智能技術賦能過程評價:目標、路徑與典型場景[J].現代教育技術,2022,(5):14-23.

[22]王麗英,何云帆,田俊華.在線學習行為多模態數據融合模型構建及實證[J].中國遠程教育,2020,(6):22-30、51、76.

[23]陸吉健,周美美,張霞,等.基于MR實驗的“多模態+人機協同”教學及應用探索[J].遠程教育雜志,2021,(6):58-66.

[24]Cornide-Reyes H, No?l R, Riquelme F, et al. Introducing low-cost sensors into the classroom settings: Improving the assessment in agile practices with multimodal learning analytics[J]. Sensors, 2019,(15):3291.

Research on the Learning Evaluation Supported by Multimodal Learning Analysis Technology

ZHANG Jia-hua HU Hui-zhi[Corresponding Author]HUANG Chang-qin

Faced with the development needs of high-quality education and innovative talents in the new era, the drawbacks of traditional learning evaluation have become increasingly prominent, and it is urgent to innovate the system and deepen reform. Multimodal learning analysis made learning evaluation oriented to process and real learning situations possible through comprehensively collecting and analyzing the dynamic data of the learning process from multiple dimensions. Firstly, based on the difficult problems analysis of current learning evaluation, this paper analyzed the intrinsic value of multimodal learning analysis applied to learning evaluation. Subsequently, this paper proposed the dimensions and contents of evaluation representations mapped by four types of multimodal data, constructed and explained the learning evaluation process based on multimodal learning analysis from four aspects of establishing goals, acquiring data, constructing models and providing feedback. Finally, combined with relevant research results, this paper put forward application suggestions of the learning evaluation of multimodal learning analysis, expecting to empower the process-oriented developmental learning evaluation reform and provide a new perspective for the higher-level learning evaluation.

multimodal data; learning analysis; learning evaluation; learning process; data representation

G40-057

A

1009—8097（2022）09—0038—08

10.3969/j.issn.1009-8097.2022.09.004

本文為浙江省哲學社會科學規劃課題“新一代人工智能支持下課堂教學改革方案構建與策略優化”（項目編號：22YJRC02ZD-2YB）、浙江師范大學教師教育學院開放基金項目“數據驅動的師范生智慧教學能力評測體系構建與應用”（項目編號：jykf22003）的階段性研究成果。

張家華，副教授，博士，研究方向為學習分析與智能教學系統，郵箱為zjnuzjh@zjnu.cn。

2022年1月10日

編輯：小米