基于系統性文獻綜述的多模態學習分析研究進展與前瞻

□尹睿 何淑茵

一、引言

2021年12月，中央網絡安全和信息化委員會印發《“十四五”國家信息化規劃》，提出要建立高效利用的數據要素資源體系（中央網絡安全和信息化委員會，2021），激發和提升數據要素賦能作用，以創新驅動、高質量供給引領和創造新需求。在教育領域，激發和提升數據的創新驅動作用是深化新時代教育評價改革的新趨向。隨著大數據、物聯網、移動互聯網、人工智能等新一代信息技術的蓬勃發展，教育數據的賦能作用逐漸普及，使得教育研究從“假設驅動”走向“數據驅動”，催生并孕育出“教育大數據研究范式”（趙佳麗等，2020）。在此背景下，多模態學習分析（Multimodal Learning Analytics，MMLA）悄然興起，并走入人們的視野。它打破了傳統評價僅僅以計算機為介導的單一渠道（如在線學習管理系統、社交網絡環境）獲取單一模態數據的局限，主張通過捕獲、融合和分析跨情境、跨空間等更為復雜開放的學習環境中的語音、行為、表情、生理等多源異構數據，解釋和預測學習者的行為習慣、認知規律、心理狀態與情感變化。這對于構建連接高層學習理論與底層數據的學習者模型，實現科學化、精準化、個性化、全景式的教學評價，以更好地優化學習者的學習體驗，助力學習者更加投入、更加有效地開展學習等具有重要價值。

當前，多模態學習分析方興未艾，日益成為學者們認識、理解學習進而優化、變革學習的重點課題。然而，如何采集數據（Worsley et al.，2015；Spikol et al.，2017）、融合數據（Kadadi et al.，2014；Samuelsen et al.，2019）、建模數據（牟智佳，2020；王一巖等，2021）依然是多模態學習分析從教育實驗環境的個案分析走向真實教育場景的全樣本透視亟需破解的問題。因此，本研究將聚焦多模態學習分析中的數據采集、融合、建模三大問題進行梳理和闡釋，以期為多模態學習分析的應用提供整體性思路。

二、研究方法

本研究采用系統性文獻綜述法，通過對相關文獻進行檢索、篩選和評估，最終確定研究文獻樣本。

1.文獻獲取途徑

為有效檢索國內外多模態學習分析的相關研究文獻，本研究在Web of Science、Springer Link及Science Direct等權威數據庫，及多模態交互國際會議（International Conference on Multimodal Interaction，ICMI）、學習分析與知識國際會議（International Conference on Learning Analytics and Knowledge，LAK）、計算機系統中的人類因素國際會議（ACM International Conference on Human Factors in Computer Systems，ACM CHI）、多媒體國際 會 議（ACM International Conference on Multimedia，ACM MM）等會議論文集中，以“Multimodal Learning Analytics”“Multimodal Data”“Multimodal Sensory Data”為關鍵詞檢索相關外文文獻。同時，以“多模態學習分析”“多模態數據”為關鍵詞在CNKI數據庫檢索相關中文文獻。文獻發表時間限定為2012年1月—2022年7月，最終檢索到外文文獻1801篇，中文文獻251篇，總計2052篇。

2.文獻篩選過程

為確保樣本文獻納入的準確性，研究借鑒已有的系統性文獻綜述篩選標準（如論文可全文獲取、研究主題圍繞多模態學習分析、采用實證研究或文獻綜述方法等），并通過“滾雪球”方法檢索、閱讀和納入更多符合標準的文獻，最終篩選出符合標準的文獻共計有68篇。文獻篩選過程如圖1所示。

圖1 文獻篩選過程圖

三、多模態學習分析的數據采集

多模態數據的采集是多模態學習分析的基礎與關鍵。已有研究將多模態數據按照不同標準進行了分類：陳凱泉等（2019）按照由外及內的層次將學習過程中產生的所有數據歸納為外顯數據、心理數據、生理數據和基礎數據；牟智佳（2020）基于多模態學習分析的空間結構，將數據分為學習體征數據、人機交互數據、學習資源數據和學習情境數據；汪維富等（2021）進一步將學習體征數據細分為自主可控的動作型數據和伴隨生成的生理型數據；穆肅等（2021）根據數據產生的場域，將數據分為數字空間數據、物理空間數據、生理體征數據、環境空間數據和心理測量數據。倘若按照人的感官系統與外界環境相互作用的方式，數據則可劃分為文本、語音、動作、表情、眼動和生理等多模態數據。

1.文本數據

文本數據是指學習者在學習過程中產生的以書面語言形式表征的數據，如主題發言、問題評論、反思性報告等。這些數據可借助在線學習管理系統采集獲得。隨著智能紙筆的興起，通過文字識別技術，可實現在課堂教學場景中對學習者過程性文本數據的手寫同傳。通常，文本數據可用于預測學習者的認知狀況。有研究者對150名小學教育專業師范生在在線學習管理系統中提交的以“我的教育理念”為題的寫作文本進行認知網絡分析發現，在成績水平對比中，優秀組師范生的專業認知網絡更為復雜與豐富；在性別對比中，女性師范生能夠在同一種認知技能模式下將不同的認知內容有機結合，而男性師范生往往不拘泥于某一種認知技能的習得（吳筱萌等，2021）。

2.語音數據

語音數據是指學習者在對話情境中的言語內容，包括人人對話和人機對話。就前者而言，利用多向麥克風可自動采集在協作學習情境中學習者互動的語音數據，以解釋學習者協作知識建構的層次。對于后者來說，智能學習工具是獲取這類語音數據的主要工具。例如，在語言學習場景中，借助智能語言學習工具，可自動采集學習者與智能設備進行人機對話的內容，用于解讀學習者的知識習得績效。除了內容性的語音數據，語氣、語調、語速等韻律數據也屬于語音數據，可用于解釋學習者的情感狀態。沃斯勒等人（Worsley et al.，2011）利用Praat這一自然語言處理軟件，采集大學生在完成電子和機械工程設計任務時的思維復述語音，通過分析語音數據的韻律（包括音高、強度和說話持續時間）、語言流利情況（包括停頓、補充、再次發聲）和話語情感，發現新手型學習者更傾向于采用輕描淡寫式的語詞，而專家型學習者則更喜歡使用確認性的語詞表達。

3.動作數據

動作數據是指對學習者身體各部分動作進行識別和表征的數據，如頭部移動、手勢變化、腿部運動等。這類數據可以借助非接觸式記錄設備（如攝像機）采集的視頻，并應用有關算法從視頻中提取而成。隨著體感技術的發展，能夠捕獲到且被用于學習分析的動作數據將越來越精細，如頭部移動的角度、手勢改變的位置、腿部運動的方位等。一般來說，體感技術有三種感測方式：一是利用重力傳感器、加速度計、陀螺儀以及磁傳感器等慣性傳感器來感測局部肢體動作；二是利用光學傳感器獲取人體的全身影像；三是聯合慣性及光學傳感器來感測肢體運動的方向和位移等。動作數據不僅可以判定學習者的行為軌跡和序列，直接反映學習者行為特征，還可以預測學習者與環境的交互狀態及其認知狀態的發展。例如，安祝德（Andrade，2017）通過采集具身交互學習環境中學習者雙手移動的數據，發現學習者的雙手移動序列與其對生態系統反饋循環概念的理解密切相關。

4.表情數據

表情數據是指對學習者面部表情特征進行捕捉和識別的數據。這類數據可以借助攝像頭與人臉識別系統采集而來，且借助傳感技術，還能夠追蹤和捕捉到細微的表情變化。曼卡萊斯等人（Monkaresi et al.，2017）利用Microsoft Kinect人臉跟蹤器抓取學習者在完成結構化寫作活動中的所有面部表情，并讓學習者在回溯性活動視頻中對面部表情標注投入狀態的注釋，結果發現人臉跟蹤器提取的表情數據能很好地度量學習者的學習投入狀態。

5.眼動數據

眼動數據是指借助眼球追蹤器獲取的諸如注視軌跡、注視時間、眼跳方向、瞳孔大小、眨眼頻率和掃視頻率等的數據。它是衡量注意力的關鍵指標（Reichle et al.，2009；Sharma et al.，2019）。已有研究者利用眼動數據來判斷學習者在復雜學習任務中的決策策略（Renkewitz et al.，2012），還有研究者通過對比專家和新手在查看新地圖時的眼睛注視軌跡、注視時間、注視次數等眼動數據，進而判斷專家和新手的認知負荷及其差異（Ooms et al.，2012）。由于眼動數據采集設備成本較高，現有研究基本以實驗室環境為主，真實環境中的研究仍是少數。

6.生理數據

生理數據是指學習者的體溫、血壓、心率、呼吸、血流量等基本體征數據和腦電信號（Electroencephalogram，EEG）、皮 膚 電 反 應（Galvanic Skin Response，GSR）等神經系統的數據。這些數據的獲取通常需要借助特定的設備（如腦電頭盔、腕帶等）。當前興起一種無需特殊的硬件設備，只需要一個基于網絡攝像頭和機器學習算法開發的工具包，即可在互聯網環境下實現對生理數據的自動采集，且不受瀏覽器或編程經驗的限制。而且，這種方式逐漸擴展至對眼動數據的采集，極大地降低了多模態數據采集的難度。例如，哈佛大學學習、創新與技術實驗室的漢森等人（Hassan et al.，2021）研發的EZ-MMLA工具集便可實現對各種模態數據的自動采集。研究者常用腦電信號預估學習者完成任務時的投入度和認知負荷（Mills et al.，2017；Hassib et al.，2017），用皮膚電反應判斷學習者的情緒喚醒狀態（Pijeira-Diaz et al.，2019）。當然，皮膚電反應盡管能監測到情緒喚醒，但無法判斷喚醒是由積極刺激還是消極刺激引起的，因此要想診斷情緒的正向性或負向性，最好能融合其他模態的數據（如眼動數據、表情數據、腦電信號等）進行綜合分析。

四、多模態學習分析的數據融合

教育大數據研究遵循數據和算法共同驅動知識發現的范式（趙佳麗等，2020）。多模態學習數據雖然為我們全面感知學習者的真實學習狀態提供了多元的信息支持，但是要想揭示深層次的學習發生機理和規律，還需要利用多模態數據的信息互補機制，根據一定的規則和關系對不同模態的數據集進行重新融合，以充分挖掘多模態數據背后潛藏的信息，客觀全面地揭示學習者的認知規律。數據融合的目的就是根據關鍵特征來關聯集成兩個及以上的數據集，生成基于多模態數據的連貫性、對齊性與互證性的證據圖景（汪維富等，2021），從而帶來更穩健的預測，為后續進行個性化干預與自適應反饋提供依據（吳永和等，2021）。目前，研究者主要通過機器學習的方法進行數據融合，以實現對多模態數據內部特性的整合和逐層抽象。按照信息抽象的層次，可以將多模態數據融合策略由低到高分成三個層次：數據層融合、特征層融合和決策層融合。為發揮多模態數據的最大優勢，研究者們嘗試將不同層次的融合策略加以結合，從而形成混合式融合策略。圖2為四種融合策略的示意圖。

圖2 多模態數據融合策略示意圖

1.數據層融合

數據層融合是指將各模態的原始數據（即不處理或經過簡單預處理的數據）直接輸入到融合中心而完成的融合。這種層次融合的特點是保留了盡可能多的原始信息，但也容易因信息的冗余而降低模型的性能。在運用數據層融合策略時，首先需要找到同一實例在不同模態信息中組件的時間或空間對應關系，進行數據對齊后，再使用基于自適應加權的融合方法、基于相關函數的融合方法等對數據進行訓練以得到模型，最后利用準確率（Accurary）、精確率（Precision）、召回率（Recall）、P-R曲線、均方根誤差（RMSE）等指標來評估模型的性能。例如，宋丹等人（2020）采集了前兩屆學生不同課程的成績，并利用成績之間的相關性建立了專業課程成績相互預測模型。又如，帕杜等人（Pardo et al.，2017）讓學習者在學習生態系統的概念時，通過手勢動作模擬控制計算機界面中捕食者和被捕食者的關系，將手勢動作序列與目光注視范圍的數據進行融合，從而建立了學習模式與學習效果的融合模型。

2.特征層融合

特征層融合是指對各模態的原始數據先進行特征提取，再對提取后的數據進行關聯和歸一化處理，然后集成特征完成數據融合。這種層次的融合主要有以下兩個特點：

一是需要先對特征進行提取，然后才可通過機器學習算法實現數據融合。特征提取方法主要有兩種：一種是通過理論研究與經驗假設，確定與學習指標相關的模態特征，然后通過算法或專業軟件提取數據的特征。例如，斯皮科爾等人（Spikol et al.，2018）為構建小組項目學習中績效的預測模型，獲取了視頻數據、音頻數據、編程過程數據等多模態數據，然后結合經驗采用Viola-Jones算法、快速傅里葉變換算法等提取了同伴臉部距離、注視屏幕的人臉數量、會話期間的音頻頻率等特征后，再進行數據融合。另一種是通過深度學習算法同步實現數據融合和特征提取。例如，有研究者利用深度攝像頭、可穿戴設備進行數據采集，并通過與硬件設備關聯的應用程序初步提取數據后，再運用長短期記憶網絡算法進行數據融合，由此實現在融合過程中完成特征提取（Di Mitri et al.，2019）。

二是模態之間相關性較強，數據冗余度較高，難以找到多模態數據之間的互補性。因此，需要對提取后的特征進行選擇，得到可用于表征預測指標的關鍵特征。常見的方法包括：過濾法，即利用主成分分析、相關性分析等方法篩掉無用特征，這是獨立于機器學習算法的方法；嵌入法，即由邏輯回歸算法、隨機森林等算法自身決定應留下哪些特征，這是一種同時進行特征選擇與算法訓練的方法；包裝法，即通過不斷修剪特征，直到找到最佳預測模型的數據特征組合，這是一種重復訓練模型的方法。在實際應用中，當數據量較大時，應優先通過過濾算法篩掉大量特征，再使用嵌入法或包裝法實現特征選擇。

運用該策略進行多模態數據融合分兩種情況：一是不考慮各模態特征之間的語義聯系，直接選用機器學習算法對提取和選擇后的特征進行融合處理，這種算法多為監督學習算法。例如，基恩奈克斯等人（Giannakos et al.，2019）從游戲化學習環境中采集了眼動數據、腦電信號數據、面部數據、點擊流數據，并從中提取了689個特征，然后利用隨機森林算法對這些特征進行融合，最終構建出了最優模態組合與學習績效的預測模型。二是考慮各模態特征之間的語義聯系，選用基于拼接和線性組合等簡單融合操作方法、基于注意力機制的融合方法、基于雙線性池化的融合方法、基于張量融合的方法等完成特征融合。例如，陳等人（Chen et al.，2019）提取了文本數據和語音數據中的特征，然后利用基于注意力機制的融合方法將這些特征向量進行融合，從而得到了情感狀態識別模型。

3.決策層融合

決策層融合是指對不同模態數據進行一系列處理（包括預處理、特征提取、識別等）后，先對不同模態數據進行訓練得到多個模型，再對模型進行組合從而完成數據融合。這種層次的融合有兩個特點：一是融合結果的有效性與模型的組合有關，由于模型的性能是相互獨立的，因而融合后最終形成的模型有較高的容錯性能和抗干擾性能。二是各模態之間相關程度不高，因而有助于發揮多模態數據之間的互補性，更能體現數據的互補機制。

在運用決策層融合策略時，可以先對每種模態的數據按照特定的時間間隔進行標注，再通過機器學習算法構建各模態與學習指標間的預測模型，最后通過最大值融合、平均值融合、貝葉斯規則融合以及集成學習等方法對模型進行融合，并在評估模型性能后得到最優模型。其中，集成學習方法包括基于投票思想的多數票機制的集成分類器、基于Bagging思想的套袋集成技術、基于Boosting思想的自適應增強方法、分層模型集成框架Stacking、基于神經網絡的集成學習等。例如，阿什溫等人（Ashwin et al.，2020）采集了面對面學習環境中的面部表情、手勢與身體姿勢等圖像數據，然后利用卷積神經網絡算法訓練擺拍單人圖像數據和擺拍多人圖像數據，分別得到CNN-1模型和CNN-2模型，最后通過神經網絡權重矩陣融合這兩個模型，從而得到課堂自然情境下的投入、無聊、中立等情感狀態的分類器模型。張琪等（2020）采集了在線學習環境下的面部數據和生物信號數據，并進行特征提取，而后分別構建了高興、厭煩等情感模型和積極情緒與消極情緒模型，再通過隱馬爾可夫模型進行時間序列的關聯處理，最后使用循環神經網絡和長短期記憶網絡等算法得到了最優特征組合與情緒狀態的融合模型。

4.混合式融合

隨著深度學習算法的不斷涌現，數據層融合和特征層融合統稱為早期融合，決策層融合稱為晚期融合。而混合融合便是結合了早期融合和晚期融合的一種新的數據融合策略。它是指對各模態數據進行訓練得到多個模型后，再組合其中幾個模型形成多模態預測器，最后與單模態預測器進行組合而完成數據融合。例如，羅等人（Luo et al.，2022）采集了在線學習環境下的頭部姿態數據、面部表情數據、在線平臺交互數據等，其中頭部姿態數據和面部表情數據采用決策層融合策略，在線交互數據采用特征層融合策略，最終采用層次分析法得到權重矩陣，由此實現了多模態數據融合，并構建了由認知注意、學習情緒和思維活動三個維度構成的學習興趣預測模型。雖然這種數據融合策略綜合了早期融合和晚期融合的優點，但也增加了模型的結構復雜度和訓練難度。

目前，尚未有研究者明確指出哪些算法、哪種融合策略更適用于解決多模態學習分析中的哪類問題。因此，為全面洞悉學習者的學習問題并預測其潛在趨勢，應采用多類算法構建多個預測模型，通過對比模型的預測性能后再進行選擇。

五、多模態學習分析的數據建模

多模態學習分析強調運用模型來實現數理解釋邏輯的教育循證。其中，以學習者模型為主要的學習分析模型。從學習過程看，通過對學習者語言、動作、表情、眼動、生理等多模態數據進行全方位采集和融合分析，可以實現對學習者的知識、認知、情感與交互狀態建模，精準刻畫學習者的學習特征，并在更深層次上探究和解釋學習者的學習規律。

1.知識狀態建模

知識狀態不僅包括學習者對某一知識領域當前知識掌握水平的描述，也包括對先前知識掌握水平的描述。對學習者知識狀態建模，通常以一定學習周期內學習者多次測試的采集數據為主，也可輔以學習者繪制的草圖數據或概念圖數據，以知識圖譜可視化技術描述知識資源及其載體，利用樸素貝葉斯、卷積神經網絡等數據融合方法，顯示個體的知識發展進程及其相互之間的結構關系，從而為學習者提供個性化的資源推薦和學習路徑規劃，讓數據驅動的“因材施教”成為可能。

2.認知狀態建模

認知狀態是對學習者內在信息加工過程的描述。對學習者認知狀態建模，通常可以借助學習行為數據和文本數據。由于生理數據與人類大腦神經系統的活動高度關聯，因此使用生理數據構建認知狀態模型日益受到關注。拉爾穆索等人（Larmuseau et al.，2020）為深入了解學習者在線解決復雜問題過程中的認知負荷，測量并采集了學習者完成不同類型任務的績效、認知操作廣度、工作記憶基本水平、自我報告的認知負荷水平等心理數據以及心率、心率變異性、皮膚電反應、皮膚溫度等生理數據，并按照認知負荷理論，通過邏輯回歸等數據融合方法，構建了由學習者生理體征、認知操作廣度和績效三個維度構成的認知負荷預測模型。結果表明，當學習者在完成操作廣度測試時，心率和皮膚溫度是預測認知負荷水平的最佳變量，意味著學習者的認知負荷隨著問題難度的升高而增大，盡管學習技能得以提升，但認知負荷也并未明顯減少。該模型描述了學習者在在線學習環境下解決問題時的內在認知狀態變化，可用以解釋學習者產生認知負荷的原因，并為教師更好地根據學習者的認知水平設計在線學習任務提供了科學依據。

3.情感狀態建模

情感狀態建模意在通過自然語言處理、計算機視覺、語音識別等技術和多種智能傳感設備對學習者語音、表情、生理等多模態數據進行精準化采集，進而實現對學習者情緒外在表征模式和內在發生機理的全方位建模分析，以構建融合外界刺激、內部生理和心理狀態的多層次情感模型，準確評測學習者在學習過程中的情感態度及其變化情況，及時發現影響學習者情感的因素，并為其提供及時的情感激勵與支持。面部表情數據和生理數據是情感模型常見的數據來源。雷等人（Ray et al.，2016）設計并開發了多模態學習情感識別系統，利用傳感器和攝像頭采集了課堂學習中學習者的心率、皮膚電、血壓等生理數據和面部表情數據，并以學習者自我報告的情緒狀態（包括厭惡、悲傷、快樂、恐懼、憤怒、驚訝）作為輸出，利用DTREG工具分別針對生理數據和面部表情數據構建情感矩陣，進而實現決策級水平上的數據融合。結果表明，由生理數據與面部表情數據融合構成的情感模型能夠取得比單模態數據預測更高的準確度。無獨有偶，范等人（Pham et al.，2018）基于多模態學習分析技術測評學習者利用智能手機進行MOOC移動學習的情緒狀態時，通過前攝像頭獲取學習者學習過程中的面部表情數據和后攝像頭獲取學習者用手指控制視頻播放過程中指尖的光脈沖圖像信號（Photo Plethysmo Graphy，PPG），并利用支持向量機方法進行數據融合，也發現生理數據與面部表情數據的融合是預測學業情緒的最佳模型。

此外，有研究者嘗試融合其他模態數據構建情感狀態模型。亨德森等人（Henderson et al.，2020）通過獲取學習者在參與緊急醫療技能訓練游戲中的姿態數據、游戲過程數據以及研究者觀察得到的情感狀態數據，并利用深度神經網絡對這些多模態數據進行融合，從而構建了游戲化學習環境下學習者的情感模型。羅等人（Luo et al.，2022）利用攝像機和學習平臺采集了學習者頭部姿態數據、面部表情和交互學習數據，并利用加權分層融合的方法構建了由三類數據預測的學習興趣模型，從而為教師實時衡量學習者的學習興趣并做出及時干預提供了支持。

4.交互狀態建模

交互狀態是指學習者與教師或同伴之間交流互動的情況。在以往的學習分析中，交互狀態模型主要通過對學習者在學習平臺的行為數據進行社會網絡分析而實現。隨著多模態數據采集技術和融合算法的發展，反映交互狀態的數據更加多維且精細。斯皮科爾等人（Spikol et al.，2018）通過收集學習者在合作完成STEM項目過程中的互動動作數據、語音數據、Arduino板自動記錄的編程所用的硬件和軟件類型及其連接信息，以及移動工具中記錄的計劃、實施與反思階段的成果數據，并利用深度神經網絡構建了交互狀態模型。該研究尤其指出學習者在合作完成復雜任務時，同伴之間的手部距離和頭部距離可用于預測合作學習的質量。

5.綜合狀態建模

綜合狀態建模是指對學習者多個學習狀態進行綜合分析而建立的整體性模型。這類模型關注學習者在行為、認知、情感、交互等多個方面的整體性表現，如學習投入模型、自我調節學習模型、學業表現預測模型等。例如，帕帕米特西烏等人（Papamitsiou et al.，2020）將自適應學習活動中的學習投入概念化為行為、感受和思想，并采集與這些維度相關的日志記錄、眼動數據、生理數據、表情數據和問卷數據，通過模糊集定性比較分析方法（Fuzzy-set Qualitative Comparative Analysis，fsQCA）而得到了解釋學業表現的最佳變量組合（如圖3所示）。該研究較好地展現了不同學習活動類型與多模態數據之間的復雜映射關系，以及基于混合研究方法的學業表現預測分析，能夠為研究者與實踐者提供較好的分析框架支撐。

圖3 學業表現預測模型與數據類型間的映射關系

除以學習者自身情況為預測變量外，還有研究者考慮了模型的情境依賴性，將學習環境數據、學習活動類型數據也納入到學業表現的預測變量中。例如，蒙佳洛斯卡等人（Mangaroska et al.，2021）以認知負荷理論和情感動力模型（Model of Affective Dynamics）為理論基礎，基于編程平臺獲取了學習者在理解代碼和優化代碼兩個階段閱讀事件和編碼事件中的腦電數據、眼動數據、表情數據和平臺日志數據。其中，腦電數據用于表征注意力、聚合思維和記憶負荷，眼動數據用于表征學習者在編程平臺區域（編碼區、編程問題區、控制臺區）的注視時長和認知負荷，表情數據用于表征滿意、沮喪、無聊、困惑等情感狀態，平臺日志數據用于表征閱讀事件和編碼事件，最后利用線性回歸算法構建了學習者在不同學習階段注視編程平臺不同區域時的學業表現預測模型。

六、討論與展望

多模態學習分析旨在利用“多模態”思想和方法對學習者的內在學習狀態、特征與變化進行深度詮釋，從而挖掘學習規律、優化學習過程、促進精準教學。在文獻梳理中，我們發現盡管多模態學習分析在數據采集、數據融合和數據建模等方面取得了諸多進展，但仍存在數據采集難以跨越場景、數據融合的理論基礎薄弱、數據建模缺乏情境依賴等問題。未來多模態學習分析研究可從以下幾個方面加以深化：

1.加強情境感知，實現場景數據的混合采集

情境是表征教育數據的重要因素，能夠表征學習者在復雜教學環境中的真實學習狀態，對構建學習模型起著關鍵作用。隨著物聯網和智能傳感技術的發展，如何跨越物理和數字世界進行教育情境的精準建模日漸成為一種研究趨勢（牟智佳，2020）。基于文獻分析，目前多模態學習分析的數據采集存在兩大問題：一是采集的數據大多是簡單片段式的學習表現數據，較少在時間序列層面捕獲連貫性的過程數據，因而難以全面、實時反映學習的動態過程。二是采集到的數據基本是單一時空場域，難以跨越線上、線下不同場景實現對數據的“無縫銜接”，并做到與真實教學情境的緊密耦合。

為此，未來學校需構建融情境感知技術、影像技術、跟蹤與評價技術、平臺數據采集技術等混合手段的智慧教育環境，從學習空間建設上為多模態學習數據的線上線下場景采集提供支持，進而按照“情境—活動—事件—數據”四層框架實現全過程和全方位的數據采集。教學情境數據可從線上、線下兩個時空維度進行分類采集，包括與學習者相關的用戶情境、時間情境、任務情境、物理情境、設備情境等信息。由于數據只是用于描述事物的符號記錄，其自身并不能提供判斷或意義詮釋，數據的意義獲取需要與具體業務相關聯（王冬青等，2018）。因此，可通過對學習任務的信息描述建立起線上、線下跨時空教學場景數據的關聯。將學習活動數據融入反映時間序列的學習過程，既可實現對學習者學習全過程的細致刻畫，有助于挖掘學習者在整個學習過程中的學習變化規律；又可實現對混合教學場景學習活動的動態描述，有助于構建多元化的混合學習活動路徑。學習事件數據是指在學習過程中，學習者完成特定學習任務所產生的動作、語音、眼動、表情、生理等多模態數據集。正如前文所述，為了解學習者的編程學習表現，蒙佳洛斯卡等人（Mangaroska et al.，2021）基于在線編程平臺，按照編程活動環節及其活動事件進行實時數據采集，以獲得學習者在編程平臺不同區域完成不同活動事件時的數據鏈。這為多模態學習分析中情境性數據采集的深化研究提供了很好的啟發。

2.深挖理論基礎，促進數據融合的科學精準

數據融合是一個費事費力的復雜過程（Liu et al.，2019）。已有研究表明，數據融合的方式主要有三類（穆肅等，2021）：一是使用多維度、多模態數據測量，用于解釋一個學習指標；二是使用多維度、多模態數據測量，用于解釋多個學習指標；三是使用多方數據互相印證，用于全面且深度地闡釋某一個問題。基于文獻分析，數據特征選擇是多模態學習分析數據融合的關鍵。隨著每一類數據的測量潛力被逐步挖掘，其蘊含的特征信息對同一學習指標的解釋力也逐步增強。盡管通過優化或創新算法可以實現對數據特征的篩選，倘若有明確的學習理論作支撐，那么數據特征的提取將更具合理性。

未來多模態學習分析的數據融合將從支持單一特征聚合的數據層融合逐漸邁向支持高維空間映射的特征層融合，甚至是最優決策支持的決策層融合和混合式融合。因此，亟需挖掘有關行為、認知、情感和交互等基礎理論在多模態數據融合研究中的價值意蘊，豐富不同模態數據與學習之間的復雜映射關系，進而為數據融合提供強有力的理論依據。正如上文所述，已有研究者開始關注從認知負荷、情感動力等學習理論的角度，確立數據特征提取的維度，進而構建學習者模型。未來要實現科學精準的數據融合，開展對教育神經科學、腦科學和學習科學的最新理論跟蹤也是極其必要的。

3.重視情境依存，強化數據建模的情境適用

時序性和情境化是教育的基本特征。由于受跨場景、時序性數據采集技術的限制，面向學習者個體的特定情境下的全過程、多模態學習數據采集仍較為欠缺，因此，已有研究所構建的學習者模型在某種程度上是去境脈化的，其對具體情境下學習者的認知、情感和交互發展規律與發生機制難以做出精準解析，以致構建的模型難以實現推廣普及。

強化情境依存性的數據建模將成為未來多模態學習分析的重點之一。一方面，在時間維度上，可引入時間序列分析方法，對學習者的認知、情感和交互的發展狀況進行序列化建模，以消除單一時間數據所表征信息的不確定性，進而縱向深度挖掘學習者周期性的學習規律并預測其發展趨勢（黃濤等，2020）。另一方面，在空間維度上，人們已關注到學習者的認知、情感和交互狀態會隨著學習空間場域的切換而有所不同，如學習者在網絡學習空間所表現出來的學習狀態，與在智能學習空間、甚至虛實融合空間所表現出來的學習狀態是不一樣的。因此，有必要對學習發生的空間場域進行量化，構建面向不同空間場域的學習模型。這對分析學習者在不同學習情境中的認知發展、情感變化和交互狀況，進而幫助教師做出精準的教學決策和活動設計有著重要意義。此外，在任務維度上，亟待在不同學科的復雜任務情境中，探索學習者的學習規律、認知特征、情感和生理狀態、社交偏好等，構建出與任務情境相適應的認知、情感和交互模型，甚至是綜合模型，以拓展和豐富多模態數據建模的案例，并為多模態學習分析系統提供面向不同任務情境的學習者模型庫，進而促進多模態人機交互發展。