基于多模態數據的在線學習元認知能力數字化建模及應用

[中圖分類號]G434 [文獻標志碼]A

[作者簡介]王洪江（1977—），男，浙江紹興人。教授，博士，主要從事在線教學理論、人工智能教育應用研究。E-mail：wanghongjiang@m.scnu.edu.cn。

一、引言

隨著全球數字化浪潮的推進，數字技術逐步推動教育數字化轉型發展I，為教育系統帶來諸多新機遇。2022年2月，《教育部高等教育司關于印發2022年工作要點的通知》要求，“全面推進高等教育教學數字化，打造全球在線教育資源公共平臺\"2]。2024年1月，《數字化引領教育變革新風向一一年來國家教育數字化戰略行動發展觀察》表明，“以慕課和在線教育為抓手，高等教育數字化轉型的步伐在不斷加快\"3]。可見，教育數字化轉型新局面推動了在線教育持續發展，進一步釋放在線學習變革教學方式的潛力。然而，在線學習者元認知能力普遍較低，無法有效審視自身學習過程并做出反饋調整，導致在線學習成效受到影響4。元認知是反映或調節認知活動的任一方面知識或認知活動，在線學習者需調整自身元認知能力以適應在線學習環境。因此，對在線學習者元認知能力進行模型構建，可以為其提供調整學習策略和過程的依據，促進深度學習的發生。但當前關于在線學習者元認知能力的建模研究缺乏理論依據，且元認知能力表征模態選取也較為單一，這在一定程度上削弱了模型的全面性與準確性，影響在線學習成效。

多模態技術是對多種感官渠道（即“模態\"）進行融合分析，以實現信息高效傳遞與感知的技術。多模態數據分析結果能夠為復雜的學習過程提供全面洞察與客觀評價8，便于實現學習者模型的準確全面構建，進而助力學習者建模的數字化轉型。因此，本研究梳理在線學習元認知理論，基于在線課程中的多模態數據，構建數字化模型并開展實證研究，旨在從理論和實踐兩方面解決當前研究不足，為后續相關研究開展提供借鑒。

二、文獻綜述

（一）在線學習元認知理論

在元認知研究的早期，主要由Flavell和Brown對其概念進行定義與界定。Flavell認為，元認知的兩要素是相對靜態的“元認知知識\"和“元認知體驗\"Brown則更傾向于將其視為活動過程，將兩要素界定為\"認知知識\"和\"認知調節\"[]。在此基礎上，董奇對元認知結構進行三元細化，將其定義為“元認知知識”“元認知體驗\"\"元認知監控\"。王亞南在上述\"三元論\"的定義上，提煉出三部分之間“相互聯系、密不可分\"的動態連續特性[12]。隨著元認知概念界定的明晰，研究者逐漸探索教育教學領域的元認知應用，并將其視為引導自我管理學習的重要機制[13]。然而，傳統教學環境的元認知“三元論\"可能不適用于在線學習，原因如下：（1）元認知知識在應用層面存在差異。傳統課堂中，師生交互有助于學習者獲取和應用元認知知識。而在線學習中，學習者更多依賴于自我反思和自主學習，對元認知知識有著更高要求。（2）元認知體驗在情感層面存在差異。相較于傳統學習環境，在線學習者將面臨因技術焦慮產生的情感變化，影響元認知策略在學習過程中的應用[4。（3）元認知監控在支持層面存在差異。針對傳統教學中學習者的自我監控調節，教師會給予計劃和評估方面的支持。但在線師生處于異步狀態，教師提供的學習支持也僅限于間接作用[15]，無法直接影響學習者元認知監控過程。

（二）在線學習元認知能力數字化建模

隨著技術不斷發展，在線學習元認知能力數字化建模取得了一些突破。具體而言，已有研究從以下兩方面開展：（1）基于內隱生理信號的數字化建模。Zargar等人通過設計眼動任務并開展在線學習活動，基于注視持續時間對元認知監控進行數字化建模，以了解學習者的監控困境；Dindar等人利用皮電活動EDA（ElectrodermalActivity，EDA）對在線學習者元認知體驗進行建模，為觀察和量化元認知提供新的途徑[17]。（2）基于外顯學習行為的數字化建模。紀陽等人梳理了“參與\"“學習\"“方式\"等五類行為指標集，基于16種行為指標對在線學習元認知能力進行建模[8}；Zhang等人從“內容\"\"評估\"等五類行為獲取學習者行為序列數據，對在線學習元認知能力進行數字化建模，發現模型能夠有效提取微觀層面信息[19]。可見，當前數字化建模研究取得了一定成效，為在線學習元認知能力評估提供了依據。

然而，現有研究仍存在以下不足：（1）理論層面缺乏統一指導，導致評估準確性不足。例如：Taub與Tsai等基于不同元認知理論構建眼動信息的數字化模型，在固定視覺是否顯著評估元認知能力的結論上存在分歧[20-21;李士平與Li等采用不同理論基礎的元認知問卷，導致“瀏覽學習資源\"評估指標分析結論不一致[22-23]。（2）實踐層面模態選取較為單一，導致評估全面性不足。例如：Zhang 等人僅基于文本模態數據，對學習者調節過程中元認知能力進行數字化建模2；Tsalas等人僅通過事件相關電位ERP（EnterpriseResourcePlanning，ERP）數據構建模型，以此判斷元認知與認知過程之間的差異2]。

（三）在線學習中多模態數據支持的數字化建模

通過整合兩種及以上數據來源，多模態技術能更準確、全面地對在線學習者進行數字化建模。具體而言，在線學習中多模態數據支持的數字化建模具有以下特性：（1）內隱表征性。研究者通常獲取在線學習者生理行為、心理變化等多模態數據并進行分析，以實現內部學習狀態的準確刻畫2，與元認知的內隱性相契合。（2）全面動態性。已有多模態研究通常涉及在線學習過程的數據采集，進而分析學習者內部狀態變換情況[2，與元認知的動態特性一致[28]。（3）高效準確性。相較于單模態，多模態數字化建模能聚合更多通道信息，在性能、精度上也更佳，已在各類應用中取得顯著效果[2]

基于以上優勢，多模態技術有助于支持在線學習者元認知能力的數字化建模。然而，此類研究在日常教學中卻難以推廣[30]，這是因為：一方面，多模態研究在真實教學環境中，學習者活動更加多樣化，數據采集和分析的復雜性增加，實踐效果難以保證；另一方面，多模態研究往往依賴各種可穿戴設備采集學習者生理和行為數據，在實踐中設備難以具有一致性，阻礙了多模態研究的常態化應用。

綜上所述，在線學習元認知能力模型構建缺乏統一理論指導，實踐中采用數據模態較為單一，導致元認知能力評估缺乏準確性與全面性。而在線學習中多模態數據支持的數字化建模與元認知特性契合，為模型構建提供了新思路。但多模態研究存在忽視實驗與真實環境差異、對智能設備要求較高等問題，難以在常態化教學推廣應用。鑒于此，本研究擬梳理在線學習元認知理論，構建基于多模態數據的在線學習元認知能力數字化模型并開展實證研究，以期在理論和實踐層面推動多模態研究在常態化教學中的應用。

三、基于多模態數據的在線學習元認知能力數字化建模

（一）數字化模型構建

1.數字化模型理論基礎

與傳統的元認知“三元論”不同，在線學習情境下的元認知理論具有獨特的發展路徑，將二者等同視之，可能對元認知研究的深入推進產生一定干擾。鑒于此，本文在繼承“三元論\"核心觀點的基礎上，結合在線學習的情境特征，對相關理論進行了遷移與整合，旨在構建適用于多模態數字化建模的在線學習元認知理論框架，從而為后續研究提供堅實的理論支撐。具體而言，在線學習元認知理論具有以下特性：（1）元認知知識自主性與多樣性。在線學習中，學習者需自主了解多樣的學習過程與資源，以實現學習策略的適配調整與應用。（2）元認知體驗復雜性與情感性。在線學習者元認知體驗不僅局限于學習活動，還涉及多種復雜學習情境認知，此過程中的學習孤立感與技術焦慮都將增加認知負荷[3，進而產生較為頻繁的情緒波動。（3）元認知監控動態性與調控性。在線學習者通常需要動態監控多類型的在線學習活動，實現對自身學習過程的準確判斷與調控，以促進不同類型學習目標達成。

2.基于多模態數據的在線學習元認知能力數字化模型

本研究基于在線學習元認知理論，參考常態化教學環境下能有效評估學習者內隱認知過程的多模態數據采集維度（文本、圖像、音頻和行為）3，對各模態數據進行預處理，結合多種深度學習算法對數據進行分析，最后采用多模態融合算法整合結果，以實現在線學習元認知能力數字化模型的構建（如圖1所示）。

基于多模態數據的在線學習元認知能力數字化模型由三個核心組成部分構成：多模態數據支持、算法分析支持以及在線學習元認知能力建模。首先，在常態化線上教學環境中，學習管理系統LMS（LearningManagementSystem，LMS）對多模態數據進行采集、分類與存儲，為模型構建提供了數據基礎。其次，借助各類深度學習算法對多模態數據進行特征提取與評估分析，結合決策層多模態融合方法，為數字化模型提供了有效的分析支持。最后，基于在線學習元認知理論，結合數據分析結果，模型可實現對“元認知知識”“元認知體驗”“元認知監控”三項核心要素及其特性的自動化與客觀化評估，從而實現對學習者元認知能力的全面系統測量。

（二）模型結構解析

1.在線學習元認知能力層級及其評估方式解析

當前，學習成果分類主要基于布魯姆、安德森等教育心理學家提出的目標分類學[3]，為研究者提供了客觀劃分學習者能力的依據。因此，本研究基于布魯姆認知目標分類體系，構建在線學習元認知能力層級結構，明確劃分低、中、高三類在線學習元認知能力水平（如圖2所示）。在線學習元認知能力呈螺旋上升趨勢，三類不同元認知能力水平學習者與布魯姆認知目標層級相對應：（1）低在線學習元認知能力。低水平學習者在三要素上缺乏理解能力，通常僅停留在基礎學習需求的認識（知記與領會），難以有效選擇學習策略與自我監控。（2）中在線學習元認知能力。相比低水平學習者，中等水平學習者已具備較好的學習規劃能力，能夠調整情緒并應對學習障礙（應用），主動剖析自身學習過程（分析）。（3）高在線學習元認知能力。高水平學習者能對復雜的在線學習任務作出準確判斷（綜合），并通過反思監控學習過程以優化學習策略（評價），確保學習目標的實現。

依據上述層級評估標準，數字化模型將對四類多模態數據分別進行評估，模態對應在線學習元認知能力具體如下：（1）音頻數據通常記錄學習者規劃學習任務的過程及體驗，反映在線學習元認知知識自主性、元認知體驗情感性。（2）文本數據通常包含在線學習者對學習過程的自主反思、自我調節以及情感變化，對其評估涉及元認知知識自主性、元認知體驗情感性及復雜性。（3）圖像數據可呈現學習者在多種復雜學習情境下的認知程度，適用于表征元認知體驗復雜性。（4）行為數據直接記錄學習者學習過程，支持自主規劃、策略調整等方面的全方位觀察，能夠反映除元認知體驗情感性外的其他在線學習元認知能力維度。

2.多模態數據處理解析

依據在線學習元認知能力層級及其評估方式，多模態數據處理能逐步使原始數據轉化為有意義的信息，進而評估學習者在線學習元認知能力：（1）數據預處理。清理不同模態數據，以確保后續分析可行性。例如，文本數據、訪談音頻中包含冗余信息與噪聲，需要通過算法去除。（2）數據編碼。鑒于各模態評估在線學習者元認知能力時側重點不同，此階段采用人工編碼方式，按照低、中、高三類元認知能力層級對數據進行標注，以支持后續評估分析。（3）數據分析與呈現。基于標注數據，構建并訓練深度學習模型，實現在線學習者元認知能力的自動評估與預測分析，并通過多模態融合算法揭示各元認知特性權重分布。

四、基于多模態數據的在線學習元認知能力模型應用

（一）應用場景

本研究以廣州市H高校在線平臺“礪儒云課堂”公選課\"移動互聯網創業模式與實踐\"為例，應用基于多模態數據的在線學習元認知能力數字化模型，以期為常態化多模態評估提供借鑒。在線課程每期開展11周，為獲取充足的在線數據，實驗選取兩期共93名學習者為研究對象。

（二）數據采集與編碼

本研究依托在線學習平臺收集常態化多模態數據，實現學習者在線學習元認知能力數字化建模，并開展多模態評估。第一，教師在平臺上設置“學習計劃\"“階段反思\"等討論區，提供視頻與文本等學習資源，平臺會自動獲取在線學習者多模態數據日志。第二，教師在課程結束后發放在線學習元認知能力調查問卷，獲取學習者在線學習元認知能力水平相關數據。問卷結合在線學習元認知理論，對Schraw[34]、ONeil等常用元認知問卷進行改編，并在數據分析前對其信度與效度進行檢驗，結果表明，問卷結構良好且具有可信度（CronbachsAl 0.804，Bartlett球形檢驗值為0.004）。第三，依據在線學習元認知能力層級及評估方式構建多模態數據編碼表（見表1，其中，行為模態以量化替代編碼），并由兩位專家按照該編碼表對數據進行標注，將低、中、高三個層級分別賦值為1、2、3。編碼方式有效避免了專家之間的差異，計算所得各模態編碼一致性達88.4% ，編碼具備有效性。第四，結合各模態標注數據訓練深度學習模型，并以7：3比例隨機劃分為訓練集和測試集，進而評估模型性能。

（三）數字化模型應用效果分析

1.文本模態分析

在文本識別方面，模型將實現在線學習元認知知識自主性、元認知監控調控性、元認知體驗情感性的分類評估。本研究選取Bi-LTSM + Self-Attention深度學習模型進行自主性和調控性分類任務，大模型GPT-4o進行情感性分類任務。其中，Bi-LTSM + Self-Attention是一種全局語義理解架構，在文本分類任務中能有效捕捉雙向信息及其重要特征[3;GPT-4o是一種具備多模態能力，能夠理解自然語言的生成式預訓練模型，可用于文本情緒識別任務中[7]

本研究將標注數據輸入上述模型，通過學習文本間的語義關聯，在元認知層面實現對內容的解讀。文本模態評估預測結果見表2，其中，準確率、精準率、召回率、F1值是常見的模型評估指標，在本研究中可用于衡量模型自動評估在線學習者元認知能力的性能。可見，Bi-LTSM ?+i Self-Attention模型對自主性和調控性的評估預測結果均在 90% 以上，整體評估效果較好;GPT-4o精確率達到了較高的 95.79% ，可用于在線學習元認知體驗情感性識別。

2.圖像模態分析

思維導圖是學習者多種思維方式的可視化呈現[38]，通過分析其節點連接、層級結構和概念關聯，有助于揭示學習者的整體思維模式。因此，在圖像模態分析中，首先采用拉普拉斯算子（LaplaceOperator）進行邊緣增強處理，突出思維導圖中的節點、線條等結構化信息，隨后輸人VGG_16以評估預測在線學習元認知體驗復雜性。VGG_16是一種經典的卷積神經網絡架構，由卷積層（提取局部特征）池化層（保留重要特征）全連接層（全局整體理解）三類組成，可用于檢測學習者在復雜環境下的知識掌握情況[39]。

在VGG_16模型中，卷積層會提取思維導圖局部特征，池化層會進一步提取關鍵特征，全連接層將提取的高級特征映射到元認知能力標簽，最終實現元認知能力層級預測評估（微調后VGG_16架構如圖3所示）。結果表明，訓練后的模型對圖像模態具有較好的預測準確率（準確率 88.89% 精確率 92.59% 召回率90.91% 、F1值 91.04% ），可用于評估在線學習元認知能力體驗復雜性。

3.音頻模態分析

在語音識別方面，模型將對線上討論數據進行分析，實現在線學習元認知體驗情感性、元認知知識自主性的分類評估。本研究采用中文語音預訓練模型Wav2vec2.0進行特征提取，結合雙向變換器模型BERT進行分析處理，實現元認知情感性與自主性的評估預測。其中，中文Wav2vec2.0模型能夠從大規模未標注的中文語音數據中提取高質量語音特征；BERT則可以通過同時從前后文學習語義表示，進行自然語言處理任務。

本研究將音頻數據輸人Wav2vec2.0中，將語音特征向量解碼為文本數據后，結合BERT理解文本的上下文語義，識別文本中與元認知知識、元認知體驗相關的關鍵內容，并通過標注數據指導模型實現自動評估，語音模態評估預測結果見表3。可見，BERT模型可通過微調適應在線學習元認知的評估預測。

4.行為模態分析

在行為識別方面，模型將對在線學習日志進行分析，實現在線學習元認知知識、體驗、監控三類能力的評估預測。本研究參考王洪江等評估元認知能力的在線學習行為指標及量化方法，并將11種行為指標輸人BP神經網絡實現自動評估。BP神經網絡是一種多層前饋神經網絡，通過反向傳播算法調整權重以處理復雜的非線性關系，在多維度數據評估中具有一定優勢。

在BP神經網絡中，輸入層接收標準化后的行為特征，隱含層通過非線性激活函數學習特征與元認知能力之間的映射，輸出層形成元認知能力標簽類別。本研究選用常見的三種機器學習模型與BP神經網絡作對比，評估預測結果見表4，可見BP神經網絡相比機器學習模型，在分類與整體預測上均具有較好的準確率。

5.多模態融合分析

在多模態融合分析中，本研究對在線學習元認知各特性采用決策級融合，全面剖析元認知能力評估要素權重占比。其中，決策級融合是多模態研究中最常用的數據融合方案，通過整合不同模態模型的結果以得出精準決策[4。具體而言，本研究將上述四種模態模型的分析結果進行匯總，結合在線學習元認知能力調查問卷數據，采用多層感知機MLP進行各特性權重計算。在MLP中，將帶有標注的四種模態分析結果作為輸入數據，利用多元線性回歸算法對模型進行擬合運算（其權重矩陣記錄了各模態對元認知能力的貢獻），加權線性模型為：在線學習元認知能力 Π=0.160× 自主性 +0.208× 多樣性 +0.180× 復雜性 +0.160× 情感性 + 0.156× 動態性 +0.136× 調控性，同時模型擬合程度良好（R²=87.49% ）。通過加權線性模型可知，在線學習元認知能力是由多個因素共同作用的結果，各特性在評估過程中均有一定貢獻。

五、討論

（一）基于多模態數據的數字化模型是在線學習元認知能力準確評估的基礎

已有研究表明，基于多模態數據的學習評估可全面獲取教學場景數據，從而實現對學習狀態的準確評估[42]。因此，本研究基于在線學習元認知理論，構建多模態數字化模型并應用于常態化教學中，分別收集與處理四種模態數據，結合多模態決策級融合技術，對在線學習元認知三要素及其特性進行自動評估與權重解析。結果表明：在理論層面，數字化模型以在線學習元認知理論為支撐，闡述了元認知能力具體層級關系及評估方式，為在線學習元認知能力準確評估奠定理論基礎；在實踐層面，數字化模型采用深度學習模型評估在線學習元認知各特性，通過多模態決策級融合算法整合結果，充分獲取了多模態數據的完整特征，提高了準確評估的可能性。

（二）多模態融合有助于提高在線學習元認知能力模型的全面性與可解釋性

通過多模態數據分析，教育研究者能更好地理解學習者的內在認知狀態，但如何進行多模態數據融合是該領域的難點問題[43]。因此，本研究采用多模態決策級融合，利用MLP擬合最優回歸模型，確定各特性在評估過程中的權重占比。結果表明，在線學習元認知能力是由多個相互關聯的特性共同決定的，其中元認知知識多樣性的影響權重系數最大。這是因為，元認知知識為元認知活動提供基本知識背景，多樣化知識背景使學習者能夠選擇并應用合適的策略，從而更有效地進行情感管理和調整，促進元認知體驗與監控能力的提升。通過多模態決策級融合得出的權重系數，可有效提高模型的全面性與可解釋性：一方面，多模態融合有效消除了單一模態評估的片面性，使教師能夠更全面準確地了解在線學習者元認知三個維度的表現，為改善教學策略提供數據層面的支持；另一方面，根據決策級融合生成的各特性權重，在線學習者內隱認知狀態得到更加客觀的解釋，教育工作者可基于此優化在線課程設計。

六、結束語

本研究基于在線學習元認知理論，依托常態化在線學習場景的多模態數據與分析技術，進行在線學習元認知能力多模態數字化建模，并將其應用于在線課程中開展實證研究，以實現自動準確的多模態評估。研究結論如下：（1）基于多模態數據的在線學習元認知能力數字化模型由“多模態支持”“算法分析支持”“在線學習元認知能力\"組成，為準確評估在線學習元認知能力提供理論基礎；（2）各模態數據采用深度學習模型分析，結合多模態決策級融合，提升了在線學習元認知能力評估的全面性與可解釋性。

多模態技術轉向常態化教學應用時，往往面臨教學情境復雜、數據多樣化等問題[45。本研究對在線學習環境中的多模態數據進行收集與分析，實現了在線學習元認知能力的準確評估，在提升在線學習質量的同時，也為教育研究提供更多的實證基礎。此外，相比于在線學習環境，混合學習結合了在線學習與傳統學習優勢，也適合在常態化教學中推廣應用。因此，后續研究將以混合學習理論為基礎，重點關注傳統學習與在線學習元認知能力結合的路徑，推動多模態元認知能力模型在混合學習中的應用。

[參考文獻]

[1] 陳亮，許姝燕，成紅麗.數字化轉型賦能城鄉教師高質量發展的內在邏輯與培育策略[J].中國電化教育，2024（8）：94-101.

[2] 中華人民共和國教育部.教育部高等教育司關于印發 2022年工作要點的通知[EB/OL].（2022-02-23）[2024-12-06].htp：/ww. moe.gov.cn/s78/A08/tongzhi/202203/t20220310_606097.html.

[3]中國教育報.數字化引領教育變革新風向———年來國家教育數字化戰略行動發展觀察[EB/OL].（2024-01-27）[2024-12-06]. http：//www.moe.gov.cn/fbh/live/2024/55785/mtbd/202401/t20240129_1113154.html.

[4]ANTHONYAMYL.Theuseofmetacognitivestrategiesforundisruptedonlinelearing：preparinguniversitystudents inteageof pandemic[J]. Education and information technologies，2021，26（6） ：6881-6899.

[5]吳秀娟，張浩，倪廠清.基于反思的深度學習：內涵與過程[J].電化教育研究，2014，35（12）：23-28，33.

[6]BROADBENTJ，POONWL.Self-regulatedlearningstrategiesamp;academicachievementinonlinehighereducationlearning environments：a systematic review[J]. The internet and higher education，2O15，27：1-13.

[7]王洪江，李作錕，廖曉玲，等.在線自主學習行為何以表征元認知能力——基于系統性文獻綜述及元分析方法[J].電化教育研究， 2022，43（6）：94-103.

[8]殷常鴻，張義兵，高偉，等.“皮亞杰—比格斯\"深度學習評價模型構建[J].電化教育研究，2019，40（7）：13-20.

[9]FLAVELLJH.Metacogitioandcognitivemonitoring：aneareaofcognitivedevelopmentalinquiryJ].Americanpsyhologist， 1979，34（10） ：906.

[10] BROWN A. Knowing when， where amp; how to remember： a problem of metacognition[M]. New Jersey： Lawrence Erlbaum Associate， 1987.

[11]董奇.論元認知[J].北京師范大學學報，1989（1）：68-74.

[12]王亞南.元認知的結構、功能與開發[J].南京師大學報（社會科學版），2004（1）：93-98.

[13]STANTONJD，SEBESTAAJ，DUNLOSKYJ.Fostering metacognition tosupport studentleaingandperformance[J].CBE—Life sciences education，2021，20（2）：fe3.

[14] BROADBENT J.Comparing onlineand blended leamersself-regulated learning strategiesandacademicperformance[J].The internet and higher education， 2017，33：24-32.

[15]ANTHONYSAMYL，KOO A C，HEW SH.Self-regulated learning strategies and non-academicoutcomes in higher education blended leaming environments：aone decade review[J]. Educationand information technologies，2O2o，25（5）：367-3704.

[16] ZARGARE，ADAMS A M，CONNOR C M D.Therelationsbetween children’s comprehension monitoringandtheirreading comprehension and vocabulary knowledge：an eye-movement study[J]. Reading and writing，2020，33（3）：511-545.

[17] DINDAR M，JARVELA S，HAATAJAE. What doesphysiological synchronyrevealabout metacognitive experiencesand group performance？[J]. British journal of educational technology，2020，51（5）： 1577-1596.

[18]紀陽，李思琪，張默雨.元認知評估能力發展預測的可行性研究[J].北京郵電大學學報（社會科學版），2020，2（5）：117-124.

[19]ZHANG M，DUX，RICEK，etal.Revealingat-risklearningpaternsandcoespondingself-regulatedstrategiesvia LSTM encoder and time-series clustering[J]. Information discovery and delivery， 2022，50（2）：206-216.

[20]TAUB M，AZEVEDOR.Howdoesprior knowledge influenceeyefixationsandsequencesofcognitiveandmetacognitive SRL procesesduringlearningwithanintellgenttutoringsystem？[J].Internationaljournalofatificalintellgenceinducation， 2019，29：1-28.

[21]TSAIPY，YANGTT，SHEHC，et al.Leveragingcolegestudents'scientificevidence-basedreasoning performance witheyetracking-supported metacognition[J]. Journal of science education and technology，2019，28：613-627.

[22]李士平，趙蔚，劉紅霞，等.數據表征元認知：基于學習分析的網絡自主學習行為研究[J].電化教育研究，2017，38（3）：41-47.

[23] LI Q，BAKER R，WARSCHAUER M. Using clickstream data to measure，understand，and support self-regulatedlearning in online courses[J]. The internet and higher education，2020，45：100727.

[24] ZHANG T，TAUB M，CHEN Z.Measuring theimpactofCOVID-19 induced campus closureonstudent self-regulated learning in physicsonlinelearingmodulesCthInteratioalLeaingAnalyticsandKnowledgeCoferenc，April1-16，1，Uiesiy of California，Irvine，California.New York：Association for computing Machinery，2021：110-120.

[25]TSALAS NRH，MULLER B C N，MEINHARDTJ，et al.An ERP studyon metacognitive monitoring proceses in children[J]. Brain research，2018，1695：84-90.

[26]CHANGO W，CEREZOR，ROMERO C.Multi-sourceand multimodal data fusion forpredictingacademic performance inblended learning university courses[J]. Computers amp; electrical engineering， 2O21，89：106908.

[27]王小根，陳瑤瑤.多模態數據下混合協作學習者情感投入分析[J].電化教育研究，2022，43（2）：42-48，79.

[28]汪玲，郭德俊.元認知的本質與要素[J].心理學報，2000（4）：458-463.

[29] HUNG Y，DUC，XUEZ，etal. What makes multi-modallearning beterthansingle（provably）[J].Advancesinneural inforation processing systems，2021，34：10944-10956.

[30]范福蘭，李韓婷，戚天姣，等.基于多模態數據的大學生認知深度評價框架構建及應用[J].現代遠距離教育，2023（3）：57-65.

[31]TSAIMJ.Themodelofstrategice-learning：understandingandevaluatingstudente-leaingfrommetacognitiveperspectives[]. Journal of educational technologyamp; society，2009，12（1）：34-48.

[32]馬云飛，鄭旭東，趙冉，等.深度學習的發生機制與多模態數據測評研究[J].遠程教育雜志，2022，40（1）：50-60.

[33]張紅峰.基于創新核心素養的高校學習成果分類框架研究[J].教育學術月刊，2018（10）：24-34.

[34]SCHRAWG，DENSONRS.Asessing metacogtive awareness[J].Contemporary educatioal psyholgy，1994（19）：46475.

[35]ONEILH，BROWNRS.DiferentialeectsofquestionforatsiathassessmentonmetacognitioandectApplied measurement in education，1998，11（4）：331-351.

[36]XIEJ，CHEB，GUX，etalSelf-aenionbasedBiSTmodelforsorttextfingrainedsenimntclasification[J].EEE access，2019，7：180558-180570.

[37]RATHJES，MIREADM，SUCHOLUTSKYI，etal.GPTisanefectivetoolformulilingual psychologicaltextanalysis[J] Proceedings of the national academy of sciences，2024，121（34）：e2308950121.

[38]趙國慶，楊宣洋，熊雅雯.論思維可視化工具教學應用的原則和著力點[J].電化教育研究，2019，40（9）：59-66，82.

[39]LIUY，HEL，YAOZ.epaionoftificalintellgenceasstantteeplearingintachers'teachingandsudents learning processes[J]. Frontiers in psychology，2022，13：929175.

[40]王洪江，陳沛瑜，李作錕，等.基于 BPNN的在線學習者元認知能力評估[J].現代教育技術，2024，34（11）：132-142.

[41]丁繼紅.多模態協作學習分析理論模型、實踐邏輯和教育價值[J].遠程教育雜志，2023，41（2）：95-104.

[42]張學波，李王偉，張思文，等.數據使能教學決策的發展——從數據教育應用到多模態學習分析支持教學決策[J]. 電化教育研 究，2023，44（3）：63-70.

[43]彭紅超，姜雨晴.多模態數據支持的教育科學研究發展脈絡與挑戰[J].中國遠程教育，2022（9）：19-26，33，78.

[44]汪玲，郭德俊，方平.元認知要素的研究[J].心理發展與教育，2002（1）：44-49.

[45]CUKUROVA M，GIANNAKOS M，MARTINEZ-MALDONADOR.The promise andchalengesof multimodal learning analytics[J]. British journal of educational technology，2020，51（5）：1441-1449.

Digital Modeling and Application of Online Learning Metacognitive Abilities based on Multimodal Data

WANG Hongjiang1， ZHANG Yifu'， LUN Hao1，CHEN Peiyu2， ZHANG Shaoying1 （1.School of Information Technology in Education， South China Normal University， Guangzhou Guangdong 510631; 2.Guangzhou Huadu District Tieying School， Guangzhou Guangdong 510800）

[Abstract] Online learning metacognitive ability has an important impact on the effctiveness of online learning，and modeling it helps learners to adjust their learning strategies and processes.However， current modeling approaches suer from inconsistent theoretical guidance and an over-reliance on unimodal indicators. For this reason，the study combs through online learning metacognition theories， constructs a digital model of online learning metacognitive ability based on multimodal data，and applies it toregular online courses to verify the effctiveness of model -based assessment of online learning metacognitive ability.The results demonstrate that：（1）the multimodal data-based digital model provides a solid foundation for accurately assessing online learning metacognitive ability;（2）each modal data is analyzedusing a deep learning model combined with multimodal decision-level fusion to make the assessment results comprehensive and interpretable.

[KeyWords] Online Learning Metacognitive Ability; Digital Model; Multimodal Assessment; Routine Teaching; Deep Learning