多模態數據下的學習投入特征畫像研究

吳彥文，邵風華，葛 迪，韓 園，熊栩捷，陳美依，杜昱銘

（1.華中師范大學 國家數字化學習工程技術研究中心；2.華中師范大學 物理科學與技術學院，湖北 武漢 430079；3.武漢朱雀聞天科技有限公司，湖北 武漢 430000）

0 引言

圍繞學習個體展開精準化教學診斷是提高教學質量的關鍵［1］。其中，評估學習投入是精準化教學診斷的重要內容之一［2-3］。學習投入是指個體表現出的充沛精力、靈活性、熱情及心理韌性［4］，是學習過程的重要特征變量［5］。當前，大量研究仍圍繞傳統方法的組合或迭代探索學習投入測量指標，基于多模態數據表征學習投入狀態的研究較少［6］。多模態數據融合能利用數據間的信息互補機制［7-8］，從多維時空尺度實現精準刻畫學習投入［9-10］。因此，如何利用數據間的三角互證關系精準刻畫學習投入狀態是現階段亟需解決的問題。

本文助力教師精準評測學生學習狀態，擬建立基于多模態數據的學習投入測評框架，聯合文本模態與視覺模態數據輸出多維度學習投入特征值的分類結果，最終將實現學習投入畫像的可視化效果，為教學診斷提供新視角。同時，為了驗證模型的有效性，將依托華中師范大學“小雅”平臺采集學習數據并開展教學實踐。

1 學習投入相關研究

學習投入作為學習評估重要的觀測指標［11］，涵蓋了行為、認知、情感等因素［12］。張治等［13］構建學習行為投入測量指標，發現行為投入與學業成績間存在顯著關系。當學習行為從個體行為轉向涵蓋協作與討論活動的社會性行為，學習投入研究也面臨著從“個體—外顯特征”向“群體—內隱特征”轉型。在早期研究中，馬志強等［14］發現社會性學習行為和情感投入、認知投入存在顯著相關性。隨后，研究發現多模態數據分析能實現學習行為與各類投入間的量化測評。王小根等［15］基于多模態數據探索了情感投入與協作學習間的內在規律，實現了學習者的情感狀態識別。田浩等［16］基于多模態表征框架量化得到協作認知投入數值。

從多維學習投入分析出發，吳軍其等［17］從行為、認知和情感維度構建協作學習投入度分析模型，發現每一模態數據均具有與學習投入度呈相關關系的特征變量。然而，不同學習者在各維度的投入并不均衡，基于各維度的學習投入分析將更細致地表征學習者。李新等［18］將行為投入、認知投入和社會投入納入協同學習投入表征模型，發現各維度間的學習投入存在一定的內生關系。以上研究表明，學習投入測評對評估學習者學習狀態具有積極作用，當前研究主要聚焦于多模態數據下行為投入、認知投入、情感投入和社交投入，但在學習行為模式、多維投入層次和教學實踐探索等整體結構性方面仍存在研究空間。

綜上所述，本文將綜合分析不同學習活動產生的數據，基于多模態數據的學習投入表征模型從學習者的不同投入維度特征劃分學習群體，輔助開展后續教學活動。相較于以往研究而言，本文采用多特征融合的學習投入模型預測學生不同維度的投入特征，并在協作學習模式上采取分組策略研究，以期在教學實踐應用方面有所突破。

2 多模態數據下的學習投入表征模型

本文從多維時空信息源出發，利用多模態數據互相輔助、監督不同模態的語義信息，得到多維投入的高低特征。同時，將融合后的特征向量作為學習者的隱向量，實現學習投入特征分類，以提高教學診斷的細度。

2.1 多模態數據采集與預處理

本文以信息技術與物理課程整合課程為例，依托“小雅”平臺智能采集多模態數據，從參與行為、社會網絡、認知、情感4 個維度構建學習者的學習投入特征畫像，具體數據流程框架如圖1所示。

圖1 中s1為教學資源的獲取與利用，s2為信息化教學工具的運用，s3為移動教學模式下的教學設計，s4為小組協同模式下的教學設計，s5為基于社會化軟件的教學實踐，s6為信息化環境下的教學評價。在每次課程中，s1-s6過程均包括多個具體的學習活動，且交織形成多模態學習行為數據。例如，信息化教學環境下的教學評價的知識點課程教學過程中，學習活動包括觀看發布的視頻、提交自評和互評作業、在討論區參與發帖等。通過采集與后期分析處理多模態數據，能最大限度客觀全面地還原學生學習過程。

Fig.1 Data flow framework of multi-learning engagement feature portrait圖1 多維學習投入特征畫像的數據流程框架

本文采取Scrapy+Selenium 數據爬取方案，從“小雅”平臺上獲取靜態、動態頁面數據，解析得到目標元素。其中，文本資源主要包括協作學習文本、教學設計文本、在線平臺日志、調查問卷、自評互評文本；視頻資源包括教學實踐視頻和協作學習視頻。爬取數據后，通過數據清洗提高數據質量，主要步驟為：①去除重復數據、噪音數據和臟數據；②補全填充缺失數據；③依據資源ID 合并資源屬性。

由于教學設計文本的語義表達相對專業、視頻語音信息的語義表達更通俗，借助視覺數據補充能更準確地對齊多模態數據并表征視頻內容。為此，針對視頻數據的預處理主要包括以下3 點：①根據教學設計文本，將視頻分割為語義相對完整的片段；②從視頻片段中抽取最能表征該片段特點的關鍵幀；③處理分割后的視頻片段，形成一段字幕文本。經過數據爬取、清洗和預處理過程，將存儲具有語義結構的數據，作為學習投入特征提取的基點。

2.2 多特征融合的學習投入模型

多特征融合的學習投入模型主要由基于Transformer［19］的文本特征提取器、基于FasterR-CNN［20］的圖像特征提取器和多模態融合組件3 個部分構成。具體的，本文使用詞級預訓練Transformer 提取文本語義特征生成隱層特征向量；采用FasterRCNN 檢測視頻中與信息化教學行為相關的目標；通過多模態融合組件得到學習者特征向量并實現分類預測。模型整體架構如圖2所示。

Fig.2 Multi feature fusion learning engagement model architecture圖2 多特征融合的學習投入模型架構

2.2.1 Transformer文本特征提取器

由于學習文本數據為短文本，本文采用Transformer 提取特征。例如給定一個教學設計文本序列X={ω1，ω2，…，ωi}，其中ωi為輸入序列的詞語，i∈[1，n]，具體建模方法為：

模型輸入ωi經過嵌入層We處理后，轉換為低維稠密的特征向量，向量維度為dmodel。采用與Transformer 原文一致的位置編碼，將初始化詞的嵌入ei和位置嵌入pi相加，通過Multi-head attention 挖掘文本信息hi。為充分挖掘文本數據到多維學習投入特征，本文對學習文本編碼的訓練目標是最小化網絡損失函數：①輸入文本信息hi，經過平均池化后預測學習投入標簽類目；②將輸入文本信息的15%采用隨機遮蔽處理，使用Mask 標記替代，通過預測缺失提高語義表征能力。

2.2.2 FasterRCNN圖像特征提取器

物理教學實踐視頻由任意大小P×Q的圖像拼接而成，將關鍵幀圖像縮放到固定大小M×N后輸入特征提取網絡，經過POI Pooling 得到候選區域特征圖，使用全連接層映射到固定維度。

其中，Fv為全連接層，vj為FasterR-CNN 的卷積特征，為固定維度后的特征。

2.2.3 Attention多模態融合

將文本特征hi與圖像特征rj進行融合，并挖掘多模態間的關聯。計算學習文本中對應詞與圖像中對應區域間的相關度Si，j。

其中，為hi的轉置。

由于學習活動中的文本與關鍵幀圖像存在內在關系，因此對齊文本語義信息與關鍵幀圖像的視覺信息。

其中，為詞的視覺信息表示為關鍵幀圖像的語義信息表示。

為保證不同量綱數值相乘的有效性，相同運算文本模態與視頻模態中的單個分量，采用Softmax 對注意力得分進行歸一化處理。

隨后，采用同一個投影層對拼接后的矩陣進行投影映射。

2.2.4 分類標簽輸出

經過參數矩陣Fe得到學習者特征向量Uf，最大池化大小為1 ×dmodel，步長為1。將Uf作為隱藏向量經過全連接層Ff，得到模型預測的學習投入類別。

3 實踐結果與分析

本文選取華中師范大學物理科學與技術學院近3 年390 名師范生，整合信息技術與物理課程48 752 條有效數據進行學習投入畫像研究。

3.1 在教學診斷評估中的應用

學習投入畫像能輔助教師監測、了解學生學習態度和行為分布狀況，有利于教師實施教學干預，促進學生學業成就。為便于教師教學診斷應用，本文實現了學習投入特征的可視化呈現。同時，根據分類標簽將學習者劃分為高投入團結型、高投入散漫型、中投入普通型、低投入團結型和低投入散漫型5 類。限于篇幅，本文僅以A 學習者為例展示學習投入畫像，如圖3所示。

Fig.3 Learning engagement portrait of student A圖3 A學習者的學習投入畫像

由圖3 可見，高投入團結型群體占比12.3%，該群體善于在協作中提出問題，具備較強的思辯能力，教師可讓其擔任小組協作的主導者；高投入散漫型群體占比21.5%，該群體在協作學習中往往被動接受信息，但個體學習行為突出，教師可引導其認識協作的意義，促使學生投入協作共建；中投入普通型群體占比43.9%，該群體個性不突出，教師應加強關注該類學生，激發其學習興趣，促使學生向高投入團結型轉化；低投入團結型群體占比9.2%，該群體有時存在學習困難，但積極參與協作，教師可實施目標分層與作業分層，提高學生自我效能感；低投入散漫型群體占比13.1%，該群體的行為參與度與學習需求度均有所欠缺，教師應適時采取直接教學干預和督學檢查措施。

綜上，基于學習投入畫像的診斷評估方法可幫助教師快速、精準地了解學生學習投入狀況，促進教師分類分層教學，為協作分組提供決策依據，具有一定的現實意義。

3.2 在協作分組策略中的應用

學習者的學習投入特征是從多模態數據中抽象出的個人特質?；诮M間同質、組內異質的分組策略開展協同學習，能有效開展合作學習。為此，本文要求學生以5 人為單位完成一份教學設計，每組角色包括提問者、回答者、爭論者、協調者和反思者。實驗選取40 名學生組成對照組和實驗組各4 個。其中，對照組采取隨機分組方式；實驗組提問者選取高投入團結型學生，其余4 名成員分別來自其他4 個類型。為了保證基于投入特征的協作分組有效性，實驗結束后分析8 個小組的學習效果（見圖4），然后對兩組學生開展滿意度評價調查，如表1所示。

Fig.4 Learning situation analysis of differentiation team圖4 差異化小組學情統計

Table 1 Student satisfaction evaluation form in grouping strategy表1 學生分組滿意度評價表

由圖4、表1 可見，不同分組策略將影響協作學習效果。實驗組中，高投入團結型學生作為提問者充分發揮了學生主體作用；高投入散漫型和低投入團結型學生形成優勢互補，促進了學生投入風格的“相互強化”；中投入普通型和低投入散漫型學生的角色責任落實明確，參與積極性顯著提高。因此，教師基于學習投入特征進行協作分組，采用互補方式劃分小組將有利于學生培養責任感，角色分工更明確，整體向協作精神更強的趨勢轉換。

4 結語

由于多模態學習數據極大豐富了學習投入的特征表示，本文提出基于多模態數據的學習投入特征模型。隨后根據學習投入畫像進行診斷評估，以期為教師實施個性化教學與協作分組策略提供參考，提升了學生投入水平和協作精神。

隨著信息化教學與學科知識的深度融合，下一階段將主要關注基于學習投入的認知圖譜助力教師“以學定教”。從學習投入特征中挖掘學習目標達成情況、學習偏好和認知水平等屬性。對于未達成的學習目標，利用認知圖譜歸因分析能有效輔助教師進行教學診斷，提升協作分組活動的效率。