面向多模態數據的學習分析應用研究

摘要：隨著傳感器技術的日趨成熟，多模態數據的學習分析必將成為未來發展的重要趨勢。本文從個體的生理、心理和行為來探討多模態數據的層次關系，簡述了這三個層次多模態學習分析的研究現狀，闡述了多模態數據的采集、處理、分析與可視化技術，以此提出了面向多模態數據的學習分析應用場景，為推進智能教育研究的發展提供研究參考。

關鍵詞：多模態數據；學習分析；智能教育

一、引言

在“智能+”教育時代，人工智能、可穿戴、物聯網等技術與教育教學的深度融合，促進了智能教育發展的進程，將學習者的學習情境數據作為信息表征，為研究教育現象和發展規律提供了新穎的方法。隨著多模態數據采集技術不斷地發展，學習者學習行為的獲取突破了原有數據采集技術的局限，如通過視頻采集設備收集學習者在課堂學習的行為數據；通過眼動儀監視學習者在線學習過程中的注意力；通過人臉識別設備對學習者進行定向跟蹤來評估學習狀態[1]。尤其是，基于生理感知數據測量的學習行為及心理特征已成為智能教育研究的發展趨勢。生理感知數據是源于人體的生物活動產生的電信號或磁信號，主要包括眼動、腦電、皮膚電、心電圖等多模態數據，具有客觀性、精確性、實時性等優點[2]。據此，將多模態數據進行融合分析，突破單一模態數據無法實現整體關聯分析的缺陷，能夠全面地刻畫學習者的學習行為、情感投入、學習狀態等，幫助計算機更好地理解學習者真實的學習需求，為其提供精準的個性化學習服務。本文通過對智能教育領域的多模態數據和多模態學習分析進行闡述，將多模態數據的學習分析應用進一步梳理，以期為智能教育領域的研究提供價值參考。

二、多模態與多模態學習分析

（一）多模態數據

當前，隨著傳感器技術、物聯網技術等在教育領域的普及，這為多模態數據的來源提供了有力的保障，也為智能教育的大數據分析提供了堅實的基礎。多模態數據是指于同一現象、過程或環境采用兩種或兩種以上方式獲取的相關數據[3]。本文所指的多模態數據來自個體的三個層級，即生理、心理和行為。這三個層級的數據呈現從里到表的層次關系，生理數據在最底層，心理數據在中間層，行為數據在最外層。生理數據是指學習者在學習過程中受到刺激時個人身體結構發生的變化，屬于個體心理和行為的內在映射；心理數據是指學習者在學習過程中的心理活動數據，如認知、注意力；行為數據是學習者在學習過程中的外在行為表達，如手勢、姿態。

（二）多模態學習分析

學習分析是指通過對學習者的學習數據進行采集、處理、分析和報告，進而理解和優化學習過程。相關研究論述了學習分析的發展歷程、梳理會議報告及論文集，表明多模態數據將成為學習分析研究的重要話題，這需要著重發揮學習分析在交叉學科中研究的優勢[4]。因此，通過多模態數據采集技術捕捉學習者學習過程中的學習狀態并加以分析顯得尤為重要。

1.生理數據

相關研究利用多種傳感器采集學習者的眼動、皮膚電、腦電等生理數據，進行多模態數據融合分析，對學習狀態、學習投入等進行深入的研究。在皮膚電反應方面：盧錦運等采集用戶瀏覽動畫導航界面的皮膚電信息，對用戶的皮膚電分析得出用戶更喜歡動畫頁面，能夠獲得更好的舒適體驗感[5]。

在眼動方面：文獻[6]從學習者在學習過程中眼動信息入手，針對學習者的眼動數據開展學習分析探討，為學習者提供個性化學習服務的應用模式；文獻[7]闡述了眼動跟蹤在智能教育中的應用研究。在腦電方面：文獻[8]采集學生學習過程中腦電信號，用于深度分析學習者狀態，為學生提供個性化學習服務或自適應學習界面。因此，面向生理感知的多模態數據更能客觀且真實地描述學習者的學習狀態，廣泛應用于智能教育學領域。

2.心理數據

相關研究利用傳感器技術對學習者的注意力、認知負荷和投入感等進行客觀地評估。注意力是評估學習者學習效果的重要因素，可以利用傳感技術收集學生的運動狀態、眼動行為等數據，采用機器學習方法對學習者的注意力進行建模，預測學習者的注意力變化，幫助個體及時調整學習狀態來提高學習的投入感。其中，投入感是評估個體注意力的核心指標。投入感表示學習者在學習過程中理解和掌握知識的心理投入程度，如文獻[9]利用傳感技術收集學習者在真實寫作過程中的表情、聲音、動作和心率，利用機器學習方法對所獲得的投入感自我報告進行建模，結果表明融合兩種自我報告模型具有較好的準確性和穩定性。此外，認知負荷是與學習效率存在緊密聯系的。如果學生完成任務需要消耗過多記憶容量，那么學習速度會變慢，同時學習效果也會下降，因此準確且有效地評估學習者的認知負荷顯得尤為重要。

3.行為數據

目前，智能化的學習環境所配備的傳感器能夠采集學生線上線下的全方位學習數據，有效地拓展了學習分析數據的廣度和深度。相關研究利用多模態數據采集器收集學習者的表情、手勢、姿態等行為數據。一方面是對文本、語音、視頻數據進行融合表征，實現對個體情緒狀態的有效感知和識別；另一方面是對面部表情、手勢和身體姿態數據進行融合表征，實現對學習者潛在狀態進行挖掘分析。如文獻[10]利用傳感器采集學習者在學習環境中的表情、手勢和姿態等多種行為，能夠有效地識別學習者學習情緒和狀態。因此，行為數據是主要研究學習者主觀意識外在的行為表達，能夠較好地描述學習者當前的情緒狀態和興趣偏好。

三、多模態數據的學習分析技術

學習分析技術重點挖掘學習數據的內在規律與隱含價值，這對學習數據的采集、處理、分析及可視化起到重要的支撐作用。

（一）多模態數據的采集技術

根據數據源的分類（生理數據、心理數據、行為數據）情況，多模態數據采集技術包括12種常見的數據采集技術。生理數據采集源于生物數據采集技術、物聯網感知技術、可穿戴技術；心理數據采集源于網絡爬蟲技術、情感識別技術、語音識別技術；行為數據源于校園一卡通技術、視頻監控技術、智能錄播技術、網評網閱技術、點陣數碼技術、拍照搜題技術。

（二）多模態數據的處理技術

數據處理是對數據進行清洗去噪、化繁為簡，糾正或去除“臟數據”，如缺失數據、重復數據、錯誤數據，獲得有效的數據集，為數據分析提供基礎保障。因此，多模態數據的處理技術是按照相關規則進行學習數據處理，識別且糾正多模態數據的“臟數據”，這是學習數據分析的一個重要環節。

（三）多模態數據的分析技術

數據分析是指利用恰當的分析方法對所收集的數據進行分析，從中提取有用的信息加以詳細研究，進而形成概括總結的過程。據此，多模態數據分析技術通過采集學習者的多模態學習數據，運用統計分析、聚類分析、分類分析、關聯規則分析等相關技術，準確地分析和描述學習者學習的意圖和需求，挖掘其學習規律、習慣和偏好等，進而有效地洞悉學習的全過程。

（四）多模態數據的可視化技術

數據可視化是關于數據視覺表現形式的科學技術研究，利用圖形、表格、動畫等手段，將數據內在的規律直觀地進行展現的一種方式。多模態數據的可視化技術是利用圖形可視化的表現形式，有效地體現多模態數據的潛在規律和分析結果。因此，多模態數據可視化技術廣泛應用在智能教育領域已成為重要趨勢。

四、多模態數據的學習分析應用

隨著多模態數據與學習分析不斷地深度融合，將其歸納為五個智能教育領域的應用[11]。

（一）多模態數據的人機交互分析

人機交互是指人與計算機之間使用某種對話語言，以一定的交互方式，為完成確定任務的人與計算機之間的信息交換過程。學習者擁有不同的教育背景、認知結構、學習習慣及行為偏好等，需要智能用戶界面實現人與機器之間的和諧交互。如何促進人機協作在教育教學領域的開展，是智能教育應用有待解決的關鍵問題。隨著智能教育領域的發展，智能用戶界面逐步進入真實教學場景中，為學生和老師提供了相關的智能教育服務。智能教育界面通過收集學習者學習過程中多模態數據，更好地分析和理解學習者學習的真實意圖和需求，為其提供精準的學習支持服務。

傳統的學習分析數據主要源于鼠標、鍵盤等，如鼠標點擊、鍵盤文本輸入，這些可以反映學習者學習過程的顯性反饋信息。然而傳統的數據源較為單一，難以客觀且完整地描述學習者的學習狀態。因此，融合學習者生理感知數據（如眼動、腦電、皮膚電等）的智能教育系統能更好地實現學習者和系統之間的自然交互，有利于學習者進入高效地學習狀態，為其提供精準化的學習支持服務。

（二）多模態數據的學習者情緒識別

情緒識別原本是指個體對于他人情緒的識別，現多指人工智能通過獲取個體的生理或非生理信號對個體的情緒狀態進行自動辨別，是情感計算的一個重要組成部分。當前多模態數據的學習者情緒識別是智能教育領域的重要研究話題，利用電腦、眼動、皮膚電等生理信息進行數據融合分析，判斷學習者的情緒狀態、意圖需求等，挖掘多模態數據的學習規律，表達個體學習的動機、目標、興趣和風格等，能夠為學習者提供滿足自身需求的自適應界面。

（三）多模態數據的學習投入分析

學習投入是監測學習者在學習過程中學業表現測評的重要指標，體現了學習者的認知深度、情感體驗和思維靈活度。當前多模態數據的學習投入分析是智能教育領域關注的熱點話題，重點利用多模態數據表征學習者學習投入狀態，對認知投入、行為投入和情感投入進行綜合評價，有效體現學習者真實參與學習的狀況，實現對教學效果的客觀評估。

（四）多模態數據的學業表現預測

學業表現預測主要是利用學習者學習數據預測個體的學習表現，并對學習者進行有效的學業預警和學習干預。當前多模態數據的學業表現預測是智能教育領域的又一熱點話題，相關學者利用學習者的外顯行為信息和生理感知信息進行融合分析。相比傳統且單一的學習數據，利用多模態數據采集技術捕捉學習者在學習過程中的學習表現，能夠更好地對個體學習效果進行預測。因此，多模態數據的學業表現預測方法具有更好的準確性和穩定性。

（五）多模態數據的學習情境感知

情境感知是通過傳感器及其相關的技術使計算機設備能夠感知到當前的情境，獲得個體的反饋信息并對其數據進行處理分析，這為個體提供了精準的支持服務模式，有效實現用戶與環境的和諧交互。多模態數據的學習情境感知是學術界關注的熱點，利用多種傳感器對不同學習情況下的學習者進行數據采集，建模分析學習者的學習體檢，用于還原個體學習的情境感知。

五、結束語

隨著人工智能技術、物聯網技術、傳感器技術等不斷地發展，這為多模態學習數據的采集提供了堅實的基礎。學習分析強調利用數據對學習者的學習進行狀態描述、診斷預警和預測干預，然而傳統設備采集學習者的學習數據較為單一，傳統數據源對學習分析存在諸多問題與挑戰。多模態數據可以有效拓展學習分析數據源的維度，同時完善數據源的準確性，這為學習者的學習評估提供了有力支撐。

本文揭示了多模態數據在學習分析的研究現狀及相關應用，以期為基于多模態數據的學習分析的深入研究提供應用參考。未來相關研究還有待進一步突破。首先，缺乏多模態數據融合研究的探索，有待深入挖掘多模態數據之間的關系和規律；其次，缺少從智能教育領域中多模態數據融合進行研究探索，有待于對多模態數據融合研究現狀進行闡述；再者，缺乏對多模態數據融合方法的梳理，需要進一步對機器學習、智能算法等進行深度研究；最后，基于多模態數據的學習分析應用僅限探索階段，有待對所提出應用場景加以實現和驗證。

作者單位：胡文婷? ? 江蘇開放大學 商學院

參? 考? 文? 獻

[1]李卿，任緣，黃田田，等.基于傳感數據的學習分析應用研究[J]. 電化教育研究， 2019，40（5）：64-71.

[2]張琪，武法提.學習分析中的生物數據表征——眼動與多模態技術應用前瞻[J].電化教育研究，2016， 37（9）：76-81.

[3]鐘薇，李若晨，馬曉玲，等. 學習分析技術發展趨向——多模態數據環境下的研究與探索[J]. 中國遠程教育， 2018（11）：41-49.

[4]吳永和，李若晨，王浩楠. 學習分析研究的現狀與未來發展—2017 年學習分析與知識國際會議評析[J]. 開放教育研究， 2017，23（5）： 42-56.

[5]盧錦運，龔春燕，禹東川. 生物大數據監測：未來教育質量測評新趨勢[J]. 中小學管理， 2018（5）： 14-16.

[6]胡文婷，張沫，朱咸軍. 融合眼動信息的個性化學習服務研究. 中國教育信息化， 2021（19）：23-27.

[7]張俊杰， 孫光， 鄭鯤. 視線跟蹤及其在智能教育中的應用研究綜述[J]. 計算機應用， 2020， 40（11）：3346-3356.

[8]姜雷，張海，張嵐，等. 腦機接口研究之演化及教育應用趨勢的知識圖譜分析——基于1985-2018年SCI及SSCI期刊論文研究[J]. 遠程教育雜志， 2018（4）：27-38.

[9]Monkaresi H， Bosch N， Calvo R A， et al. Automated detection of engagement using video-based estimation of facial expressions and heart rate[J]. IEEE transactions on affective computing， 2017， 8（1）：15-28.

[10]Ashwin， T. S.， Guddeti， R. M. R. . AutomaticdentsAffective States in Classroom Environment Using Hybrid Convolutional Neural Networks[J]. Education and Information Technologies，2020， 25（2）：1387-1415.

[11]王一巖， 鄭永和. 多模態數據融合：破解智能教育關鍵問題的核心驅動力[J]. 現代遠程教育研究， 2022， 34（2）：93-102.