學習投入測評新發展：從單維分析到多模態融合

李新 李艷燕 包昊罡 程露

[摘? ?要] 學習投入與學生的學習持續性、學業滿意度、學習績效以及學業完成情況高度相關，對其進行有效測評能夠準確預測和干預學生的學習結果和學習行為。為了提升學習投入測評的有效性和準確性，首先，對現有六種學習投入測評方法進行了比較分析，即自我報告、編碼分析、日志分析、觀察評價、智能測量以及生理測量;然后，提出了多模態數據表征的學習投入測評框架，包括數據收集、數據處理、數據融合以及數據應用四個關鍵步驟;最后，選取參與同伴互動活動的兩名不同成就學習者的多模態數據，依托該框架進行探索性案例分析，從多維時空尺度揭示學習投入的深層機制。研究發現，多模態數據表征的學習投入測評有望突破傳統測評方法中單一數據源難以實現的邏輯整合問題，揭示學習投入的動態演變規律，為課程設計、學習活動或教學工具的質量提升提供有價值的參考依據，提升教師幫助學生和改善教學的能力，推動數據驅動的研究范式發展以及教與學規律的研究。

[關鍵詞] 多模態; 學習投入; 測評方法; 概念框架; 多模態學習分析; 發展趨勢

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 李新（1993—），男，山東日照人。博士研究生，主要從事計算機支持的協作學習、學習投入測評、教師數據素養研究。E-mail：lixin_407@163.com。李艷燕為通訊作者，E-mail：liyy@bnu.edu.cn。

一、引? ?言

學習投入越來越受到研究者、實踐者和政策制定者的關注[1]。研究表明，學習投入與學生的學習持續性、學業滿意度、學習績效以及學業完成情況高度相關[2]，當學生學習更加投入時，其學業表現也相對較好。因此，對學生的學習投入進行有效測評，能夠有效預測和干預學生的學習結果和學習行為[3]。但是，研究者針對學習投入已有測評方法的有效性與準確性存在很多爭議[4]，一方面，因為學習投入多維、連續、動態的結構特征和難以直接測評的特征屬性[5]，另一方面，因為測評方法可能會受到主觀因素的影響[6]。因此，有研究者指出，傳統的學習投入測評方法阻礙著我們對學習投入的理解[7]，同時呼吁一種本質上與已有測評方法完全不同的方式來監測學生的學習投入?；诖?，本研究嘗試在分析學習投入多元復雜結構的基礎上，梳理已有學習投入的主要測評方法，并對其優勢和局限性進行比較分析，在此基礎上提出多模態數據表征的學習投入測評框架，隨后選取參與同伴互評活動的兩名高、低成就學習者的多模態數據，依據該框架進行探索性案例分析，從多維時空尺度揭示學習投入的深層機制，突破傳統單維度分析方式的局限，更加深入地揭示學生學習投入的本質特征與演變規律，幫助教師更好地診斷和了解學生的學習狀態。

二、學習投入的基本內涵

盡管對學習投入缺乏統一的概念界定，但是學界對于學習投入的研究日益流行。Astin提出，學習投入是學生在學業上身體和心理的雙重投入[8]。Martin將學習投入界定為包括行為投入和認知投入的二維框架[9]。Fredricks等則將學習投入定義為學生在學習過程中的參與程度和努力程度，包括行為投入、認知投入、情感投入[10]。

（一）行為投入

行為投入是已有研究關注最多的維度，主要原因在于行為投入的測評相對直接。行為投入主要包括三個層面的定義：首先是學校層面，包括積極參加學校的各種課外活動，如體育運動、社團活動等[11];其次是課堂層面，指學生在課堂上的積極行為，如遵守課堂秩序與規則，同時沒有破壞性行為，如逃課、隨意講話等[12];最后是學習過程層面，指學生在學習和學術任務中的參與和行為，如堅持、專注、提問、完成作業等[13]。

（二）認知投入

認知投入相對來說更加難以定義和測評，主要原因在于研究者對于學生認知投入的內在機制缺乏共識。目前，關于認知投入的研究主要來自學校投入和學習指導兩個方面，一種觀點將認知投入界定為心理投入[10]，比如，學生以高于任務要求的標準來完成學習任務，或者是期望接受更大的學習任務挑戰;另一種觀點將認知投入界定為自我調節以及學習策略，有策略的學生在完成任務時會使用元認知策略來計劃、監控和評價自身的認知過程[14]。

（三）情感投入

情感投入是指學生對學術內容和學習環境的情感反應。前者指學生對學術活動的興趣、享受、快樂、無聊或焦慮等情感反應[15]，后者則包括學生對同伴、教師以及學校環境的歸屬感和認同感。從理論上講，積極情緒和消極情緒都可以激活學生的注意力或投入狀態，但是已有研究表明，積極情緒在促進學生投入方面比消極情感更有優勢[16]。

三、學習投入測評的發展現狀

如何對學習投入進行有效測評，一直以來都是研究者關注的研究領域。梳理學習投入測評的研究脈絡可以發現，目前，學習投入測評的方法主要包括自我報告、編碼分析、日志分析、觀察評價、智能測量以及生理測量，如圖1所示。

（一）自我報告

自我報告是學習投入測評的重要方式，是學生主動報告自己注意力、認知狀態、情感反應的一種問卷調查方法，主要通過向學生發放量表或問卷的方式來獲取學生的情感體驗、認知狀態等信息，進而推斷其投入狀態。自我報告的優勢在于適用場景較廣，易于開展，但是其局限性在于獲取的數據都是結果型數據，很難獲得學生的即時數據和過程性數據，并且容易受到學生的主觀因素影響，導致最后的數據無法代表學生的真實投入狀態。

（二）編碼分析

編碼分析是學生學習投入測評的第二個常用方法，這類方法主要是指采用既定的框架或編碼表對視頻錄像、生生對話等進行定性分析，既可以分析學生個體的學習投入，也可以分析小組整體的學習投入。比如，Sinha等從行為、社交、認知以及“概念—結果”四個維度開發了協作學習情境中小組學習投入編碼表，針對每個維度設計了低、中、高的打分依據[17]。編碼分析的優勢在于可以在不中斷學生學習的情況下獲取學生的過程性數據，但是其挑戰在于難以規?；瘧?，這在一定程度上限制了研究對象的數量。

（三）日志分析

日志分析也是學習投入測評常用方法之一，這類方法主要是針對學習平臺采集到的學生學習日志進行分析，包括學生的登錄次數、在線時長、答題正確率等指標，以客觀評價學生的學習投入。比如，Soffer等通過分析學習管理系統日志文件來評價學生的學習投入，包括在線作業、同伴交互、學習活動等指標[18]。日志分析的優勢在于可以自動獲取學生的學習行為數據，通過平臺以客觀可視化的形式表征學生的學習狀態，但是其不足在于對學習投入的評價過于片面化，主要表征學生的行為特征，缺少對認知投入和情感投入的深層次挖掘。

（四）觀察評價

觀察評價是指教師等外部觀察者通過填寫評測問卷的方式來評價學生的學習投入。這些問卷可能會詢問教師對學生投入程度的主觀看法，也可能包含客觀測量的量表，通過這些量表來表征學生是否參與或投入。比如，在Lietaert等的研究中，教師利用量表對學生課堂中的行為投入進行打分，1～9分表示完全不投入到高度投入[19]。觀察評價的優勢在于可以實時對學生的學習投入進行測評，效率較高，但是其局限性在于對觀察員的專業素養要求較高，很難找到大量具有專業素養的觀察員。

（五）智能測量

智能測量主要是指利用人工智能、計算機視覺等技術對學生的學習投入進行實時分析，是未來學習投入測評發展的重要方向。學習投入的智能測量主要包括兩種類型：一是利用智能導師系統、Model學習平臺等實現對學生學習投入的自動、實時分析;二是利用計算機視覺技術，在不干擾學生的情況下對其面部表情、身體姿勢以及手部動作等進行實時分析[20]，進而判斷學習者的學習投入。智能測量的優勢在于可以不中斷學生的學習過程，但是其局限性在于技術的準確性和有效性仍需提升，難以在短時間內大規模應用。

（六）生理測量

隨著可穿戴設備的不斷發展，通過生理傳感器來監測學生學習過程中的身體反應逐漸成為學習投入測評的一種重要方式。生理測量采用的設備一般包括手環、腦電儀、眼動儀等，收集的數據類型包括心率（HR）、心率變異性（HRV）、腦電圖（EEG）、心電圖（ECG）、電流皮膚反應（GSR）、皮膚電活動（EDA）等。生理測量的優勢在于能夠挖掘學生的認知、情感等方面的特征，在一定程度上加深我們對學習投入的理解，但是該方法的難點在于技術相對復雜、設備成本較高，以及生理測量指標的可解釋性和科學性有待挖掘和驗證。

（七）比較分析

學習投入多元復雜的結構特征導致研究者對學習投入測評方式的有效性與準確性存在很多爭議。本研究從適用場景、可靠性、難易程度、測量成本、入侵程度以及優勢和局限等維度對六種學習投入測評方法進行了比較分析（見表1）。整體來看，任何一種測評方法都存在優勢和不足，研究者只能基于不同的研究場景和研究對象選擇合適的學習投入測評方法，最大限度地規避單一測評方法的局限。

四、多模態數據表征的學習投入測評

到目前為止，學習投入測評方法上的進步也僅限于對傳統測評方法的組合或迭代，對于深入揭示學生認知、情感等方面的特征存在不足。隨著人工智能、大數據等信息技術的發展，多模態學習分析在捕捉和測量學生學習投入和學習行為時具有重要潛能，能夠幫助我們更好地理解復雜的學習現象[21]，提升學習投入測評結果的一致性和準確性。

（一）多模態數據的概念

多模態數據分為主觀數據和客觀數據，主觀數據說明學習者對于特定學習活動的看法或對學習過程中心理狀態的描述[22]，如自我報告問卷、學習日志、反映學習者心理活動的音視頻編碼等;客觀數據能夠捕捉學習者在學習過程中的認知或情感狀態[23]，如學生的心率、皮膚電、眼動、腦電波等生理數據。

（二）多模態數據的價值潛能

多模態數據和高級計算分析學的融合使我們能夠更好地認識和理解復雜的學習現象[24]。例如，學習日志數據可以解釋學生的在線學習行為，視頻數據可以解釋學生的身體姿勢和交流互動情況，眼動追蹤數據可以發現學生的瞳孔反應，腦電波數據可以提取與認知負荷等深層心理過程相關的元數據。多模態數據的價值一方面體現在以生理數據為代表的多源數據能夠更加全面、深入地揭示學生認知和情感方面的特征與規律，彌補傳統單一數據源對學生認知和情感維度關注不足的缺陷;另一方面體現在數據間的三角互證，即通過收集不同來源的數據來解釋同一教育現象，獲得更多有價值的結論。

（三）多模態數據表征的學習投入測評框架

學生與技術之間的互動為利用不同方式收集豐富的多模態數據提供了機會。多模態數據表征的學習投入測評將生理測量方式與傳統主觀測量方式相結合，獲取學習者豐富的行為、認知以及情感等方面的信息，再通過語義融合和數據對齊等方式刻畫全面、立體的學習圖景，從而幫助我們更好地理解學習投入的作用機制。牟智佳構建了多通道的多模態學習分析流程，包括數據收集、數據存儲、數據標注、數據處理以及數據開采五個流程[25];汪維富等設計了多模態學習分析的DVC過程模型，包括數據發現、數據融合、數據利用的“三大步七小步”處理流程[26]。可以發現，多模態數據分析的一般流程可以歸納為數據收集、數據處理、數據融合以及數據應用。因此，本研究構建了包括如上流程的多模態數據表征的學習投入測評框架，如圖2所示。

1. 數據收集

學習投入是學生行為投入、認知投入以及情感投入的綜合表征，需要大量、多維的數據指標才能對其進行準確、全面的刻畫。量表、視頻、音頻、學習平臺以及生理傳感器等多模態數據獲取方式能夠對學生的學習行為、心理測量以及生理體征等進行表征。其中，量表主要獲取學生的自我調節、學習動機等數據;視頻主要獲取學生的身體姿態、面部表情等數據;音頻主要獲取學生的對話信息;學習平臺主要獲取登錄時長、登錄次數、答題正確率等數據;生理傳感器主要用來收集學生的生理數據，包括皮膚電、心率、腦電波等數據。

2. 數據處理

數據處理主要是將收集到的多模態數據進行清洗、降噪、降維以及標注。數據清洗和降噪的主要目的是檢查多模態數據的一致性，以及處理無效值和缺失值等;數據降維的目的是提高多模態數據建模時的魯棒性和泛化性，包括線性降維、非線性降維、流形降維等方法;數據標注則是指通過人工或自動化的方式對清洗后的多模態數據進行整理和標注，為數據融合做好準備，常見的數據標注方法包括分類標注、標框標注、區域標注、描點標注等。

3. 數據融合

數據融合是將處理后的多模態數據進行整合分析，是多模態學習分析的難點。數據融合可以分別從空間維度和時間維度進行，即語義融合和數據對齊兩種方式，通過建立融合模型實現多模態數據間的三角互證。與傳統單一模態數據相比，數據融合的價值主要體現在通過多源數據的三角互證提高測量結果的準確性和信息的全面性，進而獲得更有價值的結論，這也是多模態數據表征的學習投入測評的關鍵。

4. 數據應用

多模態學習分析為挖掘新的學習理論、洞察新的教育規律提供了可能，數據應用是釋放多模態學習分析巨大潛能的根本。數據融合結果可以說明學生的學習投入狀態，比如，通過量表獲取的學習動機、通過視頻獲取的面部表情、通過音頻獲取的生生對話以及通過傳感器獲取的皮膚電、心率等數據，可以共同表征學生的情感投入。進而，情感投入、認知投入以及行為投入的狀態能夠共同表征學生的學習投入?？梢园l現，數據應用中的數據指標與教育指標之間是“多對一”的映射關系，在提升結果可信度的同時，有效規避了傳統測評方法的局限。

五、多模態數據表征的學習投入測評應用案例

本研究基于多模態數據表征的學習投入測評框架，圍繞同伴互評活動中學習者學習投入的動態測評開展了探索性研究，揭示同伴互評活動中學習者的學習投入演變規律，同時期望能夠從實踐層面為多模態數據表征的學習投入測評提供借鑒。

（一）案例介紹

本研究依托某高校面向教育技術學本科生開設的人工智能課程，組織學生針對完成的期末作業開展同伴互評活動，活動流程如圖3所示?；谠摶顒樱狙芯渴占瘜W習者的多模態數據來表征其學習投入狀態，監測學習者在同伴互評活動中的學習投入變化趨勢。

（二）數據收集

本研究利用攝像機、錄音筆、計算機以及生理傳感器等設備來收集學習者的多模態數據。其中，有3臺攝像機獲取學生的視頻數據，提取學習者的面部表情特征、頭部姿勢特征以及手部動作特征;4支錄音筆獲取學生的音頻數據，包括同伴互評活動時討論數據以及活動結束后的訪談數據;1臺計算機獲取學生的在線評論數量、內容以及學生對同伴評論內容的情感反應;4條心率帶捕捉學習者的心率變化情況，見表2。

（三）數據處理與融合

雙向對話環節為學生提供了圍繞評論內容進行交流討論的機會，學生對該環節的認同感最強，因此，本研究以雙向對話環節中學習者的學習投入為例進行測評與分析。針對視頻數據，本研究利用NVivo軟件將10秒的視頻片段作為一個分析單元，對學習者的面部表情、頭部姿勢以及手部動作進行編碼分析;針對心率數據，本研究利用Excel軟件中的Visual Basic編輯器對心率的原始數據進行處理，最后生成心率變化曲線。

本研究組織學生在同伴互評活動前、后分別從切題性、知識性、正確性、創新性、總體性等維度對同伴的期末作品進行評分（1～5分），對比學生的前后測得分差異，將前后測得分均低于15分的學生視為低成就學習者，將前后測得分均高于15分的學生視為高成就學習者。隨后，本研究通過時間軸對齊匹配的方式對學生的心率、面部表情、頭部姿勢、手部動作等數據進行對齊和融合，共同表征學生的學習投入狀態。

（四）結果與討論

本研究以雙向對話環節為例，分別選取了1名高成就學習者和1名低成就學習者的多模態數據進行探索性案例分析，如圖4、圖5所示。案例分析發現，雙向對話環節的開始階段是閱讀同伴的評論內容，因此，兩名學習者的頭部動作主要是低頭閱讀評論內容，手部動作以操作計算機為主，情緒相對穩定，但是心率波動較為明顯，兩名學習者在學習投入上并無顯著性差異。但是在討論交流中，可以發現高成就學習者以開心為主的情感體驗明顯增多，頭部姿態也在抬頭、轉頭以及低頭間切換，手部動作則主要是與同伴交流時的輔助性動作，心率波動較小。但是，低成就學習者的情緒體驗出現了一些厭惡的表情，頭部姿勢主要在抬頭和轉頭間切換，很少低頭閱讀自己的作品和評論內容，而且幾乎沒有與學習投入有關的手部動作，其心率變化也呈現出先升高、后下降的變化趨勢。通過比較分析高、低成就學習者的學習投入狀態圖可以發現，高、低成就學習者在時間投入、面部表情、頭部姿勢、手部動作以及心率等方面均存在著較大的不同，這也能說明二者在學習投入上的差異，進而在一定程度上解釋了兩名學習者學習成績差異的原因。該研究結果與已有相關研究發現相似，Heflin等發現，學習投入的學生在主動發言、眼神交互、手部動作以及頭部姿勢和情感反應等方面明顯好于學習脫離的學生[27]。此外，雖然Darnell等研究發現心率與學生的學習投入高度相關，與本研究高成就小組學生的心率表現一致，但是，心率和學習投入之間的內在關系仍需要進一步挖掘和探討[6]。

本研究雖然對表征學生學習投入的數據指標進行了融合處理，按照時間維度將學習者的多模態數據進行融合分析，共同表征其學習投入狀態。但是各指標之間的語義融合以及數據指標與教育意蘊的映射關系仍需進一步探索。但是整體來看，多模態數據為表征和分析學習者學習投入的變化規律提供了可能，同時在一定程度上規避了傳統測評方式的局限，為教師改善學生的學習投入提供了過程性數據支持，將成為未來學習投入測評的重要方式。

六、結? ?語

多模態數據表征的學習投入測評有望突破傳統測評方法中單一數據源難以實現的邏輯整合問題，通過對其進行深入挖掘應用，有助于推動數據驅動的研究范式發展以及教與學規律的研究。通過對學生的學習投入進行有效測評，對于提升課程設計、學習活動或教學工具的質量以及教師幫助學生和改善教學活動提供有價值的證據。但是多模態數據表征的學習投入測評在數據收集、數據處理、數據融合、數據解釋以及倫理道德等方面仍面臨一些現實難題。未來，基于多模態數據的學習投入測評建議重點加強三個方面的研究：一是建立心率、皮膚電、腦電波、血壓等生理數據與認知投入和情感投入之間的教育映射關系，挖掘生理數據的教育意蘊;二是重點分析面部表情、身體姿勢、手勢以及坐姿等與學生情感投入之間的關系，加強身體數據與教育指標間的關聯;三是聚焦學習投入的動態波動屬性，利用多模態數據監測學習投入的變化規律，揭示學生行為、認知、情感的本質特征與影響因素，對于提升學生的學習績效、提高教師的教學能力具有重要意義。

[參考文獻]

[1] BOND M， BUNTINS K， BEDENLIER S， et al. Mapping research in student engagement and educational technology in higher education： a systematic evidence map[J]. International journal of educational technology in higher education， 2020， 17（1）：1-30.

[2] 李新，李艷燕.基于系統性文獻綜述的國外學習投入實證研究分析[J].現代遠程教育研究，2021，33（2）：73-83，95.

[3] PALOS R， MARICUTOIU L P， COSTEA I. Relations between academic performance， student engagement and student burnout： a cross-lagged analysis of a two-wave study[J]. Studies in educational evaluation， 2019， 60（1）：199-204.

[4] SINATRA， GALE M， BENJAMIN C， et al. The challenges of defining and measuring student engagement in science[J]. Educational psychologist， 2015， 50（1）：1-13.

[5] APPLETON J J， SANDRA L C， DONGJIN K， et al. Measuring cognitive and psychological engagement： validation of the student engagement instrument [J]. Journal of school psychology， 2006， 44（5）：427-445.

[6] DARNELL D K， KRIEG P A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLOS ONE， 2019， 14（12）：1-13.

[7] D'MELLO， SIDNEY， DIETERLE， et al. Advanced， Analytic， Automated （AAA） measurement of engagement during learning[J]. Educational psychologist， 2017， 52（2）： 104-123.

[8] ASTIN A W. Student involvement： a developmental theory for higher education[J]. Journal of college student development， 1984（25）：297-308.

[9] MARTIN A. Enhancing student motivation and engagement： the effects of a multidimensional intervention[J]. Contemporary educational psychology， 2008， 33（2）：239-269.

[10] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[11] FINN J D， PANNOZZO G M， VOELKL K E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders[J]. Elementary school journal， 1995， 95（5）：421-454.

[12] FINN J D， ROCK D A. Academic success among students at risk for school failure[J]. Journal of applied psychology， 1997， 82（2）：221-234.

[13] SKINNER E A， BELMONT M J. Motivation in the classroom： reciprocal effect of teacher behavior and student engagement across the school year[J]. Journal of educational psychology， 1993， 85（4）：571-581.

[14] ZIMMERMAN B J. Self-regulated learning and academic achievement： an overview[J]. Educational psychologist， 1990， 25（1）：3-17.

[15] KAHU E R， NELSON K. Student engagement in the educational interface： understanding the mechanisms of student success[J]. Higher education research & development， 2018， 37（1）：58-71.

[16] HEDDY B C， SINATRA G M. Transforming misconceptions： using transformative experience to promote positive affect and conceptual change in students learning about biological evolution[J]. Science education， 2013， 97（5）：725-744.

[17] SINHA S， ROGET K， ADAMS R， et al. Collaborative group engagement in a computer-supported inquiry learning environment[J]. International journal of computer-supported collaborative learning， 2015， 10（3）：273-307.

[18] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[19] LIETAERT S， ROORDA D， LAEVERS F， et al. The gender gap in student engagement： the role of teachers' autonomy support， structure， and involvement[J]. British journal of educational psychology， 2015， 85（4）：498-518.

[20] D'MELLO， GRAESSER A. Multimodal semi-automated affect detection from conversational cues， gross body language， and facial features[J]. User model and user-adapted interaction， 2010， 20（2）：147-187.

[21] 張琪，王紅梅.學習投入的多模態數據表征：支撐理論、研究框架與關鍵技術[J].電化教育研究，2019，40（12）：21-28.

[22] KHALIFEH G， NOROOZI O， FARROKHNIA M. Higher education students' perceived readiness for computer-supported collaborative learning[J]. Multimodal technologies and interaction， 2020， 4（2）：11.

[23] WINNE P H. Improving measurements of self-regulated learning[J]. Educational psychologist， 2010， 45（4）：267-276.

[24] BLIKSTEIN P， WORSLEY M. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[25] 牟智佳.多模態學習分析：學習分析研究新生長點[J].電化教育研究，2020，41（5）：27-32，51.

[26] 汪維富，毛美娟.多模態學習分析：理解與評價真實學習的新路向[J].電化教育研究， 2021，42（2）：25-32.

[27] HEFLIN H， SHEWMAKER J， NGUYEN J. Impact of mobile technology on student attitudes， engagement， and learning[J]. Computers & education， 2017， 107（4）：91-99.