多模態學習分析實證研究的發展與展望

劉清堂 李小娟 謝魁 常瑀倍 鄭欣欣

[摘? ?要] 多模態學習分析（MMLA）是智能化探究有效學習發生機理的關鍵技術。研究對國外37篇實證文獻的任務情境設計和MMLA的四個過程進行系統綜述，梳理出多模態數據集的生成場域多以發展認知為主，少關注情感價值的培育;學習標簽注釋以計算科學指導為主，缺乏不同時間尺度行為關聯的理論指導;預測結果多關注學習行為表現，輕心智發展的過程解釋;多模態數據分析反饋聚焦個性化學習支持，忽視決策支持。未來實證研究發展應聚焦有效學習與情感體驗，融合計算科學和認知帶理論，協同人機優勢提供反饋支持，開展MMLA系統開發者和利益相關者的深度對話，不斷迭代設計與優化分析系統和應用模式，有效促進“人工智能+教育”的發展。

[關鍵詞] 多模態學習分析; 學習行為; 學習標簽; 正式學習情境; 實證研究

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 劉清堂（1969—），男，湖北仙桃人。教授，博士，主要從事數據挖掘、學習分析與知識服務方面的研究。E-mail：liuqtang@mail.ccnu.edu.cn。李小娟為通訊作者， E-mail：lixiaojuan2019@htu.edu.cn。

一、引? ?言

2020年10月國務院印發的《深化新時代教育評價改革總體方案》文件指出，基于教與學全過程數據，利用人工智能、大數據等現代技術創新評價工具和完善評價結果運用，綜合發揮導向、鑒定、診斷、調控和改進作用，以此加強教師教育評價能力的建設[1]。學習分析作為“以學習為中心”的過程性評價和有效學習規律揭示的關鍵技術[2]，其實證應用是實現教師以學定教、以評定教、因材施教的有效途徑。同時，學習是一個與環境復雜交互的認知過程[3]，學習過程的內隱性、交互性和多維性特征，決定了僅僅借助傳統單一模態數據分析不能準確揭示學習發生的認知機理及個體內在心理變化過程[4]。隨著智能數據采集工具在教育教學中的廣泛應用，使多模態學習行為數據采集更加高效，加之社會網絡分析、機器學習等學習分析方法可深度挖掘孤立存在于特定學習情景中的具有相對固定和可知語義價值的數據[5]，有助于理解和解釋復雜的學習現象[6]、解釋學習交互行為規律。近年來，隨著人工智能、大數據、物聯網、傳感器等技術和“計算教育學”交叉學科的發展，數據密集型科學研究新范式開始崛起，教與學全過程的多模態學習分析實證應用逐漸成為當前研究的熱點[7]。因此，有必要對目前多模態學習分析實證研究的進展情況進行系統的梳理，進而為多模態學習分析提供階段性研究材料。

二、研究背景與問題

（一）多模態學習分析

多模態學習分析（Multimodal Learning Analytics，簡稱MMLA）是指利用多種分析技術對學習情境中產生的多模態學習行為數據進行同一化整合處理和建模分析，來預測學習行為風險，為教師和學生提供教學支持和導學服務，以實現優化學習過程和解釋學習機理的目的[8]。MMLA概念自2012年被Stefan Scherer等首次提出后，針對教育領域的復雜特性，利用學習分析技術對描述學習者的對話、策略和行為等多模態數據進行分析，可以更好地解釋和預測學生的學習軌跡、學習結果、學習表現、學習參與度等。具體分析過程如Daniele Di Mitri等提出的多模態學習分析過程模型，該模型是由“P”引導學習行為分析過程，生成的“R”結果來解釋學習分析的結果，具體包括四個流程，即傳感器采集表征多模態數據（P1-R1）、人工/自動標注解釋學習標簽（P2-R2）、機器學習/統計分析建模預測學習狀態（P3-R3）、結合具體任務反饋解釋促成行為改變（P4-R4）[9]。因此，MMLA的核心本質是通過建立學習情境中學習者多源異構行為與內在學習潛能（學習標簽）間的橋梁關系，用智能技術支持學習者主動調整行為以增強學習體驗的方法。

（二）學習行為和學習標簽

學習是由身體在生理上、感知上與環境耦合或交互的自組織涌現而生成的復雜交互過程，是個體基于經驗而引起行為或行為潛能相對一致的變化過程[10]。在教育領域，多模態話語分析可通過分析教學活動/事件中教師和學生的言語模態（聲音、文字）和非言語模態（面部表情、目光注視、身體姿態、手勢、社會距離、環境）之間的互補、強化關系，來解釋和推測學習者學習目標達成狀態和教師教學目標實現程度[11]。在機器學習領域，為更好地建立和解釋外顯行為和潛在行為屬性間的對應關系，將學習行為定義為輸入空間中的可被觀察或測量的學習者個體的運動行為、生理行為及與環境交互行為，潛在行為屬性定義為假設空間中用來解釋行為數據意義的學習標簽，是傳感器不可直接觀察到的，但可用數據表征的、由人類專家注釋完成的、可解釋學習者意義形成過程的與學習相關的屬性結構，如情緒、動機或認知[12]。本研究將學習行為界定為實現學習目標過程中產生的言語和非言語行為，由可觀測到的言語模態和非言語模態數據表征。將學習標簽界定為由人類專家依據教與學理論的推理，分配到特定時間間隔的多模態數據的認知、情感、社交等屬性狀態值。

（三）正式學習情境中的多模態學習分析實證研究

正式學習情境是指有組織的、預先設定時間和地點的、有明確學習目標的學習形式，例如校園中的課堂教學、在線協作學習等，是由一個或一系列學習事件或學習活動組成的[13]。在正式學習情境中產生的學習行為數據具有多源異構性、多層關聯性、多維互補性等特征[14]。一方面，收集和分析用以解釋學習機理的多模態數據是極具挑戰的，會受到任務情境設計影響[15]。任務情境設計通常基于一定的教與學理論，確定具體學習任務目標及匹配的教學法[16]。實現學習任務目標的教學法不同，學習者產生的一系列活動行為和評價目標實現的關鍵行為特征也不同。另一方面，侵入式數據采集設備和基于多傳感器集成的MMLA系統的應用不僅會影響學生的學習體驗和知識掌握，還會影響學生動機、創造力和社會情感等[17]。

因此，如何準確無干擾地獲取解釋學習機理的關鍵行為數據，以探究MMLA支持和優化教與學過程的理論與實踐成為本研究的核心問題。在嚴格依照文獻系統綜述方法的基礎上，以MMLA應用實證研究為對象，探討以下主要問題：

（1）MMLA實證研究的正式學習情境有哪些？在不同學習情境中開展實證研究的理論基礎、任務目標和適配的教學法有哪些差異？

（2）MMLA從傳感器捕獲到多模態數據、注釋到學習標簽、分析方法到預測和反饋解釋到行為改變四個過程在不同學習情境中有何差異？

三、研究設計

（一）多模態學習分析實證研究框架

多模態學習分析是一個過程模型，為多模態學習分析相關實證研究提供指導框架。實證研究是指利用數據分析技術，來分析和確定復雜情境中要素間的相互關聯關系的研究方法[18]。本研究以Daniele Di Mitri等提出的多模態學習分析過程模型為基礎[9]，構建了多模態學習分析實證研究框架，具體如圖1所示，并將其作為系統綜述的框架。

（二）文獻檢索和篩選納入

研究依據Khan等提出的五步系統綜述法：（1）提出綜述問題;（2）明確綜述樣本;（3）評價樣本質量;（4）總結實證發現;（5）解釋研究結果。第一步，已在引言部分提及。第二步，明確綜述樣本，兩位研究者先將檢索主題設為關鍵術語：“multimodal learning analytics”、“multi-modal learning analytics”，分別在“Web of Science”“Science Direct”“Springer Link”數據庫中進行檢索。然后，為確保綜述信度，遵循Webster & Watson檢索指南，對綜述樣本進行了二次人工檢索。由于多模態學習分析是學習分析領域中的新興研究方向[19]，該概念的首次提出時間為2012年，因此，時間跨度設置為2012年至2021年3月。第三步，評價樣本質量。依據綜述問題、納入標準甄別和評估文獻。具體納入標準包括：（1）教育領域實證研究;（2）正式學習場景;（3）使用多模態學習分析方法;（4）采用2種及以上模態數據;（5）非綜述和概念性或理論性文獻。初次檢索得到135篇，剔除不符合納入標準和重復文獻，最終納入編碼的文獻為37篇。

（三）文獻編碼

由兩位研究者共編10篇（27%）檢驗編碼體系的有效性，討論編制其他文獻，編碼一致性kappa值為0.82。依據多模態學習分析框架（如圖1所示）梳理文獻，具體編碼結果見表1，學習情境分五種情境，其中在線自主學習情境占32%，在線協作學習情境占24%，面對面協作學習情境占22%，面對面自主學習情境占14%，混合學習情境占8%，說明多模態學習分析技術可支持復雜學習情境的過程分析。

四、研究結果

（一）不同學習情境的任務情境分析

在不同學習情境中，多模態學習分析的任務情境設計需要選擇與任務目標實現相匹配的理論基礎和教學法，學習分析前的情境任務設計決定了行為過程分析的數據集。

1. 自主學習情境

在線自主學習情境中，以具身認知、自我調節和情感價值理論構建知識習得的外部和內部條件，通過自我調節學習策略不斷促進知識的內化，為知識習得效果的驗證生成系列動作行為、認知注意、情感狀態的數據集。比如Abelardo Pardo等基于具身認知理論利用手部動作模擬控制捕食者—被捕食者生態系統，獲取目光注視和手勢動作序列，探究游戲化學習對學習績效的促進作用[28]。面對面自主學習情境中，多以實現知識習得和提高協作溝通能力的目標，采用項目式教學來促進個體認知發展和行為改變。比如Teppo Jakonen通過分析學生上半身的運動狀態和注視點的轉變來判斷學生與學習材料的交互狀態及所關注的信息[21]。

2. 協作學習情境

在線協作學習情境中，以社會交互和認知學習理論指導知識習得和能力發展目標的實現過程，利用項目式學習、問題驅動和游戲化學習方式激勵學習者有效參與協作學習活動。比如，Ufuk Balaman等對在線協作活動視頻中的互動行為（開始點、偏移點）進行標注，從知識協同建構的多層次、多維及層疊過程中探究學習者的認知進程[22]。面對面協作學習情境中，以社會交互、社會認知、認知神經科學、行為聯合理論、具身認知等多學科理論構建問題解決能力和元認知能力等高階目標的理論框架，開展項目式教學促進知識的遷移和應用。比如Mutlu Cukurova等利用計算科學的方法分析學生互動過程中頭部和手勢等非語言指標的關鍵參數（同步化、平等及個體貢獻率），解釋學生協作問題解決能力[23]。

3. 混合學習情境

混合學習情境中，因學習行為數據的時空關聯性，多用自我調節學習理論和知識建構理論支持的教學法，側重于對課程內容和實驗內容知識的掌握。比如Wilson Chango等對理論課、實踐課、Moodle在線平臺和期末測試四種不同的來源數據進行多模態數據融合分析來預測大學生的最終學業成績[24]。

（二）MMLA分析過程在不同情境中的差異

1. P1-R1：從數據采集到多模態數據表征

從學習情境與采集工具、多模態數據對應關系來看（如圖2、圖3所示），多用非侵入性工具采集言語和非言語模態組合數據，且手勢、身體動作和面部表情等非言語模態數據多通過視頻標注獲得。但因不同學習情境的支持技術的不同，采集工具和學習行為表征模態存在差異。與面對面自主學習相比，在線自主學習情境中，除攝像頭、傳感器和系統平臺工具采集手勢、身體動作、面部表情、眼動和系統記錄的點擊流日志等多模態數據外，眼動儀器也是獲取眼動數據的主要工具。與在線協作學習相比，面對面協作學習情境中，采集工具比較豐富，既用攝像機、系統平臺、傳感器、眼動儀、問卷等來收集協作互動過程中面部表情、眼動、文本及日志數據[25]，又有多向麥克風自動采集互動語音信息，且面對面協作中更偏重對語音和手勢、身體姿態等非言語行為數據的收集。混合學習情境中，攝像頭通常用來收集課堂數據，系統平臺收集線上數據，問卷調查收集情感態度類數據。

2. P2-R2：從注釋方式到關聯學習標簽

該過程是用學習任務完成過程中可解釋的多模態行為數據證據，機器或人類專家結合學習理論給學習者不可觀測的學習狀態分配適當的學習標簽，以建立外顯行為特征與內隱行為潛能間的關聯關系。從多模態數據與學習標簽間的映射關系圖4可知，視頻常用來注釋手勢、身體動作和面都表情來表征學習者的情感、認知及社交狀態[20];語音的言語和韻律特征解讀學生知識習得績效;眼動追蹤用來研究注意力和瞳孔反應，解釋任務表現難易程度;腦電圖、心率等生理數據多用來研究深度心理過程，如長時記憶、短時記憶和認知負荷;面部表情了解學習者的情感狀態，如無聊、開心、難過和參與度。在線學習情境中多用自動注釋情感狀態和認知狀態，比如，利用眼動儀和面部識別軟件獲取學習者自我調節學習過程中的目光數據和面部表情數據，定義興趣點范圍及判斷規則和離散情感狀態，自動分析學習者的注意力和情感反應[26]。但在注釋在線協作學習的社交狀態標簽時多用人工專家標注的方法[22]。面對面協作學習情境中，人工標注話語、手勢來解釋社交狀態和技能發展，半自動化標注身體動作、手勢解釋注意力。面對面自主學習情境重點關注對情感狀態和活動績效的注釋，主要采用自動加人工專家標注的方法。混合學習情境中重點關注對社交狀態和情感狀態的標注，注釋的方式以人工專家為主。

3. P3-R3：從分析方法到預測結果

該過程分析的目的是將由人工專家驅動的注釋過程（P2）自動化，通過預處理采樣數據、后期處理選擇相關屬性、相關性診斷確定屬性預測學生實現某一任務的學習表現、學習軌跡、學習參與度和學習結果，為學習者提供促進行為改變的適應性反饋。研究表明預測某一學習狀態時所采用的學習分析方法和數據融合方法差異不大。比如，Wilson Chango等認為常用的多模態數據融合方法包括特征級融合、決策級融合和混合融合，針對離散型數據的REPTree分類算法的預測準確率最佳[24]。但具體使用的學習分析方法因數據分析支持的情境不同略有差異（如圖5、圖6所示）。差異表現在，在線學習情境中更側重用關系挖掘、預測的方法，比如，用隱馬爾可夫和決策樹等來解釋學習者的學習狀態。面對面和混合學習情境中，多用人工萃取數據進行可視化分析以發現學習軌跡和解釋學習表現。但關系挖掘、預測、聚類方法近幾年也比較常用[7]，比如，有研究將15名小學生具身學習過程中的手勢和目光數據聚類表征為5類動作序列，揭示不同動作序列與學習理解水平和學習結果的相關關系[20]。

4. P4-R4：從反饋解釋到行為改變

任務目標類型和利益相關者決定反饋依據和行為支持[27]。以關注知識習得為主的自主學習情境中，反饋解釋多以行為表現和學習結果為依據，為學習者提供適應性和個性化的支持型反饋，比如，為理解教學內容存在困難的學生提供腳手架。在知識習得、問題解決和元認知發展為主的協作學習情境中，多以行為表現為反饋依據，為教師和學生提供支持，但面對面協作情境大多未報告反饋依據和行為支持;比如，Daniel Spikol等分析了學習者、環境和學習活動中的多模態數據來預測學習者當前的學習狀態，給予及時的學習支持[28]。由于混合學習中數據的多源異構性特征，基本沒有報告多模態數據分析對行為改變的支持。

五、研究結論

（一）多模態數據集的生成場域多以發展認知為主，少關注情感價值的培育

任務情境設計的理論基礎用以描述任務目標，教學法決定了學習者實現任務目標所參與的一系列活動行為，這一觀點與Daniele Di Mitri等選擇適切理論和教學法促進學習者有效達成學習任務目標，為有效學習機理的揭示生成多源數據集的觀點一致[9]。實證研究主要基于具身認知、社會認知及知識建構等理論，采用自我調節學習、項目式學習、CSCL等教學法，收集學習者知識習得和能力發展的過程性數據。但對學習者情感發展的外顯行為和內在潛能間的關聯關系性研究還不太多，且主要以心流和情感價值理論為框架收集數據。

（二）學習標簽注釋以計算科學指導為主，缺乏不同時間尺度行為關聯的理論指導

實證分析過程多是基于計算科學理論，通過系統揭示多模態數據表征、融合、建模、預測和反饋的規范操作。已有MMLA框架關注焦點在數據的處理和解釋上，缺少從理論層面指導如何融合分析不同時間尺度的多模態數據。這一結論與認知科學家和哲學家Shaun Gallagher[29]觀點一致，他認為心智計算科學理論難以充分解釋認知和經驗的本質，需要融合認知過程哲學的視角，關注認知主體參與不同時間尺度學習活動時的行為過程、情感過程和社交過程。

（三）預測結果多關注學習行為表現，輕對心智發展的反饋支持

人工萃取和關系挖掘是常用預測學習表現的方法，但心智發展是認知個體自組織演化的復雜性動力系統，且促進學習者心智發展的任務多是高度情境化的。盡管Paulo Blikstein等認為利用先進計算方法分析任務完成過程的多模態數據有助于更好解釋任務表現和心智發展[6]。但大多實證文獻中通常以時間為因子，依據因變量形成聚合式多模態數據，采用深度學習的方法來預測學習績效、學習結果和學習軌跡。另外，研究表明學習者認為系統反饋是有效且有意義的，在真實學習情境中更易感知反饋信息進而改變學習行為，這一結論與Omid Noroozi等[30]的觀點一致，但利用多模態數據提供反饋的實證研究還不多。

（四）多模態數據分析反饋聚焦個性化學習支持，忽視決策支持

實證研究聚焦為學習者提供個性化學習支持，且高清攝像頭、系統/智能平臺（基于移動設備的）和傳感器等非侵入性設備是不同學習情境中常用的數據采集工具。比如常由視頻標注而獲取的手勢、身體動作和面部表情等，以及系統平臺自動記錄的互動日志和傳感器收集到的語音韻律，這些學習者言語或非言語的行為數據與其專業知識記憶、概念理解、成果作品質量、認知負荷、動機以及學習中學生的心智和情感狀態有關。尤其在混合式學習情境中，個性化的學習支持更需要融合性、集成性的采集工具來捕獲具有時空特性的學習過程數據，現有研究表明基于智能移動手機的多模態學習分析系統被認為是最佳捕獲學習者真實的認知、情感和社交行為數據的工具[31]。但基于多模態數據分析結果為管理者提供決策支持的研究較少，這一點與人工智能改進教學、管理的應用導向不符。

六、研究展望

（一）聚焦有效學習與情感體驗的價值取向

教學的核心本質是促進學習者有效學習的發生，而認知發展、人際交互及伴隨的情感體驗是有效學習發生的必要條件[32]。多模態學習行為分析實證研究的核心價值取向應是圍繞學習機理，聚焦有效學習和情感體驗，以人機協同的方式構建多模態感知、互動分析和話語分析技術支持的結構關系[19]，對學習者在跨時空的學習情境中產生的體征數據和學習過程行為數據進行全樣本分析，來揭示和解釋認知、情感和社交等學習潛能變化的機理和規律。

（二）融合計算科學與認知哲學的理論指導

個體認知過程的心理表征不是純粹命題式的，可以以身體的知覺表征作為原初表征，在基底層為認知與行動提供因果說明，他提出用知覺的統一性理論來解決發生在物理世界的外顯行為表征與內在心理世界的行為潛能間關聯的問題[33]。另外，Allen Newell提出關于人類行為解釋的認知帶理論[34]，John R. Anderson在其基礎上從行為的分解、關聯、建模三個層面構建的跨越認知帶的融合策略[35]，這些觀點為解決多模態學習行為分析中，多源異構數據在時間粒度和確定程度上的差異特征融合和意義解釋的問題提供了理論指導。

（三）協同人類專家與機器提供反饋支持

在正式學習情境中，學習者更易感知反饋信息，并借助儀表盤呈現的可視化學習報告洞悉學習狀況，有針對性地調整學習進程，開展適應性學習[36]。但系統采用何種方式提供反饋？反饋發起者是由誰來執行（教師或系統智能代理）？提供多少行為反饋信息不會影響學生者的獨立思考？針對以上問題僅憑人類專家或機器都很難提供有效的反饋能力，機器學習使用面部視頻、系統日志和生理數據為學生提供可行性反饋，人類專家依靠人類智慧和經驗，借助數據分析為學生提供情感、決策反饋，只有將二者優勢結合，多模態數據分析才能為利益相關者提供可操作、有價值的支持。

（四）加強多模態學習分析系統開發者與利益相關者的深度對話

隨著人工智能技術教育應用的深入，人們越來越重視行為學習分析的反饋和支持環境[37]，以及人的主體性地位的體現，從人本主義的視角，明確哪些數據是系統可以自動采集的，哪些數據是可通過使用者選擇提供的。在實踐行動方面，一方面，基于現有學習管理系統、網絡學習空間平臺拓展多模態數據采集系統，側重對課堂教學視頻或屏幕錄制數據自動化分析技術的研發，比如，劉清堂等以S-T行為分析系統為理論基礎，融合深度學習技術，提出并驗證了課堂教學行為智能分析技術[38];另一方面，關注學習過程中的活動或事件，及對促進教學目標實現的關鍵活動特征的識別技術，為有效學習評價提供技術支持和過程性數據。在未來多模態學習分析的實證應用中，技術開發者要與一線教學實踐者或利益相關者加強有效溝通和深度對話，在深刻認識理解多模態數據對學習行為內在意向性解釋的重要意義和倫理規范使用的基礎上，開展人機協同的多模態學習行為分析系統研究，開展基于設計的教育實證研究，不斷迭代完善和優化系統功能和應用模式，這也是發展“人工智能+教育”實踐應用的有效路徑。

因綜述側重于對正式學習情境中多模態學習行為數據對學習改變過程的分析，文獻以教學實證應用為主，機器學習、人工智能、學習科學及計算科學等領域的相關研究成果并未納入系統分析。所以，在行為建模的方法和預測算法分析方面的深度不夠，接下來會將相關領域文獻作進一步梳理，為有效學習評價提供算法和技術方面的支持。

[參考文獻]

[1] 中共中央，國務院. 深化新時代教育評價改革總體方案[EB/OL].（2020-10-13）[2021-05-06]. http：//www.gov.cn/zhengce/2020-10/13/content_5551032.htm.

[2] 魏非，閆寒冰，祝智庭. 基于微認證的教師信息技術應用能力發展生態系統構建研究[J]. 電化教育研究， 2017， 38（12）： 92-98.

[3] WONG L. A learner‐centric view of mobile seamless learning[J]. British journal of educational technology， 2012， 43（1）： E19-E23.

[4] GIANNAKOS M， SHARMA K， PAPPAS I-O. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（3）：108-119.

[5] HORVITZ E ， MULLIGAN D . Policy forum. Data， privacy， and the greater good[J]. Science， 2015（7）：235-255.

[6] BLIKSTEIN P. Multimodal learning analytics and education data mining： using computational technologies to measure complex learning tasks[J]. Journal of learning analytics， 2016， 3（2）：220-238.

[7] 田陽，陳鵬，黃榮懷，等. 面向混合學習的多模態交互分析機制及優化策略[J]. 電化教育研究， 2019， 40（9）： 67-74.

[8] SCHERER S， WEIBEL N ， MORENCY L P ， et al. 1st international workshop on multimodal learning analytics extended abstract[C]//Proceedings of the 14th ACM international conference on multimodal interaction. New York： ACM，2012：353-356.

[9] DI MITRI， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[10] CLARK A. An embodied cognitive science[J]. Trends in cognitive sciences， 1999， 3（9）： 345-351.

[11] NORRIS S. Analyzing multimodal interaction： a methodological framework[M]. London， New York： Routledge， 2004： 163-164.

[12] DRAGANSKI B ， GASER C， BUSCH V， et al. Neuroplasticity： changes in grey matter induced by training[J]. Nature， 2004， 427（6972）： 311.

[13] 黃榮懷，陳庚，張進寶，等. 關于技術促進學習的五定律[J]. 開放教育研究， 2010（1）： 11-19.

[14] 穆肅，崔萌，黃曉地. 全景透視多模態學習分析的數據整合方法[J]. 現代遠程教育研究， 2021， 33（1）： 26-37.

[15] BAKER R， OCUMPAUGH J， et al. The oxford handbook of affective computing[M]// Interaction-Based Affect Detection in Educational Software，2015：110-113.

[16] WANG Q， QUEK C-L， HU X. Designing and improving a blended synchronous learning environment： an educational design research[J]. International review of research in open & distributed learning， 2017， 18（3）：99-118.

[17] OVIATT S. Ten opportunities and challenges for advancing student-centered multimodal learning analytics[C]// Proc. of the International Conference on Multimodal Interaction （ICMI'18）. Boulder， CO， USA， 2018：87-94.

[18] 王衛華.教育思辨研究與教育實證研究：從分野到共生[J].教育研究，2019，40（9）：139-148.

[19] 牟智佳.多模態學習分析：學習分析研究新生長點[J].電化教育研究，2020，41（5）：27-32，51.

[20] PARDO A， HAN F， ELLIS R-A. Combining university student self-regulated learning indicators and engagement with online learning events to predict academic performance[J]. IEEE transactions on learning technologies， 2017， 10（1）： 82-92.

[21] JAKONEN， TEPPO. Handling knowledge： using classroom materials to construct and interpret information requests[J]. Journal of pragmatics， 2015（89）：100-112.

[22] BALAMAN U， SERT O. The coordination of online L2 interaction and orientations to task interface for epistemic progression[J]. Journal of pragmatics， 2017，2 ：115-129.

[23] CUKUROVA M， LUCKIN R， MILL？譧N E， et al. The NISPI framework： analysing collaborative problem-solving from students' physical interactions[J]. Computers & education， 2018（116）：93-109.

[24] WILSON C， CEREZO R， ROMERO C. Multi-source and multimodal data fusion for predicting academic performance in blended learning university courses[J]. Computers & electrical engineering， 2021（89）：106-119.

[25] EMERSON A， CLOUDE E-B， AZEVEDO R， et al. Multimodal learning analytics for game‐based learning[J]. British journal of educational technology， 2020， 51（5）：1505-1526.

[26] AHN B， HARLEY J. Facial expressions when learning with a Queer History App： application of the control value theory of achievement emotions[J]. British journal of educational technology， 2020， 51（5）： 1563-1576.

[27] PARDO A ， SIEMENS G . Ethical and privacy principles for learning analytics[J]. British journal of educational technology， 2014， 45（3）：438-450.

[28] DANIEL S，EMANUELE R， GIACOMO D， et al. Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning[J]. Journal of computer assisted learning，2018，34（4）：1-12.

[29] GALLAGHER S， ALLEN M. Active inference， enactivism and the hermeneutics of social cognition[J]. Synthese， 2018， 195（6）：2627-2648.

[30] NOROOZI O， IMAN A， SANNA J， et al. Multimodal data to design visual learning analytics for understanding regulation of learning[J]. Computers in human behavior， 2019（100）： 298-304.

[31] NOBLE C， BILLETT S， ARMIT L， et al. "It's yours to take"： generating learner feedback literacy in the workplace[J]. Advances in health sciences education， 2020， 25（1）： 55-74.

[32] LYTLE S-R， KUHL P-K. Social interaction and language acquisition[M]. John Wiley & Sons， Inc. 2017.

[33] SCHELLENBERG S. The unity of perception： content， consciousness， evidence[M].Oxford， UK： Oxford University Press， 2018. 212-213.

[34] NEWELL A. Unified theories of cognition[J]. Journal of cognitive neuroscience， 1991， 3（3）： 301.

[35] ANDERSON J-R. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science， 2002， 26（1）： 85-112.

[36] 董艷，李心怡，鄭婭峰，等. 智能教育應用的人機雙向反饋：機理、模型與實施原則[J]. 開放教育研究， 2021， 27（2）： 26-33.

[37] SHARMA K， GIANNAKOS M. Multimodal data capabilities for learning： what can multimodal data tell us about learning？[J]. British journal of educational technology， 2020， 51（5）： 1450-1484.

[38] 劉清堂，何皓怡，吳林靜，等.基于人工智能的課堂教學行為分析方法及其應用[J].中國電化教育，2019（9）：13-21.