智能學習環境中基于多模態數據的深度學習監測研究

楊彥軍 徐剛 童慧

[摘? ?要] 隨著信息技術與教育教學深度融合的加速，基于智能學習環境的線上線下混合式智慧教學將成為學校教學的新常態。智慧教學過程中產生的教育多模態數據為深度學習監測評價與反饋干預提供了新機遇。文章根據三元交互決定論與具身認知理論構建了多模態數據的分類框架，將多模態數據分為個體身體、交互行為、智能環境三類。從教師與學生、個體與群體、傳統信息技術與現代信息技術三個維度對教學模式進行分類，并歸納出十二種典型學習場景。根據多模態數據分類與學習場景分類總結歸納出典型學習場景下的監測模態，進而構建基于多模態數據的深度學習監測模型，主要包括智能學習環境下的學習活動、場景學習與識別、多模態數據采集、多模態數據處理與分析、深度學習狀態監測五個環節。

[關鍵詞] 多模態數據; 學習場景; 智慧課堂; 深度學習

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 楊彥軍（1981—），男，甘肅天水人。教授，博士，主要從事信息技術與教育研究。E-mail：ts.yyj@126.com。

一、引? ?言

隨著人工智能、大數據、云計算、物聯網等新技術在教育領域中的廣泛應用，我國教育信息化進入了2.0時代，開啟了智能時代教育變革的新征程。網絡學習空間、智能教室、數字校園、未來學校等智能學習環境逐漸建成，極大地豐富了學習者的學習資源與場景。隨之而來的問題是如何在線上線下融合的智能學習環境中對學習者進行有效的學習評價。2017年，國務院印發的《新一代人工智能發展規劃》提出，將人工智能應用于教學、管理和資源建設的全過程，建立智能、快速、全面的教育分析系統[1]。2020年，中共中央、國務院印發的《深化新時代教育評價改革總體方案》提出，要創新評價工具，利用人工智能、大數據等現代信息技術，以教與學全過程數據為基礎，提高評價結果的應用水平[2]。正如有研究者指出，基于人工智能和大數據技術的智慧學習環境將教育教學評價推向了基于全樣本、全過程、全景式的教育大數據采集與分析的“數據密集型評價”的第四范式[3]。智能學習環境中，教與學全過程的多模態學習分析實證應用逐漸成為當前研究的新熱點[4-5]。因此，本文聚焦于智能學習環境中基于多模態數據的深度學習監測問題展開深入研究。

二、智能學習環境中深度學習監測研究進展

智能學習環境是指能夠感知學習情境、識別學習者特征、提供合適的學習資源和便捷的交互工具、自動記錄學習過程、評價學習結果，從而促進學習者有效學習的學習場所或活動空間[6-7]。智能學習環境能夠更好地提供適應學習者個性特點的學習支持服務，實現隨時隨地、以任意方式和任意步調進行“4A”學習，促進學習者輕松地、投入地和有效地實現“3E”學習[8]。大量研究表明，基于智能學習環境的個性化學習服務能夠有效促進深度學習的發生，為深度學習提供反饋、資源、情感、情境、個性化支持[9-11]。通過對智能學習環境中學習者學習狀態的監測，教師給予合乎倫理、多元、融入教與學中的評價，以此促進學習者的深度學習[12]。

深度學習監測是指通過收集不同的外顯行為數據來監控和評估學習者的學習參與度的過程。早期智能學習環境中的深度學習監測是通過訪談、觀察和教師評價等方式對學習者進行不同階段的監控[13-14]。隨著大數據、人工智能等信息技術在學習分析中的應用，智能學習環境中的深度學習監測的手段也更加智能化與多元化。顏磊等人通過選取在線學習平臺中的師生提問、學生觀看視頻次數等行為數據分析發現，師生互動行為對學習者深度學習影響最大[15]。劉哲雨等人通過眼動數據和認知行為數據分析深度學習的發生機制，發現基于問題的學習投入能夠促進深度學習[16]。王智穎等人通過對深度學習感知問卷與在線討論內容的分析，發現基于角色輪換的在線異步討論對大學生的深度學習具有積極的促進作用[17]。王洪江等人通過收集教學視頻播放行為數據、視頻觀看時長和并發學習行為數據來分析學習者自主學習投入度情況[18]。僅憑借單模態數據無法準確解釋學習過程的內隱性、交互性和多維性特征，需要多模態數據刻畫學習者的相關學習行為[19]。

近年來，學習監測研究趨勢呈現以下特點：從監測內容來看，深度學習監測內容更加依賴通過機器自動化采集的多模態數據，不再局限于傳統的紙筆測驗;從監測過程來看，深度學習監測更加注重課前與課后、線上與線下混合的全時段學習過程;從監測形式看，深度學習監測更加注重伴隨式數據的收集;從監測結果看，深度學習監測結果會以可視化的形式進行反饋。

三、智能學習環境中的多模態數據及其采集技術方法

模態本身是一種客觀存在的、可表征的符號系統。例如：人的語言、表情、眼神、手勢、身體動作等經過轉碼后都可以稱為一種模態。在教育多模態數據的分類研究方面，施耐德（Schneider）等人基于學習領域的傳感器研究將多模態數據分為四種類型：活動數據、情境數據、環境數據和物理生理數據[20]。牟智佳根據多模態學習分析的空間結構對數據源進行分類，包括人機交互、學習資源、學習情境和學習符號[21]。鐘薇根據數據所攜帶信息的特點，將多模態學習分析數據分為四類：生理數據、心理數據、行為數據和基礎信息數據[22]。艾伯特·班杜拉認為，人在社會情境中的學習受環境、人及其行為的互動三個方面影響，并建立了三元交互決定論[23]，這為教育多模態數據分類框架的制定提供了基礎參考。近年來備受關注的具身認知理論認為，認知是具身的、情境的，認知發展依靠經驗積累，經驗來自身體，身體處于生物、心理和文化的環境中[24]。對于混合式學習來說，虛實融合環境下的學習在學習者參與互動方面體現為一種具身認知學習的過程，這正是具身認知理論強調的“心身統一”[25]。兩種理論都認為人的發展是受自身、他人和環境的影響。據此，筆者根據三元交互決定論與具身認知理論建立教育多模態數據分類框架，將多模態數據分為個體身體多模態數據、交互行為多模態數據、智能環境多模態數據。如圖1所示。3757B235-4F36-429D-B320-B77E07B38842

多模態數據信息采集需要綜合應用多種技術。數據采集的信息并不只是單一模態，還需要與其他模態組合分析來彌補研究的局限性。多模態數據已被證明在研究維度、信效度、價值性等方面優于單模態數據[26]。筆者基于相關研究文獻，列出相關監測指標與監測工具。

1. 個體身體多模態數據

個體身體多模態數據主要包括生理體征數據和個體動作數據。生理體征數據的主要監測指標有皮電變化、腦電變化、心率變化等;個體動作數據的主要監測指標為眼睛注視、音調、軀干姿勢、面部表情等。韓穎等人使用皮膚電傳感器測量學習者的情緒狀態[27];衛曉娜通過抓拍靜態圖像分析識別學習者注意力，在一定時間內檢測學習者眨眼次數，根據眨眼次數把學習狀態分為正常學習狀態、離開狀態、走神狀態[28];齊柱柱通過基于HMM/RBF混合模型的語音情感識別技術，實時監測學習者高興、憤怒、驚奇、悲傷、中性五種情緒[29];喬納等人測量發現，實時互動和視頻通話中眼神接觸會引起自主神經喚醒和面部反應，表明對其觀察者產生積極影響[30]。

2. 交互行為多模態數據

交互行為多模態數據監測指標主要有鍵盤輸入、鼠標位移等人機交互數據，言語信息、非言語交流等生生交互數據和師生交互數據。石月鳳等人通過分析論壇中互動討論的數量變化情況探究其與學習成效之間的關系[31];王覓等人采用視頻分析法及滯后序列分析法（LSA）對課堂中師生交互行為、教師提問與學生發言等進行分析，探索促進同步課堂師生交互行為的因素[32];程云等人基于教學行為序列對行為交互頻度、行為交互持續時間等因素進行統計與分析，探討課堂教學行為的交互深度[33];盧國慶等人通過人工智能引擎對課堂教學行為自動標注，分析課堂教學行為的類型、規律和差異[34]。

3. 智能環境多模態數據

智能環境多模態數據監測指標主要有位置、溫度、濕度等。閻堅通過不同的傳感器采集環境或者物體的準確信息，可以使智慧教室系統與校園卡、教務管理系統等其他系統的信息共享，實現課堂上教師的身份識別[35];楊紅云等人通過元分析發現多媒體學習材料中使用飽和、高亮暖色、圖片及擬人化設計，對于多媒體學習認知過程和學習效果有益[36]。環境多模態數據作為基礎數據有助于反映智能環境下學習場景的基本特征。

四、智能學習環境中基于多模態數據的深度學習監測模型

（一）智能學習環境中的典型學習場景

學習場景是學習者及其關聯存在物的關系總和，由學習者、學習時間、學習空間、學習活動四要素構成[37]。學習場景的創設取決于學校信息化環境，根據學習內容的特點和具體的學習主題，在特定的學習時間和空間中開展不同類型的學習活動[38]。因此，學習場景的類型可以根據教學模式的特點進行分類。教學模式是指在一定的教育思想、教學理論和學習理論指導下，在某種環境中展開的教學活動進程的穩定結構形式[39]。筆者根據祝智庭教授與何克抗教授對教學模式的分類[40-41]。將教學模式分為三個維度，分別是教師與學生維度、個體與群體維度、傳統信息技術與現代信息技術維度。基于此構建基于多模態數據監測的教學模式分類框架，如圖2所示。

教學模式根據三個維度劃分為傳統教學、計算機支持的講授式教學、個別化教學、計算機支持的個別化教學、面對面小組協作學習、計算機支持的小組協作學習、自主學習、網絡自主學習八種教學模式。（1）傳統教學指教師通過口授、板書、演示的方式，學生主要通過耳聽、眼看、手記完成知識與技能學習[42]。傳統教學在技術上更多地使用板書與PPT演示[43]。因此，典型學習場景主要是教師講授與多媒體演示。（2）計算機支持的講授式教學是在傳統教學的基礎上加入了空間的要素，教師不再局限于在教室為學生講授，可以通過直播形式進行實時教學。典型學習場景有在線講授。（3）個別化教學是在班級授課制下關注學生各方面的差異，尊重不同生命體的教學[44]。典型學習場景有課堂答疑。（4）計算機支持的個別化教學是一對一或一對多的教學。教師根據學生的個性特點組織教學，因材施教，這是實現個別化教學的最佳形式[45]。典型學習場景有在線答疑。（5）面對面小組合作學習是指學生為實現共同的學習目標，最大限度地提高個人和他人的學習成果而相互合作的所有相關行為的總和[46]。典型的學習場景有小組討論和小組匯報。（6）計算機支持的小組協作學習是指利用計算機技術（尤其是多媒體和網絡技術）來輔助和支持協作學習[47]。典型的學習場景有在線小組討論和在線小組展示。（7）自主學習指沒有教師的強制灌輸與指導，在以學生為中心的課堂中，學習者需要主動學習[48]。典型學習場景有作業與練習、實踐與實驗。（8）網絡自主學習指在自主學習的基礎上，學習者通過網絡資源進行知識與技能的學習。典型學習場景有網絡自主學習。根據教學模式的維度特點，每一種教學模式都包含若干個典型學習場景，共計12種典型學習場景。

（二）智能學習環境中典型學習場景的多模態數據特征

筆者結合相關學者關于不同教學場景下不同模態的研究，總結出典型學習場景中的特征模態，并列出每個學習場景下具體監測的模態指標，見表1。

教師講授與多媒體演示主要以教師的教為主，強調知識的傳遞，因此，對學習者注意力和認知狀態的監測尤為重要。嚴薇薇等人使用眼動追蹤技術監測學習者注意力轉移模式，發現注意控制能力較好的學習者學習表現優于平均水平[49];哈皮等人使用網絡攝像頭捕獲面部表情、眼部參數等數據自動識別學習者的認知狀態[50]。多媒體演示中，技術只是教學的輔助手段，其本質仍是教師講授，教師仍處于主導地位。因此，在監測學習者注意力與認知狀態的基礎上，要增加對多媒體資源的監測，包括多媒體資源的選擇、播放順序等。

小組討論的特點是學習者主要以對話為主，因此，主要監測學習者在小組中的參與程度。在小組討論過程中，通過交流來不斷重建自我認知。喬娜·馬爾姆伯格等人發現，協作學習模式下學習者皮膚電活動（EDA）與學習者元認知和成就有關[51];莎朗·奧維亞特等人通過監測手部運動數據來記錄學習者在協作學習中解決難度不同的數學問題時的協作情況[52];丁于等人通過監測學習者的眼神交流來識別三方對話者的身份[53]。小組演示是以成員的單方面匯報介紹為主，主要幫助匯報人進行知識的梳理建構。因此，主要監測學習者與成員互動、多媒體演示的后臺數據（演示時長、演示順序）等。課堂答疑的特點是教師與學習者共同探究，促進學習對知識的重新建構。教師會面對面為學習者解答提問，學習者與教師會進行言語互動，學習者不再只是被動接受知識，而是在自己對知識理解的基礎上重新進行建構。因此，主要檢測學習者的認知負荷、對話等數據。恩里克斯等人發現，生理信號（皮電、腦電）會在學習過程中告知特定的認知或情緒挑戰[54]。特里·霍爾通過眼神接觸頻率與凝視時間來描述合作學習中師生的視覺行為[55]。3757B235-4F36-429D-B320-B77E07B38842

作業與練習學習場景下學習者需要獨立完成任務，因此，主要檢測學習者的認知負荷、作業情況等數據。作業是學生主動的行為方式，諸如對話、論文、報告、制作等表達性的作業， 可以給學生提供機會反思性地分析自己的知識狀態[56]。實踐與實驗往往通過考察學習者的動手能力來測試或提高學習者對于知識的掌握程度。因此，主要監測學習者的動手能力、認知等方面數據。

網絡自主學習的特點是學習者通過網絡資源主動學習。因此，它主要監控學習者的網絡活動數據、認知負荷等數據。使用日志數據可以在不打擾學習者的情況下，在微觀層面跟蹤學習事件[57]。李士平等人發現，查閱作品、查看自身學習情況、參與交互等三類網絡自主行為數據與學習者元認知水平顯著相關[58]。莊科君等人認為，網絡環境下自主學習由學習者與媒體界面的操作行為、信息交換行為、學習目標行為三個不同層面的學習行為共同作用完成[59]。在網絡自主學習行為中，要素是學習行為的核心，只有要素之間產生交互，學習才會發生[59]。

在線講授的特點是時空的分離，教師只能通過網絡中的虛擬課堂與學習者進行交流互動。與傳統講授式教學相比，授課內容以電子資源形式在線展示。因此，不僅需要關注學習者的認知狀態與注意力，還需要監測學習者對于學習資源的使用情況。

在線小組討論中，成員間的協作主要是通過會話的形式實現，會話是協作活動的基本要素之一[60]。可以從小組成果、個人成績、言語對話、日志文件等內容進行評價[61]。在線小組展示是在與他人協作過程中提高團隊成員的協調能力，進而主動構建自己的認知[62]。因此，需要關注學習者的認知情況、電子成果展示情況、其他組員對于小組展示的看法與評價等方面。

在線答疑與網絡答疑相似，網絡答疑利用計算機技術和網絡技術對問題與答案進行存儲，師生可以隨時隨地進行復習與翻閱，在線答疑相較于網絡答疑更加注重時效性[63]。機器學習技術可用于檢測在線學習過程中電子文本的社會影響和情感[64]。米里亞姆·穆內澤羅等人通過闡明情緒反應、感覺、情緒、情感和觀點五個主觀術語之間的差異以實現它們在文本中的有效檢測和處理[65]。

（三）智能學習環境下基于多模態數據的深度學習監測模型

IBM公司提出大數據具有大量、高速、低價值密度、多樣、真實五大特點[66]。數據、信息、知識、智慧的金字塔層次體系將原始的、未經加工的數據作為底層資源，通過簡單分析數據關系可以得到信息，通過提煉信息之間的聯系，有目的地展開實踐，將其轉化為知識，再通過知識的積累與運用，可以啟迪智慧，預測未來。晉欣泉等人的智慧課堂數據流動機制模型將課堂中的師生行為數據進行采集、分析，從而反饋與評判學生“學”的成效， 以此動態調控“教”的行為， 增強智慧課堂教學的針對性， 實現師生高效智能教學[67]。筆者基于DIWK模型與晉欣泉等人的智慧課堂數據流動機制模型，設計了智能學習環境下基于多模態數據的深度學習監測模型，如圖3所示，模型共由五個模塊組成。

1. 智能學習環境下的學習活動

智能學習環境是以學習者為中心的，以互聯網軟件、計算機硬件、教師和同伴支持的學習環境，是學習活動發生的主要場所。由于教學模式的不同，會產生不同場景組成的活動序列。通過將適切性的智能技術融入學習環境中，滿足學習者的學習環境需求，為教學場景識別與多模態數據監測提供基礎。也能通過多模態數據評價反饋不斷改善學習過程，促進學習者深度學習。

2. 場景學習與識別

作為一個自動監測系統，首先需要為系統提供充足的教學場景數據進行機器學習，通過優化算法等方法提高教學場景識別的準確性。系統通過人臉識別、電子ID信息等識別師生身份和數量等信息，通過課堂聲音音量、面部表情、師生移動位置等分析師生活躍度，通過后臺監測軟件識別多媒體設備使用狀態。系統通過師生信息、活躍度、多媒體使用狀態等數據判斷具體教學場景。將判斷場景的特征信息錄入場景特征庫。當活動序列進入場景識別模塊時，系統會根據場景特征進行匹配，從而進行學習場景的切片和標記。

3. 多模態數據采集

在學習場景中，系統將生理體征數據和多模態環境數據作為基礎多模態數據進行實時監測。對于不同學習場景，系統會根據不同的場景特征對特征模態進行重點監測。例如：在教師講授的場景中，系統會記錄監測基礎多模態數據，會重點采集皮電、腦電、眼睛注視等具有教學場景特點的多模態數據。

4. 多模態數據處理與分析

系統將采集到的不同類型的多模態數據進行數據清洗、數據標注、數據同步等，再將處理后的多模態數據通過聚類、關聯等手段進行社會網絡分析、語義分析、表情分析、情緒分析、注意力投入分析等。

5. 深度學習狀態監測

將分析后的多模態數據可視化到教師管理界面。教師可以通過可視化方式監測學習者認知狀態、行為狀態、情感狀態，從而把握學習者的學習狀態，并通過對教學策略進行調整與改進，提高學習者的學習投入。系統還會根據當前學習者的多模態信息預測學習者的學習狀態，使教師能夠及時發現和幫助有困難的學習者。

五、結? ?語

多模態數據與學習場景分類模式讓我們能以不同的視角觀察課堂與教學，帶來了新的學習監測方式。本文對當前智能學習環境下深度學習狀態該如何監測進行了研究與探索，構建了基于多模態數據的深度學習監測模型。隨著《“十四五”國家信息化規劃》的發布，深化教育領域大數據分析應用，推進信息技術、智能技術與教育教學的融合，將成為未來教育領域的研究重點。當然，技術的進步也會帶來相應的風險。如何平衡教育數據的隱私保護與開放使用之間的矛盾值得我們深入討論。隨著教育信息化2.0的實施，國家不斷推進教育新型基礎設施的建設以及線上線下教育融合，使得學習環境發生了巨大變化，混合式教學將成為常態。傳感技術、大數據分析、人工智能技術的發展，為深度學習的監測提供了可能。如何在復雜的教學場景中監測學習者的深度學習狀態，期望本文提出的模型能為其提供一些思路。3757B235-4F36-429D-B320-B77E07B38842

[參考文獻]

[1] 中共中央，國務院.國務院關于印發新一代人工智能發展規劃的通知[EB/OL].（2017-07-02）[2021-11-22].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] 中共中央，國務院.深化新時代教育評價改革總體方案[EB/OL].（2020-10-13）[2021-12-22].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.html.

[3] 朱德全，吳慮.大數據時代教育評價專業化何以可能：第四范式視角[J].現代遠程教育研究，2019，31（6）：14-21.

[4] 田陽，陳鵬，黃榮懷，等.面向混合學習的多模態交互分析機制及優化策略[J].電化教育研究，2019，40（9）：67-74.

[5] 劉清堂，李小娟，謝魁，常瑀倍，鄭欣欣.多模態學習分析實證研究的發展與展望[J].電化教育研究，2022，43（1）：71-78，85.

[6] 黃榮懷，楊俊鋒，胡永斌.從數字學習環境到智慧學習環境——學習環境的變革與趨勢[J].開放教育研究，2012，18（1）：75-84.

[7] 北京師范大學智慧學習研究院.2015智慧學習環境白皮書[R/OL].（2015-09-21）[2021-04-13].http：//sli.bnu.edu.cn/a/yanjiu chengguo/yanjiubaogao/2016/0425/168.html.

[8] 黃榮懷.智慧教育的三重境界：從環境、模式到體制[J].現代遠程教育研究，2014（6），3-11.

[9] 彭培環.智慧學習環境下的深度學習分析及模型構建[J].中國教育信息化，2021（1）：10-14.

[10] 楊俊鋒，龔朝花，余慧菊，Kinshuk.智慧學習環境的研究熱點和發展趨勢——對話ET&S主編Kinshuk（金沙克）教授[J].電化教育研究，2015，36（5）：85-88，95.

[11] 龔朝花，李倩，龔勇.智慧學習環境中的學習投入問題研究[J].電化教育研究，2018，39（6）：83-89.

[12] 鄭東輝.促進深度學習的課堂評價：內涵與路徑[J].課程·教材·教法，2019，39（2）：59-65.

[13] 黃鑫睿.智慧教室環境下小學生課堂學習投入度及影響因素研究[D].武漢：華中師范大學，2016.

[14] 周文葉，陳銘洲.指向深度學習的表現性評價——訪斯坦福大學評價、學習與公平中心主任Ray Pecheone教授[J].全球教育展望，2017，46（7）：3-9.

[15] 顏磊，祁冰.基于學習分析的大學生深度學習數據挖掘與分析[J].現代教育技術，2017，27（12）：18-24.

[16] 劉哲雨，王志軍.行為投入影響深度學習的實證探究——以虛擬現實（VR）環境下的視頻學習為例[J].遠程教育雜志，2017，35（1）：72-81.

[17] 王智穎，翟蕓，吳娟.在線異步討論中角色輪換腳本對大學生深度學習的影響[J].現代遠程教育研究，2021，33（3）：100-112.

[18] 王洪江，穆肅，黃潔，溫慧群.自主學習投入度實時分析方法及應用研究[J].電化教育研究，2017，38（10）：44-50.

[19] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019， 48： 108-119.

[20] SCHNEIDER J， B？魻RNER D， VAN ROSMALEN P， et al. Augmenting the senses： a review on sensor-based learning support[J]. Sensors， 2015， 15（2）： 4097-4133.

[21] 牟智佳.多模態學習分析：學習分析研究新生長點[J].電化教育研究，2020，41（5）：27-32，51.

[22] 鐘薇，李若晨，馬曉玲，吳永和.學習分析技術發展趨向——多模態數據環境下的研究與探索[J].中國遠程教育，2018（11）：41-49，79-80.

[23] 班圖拉.社會學習理論[M].陳欣銀，李伯黍，譯.沈陽：遼寧人民出版社，1989.

[24] 艾興，李葦.基于具身認知的沉浸式教學：理論架構、本質特征與應用探索[J].遠程教育雜志，2021，39（5）：55-65.

[25] 楊彥軍，張佳慧.沉浸式虛實融合環境中具身學習活動設計框架[J].現代遠程教育研究，2021，33（4）：63-73.

[26] HUANG Y， DU C， XUE Z， et al. What makes multi-modal learning better than single（provably）[J]. Advances in neural information processing systems， 2021， 40（2）：34-40.

[27] 韓穎，董玉琦，畢景剛.學習分析中情緒的生理數據表征——皮膚電反應的應用前瞻[J].現代教育技術，2018，28（10）：12-19.3757B235-4F36-429D-B320-B77E07B38842

[28] 衛曉娜.e-Learning系統中學生注意力識別的研究和應用[D].太原：太原理工大學，2010.

[29] 齊柱柱.基于語音情感識別的情緒監測系統研究與實現[D].南京：南京郵電大學，2018.

[30] HIETANEN J O， PELTOLA M J， HIETANEN J K. Psychophysiological responses to eye contact in a live interaction and in video call[J]. Psychophysiology， 2020， 57（6）： e13587.

[31] 石月鳳，劉三女牙，劉智，韓繼輝，彭晛.基于社會網絡分析的在線學習行為分析實證研究[J].中國教育信息化，2019（1）：5-10.

[32] 王覓，文欣遠，李寧寧，陳煥東.大單元教學視角下基于LSA的同步課堂師生交互行為研究[J].電化教育研究，2020，41（8）：74-81.

[33] 程云，王艷麗，王鋒，黃克斌，張冉.課堂教學行為交互深度量化分析方法研究[J].現代教育技術，2017，27（9）：26-32.

[34] 盧國慶，謝魁，劉清堂，張臣文，于爽.基于人工智能引擎自動標注的課堂教學行為分析[J].開放教育研究，2021，27（6）：97-107.

[35] 閻堅，桂勁松.基于物聯網技術的智慧教室設計與實現[J].中國電化教育，2016（12）：83-86.

[36] 楊紅云，陳旭輝，顧小清.多媒體學習中視覺情緒設計對學習效果的影響——基于31項實驗與準實驗研究的元分析[J].電化教育研究，2020，41（1）：76-83.

[37] 劉銘，武法提.場景化學習服務模式構建研究[J].電化教育研究，2021，42（1）：87-92，114.

[38] 郭欣悅，吳峰，邵梁.職業教育虛實融合場景化學習活動設計研究[J].中國電化教育，2021（2）：131-136.

[39] 何克抗.建構主義的教學模式、教學方法與教學設計[J].北京師范大學學報（社會科學版），1997（5）：74-81.

[40] 祝智庭.關于教育信息化的技術哲學觀透視[J].華東師范大學學報（教育科學版），1999（2）：11-20.

[41] 何克抗，吳娟.信息技術與課程整合的教學模式研究之一——教學模式的內涵及分類[J].現代教育技術，2008（7）：5-8.

[42] 何克抗.建構主義──革新傳統教學的理論基礎（上）[J].電化教育研究，1997（3）：3-9.

[43] 閻光才.講授與板書為代表的傳統教學已經過時？——不同方法與技術在本科課堂教學中的有效性評價[J].教育發展研究，2019，39（23）：1-9.

[44] 張人利.班級授課制下的個別化教學[J].教育發展研究，2013，33（12）：47-51.

[45] 朱肖川.對遠程教育中集體教學和個別化教學的再認識[J].中國遠程教育，2007（6）：36-40，80.

[46] 趙建華.CSCL研究的現狀及發展趨勢[J].中國電化教育，2009（5）：7-14.

[47] 黃榮杯.CSCL 的理論與方法[J].電化教育研究，1999（6）：25-30.

[48] 王健，郝銀華，盧吉龍.教學視頻呈現方式對自主學習效果的實驗研究[J].電化教育研究，2014，35（3）：93-99，105.

[49] 嚴薇薇，曠小芳，肖云霞，鄭夢雪，劉俊，楊娟.基于深度學習技術的注意力轉移模式的挖掘——以二語學習者的眼動數據為例[J].電化教育研究，2019，40（8）：30-36.

[50] HAPPY S L， DASGUPTA A， PATNAIK P， et al. Automated alertness and emotion detection for empathic feedback during e-learning[C]//IEEE 5th International Conference on Technology for Education （T4E）. New York： IEEE， 2013： 47-50.

[51] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）： 6856.

[52] OVIATT S， COHEN A， WEIBEL N， et al. Multimodal learning analytics： description of math data corpus for ICMI grand challenge workshop[C]//15th ACM International Conference on Multimodal Interaction （ICMI）. New York： ACM， 2013： 563-568.

[53] DING Y， ZHANG Y T， XIAO M H， et al. A multifaceted study on eye contact based speaker identification in three-party conversations[C]//ACM SIGCHI Conference on Human Factors in Computing Systems （CHI）. New York： ACM， 2017： 3011-3021.3757B235-4F36-429D-B320-B77E07B38842

[54] HENRIQUES R， PAIVA A， ANTUNES C. On the need of new methods to mine electrodermal activity in emotion-centered studies[C]//International Workshop on Agents and Data Mining Interaction. Berlin： Springer， 2012： 203-215.

[55] HORE T. Visual behavior in teacher-pupil dyads[J]. American educational research journal， 1976， 13（4）： 267-275.

[56] 臣之，孫薇.發展主義作業觀[J].課程·教材·教法，2013，33（7）：17-24.

[57] MALMBERG J， J？魧RVENOJA H， J？魧RVEL？魧 S. Patterns in elementary school students′ strategic actions in varying learning situations[J]. Instructional science， 2013， 41（5）： 933-954.

[58] 李士平，趙蔚，劉紅霞，劉東亮，劉鳳娟.數據表征元認知：基于學習分析的網絡自主學習行為研究[J].電化教育研究，2017，38（3）：41-47.

[59] 莊科君，賀寶勛.網絡自主學習行為系統框架和自主學習行為層次塔[J].中國電化教育，2009（3）：41-45.

[60] 楊剛，徐曉東.計算機支持的協作學習研究現狀與發展趨勢——關于CSCL的定量與定性分析[J].遠程教育雜志，2010，28（3）：93-101.

[61] 張潤芝.CSCL評價技術的新趨勢[J].中國電化教育，2009（5）：32-37.

[62] 楊剛，徐曉東，王英彥.計算機支持的協作學習模型研究及其啟示[J].電化教育研究，2010（2）：76-83.

[63] 馬傳志，刁樹民，張曉勇，等.利用網絡答疑促進計算機基礎教學[J].科技創新導報，2013（12）：153-154.

[64] KOLOG E A， MONTERO C S， TOIVONEN T. Using machine learning for sentiment and social influence analysis in text[C]//International Conference on Information Technology & Systems. Cham： Springer， 2018： 453-463.

[65] MUNEZERO M， MONTERO C S， SUTINEN E， et al. Are they different？ Affect， feeling， emotion， sentiment， and opinion detection in text[J]. IEEE transactions on affective computing， 2014， 5（2）： 101-111.

[66] IBM. The 5V's of big data—watson health perspectives[EB/OL].（2016-09-17）[2022-04-10]. https：//www.ibm.com/blogs/watson-health/the-5-vs-of-big-data/.

[67] 晉欣泉，邢蓓蓓，楊現民，狄璇.智慧課堂的數據流動機制與生態系統構建[J].中國遠程教育，2019（4）：74-81，91，93.3757B235-4F36-429D-B320-B77E07B38842