多模態數據賦能精準教研：情境、路徑與解釋

王超 顧小清 鄭隆威

[摘? ?要] 多模態教學數據驅動的精準教研具備精準化、個性化特征，符合新時代教育研究的發展要求，因缺乏有效的技術支持、規范的頂層設計和數據解釋框架而難以真正落地。文章依托智能課堂中豐富的智能技術和多模態行為數據作為破解精準教研難題的創新途徑，首先綜合證據資源、關系挖掘、數據報告等維度構建適應智能課堂教學環境的精準教研模式，同時從數據獲取手段、數據樣態、關鍵技術等方面搭建精準教研邏輯實現框架，為細致準確地定位教學問題與規律提供了頂層指導。然后，整合和解釋數據以透視行為背后蘊含的教學意義，形成數據解釋框架。文章最后指出，精準教研若要實現智慧干預與決策，除在數據階段確保“精”與“準”之外，還需在教學干預設計、教學改進策略上做到準確無誤。

[關鍵詞] 教育研究; 精準教研; 智能課堂; 多模態數據; 關系挖掘; 數據解釋

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 王超（1992—），女，山東濰坊人。博士研究生，主要從事學習分析、計算機支持的協作學習研究。E-mail：wchao199@126.com。

一、鎖定：新時代教學研究的發展趨向

“全面提高中小學教師質量，建設一支高素質專業化的教師隊伍”[1]是新時代教師隊伍建設改革的目標。教育研究為提高教師教學能力而生，是推動中小學教師專業發展的有效手段。然而教育研究模式固化導致服務形式千篇一律，教師既不能實現精準的學情分析，又難以對自身教學能力形成準確的認知，更無法對學生課堂學習實施精準診斷、測評和個性化干預。精準化和個性化是新時代對教育研究的要求[2]，是評價學生綜合素質和教師課堂教學能力的必要條件。多模態教學數據驅動的精準教研完全具備精準化、個性化特征[3]，是新時代教育研究的發展趨向。

教育研究或者教學研究簡稱教研，是教師或研究者在一定的理論支持下探究教學過程、解釋教學現象以及解決教學問題的活動[4]。目前以“互聯網+教研”為思路的教研模式受到了追捧，基于網絡的同課異構教研、線上線下混合教研、遠程協同教研等組織形式逐漸趨向成熟[5]。相比之下，數據驅動的精準教研因對相關利益者的認知能力、經費投入、技術支撐和評價機制等都有比較強烈的依賴程度，又缺乏規范的頂層設計、有效的技術支持和數據解釋框架而難以真正落地[6]。為此，本研究將借助智能課堂得天獨厚的技術與數據條件，從頂層設計的視域構建智能課堂支持的精準教研模式。

在普通課堂教學環境中，教學行為數據的獲取多數通過錄播系統和人工觀察來完成，因此驅動精準教研的數據絕大部分來自師生在某一行為上的投入時間和發生頻次，或者是某些外顯行為序列[7]，這些粗放式、粗粒度、單模態的行為采集與統計分析并不能準確量化教師的教學特征，無法精確地獲取課堂教學全貌[3]，教育研究仍存在難以察覺的死角。而綜合師生行為數據的精準教學服務從學校角度出發[8]，未能支持課堂教學研究。目前針對智能課堂的教學研究采用傳統的視頻分析法或單模態行為序列分析法，只能得到課堂互動強度、活躍度等淺層信息[9-10]，缺少對行為數據的深層精準探究。因此，本研究將結合師生的行為、心理和生理等特征，構建適應智能課堂教學環境的精準化教育研究模式與實現路徑，以深度聚焦智能課堂教學規律和教學問題。

二、求證：智能課堂教學環境對精準教研的支撐

教學行為是洞悉教學過程和學習本質的重要依據，更是實現精準教研的關鍵證據[3]。在構建針對智能課堂的精準教研模式之前，有必要厘清智能課堂教學行為的概念，明確多模態行為數據的內部關聯。智能課堂教學環境因具備豐富的智能技術，可實時連續追蹤教學過程中的多模態教學行為[11]，可為精準教研提供多種應用方向。

（一）多模態課堂教學行為是精準教研的基石

傳統課堂教學行為研究通常認為行為是個體受到思想控制而表征出來的外顯活動，并將課堂教學行為分為教師行為、學生行為和互動行為。在智能課堂環境下，教學行為不再只代表能夠被肉眼直接觀察到的外顯行為。多模態數據的采集與分析設備使生理和心理行為數據的獲取成為可能。行為的概念變得更加寬泛。本研究采用心理學對行為的界定[12]，認為行為是有機體在各種內外部刺激的影響下所產生的可以被觀測和測量到的活動或者反應。人類社會中個體的行為具備生理機制和心理機制，心理活動的狀態和過程可以解釋外顯行為的發生與發展規律[12]。

在智能課堂教學環境中，利用教學主體的外顯行為數據和生理信號數據診斷其心理狀態。學習者心理認知、外部教學事件與教學階段存在對應關系[13]。有些心理過程可直接通過外顯行為表征出來，比如教師的聲音表達、微笑、放松的身體姿勢、手勢、在教室里的位置和眼神接觸等多種外顯行為的組合能夠反映出教師的教學態度[14];有些心理過程可直接通過生理信號表征出來，比如通過學生的腦電信號解釋或者監測信息的加工過程[15];還有一些心理狀態既可以通過外顯行為表征也可以通過生理信號診斷，比如聲調、面部表情和手勢等外顯行為，以及生物電等生理信息均可表征情緒狀態。當然，并不是所有外顯行為和生理信號都能對應特定的心理狀態，同樣，也并不是所有心理狀態都能通過外顯行為和生理信號診斷出來。而教育研究所關注的學生學習狀態與教師教學特質等基本心理狀態或者心理過程一般可通過外顯行為或生理信號表征出來。

（二）智能課堂為精準教研提供多模態行為數據支持

智能課堂教學環境具備智能錄播系統、可穿戴設備、電子平板等多模態數據采集設備，可高效地獲取多模態教學數據。同時，機器學習技術的不斷進化，使面對面教學過程中的教學語言、教學行為動作等外顯行為數據以及心率、皮膚電等內在生理信號的提取、關聯和分析實現了自動化和智能化[16]，這將有效支持教學研究者正確總結課堂教學經驗、精準發現課堂教學問題以及科學研究課堂教學方法。

課堂多模態教學行為數據包含外顯數據（可被觀察，如書寫、舉手、皺眉等）和內隱信號（需要儀器測量，如眼動、心電、腦電等）[17]。不論是單一數據類型還是多類型數據的聯合，均有可能反映教學主體的個體特征和所處的教學情境。比如眼動線索可以反映學生在課堂上的注意力分布[18]，定位學生感興趣的教學內容或者多媒體形式;注視密度和眼跳路徑等指標能夠反映學生的信息整合模式[19];眼動線索指標結合學習者的自我報告數據和學業成就可以呈現出學習者使用不同課堂教學載體表現出的不同學習模式和學習滿意度[20]，還能表征不同能力學習者的視覺信息認知模式。除以上“一對多”的情況，還存在多個數據度量同一指標的情況[21]。比如話語、面部表情以及生理信號均可反映出學生的情感學習狀態[22-23]，這些多模態的課堂教學數據能夠全面繪制學生課堂情感學習畫像。智能課堂環境為精準教研提供多模態行為數據支持，使教師擺脫繁重及重復性的教學工作[24]，促生更科學、直觀的教學診斷、評估與干預手段。

（三）智能課堂為精準教研打開多個應用窗口

智能化學習時代關注教和學的全過程，從學生的學、教師的教和教學互動三方面展開，聚焦到師生的行為、心理和生理特征[25]。課堂教學過程中學習者的注意力、記憶力和情緒波動等非認知學習狀態，以及信息加工處理與調用等認知學習狀態等可通過腦電信號、心電信號、面部表情、手寫筆記等數據量化得到[26-29]。教學研究者利用多模態的課堂教學行為數據實施規模化的課堂學習評估[15]，以追蹤學生課堂學習狀態，分析學生個體差異，支持個性化的課堂學習干預與指導。

評估與改善教師教學表現是教學研究關注的另一關鍵問題[16，30]。通過采集和分析教師課堂教學行為數據，可以評估教師的課堂教學能力、診斷教師課堂教學特點或者風格、檢測教師課堂教學習慣和缺陷[31]，為提升教師專業教學技能提供生理和心理方面的證據支撐。智能教學環境下的多模態數據為診斷教師課堂教學特點提供了更加全面客觀的證據。另一方面，多數情況下，學生群體的課堂參與度、注意力、情緒波動和認知負荷等學習狀態會受教師言行、教學內容的組織與呈現、課堂氛圍等要素的控制[16，32]，因此學生學習狀態也能客觀刻畫教師的課堂教學表現。

課堂互動是非常重要的多模態教學行為數據來源[33]。有效的課堂互動能夠促進學生學習、培養學生高階思維能力[34-35]。教學研究者關注課堂互動的現狀[36]、課堂互動工具和框架的設計[37]等問題。智能課堂教學應用為課堂互動教學研究提供了新的研究視角和范式。利用多模態的課堂互動數據，教學研究者可以洞悉師生互動和生生互動的詳細過程和發生機制，探究協作學習過程中學習者之間在情感、認知、參與等方面的動態協同調節關系，設計有效促進學習的課堂互動工具等。

三、尋徑：智能課堂中教育研究的“精準”之路

具備教師培訓功能的教研活動應該精準關注教師的專業發展過程[38]。已有研究基于大數據構建了多源多層教師專業發展分析模型[39]，但尚不能聚焦教師課堂教學問題。本研究將從活動理論出發，構建一種精準化教研模式，以充分利用智能環境資源準確深度挖掘課堂教學問題。

（一）精準教研模型的理論基礎

活動理論中，活動系統由三個核心成分（主體、客體和共同體）和三個次要成分（工具、規則和勞動分工）組成，次要成分連接核心成分，它們之間的聯系如圖1所示。在課堂教學活動中，生生互動與師生互動等構成了課堂教學共同體/群體。共同體產生的數據為精準教研提供了教學互動數據資源。教師和學生作為課堂教學活動的主體，通過使用各種教學媒體、設備、應用軟件等工具輔助教與學，實現與教學活動客體（教學內容與目標等）間的連接。教師與學生通過使用各種教學輔助工具完成教學內容的傳授與學習以達成教學目標。主體（教師與學生）與群體（教學互動群體）之間通過課堂組織和紀律等規則聯系起來。規則協調教學主體和教學群體，是教學活動中的制約和秩序。比如多數情況下學生要聽從教師安排，師生互動和生生互動時要保持某種關系，參加角色扮演等活動時要遵守角色設定等。當然，精準教研的關鍵是數據。規則和分工等活動理論原始要素在課堂中較難以數據形式表征，因此，活動理論支持下的精準教研數據來源主要來自教學主體、客體、群體和工具。

（二）適應智能課堂教學環境的精準教研模式

綜合智能課堂教學環境的特點，以活動理論為基礎，構建如圖2所示的精準教研模式。多模態的精準教研證據資源是教學研究內容的重要支撐，決定著精準教研的范疇。教師的教、學生的學以及教學互動數據以外顯行為、生理信號和心理狀態等多種模態存在。數據挖掘與關系挖掘是確保精準教研的“精”之所在，強調關注多模態的教學行為序列，獲取某一行為與其前后行為之間的關聯以及某一模態的行為與其同時發生或者前后發生的其他模態的行為之間的關聯，建立或歸因行為與行為之間以及各教學效果與行為之間的關系，從而細致準確地聚焦教學過程中不易被察覺的教學規律與問題。比如通過歸因分析，構建多模態行為序列與教學效果的因果關系以全面細致地探究影響教學效果的行為因素;通過關系挖掘，可構建行為與行為之間的關聯以得到人力無法察覺到的課堂教學行為規律等。

將數據挖掘與關系挖掘得到的結果形成教學數據分析報告，以簡要直觀的方式聚焦分析結果，供教研評課使用[10]。教研主體可以根據分析結果描述教師與學生的課堂教學行為特征，發掘教師在課堂教學中存在的問題與教學現象，診斷并評估教師的課堂教學表現，總結教學規律，最終為教師制定個性化的課堂教學改進策略，設計教學干預手段。

以上教研內容和目標適配于多樣化的教研角色。不論是一線教師、教研員還是教學研究專家、教育企業等，均可從多模態教學行為數據驅動的精準教研中獲取具有針對性的教研結果。比如，一線教師可以反思自己的教學過程，正視自身的課堂教學問題，并制定修正方案，以改善課堂教學效果;教研員利用精準教研視域下的教師畫像，對教師進行教學考核;教育企業可以依據課堂教學中的固有問題，聚焦課堂教學需求，開發教育產品輔助課堂教學。

（三）智能課堂教學環境中精準教研的邏輯實現框架

智能課堂教學環境中多模態數據支持的精準教研實施需要遵循如圖3所示的邏輯步驟。首先，教研人員需明確數據類別以及數據采集手段與設備，同時要考慮到實際的智能環境條件是否能夠準確捕獲所需數據。采集到學生、教師和課堂互動多模態數據之后，要對數據進行預處理。以上前期工作完成之后，進入機器學習階段：抓取行為，實現行為特征選擇和標簽識別，構建學習模型。課堂教學行為數據以及人機交互數據的挖掘方法常見的有分類、聚類、關聯規則、序列模式、頻繁項、文本挖掘，等等。關系挖掘是數據挖掘的一個重要方向，是發現多模態行為序列之間的關聯規則和教學規律的關鍵手段，可以透視數據與數據之間隱藏的關聯關系。

制定多模態數據解釋框架意味著研究者要通過各種方式挖掘數據背后的教學意義，不同數據特征表征著不同的標簽即教學意義[21]，所以制定一套滿足教研目標的標簽體系或數據編碼體系是非常有必要的。最后將輸出多模態行為序列以及行為之間、行為與教學效果之間的關系，并以可視化儀表盤的形式呈現給教育研究者。邏輯框架為提高精準教研質量增強精準教研效果提供了實現路徑和優化依據。

四、賦彩：精準教研數據蘊含的教學意義

精準教研是數據驅動的教育研究方法，因此有必要從教學角度解釋和整合數據，挖掘數據背后蘊含的教學意義。綜合我國學者對課堂教學行為的研究成果，對智能課堂教學環境中驅動精準教研的行為數據進行分類和解釋，以透視多模態行為具備的教學色彩。

智能課堂教學環境中多模態數據支持的精準教研數據來自于學生、教師和課堂互動。本研究以源自教師的行為數據為例（見表1），對多模態教研數據進行分類和解釋，探索多模態行為數據蘊含的教學意義。教師教研數據和學生教研數據是教學活動主體產生的，包括主體自身的屬性數據，比如性別、年齡等人口統計學數據以及學生已經具備的學業成就。在教學活動中，教師和學生均會產生非言語外顯行為、言語行為、面部表情、眼動蹤跡和生理信號等數據，教師在教學過程中展示的多媒體內容以及學生在學習過程中產生的學習筆記也是重要的教研數據。師生互動與生生互動產生的數據類別相似，除教學互動活動中常見的人體行為之外，還包括互動的內容、頻次與時長等。教師和學生分別與多媒體工具的互動數據可由工具記錄生成，抓取操作行為數據。

不同類別的行為數據蘊含著不同的教學意義。（1）教師在課堂教學中產生的非言語外顯行為數據蘊含著教師的教學能力和行為習慣，表征教師對象征性動作、說明性動作、表露性動作、適應性動作、調節性動作、距離性動作[40]等非言語教學行為的綜合運用能力。教師在課堂教學中產生的言語行為能夠反映教師在系統講授和組織教學方面的語言應用能力。教師的面部表情、眼動蹤跡、生理信號等數據在一定程度上反映了教師的心理狀態，比如通過眼動蹤跡可以探析教師的視覺行為模式等映射教師教學能力的關鍵要素。（2）學生的非言語外顯行為能夠表征注意力、學習態度等非認知狀態，比如綜合利用抬頭率、低頭率、坐姿等多種行為可以判斷課堂學習參與狀態。學生的面部表情、眼動蹤跡和生理信號等數據可評估學生在課堂學習過程中的多種心理狀態，如學習情感等非認知狀態以及記憶、決策等認知狀態。學生的學習筆記和思維導圖等圖片文本數據也是測量學生認知學習結果的有效數據。（3）教學互動產生的數據包括人與人的互動數據和人與多媒體工具的互動數據。通過這些互動數據可以測量出課堂互動類型和效果，也能反映出教師的溝通能力和技巧以及學生的協作學習能力等教學研究關注的要素。以上多來源多模態的大數據為精準教研提供證據支撐。

五、展望：未來精準教研的發展

為充分利用智能環境資源、全面深度地挖掘教學問題，本研究構建適應智能課堂教學環境的精準教研模式并提供了邏輯實現框架，以教師的教、學生的學以及教學互動所產生的外顯數據和內隱數據作為驅動精準教研的證據，為提高精準教研質量提供實現路徑。

數據挖掘與關系挖掘技術能夠精確定位教學問題，是精準教研的“精”之所在;依據教學問題準確制定教學干預措施、切實改進課堂教學效果是體現精準教研“準”的關鍵所在。因此，未來精準教研的發展，除在數據階段確保“精”與“準”之外，還需要在教學干預設計、教學改進策略上做到有據可依且準確無誤。此外，未來精準教研的發展還要統一數據采集、處理、解釋和可視化等標準，在保護學生隱私、明確倫理準則方面形成被廣泛認可的規范。另一方面，精準教研的有效實施需要教師具備高水平的教育研究能力、數據素養、教學調節能力和教育評價能力等。基于此，未來有必要開展精準教研服務與培訓，形成智能課堂精準教研范式與服務體系，支持有條件的師范類高校設立教育研究、教育測量等相關學科課程，培養未來教師的教育研究能力。

[參考文獻]

[1] 中共中央國務院.關于全面深化新時代教師隊伍建設改革的意見[EB/0L].（2018-01-31）[2021-03-20].http：//www.gov.cn/zhengce/2018-01/31/content_5262659.htm.

[2] 胡小勇，林梓柔.精準教研視域下的教師畫像研究[J].電化教育研究，2019，40（7）：84-91.

[3] 胡小勇，徐歡云.“互聯網+教研”形態研究：內涵、特征與趨勢[J].電化教育研究，2020，41（2）：10-16，31.

[4] 胡軍哲.讓教研成為一線教師生存常態[J].中國教育學刊，2010（3）：58-60.

[5] 鄭世忠，張德利.繼承與超越：從“網絡教研”到“‘互聯網+教研”[J].中小學教師培訓，2016（10）：22-25.

[6] 胡小勇，曹宇星.面向“互聯網+”的教研模式與發展路徑研究[J].中國電化教育，2019（6）：80-85.

[7] 江波，高明，陳志翰，王小霞.基于行為序列的學習過程分析與學習效果預測[J].現代遠程教育研究，2018（2）：103-112.

[8] 郭利明，楊現民，張瑤.數據驅動的精準教學五維支持服務框架設計與實踐研究[J].電化教育研究，2021，42（4）：85-92.

[9] 王冬青，劉歡，邱美玲.智慧課堂教師行為數據的分析方法與應用驗證[J].中國電化教育，2020（5）：120-127.

[10] 李月，姜強，趙蔚.基于過程挖掘的在線自主學習行為模式識別及干預實證研究[J].電化教育研究，2021，42（5）：61-69.

[11] 楊鑫，解月光.智能時代課堂變革圖景：智慧課堂及其構建策略[J].電化教育研究，2021，42（4）：12-17，52.

[12] 林崇德，楊治良，黃希庭.心理學大辭典[M].上海：上海教育出版社，2003：1437.

[13] 孫眾，呂愷悅，施智平，駱力明.TESTII框架：人工智能支持課堂教學分析的發展走向[J].電化教育研究，2021，42（2）：33-39，77.

[14] GORHAM J， ZAKAHI W R. A comparison of teacher and student perceptions of immediacy and learning： monitoring process and product[J]. Communication education，1990，39（4）：354-368.

[15] 張琪，武法提.學習分析中的生物數據表征——眼動與多模態技術應用前瞻[J].電化教育研究，2016，37（9）：76-81，109.

[16] 顧小清，王超.打開技術創新課堂教學的新窗：刻畫AIoT課堂應用場景[J].現代遠程教育研究，2021，33（2）：3-12.

[17] 汪維富，毛美娟.多模態學習分析：理解與評價真實學習的新路向[J].電化教育研究，2021，42（2）：25-32.

[18] JAMET E. An eye-tracking study of cueing effects in multimedia learning[J]. Computers in human behavior，2014，32（Mar.）：47-53.

[19] YANG F Y， CHANG C Y， CHIEN W R， et al. Tracking learners' visual attention during a multimedia presentation in a real classroom[J]. Computers & education，2013，62（Mar.）：208-220.

[20] MOLINA A I， REDONDO M A， LACAVE C， et al. Assessing the effectiveness of new devices for accessing learning materials： an empirical analysis based on eye tracking and learner subjective perception[J]. Computers in human behavior，2014，31（Feb.）：475-490.

[21] 穆肅，崔萌，黃曉地.全景透視多模態學習分析的數據整合方法[J].現代遠程教育研究，2021，33（1）：26-37，48.

[22] MALMBERG J， JARVELA S， HOLAPPA J， et al. Going beyond what is visible： what multichannel data can reveal about interaction in the context of collaborative learning[J] Computers in human behavior，2018，96（Jul.）：235-245.

[23] 孫波，劉永娜，陳玖冰，羅繼鴻，張迪.智慧學習環境中基于面部表情的情感分析[J].現代遠程教育研究，2015（2）：96-103.

[24] 李澤林，陳虹琴.人工智能對教學的解放與奴役——兼論教學發展的現代性危機[J].電化教育研究，2020，41（1）：115-121.

[25] 鐘薇，李若晨，馬曉玲，吳永和.學習分析技術發展趨向——多模態數據環境下的研究與探索[J].中國遠程教育，2018（11）：41-49，79-80.

[26] LIU N H， CHIANG C Y， CHU H C. Recognizing the degree of human attention using EEG signals from mobile sensors[J]. Sensors，2013，13（8）：10273-10286.

[27] 韓麗，李洋，周子佳，宋沛軒.課堂環境中基于面部表情的教學效果分析[J].現代遠程教育研究，2017（4）：97-103，112.

[28] WHITEHILL J， SERPELL Z， LIN Y C， et al. The faces of engagement： automatic recognition of student engagement from facial expressions[J]. IEEE transactions on affective computing，2014，5（1）：86-98.

[29] 曹曉明，張永和，潘萌，朱姍，閆海亮.人工智能視域下的學習參與度識別方法研究——基于一項多模態數據融合的深度學習實驗分析[J].遠程教育雜志，2019，37（1）：32-44.

[30] 張俍，任友群.教師教育的智能變革何以可能：智能課堂及其意義[J].現代遠程教育研究，2018（4）：15-21，33.

[31] 王陸，彭玏，李瑤，任藝.優秀教師的實踐性知識特征——基于大數據的知識發現[J].課程·教材·教法，2019，39（2）：126-131.

[32] 張立山，馮碩，李亭亭.面向課堂教學評價的形式化建模與智能計算[J].現代遠程教育研究，2021，33（1）：13-25.

[33] 劉清堂，何皓怡，吳林靜，鄧偉，陳越，王洋，張妮.基于人工智能的課堂教學行為分析方法及其應用[J].中國電化教育，2019（9）：13-21.

[34] KOZHEVNIKOV M， EVANS C， KOSSLYN S M. Cognitive style as environmentally sensitive individual differences in cognition： a modern synthesis and applications in education， business， and management[J]. Psychological science in the public interest，2014，15（1）：3-33.

[35] 宋宇，郝天永，劉葵.學習分析視角下培養高階思維的課堂互動研究[J].現代教育技術，2020，30（7）：50-57.

[36] 李利，梁文潔，薛鋒.智慧教室環境中的課堂互動教學現狀分析——基于小學數學課堂教學個案的研究[J].電化教育研究，2018，39（3）：115-121.

[37] 劉清堂，馮小妹，翟慧清，勞傳媛.學習分析支持下的課堂互動工具設計與實現[J].現代教育技術，2018，28（12）：94-100.

[38] 王陸，彭玏，馬如霞，楊佳辰.大數據知識發現的教師成長行為路徑[J].電化教育研究，2019，40（1）：95-103.

[39] 黃慕雄，林韓輝，羅永霞.基于大數據融合的多源多層教師專業發展分析模型構建——以廣東省教師教育大數據智慧系統為例[J].電化教育研究，2021，42（5）：114-121.

[40] 周鵬生.教師非言語行為研究簡論[M].北京：民族出版社，2006：153.

[41] 王顯槐.中學教學語言學[M].南昌：江西高校出版社，2001：28-31.