多模態數據賦能教師課堂教學畫像研究

張毅，喬雪

（江西科技師范大學，江西 南昌 330038）

0 引 言

2021年1月，教育部制定了《普通高等學校本科教育教學審核評估實施方案（2021—2025年）》，為引導高校遵循教育規律，聚焦本科教育教學質量，提出“綜合運用互聯網、大數據、人工智能等現代信息技術手段，深度挖掘常態監測數據，提高工作實效”。教學工作是學校所有工作的核心，學校要想很好地實現培養目標，培養出合格的人才，就必須把教學工作放在首位，圍繞教學目標安排其他工作。教學質量是指教學水平的高低和教學效果的優劣，或者說是在一定時間內和一定條件下，學生發展變化達到某一標準的程度。學校要想提高教學質量，就要抓好教學工作，充分計劃、嚴格落實教學過程中的每一個環節。

然而，傳統的課堂教學過程中存在著非客觀記錄，學生的學習過程無法獲得如實記錄和精準評價，導致課堂教學評價效果低下?！坝脩舢嬒瘛奔夹g能夠有效描述目標用戶的顯著特征，有助于指導和優化決策的制定和實施過程。因此，本文利用課堂教學過程中產生的多模態數據，將課堂教學過程數字化，為建立課堂教學精準畫像提供數據支撐，為精準教學服務提供參考借鑒。

1 基本理論研究

1.1 多模態數據

Nigay 和Coutaz 認為，“多”的意思是“不止一個”，而術語“模態”則是指用于傳遞或獲取信息的通信類型或通信渠道；鐘薇等將多模態數據分為生理層數據、心理層數據、行為層數據和基本信息數據四類。綜上所述，筆者認為多模態數據是指具有不同數據結構特征和形式的表意符號和信息，包括從視覺、聽覺、觸覺、嗅覺等不同感知通道接收到的信息以及各種數據類型（甚至來自不同數據庫）的組合。

學習是多模態的，因而利用單模態數據來描述教師研修的全部肖像是充滿困難的。多模態數據可以全面、準確、真實地構建教師畫像，克服單一視圖無法觀察全貌的局限性。通過智能系統、穿戴設備等途徑獲取多模態教學數據，使教育研究者能夠準確找出課堂教學問題，總結課堂教學經驗，使課堂教學方法更加科學有效。因此，相較于傳統課堂記錄的數據，本研究利用多模態數據多視角、全方位地構建課堂教學畫像，提供更為科學直觀的教學診斷。

1.2 教學畫像

交互設計之父Alan Cooper 率先提出用戶畫像（Persona）的概念，他認為用戶畫像是基于大量真實數據構建出來的虛擬用戶模型。用戶畫像在電子商務領域的成功運用，使得畫像技術延伸到“學習者畫像”“學生畫像”“教師畫像”等不同領域。

在學習者畫像領域，肖君等提出學習者畫像是用戶畫像在教育領域的應用；王莎等認為學習者畫像是對學習者教育信息的抽象概括。在教師畫像領域，胡小勇等提出通過數據挖掘技術，收集與教師教研緊密相關的數據來構建表征教師特征、需求、偏好和行為的畫像模型；陳堯利用OP 算法和基于詞典的情感值匹配技術對學生評教文本數據進行處理構建教師畫像；方丹丹等基于特征工程理論為教師打標簽，進行教師畫像特征選擇。在教學畫像領域，喬雪在人工智能的背景下，提出利用數據驅動的方法構建課堂教學畫像的設想；陳小恩等利用學校網絡課程數據對教師教學特征進行刻畫，還原教師教學的全部信息。

綜上，當前的學者運用用戶畫像技術在教育領域的相關研究主要集中在學習者畫像和教師畫像，而在教學畫像領域的研究還不夠深入。

2 教學畫像模型的構建

畫像模型的構建需要遵循相應的流程。肖君等提出了基于xAPI 的在線學習者畫像來構建框架，將構建流程分為四個階段：畫像目標、數據收集、畫像建模、畫像應用與評價；胡小勇等提出的精準教研視域下的教師畫像的邏輯實現框架，分為數據采集、數據預處理、畫像模型構建、標簽體系建立、畫像質量評估和畫像精準應用六個階段。本文在前人研究的基礎上，基于多模態數據提出了“畫像目標、數據收集、數據預處理、畫像模型確立、標簽的形成、畫像應用與評價”六個階段，如圖1所示。

圖1 教學畫像模型的構建流程

2.1 畫像目標

畫像目標能夠指導整個畫像構建流程的有序進行。本文將教學畫像分為師生基本屬性、教學內容屬性、教學行為屬性和教學心理屬性四個維度。通過對教學畫像的維度劃分，可以明確教學畫像的構建目標。

2.2 數據收集

師生基本屬性數據可以分別從教師信息管理系統和學生信息管理系統中獲取，包括性別、年齡、年級、學科等結構化數據；教學內容屬性數據包括學科類別數據和課堂記錄數據，學科類別數據可以從教務處的排課系統中獲取，課堂記錄數據包括教學過程中教師的PPT 內容、板書、學生的課堂筆記等文本數據，這類數據可以從教學平臺中獲??；教學行為屬性數據包括師生教學互動的音頻、視頻數據以及師生的面部表情和眼動數據，可以利用電腦端的攝像頭和眼動儀來收集教學行為數據；教學心理屬性數據包括教學過程中師生的情感、認知、注意等心理活動，這類生理數據可以由腦波儀等生理儀器實時監測得到。

2.3 數據預處理

由于收集到的多模態數據來自于不同的數據庫，獲取方式也不一樣，導致數據存在格式上的不統一、數值缺失和不規范等問題，因此在構建畫像模型之前有必要對數據進行預處理。本文嘗試運用五種數據預處理方式（包括數據清洗、離群點處理、缺失值處理、不一致數據處理、數據集成），最終得到干凈的數據便于后續的數據分析。

數據清洗包括不完整數據的清洗、錯誤數據的清洗和重復數據的清洗。由于Hadoop 處理大數據的效率很高，本文采用Hadoop 的分布式數據清洗方法，先將數據存儲在HDFS，然后再將數據轉存至Hive 數據倉庫，按照指定格式處理數據。在數據挖掘領域，離群點檢測算法是一種重要的異常檢測算法，基于E-PAC 的算法可以消除多模態數據中存在的冗余數據。可以采取由回歸模型和判別模型計算出來的值來代替缺失值。在實際的數據獲取過程中，可能會存在一些數據不一致的情況，這時需要對不一致的數據進行清理。對不同來源的數據進行統一存儲時，可能會出現數據沖突問題。本文基于輕量級的集成局部圖結構LGS（local graph structure）和認知特征提取框架，在對腦電信號等生理數據的識別上具有更好的集成效果。

2.4 畫像模型確立

畫像模型的確立需要對所收集的多模態數據進行分析，從多個維度對畫像進行劃分，為標簽體系的形成和畫像評價奠定基礎?？梢越柚鷰熒緦傩詳祿砹私鈳熒幕咎卣?，此為教學特征畫像；教學內容屬性數據和教學行為屬性數據，表征教師的授課能力和學生的學習能力，此為教學能力畫像；教學心理屬性數據展現了師生的情感、認知和態度，此為教學體驗畫像。本文提出的教學畫像模型如圖2所示。

圖2 教學畫像模型

2.5 標簽的形成

教學畫像模型確立之后，針對該模型中的三個畫像構建相應的標簽體系，如圖3所示。教學特征標簽包括基本信息和教學信息，此為靜態標簽。通過師生的基本特征，教師可以對不同性別、年齡、教育階段的學生進行個性化教學，學生可以根據自己的喜好選擇授課教師；教學能力標簽包括課堂交互和測驗成績，此為動態標簽。交互數據和測試成績可以體現教師的教學能力和學生的學習能力，使師生為進一步提高各自的能力水平而進行總結和反思；教學體驗標簽包括師生之間相互的滿意度和興趣，此為動態標簽。心理數據的實時監測可以用來了解每一時刻師生的滿意程度和興趣，教師可以有針對性地對教學內容和教學風格進行改進，從而促進學生的全面發展。

圖3 教學畫像標簽體系

2.6 畫像應用與評價

依據教學畫像模型的確立以及標簽體系的形成，本文提出了面向學生個人畫像和教師畫像的應用需求，如圖4所示。

圖4 教學畫像應用

面向學生的個人畫像能夠幫助學生進行自我監測，及時調整自己的學習行為，提高學習效果。學生在實際的課堂中，依據其個人的標簽，找到自己的不足，針對自己的薄弱環節進行有針對性的練習，提高自己的學習成績。面向教師的畫像需要根據學生畫像進行監測，及時了解學生的學習情況，適時調整自己的教學策略。教師可以針對各個學生不同的學習情況，有針對性地提供個性化的教學服務。

教學畫像在實際的應用過程中也會出現一些疏漏，而畫像的評價對畫像的精準應用有很大的幫助。畫像評價在整個畫像構建流程中發揮著重要作用，畫像評價這一環節使整個畫像構建流程形成一個閉環，讓畫像能夠得以不斷的更新和優化，對畫像的每一個環節都具有促進作用。

3 結 論

多模態數據能夠全方位、多維度、多視角地描述整個教學過程，不僅能夠幫助教師和學生了解自己的心理和狀態，也有助于師生在教學過程中相互磨合、友好協作?；诙嗄B數據的教學畫像為提高教學工作實效提供一種新的解決方案，然而針對教學畫像如何與實踐更好地結合還需要做進一步的研究，這也將是后續研究工作的重要方向。