基于人工智能的課堂教學分析研究與實踐

甘啟宏，余 淇，王春艷，崔亞強

（四川大學 信息化建設與管理辦公室，四川 成都 610065）

0 引言

課堂是學校教育教學的主陣地，課堂教學分析是課堂教學質量評價的重要依據［1］。傳統課堂教學分析主要以人工編碼和工具統計為主，存在依賴專家、編碼復雜、分析低效等問題［2］。隨著人工智能技術的發展，國務院印發的《新一代人工智能發展規劃》提出建立智能、快速、全面的教育分析系統，推動人工智能在教學、科研、管理等領域的應用［3］。人工智能與教育研究逐步結合［4］，形成新興的跨學科研究領域——教育領域的人工智能（Artificial Intelligence in Education，AIED）。盡管當前人工智能的整體發展仍處于弱人工智能階段［5］，其仍然為大規模自動化采集課堂教學過程及智能化分析提供了可能［6］。總體而言，基于人工智能的課堂教學分析還處于探索階段，隨著高校智慧教學環境建設的不斷推進，如何實現智能化和規模化的課堂教學分析、提高課堂教學分析效率，以及實施基于數據的教學評價已經成為教育領域關注的熱點［7］。

1 基于人工智能的課堂教學分析相關研究

人工智能背景下，課堂教學分析逐漸趨于自動化、智能化與規模化。從課堂教學環境發展變化和數據采集分析方式來看，課堂教學分析主要經歷了人工、半自動和智能化3個階段。

（1）基于人工的傳統課堂教學分析。傳統課堂教學分析主要采用人工標注方式，由研究者設計量表，通過現場觀察進行人為記錄與分析。比較有代表性的是S-T 分析法和弗蘭德斯互動分析系統（Flanders Interaction Analysis System，FIAS）。S-T 分析法［8］記錄課堂教學中教師教學行為（T）和學生學習行為（S），間隔固定時間記錄一次，得到教學行為和學習行為數據，繪制S-T 曲線，通過計算判斷教學模式。FIAS 將課堂教學行為分為教師言語、學生言語和沉寂3 類，按照編碼標準，每隔3s 取樣記錄課堂行為一次，然后填入遷移矩陣進行分析［9］。皮亞塔研發課堂互動評估系統（Classroom Assessment Scoring System，CLASS），通過課堂組織、教學支持和情感支持3 個維度進行課堂教學行為分析［10］。國內學者夏雪梅［11］提出以學生為中心的課堂教學行為分析框架。該階段課堂教學分析主要依靠人工標注方式，存在勞動密集、分析低效、容易出錯等缺點。

（2）信息化教學環境下的課堂教學分析。信息化教學環境下的課堂教學分析融入信息技術特征，出現了課堂教學分析編碼系統。國內學者開發出基于FIAS 的分析工具，并對課堂教學分析方法加以改進。顧小清等［12］提出基于信息技術的互動分析編碼系統（Information Technology-Based Interaction Analysis System，ITIAS），將“沉寂”類行為進行細化，并增加“技術”行為分析；穆肅等［13］提出課堂教學行為分析系統（Teaching Behavior Analysis System，TBAS），從教學活動的角度將課堂教學分為教師活動、學生活動和無意義教學活動3 類；方海光等［14］基于FIAS 和ITIAS 分析方法，提出改進型弗蘭德斯互動分析系統（iFIAS），對部分編碼進行優化調整。該階段相關課堂教學行為分析軟件工具相繼被開發、引入和使用，能夠實現課堂教學行為的半自動化標注，課堂教學分析效率也得到一定程度提升。

（3）基于人工智能的課堂教學分析。隨著人工智能技術的不斷發展，研究人員開始探索課堂教學數據的智能化分析，并嘗試利用教室內的攝像頭實現自動化采集。課堂教學分析數據更加多源化，除對課堂教學行為進行分析外，還嘗試對師生情感變化數據進行采集與分析。李青等［15］探討如何在人工智能視角下構建課堂教學管理與評價體系；韓麗等［16］利用視頻監控設備，設計基于人臉檢測與面部表情分析的課堂教學評價系統；賈鸝宇等［17］基于課堂視頻對學生數量、位置、表情及姿態進行識別，實現課堂學生狀態的自動化分析；陳靚影等［18］通過攝像頭對學生的姿態、表情、互動進行分析，提出學生學習興趣的智能分析方法；劉清堂等［7］提出課堂教學行為智能分析模型，基于教室錄播視頻樣本進行課堂教學S-T 行為智能化分析實驗與有效性驗證；曹曉明等［19］設計基于學生表情、腦電波數據的多模態融合學習參與度模型；孫眾等［1］提出人工智能支持的課堂教學分析框架（TESTII），并融入課堂教學行為和教學事件分析；盧國慶等［6］提出基于人工智能引擎自動標注的課堂教學分析，并基于真實教學視頻進行分析研究。

綜上所述，針對人工智能技術在課堂教學分析與評價方面的應用已有探索，但是目前研究主要側重于課堂教學分析的方法指標，且大多還處于實驗研究階段。如何結合實際課堂教學場景，利用人工智能相關技術實現課堂教學過程數據的自動化采集、智能化分析與可視化呈現，以及實現課堂教學分析與評價的規模化還需進一步研究。

2 智能化課堂教學分析框架

基于已有課堂教學分析方法和高校課堂教學評價實際工作內容，結合研究實踐，本文提出智能化課堂教學分析框架，如圖1 所示。該框架以課堂教學為中心，以課堂教學分析內涵為指導，在教育教學理論和人工智能技術、標準以及信息安全和隱私保護相關規范下，從課堂教學數據采集與處理、課堂教學分析、課堂教學改進方面建立課堂教學分析的一體化流程，實現課堂教學數據的自動化采集、智能化分析與可視化呈現，提升課堂教學評價的科學性，促進基于數據的課堂教學反思。

（1）數據采集與處理。利用人工智能相關技術，課堂教學數據采集可以更加多源，而不僅僅局限于課堂教學行為數據。本框架主要依據課堂分析與評價指標體系，利用教室網絡攝像頭設備進行無感知的數據采集。采集的數據主要分為4 種類型：人員感知、姿態行為感知、表情感知和人工采集。人員感知指通過人臉識別技術進行無感知教師考勤、學生人數清點；姿態行為感知指基于S-T 行為分析理論，利用深度學習算法進行教師教學行為和學生學習行為自動化識別；表情感知指利用人臉關鍵點識別技術對學生面部表情與姿態進行識別；人工采集指設計線上聽評課方式，一方面能滿足高校課堂教學評價的業務需求，另一方面能豐富課堂教學數據源。

Fig.1 Framework of intelligent classroom teaching analysis圖1 智能化課堂教學分析框架

（2）課堂教學分析。基于采集的課堂教學數據對課堂教學進行建模分析，維度包括教學秩序分析與教學過程分析。教學秩序分析主要是基于人員感知數據，對教師考勤以及學生出勤率、前排就座率、睡覺率進行分析。教學過程分析主要包括課堂教學行為分析和學生狀態分析。課堂教學行為分析是指基于姿態行為感知數據，以常用的ST 分析為理論指導，并結合課堂教學行為云模型［20］對課堂行為特征的定義，實現3 類教師行為與7 類學生行為識別，并進行S-T 分析；學生狀態分析是指基于表情感知數據，利用DLIB［21］獲取人臉關鍵點后，通過機器學習中的支持向量機（Support Vector Machines，SVM）進行表情分類與訓練，實現7 類與教學有關的表情識別與分析。對課堂教學數據進行指標化分析后，予以可視化呈現，并實時預警問題課堂，進行各個層級的課堂教學畫像，便于管理人員掌握課堂教學情況，也有利于教師掌握課堂教學過程性數據。

（3）課堂教學改進。根據設定的指標閾值對問題課堂進行自動預警與數據下發，二級學院針對問題和指導建議進行課堂教學改進與反饋。校級管理者跟蹤各學院處理進度與結果，使課堂教學分析和評價工作進入良性循環。

3 智能化課堂教學分析系統構建

隨著智能技術的發展，基于新一代AI 攝像頭能夠實現師生教學行為與表情分析，基于已建的教室監控巡查攝像頭實現自動化、規模化的課堂教學分析也成為可能。2021 年，四川大學開始探索智能化課堂教學分析系統研究與構建，基于智能化課堂教學分析框架，利用已建設的巡查攝像頭完成課堂教學秩序智能化分析，并嘗試建設一批AI攝像頭教室，以深入進行課堂教學分析研究。

3.1 智能化課堂教學分析系統功能設計

基于課堂教學智能化分析研究與實際需求，構建智能化課堂教學分析系統，通過課堂教學過程性數據自動化采集與分析，為教學管理人員提供課堂教學數據分析與可視化呈現，為教師開展基于課堂教學數據的教學評價和教學反思提供支持。各功能模塊設計如下：

數據采集與處理模塊包括AI 采集和人工聽評課。AI采集指利用教室攝像頭實現人員感知、姿態行為感知和表情感知；人工聽評課可按照課程、教師、教室進行查課與評課，查看課堂教學視頻和課堂AI分析。

課堂教學分析基于可視化中心、畫像中心、報表統計、明細結果和報告中心5 個功能模塊對課堂教學情況進行自動化分析與評價，數據指標圍繞教學秩序和教學分析兩個維度展開。可視化中心實時呈現全校課堂教學情況，并實時預警問題課堂；畫像中心從學校、學院、課程、教師4個維度進行課堂教學數據聚合，方便管理人員和教師進行課堂教學分析；報表統計支持按學院、課程、教師維度以報表形式呈現各項數據指標情況；明細結果聚焦到學校課堂教學的最小顆粒度——課時，對每個課時產生的數據進行記錄統計，便于數據自上而下逐級下沉，從而進行問題溯源；報告中心以學校層面的管理需求為出發點，支持按日、周、月自動生成課堂教學報告。

通過問題課堂下發、問題課堂處理、問題課堂跟蹤3個流程實現課堂教學改進。問題課堂下發指校級教學管理人員確認預警課堂后，將問題課堂進行下發；問題課堂處理指學院接收問題課堂，對課堂教學進行改進后反饋處理情況；問題課堂跟蹤指教學管理人員跟蹤問題課堂處理進度與情況，確保問題得到處理。

3.2 智能化課堂教學分析系統架構

按照智能化課堂教學分析功能需求，運用云—邊—端協同的架構思想，綜合人工智能、大數據和云計算技術，以現有教育云、教學環境硬件資源為支撐，構建集人工聽評課、課堂教學分析、課堂教學改進等功能于一體的高校智能課堂教學分析系統，系統架構如圖2 所示。其中，端指設備，包括教室的教師攝像頭、學生攝像頭、網絡視頻錄像機；邊指邊緣計算，基于音視頻網關設備進行AI 數據采集與數據預處理，將計算能力下沉，減輕云端計算壓力；云指云計算，部署云服務器完成數據的統一處理與管理，提供業務應用。

Fig.2 Architecture of intelligent classroom teaching analysis system圖2 智能課堂教學分析系統架構

4 智能化課堂教學分析系統應用實踐

智能化課堂教學分析系統經過一年多的功能優化和算法改進后，已經上線進行試運行。在系統部署前，課堂教學分析工作部分環節，如師生考勤、前排就坐率等需要人工查看課堂教學視頻，進行統計并手工撰寫報告，工作效率較低，準確度也不高。系統部署后，能實現自動采集與分析課堂教學過程。教學秩序分析涵蓋教師考勤、學生到課率、前排就坐率和疑似睡覺率，可完全替代以上人工分析工作，也能進行基于人臉識別的考勤分析、課堂教學行為分析和學生表情分析，并自動生成報告，從而提高課堂教學分析效率和覆蓋率，并提供數據支持。在研究過程中，基于信息安全和隱私保護相關規范，教學秩序分析是智能化的傳統視頻督導分析，分析指標針對課堂，精細程度不到個人。基于AI 攝像頭的試點教室，基于師生知情同意開展研究，并嚴格做好數據安全保護。

4.1 數據采集與處理

本研究課堂教學數據采集采用非入侵、伴隨式的采集方式，利用教室前后安裝的兩路巡查攝像頭采集課堂上教師和學生的課堂圖像，設置每5min 采樣一次，覆蓋學校所有本科公共教室。巡查攝像頭能實現人員感知和簡單姿態識別。人員感知通過人數清點算法對教室人數進行自動清點，經過大量實際教學場景訓練，該算法對于實際教室場景各種不同類型、不同姿態的人數清點都能保持90%以上的準確度，人員感知結果如圖3 所示。簡單姿態識別通過姿態分析算法識別教室學生的睡覺姿態和非睡覺姿態，簡單姿態分析結果如圖4所示，紅點標注睡覺姿態。

AI 攝像頭能實現人臉識別、教學行為感知與表情感知。人臉識別通過學生跟拍攝像機，結合圖像識別算法，對教室學生進行人臉抓拍和一對多比對，并通過教師跟拍攝像機對教師進行人臉抓拍和一對一比對。

Fig.3 Personnel perception圖3 人員感知

Fig.4 Simple attitude analysis圖4 簡單姿態分析

教學行為感知與處理基于S-T 教學行為分析理論，利用人工智能深度學習算法進行教師教學行為和學生學習行為自動化識別，如圖5 所示。采用每5min 一次的時間采樣方法，實時采集課堂教學圖像，獲得行為特征矩陣，并通過基于深度神經網絡的教學行為預測模型，計算得到課堂行為時間序列矩陣。本研究識別的T 行為包括多媒體、板書、巡視，S 行為包括閱讀、書寫、聽講、舉手、起立、睡覺、玩手機，然后計算并繪制S-T 曲線和Rt-Ch 圖，分析課堂教學模式，將課堂教學分為練習型、混合型、講授型和對話型4類。表情感知基于DLIB［21］特征提取方法，獲取人臉關鍵點，采用機器學習中的SVM 進行表情分類與識別。本研究識別的表情包括高興、驚訝、厭惡、難過、憤怒、害怕7 種類型。

Fig.5 Intelligent analysis model of classroom teaching behavior圖5 課堂教學行為智能化分析模型

4.2 課堂教學分析與改進

課堂教學分析圍繞教學秩序和教學分析兩個維度展開，將課堂教學分析結果進行可視化呈現，院、校級管理人員可從可視化中心與畫像中心概覽和分析課堂教學情況，逐步下沉至報表統計、明細結果，并支持導出報告。教師用戶可查看所授課程的課堂教學數據與分析，便于開展基于數據的教學評價和教學反思。

可視化中心實時呈現當日全校課堂教學情況，如圖6所示。教學秩序模塊實時呈現當前課時的教師考勤，以及學生到課率、前排就坐率和疑似睡覺率，可選擇各項指標查看各學院情況。系統實時預警各指標若低于所設閾值的異常課時，點擊異常課時可直接跳轉到具體課堂明細，同時展示各指標今日匯總情況與分布情況。教學分析模塊通過課堂教學行為分析和學生狀態分析呈現當前課堂教學情況。課堂教學行為分析包括教師行為占比分析和學生行為占比分析，通過S-T 分析計算得出4 種教學模式類型；學生狀態分析包括學生表情識別和表情占比分析，并嘗試進行學術課堂活躍度與專注度分析。

Fig.6 Visualization center -teaching order圖6 可視化中心—教學秩序

畫像中心從學校、學院、課程和教師4 個維度，圍繞教學秩序與教學分析各數據指標進行畫像分析。以學校層級到課率分析為例，可按日、周、月呈現學校整體到課率、到課率分布情況、各學院到課率對比分析、到課率全校趨勢及與各學院的比較、到課率排名靠前或靠后的課程與教師，以及到課率低于所設閾值的學院、課程與教師分布。

報表統計從教學秩序、教學分析兩個層面對課堂教學數據進行統計，按照學校—學院—課程—教學班—課堂的順序逐級下沉至某堂課的課堂明細。課堂明細對應該課時的課堂教學分析，包括課堂直播或錄播授課視頻、課程基本信息、教師考勤、學生到課率、前排就座率、疑似睡覺率、課堂教學行為分析和表情分析以及課堂截圖。

報告中心基于教學秩序和教學分析兩個維度，自動按照日、周、月生成課堂教學分析報告，并支持圍繞不同分析指標自定義分析報告。

教學改進模塊對問題課程整改進行信息化管理，可查看問題下發、問題處理、處理效果概覽。校級管理人員在確認預警課程后下發給院級管理人員，學院進行整改與反饋，校級管理人員隨時跟蹤各學院問題課程的處理情況。

5 結語

人工智能技術助力課堂教學分析已經成為研究趨勢，通過課堂教學過程自動化采集與智能化分析，使課堂教學分析更具規模性與科學性。本文基于課堂教學分析研究現狀，提出智能化課堂教學分析框架，在此基礎上構建智能化課堂教學分析系統并進行實際應用驗證，取得了一定效果，期望本文提出的框架與實踐案例能為基于人工智能技術的課堂教學分析研究和應用提供參考與借鑒。在下一步研究中將重點考慮兩個方面，一是研究在實際教學場景下基于AI 攝像頭的課堂教學數據多源采集與算法優化，提升分析精度；二是探索教學大數據分析，一方面是基于課堂教學數據的分析，如學生到課規律、學生座位習慣、課程教學特征、教室座位資源分析等；另一方面是人工智能教育應用倫理研究，如何規范人工智能教育應用設計，規避倫理風險，保護師生隱私數據等。