基于深度學習的課堂教學行為評價方法

陸燕

摘要：課堂是教學活動的主陣地，是教學質量的基礎。當前，職業教育的課堂教學評價存在模式陳舊、指標單一、數據匱乏和算法靈活性差等問題，深度學習技術應用為解決這些問題提供了可能。本論文介紹了一種名為基于深度學習的課堂教學行為評價方法（Class?Learning?Evaluation?Method?Based?on?Deep?Learning，?CLEM）。這種方法的第一步是利用智能設備獲取課堂教學行為的視頻信息。第二步是對視頻中教師和學生的表情、姿態、語音等進行檢測與教學行為識別，最后以某高職院校課堂教學視頻為例開展教學行為統計分析和實證研究。實驗表明，CLEM方法能夠快速、準確地識別師生教學行為和開展課堂教學評價。

關鍵詞：深度學習??課堂教學行為??職業教育?行為識別

中圖分類號：G434;TP311.13

A?Class?Learning?Evaluation?Method?Based?on?Deep?Learning

LU?Yan

（Hunan?Open?University，?Changsha，?Hunan?Province，?410004?China）

Abstract：?The?class?is?the?main?battlefield?of?teaching?and?learing?activities?and?the?foundation?of?teaching?and?learning?quality.?At?present，?there?are?problems?in?the?class?learning?evaluation?of?vocational?education，?such?as?outdated?models，?single?indicators，?lacking?data?and?poor?algorithm?flexibility，?and?the?application?of?deep?learning?technology?provides?the?possibility?to?solve?these?problems.?This?article?proposes?a?class?learning?evaluation?method?（CLEM）?based?on?deep?learning.?This?method?first?obtains?the?video?information?of?class?teaching?and?learning?activities?through?intelligent?devices，?and?then?detects?the?expression，?posture?and?speech?of?teachers?and?students?in?videos?and?recognizes?their?teaching?and?learing?activities，?and?finally?takes?class?teaching?and?learning?videos?from?a?certain?vocational?college?as?an?example?to?conduct?statistical?analysis?and?empirical?research?on?teaching?and?learning?activities.?The?experiment?shows?that?the?CLEM?based?on?deep?learning?can?quickly?and?accurately?identify?the?teaching?and?learning?activities?of?teachers?and?students?and?conduct?class?learning?evaluation.

Key?Words：?Deep?learning;?Classroom?teaching?and?learning?activity;?Vocational?education;?Behavior?recognition

課堂教學行為評價作為教育教學改革的關鍵環節，對于教育教學質量的提高起著重要的作用。傳統的課堂教學評價方法存在人工參與程度高、人工費用高、客觀性難以保障等缺陷。本研究利用深度學習算法從教學視頻數據中提取特征，對教師的教學行為進行客觀、準確的評價。使得課堂教學評價在教育教學環節中充分、有效地發揮指揮棒的作用，推動高職院校積極打造“金課”，全面提升高等職業教育課堂教學效果，進而提升人才綜合素質以及人才培養質量。

1文獻綜述

傳統的課堂教學行為評價方法主要依靠人工評價，其主觀性強，不同評價者之間可能存在差異。同時，評價指標選擇困難，很難全面準確地反映教學行為的特點。此外，評價過程耗時，限制了教學評價的實時性和效率。截至2023年7月，從中國知網檢索結果來看，與“深度學習”和“教學評價”相關的研究成果數量僅為502個，其中2023年為78個，2022年為246個，2021為178個，最早相關文獻出現在2014年，通過對現有文獻進行梳理總結，大部學者對深度學習視域下課堂教學評價的研究主要集中在三方面。

1.1關于CLEM方法的相關技術研究

基于深度學習的評價方法利用神經網絡的層次化學習，能夠從大規模數據中學習到更高層次的抽象特征，從而實現對教學行為的客觀準確評價。與傳統方法相比，該方法具有更強的自適應性和泛化能力，能夠更好地應對復雜多變的教學場景。

近年來，國內學者研究關于最新信息技術的課堂教學評價工具，實現課堂教學評價的智能化，表1列舉了國內較有代表性的課堂教學評價方法[1-4]。

目前，姿態識別技術和表情識別技術主要被廣泛應用到課堂教學環境下的學生學習行為研究中。

1.2課堂教學評價系統研究

課堂教學評價系統的研究目前處于快速發展的階段，涉及到數據采集與處理、模型設計與優化、評價結果可視化等多個方面。未來的研究方向包括數據多模態融合、評價指標的細化和個性化、在線實時評價等，以進一步提高課堂教學評價系統的準確性和實用性。

田晶等學者通過研究發現，目前，國內的課堂評價系統普遍存在重結果輕過程、忽視了學生生命發展的整體性、對學生學習的主動性關注不夠、教學過程缺乏可視化、知識與深度學習之間割裂、課堂評價與過程指導割裂的問題[5]。

1.3課堂教學評價應用研究

課堂教學評價的應用研究涉及到多個層面，包括教師評價、學生評價、教學質量評價等，該研究已經取得了一些進展，但仍然存在一些挑戰，如數據分析和處理、評價指標的精準性和科學性等方面。未來的研究方向包括利用大數據和人工智能技術進行更精準、全面的評價，提供個性化的反饋和改進建議，以及創新教學評價方法和工具，滿足不同教育階段和場景的需求。

綜上所述，利用CLEM方法開展學生學習行為分析與課堂教學評價對改變教學方法和改善課堂教學效果具有重要的意義。但目前，課堂教學評價研究領域的相關理論研究不足；深度學習技術融入高等職業教育課堂教學評價在算法、結果以及教學干預等方面存在不足；評價系統功能單一；實證研究存在應用范圍窄，普適性不足等問題。因此，探索深度學習支持的教學評價創新，是提升我國高等職業教育課堂教學質量的有益嘗試。

2研究設計

深度學習在課堂教學評價中的應用逐漸引起研究人員的關注。常見的深度學習評價算法有基于視覺模型的行為識別、基于語音模型的情感分析、學習行為模式識別、生成式模型的自動評價。深度學習評價算法在實際應用中還面臨一些挑戰，如數據收集、模型訓練與調優、評價結果的解釋性等方面。深度學習評價算法在課堂教學中具有潛力，可以實現對教師和學生行為的自動識別和評價，提供全面、客觀的教學評價和改進建議。

2.1基于目標檢測算法提取圖像數據

通過大量數據的訓練，神經網絡可以學習到圖像中的復雜特征和模式，從而在各種視覺任務中展現出優秀的性能。如圖1所示，使用深度學習分類方法，可以確定目標對象的面部位置，并據此獲取學生的出勤率和抬頭率。

2.2基于長短期記憶網絡算法分析情感

為了挖掘學生對教學態度、教學方法、教學效果等情感傾向，本研究使用長短期記憶網絡算法對學生評價行為的文本數據進行處理，分析學生的情感特征。情感分析旨在從文本或語音中了解情感表達，如情緒（喜悅、憤怒、悲傷）。

2.3基于波爾茲曼機獲取行為特征

為獲取學生的深度學習行為特征，本研究使用深度混合判別受限玻爾茲曼機方法，該方法具有強大的學習能力和預測性，可以高精準地判斷深度學習行為特征?；谏疃然旌吓袆e確定玻爾茲曼機可有效獲取深度學習行為特征。通過結合多種模型和特征提取器，可以獲得更好的特征表示，從而提高分類性能和降低計算復雜度。

2.4基于多元回歸分析方法追蹤關聯行為

在行為特征的追蹤中，可以利用多元回歸分析來確定行為特征之間的關聯行為，計算不同自變量與因變量之間的回歸系數，這些系數可以告訴我們自變量的變化對因變量的影響程度，從而幫助我們確定不同行為特征的關聯行為?；诙嘣貧w分析方法可以追蹤行為特征之間的關聯行為。通過建立回歸模型，我們可以確定不同行為特征之間的關系，并了解它們對目標變量的影響程度。這可以幫助我們深入了解行為特征之間的相互作用和關聯。

3實驗與結果

3.1實驗環境

本實驗環境配置如下：操作系統Linux；內存256?GB；GPU?Tesla?P100?32?GB；?Cuda?11.0+Pytorch?1.6.0+Pycharm?2022；批大小為128，初始學習率為0.001，每30個epoch按10%的速率遞減。

3.2數據集和預處理

本文以湖南網絡工程職業學院智慧教室拍攝的視頻作為數據集。利用162個教學視頻，視頻時長43～89?min，?4500個視頻片段，每個視頻片段都包含了視覺和文本信息，部分教學事件或環節鏡頭類別實例如圖5所示。項目導入、教學目標、課堂測試、合作式學習以及課堂總結等5?類鏡頭數分別有391、387、476、4231和395個，分別選取279、278、289、3999和279個視頻片段作為訓練集，每類分別選擇90個視頻片段作為驗證集，每類分別選擇90個視頻片段作為測試集。

采用Optical?character?recognition工具MMMT從屏幕中識別文本，智能語音識別ASR?工具Freeswitch?從語音中識別文本，同時采用了中文文本糾錯工具Pycorrector，有效降低OCR工具的識別錯誤。使用中文分詞工具jieba完成了停用詞清洗、分詞和分句等文本預處理。

3.3評價指標

本文定義精確率、召回率、F1分數和平均交并比4?個指標評測算法。

3.3.1?精確率P

精確率P?表示預測為正樣本中有多少是真正的正樣本，即公式⑴

公式⑴中TP、FP?和FN?分別表示分類正確的正樣本數、分類錯誤的正樣本數和分類錯誤的負樣本數。

3.3.2召回率R

召回率R?表示樣本中的正例有多少被預測正確，?即公式⑵

3.3.3?F1分數

F1?分數是P和R的調和平均值，即公式⑶

3.3.4平均交并比

平均交并比Miou是真實值和預測值2?個集合之間交集和并集的比例，即公式⑷

3.4行為識別與計算

3.4.1構建行為識別模型

為了衡量基于深度學習的課堂教學評價方法CLEM的有效性，選擇了ZHANG?X?R等的低秩稀疏矩陣奇異值分解法（SVD）［6］、ZHAO?B?Q等的幻燈片邊緣過渡信息（SBLV）［7］、謝從華等的課堂視頻鏡頭邊界檢測方法HTLV-SBD、SOU?EK?T等人提出的擴展卷積網絡方法（TransNet?V2）［8］進行了對比實驗。通過對比驗證實驗，獲得本研究方法的準確率、精確率、召回率和F1分數，實驗結果如表1所示。

從表1中可以發現，不一樣的視頻處理算法在5類鏡頭的指標平均值，SVD方法僅僅利用了視覺信息，4個指標的均值最低，表明教學事件或主要環節的視覺信息變化不明顯；SBLV方法通過檢測鼠標指針或激光筆的點、幻燈片的過渡、動畫顯示等幻燈片進度等3個主要事件，識別幻燈片的Canny邊緣特征和文本信息等鏡頭內容，比SVD等方法更好。CLEM方法結果最好，比SBLV方法的P、R、F1?和Miou?指標分別提高了23.3%、22.4%、22%?和35.7%，比TransNet?V2?方法的P、R、F1?和Miou?指標分別提高了13.8%，14.5%、14.3%?和21.3%。

3.4.2生行為統計及教學模式判定

⑴師生行為統計：對教師和學生在課堂上的行為進行跟蹤和記錄。例如，教師的教學方法、使用的語言、與學生的互動等；以及學生的學習行為、參與度、互動與反饋等。這些數據可以通過教學觀察、錄像記錄或者現代化的學習管理系統（LMS）收集。統計分析后，可以幫助理解師生互動的模式、課堂氣氛，以及教學效果。

⑵教學模式判定：這是根據收集的數據，發現和理解教學的模式或者策略。比如看看哪種教學方法在特定上下文或特定的學生群體中效果最好，或者哪些教學行為能鼓勵學生活躍參與等。此外，教學模式也可以通過機器學習算法自動判定，例如使用決策樹、隨機森林、支持向量機等算法，以找出最具預測性的教學模式。

根據設定的參數，教師行為（T）的個數為，學生行為（S）的個數為，連續同一行為的連數為g。公式⑸計算的是課堂中教師行為占有率Rt，而公式⑹則計算師生行為轉換率。

通過分析Rt和Ch的數值，可以判斷課堂教學模式，具體的判斷標準請參考表4。

4結語

基于深度學習的課堂教學行為評價方法為課堂教學質量改進提供了新的思路和途徑。然而，該方法在數據采集、特征提取和算法設計等方面仍然存在一些挑戰。未來的研究方向應著重解決這些問題，進一步提升評價結果的準確性和關聯性，提高評價方法的實用性和可操作性。同時，還應加強對該方法在不同教學場景下的適用性和效果的研究，推動基于深度學習的課堂教學行為評價方法在實際教學中的應用。

參考文獻

[1] 白捷，高海力，王永眾，等.基于多路特征融合的Faster?R-CNN與遷移學習的學生課堂行為檢測[J].廣西師范大學學報（自然科學版），2020，38（5）：1-11.

[2] 于婉瑩，梁美玉，王笑笑，等.基于深度注意力網絡的課堂教學視頻中學生表情識別與智能教學評估[J].計算機應用，2022，42（3）：743-749.

[3] 黃浩，顏錢，甘庭，等.基于離散泊松混合模型的教學評價數據建模[J].計算機應用研究，2022，39（9）：2626-2630.

[4] 謝從華，羅德鳳，方雨潔.面向教學評價的課堂視頻鏡頭邊界檢測新方法[J].數據采集與處理，2023，38（1）：174-185.

[5] 田晶.?促進深度學習的課堂評價機制研究[D].昆明：云南師范大學，2021.

[6] ZHANG?X?R，LI?C，LI?S?W，et?al.?Automated?segmentation?of?MOOC?lectures?towards?customized?learning[C]//?2016?IEEE?16th?International?Conference?on?Advanced?Learning?Technologies?（ICALT）.?IEEE，2016：20-22.

[7] ZHAO?B?Q，XU?S?H，LIN?S?J，?et.?al.?A?new?visual?interface?for?searching?and?navigating?slide-based?lecture?videos?[C]//?2019?IEEE?International?Conference?on?Multimedia?and?Expo?（ICME）.Shanghai：IEEE，2019：?928-933.

[8] SOU?EK?T，?LOKO??J.?TransNet?V2：?An?effective?deep?network?architecture?for?fast?shot?transition?detection?[EB/OL].（2020-8-11）[2022-3-15].?https：//arxiv.org/abs/2008.04838.