一種基于姿勢識別的教師教學行為評價方法

摘? 要：隨著智慧教室的不斷普及，采用傳統人工評教方法已經不能滿足評估教師在這些教室教學視頻中教學行為的需要。針對這些教學視頻，建立了智能化評價教師教學行為的框架。這個框架首先基于HRNet深度學習網絡獲得教師人體姿態信息，然后根據教師的姿態信息建立了評價其教學行為的指標，最后采用模糊綜合評價的方法實現了對教師教學行為的綜合評分。實驗表明，本框架的評價結果總體和傳統的人工評價結果是一致的。

關鍵詞：教師教學行為;深度學習;模糊綜合評價;HRNet模型;姿勢識別

中圖分類號：TP391.41? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-04-06-04

Abstract： With the continuous popularity of smart classrooms， traditional manual evaluation methods are far from meeting the needs of evaluating teaching behaviors in teaching videos of smart classrooms. In view of this problem， this paper proposes a framework for intelligently evaluating teaching behaviors. In the framework， teachers' body posture information is first obtained though HRNet （High Resolution Net） deep learning network. Then an index to evaluate their teaching behavior is established according to the teachers' posture information. Finally， comprehensive scoring of the teachers' teaching behavior is achieved by using the fuzzy comprehensive evaluation method. Experiments show that the overall evaluation results of the proposed framework are consistent with traditional manual evaluation results.

Keywords： teaching behaviors; deep learning; fuzzy comprehensive evaluation; HRNet model; posture recognition

1? ?引言（Introduction）

教師教學行為評價是指學校對教師在課堂上的教學行為有效性進行評價的過程。將評價結果反饋給相關教師，可以指導他們課堂教學能力的提升。當前，教師教學行為評價在很大程度上依賴于學校管理人員、教學督導或其他專業教師的課堂觀察。這種評價方法只能對教師具體的一節課堂教學進行評價，卻難以對教師在整個學期的全部課堂教學進行觀察，不能對教師的課堂教學形成客觀和長期的分析。研究新的教師評價方法和框架成為推動教學改革的新動力之一。當前，人工智能在教育領域的應用成為教育技術領域的新興研究課題之一。將人工智能技術應用于教師教學行為評價，更是一個新興的研究領域。隨著智能教室等教育信息基礎設施不斷投入使用，實時和全教學過程地獲取教師教學行為成為可能。利用人工智能技術實現對教師教學行為的全教學過程智能化分析，為教師提供客觀的課堂評價數據，對促進教師課堂高效教學和提高課堂教學質量具有重要的意義[1]。

2? ?相關研究（Related works）

2.1? ?教師教學行為的視頻分析與評估

視頻分析法是采用智能化的手段跟蹤視頻的目標對象，并獲得目標數據的運動數據。HUANG等[2]提出了一種基于深度卷積神經網絡和級聯的人臉特征點定位方法，分析和識別學生頭部姿態和面部表情，獲取學生的課堂行為，從而評估教師上課效果。閆曉煒等[3]基于yolo算法完成了教師上課時兩種肢體動作的識別，周鵬霄等[4]基于OpenCV的幀差面積法分析教師上課時提問和板書兩種行為。視頻運動目標分析法采用非接觸式的運動分析法，對被檢測對象沒有產生額外干擾，非常適合應用在課堂教學環境中，在運動教學中得到一定的運用，然而當前教師課堂教學中能識別的動作比較少。

獲得教師教學行為數據后，需要評估這些行為反映的教師教學狀態和教學效果，不少最新研究都集中在建立各種教學評估模型上。BLACKWELL[5]采取專家組和非專家組觀看及評價樂器教學演奏視頻的方法，研究發現專家組和非專家組的評價結果總體是匹配的，而且不隨教學經驗的變化而變化。GREVE等[6]提出了一個用于分析課堂視頻的評分系統，然而評分來自被授權的觀察員對教師的主觀評估。上述研究存在無法提供定量分析結果的問題，而且有些定量數據的來源也是通過其他人員的主觀評估而得。教師教學行為的評估還需進一步和教師教學行為數據自動對接，才能發揮信息技術的巨大優勢，實現教師教學行為分析與評估全程自動化。

2.2? ?項目的研究框架

人體姿勢反映了人體運動特征、人的情緒等綜合信息。在教學中，教師的肢體語言充分反映了教師的教學狀態，對學生學習興趣具有重大的影響。本研究建立了基于深度學習技術的課堂教學行為的分析和評估框架，這個框架采用HRNet深度學習網絡建立教師課堂教學行為的人體姿態估計模型，從而獲取教師上課時的人體關鍵點;分析這些人體關鍵點與教師課堂教學行為的對應關系，建立評價教師教學行為的指標;采用模糊綜合評價法對這些指標進行綜合評估，從而判斷教師教學效果。本研究成果能做到教師全過程教學評估，提高評價效率，對有效規范教師教學行為、促進教師教學能力提升，從而提升教學質量具有一定的幫助。

本項目的14 個測試視頻來源于視頻網站haokan.baidu.com公開的教學示范課，每個示范課時長為8—12 分鐘，視頻展示了教師在黑板前的教學活動情況。這些視頻覆蓋了小學和初中的語文、數學、英語等主干課程，部分視頻還展現了一些教師容易出現的負面教學行為。文獻[5]的研究方法，本項目組還邀請了三位資深教師對每個視頻獨立打分，評估視頻中教師教學效果，重點考查教師教學行為。對比教師們的評估結果與本文算法的分析結果，從而驗證本算法的有效性。

實驗平臺的硬件環境：Intel i7-8750H@2.20 GHz CPU，32 GB內存，Nvidia RTX 2070 GPU，8 GB顯存;軟件環境：CUDA Toolkit V10.0，CUDNN V7.0，基于Anaconda 3的Python V3.7，PyTorch 1.6深度學習框架，Windows 10 64 bit操作系統。HRNet模型權重采用精度最高的官方預訓練權重COCO w48 384×288，HRNet模型計算通過GPU加速。

3? 人體姿勢識別算法（Human posture recognition algorithm）

3.1? ?項目的研究框架

人體姿態估計被定義為圖像或視頻中人體關節（也被稱為關鍵點，例如肘部、手腕等）的定位問題。人體骨骼關鍵點的識別在人體姿勢識別的應用中有著舉足輕重的理論價值，它是該任務的基礎方法之一[7]。姿勢識別主要基于骨骼關鍵點檢測來實現，因為骨骼關鍵點的檢測更能精確地描述人體姿勢。基于深度學習的人體姿勢估計核心在于提高人體骨骼關鍵點檢測精確度。在當前眾多人體姿勢識別模型中，HRNet模型的精度是最高的[8]。

HRNet模型是中國科學技術大學和微軟亞洲研究院共同研究并發布的人體姿態估計模型，是CVPR 2019（Conference on Computer Vision and Pattern Recognition， 國際計算機視覺與模式識別會議）影響力最大的10篇論文之一。HRNet模型采用與眾不同的并聯結構，可以隨時保持高分辨率表征，保證姿勢識別的效果穩定輸出，在COCO公開數據集的關鍵點檢測、姿態估計、多人姿態估計這三項任務里，HRNet模型都超越了現有的人體姿態估計模型。因此本文采用HRNet模型作為人體姿態估計算法核心，算法原理如圖1所示。

HRNet模型結構如圖1虛線部分所示，橫向表示模型深度變化，縱向表示特征圖尺度變化。第一、第二、第三行分別負責高、中、低分辨率特征圖的多層卷積運算，每行在適當的卷積運算單位之間分別進行上、下采樣運算，以此相互交換信息，實現多尺度融合與特征提取。最終所估計的人體骨骼關鍵點是通過高分辨率的卷積運算，形成輸入人體圖的骨骼關鍵點熱力圖。根據熱力圖，可以獲得鼻子、左右眼、左右耳、左右肩、左右肘、左右手、左右臀、左右膝、左右腳，共17個骨骼關鍵點的位置信息和最優估計概率。教師的手勢和臉部對教學效果影響最大，因此本研究著重分析鼻子和左右手這三個骨骼關鍵點，如圖2中黑色方塊所示。

給定一段教學視頻，可定義為由幀率為的幅圖片集組成的集合。把HRNet模型作為一個算子，第幀圖片中的鼻子（nose）、左手（left_hand）和右手（right_hand）估計概率和位置信息，如公式（1）所示：

3.2? ?有效關鍵點的選擇

教師在教學過程中，肢體動作不停地變化，姿勢不停地變換，例如轉身、遮擋、肢體交互等，導致鼻子和左右手可能在圖像中暫時消失，這三個關鍵點的對應估計概率比較低。設判斷鼻子消失的關鍵點概率閾值為，則全部滿足的鼻子位置數據組成一個有效顯示鼻子關鍵點的定位序列。

同理，設判斷左右手消失的關鍵點概率閾值分別為、，可得有效顯示左右手關鍵點的定位序列、。一般地，取、、均為0.7，以保證關鍵點能被正確識別。圖3是測試視頻1的鼻子和左右手定位信息展示。

4? 教學行為狀態的評價指標（Evaluation criteria of teaching behaviors）

根據上節所獲得的測試視頻鼻子、左右手定位序列、、，進一步定義教師教學行為狀態的評價指標。

4.1? ?教師板書的評價指標

對于一個測試視頻序列，若相鄰的兩個元素的幀序數差大于等于兩倍的幀率，即滿足公式（2）條件，則記為教師完成一次有效板書：

按此定義，教師一次連續板書時間要超過2秒或以上才能算是完成一次有效板書。這次的有效板書時長如公式（3）所示：

設這個測試視頻的有效板書時長序列為，可得評價指標1—3如下：

指標1：有效板書次數。

指標2：最長有效板書時長。

指標3：平均有效板書時長如公式（4）所示。

4.2? ?教師頭部與手部的評價指標

對于一個測試視頻序列，設鼻子的平均水平位置是，平均垂直位置是，則頭部偏向左邊時間是，頭部偏向右邊時間是，可得指標4。

指標4：頭部左右偏差時間如公式（5）所示。

教師在教學中手部超過胸口以上位置的手勢，稱為上區手勢[9]。手勢在這一區域活動，一般表示教師基本進入教學狀態，而且情緒比較激昂。設左右手的平均垂直擺幅為，則上區手勢閾值定義如公式（6）所示。

指標5：左手屬于上區手勢的幀數

指標6：右手屬于上區手勢的幀數 。

5? ?教學行為綜合評價（Comprehensive evaluation of teaching behaviors）

運用上述教師教學行為評價指標，對本文的14 個教師教學視頻進行綜合評價，以評估視頻中教師的教學行為。本研究采用模糊綜合評價法[10]，此方法以模糊數學為理論基礎，它既可以把對象的多個評價指標融合分析獲得其綜合分值，還可以把綜合分值按最大隸屬度原則去評定對象的等級，尤其適于教師教學的評價。

模糊綜合評價法包括確定因素集、權重集，計算因素評判矩陣，綜合評價計算。

本項目中，因素集即指標1—6，其對應權重集是{0.2，0.2，0.2，0.2，0.1，0.1}。權重集是因素集中每個指標在綜合評價里面所占的權重。由于教師板書時包含了一部分上區手勢，因此左右手的上區手勢權重應適當降低。

設某一個評價指標在14 個測試視頻中的平均值是，最大值是，最小值是，則取平均值作為“最優秀”，建立公式（7）的三角形隸屬度函數。這個隸屬度函數體現了該指標越接近平均評價水平，教師教學行為就越好。根據公式（7），計算14 個測試視頻中指標1—6的隸屬度，形成因素評判矩陣。

因素評判矩陣乘以權重集即可得到最后的綜合評價，如表1所示。計算綜合評價與三位專家評分均值之間的相關系數，可得相關系數是0.99，即兩者的相關程度非常大，表明本算法對教師教學行為的評價和專家的評價基本一致。可見，本算法是有效的。

6? ?結論（Conclusion）

本研究針對教師課堂教學視頻，建立全自動評價教師教學行為的框架。這個框架基于人體姿勢識別模型HRNet獲得了教師的鼻子、左手和右手的關鍵點信息，在這些關鍵點信息的基礎上進一步建立描述教師教學行為狀態的評價指標，將這些評價指標依據模糊評價綜合算法，獲得了教學視頻的綜合評分。在14 個教學演示視頻中，證實了本框架是可行的，為實現教師全教學過程的智能化分析和自動化評價提供了有益的參考。而且本算法框架具有較好的魯棒性，例如關鍵點概率閾值的取值范圍比較廣。第3節中取閾值是0.7，而實際上，閾值取值為[0.6，0.8]并不影響最后的綜合評價結果，只是個別評價指標數值略有變化。

然而教師教學的視頻行為分析是一個新穎的研究領域，還有很多值得深入研究的問題，主要包括：

（1）目前本研究的教學視頻是教師在黑板前的教學行為，而教師不在黑板前的教學行為需要進一步深入研究;

（2）目前本研究是完全依據視頻進行分析，沒有結合教師的授課語音綜合分析，教師授課語音和教學行為的信息融合分析有待突破，評價指標需要進一步增加;

（3）教師的教學視頻樣本量還不夠大，今后需要建立一個覆蓋各學段、各學科、各年級，以及不同教師的教齡、職稱、學歷等方面的教師教學視頻庫。

參考文獻（References）

[1] DOHMS M C， COLLARES C F，TIBERIO I C. Video-based feedback using real consultations for a formative assessment in communication skills[J]. BMC Med Educ， 2020， 20（1）：1-9.

[2] HUANG W， LI N， QIU Z J， et al. An automatic recognition method for students' classroom behaviors based on image processing[J]. Trait Signal， 2020， 37（3）：503-509.

[3] 閆曉煒，張朝暉，趙小燕，等.用于課堂教學評估的教師肢體動作檢測[J].中國教育信息化，2019，16（8）：88-91.

[4] 周鵬霄，鄧偉，郭培育，等.課堂教學視頻中的S-T行為智能識別研究[J].現代教育技術，2018，28（06）：54-59.

[5] BLACKWELL J. Differentiating between teaching experience and expertise in the music studio： A pilot study[J]. Res Stud Music Educ， 2020， 14（4）：1-13.

[6] GREVE S， WEBER K E， BRANDES B， et al. Development of pre-service teachers' teaching performance in physical education during a long-term internship analysis of classroom videos using the Classroom Assessment Scoring System K-3[J]. Ger J Exerc Sport Res， 2020， 11（3）：343-353.

[7] XU X X， ZOU Q， LIN X， et al. Integral knowledge distillation for multi-person pose estimation[J]. IEEE Signal Process Lett， 2020， 27（2）：436-440.

[8] SUN K， XIAO B， LIU D， et al. Deep high-resolution representation learning for human pose estimation[C]. 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach， 2019：5686-5696.

[9]李鵬.電視節目主持人的手勢語淺析[J].中國廣播電視學刊，2019（08）：100-102.

[10] 何梅.基于模糊綜合評價法的本科教學評價[J].中國多媒體與網絡教學學報（上旬刊），2020（07）：34-36.

作者簡介：

鄭譽煌（1979-），男，博士，副教授.研究領域：機械電子工程.