基于表情識別的智慧教室授課評估系統

蔡玉寶 李德峰 連海根 馬留洋

摘要：本文詳細分析了目前教室授課評估系統存在的問題，采用監控攝像頭配合人臉情緒識別技術，通過實時監控學生情緒狀態變化評估課堂授課狀態。本文提出一種基于Python+ OpenCV+Dlib的面部情緒分析課堂授課評估系統的設計與實現，該系統實現的功能模塊包括人臉圖像采集、人臉檢測與定位、表情特征提取與識別、課堂活躍程度統計，授課狀態報表生成等。系統中人臉檢測與識別基于OpenCV的face_recognition模塊，采用開源庫Dlib進行面部特征點提取，最后提取學生課堂情緒狀態。系統經過運行測試，結果表明該系統能夠滿足一般的基于人臉情緒識別的授課評估任務需求。

關鍵詞：表情識別;智慧教室;教學評估

中圖分類號：TP391.41? ? 文獻標識碼：A? ? ? 文章編號：1007-9416（2020）10-0000-00

0引言

智慧教室體現在多媒體教室及網絡教室的組合，它是由物聯網技術、云計算技術和智能技術等新技術構建起來的一種新型教室，這種新型的教室系統由有形的物理空間以及無形的數字空間組成，它通過各類智能裝備來輔助教學內容呈現、便利學習資源獲取、促進課堂交互開展，實現情境感知和環境管理功能的新型教室[1]。教學評價是根據教學目標對教學過程和結果進行判斷并為教學決策服務的活動。教學評價是研究教師教學和學生學習價值的過程。教學評價一般包括教學過程中對教師、學生、教學內容、方法、環境、管理等因素的評價。然而，目前的教學評估工作幾乎等同于對教師教學工作的評估，嚴重忽視針對學生的關注[2]。諸多關注學習本身而忽視學生個性、情緒的現象使得教育偏離其本質與根本追求，而教師本身的教學經驗等諸多人為因素對于學生情緒判斷也起到了一定的制約作用，從而影響到學生學習與成長，缺少有效的信息來判斷學生在校學習的過程中的具體情況。因此，如何能夠將信息化技術與教育教學相結合，使得教學過程更加人性化、給予學生更全面的教育與培養，成為教育行業關注的重點課題。而基于表情識別的智慧教室授課評估系統作為智慧教室的一部分，能很好的監視及評估學生接受新知識的狀態，方便授課教師實時調整授課方式，對教學工作展開及教學工作評估有很好的促進作用。

1系統組成

系統由視頻采集模塊、情緒識別模塊及教學評估模塊組成，如圖1所示。其中視頻采集模塊由攝像頭實時采集授課教室中學生們的狀態信息，并進行視頻預處理操作。情緒識別模塊通過分析學生的面部表情、肢體語言及其他狀態信息來進行學生的情緒識別。教學評估模塊通過分析學生情緒的統計信息來進行授課狀態的評估，在軟件界面能實時顯示學生授課狀態信息，同時能將學生授課狀態信息上傳至遠程服務器進行課后教學評估。

2視頻采集模塊

系統采用海康威視網絡高清攝像頭，采集課堂學生圖像信息。由于成本、環境等因素影響，所獲取的原始視頻質量并不高，甚至很低。例如，由于環境、噪聲、光照、運動等影響，往往所采集的圖像常常出現模糊、扭曲、噪點、太亮或太暗、彩色不鮮明等。對于這種質量比較差的視頻，直接進行情緒識別，往往識別效果不是特別明顯，尤其是通過人臉圖像去識別某個學生時，質量較差的圖像，識別錯誤率會增加。因此，在現有的條件下提高采集的視頻質量是本系統需要解決的一個問題，對攝像頭采集的視頻進行預處理，可以提高視頻采集質量，有利于后續的視頻處理，可以更有效的提取視頻中感興趣的信息。

預處理流程如圖 2所示，首先對每幀圖像進行高斯濾波，依據霍夫變換計算圖像傾斜角，通過傾斜角對圖像進行矯正，最后裁剪合適的圖像。

3情緒識別模塊

盡管情緒是人內心狀態的體驗，但是往往會伴隨一些外在的表現，如面部表情、身體姿態語言及其他外在表現等。根據表情的發生部位和方式的不同，可將表情分為面部表情、體態表情和言語表情[3]。面部表情是通過眼、眉、嘴和臉頰部肌肉變化來表現情緒狀態;言語表情是指情感發生時個體在語言的聲調、節奏和速度等方面的特征;體態表情是身體各部分的表情動作。

本系統情緒識別包括人臉檢測模塊、人臉識別模塊及情緒識別模塊組成。在眾多人臉檢測算法中，基于Haar特征的Adaboost的人臉檢測分類器具有使用簡單、速度快、準確率高等優點[4]，OpenCV自帶的分類器是在大量的不同光照，不同表情的正樣本和其他負樣本訓練而成的，能夠高效準確的實現人臉的檢測，因此本系統中人臉檢測模塊采用基于OpenCV的基于Haar特征的Adaboost的人臉檢測分類器進行人臉檢測。人臉識別利用開源API：face_recognition實現人臉識別，技術實現相對CNN更簡單，只需匹配對應人臉庫即可。情緒識別模塊首先采用開源庫dlib作者訓練好人臉特征檢測器，進行面部68個特征點的信息獲取，在通過嘴巴張開距離占面部識別框寬度的比例，眉毛上揚程度，瞇眼睛等信息來識別學生的情緒。將采集到的每幀圖像中，統計學生個體的情緒狀態，根據學生情緒狀態情緒識別模塊最終輸出三個課堂情緒值分別用H、N、S表示，其中H代表該學生課堂表現良好，N表示該學生課堂表現一般，S表示該學生課堂表現較差。

4教學評估模塊

實時統計情緒識別模塊輸出的學生個體課堂情緒狀態，統計信息包括學生個體實時課堂情緒值H/N/S占比、每一分鐘統計學生個體和學生群體課堂活躍情況。通過統計H的個數Ci（H），N的個數Ci（N），S的個數Ci（S），來計算課堂活躍情況。

學生個體實時課堂情緒值計算方式：

H占比

Ri（H） = Ci（H）/（ Ci（H） + Ci（N）+ Ci（S））

N占比

Ri（N） = Ci（N）/（ Ci（H） + Ci（N）+ Ci（S））

S占比

Ri（S） = Ci（S）/（ Ci（H） + Ci（N）+ Ci（S））

學生個體課堂活躍情況計算方式：

Ai = 0.5* Ri（H） +0.3* Ri（N） +0.2 *Ri（S）

整個教室學生群體課堂活躍情況計算方式：

根據以上計算結果在系統界面實時顯示，課堂結束后生成該節課的pdf報表圖，上傳至遠程服務器。授課老師根據課堂活躍情況可以實時調整自己的授課方式，學校考評組可以根據服務器上的報表評估教師的授課情況。

5結語

本系統采用OpenCV中的face_recognition模塊進行人臉檢測與識別，采用開源庫dlib進行面部68個特征點信息獲取，通過計算嘴巴、眉毛及眼睛動作信息獲得學生的課堂情緒信息，統計學生個體及學生群體課堂活躍程度，最后生成課堂活躍信息的報表。授課老師可以通過觀察學生課堂活躍程度來實時調整自己的授課方式，同時可以對教師的授課情況進行遠程評估，對教學工作展開及教學工作評估有很好的促進作用。

參考文獻

[1]楊紅云，雷體南.智慧教育 物聯網之教育應用[M].北京：華文出版社，2016.

[2]曾小芹.智慧教室環境下基于學生微表情的教學評價機制的構建[J].中國多媒體與網絡教學學報（上旬刊），2018（8）：22-23.

[3]何良華.人臉表情識別中若干關鍵技術的研究[D].南京：東南大學，2005.

[4]侯曉雨.視頻中的人臉檢測與識別系統的設計與實現[D].北京：北京郵電大學，2017.

收稿日期：2020-08-14

作者簡介：蔡玉寶（1989—），男，河南信陽人，碩士研究生，工程師，研究方向：人工智能。

Intelligent Classroom Teaching Evaluation System Based on Expression Recognition

CAI Yu-bao1，LI De-feng1，LIAN Hai-gen2，MA Liu-yang1

（1.The 27th Research Institute of China Electronics Technology Group Corporation， Zhenzhou Henan? 450000）

（2.Military Representative Office of the Army Equipment Department in Xi'an Region in Zhengzhou，Zhenzhou Henan? 450000）

Abstract：This paper analyzes the existing problems of the current classroom teaching evaluation system in detail. We use the monitoring camera and face emotion recognition technology to evaluate the classroom teaching state by monitoring the changes of students' emotional state in real time. This paper presents the design and implementation of a face emotion analysis classroom teaching evaluation system based on Python + OpenCV + Dlib. The functional modules of the system include face image collection， face detection and location， expression feature extraction and recognition， classroom activity statistics， teaching status report generation， etc. In the system， face recognition module based on OpenCV. We use Dlib to extract facial feature points， and finally extracts students' emotional state in class. The result of running test shows that the system can meet the needs of teaching evaluation task based on face emotion recognition.

Key words：expression recognition;intelligent classroom;teaching evaluation