基于深度學習人臉識別技術的課堂行為分析評測系統研究

左國才 韓東初 蘇秀芝 王海東 吳小平

摘 要：深度學習人臉識別技術已經非常成熟，并且應用廣泛，但是將深度學習人臉識別技術應用于課堂行為分析評測的研究卻非常少。因此，本文提出一種基于深度學習人臉識別技術的課堂行為分析評測系統，并將該系統應用于高職院校學生專業課程課堂行為分析。課堂行為分析評測系統從學生側臉專注度、學生抬頭低頭專注度、眼睛張合度專注度三個方面來判斷學生是否專注聽課，為課堂教學中的學生課堂行為評價提供客觀評價的依據。實驗證明基于深度學習人臉識別技術的課堂行為分析評測系統可以正確判斷學生的課堂行為，為課堂教學學生課堂行為評價提供依據，方便課堂教學管理與實施。

關鍵詞： 深度學習;人臉識別;課堂行為分析評測系統

【Abstract】 Deep learning face recognition technology has been very mature and widely used， but the application of deep learning face recognition technology in classroom behavior analysis and evaluation research is very few. Therefore， this paper proposes a classroom behavior analysis and evaluation system based on in-depth learning face recognition technology， and applies this system to the classroom behavior analysis of vocational college students' professional courses. Classroom behavior analysis and assessment system judges whether students concentrate on class from three aspects： students' side face concentration， students' head-up and head-down concentration， and their eyes opening and closing concentration. It provides an objective evaluation basis for students' classroom behavior evaluation in classroom teaching. Experiments show that classroom behavior analysis and evaluation system based on in-depth learning face recognition technology can correctly judge students' classroom behavior， provide a basis for students' classroom behavior evaluation， and facilitate classroom teaching management and implementation.

【Key words】 ?deep learning; face recognition; classroom behavior analysis and evaluation system

0 引 言

課堂行為是在課堂情境中的社會行為，是課堂專注度的外在體現[1]。學生的課堂行為反映學生的學習狀態和學習效率，與課堂教學質量密切相關。研究層次主要集中在基礎教育、中等職業教育和基礎研究（社會科學）方面[2-3]。關于課堂行為的研究，國內學界更多是把聚焦點放在教師行為和師生互動行為的研究上[4-7]，而對學生課堂行為的研究相對較少。

國內關于高等教育領域的學生課堂行為研究很少，基礎教育課堂行為研究主要采用主觀報告和定性分析等研究方式，已有研究不適應于復雜的高等教育領域的學生課堂行為研究。本課題擬將人工智能與教育教學研究相結合，設計研發基于深度學習人臉識別技術的課堂行為分析評測系統，對高職學生課堂行為進行客觀量化分析，更好地服務于教育學領域。

1 系統設計

1.1 課堂行為分析評測系統總體框架

課堂行為分析評測系統主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊等五大功能模塊?？傮w框架如圖1所示。

1.2 系統設計思路

綜前所述，本系統主要分為圖像采集模塊、圖像處理模塊、人臉識別模塊、人眼識別模塊、行為分析模塊。對于本系統的整體研發思路，可做闡釋分述如下。

首先，每一幀視頻中截取判斷目標專注度的圖片，并進行相關圖像處理操作。

然后，使用深度學習模型從圖像數據庫中來輔助地離線學習一般化的圖像特征，構造深度特征提取器提取人臉圖像特征，構建有監督的深度學習模型，通過在線微調訓練人臉圖像完成人臉識別任務。

最后，對目標人臉面部特征進行檢測，檢測分析目標人物的眼睛、鼻子、嘴巴特征，將目標在教室中表現出的姿態、神情、動作等特征轉為算法運算，對學生上課專注度進行定量評測。

1.3 課堂行為分析流程

本文設計的基于人臉識別技術的課堂行為分析評測系統，從3個方面實現專注度判斷，即學生側臉專注度的判定;學生抬頭、低頭專注度判定;眼睛的張合度判斷，從而全方位地判斷學生上課的專注度，用于研究現代學徒制班級學生課堂專注行為與學習效果的關系，為現代學徒制班學生課堂學習效果評價提供客觀依據，最終做出更真實有效的教學評價。學生課堂行為分析流程如圖2所示。

2 系統實現

設計基于人臉識別技術的課堂行為分析評測系統，課堂行為分析評測系統實現步驟詳見如下。

（1）提取到目標人臉，對人臉面部特征進行檢測，檢測到目標人物的眼睛、鼻子、嘴巴。

（2）以人眼為判斷專注度的主要特征，把鼻子作為輔助參考區域進行判斷。

（3）從學生側臉專注度、學生抬頭低頭專注度、眼睛張合度專注度三個方面來綜合判斷學生是否專注聽課，根據被檢測目標人眼的張合度大小判定其是否專注。

（4）通過目標在教室中表現出的姿態、神情、動作等特征轉換為算法運算，判斷求出學生上課的專注度。

2.1 數據庫設計

學生信息表：stuInfo（學號，姓名，性別，班級，照片，偏好）

圖像采集表（圖像ID，圖像名稱，圖像大小，圖像類型，抓取時間，存儲路徑，學號，處理標記）

圖像識別表（學號，識別號，圖像ID，存儲路徑，識別結果）

判定過程表（學號，識別號，判定結果，開始時間，結束時間）

專注情況表（學號，判定頻度，開始時間，結束時間）

專注統計表（學號，時間段，判定結果，圖像ID）

2.2 實驗環境

基于人臉識別的學生上課專注度判斷實驗環境主要包括硬件和軟件兩個方面。硬件方面，涉及視頻采集，采用了分辨率較高的網絡視頻監控攝像機，軟件環境方面配置具體如下：操作系統為Windows7，64位，CPU為2.6 G，內存為4 GB。深度學習實驗環境具體如下：CPU為i7-5830K，內存為128 G，GPU為GTX1080，深度學習框架使用TensorFlow1.4 。開發語言：C++，數據庫：Mysql。

2.3 相關代碼

//對齊

FaceAlig：：FaceAlig（const char * model_path）{

faci_detec = new CCFAN（）;

if （model_path == NULL）

model_path = "facesb_fa.bin";

faci_detec->InitModel（model_path）;

float*facial_loc = new float[pts_num * 2];

faci_detec->FaciPoiLoc（gra_im.data， gra_im.width， gra_im.height， face_info， facial_loc）;

for （int i=0; i < pts_num; i++） {

points[i].x = facial_loc[i * 2];

points[i].y = facial_loc[i * 2 + 1]; }

delete[]facial_loc; }

//檢測

facesb：：FaceDete detec（"F：/faceSB/FaceDete/model/facesb_fd.bin"）;

facesb：：FaceAligt point_detec（"F：/faceSB/FaceAligt/model/facesb_fa.bin"）;

FaceIdent_recog（（MODEL_DIR + "facesb_fr.bin"）.c_str（））;

std：：string test_dir = DATA_DIR + "test_face_recog/";

cv：：Mat galle_img_color = cv：：imread（test_dir + "img/test1.jpg"， 1）;

cv：：Matgalle_img_gra;

cv：：cvtColor（galle_img_color， galle_img_gra， CV_BGR2gra）;

cv：：Mat probe_img_color = cv：：imread（test_dir + "img/test2.jpg"， 1）;

cv：：Mat probe_img_gra;

cv：：cvtColor（probe_img_color， probe_img_gra， CV_BGR2gra）;

2.4 實驗結果

課堂行為分析評測系統的主界面如圖3、圖4所示。

課堂行為分析評測系統從學生側臉專注度、學生抬頭低頭專注度進行檢測所得的結果如圖5所示。從圖5可看到，由于學生臉部有遮擋，并且距離較遠，一些學生沒有檢測識別出來，當大多數學生抬頭時，判定抬頭為專注行為，低頭為不專注行為。從眼睛張合度專注度進行檢測所得結果如圖6所示。從圖6可看到，由于距離較遠，人臉圖像較為模糊，有一個學生能識別人臉，但無法定位到人眼，所以判定為不專注行為，其余4個學生可以正確定位到人臉與人眼，其人眼張合度較大，判定為專注行為。

3 結束語

隨著信息技術的飛速發展，創新人才培養模式，同時提升高校課堂授課效率，則有著實際應用價值和深遠意義。本次課題即對學生課堂專注行為和課堂專注度分布情況展開了研究。擬設計基于深度學習框架人臉識別算法的課堂行為分析評測系統，實現對人臉和人眼的定位與識別，能夠對正面和側面人臉進行識別，從3個方面判斷學生上課的專注度，并求得客觀量化的分析評測結果，同時提升人臉識別率、判斷的準確度以及識別速度，為課堂教學評價提供依據。在此基礎上，授課教師可以有針對性地設計教學方案，切實提高課堂教學質量，從而達到預期教學效果。

參考文獻

[1]徐琳，嚴淑斐，史利濤，等.兩岸高校學生課堂行為比較研究—以東北師范大學與臺灣彰化師范大學為例[J].文教資料，2014（15）：157-159.

[2]胡衛星，趙苗苗.多媒體教學過程中學生學習行為的實驗研究[J].中小學電教，2005（11）：50-51.

[3]崔允漷.有效教學[M].上海：華東師范大學出版社，2009.

[4]周敏.初中小班化教育背景下學生課堂問題行為的實證研究[D].寧波：寧波大學，2013.

[5]陳霞.語文課堂學生學習行為的研究[D].桂林：廣西師范大學，2007.

[6]趙慶紅，徐錦芬.大學英語課堂環境與學生課堂行為的關系研究[J].外語與外語教學，2012（4）：66-74.

[7]王會廷，張艷平，閻慧.大學生課堂行為的心理學研究[J].安徽工業大學學報（社會科學版），2012，29（3）：37-38.