基于CNN人臉識別模型的大學生課堂行為分析研究

左國才 吳小平 蘇秀芝 王海東

摘要：本文提出一種基于卷積神經網絡CNN人臉識別模型，并將該模型應用于高職院校學生課堂行為分析。實驗證明，使用卷積神經網絡深度學習框架提取人臉深度特征，構建深度學習人臉識別模型，完成人臉識別，相比傳統的人工設計的人臉特征提取，大大提高人臉識別的準確率。學生課堂行為識別算法可以正確判斷學生的課堂行為，為課堂教學評價提供依據，實現更有效地教學，切實提高教學質量。

關鍵詞：卷積神經網絡：人臉識別模型：課堂行為分析

0 引言

國務院國家職業教育改革實施方案（國發[2019]4號）提出促進職業院校加強專業建設、深化課程改革、提高師資水平，全面提升教育教學質量及人才培養質量。通過對國內外課堂行為相關研究的學術史梳理。以及國內外主流數據庫文獻相關研究動態得知，國內關于高等教育領域的學生課堂行為研究很少。基礎教育課堂行為研究主要采用主觀報告和定性分析等研究方式，已有研究不適應于復雜的高等教育領域的學生課堂行為研究。本文將人工智能與教育教學研究相結合。對高職學生課堂行為進行客觀量化分析，更好地服務于教育學領域。

本文設計基于CNN人臉識別的課堂行為分析算法，用于研究學生課堂專注行為與教學質量的關系，為課堂教學評價提供依據，實現有針對性的教學。

1 課堂行為研究現狀

課堂行為是在課堂情境中的社會行為。它是課堂專注度的外在體現。學生的課堂行為反映學生的學習狀態和學習效率。與課堂教學質量密切相關。

目前課堂行為研究層次主要集中在基礎教育、中等職業教育和基礎研究（社會科學）方面。從現有的相關文獻得知，國內集中在教師行為和師生互動行為的研究上，而對學生課堂行為的研究相對較少。研究最多的是關于學生課堂問題行為、學生課堂行為分類和學習行為的影響因素三個方面。在國際文獻總庫Wiley數據庫中的相關文獻得知，國外學生課堂行為研究領域主要是高等教育，研究主要集中在2005年到2010年之間。我國關于學生課堂專注度的研究是最近10年才興起，每年成遞增的趨勢。在這些文獻中關于學生課堂專注度本身的研究比較少，大多集中在調查和提高學生課堂專注度的方法和策略。

因此，基于CNN人臉識別客觀評測課堂教學質量在實際應用中具有廣泛的前景，在理論研究中也具有較大的研究價值。

2 基于CNN人臉識別模型的課堂行為分析

2.1 卷積神經網絡CNN

本文提出基于卷積神經網絡（CNN）的人臉識別算法，使用CNN模型從大規模的圖像數據庫中離線學習一般化的圖像特征，構造深度特征提取器，用于提取人臉特征，卷積層的局部連接和權值共享，并且可以將自動提取特征和分類功能融合在一個網絡中，構建有監督的高效的深度學習模型，完成人臉識別任務。

卷積神經網絡CNN主要用于圖像識別，由卷積層、池化層、全連接層等組成。CNN網絡模型如圖1所示。

卷積神經網絡中卷積層的權值共享減少了網絡參數量，局部連接減少了網絡的計算量。用Z表示圖像元素，W表示卷積核權重，W。表示卷積核偏置項，y表示特征圖像元素，f表示激活函數。卷積計算公式如（1）所示：

2.2 基于CNN的人臉識別算法

2.2.1 人臉識別網絡結構

卷積神經網絡的人臉識別網絡結構包括輸入層、卷積層、池化層、全連接層、softmax分類器一共7層，網絡結構如圖2所示。

2.2.2 人臉識別模型的訓練與測試

（1）將網絡訓練過程進行多次迭代，每次迭代包括多次訓練，在前向傳播中將CNN提取的特征歸一化后作為Softmax的輸入，對Softmax分類器進行訓練。

（2）將測試樣本輸入到已訓練的網絡中，通過Softmax分類器完成分類識別，根據測試樣本標簽與真實值對比，計算錯誤識別率，完成分類測試。

2.2.3 人臉識別算法流程

輸入：課堂視頻學生人臉圖片

輸出：相似概率最高的類別及相似度概率

（1）輸入課堂視頻學生人臉圖片。

（2）將學生人臉圖片輸入CNN人臉識別模型中，進行分類檢測識別。

（3）選取相似概率最大的類型進行輸出，完成人臉識別。

2.3 學生課堂行為分析算法實現

使用CNN模型提取到目標人臉，對人臉面部特征進行檢測，檢測目標人物的眼睛。以人眼張開度來判斷學生在課堂中專注學習的課堂行為，通過CNN模型檢測學生在課堂中表現出的姿態、神情、動作等課堂行為，綜合判斷學生在課堂上是否認真聽課。

2.3.1 基本思路

首先，隨機從學生課堂視頻中截取圖像幀，并且對圖片進行相應處理：

然后，使用CNN模型離線學習圖像特征，構造深度特征提取器提取人臉圖像特征，構建有監督地深度學習模型，通過在線微調訓練人臉圖像完成人臉識別任務：

最后，對目標人臉面部特征進行檢測，檢測分析目標人物的眼睛、鼻子、嘴巴特征，將目標所在教室表現出的姿態、神情、動作等特征，通過CNN模型進行檢測，判斷學生上課專注度的高低。

2.3.2專注度判定流程

根據學生在課堂上眼睛張開程度以及學生的在教室表現出的姿態、神情、動作等特征，來預測學生上課專注度的概率性，學生上課專注度判斷流程如圖3所示。

2.3.3 檢測目標臉部及眼睛定位

首先根據眼睛在人臉中所在位置的特點。將人臉區域進行裁剪，以減少定位時的計算量。然后對灰度圖像進行邊緣提取，再利用邊界像素的灰度梯度信息去進行快速Hough變換，實現眼睛定位。眼睛定位流程如圖4所示。

2.3.4專注度判定算法

在課堂上，學生的眼睛張開越大，其上課時的專注度就越高。采集學生抬頭時的圖像數據，通過CNN人臉識別模型，檢測識別人臉，通過Hough變換，實現眼睛定位，根據眼睛檢測識別結果，計算被測目標人眼的張開度。如果其張開度大則表示上課中課堂專注的概率性較大，否則上課中課堂專注的概率性較小。

采用CNN模型進行人臉識別，用矩形框標識人臉，檢測目標人臉的眼睛，將眼睛部分用矩形框標識出來，計算被測目標眼睛張開度：

其中，H_i表示眼睛張開的高度，W_i表示眼睛張開的寬度。

計算被測目標眼球的面積，將被測目標圖像中眼睛張開度面積與其最大的眼睛張開度面積相比，得出被測目標在上課中課堂專注度：

當被測目標ZKD的值大于20%時，可以判斷其在上課中的課堂專注概率較高，當被測目標ZKD的值小于20%時，可以判斷其上課中的課堂專注概率較低。

3 測試序列及實驗結果分析

基于CNN人臉識別模型的大學生課堂行為分析算法的實驗環境為：硬件環境采用視頻監控攝像機：軟件環境采用深度學習實驗平臺，CPU為i7-5830K，內存為128G，GPU為GTX1080，框架為TensorFlow1.4，語言為Python3.6.

隨機選取50組學生在教室上課時的課堂視頻序列。間隔5s左右隨機采集學生上課時的課堂教學視頻中的一幀圖像進行人臉檢測和人眼定位，計算學生上課時其眼睛張開時的眼球面積，結合通過CNN模型對學生上課時在課堂表現的神情、姿態進行是否認真聽課的判斷，最終得出被測學生在上課時的是否專注課堂學習的概率。實驗結果如圖5所示，在學生進行課堂學習中，大多數的學生是抬頭，眼睛張開度較大，神情較為專注，表示該學生在上課時專注課堂的概率較高，否則，則該學生在上課時專注課堂的概率較低。

4 結束語

本文采用卷積神經網絡（CNN）模型來完成識別目標深度特征的提取以及實現人臉識別。卷積神經網絡（CNN）結合深度學習結構，使用梯度下降法的反向傳播算法來訓練網絡的一種有監督學習的神經網絡。卷積神經網絡把自動提取特征和分類功能融合在一個網絡中，降低人臉識別過程的復雜度，卷積層的局部連接和權值共享特性使訓練的網絡參數大大減少，提高網絡訓練性能。

設計基于CNN人臉識別模型的課堂行為分析算法，結合檢測識別學生上課時的姿態、神情等，對被測學生在上課時的課堂專注行為進行研究，實現對人臉識別與人眼的定位，計算人眼張開度來判斷學生在上課時專注課堂的概率，判斷學生在上課時是否在認真學習。為教學質量評價提供客觀量化的分析評測結果，同時基于CNN深度學習模型提升了人臉識別的準確率。