基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂面部表情識別研究

劉錦峰

摘? 要：學(xué)生課堂面部表情識別產(chǎn)品不適合采用“大樣本”的研發(fā)方法，為減少數(shù)據(jù)采集工作量，提出使用卷積神經(jīng)網(wǎng)絡(luò)算法，分析了卷積神經(jīng)網(wǎng)絡(luò)基本原理，探討了總體結(jié)構(gòu)，設(shè)計了識別流程，以證件照為原始樣本構(gòu)建了人臉數(shù)據(jù)集，以表情特征訓(xùn)練的方法擴展數(shù)據(jù)集，經(jīng)實驗研究表明，該方法表現(xiàn)良好，能夠有效開展識別。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò);面部表情;識別

中圖分類號：G642? ? ? ? ?文獻標(biāo)志碼：A? ? ? ? ?文章編號：2096-000X（2020）07-0067-03

Abstract： Students' facial expression recognition products are not suitable for the "large sample" research and development method， in order to reduce the workload of data collection， convolutional neural network algorithm is proposed， the basic principle of convolutional neural network is analyzed， the overall structure is discussed， the recognition process is designed， the face data set with the original sample of certificate photo is constructed， and the data set is extended to the method of expression feature training. The experimental results show that this method performs well and can workeffectively in recognition.

Keywords： convolutional neural network; facial expression; recognition

一、概述

情緒對動機有積極作用，學(xué)生課堂情緒與學(xué)習(xí)動機密切相關(guān)，是影響學(xué)習(xí)效果的重要因素之一。面部表情是情緒的“晴雨表”，以往是教師通過學(xué)生面部表情解讀學(xué)生情緒，以此及時引導(dǎo)學(xué)生調(diào)整情緒狀態(tài)，但是受班額大、教師能力與經(jīng)驗等因素影響，效果不佳。隨著智能技術(shù)在教育領(lǐng)域的廣泛應(yīng)用，各學(xué)校建設(shè)了智慧教室，其智能監(jiān)控設(shè)備能實時捕獲面部特征，以識別其面部表情，從而分析出學(xué)生的情緒狀態(tài)。

目前面部表情識別的相關(guān)產(chǎn)品都是基于“大樣本”研發(fā)，訓(xùn)練模型較好、識別率較高，但是需要收集大量數(shù)據(jù)，研發(fā)難度較大。在學(xué)生信息管理中，往往只能獲取到單一的人臉數(shù)據(jù)，訓(xùn)練樣本較小，可能會導(dǎo)致識別效果低，甚至不能識別。本文提出使用卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別，降低對訓(xùn)練樣本量的依賴，減少收集工作量，減輕數(shù)據(jù)存儲壓力。

二、研究現(xiàn)狀

本世紀(jì)九十年代初，Turk和Pentlandt[1]提出了特征臉技術(shù)，拉開人臉識別研究序幕。隨著機器學(xué)習(xí)理論發(fā)展迅速，廣大研究者將遺傳算法、支持向量機等應(yīng)用于人臉識別技術(shù)中，雖然識別率不斷提高，但是仍沒有超過人眼識別率。2013年，MSRA的研究學(xué)者使用10萬張人臉圖像作為訓(xùn)練集，識別率達到了95.17%[2]，首次超過人眼識別率。近年來，很多學(xué)者應(yīng)用數(shù)據(jù)增強技術(shù)、子空間擴展法、三維建模方法、基于泛化學(xué)習(xí)的方法、通用學(xué)習(xí)框架法、one-shot-learning、zero-shot-learning等技術(shù)開展小樣本人臉識別，取得了一定成效。

隨著教育信息化持續(xù)，國內(nèi)越來越多學(xué)者對學(xué)生課堂面部表情識別開展研究，取得了較好的理論成果和實踐成效。2018年，陳靚影[3]等人對頭部姿態(tài)、面部表情、課堂互動等開展識別與融合研究，以此判斷學(xué)生課堂學(xué)習(xí)興趣，其中面部表情是采用條件隨機森林方法識別笑臉表情，即主要分析學(xué)生課堂積極情緒。賈鸝宇[4]采用DLIB官方提供的特征提取器開展了實踐研究。

從已有成果看，小樣本人臉識別技術(shù)還不夠成熟，識別率不夠高。課堂教學(xué)大場景下，不同表情、角度、光照等條件下的捕捉與識別難度更大，應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)算法，對面部圖像的處理與分析，能提高識別率。

三、卷積神經(jīng)網(wǎng)絡(luò)基本原理

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種仿造生物視知覺機制的算法[5]，是深度學(xué)習(xí)（deep learning）代表算法之一，被廣泛的應(yīng)用于自然語言處理和計算機視覺等領(lǐng)域。

（一）卷積神經(jīng)網(wǎng)絡(luò)的特點

卷積神經(jīng)網(wǎng)絡(luò)主要特點是局部連接和權(quán)值共享。其中，局部連接是指從隱藏層隱式提取權(quán)值相同的特征，進行并行學(xué)習(xí)，降低網(wǎng)絡(luò)復(fù)雜度，避免數(shù)據(jù)重建。權(quán)值共享是指圖像同一深度的平面切片上可以共享同一組權(quán)重和偏置，采用梯度下降法開展參數(shù)學(xué)習(xí)，從而減少網(wǎng)絡(luò)中的參數(shù)數(shù)量。

基于上述特征，構(gòu)建圖1所示的基本結(jié)構(gòu)，主要包括輸入層、卷積層、池化層、全連接層和輸出層，完成特征提取與特征映射兩個操作。特征提取是指每個神經(jīng)元的輸入都局部連接特征點，并傳到下一層，傳完一個點轉(zhuǎn)向另一個點;特征映射是權(quán)值相等的平面上，通過激活函數(shù)將一個點的特征映射到其他點上。

（二）卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練包括正向傳播和反向傳播兩個部分。正向傳播是指從輸入層向輸出層正向計算，順序傳遞;反向傳播是指輸出結(jié)果與真實值進行對比，將超出誤差部分進行更新。

正向傳播模型式1和式2，由輸入層輸入、隱藏層計算、輸出層輸出。

式中，a（l）為第l層的輸出值，W（l）為l從到l+1層的連接權(quán)值，b（l）是l層的偏置值，f（*）是激活函數(shù)。

反向傳播主要是驗證輸出結(jié)果的可靠性，反向循環(huán)迭代，與各層權(quán)重對比，對超出誤差范圍值不斷修正，直到達到預(yù)期范圍。

四、基于卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別實驗

（一）識別流程

本文按照圖2所示的圖像采集、人臉定位、特征提取、特征對比、輸出結(jié)果的流程開展識別。識別過程中將數(shù)據(jù)進行存儲，對原始樣本進行擴充，不斷豐富樣本信息，大大降低直接獲取數(shù)據(jù)樣本的難度。

（二）構(gòu)建樣本

本研究選取60人的單張證件照作為原始樣本，構(gòu)建了圖3所示的小樣本數(shù)據(jù)集。因證件照片為相同背景，能夠使得圖像中的人臉處于同一個角度，能夠消除不同圖像背景影響、避免人臉膚色影響等。在此基礎(chǔ)上，開展了鏡像變換、多區(qū)域裁剪、高斯噪聲、對稱擴充、位平面法等數(shù)據(jù)增強技術(shù)擴充樣本數(shù)據(jù)庫。

為了實現(xiàn)表情識別，使用對抗生成[6]網(wǎng)絡(luò)進行樣本擴充，從圖4所示的表情特征樣本中提取表情，使用卷積神經(jīng)網(wǎng)絡(luò)模型，將其“附著”于單一人臉圖像，訓(xùn)練生成不同表情下的人臉圖像。對訓(xùn)練結(jié)果進行損失測試，如圖5所示，經(jīng)迭代次數(shù)增加，損失值不斷減小并趨于平穩(wěn)。

（三）實驗結(jié)果分析

經(jīng)卷積神經(jīng)網(wǎng)絡(luò)模型擴充后，實驗使用的人臉數(shù)據(jù)集擴充到1200張，經(jīng)對齊、裁剪、歸一化后，解決了不良干擾。課堂環(huán)境實驗之前，將數(shù)據(jù)集分為表2所示的訓(xùn)練、驗證和測試三組。

實驗得到圖6所示的第一層卷積核形態(tài)，每一個方塊代表一個卷積核，可以看出基本上沒有噪聲圖像，總體比較美觀、光滑，圖像相關(guān)性不高。從圖7所示的第一層與第二層響應(yīng)特征圖可以看出，第二層雖然看不出原圖，但是可以看出輪廓。對其他層特征圖分析發(fā)現(xiàn)，學(xué)生課堂面部表情識別有較好的稀疏性，保證了泛化能力和識別能力，總體識別率達到91%。

五、結(jié)束語

本文研究了基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)生課堂面部表情識別方法。基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，開展了特征分析和訓(xùn)練，根據(jù)實驗數(shù)據(jù)特點設(shè)計合適的參數(shù)，對構(gòu)建的數(shù)據(jù)集進行訓(xùn)練，經(jīng)測試和分析，結(jié)果表明構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)的模型在學(xué)生課堂面部表情數(shù)據(jù)集上表現(xiàn)良好，使用測試集測試的識別率在91%，表明該方法科學(xué)可行，且能夠降低對訓(xùn)練樣本量的依賴，減少收集工作量，減輕數(shù)據(jù)存儲壓力。

參考文獻：

[1]Turk M， Pentland A. Eigenfaces for Recognition[J]. Journal of Cognitive Neuroscience， 1991，3（1）：71.

[2]Chen D， Cao X， Wen F， et al. Blessing of dimensionality： high-dimensional feature and its efficient compression for face verification[C]. IEEE International Conference on Computer Visionand Pattern Recognition，2013.

[3]陳靚影，羅珍珍，徐如意.課堂教學(xué)環(huán)境下學(xué)生學(xué)習(xí)興趣智能化分析[J].電化教育研究，2018，39（08）：91-96.

[4]賈鸝宇，張朝暉，趙小燕，等.基于人工智能視頻處理的課堂學(xué)生狀態(tài)分析[J].現(xiàn)代教育技術(shù)，2019，29（12）：82-88.

[5]方鵬飛，劉復(fù)昌，姚爭為.基于卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像室內(nèi)物體姿態(tài)估計[J].杭州師范大學(xué)學(xué)報（自然科學(xué)版），2020（01）：1-8.

[6]王坤峰，左旺孟，譚營.生成式對抗網(wǎng)絡(luò)：從生成數(shù)據(jù)到創(chuàng)造智能[J].自動化學(xué)報，2018，44（05）：4-9.