學生表情識別研究綜述*

魏艷濤 雷芬 胡美佳 鄧偉 姚璜 王志鋒

摘? ?要：學習情緒分析有助于理解學生學習狀態、為實施有效學習干預提供重要依據。近年來，隨著人工智能的快速發展，表情識別已成為感知學習情緒最直接和最有效的方式，備受教育技術領域關注。然而，由于表情與認知之間關聯高度復雜、教育場景復雜多變等，學生表情識別依然是一個開放問題。文章采用文獻分析法，對學生表情識別的研究現狀及趨勢進行深入探討。文章首先歸納分析了面向學生表情識別的表情分類和數據庫構建研究進展，重點分析了學生表情分類和數據庫構建存在的系列問題;其次，詳細梳理了學生表情識別方法的研究現狀，并分析了表情識別方法未來的發展方向;第三，梳理了表情識別在教育領域的典型應用;最后，探討了學生表情識別未來在表情分類、魯棒識別算法構建以及隱私保護等方向上的發展趨勢。

關鍵詞：人工智能;學習情緒;學生表情識別;教學評價

中圖分類號：G424;TP391.41 文獻標志碼：A 文章編號：1673-8454（2020）21-0048-08

一、引言

學習情緒是一種重要的內隱式學習特征。學習情緒分析不僅可以為教師理解學生的學習行為、動機、興趣和注意力提供線索，而且還可以為教學評價和教學反思提供重要依據。如何有效精準識別學生學習過程中的情緒狀態，一直是教育領域的研究重點和難點。心理學家Mehrabian通過研究發現：“情緒表達=7%的語言+38%的姿勢表情+55%的面部表情”，面部表情包含豐富直觀的情緒信息。研究表明，在學習環境下，面部表情不僅能直觀反映學生的情緒狀態，還能反映學生的心理狀態。[1]因此，面部表情識別已成為感知學習情緒的主要途徑。

早期學習情緒識別主要依靠人工觀察和學生自我報告。然而，人工觀察法效率低下，且不適用于師生分離的在線學習環境;而自我報告方法主觀性強，易對學習過程產生干擾。隨后Ekman等人開發的面部動作編碼系統（Facial Action Coding System，FACS）受到廣泛關注，FACS根據面部肌肉活動定義了46個動作單元來判斷面部表情，但其實際應用中的使用效率并不高。因此，教育領域迫切需要探索適合大規模數據實時處理的學習情緒識別方法。

近年來，隨著人工智能的迅速發展，表情識別技術在人機交互、安全、自動化、醫療、通信等領域取得了豐碩成果。表情識別因數據獲取的便捷性和方法使用的高效性，而受到了教育領域的廣泛關注。通過基于計算機視覺的表情識別方法準確識別學習情緒，既可以解決學習情緒狀態難以自動感知的問題，也順應了信息技術與教育教學深度融合的發展趨勢。更為重要的，表情識別可為學生調整學習狀態和教育者調整教學策略等提供有效支撐。

當前，表情識別在“人工智能+教育”領域已逐漸引起重視。本文在中國知網數據庫中以關鍵詞“學生表情識別OR學生情緒識別OR參與度識別OR參與度檢測”為檢索條件，同時在“Web of Science”、“Springer”、“Elsevier Science”等數據庫中以關鍵詞“expression recognition of students”、“expression classification of students”、“engagement detection”、“engagement recognition ” 為檢索條件進行檢索，人工剔除無關文獻，迄今為止有關學生表情識別的有效中外文獻分別為111篇和524篇，其中文獻發表數量隨年度變化情況如圖1所示。

圖1表明，從2008年開始，國內外發表的有關學生表情識別的文獻數量總體呈上升趨勢，尤其是近幾年增長速度明顯。可見，隨著“人工智能+教育”的興起，表情識別的相關研究和應用在教育領域逐漸成為新的研究熱點。

二、學生表情分類及數據庫構建

在教學環境下，識別學生表情有助于及時了解學生的學習狀態。隨著學生表情識別研究的不斷深入，越來越多的研究者認識到高質量的表情數據庫對訓練有效的識別模型、準確理解學生的學習行為和狀態具有重要作用。迄今為止，國內外學者建立了許多與學生表情相關的數據庫，但其構建標準和方法并不統一。特別地，表情分類作為表情識別的核心問題和構建表情庫的首要任務還未得到很好的解決。

1.學生表情分類

美國學者Paul Ekman將人類普遍情緒分為六種，即高興、生氣、驚訝、恐懼、厭惡和悲傷。目前大多數研究者均是在Ekman六類基本情緒理論基礎上開展學生表情識別研究，如表1所示。然而，學習情緒不僅具有人類情緒的普遍性，而且還具有其獨特性，例如學生表情大多時候處于中性狀態，波動幅度不大，而類似于“悲傷”和“生氣”這類強烈的負面情緒則需要較強的誘導因素才會出現。由此可見研究者應將關注點置于頻率出現較高且能真實反映學生學習狀態的表情，才能挖掘出學生在不同學習環境下的真實學習情緒。

2.學生表情數據庫構建

學生表情數據庫的質量將直接影響表情識別的效果。如何構建學生表情數據庫一直是個開放性的問題。現有的學生面部表情數據庫主要分為三種類型：一是基于Ekman的6種基本情緒而構建的學生表情數據庫;二是采用面部運動編碼系統（Facial Action Coding System， FACS）進行編碼的學生表情數據庫;三是根據特定研究需要構建的學生表情數據庫。[12]在這三種類型的數據庫中，收集有關學生表情數據的常用方法有兩種：一種是在實驗前對學生進行表情培訓，要求學生按照指示扮演需要采集的表情;另一種是學生在誘導素材的引導下，采集他們自然而發的無意識的表情。比較有代表性的表情數據庫如表2所示。

（1）學生扮演表情數據庫

學生扮演的表情具有很強的針對性，適合做大規模的學生表情數據采集。如徐振國[12]建立了由70名研究生組成的包含常態、高興、憤怒、悲傷、驚恐、專注、走神等7種學習情緒的73500張面部表情圖像庫。學生在扮演相應表情時面部肌肉運動幅度大、表情特征性強、持續時間久，采集起來比較容易。但是在真實情境下大多時候學生處于常態情緒，表情變化幅度并不會太大，因此通過學生扮演表情建立的數據庫無法真實地反映出學生學習狀態。

（2）學生自發表情數據庫

近幾年，研究者更傾向于研究學生無意識流露出的表情，其更貼近真實的學習狀態。因此，自發的學生表情數據庫數量較多。如Kappor等[14]采用電腦解謎的誘導方式，采集到了136名兒童高興趣、中興趣、低興趣、乏味和休息五種狀態下的自然表情。Whitehill等[3]提取了34名學生在認知實驗過程中產生的快樂、悲傷、厭惡、恐懼、驚訝和中性六種表情數據。D'Mello等[9]借助攝像機和身體測試系統采集到了28名大學生在與AutoTutor互動過程中的自然表情。雖然學生在自然狀態下流露的表情研究價值高，但是學生面部肌肉運動幅度小、表情特征性弱、持續時間短，所以采集過程較為困難。

（3）學生表情數據庫的不足

基于以上探討，本文發現目前學生表情數據庫的構建存在以下不足：

①數據庫的建立標準不統一

單從Ekman提出的六種基本表情對學生情緒進行歸納分類，并不能完全劃分真實情緒的界限。例如學生在學習過程中出現的乏味、疲勞、厭倦等頻率較高的表情，面部呈現的效果非常相似，但目前學術界并沒有形成統一的區分標準。除此之外，由于學生表情變化十分豐富，研究者在構建相關數據庫時，定義的類別各式各樣，導致數據庫的質量參差不齊。

②自發表情采集困難

目前大部分研究者都傾向于采集學生的自發表情，但是采集的過程也面臨許多困難。首先要找到能夠成功引發學生自發表情產生所需的誘導素材并不是一件易事。其次在教室環境下的采集過程中，攝像頭與學生保持一定距離，由于攝像頭需同時捕捉多位學生的面部表情，且攝像頭在教室的安置問題，很可能使數據庫視頻質量不佳，單個人臉的分辨率不夠高，數據處理過程困難。

③開源大規模數據庫較少

目前在學生表情識別方面的研究并不多，而且對學生進行數據采集也涉及相關隱私問題，因此開源的學生表情數據庫甚少。而且，不同國家的人臉的面部單元（眼間距、鼻翼寬、額寬）具有一定的差異性，開源數據庫的適用性存在問題。未來需要建立我國學生表情的大規模開源數據庫，以便開展學生表情識別的研究與應用。

三、表情識別方法概述

學生表情識別準確與否對后續開展學習分析有著直接影響。因此，教育應用對表情識別方法的性能提出了更高要求。目前，表情識別方法大致分為基于傳統機器學習的方法和基于深度學習的方法，表情識別過程主要包括人臉檢測、圖像預處理、特征提取和表情分類等，如圖2所示。

1.傳統機器學習方法

（1）人臉檢測

學生表情圖像的背景對識別的效果有很大影響。因此在提取學生表情特征之前，首先要檢測或定位人臉，然后去除背景和非人臉區域。當前，人臉檢測方法又分為基于特征和基于統計學習的方法。

①基于特征的方法

早期基于特征的方法一般要提取灰度、顏色、紋理等特征。然而，這些底層特征難以表達圖像的高層語義信息。為了克服底層特征的不足，研究者開始轉向使用具有更高層次的中層特征。中層特征能獲得更豐富的語義信息，具有更好的抽象表達能力，使分類器對其更易檢測和判斷。常用的基于中層特征的方法包括Object Bank、Distinctive Part、HoF等。為了彌補單一特征帶來的特征信息不足，有研究者提出利用流行的特征獲取方法獲取不同的特征，如將膚色、人臉結構、紋理、運動信息等結合使用，通過不同特征的有效結合，以提高檢測性能。[16]

②基于統計學習的方法

基于統計學習的方法包括神經網絡、支持向量機（Support Vector Machine， SVM）、貝葉斯決策和AdaBoost等方法，其中AdaBoost方法因其快速度和高精度的特點被廣泛應用于在線學習環境下的學生人臉檢測。[12]21世紀初，Viola&Jone提出著名的V-J算法，通過將Harr-like特征分類器引入人臉檢測中，并結合AdaBoost方法得到最能表示人臉的矩形特征，使人臉檢測得到新的發展。與在線學習環境不同的是，傳統課堂中學生的小幅度行為不受控制，容易出現臉部被遮擋等情況，且細小的行為都會導致識別效果產生偏差。[2][17]

（2）數據預處理

不相關的頭部姿勢、光照變化、噪聲干擾等都是很常見的影響識別效果的干擾因素。因此在獲取有意義的特征之前，通常需要進行預處理操作，幫助對齊和規范面部傳達的視覺語義信息。常見的預處理方法包括人臉對齊、數據擴容、人臉歸一化等。[16]

為了對齊人臉，研究者往往將多個檢測器結合，相互補充，以此克服只使用一個檢測器進行人臉比對的缺陷。當前，基于深度學習的人臉對齊算法得到了廣泛應用，但由于深度學習淺層特征表征能力不強，魯棒性差，且難以實現真正意義上的“端對端”，因此，Liu等[18]提出一種端到端的推理決策網絡方法，將人臉對齊看成一種馬爾可夫決策過程，通過策略梯度實現魯棒人臉對齊。而訓練算法性能需要足夠多的數據樣本，大多數研究者采取數據擴容方法解決樣本容量不足問題。數據擴容方式包括隨機擾動和變換，如翻轉、平移、縮放、對比度、噪聲及顏色抖動等。除此之外，研究者還采用人臉歸一化的方法來減少光照和頭部姿勢的改變而導致的圖像變化。[19]

（3）特征提取

特征提取是表情識別中的關鍵環節。學習環境下的學生表情具有一定的內隱性和復雜性，因此需要設計有效的特征提取方法。當前依據數據形態的不同及識別任務的特點，可將表情特征提取算法分為兩大類——基于靜態圖像和基于視頻的特征提取方法。

①基于靜態圖像的特征提取

由于靜態圖像獲取及處理便捷的特性，已有大量研究不考慮數據的時序性問題，進行基于靜態圖像的表情識別任務。基于靜態圖像的特征提取算法可進一步細分為整體法和局部法。整體法包括主元分析法（Principal Component Analysis，PCA）、獨立分量分析法（Independent Component Analysis，ICA）和線性判別分析法（Linear Discriminant Analysis，LDA）等。PCA算法作為一種無監督的方法，在最大化保留人臉信息的基礎上，還能對數據特征進行降維。ICA算法作為一種無監督的方法，與PCA不同的是，除了能對數據降維，提取出的屬性具備相互獨立性，且因收斂速度快，被用于提取學生表情特征。[20]LDA算法是一種有監督的方法，能將高維數據投影到最佳辨別矢量空間并壓縮數據，保留最相關的特征。該方法在表情識別任務中得到了廣泛應用。比較經典的局部特征提取方法有Gabor小波和局部二值模式（Local Binary Patterns，LBP）等。利用Gabor小波系數編碼學生臉部表情，可以獲得良好的視覺效果。但是在計算不同尺度和方向的小波核函數時，Gabor產生的高維特征向量容易造成信息冗余。LBP能夠對灰度圖像進行有效處理，獲取紋理信息進行表達，且對光照條件不敏感。由于學習環境下的學生表情幅度變化不大，研究者開始轉向微表情的探究。微表情是一種短暫的面部動作，持續時間短且強度低。Mao等[21]利用微表情圖像和中性表情圖像中對應子塊之間的投影誤差，提出了一種將圖像各子塊提取的LBP特征進行分割的學生微表情識別方法。但LBP產生的二值數據易受到噪聲的干擾，通過對LBP的改進，目前已經產生了旋轉不變LBP算法、均勻LBP算法、多尺度LBP算法等。

②基于視頻的特征提取

視頻可呈現人臉形變和肌肉運動過程，對表情發生的過程和情緒的轉變具有較好的解釋性。基于視頻的特征提取算法分為光流法、模型法和幾何法。光流法指利用視頻序列圖像間像素強度的時域變化和相關性，獲得人臉各個部分發生運動的信息，表征臉部形變和變化趨勢。Liu等[22]為了提高視頻序列中微表情的識別率，在微表情視頻序列中抽取主方向，將面部區域劃分為感興趣區域，并計算感興趣區域中的平均光流特征。目前研究者提出了改進的光流法，如金字塔光流法、差分光流法、區域光流法、特征光流法等，以克服傳統光流法運算量大、處理困難、易受光線影響等問題。[17]模型法包括主動形狀模型法（Active Shape Models，ASM）和主動外觀模型法（Active Appearance Model，AAM）。在線學習系統中，魏刃佳等[23]基于ASM定位人臉特征點，獲取眼部和嘴巴的形變特征識別學習者的疲勞情況。AAM是當前人臉特征點定位的主流研究方法，韓麗等[24]基于AAM對課堂環境下學生面部關鍵點進行標記，依據建立的形狀模型提取多姿態人臉特征，有效解決了人臉姿態的多樣性，取得了較好的識別效果。幾何方法通過定位面部五官即眉毛、眼睛、鼻子、嘴巴和下巴來獲取人臉表情的顯著特征。

目前一些擴展的手工特征描述符（比如LBP-TOP、3D-HOG 、3D-SIFT等），也被用來提取圖像的時域特征。[25]然而，單一的特征提取算法并不能獲得學生較全面的表情信息，且光照、遮擋、膚色以及運動偏移等因素都會影響表情識別效果。為了提高識別的魯棒性，多特征融合已成為研究者廣泛使用的方式。

（4）表情分類

選擇有效的分類器是進行學生表情識別的關鍵。當前，支持向量機（Support Vector Machine，SVM）、貝葉斯網絡（Bayesian Network）和隱馬爾科夫模型（Hidden Markov Model， HMM）等分類器在解決學生表情分類問題上取得了較好的效果。例如唐康[2]提出了一種基于樸素貝葉斯分類的表情識別和評分方法，對學生情緒進行正負面的分類和評分。鄭子聰在獲取學生表情特征的基礎上，結合SVM線性分類法來識別學生的疲勞狀態。Whitehill等[3]使用Gabor法提取學生面部特征，利用SVM法進行表情分類，該方法泛化能力強，識別準確率高。Grafsgaard等[26]在HMM基礎上提出了一種學習混淆預測模型，該模型可以預測學習者的對話動作、任務表現和面部表情，解決學習中伴隨的困惑障礙。事實上，分類器的選擇很大程度取決于所使用的數據集的屬性。

2.基于深度學習的方法

當面對大規模數據時，傳統的機器學習分類方法效率低下，不能滿足實際需求，特征描述符也只能從面部表情中提取低級特征。除此之外，傳統的手工設計特征依賴于大量的先驗知識和豐富的經驗，并且大多為特定應用所設計，泛化性能不強，特征描述符在實驗中還需要人工調整其參數，十分耗時。深度學習的出現為問題的解決提供了可能，深度學習試圖通過多重非線性轉換和表示的層次結構來捕獲高級抽象的特征。[27]當前深度學習被劃分為三類——無監督深度網絡、有監督深度網絡和半監督深度網絡。無監督深度網絡是指在學習過程中不需要利用標簽信息，主要包括受限波爾茲曼機（Restricted Boltzmann Machine，RBM）、深度置信網絡（Deep Belief Networks，DBN）等。有監督深度網絡是指在學習中需要使用標簽信息，它包括遞歸神經網絡（Recursive Neural Network，RNN）、卷積神經網絡（Convolutional Neural Networks，CNN）等。半監督深度學習網絡只需要少量標記數據和大量未標記數據進行學習，在當前深度學習中受到廣泛關注。

（1）基于靜態圖像的表情識別

目前在靜態圖像的表情識別中，常用的深度學習方法包括CNN、徑向基神經網絡（Radial Basis Neural Networks，RBNN）和深度信念網絡（Deep Belief Network，DBN）等，[28]其中CNN被廣泛應用于學生靜態圖像的面部表情識別。[20]例如徐振國[12]設計了一種7層CNN模型，該模型能快速且準確地識別學生表情并進一步判斷學生情緒狀態。Xu等[17]提出了一種基于情緒感知的學習框架，利用CNN模型對學生進行臉部檢測和表情強度排序。由于深度挖掘方法會自動提取特征，一些無用的特征會干擾有用的特征，為了提高模型的識別性能，研究者開始不斷對CNN進行簡化和改進。[19]

許多現有的情感識別方法專注于單個任務，而情感表現形式豐富，情感識別與各種因素交織在一起，如眼睛狀態、頭部姿勢、心率、腦電等。為了解決這一問題，當前已有學者充分考慮各個模態對情感識別的貢獻度，建立多模態學生情感識別方法。[29]除此之外，目前研究大多基于某一種深度學習方法完成表情識別任務，然而，單一神經網絡的適用范圍有限，未來多種神經網絡的組合使用是提高識別效率的研究熱點。

（2）基于視頻的表情識別

雖然基于靜態圖像的方法可以有效地提取圖像的空間信息，但是在真實的學習環境中，學生表情具有低強度、時間短、持續性和時序性的特點，因此通過連續幀識別面部表情更自然，識別結果更為精準。由于RNN在各種序列分析任務上取得了不錯的表現，人們嘗試使用RNN對隨時間演化的面部表情進行識別。Zhang等[30]基于RNN設計了一種時空遞歸神經網絡模型，利用輸入信號的時空依賴性學習隱藏特征，并在腦電波和面部表情數據集上證明了其有效性。然而，RNN用于提供一種簡單的機制來解決爆炸和消失梯度問題，容易喪失學習序列時域特征的能力，為此，長短時記憶（Long Short-Term Memory，LSTM）網絡應運而生。如王素琴等[31]建立了VGGNet-LSTM模型，首先通過VGGNet模型提取表情圖像的視覺特征，然后使用LSTM提取圖像序列的時序特征，通過特征融合后在此基礎上進行分類，顯著提高了表情識別的準確率。除了面部表情類信息外，Zhu等[32]還考慮了代表性的表情狀態（表情的起始、頂點、偏移量）等影響因素，建立了一個深度的CNN-LSTM子網來學習圖像的時空特征， 進一步識別在線學習中的面部表情。盡管深度學習具有強大的特征學習能力，但在表情識別任務中依然面臨一些挑戰。例如深度學習需要大量的樣本進行訓練，而已有的許多學生表情數據庫規模達不到模型要求，同時，學生的年齡、身高等無關因素的差異也會影響識別結果。

當前，將傳統機器學習方法與深度學習方法結合使用也成為一種常用策略。如在遠程學習中，為了實時識別學生的學習狀態，Yang等[33]采用Haar級聯方法對人臉圖像進行檢測，然后通過Sobel邊緣檢測得到特征值，并送入神經網絡進行識別。而為了自動檢測學生學習走神情況，Bosch等[34]使用OpenFace實時提取面部圖像特征和頭部姿勢特征，建立由SVM和深度神經網絡組成的機器學習模型，但識別的準確率不高。

四、表情識別的典型教育應用

1.線下教學應用

學生在課堂上的情緒能夠直觀反映他們對知識的接受程度。然而，傳統課堂學生人數較多，面對這種大規模表情識別的環境，依賴于教師觀察學生學習情緒變化的方法效率低下。將表情識別技術引入課堂，可以自動化地連續監測、記錄、識別、分析學生情緒變化，且不會對教學實踐流程和學生學習過程產生干擾。

表情識別技術引入課堂，為了解學生課堂投入度、評價課堂效果、衡量教學質量和調整教學策略提供了有益幫助，同時為新入職的教師培訓和學校異常事件檢測開辟了新的途徑。例如Gupta 等[11]通過最大邊緣的人臉檢測方法識別學生表情并計算學生的投入度，將情緒內容分析的結果反饋給教師進行課堂效果評價。學生的情緒演變可以幫助教師了解學生的學習狀況，進一步提高教學質量，因此，Zeng等[35]設計了EmotionCues視覺分析系統，可以在課堂視頻中支持從集體和個人的角度對學生情緒演變進行可視化分析。此外，Park等[36]借助Emotient軟件，通過使用真實課堂行為仿真實時自動檢測職前教師與虛擬學生互動情緒體驗，為以后的虛擬教學仿真和教師培訓提供經驗。Alkabbany等[15]提出通過識別學生學習表情可開發早期預警系統來檢測學生的焦慮和抑郁，以幫助教育者采取措施及早應對。

在復雜的課堂環境下，應結合學生的生理和心理等多重指標分析學生的學習狀態。韓麗等[24]提出了一種課堂教學評價系統，將學生頭部姿態與面部表情相結合，用來測量學生在課堂上的關注度、參與度、活躍時間分布，進一步進行教學調整和教學質量評價。為了克服當前教學評價的不足，唐康[2]結合課堂教學場景，提出了一種基于深度學習的人臉檢測和表情識別技術，建立了“學生抬頭率—學生表情—學生專注度—課堂教學質量”的教學質量評價軸。Monkaresi等[37]通過將表情識別技術與心率遙感技術結合，識別學生在學習過程中的參與度。

2.在線教育

隨著計算機網絡的發展，在線學習得到了廣泛關注和大規模推廣。教育游戲、智能輔導系統以及大型開放式網絡課程（Massive Open Online Courses，MOOC）等眾多教學形式的出現，為學生創造了豐富的學習環境。[3]然而，在線學習環境下的師生分離，容易造成師生情感交流缺失。

表情識別技術使計算機被賦予類人的情緒特征解釋和生成能力，能夠監測學生的學習狀態，幫助平臺調整教學流程，提高學生學習參與度，同時還能幫助教師及時了解學生的學習掌握情況，為實現學習者的個性化學習提供技術支撐。如為了檢測學生在線學習參與度水平，Sharma等學者通過將學生眼睛、頭部、面部表情等運動信息結合起來識別學生學習狀態和投入程度，進一步對教學流程進行優化。[6][23][25]為了準確判斷學生情感，張敬然[20]從多角度出發建立了在線學習行為深度感知分類模型，依據學生眼睛狀態和表情獲得學生情緒，以此了解學生的學習狀態，幫助實現學生的個性化學習。

現有研究表明，若計算機能夠根據學生的學習情緒及時提供干預措施，學生的學習效率將會得到很大幅度提升。[13]智能導師系統（Intelligent Tutoring Systems，ITS）因其可以模擬優秀教師的思維輔助學生學習而得到廣泛應用。然而，已有研究表明目前的ITS普遍存在以下問題：一是不能和學生進行自適應性的情緒交互，容易讓學生對所學內容產生厭煩情緒;二是認知診斷能力較差，不能很好地引導學生進行學習，無法達到實現促進學習效果的目的。表情識別技術為新一代ITS功能的完善提供了強有力的技術支持。例如孫波等[4]構建了基于學生表情識別的情緒分析框架，并將此框架應用在三維虛擬學習平臺 Magic Learning的師生情緒交互子系統上，通過虛擬教師對學習者情緒進行干預。Joshi等[13]基于開發的模型，依據面部表情相關信號預測學生學習行為，ITS以此提供適當和有效的干預措施，可量化地改善學習體驗，使學生保持最佳的情緒狀態，并給出有益的輔導。除此之外，ITS還可以融入到特殊教育中，例如Rudovic等[38]制定了個性化的機器學習（ML）框架，用于自動感知兒童的情感狀態并應用到自閉癥的治療當中，且通過實驗證明了其可行性。

五、學生表情識別的發展趨勢

表情識別為學生在學習過程中的情緒狀態的感知提供了有效手段，但是該領域仍然存在一些問題亟待解決，未來該領域將會朝著更加智能、更加高效和更加人性化的方向發展。

1.提升復雜環境下學生表情識別性能

面對多樣化的教育場所，光線變化、遮擋、學生動作幅度等潛在因素都會給表情識別算法帶來巨大挑戰，而學生的相貌、表情、膚色等差異也是影響識別率的重要因素。因此，在努力提升表情識別算法性能時，研究者應充分考慮環境因素和一些潛在因素的影響，使設計出的算法更具魯棒性。除此之外，在分析學生學習狀態時，單一的表情信息并不能完整傳遞學生的情緒內容。未來應從多模態融合的情緒識別出發，在完善相關技術理論的基礎上，充分考慮語音、姿態、表情、眼球追蹤、腦電波等數據之間的聯系，通過模態間的信息互補獲得更滿意的識別效果。[39]

2.完善學生表情數據庫

學生表情數據庫是開展學生情緒狀態分析相關工作的前提。然而，當前學生表情數據庫的建立存在諸多問題，例如建庫方法各式各樣、表情分類標準不統一、樣本質量參差不齊。同時，復雜的表情采集過程和耗時的人工標注環節也進一步制約了數據庫中樣本的規模。而學生表情數據庫的完善對準確識別學生情緒有著現實意義。未來如何構建一個樣本數量充足、表情分類合理、圖像質量優良的數據庫是研究者需要深思的問題。

3.加強學生隱私保護

隨著大數據時代的到來，隱私和安全問題愈來愈突出。在數據的采集過程中，學生的一舉一動都會被攝像頭捕獲。這些數據的流失可能會侵犯到學生的隱私，給學生帶來不良影響。教育領域普遍認為，學生信息隱私化處理也是研究的一個重要環節，目前在學生表情識別相關研究和應用中對該問題的關注度不夠，我們應積極采取措施加強學生隱私保護。

六、結語

人工智能的興起將對教育發展產生深遠影響，表情識別技術的快速發展將為“人工智能+教育”時代的教育應用提供有力支撐。將先進的表情識別技術融入教學系統，可自動分析學生的情緒狀態，獲得包括學習參與度、頻度、活躍程度等在內的實時數據。教師可據此獲得學生的學習狀態，并做出客觀的教學評價和及時的教學調整。學生也可以利用數據的反饋進一步調整學習，提高學習效率。可見，學生表情識別對智能時代的教與學具有十分重要的意義。然而，學生表情識別依然面臨著許多挑戰，研究者應該多角度、多維度去深刻分析學生情緒變化與學習狀態之間的關聯，并且強調在真實學習環境中注重長期實地研究，以便使人工智能技術更高效地應用于教育領域，服務于教學。

參考文獻：

[1]Tonguc G，Ozkara B O.Automatic recognition of student emotions from facial expressions during a lecture[J].Computers in Education，2020（148）：1-12.

[2]唐康.人臉檢測和表情識別研究及其在課堂教學評價中的應用[D].重慶：重慶師范大學，2019.

[3]Whitehill J，Serpell Z，Lin Y C， et al.The faces of engagement： Automatic recognition of student engagement from facial expressions[J].IEEE Transactions on Affective Computing，2014，5（1）： 86-98.

[4]孫波，劉永娜，陳玖冰，羅繼鴻，張迪.智慧學習環境中基于面部表情的情感分析[J].現代遠程教育研究，2015（2）：96-103.

[5]徐振國，張冠文，孟祥增，黨同桐，孔璽.基于深度學習的學習者情感識別與應用[J].電化教育研究，2019（2）：87-94.

[6]Sharma P，Joshi S，Gautam S，et al.Student engagement detection using emotion analysis，eye tracking and head movement with machine learning[J].arXiv： Computer Vision and Pattern Recognition，2019.

[7]Graesser A，Chipman P，King B，et al.Emotions and learning with auto tutor[J]. Frontiers in Artificial Intelligence and Applications，2007（158）：569-571.

[8]Lehman B A，Zapata-Rivera D.Student emotions in conversation-based assessments[J].IEEE Transactions on Learning Technologies，2018，11（1）：41-53.

[9]D'Mello S，Picard R W，Graesser A.Toward an affect-sensitive Auto Tutor[J].IEEE Intelligent Systems，2007，22（4）：53-61.

[10]Calvo R A，D'Mello S K.New perspectives on affect and learning technologies [M]. Springer Science & Business Media，2011.

[11]Gupta S K，Ashwin T S，Guddeti R M R.Students affective content analysis in smart classroom environment using deep learning techniques[J].Multimedia Tools and Applications，2019：1-28.

[12]徐振國.智慧學習環境中學習畫面的情感識別及其應用[D].濟南：山東師范大學，2019.

[13]Joshi A，Allessio D，Magee J，et al.Affect-driven learning outcomes prediction in intelligent tutoring systems[C].2019 14th IEEE International Conference on Automatic Face & Gesture Recognition.IEEE，2019：1-5.

[14]Kapoor A，Picard R W.Multimodal affect recognition in learning environments[C].Proceedings of the 13th annual ACM international conference on Multimedia.ACM，2005：677-682.

[15]Alkabbany I，Ali A，Farag A，et al.Measuring student engagement level using facial information[C].2019 IEEE International Conference on Image Processing. IEEE，2019：3337-3341.

[16]Li S，Deng W.Deep facial expression recognition：A Survey[J].arXiv： Computer Vision and Pattern Recognition，2018.

[17]Xu R，Chen J，Han J，et al.Towards emotion-sensitive learning cognitive state analysis of big data in education： deep learning-based facial expression analysis using ordinal information[J].Computing，2019：1-16.

[18]Liu H，Lu J，Guo M，et al.Learning reasoning-decision networks for robust face alignment.[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（3）：679-693.

[19]Li S and Deng W.Deep facial expression recognition：A Survey[J].IEEE Transactions on Affective Computing，in press，2020.

[20]張敬然.基于面部識別技術的在線學習行為深度感知方法研究與應用[D].南京：南京師范大學，2018.

[21]Mao L，Wang N，Wang L，et al.Classroom micro-expression recognition algorithms based on multi-feature fusion[J].IEEE Access，2019（7）：64978-64983.

[22]Liu Y，Zhang J，Yan W，et al.A main directional mean optical flow feature for spontaneous micro-expression recognition[J].IEEE Transactions on Affective Computing，2016，7（4）：299-310.

[23]魏刃佳，丁亦喆，張莉，吳振強.在線學習系統中情感識別模塊的設計與實現[J].現代教育技術，2014（3）：115-122.

[24]韓麗，李洋，周子佳，宋沛軒.課堂環境中基于面部表情的教學效果分析[J].現代遠程教育研究，2017（4）：97-103，112.

[25]陳子健，朱曉亮.基于面部表情的學習者情緒自動識別研究——適切性、現狀、現存問題和提升路徑[J].遠程教育雜志，2019（4）：64-72.

[26]Grafsgaard J F，Boyer K E，Lester J C.Predicting facial indicators of confusion with hidden Markov models[C].International Conference on Affective computing and intelligent interaction.Springer，2011：97-106.

[27]Sariyanidi E，Gunes H，Cavallaro A，et al.Automatic analysis of facial affect： A survey of registration，representation，and recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（6）：1113-1133.

[28]Li Y，Zeng J，Shan S，et al.Occlusion aware facial expression recognition using cnn with attention mechanism[J].IEEE Transactions on Image Processing，2018，28（5）：2439-2450.

[29]Chaparro V，Gomez A，Salgado A，et al.Emotion recognition from EEG and facial expressions： a multimodal approach [C].The 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society，2018：530-533.

[30]Zhang T，Zheng W，Cui Z，et al.Spatial-temporal recurrent neural network for emotion recognition[J].IEEE Transactions on Systems，Man，and Cybernetics，2019，49（3）：839-847.

[31]王素琴，張峰，高宇豆，石敏.基于圖像序列的學習表情識別[J/OL].系統仿真學報，2020：1-7.https：//doi.org/10.16182/j.issn1004731x.joss.19-VR0470.

[32]Zhu X，Chen Z.Dual-modality spatiotemporal feature learning for spontaneous facial expression recognition in e-learning using hybrid deep neural network [J].The Visual Computer，2020，36（4）：743-755.

[33]Yang D，Alsadoon A，Prasad P W，et al.An emotion recognition model based on facial recognition in virtual learning environment[J].Procedia Computer Science，2018： 2-10.

[34]Bosch N，Dmello S.Automatic Detection of mind wandering from video in the lab and in the classroom[J].IEEE Transactions on Affective Computing，2019：1-16.

[35]Zeng H，Shu X，Wang Y，et al.EmotionCues： Emotion-oriented visual summarization of classroom videos[J].IEEE Transactions on Visualization and Computer Graphics，in press，2020.

[36]Park S，Ryu J. Exploring preservice teachers emotional experiences in an immersive virtual teaching simulation through facial expression recognition[J]. International Journal of Human-Computer Interaction，2019，35（6）：521-533.

[37]Monkaresi H，Bosch N，Calvo R A，et al.Automated detection of engagement using video-based estimation of facial expressions and heart rate[J].IEEE Transactions on Affective Computing，2017，8（1）：15-28.

[38]Rudovic O，Lee J，Dai M，et al.Personalized machine learning for robot perception of affect and engagement in autism therapy[J].Science Robotics，2018，3（19）.

[39]Giannakos M N，Sharma K，Pappas I O，et al.Multimodal data as a means to understand the learning experience[J].International Journal of Information Management，2019（48）：108-119.

（編輯：王天鵬）