人臉表情識別綜述

楊曉龍　閆河　張楊

摘要：人臉表情識別是機器視覺、模式識別和人工智能等眾多領域的重點研究方向，目前已成為眾多學者和專家的研究熱點。本文介紹了人臉表情識別理論框架，概括性的介紹了人臉檢測、表情特征提取和表情識別的常用方法，并介紹了相關改進方法和一些新的方法，同時分析了各方法的優缺點。最后，對人臉表情識別的發展和進一步改進指明了方向。

關鍵詞：人臉表情識別；人臉檢測；表情特征提取；表情識別

中圖分類號：TP391 文獻標識碼：A 文章編號：1007-9416（2018）02-0213-02

1 引言

在日常生活中，人臉表情是人際交往中的一種方式，是一種非肢體、非語言交流方式。心理學家Mehrabian[1]指出：感情表達=7%的言語+38%的聲音+55%的人臉表情。在日常生活與交流中，人們可以通過面部表情間接的表達自己的感情和想法，讓對方感受到自己直觀的態度。同時，人們也可以通過對方的面部表情，辨別出對方的情緒和真正的意圖，可見，面部表情在日常人際交流中十分重要。隨著科學技術的不斷發展和人工智能的快速崛起，人機交互（Human-Computer Interaction，HCI）也成為了較多領域的研究熱點，如何實現人與計算機有感情的交流也成為了當前的研究趨勢。同時，眾多科學家渴望人與計算機人性化、智能化的交流，計算機可以像人一樣感知周邊環境和世界的變化，這也是人機交互的終極目標。

2 人臉表情識別理論框架

基于計算機的人臉表情識別是指：首先在視頻或圖像中檢測出人臉，然后對人臉的表情信息進行特征提取，最后通過訓練分類器進行表情分類識別。

如圖1所示，人臉表情識別理論框架大致包括人臉檢測、表情特征提取和表情識別三個部分。

通常要進行人臉表情識別視頻或圖像中不僅包含人臉，還包含其他干擾物體和背景區域，因此，需要將人臉檢測并分割出來。對于整個人臉表情識別過程中，人臉檢測相當于對圖像進行預處理，減少圖像中干擾對表情識別的影響。人臉檢測主要通過分析人臉所特有的特征，然后從待檢測的圖像中搜索、判定可能存在的人臉區域，進一步計算確認如果確實存在人臉，則定位、分割出圖像中人臉所在的區域，最后計算得出人臉的坐標位置等信息，目前，人臉檢測技術已經取得了快速的發展[2-5]。

人臉檢測后，然后對人臉表情信息進行特征提取。有效的表情特征提取能夠提高識別的準確率，特征的提取方法有幾何特征提取、紋理特征提取和深度學習內部對特征學習的方法。

將測試集提取到表情特征作為輸入，用來訓練分類器，將提取到的人臉表情特征數據按照一定的評判規則劃分到相應的類別，判斷和歸類人臉表情。根據不同表情特征提取方式，選取適當的分類器，最終訓練得到分類準確、泛化能力強的分類器是該步驟的核心內容。

2.1 人臉檢測

日常生活中，由于人臉是非剛性的，會存在表情、姿態等變化，同時受外界環境影響，人臉也會受到遮擋、光照變化等影響，這些因素給人臉檢測帶來了諸多困難。在理論和實驗的基礎上，發現人臉檢測的問題其實就是判定人臉和非人臉二分類問題，因此，人臉檢測的目的就是選取出一幅圖像中人臉區域，并對其進行預處理。目前，人臉檢測的常用方法有基于膚色模型的方法和基于統計理論的方法。

在通常情況下，利用膚色特征進行人臉檢測是一種有效的方法，原因在于：人臉區域的膚色都明顯區別于其他背景區域。研究發現：不同種族人的膚色在顏色空間聚集在一個很小的范圍之內，有著較強較強的聚類特性。Hsu RL等[6]采用改進的光照補償方法與非線性顏色變換定位出圖像中全部膚色區域，然后通過面部器官的輪廓特征精確定位處人臉區域；Kherchaoui S等[7]將膚色與模板相結合，首先利用膚色模型分割出人臉候選區域，然后運用模板匹配精確定位到人臉區域。

基于膚色模型的人臉檢測方法檢測速度相對較快，在頭部姿態變化和和部分遮擋情況下仍具有較高的檢測準確率，但在背景環境顏色與膚色相近的情況下，檢測準確率相對較差。

基于圖像統計特征的方法結合機器學習和統計分二者的優勢，通過對大量的人臉樣本與非人臉樣本進行訓練學習，從而獲得兩類樣本的最佳分類界面，以此作為區分來實現人臉檢測。基于圖像統計特征的方法主要有支持向量機（Support Vector Machine，SVM）]和AdaBoost方法[8]等。

其中，AdaBoost方法是目前人臉檢測效果最好的算法之一，具有快速的檢測速度，同時還具有較高的檢測精度。

2.2 表情特征提取

在檢測到人臉區域后，對人臉表情特征信息進行有效地分析，針對不同的表情選取合適的特征提取方法。下面將分別從幾何特征提取和紋理特征提取兩個方面進行詳細的描述。

幾何特征提取方法主要通過提取人臉的特征點，然后分析不同區域特征點之間的幾何關系，比如眼睛區域和嘴巴區域等，實現對表情的分類識別，該類特征提取方法主要適用于面部疲勞別情的識別。

1995年Coots等提出了主動形狀模型，該方法是一種基于統計模型的特征提取方法，主要用于提取面部器官輪廓和人臉輪廓的特征點，該模型首先通過大量的訓練得到初始人臉形狀，然后通過對齊操作得到較為準確的人臉的輪廓特征。最終結果的準確性會受到人臉初始定位、光照等因素的影響。Peng等[9]提出一種基于局部紋理模型的改進ASM算法，在表情識別中具有很好的應用。侯婕[10]基于經典ASM算法提出了針對人臉左右眉毛、左右眼睛、鼻子和嘴巴部分提取出118個特征點，形成各部分的輪廓形狀數據信息，以此為基礎實現了對6種基本表情的識別。

紋理特征反映了人臉表情圖像的底層信息，突出體現了局部表情的變化。紋理特征提取方法典型的方法有局部二值模式。

LBP通過圖像的局部灰度信息變化來表達局部紋理特征，通過LBP特征值用來描述圖像局部紋理特征。LBP算子對圖像尺度變換、旋轉和光照變化具有很好的魯棒性，能夠有效地描述圖像的紋理信息。Guo等[11]又先后提出了（FCL-LBP）算法和（disCLBP）算法，其通過選取最大類間距于最小類內間距，選取出的紋理特征具有更好的魯棒性。周宇旋等[12]通過改進disLBP得到更有辨別性的表情特征，更有利于表情識別。

2.3 表情識別

表情識別是整個人臉表情識別流程的最后一步，也是最終目標，選取合適的分類器對表情識別十分重要。常用的表情分類方法有支持向量機（Support Vector Machine，SVM）和深度學習的方法。

SVM是統計學中常用于分類的一種方法，該方法具備特有的學習能力，可以有效地處理非線性、小樣本和高維數據等問題。徐文暉等[13]對此提出了可從連續的視頻序列中識別表情的SVM分類器。但是在大樣本的情況下，矩陣計算需要耗費大量的時間和運行內存，從而影響了整體的識別效率。

研究發現，人的視覺系統對信息的處理是分級的。所有物體都是由像素點構成，像素點組成特征邊緣，特征邊緣組成目標物體的部分區域，最后目標物體的部分區域組成整個目標物體。深度學習模仿人類對物體的認知過程，在分類識別物體時直接把需要識別的對象進行訓練，然后進行分類識別[14，15]。與傳統手工標定進行特征提取的方法相比，其最大的特點就是可以對識別對象進行自學習，學習到最能表達物體的特征，最終進行分類識別。

3 結語

綜上所述，在實際應用中，要實現快速的、準確的和穩定的人臉表情識別，需要從以下三個方面因素進行整體考慮：第一，人臉檢測的準確性。在實驗室研究階段，為滿足最后人臉表情識別系統的實現，要先對實際環境中場景進行分析，分析場景中人臉檢測是受光照變化、姿態變化、遮擋等因素的影響的情況；第二，依據不同類型表情，選擇合適的特征提取方法；大量文獻研究表明，幾何特征模型對面部疲勞表情識別具有較高的識別率以及較強的魯棒性，面部器官多個特征點通過幾何關系計算并判斷嘴巴和眼睛的實時狀態，綜合判斷出面部不同的疲勞狀態；紋理特征模型在人臉識別和人臉表情識別中有著較強的適用性，通過提取人臉紋理特征，以矩陣的形式輸入分類器中，進行分類識別。因此，尋求多種特征提取方法，分析其適用領域，針對不同類型表情識別選取合適的特征提取方法來提升表情識別的準確性和穩定性；第三，特征提取后，合適的分類器選取對最終的分類識別效果有著決定性的應用。目前，深度學習的分類識別方法被廣泛使用，閱讀大量文獻發現，人臉識別和人臉表情識別不同于其他類似于汽車、貓、狗等分類，只針對于人臉進行研究，通過人臉圖像預處理可以大大節約訓練時間，手動的進行特征提取可以進一步的排除背景所帶來的干擾，通過這兩步，提取較為純凈和有區分能力的特征作為輸入，輸入到深度網絡中進行分類識別。

參考文獻

[1]A.Mehrabian. Communication without words. Psychology Today，1968，2（4）：53-56.

[2]李瑞淇.基于膚色和改進的AdaBoost人臉檢測算法研究[D].西安電子科技大學，2014.

[3]王琳琳.基于膚色模型和AdaBoost算法的人臉檢測研究D].長安大學，2014.

[4]楊新權.基于膚色分割及連續Adaboost算法的人臉檢測研究[D].電子科技大學，2010.

[5]閆斌.基于改進的膚色模型和CPSO_AdaBoost算法的人臉檢測[D].新疆大學，2014.

[6]Hsu R-L， Jain A K. Face Detection in color image [J]. Pattern Analysis and Machine Intelligence， IEEE Transactions on， 2012， 24（5）： 696-706.

[7]Kherchaoui S， Houacine A. Face detection based on a model of the skin color with constrainsand template matching[J].Proceeding of the 2010 International Conference on Machine and Web Intelligence （ICMWI），2010：469-472.

[8]Viola P， Jones M.Rapid object detection using a boosted cascade of simple feature[C]. Proceeding of the 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2001），2011：511-518.

[9]Peng Cheng，Wan Chuan.An active shape model for facial expression recognition based on a local texture model[C].CAAI Transactions on Intelligent Systems，2011，6（3）.

[10]侯婕，人臉表情計算研究技術[D].蘇州大學，2014.

[11]Guo Y，Zhao G.Discriminative features for texture description[J].Pattern Recognition，2012，45（10）：3834-3843.

[12]周宇旋，吳秦，梁久禎，等.判別性完全局部二值模式人臉表情識別[J].計算機工程與應用，201753（4）：：163-169.

[13]徐文暉.面向視頻序列表情分類的LSVM算法[J].計算機輔助設計與圖形學學報，2009，21（4）：542-548.

[14]趙艷.基于深度學習的表情識別研究[D].重慶郵電大學，2016.

[15]羅翔云.基于深度學習的人臉表情識別[D].杭州電子科技大學，2017.