人臉表情識別算法研究

姜莉媛

摘 ? 要：情感是表達內心想法的重要方式。隨著人機交互和人工智能的崛起，人臉表情識別也逐漸成為當前的一個研究熱點。人臉表情識別是在人臉識別的基礎之上發展而來的，但和人臉識別存在著一定的差異，表情識別需要在人臉識別之后，利用一系列的算法對面部表情細節特征加以提取，再利用分類器對所提取的表情加以分類、識別。文章就人臉表情識別的3部分進行闡述，介紹了每一部分的思想和所用的主要算法，并對表情特征的提取、分類的方法重點介紹。

關鍵詞：人臉檢測;人臉表情識別;特征提取;特征分類

情感影響著人們生活的方方面面，例如：健康、人際關系，還影響著如何學習、做決定、做生意等各個方面。1971年，Ekman與Friesen最早提出人類有7種基本情感：自然、憤怒、高興、悲傷、驚訝、厭惡和恐懼[1]。

隨著科技的進步與發展，計算機的發展也是日益迅速，人機交互快速崛起，人們幾乎每天都要用到計算機和網絡，甚至和計算機打交道要比與現實生活中其他人打交道還多。盡管如此，電腦也無法識別人類的情緒，畢竟很多技術只是具有認知性智能，沒有情緒性智能。許多研究者都想到：如果計算機等技術可以識別人類的情緒將會如何？如果設備可以識別人類感受并且做出相應的反應將會怎樣？這些問題引導著眾多研究者去創造可以閱讀情緒并做出反應的技術。而研究的起點就是人臉，因為在日常生活交流中，人臉是最基本的方式之一，通過人臉可以表達內心的情緒狀態。在情感科學中，每一個面肌運動都被稱為一個動作單元，例如，動作單元12代表微笑的主要構成—嘴角上揚;動作單元04代表眉間紋，當眉毛擰到一起的時候紋理和皺紋就會出現，是一個很強的負面情緒指示器。動作單元大概有45個，相應的組合則可以表達相應的上百種情緒，很難讓電腦讀懂這些情緒，因為其細小微妙、稍縱即逝，同時還有很多的組合方式。

1 ? ?人臉檢測的綜述

人臉檢測是指對于任意圖像進行掃描圖像時檢測是否包含人臉，如果是則返回人臉的位置、大小[2]。

1.1 ?人臉識別的特點

與其他的識別類型相比，人臉識別的特點有：

（1）被動性。設備能夠在用戶不經意間獲取人臉圖像，從而達到采集的主動性，減少了麻煩。

（2）同時性。在現實生活中，當一個場景下同時有多個人時，設備也可以對多個人同時進行采集人臉圖形，并且進行人臉的分選、判斷和識別。

（3）設備采集所獲得的結果直接，設備也具有隱蔽性。

1.2 ?人臉檢測

人臉圖像采集：無論被采集者是靜止不動還是正在運動，不管面向什么方向或者在做什么樣的動作，只要在設備的采集區域內，攝像鏡頭都將會自動搜索并采集。

人臉檢測：人臉識別時，先要對人臉位置進行檢測。人臉圖像中包含的模式特征十分豐富，如直方圖特征、顏色特征、模板特征、結構特征等[3]。

1.3 ?Adaboost算法

在當下的研究中，人臉檢測一般都采用Adaboost算法。Adaboost的思想是指修改上一個弱學習算法，每個分類器要等上一個分類器訓練結束后才能開始。如此，可以很好地關注到上一個分類器的失誤樣本，從而使得下一個分類器可以主動修改、彌補其不足。

2 ? ?表情特征提取的綜述

人們把用眼睛觀察到的視覺信息叫作圖像信息，如人臉的表情信息，是整體識別和特征識別共同作用的結果。

2.1 ?人臉表情識別的流程

人臉表情識別由人臉檢測、表情特征提取和表情特征分類識別組成[4]。當采集到一張圖像時，除了所需的人臉以外，還包括一些障礙物，如背景物。因此，首先削弱人臉以外的干擾物，再對人的外部輪廓進行識別，或者在預處理過程中進行數據增廣，圖像處理里有平移旋轉的不變性，換句話而言，一個人的照片豎著放和橫著放都是這個人。其次，對臉部進行定位，將臉的局部特征進行框定和識別，對相應的特征進行分析，再用分類器對特征進行分類和識別，最終進行情緒的映射，形成各個情緒。

2.2 ?表情特征提取的方法

表情特征提取的方法有基于幾何、統計、頻率域等[5]。

（1）基于幾何的特征提取方法：常用幾何特征模型有AAM，該方法無須大量數據的輸入，但會丟失一些重要信息，導致最終的結果不準確。

（2）基于整體統計的特征提取方法：有PCA和ICA。PCA是一種統計方法，可以被看作是一種非常重要的降維技術，而降維是提高有效性的前提，通過PCA的轉化，信息量并沒有本質上的變化，只是轉換前的信息分散在各個原始指標變量中，而轉換之后，信息集中分布在重要的綜合指標當中，而有些信息量相對較少或者不重要，則可將其丟棄，從而達到降維的效果。

（3）基于頻率域的特征提取方法：利用某種算法使得圖像可以在頻率域變換，從而提取其特征，最常見的是Gabor小波變換法。小波指的是時間跨度短，也就是將波長分為若干個小的波使得每一個波在有限的時間內具有非零值，其他時間都是零，而不是指波的幅值小。通過小波可以看到頻率的變化，當小波帶寬較大時，其低頻分量相對較高，隨著時間的增長，對應頻率逐步增加。因此小波變換法通過多個不同的分辨率對圖形進行分析，從而提取出不同層面上的特征情況，有時，特征值層次較低，常與分類器配合用于人臉表情的識別。

3 ? ?表情特征分類

常用分類識別方法主要有線性分類器、神經網絡分類器、支持向量機、隱馬爾可夫模型等[6]。

3.1 ?線性分類器

線性分析是從降維的角度出發，希望找到合適的投影方向，將一個高維系統的數據全部投影到一維坐標軸上，然后再對一維數據進行分類，最終達到被劃分為同一類別區域中的數據方差足夠小，不同類別的數據相對分散。以此做到了線性可分，當采集到人臉不同的表情特征時，利用線性分析就可以輕易找到不同表情之間的異同，從而可以方便地進行表情匹配識別。

3.2 ?神經網絡分類器

神經網絡分類是一個網狀的數學模型，其中的“神經元”中裝著很多數字，每一個數字都代表著一個像素點的灰度值。同時因為其是網狀的，所以上一層的父節點對下一層的子節點有著一定的決定作用。神經網絡就是模仿生物如何根據上一個神經元的激發，促使其下一些相關神經元的激發，在該模型中，當在網絡層輸入一些灰度值時，根據相應的算法會讓其下層產生某些圖案，最終輸出某種結果，其相當于輸入層的信息。因此將人臉特征相應灰度值作為輸入，神經網絡分類根據自身算法輸出一定結果，來進行表情的識別。

3.3 ?支持向量機分類算法

支持向量機（Support Vector Machine，SVM）是一種二類分類器，具有對偶性、間隔性以及核技巧。在線性不可分的情況下，應該先伸維，使其在更高的維度上分開，SVM在高維模式識別問題方面相對較好。

3.4 ?隱馬爾可夫模型

隱馬爾可夫模型（Hidden Markov Model，HMM）需要解決兩個問題：一是通過已知數據學習、獲得所需參數;二是通過看到的數據加以推斷其后檢驗概率。因此可以利用HMM進行表情的動態特征分析。

4 ? ?結語

雖然人臉識別已經取得很好的成就，然而在現實生活場景下受光照等情況的干擾，或者在圖像中同時出現多個人、或者有側面人臉時，表情識別的效率相對顯得比較低。對于以上情況，相應的算法也比較少，因此在復雜場景同時對多人的表情進行識別處理依舊是當下研究的熱點。

[參考文獻]

[1]王大偉，周軍，梅紅巖，等.人臉表情識別綜述[J].計算機工程與應用，2014（20）：149-157.

[2]郭磊，王秋光.Adaboost人臉檢測算法研究及OpenCV實現[J].哈爾濱理工大學電氣與電子工程學院學報，2009（5）：123-126.

[3]梁路宏，艾海舟，張鈸.人臉檢測研究綜述[J].計算機學報，2002（5）：1-10.

[4]聶倩倩，秦潤澤，高育新，等.人臉表情識別算法綜述[J].物聯網技術，2018（5）：61-63.

[5]付喜梅，莊思發.人臉表情識別的概述[J].電腦知識與技術，2018（2）：211-214.

[6]付勝博.結合雙向二維主成分分析和Fisher線性判別的人臉表情識別的研究[D].天津：天津大學，2012.

Abstract：Emotion is an important way to express inner thoughts. With the rise of human-computer interaction and artificial intelligence， facial expression recognition has gradually become a research hotspot. Facial expression recognition is developed on the basis of face recognition. After face recognition， facial expression recognition requires the use of a series of algorithms to extract the details of facial expressions， and then the classifier to classify and recognize the extracted expressions. This paper discusses the three major parts of facial expression recognition and the corresponding flow of each part and the algorithm used， focusing on the facial expression extraction and classification methods， the development of facial expression recognition is discussed.

Key words：face detection; facial expression recognition; feature extraction; feature classification