人臉表情識別方法研究進展

摘要：隨著計算機技術的進步，人工智能與模式識別技術得到很快的發展。人臉表情識別(FER)作為智能化人機交互技術中的一個重要組成部分，有著廣泛的應用前景和潛在的市場價值，近年來得到了廣泛的關注。本文介紹了人臉表情識別常的用方法，并對未來的人臉表情識別發展方向進行了展望。

關鍵詞：人臉表情識別；特征提取；表情分類

引言

心理學家Mehrabian指出，在人們的日常交流中，通過語言來傳遞的信息占7%，通過聲音來傳遞的信息占38%，而通過面部表情來傳遞的信息則達到55%。由此可見表情信息在人們交流中的重要性。人臉表情識別是人機交互與情感計算研究的重要組成部分，涉及心理學、社會學、人類學、生命科學、認知科學、計算機科學等研究領域，對人機交互智能化和諧化極具科學意義，并將促進相關學科的發展。

20世紀70年代人們已經從心理學和生物學方面對表情識別進行了研究和分析。生物學家Darwin首先對人類和動物的面部表情進行了研究和比較，揭示了表情在不同性別、不同種族的人群中的一致性。1978年Ekman和Frisen提出面部表情編碼系統(FACS)，用44個運動單元(AU)來描述人臉表情變化，并定義了6種基本情感類別：驚奇、恐懼、厭惡、憤怒、高興、悲傷。這一系統得到了廣泛的認同，并成為后來很多表情識別研究工作的基礎。

隨著計算機技術的發展，人臉表情識別技術也逐漸發展起來。20世紀90年代，人臉表情識別成為非常活躍的研究方向。國外較為著名的研究機構有麻省理工學院、卡內基梅隆大學、匹茲堡大學、馬里蘭大學等。國內的研究始于20世紀90年代末，近幾年很多高校和研究機構開始對人臉表情識別進行研究。本文主要針對人臉表情識別的常用方法進行了總結，并對未來的發展方向進行了展望。

1、人臉表情識別系統概述

人臉表情識別系統主要包括三個部分：人臉檢測與定位、特征提取及表情分類。如圖1所示。建立一個FER系統，首先要通過外部器件如攝像頭等獲取圖像，在圖像中進行人臉檢測，確定輸入圖像中是否有人臉，在有人臉的情況下確定人臉的位置和大小。這一環節的研究已成為一個獨立的方向；然后對人臉進行特征提取，得到反映表情特征的關鍵信息。最后對得到的表情特征向量進行分類，得到表情所屬的類別，如AU組合或基本表情類別。

2、表情特征提取方法

表情特征提取是人臉表情系統中最重要的部分，有效的表情特征提取工作將使識別的準確率和性能大大提高。按照圖像的類型可以分為兩大類：基于靜態圖像的表情特征提取和基于動態圖像序列的表情特征提取。其中典型的特征提取方法有：主成分分析法、活動外觀模型法、Gabor小波變換法，光流法等。

主元分析法(PCA)又稱K-L變換，是一個非常有效的降維的方法，特征臉(Eingen Face)方法在人臉識別領域成為舉足輕重的一個分支。這種方法根據像素間的二階相關性，將包含表情人臉的圖像區域看作一個隨機向量，采用K-L變換得到正交變換基，其中較大的特征值對應的基底（特征臉）就組成了表情特征空間的一組基，然后利用這組基底的線性組合就可以描述、表達人臉表情。Andrew、calder[2]等詳細的介紹了PCA在面部表情識別方面的應用。主成份分析現已成功用于人臉識別和表情識別，但是由于主成份分析只考慮到圖像數據當中的兩階統計信息，并未利用高階統計信息。

活動外觀模型AAM是目前廣泛應用的基于混合特征的特征提取方法。AAM方法結合形狀和紋理信息建立對人臉的參數化描述。Edward等人用活動外觀模型(AAM)來解析人臉圖像和圖像序列。左坤隆[3]選取70幅圖像作為AAM訓練集，在每幅圖像標記了57個特征點，實驗得到的識別率為93.5%。

近來，基于Gabor小波[3]的方法被廣泛應用于人臉表情識別，它能檢測多尺度、多方向的紋理變化，同時受光照影響較小。Wen在一系列手工標定的局部小區域提取平均Gabor小波系數作為紋理特征，同時引入了在人臉合成中使用的基于比例圖的方法來對紋理提取區域進行預處理，以降低不同人臉差異和光照引起的人臉反照度不均的影響。Jingfu Ye[4]等采用二維Gabor小波核函數提取表情特征，分別在不同的光照環境及不同測試者的條件下提取與表情有關的Gabor小波特征。實驗表明Gabor小波變換能有效地提取與表情變化有關的特征，這種特征對光照變化不敏感，且能屏蔽個人特征差異的影響。

光流是運動特征提取法中的一種，所謂光流是指亮度模式引起的表觀運動，理想的情況是這種表觀運動反映了實際的運動。光流場在運動估計、運動分割等領域得到廣泛的應用，也是表情特征提取的一種非常有效的算法。Mase等研究表明利用光流進行運動估計，并使用面部肌肉運動模型描述了面部的運動。Cohn等提出了一種基于光流的方法，對眉毛、眼睛、嘴唇等區域的運動單元進行分辯，提出了面部的局部參數運動模型，同時構建了面部運動的中級描述，并使用啟發式規則對6種表情進行了分類。光流法的缺點是受光照不勻和臉部非剛體運動等因素影響特征提取結果，且計算量較大，不適合實時處理。

3、表情分類方法

表情分類指定義一組類別，并設計相應的分類機制對表情進行識別，歸入相應類別。目前用于表情分類的方法主要有人工神經網絡、支持向量機和AdaBoost算法等成為主流的表情分類方法。

人工神經網絡（ANN）是一種模擬人腦神經元細胞的網絡結構，它是由大量簡單的基本元件—神經元，相互連接成的自適應非線性動態系統。在靜態圖像的人臉表情識別中有很多運用。Gueorguieva使用多層感知的神經網絡來進行表情識別，訓練并測試了4種網絡，得出S形函數和徑向基函數的神經單元混合能較好地適合于前饋神經網絡的結論。神經網絡方法的缺點在于，需要大量的訓練樣本和訓練時間，很難滿足實時處理要求。

支持向量機（SVM）是在統計學習理論的基礎上發展起來的一種分類方法，在解決小樣本、非線性和高維問題上有很多優勢。目前支持向量機是機器學習中應用最多的分類器之一，近年來也被應用于表情識別中。SVM算法結構簡單，具有全局最優性和較好的泛化能力等優點，但其計算復雜度較高，需要大樣本統計學習。

AdaBoost算法方法將多個弱分類器結合起來訓練形成強分類器，不同分類器針對不同的特征，通過訓練可以達到特征選擇的目的，在模式識別領域如圖像檢索和人臉檢測中都有成功的應用。Bartlett使用AdaBoost選擇特征與SVM分類相結合的AdaSVM方法進行分類，取得較好的識別結果。

4、未來研究重點

人臉表情識別是一個具有挑戰性的課題，盡管已經取得了很大進展，但目前仍處于研究

探索階段，依然存在很多問題亟待解決：（1）特征提取和表情分類的方法有待改進，計算機要達到實時、自動的識別表情變化，必須在保證識別率的前提下盡可能提高識別效率；（2）某些表情易于識別，而某些表情不易識別，且多數研究仍停留在基本表情識別的研究上，但基本表情不涵蓋人類的主要表情，因此需要識別更多的表情（如細微表情、混合表情、非基本表情）（3）目前的研究多是在特定條件下進行的識別，表情識別可能會因為發型、光線變化等外在條件變的困難，因此提高表情識別的魯棒性也是當前要解決的問題。

參考文獻：

1.Andrew J，Calder A， Burton M，etal，A Principal Component Analysis Of Facial Expression[J].Vision Research，2001，41(9):1179一1208.

2.左坤隆，劉文耀.基于活動外觀模型的人臉表情分析與識別[J].光電子.激光，2004，15(7):853-857.

3.朱健翔，蘇光大，李迎春．結合Gabor特征與Adaboost的人臉表情識別[J]．光電子·激光，2006，17(8)：993—998．

4.葉敬福，詹永照．基于Gabor小波變換的人臉表情特征提取[J]．計算機工程．2005，31(15)：172—174．

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文