人臉表情識別技術綜述

常 娜

南京林業大學南方學院

人臉表情識別是使計算機通過獲得人臉表情信息推斷出人的心理狀態，由此實現人-機間的高級智能交互，它是一種對人臉表情信息進行特征提取和歸類的過程。它是機器視覺、心理學和圖像處理等領域的一個交叉課題，是情感計算機研究的內容之一，主要應用在智能機器人研制、醫療、安全等領域。

心理學家Mehrabian 認為，聲音（38%）+言詞（7%）+面部表情（55%）=情感表達。在人們的日常交流中，通過面部表情來傳遞的信息高達 55%，可見在人與人之間的交流中表情信息的重要性。

面部表情識別

面部表情識別系統一般由人臉圖像獲取、圖像預處理、特征提取、特征分類、后處理五個部分組成。如圖1 所示。

表情特征的提取

人臉表情提取按圖像性質的不同來劃分，可分為靜態圖像特征提取、序列圖像特征提取。

靜態圖像特征提取

從靜態圖像中提取的是表情的形變特征，提取的對象是表情模型。形變特征提取的常用方法有基于模型的方法，Gabor 小波法和主成分分析法PCA 等。

基于模型的方法。它包括點分布模型PDM 和活動外觀模型AAM 等。點分布模型PDM 是一種參數化的形狀描述模型。其原理是采用PCA 方法構建出描述對象形狀的各個控制點的運動模型。通過約束控制點的基準位置與移動模式，保證模型的整體形變一直保持在可接受的范圍之內。活動外觀模型AAM 建立了一種針對目標對象變化程度的參數化描述，也屬于基于模型的方法之一。

Gabor 小波法。Gabor 小波濾波器的方向、中心頻率及基頻帶寬均是可調的。它是一個由二維高斯函數衍生出的復數域正旋曲線函數。通過調節Gabor 濾波器的不同參數，能夠捕捉到對應圖像中不同的空間位置，空間頻率以及方向信息。

主成份分析法PCA。基本原理是在不同表情具有可分性的前提下，假設人臉處于低維線性空間，將一組高維訓練圖像K-L 正交變換，消除原有向量間的相關性的同時生成一組新的正交基。然后，提取出新的正交基中對應較大特征值的部分特征向量，生成低維表情特征空間的同時保留原高維空間的主要成分分量。

序列圖像特征提取

序列圖像特征提取不僅要提取每一幀的表情形變特征還要提取連續序列的運動特征。常用的提取方法有特征點跟蹤法，光流法以及差分圖像法。

特征點跟蹤法。是選擇臉部的顯著特征點來進行運動估計，它僅提取了部分特征點信息而忽略了其他部分臉部信息，因此部分有用信息可能會丟失。

圖1 表情識別系統結構示意圖

光流法。光流屬于運動特征提取法之一，基于光流的算法有基于梯度的光流計算法、基于頻率域的方法和基于區域匹配的光流計算方法。

差分圖像法。是將視頻序列中相鄰的兩幀圖像作差分運算，不為“0”的點代表變化區域，為“0”的點代表不變區域。由于圖像序列中處于極大狀態時表情信息最為豐富，因此在進行表情分析時，通常將被測幀與標準幀進行差分運算，來檢測該表情所對應的關鍵幀。

面部表情的分類

表情分類方法通常包含以下幾種：

（1）基于幾何特征的方法。通過人臉面部拓撲結構幾何關系的先驗知識，利用基于結構的方法將人臉用幾何特征矢量表示。

（2）特征臉方法。將K-L 變換用于人臉圖像的最優表示，以訓練樣本集的總體散布矩陣，經K-L 變換后得到相應的一組特征矢量。

（3）基于模板的方法。首先定義一個能量函數，設計一個參數可調的器官模板，然后通過調整模型參數使得能量函數最小化。

研究中的難點

人類識別人臉信息比較容易，但用計算機來分析識別人的面部表情是一個相對困難且復雜的問題。關鍵點在于構建一個情緒模型，并把它們同人的面部特征及表情變化聯系起來。由于人臉是一個柔性體，而非剛體，因此很難用某種模型來精確描述。并且表情的識別還依賴于①外部光照強弱和人臉姿態。②對人臉的熟悉程度。③對各種表情的體驗。④計算機沒有知識和經驗，不具有舉一反三的能力。⑤對臉部的注意程度等因素。因此，這些都是它的難點所在。

展望

人臉表情識別是一個跨學科、富有挑戰性的前沿課題，其研究目的主要在于建立一種友好、和諧的人機交互環境，使計算機能夠通過觀察人的臉色變化來行事，進而營造出一種真正和諧的人機交互環境。目前此項研究盡管已經取得了很多重大成果，但仍處于研究階段，各種算法也還在摸索當中，不是十分成熟。

盡管實現一個完美的人臉表情識別系統還有許多工作要做，但其應用價值和深遠的意義為我們的研究提供了強大的動力。我們相信在不久的將來，隨著圖像處理、心理學、模式識別以及計算機視覺等領域研究的發展，人臉表情識別技術也將獲得更大的發展。