基于圖像的面部表情識別方法綜述

徐琳琳，張樹美，趙俊莉

(青島大學 數據科學與軟件工程學院，山東 青島 266071)

基于圖像的面部表情識別方法綜述

徐琳琳，張樹美*，趙俊莉

(青島大學 數據科學與軟件工程學院，山東 青島 266071)

近年來，面部表情識別在教育、醫(yī)學、心理分析以及商業(yè)領域得到了廣泛關注。針對目前表情識別方法不夠系統(tǒng)、概念模糊的問題，對面部表情識別的步驟及其方法進行了綜述探討。首先，介紹了目前常用的人臉表情數據集，并回顧了面部表情識別的發(fā)展歷程；然后，介紹了人臉表情識別的面部表情編碼和面部表情識別過程這兩個方面，歸納了人臉面部表情識別的四個過程，重點總結了特征提取和表情分類兩個過程中的經典算法以及這些算法的基本原理和優(yōu)劣比較；最后，指出了目前面部表情識別存在的問題和未來可能的發(fā)展趨勢。

表情識別；表情數據集；表情編碼；特征提取；表情分類

0 引言

面部表情是指通過臉部肌肉、眼部肌肉和口部肌肉的變化而表現出的各種情緒，其中，眼部和口部附近的肌肉群是構成面部表情最豐富的部分。面部表情通過這三部分肌肉的變化傳遞人的情緒狀態(tài)，與聲音、語言和人體姿勢等一起組成了社會中人的交流系統(tǒng)。人臉部的表情識別是一個橫跨人工智能、神經學、計算機科學等領域的交叉學科，在心理分析、臨床醫(yī)學、車輛監(jiān)控以及商業(yè)領域都有很廣泛的應用。例如，通過人的面部表情推測抑郁癥等心理狀態(tài)[1]，根據疼痛測試來檢測病人在臨床上的進展[2-3]，以及Emotient、Affectiva、RealEyes和Kairos等公司通過觀眾的面部表情，使用情緒識別技術來預測其購買行為等。

在20世紀70年代，著名的國際心理學家Ekman[4]將人臉部表情劃分為六類：高興(Happy)、悲傷(Sad)、恐懼(Fear)、憤怒(Angry)、厭惡(Disgust)和驚訝(Surprise)。該研究將表情用公式化方式傳達人的一些生存信息，例如恐懼是看到令人害怕的事情或者聽到不好的消息，一般會通過緊蹙眉頭、微瞇眼睛、張開嘴巴來表達。悲傷則表示想要尋求安慰，最明顯的一點是眼角和嘴角下拉。面部表情產生是由情緒的波動導致的，表達了個人的心理狀態(tài)、交際意圖、個性差異等。后來隨著對面部表情研究的深入，基于運動單元 (Action Unit, AU)的面部動作編碼系統(tǒng) (Facial Action Coding System, FACS)被提出，它通過分析這些運動單元的運動特征及區(qū)域來說明與之聯(lián)系的相關表情。

1 表情數據集

目前的人臉表情識別都是在表情數據集所提供的圖片或視頻上進行測試，例如圖1所提供的六種基本表情(選自JAFFE表情數據集)圖片。下面介紹幾種常用的表情數據集。

1)JAFFE數據集。

日本女性面部表情數據集(the JApanese Female Facial Expression, JAFFE)[5]是研究亞洲人表情的重要測試庫，它是1998年由日本九州大學心理系建立的。該數據集規(guī)模較小，每種表情3～4張，共有213張表情。它主要用于初期的表情識別研究，目前的表情識別技術在該數據集上獲得了很高的識別率。

圖1 六種基本表情Fig. 1 Six basic expressions

2)CK+數據集。

Cohn-Kanade擴展數據集(the extended Cohn-Kanade, CK+)[6]是目前比較通用的人臉表情數據集，適合于人臉表情識別的研究。它是2010年在Cohn-Kanda數據集的基礎上擴展得來的，包含123名參與者、593個圖片序列。CK+與CK數據集的區(qū)別為CK數據集只有靜態(tài)圖片，CK+數據集中還包括動態(tài)視頻，兩者都含有情緒標簽，指出了參與者的表情。

3)MMI數據集。

MMI面部表情數據集(MMI-facial expression database, MMI)[7]是一個由視頻誘發(fā)生成的數據集。它包含兩個部分，自發(fā)表情和誘發(fā)表情，共有2 900多個視頻，數據集中含有表情的AU標簽。

4)BHU數據集。

北京航空航天大學數據集(BeiHang University, BHU)[8]

是北京航空航天大學毛峽教授在2007年發(fā)表的。該表情數據集是在實驗室中受日光燈和自然光的照射下拍攝的，包含正面照和側面照，側面照是正面照旋轉30°得到的。數據集共有800個動態(tài)視頻，具有在其他人臉數據集中曾未出現的情感表情，對世界人臉表情數據集進行了有益的補充。

5)USTC-NVIE數據集。

自然可見和紅外面部表情數據集(Natural Visible and Infrared facial Expression, USTC-NVIE)[9]是目前世界較為全面的人臉數據集，它是2010年由中國科技大學安徽省計算與通信軟件重點實驗室建立的。數據集含有自發(fā)和誘發(fā)的6種基本表情，都為靜態(tài)照片。

6)AFEW數據集。

野外動態(tài)面部表情數據集(Acted Facial Expressions in the Wild, AFEW)[10]數據集為視頻情感識別大賽(Emotion recognition in the Wild challenge, EmotiW)系列感情識別挑戰(zhàn)賽使用的數據集，該比賽自2013年開始每年舉辦一次。AFEW數據集的內容是從電影中獲取的表情，所以在人臉的檢測和特征提取方面有一定的困難。

7)SFEW數據集。

野外靜態(tài)面部表情數據集(Static Facial Expressions in the Wild, SFEW)[11]是從AFEW數據集中截取的含有表情的靜態(tài)幀。

表1根據表情數據集的屬性，從內容、獲取方式和參與者三個主要方面對以上介紹的數據集進行了總結。

表1 表情數據集及其簡介Tab. 1 Expression databases and their brief introduction

2 表情識別的發(fā)展

關于自動面部表情識別的最早的研究是在20世紀70年代，通過跟蹤20個點的移動對其外表作了一個預先實驗。但由于面部檢測和面部配準算法較差以及計算能力有限，該研究在接下來的十年中幾乎沒有受到關注。Mase等[12]使用光流法實現自動提取特征的研究以及對面部表情的理解的研究標志著這個研究主題在20世紀90年代初開始復興。

在2001年，Tian等[13]將AU用于面部識別分析的研究標志著現代自動面部表情識別的開始。這些早期的研究大多使用幾何表示描述面部運動的矢量[14]，以及嘴和眉毛形狀的動態(tài)輪廓[15]或可變形的二維網格模型[16]等。也有些學者關注于外觀表示，像Gabor濾波器[17]、光流法和局部二值模式(Local Binary Pattern, LBP)[18]或兩者之間的組合[14]。BU-3DFE數據集[19]的發(fā)布推動了RGB面部表情識別進入3D的識別研究。3D面部識別方法中有一些方法需要在訓練和測試期間手動標記基準頂點[20]，也有一些方法是完全自動地標記[21]。

近些年來，除了提高對面部表情和動作單元識別的擴展研究外，還有對處于更復雜環(huán)境中表情識別的研究。自發(fā)面部表情檢測、復雜精神狀態(tài)分析、疲勞檢測、挫折、疼痛、抑郁癥的嚴重程度和心理壓力分析，以及智能虛擬代理中的自動面部表情識別能力等的研究，在自動面部表情識別研究中開辟了新的領域。

自動面部表情識別(Automatic Facial Expression Recognition, AFER)的研究始于20世紀70年代末，但是十多年來進展緩慢，主要是由于面部檢測和面部配準算法的限制以及缺乏足夠的計算能力。從提出人為表情的RGB靜態(tài)表示,進展到動態(tài)表示，后來發(fā)展到自然表情的表示，在這期間為了應對由大的姿勢變化、照明條件的多樣性和微妙的面部行為檢測提出的挑戰(zhàn)，很多學者提出了新的替代方式，如3D和熱模式[22]。目前大多數面部表情識別研究主要集中在面部表情和動作單元上，疼痛、疲勞、挫折或認知狀態(tài)等方面的檢測開拓了表情識別研究的新方向。

3 表情識別介紹

表情識別包括面部表情的編碼和面部表情的識別兩個方面。面部表情的編碼包括描述性的編碼和判斷性的編碼兩種形式，面部表情的識別包括四個過程：人臉檢測、人臉配準、特征提取以及表情分類。上述表情識別的分類如圖2所示。

圖2 面部表情識別Fig. 2 Facial expression recognition

3.1 面部表情編碼

面部表情編碼分為描述性編碼和判斷性編碼兩種形式。描述性編碼是將各種面部動作進行分解，用自然語言對分解出的動作單元進行描述，例如關于眼睛的部位，會有眨眼、閉眼等十余種描述。判斷性編碼是在描述性編碼的基礎上對分解出的動作單元加上情緒標簽，以幫助研究者們更好地理解。以上兩種編碼都是用來描述面部表情的，區(qū)別是描述性編碼的主要依據是臉部表面的動作，而判斷性編碼的主要依據是潛在的情緒以及情緒可能產生的影響。

在描述性編碼的方法中，面部行為編碼系統(tǒng)FACS和臉部動畫參數(Facial Animation Parameter, FAP)是應用最多的。FACS是Ekman根據人臉解剖學的特點，將臉部肌肉劃分為若干個既相互獨立又相互聯(lián)系的運動單元AU，描繪出了不同的臉部肌肉動作和不同表情的對應關系。FACS對大量現實生活中人類的表情進行分類，用面部動作描述了幾乎所有可能的面部表情，是目前面部表情肌肉運動的權威參照標準。臉部動畫參數FAP用于三維面部表情識別[23]，是MPEG-4標準(MPEG-4是一種基于內容的通用的多媒體編碼標準)的一套參數，用來合成虛擬人臉表情動畫，它的編碼方案是基于在臉部的模型網格中人臉關鍵特征點位置的。FAP是一個完整的臉部基本運動集合，與肌肉運動聯(lián)系緊密，在描述自然面部表情時有很好的效果。最大限度辨別面部肌肉運動編碼系統(tǒng)(MAXimally discriminative facial movement coding system, MAX)同樣是以面部肌肉運動為單位，用來測量局部面部肌肉的運動。它將面孔分為額眉-鼻根區(qū)、眼-鼻-頰區(qū)、口唇-下巴區(qū)三個部位，對列出的29個面部運動單元分別編碼，每一號碼代表面孔某一區(qū)域的一種活動，面部表情就是由這三個區(qū)域的肌肉運動的各種組合而成。MAX是一個以符號為基礎的方法，與FACS相比，它不夠全面，不存在對潛在情緒的推導。

單一的情緒可能會導致一或多個面部表情，多種表情的組合可能會導致多種情緒的混合，臉部動作和情緒之間并沒有一對一的對應關系，因此提出了通過特定的符號來描述面部表情的方法。例如情感的面部動作編碼系統(tǒng)(EMotional Facial Action Coding System, EMFACS)和表情辨別整體判斷系統(tǒng)(system for Identidying AFFect EXpression by holistic judgement, AFFEX)。EMFACS是FACS的簡化版本，它并不關注于全部的面部動作，只分析具有表情含義的部分，這能夠極大地縮短編碼的時間，但它由于忽略了很多面部動作，所以只適合于對簡單的情緒進行分析。AFFEX是Izard提出一個表情分析系統(tǒng)，它通過整體判斷來對情緒表達進行識別，對表情進行分類，這能夠保證有效性的客觀分析，但沒有對情緒的表達強度或者動態(tài)屬性進行編碼。

3.2 表情識別過程

表情識別的過程為首先獲取人臉圖像庫，進行人臉檢測和人臉配準，這兩個方法為表情識別的預處理步驟，然后進行特征提取和表情分類，這是表情識別的關鍵步驟。目前表情識別的研究大多集中在這兩個部分，最后確定表情的所屬類別。圖3給出了表情識別的具體過程。

圖 3 表情識別過程Fig. 3 Process of expression recognition

3.2.1 人臉檢測

人臉檢測是在人臉圖像中找到并框出人臉部分。目前的人臉檢測方法有基于傳統(tǒng)知識的算法、基于幾何特征的算法、基于AdaBoost算法以及基于神經網絡的算法等。下面介紹兩種經典算法。

1)基于AdaBoost算法。

AdaBoost算法是經典的機器學習類算法，是Freund等[24]在Boosting算法的基礎上提出的，后來有學者將AdaBoost算法應用在人臉檢測中，取得了很好的檢測效果。

AdaBoost算法的核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，弱分類器要經過多次迭代，每次迭代后都會對訓練進行反饋，讓下一輪迭代過程更加注重上次迭代中無法分類的樣本，最終把這些弱分類器集合起來構成一個更強的最終分類器(強分類器)，可以達到很高的檢測率。這種算法主要有三種優(yōu)勢：第一它引入了“積分圖像”這一概念，能夠快速地計算檢測器使用的特征。第二是基于Adaboost學習算法，從較大的集合中選擇少量的關鍵視覺特征，產生了非常高效的分類器。第三是在“級聯(lián)”中組合使用復雜的分類器方法，能夠快速地區(qū)分背景。

Viola-Jones算法具有檢測速度快、檢測率高等優(yōu)點，但需要大量的訓練樣本，特別是負樣本，并且存在閉塞和大姿態(tài)變化的問題，后期有學者提出并改進了該算法。王建[25]提出了Gentle AdaBoost算法，在構造弱分類器的方法上進行了優(yōu)化，使算法更具有魯棒性和穩(wěn)定性。Nakamura等[26]提出BAdaBoost算法，設置困難樣本的權值上限，減緩過學習的問題。Zhang等[27]提出FloatBoost算法，設計出一個高性價比的分類器，將效果不好的弱分類器替換，使得強分類器使用的特征數明顯減少。

2)基于卷積神經網絡算法。

卷積神經網絡(Convolutional Neural Network, CNN)是深度學習和人工神經網絡相結合的一種算法，1989年Lecun等[28]首次提出了它的思想，并于1998年完整地提出了卷積神經網絡的算法[29]。

CNN訓練算法包括兩個方向：前向傳播和反向傳播。前向傳播的過程為首先從輸入層中輸入圖像樣本，然后由卷積層進行卷積操作，通過局部感知野和權值共享的方法來提取初級特征，再傳遞到池化層進行采樣。在這個過程中，經過多次卷積采樣向下傳遞到輸出層。但實際得到的輸出值與理想輸出值誤差較大，通過反向傳播使用梯度下降法來減少誤差。首先計算出兩者之間的誤差來調整神經元的連接權值，再逐層向前調整其他層的誤差，不斷調整直至誤差達到預期的效果。CNN的優(yōu)點主要有兩個：第一是采用了局部感知野，根據圖像空間的聯(lián)系是局部的這一特點，令每一個神經元只感受局部的圖像區(qū)域，而非感受全局圖像。第二是采用了權值共享，根據神經元之間是局部連接的這一特點，令每個神經元采用相同的卷積核對圖像做卷積，再根據不同的圖像特征采取不同的卷積核。這兩種方法大大減少了網絡訓練的參數數量[30]，降低了網絡結構的復雜度。

CNN在處理大的圖像上具有絕對的優(yōu)勢，但會受到數據在空間上多樣性的影響，且學習到的特征不具有旋轉不變性，根據以上問題，有學者提出了改進算法。Jaderberg等[31]提出了空間變換網絡，它能夠自適應對數據進行空間變換和對齊，而且計算速度很快。Zhao等[32]提出了一個新的SWWAE(Stacked What-Where Auto-Encoders)結構，由卷積結構和反卷積結構組成，其中卷積結構用來對輸入進行編碼，反卷積結構用來進行重組。該結構適用于具有大量無標注類數據集的情況。李輝等[33]提出了一種優(yōu)化改進的CNN人臉識別算法，構造一個稀疏自動編碼器對CNN濾波器進行非監(jiān)督預訓練，對誤差進行最小化重構，再用支持向量機(Support Vector Machine, SVM)代替Softmax分類器，與傳統(tǒng)CNN相比，速度和識別率都有所提升。

3.2.2 人臉配準

人臉配準是在人臉檢測的基礎上去除旋轉、遮擋等因素的影響，準確定位人臉特征點的方法。目前人臉配準的算法主要有基于參數化模型的算法和基于回歸的算法。

1)基于參數化模型的算法。

基于參數化模型的算法主要有活動形狀模型(Active Shape Model, ASM)[34]、活動外觀模型(Active Appearance Model, AAM)[35]、受約束局部模型(Constrained Local Model, CLM)[36]等。

1995年，Cootes等[34]在Snake模型的基礎上提出了基于統(tǒng)計模型的ASM算法，它主要有兩個部分：模型建立和圖像擬合。模型建立主要是訓練圖像數據，對人臉輪廓手工標定特征點，計算模型中各個參數的統(tǒng)計數據。圖像擬合是匹配圖像的過程，根據模型上點的局部灰度信息確定匹配度，最后利用形狀模型進行擬合。AAM是Cootes等[35]在2001年提出的ASM改進算法，在ASM基礎上進一步對紋理進行建模，使用形狀和紋理相融合的統(tǒng)計模型。AAM和ASM可以保持形變也能保證只按照人臉合理的方式變化，大大提高了圖像表示的有效性和魯棒性。CLM類似于Snake模型，不同的是目標形狀是受約束的，它主要由三部分組成：形狀模型、局部外觀模型、擬合優(yōu)化策略。基本思路為利用局部模型在特征點附近搜索確定每個特征點的位置，并結合形狀擬合自動準確對圖像進行校正。文獻[36]中提出了參數PCA-based和非參數exemplar-based受限局部模型，并在擬合精度、擬合效率上進行了比較，基于PCA的參數模型擬合速度更快，而基于exemplar的非參數模型精度更高。

2)基于回歸的算法。

基于回歸的算法主要有基于深度卷積神經網絡的回歸算法[37]和基于級聯(lián)回歸的算法。

基于深度卷積神經網絡回歸算法的基本思想是裁剪出人臉圖像中的人臉部分，利用CNN進行粗定位和精定位。粗定位是針對整個人臉區(qū)域，精定位是針對粗定位后得到的局部人臉區(qū)域。卷積神經網絡具有層級抽象的能力，能夠利用全局信息進行學習，用在人臉配準上能夠取得很好的效果。基于級聯(lián)回歸算法是一個不斷迭代更新的算法，前提是需要知道臉部初始形狀，然后通過多個弱回歸級聯(lián)器不斷擬合得到臉部真實形狀。Cao等[38]提出的線性形狀回歸(Explicit Shape Regression, ESR)算法可以通過訓練數據最小化對齊錯誤函數，學習一個向量回歸函數直接能推斷整個面部形狀。Ren等[39]提出的局部二值特征回歸(regressing Local Binary Ferture, LBF)算法是基于樹的方法，學習每個人臉關鍵點的局部二值特征，結合起來，使用線性回歸來檢測特征點，取得了很好的效果。

3.2.3 特征提取

特征提取是提取圖像上的特征點，判斷該點是否屬于某一類特征。特征提取目前比較經典的算法是Calder等[40]在2001年提出的主成分分析法(Principal Component Analysis, PCA)和Ahonen等[41]在2004年提出的局部二值模式(LBP)。

1)主成分分析法(PCA)。

PCA主要用于數據降維，對于一系列特征組成的多維向量，多維向量里的某些元素本身沒有區(qū)別，用這些元素作特征來區(qū)分，貢獻會非常小。PCA就是利用協(xié)方差矩陣來分析元素之間的相關性，選出圖像的主成分排除其他的冗余信息，形成一個變換矩陣，通過這個變換矩陣實現正交變換，對原有的高維圖像進行降維。

具體的操作步驟為：第一步，選取合適的訓練集，由N幅人臉圖片組成一個訓練集X，其中每幅圖片的矩陣組成都是M×N，則訓練集X組成的矩陣為T×N，其中T=M×N。第二步，特征中心化，計算數據的平均值，用原數據減去求出的平均值。第三步，計算元素之間的相關性，首先計算出協(xié)方差矩陣的特征值，按照從大到小的順序排列，選取其中前M個特征值計算其相應的特征向量，將特征向量組成的變換矩陣P進行線性轉換，根據矩陣P中的元素對人臉表情識別貢獻率大的屬性賦予較重的權值。第三步，實現降維，利用正交變換進行降維，其中：P是M×T的矩陣，X是T×N的矩陣，則正交變換后的矩陣Y為M×N的矩陣，M

但PCA對存儲空間有很大的要求且計算復雜度較高，所以后期有很多學者提出了改進算法。Le等[42]提出了2DPCA(two-Dimensional PCA)算法，可以直接對圖像矩陣進行轉換，不再需要將圖片矩陣轉換成向量之后再進行轉換，避免出現維數過高的情況，與PCA比較表現力和速度都有所提升。葉學義等[43]在此基礎上提出了Tensor PCA算法，引入三階張量，采用張量的投影方式將人臉圖像張量投影到低維的張量子空間中，并改進傳統(tǒng)PCA中協(xié)方差矩陣最大化準則，其準確率優(yōu)于2DPCA算法。

2)局部二值模式(LBP)。

LBP算法是首先通過計算圖像中所包含的每個像素與其8-鄰域的點的灰度值的關系，形成一個二進制編碼，其中中心點為閾值，鄰域內的值大于該閾值的部分標1，小于的標0，最后采用多區(qū)域直方圖作為圖像的特征描述，根據計算兩個圖像LBP直方圖的距離來判斷兩者的相似性。

圖4 像素點LBP處理Fig. 4 LBP processing of pixel points

二值化處理如圖4所示，從左上角第一個值開始順時針形成的二進制編碼為11011010。對應的LBP值為：107+106+104+103+101，中間的值就用LBP代替，計算LBP的值并沒有開始順序的規(guī)定，只是要求在同一處理中保持相同順序，下面是計算LBP的公式，其中：n為像素點的個數，中心像素位置gc(xc,yc)，相鄰8-鄰域的點為g0,g1,…,g7：

(1)

其中：

(2)

LBP對光照具有不變性，復雜度低，消耗內存小，而且算法簡單；但是LBP無法區(qū)分鄰域像素點與中心像素點相等時的情況，并且原始的LBP算子是灰度不變的，但卻不是旋轉不變的，圖像經過旋轉后就會得到不同的灰度值，后期有學者針對以上問題提出了改進算法。Fang等[44]提出了旋轉不變LBP算法，將其矩形的圖像優(yōu)化為以中心點為圓心的一個圈，按位平移計算LBP值，能夠保證圖像在發(fā)生一定傾斜時也能得到同樣的效果。李春利等[45]提出一種改進LBP算子的紋理圖像識別算法，將紋理圖像均勻分塊，獲得LBP直方圖，根據得到的訓練模型決定測試樣本的特征留取，該算法減輕了對樣本的依賴，具有更高的穩(wěn)定性。

3)其他算法。

除了以上兩種經典算法外，還有很多學者提出了其他算法。根據提取對象的不同，可以分為靜態(tài)方法和動態(tài)方法。前者用于無變化的靜止圖片，后者用于動態(tài)的圖像序列。常用的其他方法有幾何特征提取方法，包括ASM、AAM、尺度不變特征轉換(Scale-Invariant Feature Transform, SIFT)，外貌特征提取方法，包括Gabor濾波器[46]、PCA、LBP。動態(tài)的圖像序列反映了人臉表情的一個動態(tài)變化過程，主要的特征提取方法有光流法[47]、特征點跟蹤法[48]、模型跟蹤法[49]、彈性圖匹配法[50]等。以上方法的介紹如表2所示。

表2 特征提取方法Tab. 2 Methods of feature extraction

3.2.4 表情分類

表情分類是根據提取的圖像特征判斷該表情所屬的類別。具體歸屬的類別可以是根據FACS劃分的AU單元，也可以是目前通用的六種基本表情，還可以是根據時間信息劃分的類別等。下面介紹幾種常用的方法。

1)隱馬爾可夫模型算法。

隱馬爾可夫模型(Hidden Markov Model, HMM)算法是一種統(tǒng)計模型，用來描述一個含有隱含未知參數的馬爾可夫過程[15]。它的狀態(tài)不能直接觀測到，但可以由觀測向量序列觀察到，而每一個觀測向量是由一個具有相應概率密度分布的序列產生。所以，隱馬爾可夫模型是一個雙重隨機過程，一個是馬爾可夫鏈，用來輸出狀態(tài)序列，另一個是隨機過程，輸出觀測向量序列。HMM能夠保證在面部表情和頭部位置發(fā)生較大變動時仍可以得到較高的識別率，但實現復雜度較高，而且需要的存儲空間很大。

2)k最近鄰算法。

k最近鄰(k-Nearest Neighbor,kNN)算法是一種lazy-learning算法[51]，分類器不需要使用訓練集進行訓練。它的基本思路為：隨機將所有樣本劃分為k類，計算每一類的平均值，將所有樣本與求出的平均值進行比較，依據距離重新劃分，不斷迭代更新，直至劃分的類中樣本不再發(fā)生變化。劃分的標準為一維的使用兩點之間的距離公式，二維的使用歐氏距離，n維的使用明氏距離。kNN主要依靠周圍有限的鄰近樣本，而不是依靠判別類域的方法來確定所屬類別，對于類域的交叉或重疊過多的待分樣本集來說比較適合。

3)其他算法.

表情分類方法可分為靜態(tài)和動態(tài)的，靜態(tài)模型有貝葉斯網絡分類器(Bayesian Network Classifier, BNC)[52]、神經網絡(Neural Network, NN)[53]、支持向量機(SVM)[54]、卷積神經網絡(CNN)[55]等。動態(tài)模型有可變狀態(tài)潛在條件隨機場(Variable-state Latent Conditional Random Field, VSL-CRF)[56]和使用多層反饋神經網絡(Recurrent Neural Network, RNN)架構的長期短期內存網絡(Long Short Term Memory Network, LSTM)[57]等。以上方法的介紹如表3所示。

表3 表情分類方法Tab. 3 Methods of expression classification

4 部分算法實驗分析

4.1 特征提取實驗

1)LBP實驗。

選擇一張原始的人臉圖像，首先將其轉化為灰度圖像，根據灰度圖像可以得到LBP圖像，再統(tǒng)計出每一個區(qū)間內的LBP值的個數，就可以得到人臉LBP直方圖,如圖5所示。

圖5 人臉LBP圖像Fig. 5 LBP image of human face

如圖5所示，LBP算子的灰度不變性和旋轉不變性使其在紋理分割、紋理分類等取得了良好的實驗效果,但是高精度的特征提取會增大內存占用且減慢速度。

2)PCA實驗。

在CK+數據集中選取了部分人臉圖像進行PCA處理,得到的特征臉圖像如圖6所示。根據特征臉可以構造特征空間，根據訓練樣本和測試樣本在特征空間上的投影距離可以判斷表情類別。

圖6 特征臉圖像Fig. 6 Images of feature face

由圖6可知，PCA算法可以將人臉圖像表示為一維的向量，選擇相關性大的特征向量而剔除冗余的特征向量，可以很好地表示人臉特征并且達到降維的目的。

4.2 表情分類實驗

1)SVM實驗。

在CK+人臉表情數據集中選擇了1 435張人臉圖像進行訓練，并選擇了140張圖像進行測試，其識別率如表4所示。

表 4 SVM分類結果Tab. 4 SVM classification results

根據表4可知，SVM在JAFFE上的識別率達到了平均87.14%。SVM能夠實現訓練樣本到測試樣本的推力轉換，提高了分類識別率并具有良好的魯棒性，但對于小樣本數據的分類情況較為良好，不適用于大樣本。

2)CNN實驗。

在CK+人臉表情數據集中挑選了2 800張人臉圖像分別使用AlexNet和CaffeNet網絡模型進行訓練，并選擇了140張圖像進行測試，得出其識別率。根據識別率可知，CNN在CK+表情數據集上分別使用AlexNet和CaffeNet模型訓練和測試，識別率分別達到了88.57%和85.45%。CNN自我學習能力較強，速度快，但依賴于大量的訓練樣本才能夠達到較高的識別率，且對圖像的前期處理要求較高。

5 存在的問題及未來的發(fā)展

5.1 存在的問題

通過查看人臉面部提取的信息，來識別并判斷出人的心理狀態(tài)有助于未來的教育、醫(yī)療、商業(yè)等服務的發(fā)展。目前面部表情識別技術雖然目前已經取得了極大的進展，但是仍存在很多亟須解決以及優(yōu)化的問題，例如大范圍的轉變頭部姿態(tài)、改變光照背景等對表情識別影響很大等，對目前表情識別存在的問題進行總結如下：

1)表情的分類過于局限，人類表情并非只有六種基本表情，還存在很多復雜和疊加的表情。

2)目前的算法都需要將人臉圖片進行預處理后才能進行運算，處理較為繁瑣，實用性不是很大。

3)動態(tài)圖像中的人臉表情和三維現實生活中的人臉表情容易受到光照、遮擋物的影響，魯棒性較差，識別算法的有效性仍有待改進。

4)大多數論文的算法研究都是在已有的算法基礎上進行改進形成的，缺少從新的角度提出實用高效的新算法。

5)大部分表情識別算法需要大量的訓練樣本數據才能夠得到較好的識別效果，識別效率對訓練樣本的依賴程度較大。

5.2 未來的發(fā)展

隨著大數據時代的到來，使得實時處理面部表情的需求量急劇增加，面部表情識別技術的應用具有更加廣闊的發(fā)展空間和利用價值。對表情識別未來的發(fā)展總結如下：

1)考慮時間變化。加入時間變化所提供的信息，可以幫助識別微妙表情和區(qū)分自發(fā)表情[58]；且與表情的空間變化相比，表情的時間變化受到身份偏差的影響要小得多。目前的表情識別技術以獨立于相鄰幀的順序配準每個幀，未來發(fā)展的新配準技術是通過考慮后續(xù)幀之間配準的一致性來對齊幀，該技術可以支持時空表示。

2)納入深度信息。目前大多數表情識別設備都依賴于2D圖像作為輸入，在克服了頭部姿勢和照明變化相關的挑戰(zhàn)之后，基于深度的成像技術得到快速發(fā)展，該技術支持3D臉部分析，且深度變化的分析有助于識別2D外觀不能察覺的表情。

3)融入非視覺形式。單從視覺形式即提取面部信息來判斷表情具有一定的局限，未來可以通過整合熱、聲音、環(huán)境等因素來幫助判斷面部表情。如通過熱成像捕獲不同面部區(qū)域的輻射，根據血液的流動變化來判斷面部表情。聲音可以通過聲學屬性來提供特定情緒的指示。根據環(huán)境中相互作用的人、地點等也可以改善情緒推理。

6 結語

表情識別是目前研究的熱門領域，具有廣闊的研究前景。本文對表情識別的常用數據集和發(fā)展歷程進行了簡要的介紹，總結了表情識別四個過程即人臉檢測、人臉配準、特征提取和表情分類的經典算法，并且對特征提取和表情分類兩個重要過程給出了實驗對比分析其每個算法的性能，最后對表情識別存在的問題和未來的發(fā)展作出了總結。

References)

[1] GIRARD J M, COHN J F, MAHOOR M H, et al. Nonverbal social withdrawal in depression: evidence from manual and automatic analyses [J]. Image and Vision Computing, 2014, 32(10):641-647.

[2] LUCEY P, COHN J F, MATTHEWS I, et al. Automatically detecting pain in video through facial action units [J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, 2011, 41(3): 664-674.

[3] IRANI R, NASROLLAHI K, SIMON M O, et al. Spatiotemporal analysis of RGB-D-T facial images for multimodal pain level recognition [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2015: 88-95.

[4] EKMAN P. Universal and cultural differences in facial expression of emotion [J]. Nebraska Symposium on Motivation, 1972, 19: 207-284.

[5] LYONS M, AKAMATSU S, KAMACHI M, et al. Coding facial expressions with Gabor wavelets [C]// Proceedings of the 1998 IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 1998: 200-205.

[6] LUCEY P, COHN J F, KANADE T, et al. The extended Cohn-Kanade dataset (CK+): a complete dataset for action unit and emotion-specified expression [C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2010: 94-101.

[7] VALSTAR M F, PANTIC M. Induced disgust, happiness and surprise: an addition to the mmi facial expression database [EB/OL]. [2017- 04- 16]. https://ibug.doc.ic.ac.uk/media/uploads/documents/EMOTION-2010-ValstarPantic-CAMERA.pdf.

[8] 薛雨麗,毛峽,張帆.BHU人臉表情數據庫的設計與實現[J].北京航空航天大學學報,2007,33(2):224-228.(XUE Y L, MAO X, ZHANG F. Design and realization of BHU facial expression database [J]. Journal of Beijing University of Aeronautics and Astronautics, 2007, 33(2): 224-228.)

[9] WANG S F, LIU Z L, LYU S L, et al. A natural visible and infrared facial expression database for expression recognition and emotion Inference [J]. IEEE Transactions on Multimedia, 2010, 12(7): 682-691.

[10] DHALL A, GOECKE R, LUCEY S, et al. Collecting large, richly annotated facial-expression databases from movies [J]. IEEE Multimedia, 2012, 19(3): 34-41.

[11] DHALL A, GOECKE R, LUCEY S, et al. Static facial expression analysis in tough conditions: data, evaluation protocol and benchmark [C]// Proceedings of the 2011 IEEE International Conference on Computer Vision Workshops. Piscataway, NJ: IEEE, 2011: 2106-2112.

[12] MASE K, PENTLAND A. Automatic lipreading by optical-flow analysis [J]. Systems & Computers in Japan, 2015, 22(6): 67-76.

[13] TIAN Y L, KANADE T, COHN J F. Recognizing action units for facial expression analysis [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2001, 23(2): 97-115.

[14] COHEN I, SEBE N, GARG A, et al. Facial expression recognition from video sequences: temporal and static modeling [J]. Computer Vision & Image Understanding, 2003, 91(1/2): 160-187.

[15] ALEKSIC P S, KATSAGGELOS A K. Automatic facial expression recognition using facial animation parameters and multi-stream hmms [J]. IEEE Transactions on Information Forensics & Security, 2006, 1(1): 3-11.

[16] KOTSIA I, PITAS I. Facial expression recognition in image sequences using geometric deformation features and support vector machines [J]. IEEE Transactions on Image Processing, 2007, 16(1): 172-187.

[17] LITTLEWORT G, BARTLETT M S, FASEL I, et al. Dynamics of facial expression extracted automatically from video [J]. Image & Vision Computing, 2006, 24(6):615-625.

[18] SHAN C F, GONG S G, MCOWAN P W. Facial expression recognition based on local binary patterns: a comprehensive study [J]. Image and Vision Computing, 2009, 27(6): 803-816.

[19] YIN L J, WEI X Z, SUN Y, et al. A 3D facial expression database for facial behavior research [C]// Proceedings of the 2006 7th International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2006: 211-216.

[20] TANG H, HUANG T S. 3D facial expression recognition based on automatically selected features [C]// CVPRW 2008: Proceedings of the 2008 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2008: 1-8.

[21] VRETOS N, NIKOLAIDIS N, PITAS I. 3D facial expression recognition using Zernike moments on depth images [C]// Proceedings of the 2011 18th IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2011: 773-776.

[22] KONG S G, HEO J, ABIDI B R, et al. Recent advances in visual and infrared face recognition — a review [J]. Computer Vision & Image Understanding, 2005, 97(1): 103-135.

[23] 王國胤,龔勛.人臉感知:從二維到三維[M].北京:科學出版社,2011:10-30.(WANG G Y, GONG X. Human Face Perception: from 2D to 3D [M]. Beijing: Science Press, 2011: 10-30.)

[24] FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and an application to boosting [C]// Proceedings of the 1995 European Conference on Computational Learning Theory, LNCS 904. Berlin: Springer, 1995: 23-37.

[25] 王建.基于Gentle AdaBoost算法的人臉檢測研究[D].成都:電子科技大學,2011:24-38.(WANG J. Research on face detection based on Gentle AdaBoost algorithm [D]. Chengdu: University of Electronic Science and Technology of China, 2011: 24-38.)

[26] NAKAMURA M, NOMUYA H, UEHARA K. Improvement of boosting algorithm by modifying weighting rule [J]. Annals of Mathematics & Artificial Intelligence, 2004, 41(1): 95-109.

[27] ZHANG Z Q, LI M J, LI S Z, et al. Multi-view face detection with FloatBoost [C]// Proceedings of the 2002 IEEE Workshop on Applications of Computer Vision. Washington, DC: IEEE Computer Society, 2002: 184.

[28] LECUN Y, BOSER B, DENKER J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551.

[29] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[30] 汪濟民.基于卷積神經網絡的人臉檢測和性別識別研究[D].南京：南京理工大學,2015:42-47.(WANG J M. Research on face detection and gender recognition based on convolution neural network [D]. Nanjing: Nanjing University of Science and Technology, 2015: 42-47.)

[31] JADERBERG M, SIMONYAN K, ZISSERMAN A, et al. Spatial transformer networks [C]// NIPS 2015: Proceedings of the 2015 28th International Conference on Neural Information Processing Systems. Cambridge, MA: MIT Press, 2015: 2017-2025.

[32] ZHAO J B, MATHIEU M, GOROSHIN R, et al. Stacked what-where auto-encoders [EB/OL]. [2017- 04- 10]. http://xueshu.baidu.com/s?wd=paperuri%3A%28c2e4cc91c19dc2d85fe0c72fcf535763%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Farxiv.org%2Fpdf%2F1506.02351.pdf&ie=utf-8&sc_us=5921033091152195876.

[33] 李輝,石波.基于卷積神經網絡的人臉識別算法[J].軟件導刊,2017,16(3):26-29.(LI H, SHI B. Face recognition algorithm based on convolution neural network [J]. Software Guide, 2017, 16(3): 26-29.)

[34] COOTES T F, TAYLOR C J, COOPER D H, et al. Active shape models — their training and application [J]. Computer Vision & Image Understanding, 1995, 61(1): 38-59.

[35] COOTES T F, EDWARDS G J, TAYLOR C J. Active appearance models [C]// Proceedings of the 1998 European Conference on Computer Vision, LNCS 1407. Berlin: Springer, 1998: 484-498.

[36] 金鑫,譚曉陽.受限局部模型在人臉特征點定位中應用綜述[J].小型微型計算機系統(tǒng),2017,38(2):371-375.(JIN X, TAN X Y. Facial feature point detection with constrained local models: a survey [J]. Journal of Chinese Computer Systems, 2017, 38(2): 371-375)

[37] SUN Y, WANG X G, TANG X O. Deep convolutional network cascade for facial point detection [C]// CVPR 2013: Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2013: 3476-3483.

[38] CAO X D, WEI Y C, WEN F, et al. Face alignment by explicit shape regression [J]. International Journal of Computer Vision, 2014, 107(2): 177-190.

[39] REN S Q, CAO X D, WEI Y C, et al. Face alignment at 3000 FPS via regressing local binary features [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2014: 1685-1692.

[40] CALDER A J, BURTON A M, MILLER P, et al. A principal component analysis of facial expressions [J]. Vision Research, 2001, 41(9): 1179-1208.

[41] AHONEN T, HADID A, PIETIKAINEN M. Face recognition with local binary patterns[C]// Proceedings of the 2004 European Conference on Computer Vision, LNCS 3021. Berlin: Springer, 2004: 469-481.

[42] LE H T, HA D T T. Facial expression representation and classification using 2DPCA [C]// Proceedings of the 2012 International Conference on Control, Automation and Information Sciences. Piscataway, NJ: IEEE, 2012: 42-47.

[43] 葉學義,王大安,宦天樞,等.基于張量的2D-PCA人臉識別算法[J].計算機工程與應用,2017,53(6):1-6.(YE X Y, WANG D A, HUAN T S, et al. Novel 2D-PCA face recognition based on tensor [J]. Computer Engineering and Applications, 2017, 53(6):1-6.)

[44] FANG Y C, LUO J, LOU C S. Fusion of multi-directional rotation invariant uniform LBP features for face recognition [C]// IITA 2009: Proceedings of the 2009 Third International Symposium on Intelligent Information Technology Application. Piscataway, NJ: IEEE, 2009: 332-335.

[45] 李春利,沈魯娟.基于改進LBP算子的紋理圖像分類方法[J].計算機工程與設計,2016,37(1):232-236.(LI C L,SHEN L J. Texture image classification method based on improved LBP operator [J]. Computer Engineering and Design, 2016, 37(1): 232-236.)

[46] LIU C, WECHSLER H. Gabor feature based classification using the enhanced Fisher linear discriminant model for face recognition [J]. IEEE Transactions on Image Processing, 2002, 11(4): 467-476.

[47] 孔健.基于MLBP-TOP與光流多特征的人臉表情融合識別研究[D].鎮(zhèn)江:江蘇大學,2009:40-44.(KONG J. Research on face expression fusion recognition based on MLBP-TOP and optical flow multi-feature [D]. Zhenjiang: Jiangsu University, 2009: 40-44.)

[48] BOUREL F, CHIBELUSHI C C, LOW A A. Robust facial expression recognition using a state-based model of spatially-localised facial dynamics [C]// Proceedings of the 2002 Fifth IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2002: 106-111.

[49] TIE Y, GUAN L. A deformable 3D facial expression model for dynamic human emotional state recognition [J]. IEEE Transactions on Circuits & Systems for Video Technology, 2013, 23(1): 142-157.

[50] WISKOTT L, FELLOUS J M， KRüGER N, et al. Face recognition by elastic bunch graph matching [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1997, 19(7): 775-779.

[51] VOGL T P, MANGIS J K, RIGLER A K, et al. Accelerating the convergence of the back-propagation method [J].Biological Cybernetics,1988, 59(4/5): 257-263.

[52] HASTIE T, TIBSHIRANI R. Discriminant adaptive nearest neighbor classification [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1996, 18(6): 607-616.

[53] SEBE N, LEW M S, SUN Y, et al. Authentic facial expression analysis [J]. Image & Vision Computing, 2007, 25(12): 1856-1863.

[54] YOSHITOMI Y, MIYAWAKI N, TOMITA S, et al. Facial expression recognition using thermal image processing and neural network [C]// Proceedings of the 1997 6th IEEE International Workshop on Robot and Human Communication. Piscataway, NJ: IEEE, 1997: 380-385.

[56] RANZATO M, SUSSKIND J, MNIH V, et al. On deep generative models with applications to recognition [C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2011: 2857-2864.

[57] WALECKI R, RUDOVIC O, PAVLOVIC V, et al. Variable-state latent conditional random fields for facial expression recognition and action unit detection [C]// Proceedings of the 2015 11th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Piscataway, NJ: IEEE, 2015: 1-8.

[58] AMBADAR Z, SCHOOLER J W, COHN J F. Deciphering the enigmatic face: the importance of facial dynamics in interpreting subtle facial expressions [J]. Psychological Science, 2005, 16(5): 403-410.

This work is partially supported by the National Natural Science Foundation of China (61702293, 41506198), the Open Research Fund of the Ministry of Education for Engineering Research Center of Virtual Reality Application (MEOBNUEVRA201601).

XULinlin, born in 1992, M. S. candidate. Her research interests include image recognition and processing, deep learning.

ZHANGShumei, born in 1964, Ph. D., professor. Her research interests include analysis and control of time-delay and nonlinear system, image recognition and processing.

ZHAOJunli, born in 1977, Ph. D., assistant professor. Her research interests include computer vision, computer graphics, virtual reality.

Summaryoffacialexpressionrecognitionmethodsbasedonimage

XU Linlin, ZHANG Shumei*, ZHAO Junli

(SchoolofDataScienceandSoftwareEngineering,QingdaoUniversity,QingdaoShandong266071,China)

In recent years, facial expression recognition has

extensive attention in education, medicine, psychoanalysis and business. Aiming at the problems of not systematic enough and fuzzy concept of facial expression recognition method, the steps and methods of facial expression recognition were reviewed and discussed. Firstly, the commonly used facial expression databases were introduced and the development of facial expression recognition was reviewed. Then, two aspects of facial expression recognition were introduced, such as facial expression coding and facial expression recognition. The four processes of face facial expression recognition were summarized. The classical algorithms, the basic principles of these algorithms and the comparisons of their advantages and disadvantages were summarized emphatically in the two processes of feature extraction and facial expression classification. Finally, the existing problems and possible development trends in the future of the current facial expression recognition were pointed out.

expression recognition; expression database; expression coding; feature extraction; expression classification

2017- 06- 26;

2017- 09- 18。

國家自然科學基金資助項目(61702293,41506198)；虛擬現實應用教育部工程研究中心開放基金課題(MEOBNUEVRA201601)。

徐琳琳(1992—)，女，山東萊蕪人，碩士研究生，主要研究方向：圖像識別與處理、深度學習； 張樹美(1964—)，女，山東萊西人，教授，博士，主要研究方向：時滯非線性系統(tǒng)的分析與控制、圖像識別與處理； 趙俊莉(1977—)，山西新絳人，助理教授，博士，CCF會員，主要研究方向：計算機視覺、計算機圖形學、虛擬現實。

1001- 9081(2017)12- 3509- 08

10.11772/j.issn.1001- 9081.2017.12.3509

(*通信作者電子郵箱shumeiz@163.com)

TP391.41

A