基于亮度檢測檢測和SVM的人臉表情識別算法

陳亞雄，王西博，王 超

（西北工業大學 電子信息學院，陜西 西安 710129）

基于亮度檢測檢測和SVM的人臉表情識別算法

陳亞雄，王西博，王 超

（西北工業大學 電子信息學院，陜西 西安 710129）

針對包含表情信息的靜態圖像，提出基于皮膚檢測和SVM的人臉表情識別算法。首先根據先驗知識，并使用皮膚檢測和積分投影相結合定位眉毛眼睛區域和嘴巴區域，自動分割出表情子區域。接著，對分割出的表情子區域進行Gabor小波特征提取，在利用Fisher線性判別對特征進行降維，去除冗余和相關。最后利用支持向量機對人臉表情進行分類。用該算法在日本表情數據庫上進行測試，獲得了較高的識別準確率。證明了該算法的有效性。

亮度檢測；表情特征提取；Fisher線性判別；支持向量機

人臉表情識別是指從給定的表情圖像或視頻序列中分析檢測特定的表情狀態，進而確定被識別對象的心理情緒。人臉表情識別技術在心理學研究、圖像理解、合成臉部動畫以及新型人機交互等領域有著重要的應用價值。

人臉表情識別一般包括3部分：臉部定位、臉部特征提取和表情分類。該研究的一個難點就是如何提取出完整、魯棒、緊湊且富有區分性的表情特征，以提高分類的準確程度。近年來出現了很多識別靜態圖像表情的方法：文獻[1]中提出了一種基于模板的表情識別方法；文獻[2]中將Gabor小波（或獨立成分分析）和支持向量機 （Support Vector Machine，SVM）結合起來識別面部表情；文獻[3]利用Gabor小波和BP神經網絡分類表情；文獻[4]使用隱馬爾科夫模型進行表情識別；然而，這些方法或者需要人工定位很多面部關鍵點，不能實現自動化識別，或者識別率較低。

文中首先對靜態表情圖像進行預處理，然后分割出表情子區域，接下來采用Gabor小波變換從人臉圖像眼部和嘴部子區域提取特征，并引入Fisher線性判別分析（Fisher Linear Discriminant Analysis，FLD）算法進行特征選擇，再以支持向量機為基礎構造分類器識別表情，得到了很好的效果。

1 圖像預處理

表情特征提取的目標是提取出能很好表征表情變化的特征。在進行特征提取之前，需要對輸入的表情圖像進行預處理，包括去噪、人臉檢測、人臉區域幾何歸一化、灰度歸一化以及表特征區域的定位。

人臉表情識別首要的工作就是人臉圖像的分割，文中手動分割出人臉區域，并幾何歸一化為120×150個像素大小。經觀察發現，人臉表情特征分為兩類：持久性表情特征和瞬態表情特征。持久性表情特征決定基本的表情狀態，包括嘴巴、眼睛和眉毛；瞬態表情特征包括臉頰和額角皺紋的瞬間變化，能在一定程度上揭示表情狀態。實驗表明，嘴角形狀對表情的影響最大，其次是眼睛和眉毛。而皺紋變化屬于動態特征，且受年齡等因素影響較大，容易會對表情識別產生不利影響。因此表情識別應重點提取嘴巴、眼睛和眉毛等局部區域的表情特征，并忽略皺紋的變化。因此在提取表情特征之前需要自動定位和分離出持久性表情特征子區域。

1.1 眉毛眼睛區域的提取

采用亮度直方圖和模式匹配的方法來定位眼球的坐標，然后根據人眼大小，統一將眼部區域擴大至40×50大小。

在選擇區域中，很容易地發現，眼球和眉毛比其他區域要暗很多，基于以上可以分析候選窗口區域的灰度直方圖。首先對窗口中所有的像素按灰度值進行排序，第二步選擇出灰度值最小的5%的像素作為眼球的候選區域，根據公式（1）選取的閾值T，對該候選區域二值化，其中 h（x，y）為該坐標點的像素灰度值，N為窗口中的像素總數[6]。得到的二值圖像如圖1所示。

圖1 眼球候區域位置圖Fig.1 Eye ball candidate region binary image

然后對候選的二值區域按照公式（2），（3）進行水平和垂直投影，水平投影中可以得到兩個極小的峰值，其中低的對應于眼睛點，高的對應于眉毛點，這樣就可以得到眼球的豎直坐標。類似可以得到眼球的水平坐標。如圖2所示。

圖2 眼球定位結果Fig.2 Eyeball location result

然后根據得到的眼球坐標對人臉圖像進行尺度和亮度歸一化。最后根據眼球坐標擴充眉眼區域至40×50大小，如圖（3）所示。

圖3 擴充后的眉毛眼部區域Fig.3 Eye and brow region after extension

1.2 嘴部區域的提取

圖4 嘴部中心位置Fig.4 Mouth center location

圖5 嘴部區域結果Fig.5 Mouth region result

2 Gabor小波特征提取

Gabor小波核函數能夠很好地描述哺乳動物初級視覺系統中一對簡單視覺神經元的感受特性[7]，與傅里葉變換相比，Gabor小波變換具有良好的時頻局部化特性，對光照變化不敏感，且能容忍一定程度的圖像旋轉和變形。所以文中選擇Gabor小波變換來提取特征。

2.1 Gabor濾波器

Gabor小波變換是一種加高斯窗的傅里葉變換，它由一組不同尺度、不同方向的濾波器組成，二維Gabor小波核函數定義為：

其中：

根據以上敘述可知，Gabor濾波器的特性由尺度v和μ方向決定，選取一系列的尺度v和方向μ，則可以獲得一組Gabor濾波器，稱為Gabor濾波器組。選用的是3個尺度、8個方向的 Gabor濾波器組，如圖 6 所示，將輸入圖像 I（x，y），依次與濾波器組的各個濾波器進行卷積，并取其幅值作為輸出，即：

設預處理之后的圖像大小為M×N，那么3×8個濾波器得到的Gabor小波特征矢量的維數一共是M×N×3×8維，維數很高。因此文中僅對上文提取出的左部眉毛眼睛區域和嘴部區域進行 Gabor小波變換， 共 50×40×24+80×30×24=105600維，考慮到Gabor特征像素間是高度相關和冗余的，因此，采用下2采樣的方法，在采樣點l：提取各個濾波器輸出的值，聯合起來組成列向量，得到105600／4=26400維的Gabor特征向量。然后把Gabor特征向量采用式（6）歸一化到[0，1]區間。

圖6 3個尺度8個方向的Gabor濾波器組Fig.6 Group of Gabor wavelets in 3 scales and 8 directions

其中，x，y分別為轉換前后的值，valuemin和 valuemax分別為樣本的最小、最大值。

2.2 FLD降維

經下采樣后的Gabor特征，特征維數依然很高，因此，文中引入Fisher線性判別分析（FLD）算法進行降維。該算法的目標是最小化類內距離，同時最大化類間距離[7]。其具體形式描述如下：給定屬于C類的N幅人臉表情訓練樣本{xi}Ni=1，每個訓練樣本用一個n維向量表示，則樣本的類內散度矩陣Sw，類間散度矩陣Sb分別定義為：

式（9）對應的優化問題等價于求解SbW=λSwW的廣義特征值。如果Sw可逆，則轉換為求S-1wSbW=λW的標準特征值分解問題。選取最大的g個特征值對應的特征向量構成新的W，則新的特征向量 yi可表示為 yi=WTxi（i=1，2，…，N），FLD 最多有C-1個非零的特征向量，因此，子空間最多是C-1維，這里把表情分成7類（包括中性表情），故得到代表表情特征的空間最多是6維。

3 SVM表情分類器

SVM的基本思想是將訓練樣本經非線性變換映射到另一高維空間中，在變換后的高維空間內尋找一最優分界面，該分界面不但能將樣本無錯誤或接近無錯誤分開，而且使類間空隙最大，從而具有很好的泛化能力。

設給定樣本為（x1，y1），（x2，y2），…，（xm，ym），其中 yi∈{-1，1}，為所屬類的類別號， 則分類面的方程為：（w·x）+b=0，w，b 滿足：

即：

滿足上述條件且使‖w2‖最小的分類面即最優分類面，其最優分類函數為：

其中：k（·，·）為核函數；sgn（）為符號函數；n 為訓練樣本個數；?為每個樣本對應的拉格朗日乘子；文中采用的是徑向基內積函數。

SVM本身是一種兩類分類器，而表情識別屬于多類模式識別問題，本文采用“一對一”方式，對P個類構建P（P-1）2個兩類分類器，每個分類器將其中2個類別相互區分開來。

4 實驗結果及分析

本文分類 6種基本情緒 [高興 （happy）、 悲傷（sadnes（fear）、厭惡（disgust）、驚奇（surprise）、生氣（angry）]，使用日本女性人臉表情數據庫 （Japanese Female facial expression JAFFE），在Visual C++6.0平臺下進行實驗。

在該數據庫下采用以下實驗方案進行測試，選取140幅人臉表情，包括10個人的7種表情，每種表情2幅，并采用10交叉驗證的方法（即取9個人的表情做訓練，另外1個人的表情做測試），循環lO次，取平均。

表1為同一表情庫下4種算法識別效果的比較。

表1 4種算法的識別結果比較Tab.1 the recognition result of four algorithms

采用本文算法，最高識別率達到了88.57%。文獻[9]、[10]中采用的方法的識別率分別為75.45%、84.20%；文獻[11]中的方法需要人工選取34個基準點，不能實現自動化，而本文的方法實現了自動化。

5 結束語

文章提出了一種基于亮度檢測和SVM的人臉表情識別算法。實驗表明，該算法能夠有效地提取出與表情變化相關的特征矢量，識別率較高且易于實現自動化。

[1]Lyons M J， Budyned J， Kamastu S.Automatic classification of single facial image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（12）：1357-1362.

[2]Buciu I， Kotropoulos C， Pitas I.ICA and Gabor representation for facial expression recognition [C]//ICIP 2003：2003 International Conference on Image Processing，Washington，DC：IEEE Press，2003：855-858.

[3]LOH M P， WONG Y P， WONG C O.Facial expression recogniton for e-1earning systems using Gabor wavelet&neural network[C]//2006，Sixth International Conference on Advanced Learning Technologies，2006：523-525.

[4]Pardas M，Bonafonte A.Facial animation Parameters extraction and expression recognition using hidden Marcov model[J].Imagingofthe SignalProcessing：ImageCommunication Journal，2002，17（9）：675-688.

[5]Lee T S.Image representation using 2D Gabor wavelets[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1996，18（10）：959-971.

[6]LI Gan-hua， CAI Xuan-ping， LI Xian-shuai， et al.An efficientface normalization algorithm based on eyes detection[C]//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems，2006：3843-3848.

[7]Belhumeur P N，Hespanha J P，Kriegman D J.Eigenfaces VS fisherfaces recognition using classspecific linear projection [J].IEEE Transaction on Pattern Analysis and Machine Intelligence，1997，19（7）：711-720.

[8]李俊華，彭力.基于特征塊主成分分析的人臉表情識別[J].計算機工程與設計，2008，29（12）：3151-3153.

LI Jun-hua，PENG Li.Facial expression recognition based on feature block principal component analysis[J].Computer Engineering and Design，2008，29（12）:3151-3153.

[9]葉古祥，胡秀麗.基于Gabor小波與分形維的人臉情感特征提取[J].計算機工程，2008，34（4）：226-227，230.

YE Ji-xiang， HU Xiu-li， Facial affective features extraction based on Gabor wavelet and fractral dimension[J].Computer Engineering，34（4）:226-227，230.

[10]王曄，吳小俊，王士同，等.基于改進主動形狀模型的人臉表情識別[J].計算機工程與應用，2009，45（6）：197-200.

WANG Ye， WU Xiao-jun， WANG Shi-tong， et al.Facial expression recognition based on improved active shape mode[J].Computer Engineering and Applicatons，2009，45 （6）:197-200.

[11]周書仁，梁昔明，楊秋芬，等.基于PSO與ICA的表情特征提取[J].計算機應用，2007，27（11）：2797-2799.

ZHOU Shu-ren， LIANG Xi-ming， YANG Qiu-feng， et al.Expression feature extraction based on PSO and ICA[J].Computer Applications，2007，27（11）:2797-2799.

Facial expression recognition algorithm based on brightness detecting and SVM

CHEN Ya-xiong， WANG Xi-bo， WANG Chao
（The Department Of Electronics and Information，Northwestern Polytechnical University，Xi’an710129，China）

A facial recognition algorithm based on Skin detecting and SVM to still image containing expression Information was introduced.Firstly， skin detecting algorithm combined with projection to locate the eye region and the mouth region， which can segment the expression sub-regions automatically.Secondly，features of the expression sub-regions were extracted by Gabor wavelet transformation and then effective Gabor expression features were selected by Fisher Linear Discriminat（FLD）to deduce the dimension and redundancy of the features.Finally，the features were sent to Support Vector Machine （SVM）to classify the different expressions.The algorithm was tested on Japanese female expression database.It can get a high precision of recognition.The feasibility of this method has been verified by experiments.

brightness detecting； expression feature extraction； Fisher Linear Discriminant （FLD） analysis； Support Vector Machine（SVM）

TP391.4

A

1674－6236（2011）24-0150-04

2011-11-03 稿件編號：201111018

西北工業大學2011年度研究生創業種子基金（Z2011090）

陳亞雄（1985—），男，甘肅白銀人，碩士研究生。研究方向：模式識別，圖像處理。