疲勞駕駛面部表情識(shí)別算法

收稿日期：2007-11-10；修回日期：2008-03-06

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（50374079）; 國(guó)家“973”計(jì)劃資助項(xiàng)目（2002cb12203）

作者簡(jiǎn)介：楊秋芬（1973-），女，湖南永州人，副教授，博士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、人臉識(shí)別(yqf5569@sohu.com)；桂衛(wèi)華（1951-），教授，博導(dǎo)，主要研究方向?yàn)橹悄芸刂啤⒆詣?dòng)化；周書(shū)仁（1975-），男，講師，博士研究生，主要研究方向?yàn)槿斯ぶ悄堋⒛Ｊ阶R(shí)別、圖像處理*

（中南大學(xué) 信息科學(xué)與工程學(xué)院，長(zhǎng)沙 410083）

摘 要：針對(duì)疲勞駕駛的六種表情，提出幾何規(guī)范化結(jié)合Gabor濾波提取表情特征，使用支持向量機(jī)對(duì)疲勞駕駛的面部表情分類(lèi)識(shí)別的系統(tǒng)。首先對(duì)視頻圖像預(yù)處理進(jìn)行幾何規(guī)范化，利用二維Gabor核函數(shù)構(gòu)造最優(yōu)濾波器48個(gè)，獲取48個(gè)面部表情特征點(diǎn)，最后利用支持向量機(jī)進(jìn)行面部表情分類(lèi)識(shí)別。實(shí)驗(yàn)結(jié)果表明徑向基函數(shù)的SVM性能最好。

關(guān)鍵詞：表情識(shí)別；加博濾波； 核函數(shù)； 支持向量機(jī)

中圖分類(lèi)號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2008)10-3039-03

Facial expression recognition algorithm for fatigue driving

YANG Qiu-fen， GUI Wei-hua，ZHOU Shu-ren

(College of Information Science Engineering， Central South University， Changsha 410083， China)

Abstract:This paper proposed an expression recognition system based on geometry standardization， Gabor wavelet filter and support vector machine (SVM) according to six face expression of fatigue driving. The system ensured the geometry standardization of video.Then it constituted forty-eight optimization filters according to 2D-Gabor kernel functions to acquire forty-eight expressional feature point inside the latency rectangle region. It was applied to recognizing facial expression using SVM. Experimental results demonstrate that RBF the radial basis function(RBF) SVM has better performance than other SVMs on human facial expression recognition， and prove that the algorithm is efficient and feasible.

Key words：facial recognition; Gabor filter；kernel functions; support vector machine

根據(jù)英國(guó)汽車(chē)協(xié)會(huì)統(tǒng)計(jì)，英國(guó)車(chē)禍的死亡事故中，有10%是因司機(jī)疲勞駕駛引起的。同時(shí)有資料表明，高速公路發(fā)生的交通事故中，有50%以上是由于長(zhǎng)時(shí)間疲勞駕駛或所見(jiàn)目標(biāo)單調(diào)使司機(jī)注意力不集中，甚至打瞌睡等造成的。統(tǒng)計(jì)表明，在出現(xiàn)這些現(xiàn)象的同時(shí)，司機(jī)的面部表情也將發(fā)生明顯變化[1，2]。

目前面部表情的分類(lèi)方法很多。Lyons等人[3]利用主分量分析和線性判別分析在JAFFE(Japanese female facial expression)表情庫(kù)上得到了很好的結(jié)果(正確率達(dá)到92%); Padgett等人[4]使用反向傳播算法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)在Ekman人臉表情庫(kù)[5]上能夠達(dá)到86%的正確率;Pantic等人[6]使用專(zhuān)家系統(tǒng)方法在265張雙視角的人臉表情圖片上的正確率達(dá)到了91%;Otsuka等人[7]采用隱馬爾可夫模型的方法也達(dá)到了比較好的結(jié)果(本文中并沒(méi)有提到此方法的正確率)。

最近，支持向量機(jī)被成功地用于人臉圖像處理的各個(gè)方面，如人臉檢測(cè)[8]、人臉的姿態(tài)估計(jì)[9]和人臉識(shí)別[10]等，取得了優(yōu)于傳統(tǒng)模式識(shí)別方法的性能。本文受其啟發(fā)，先對(duì)攝像機(jī)拍攝到的疲勞駕駛視頻圖像進(jìn)行幾何規(guī)范化，使用48個(gè)Gabor濾波抽取48個(gè)最優(yōu)特征點(diǎn)來(lái)構(gòu)造表情特征向量，最后用支持向量機(jī)分類(lèi)器對(duì)駕駛員面部表情進(jìn)行訓(xùn)練、識(shí)別。

1 視頻圖像的預(yù)處理

視頻圖像的預(yù)處理包括視頻圖像子區(qū)域的分割以及視頻圖像的歸一化處理。前者指從視頻圖像中分割出與人臉最相關(guān)的子區(qū)域；后者包括圖像的灰度均衡和尺度歸一。圖像預(yù)處理的好壞直接影響視頻圖像特征提取的效果和計(jì)算量。

疲勞駕駛視頻圖像的幾何規(guī)范化處理首先對(duì)人臉作水平積分投影，利用投影曲線各極小值之間存在的位置關(guān)系，建立判斷規(guī)則，確定人臉的眼睛、嘴、鼻孔和眉毛的水平位置以及各器官之間的垂直距離；再根據(jù)人臉的眼睛、嘴的水平位置和垂直距離確定出眼區(qū)、嘴區(qū)，將這些區(qū)域分割出來(lái)組成特征三角形生成面部處理區(qū)域；最后進(jìn)行特征提取。

幾何規(guī)范化處理方法在文獻(xiàn)[11]中進(jìn)行了詳細(xì)的論述。區(qū)域的水平積分投影曲線函數(shù)PH(y)表示為PH(y)=1/（x2-x1）∑x2x1I(x，y)，y∈(y1，y2)（1）

圖1為水平投影曲線函數(shù)得到的人臉灰度水平積分投影。對(duì)于正面人臉圖像，以?xún)裳鄣闹醒牒妥觳恐醒霕?gòu)成如圖2（a）所示的等腰三角形及矩形區(qū)域；對(duì)于側(cè)面分左側(cè)和右側(cè)，分別以左、右眼的中央和嘴及左、右耳部中央構(gòu)成如圖2（b）所示的右側(cè)直角三角形及矩形區(qū)域。

2 Gabor濾波的特征抽取

二維Gabor小波變換是在時(shí)頻域進(jìn)行信號(hào)分析處理的重要工具，其變換系數(shù)有著良好的視覺(jué)特性和生物學(xué)背景，因此被廣泛應(yīng)用于圖像處理、模式識(shí)別等領(lǐng)域。

接下來(lái)對(duì)圖2的幾何規(guī)范化圖進(jìn)行二維Gabor小波變換，以獲取駕駛員面部區(qū)域的表情特征。二維Gabor小波核函數(shù)為ψj(k，x)=k²j/σ² exp(-k²j×x²/（2σ²）)×

[exp(k²j×x)-exp(-σ²/2)](2)其中：k²j確保不同頻率帶寬的濾波器有著大致相同的能量；exp(-σ²/2)是為了抵消圖像的直流分，使濾波器對(duì)全局照明不敏感，其優(yōu)點(diǎn)是允許描述空間頻率結(jié)構(gòu)的同時(shí)，保持空間關(guān)系的信息。kj=kv cos u

kv sin u， kv=2-（v+2）/2π，u=μ π/8（3）其中：kj對(duì)不同的取值邊構(gòu)成了不同的小波。本文中取四個(gè)大小方向的變化：

kj=2-（v+2）/2π(v=1，2，3，4)六個(gè)方向:0-6/8π(μ=1，2，…，6)，間隔π/8;σ為濾波器的長(zhǎng)度，取σ=π，設(shè)為1倍頻率。輸入圖像I(x，y)和小波作卷積，得g(kj，x)=∫∫I(x，y)j(k，x)dxdy(4)其中:g(kj，x)為幅度。這樣Gabor濾波器的個(gè)數(shù)為48，組成一組代表目標(biāo)特征的最優(yōu)濾波器。這些濾波器構(gòu)成小波子空間，將圖像向這個(gè)小波子空間投影求出小波的系數(shù)，提取均值和方差以此來(lái)代表駕駛員面部表情圖像的統(tǒng)計(jì)特征。圖3為48個(gè)特征點(diǎn)分布。

3 支持向量機(jī)分類(lèi)器的構(gòu)造

SVM是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出的一種新的模式識(shí)別方法，在解決小樣本、非線性機(jī)高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中[3]。

設(shè)有線性可分樣本集(ｘi，ｙi)（ｉ=1，…，ｎ），ｘ∈Ｒn，ｙ∈{+1，-1}是類(lèi)別標(biāo)號(hào)。N維空間的線性判別函數(shù)一般形式為ｇ(ｘ)=ω×x+ｂ，分類(lèi)面方程為 ω×x+ｂ=0的劃分。該分類(lèi)面就是最優(yōu)超平面，而距離該最優(yōu)超平面最近的異類(lèi)向量就是所謂的支持向量(support vector)。支持向量與超平面之間的距離最大(即邊緣最大化)；一組支持向量可以惟一地確定一個(gè)超平面。尋找超平面的問(wèn)題就轉(zhuǎn)換為求解以下二次規(guī)劃問(wèn)題：(w)=1/2(ω×ω)(5)約束條件為不等式：

yi[(ω×x)+b]≥1；i=1，2，…，n(6)

線性條件下式(9)的最優(yōu)解為下面Lagrange函數(shù)的鞍點(diǎn)：L(ω，α，b)=1/2‖ω‖-∑li=1αi{yi(ω×x)+b-1}(7)此時(shí)最優(yōu)超平面是訓(xùn)練集合中向量的線性組合：ω=∑li=1αiyixi(8)

使式(10)成立的向量就是在ω的展開(kāi)式中具有非零系數(shù)αi的支持向量。該二次規(guī)劃問(wèn)題的分類(lèi)平面為f(x)=sgn(∑iαiyixi×x+b)(9)

對(duì)線性不可分的情況，SVM引入松弛變量和懲罰因子，使目標(biāo)函數(shù)變?yōu)楠ИЕ?ω，ξ)=1/2(ω×ω)+C(∑Niξi)(10)

支持向量機(jī)實(shí)現(xiàn)的是如下思想：通過(guò)事先選擇好的非線性映射將輸入向量x映射到一個(gè)高維特征間Z，在這個(gè)空間構(gòu)造最優(yōu)分類(lèi)超平面。ＳＶＭ的分類(lèi)函數(shù)在形式上類(lèi)似神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點(diǎn)的線性組合，每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)一個(gè)支持向量。向量之間只進(jìn)行點(diǎn)積運(yùn)算，采用核函數(shù)(kernal function)，就可以避免在高維特征空間進(jìn)行復(fù)雜的運(yùn)算，不同的核函數(shù)將形成不同的算法(即不同的支持向量機(jī))。目前，主要的核函數(shù)有：a)多項(xiàng)式核函數(shù)k(x，xj)=[(x×xi)+1]d，得到ｄ階多項(xiàng)式分類(lèi)器。b)徑向基函數(shù)(RBF)k(x，y)=exp[-‖x-y‖²/σ²]，所得分類(lèi)器與傳統(tǒng)RBF的區(qū)別是這里每個(gè)基函數(shù)中心對(duì)應(yīng)一個(gè)支持向量，它們及輸出權(quán)值都是由算法自動(dòng)確定的。c)Sigmoid核函數(shù) k(x，xi)=tan h(v(x×xi)+c)。

人類(lèi)對(duì)于面部表情的分析可以追溯到20世紀(jì)。Ekman等人[13]根據(jù)面部肌肉的分布和運(yùn)動(dòng)規(guī)律提出了六種基本的面部表情：高興happy 、驚奇surprise 、悲哀sad、憤怒angry、恐懼fear、 厭惡disgust ，如圖4所示。

在駕駛員駕駛的過(guò)程中，幾種表情出現(xiàn)的概率并不是對(duì)等的，如悲哀sad、憤怒angry，在這種情緒下的駕駛員開(kāi)車(chē)的情況并不多見(jiàn)，多數(shù)情況下，是前面所示的中性臉。因此疲勞駕駛的面部表情也包括高興happy 、驚奇surprise 、中性、憤怒angry、恐懼fear、 厭惡disgust六種。

在研究過(guò)程中筆者利用支持向量機(jī)的Rowley[14]算法訓(xùn)練算法，對(duì)其三個(gè)核函數(shù)進(jìn)行比較研究。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中考慮六種表情（包含中性臉），即中性、高興、憤怒、害怕、驚嚇和厭惡。人臉表情數(shù)據(jù)來(lái)源為日本Kyushu大學(xué)的JAFFE（Japanese female facial expression）數(shù)據(jù)庫(kù)[14]（中性代替悲哀）、Yale數(shù)據(jù)庫(kù)[15]（中性代替悲哀）和自建表情數(shù)據(jù)庫(kù)（僅用來(lái)測(cè)試）。JAFFE數(shù)據(jù)庫(kù)包含213張圖像，六種表情；Yale數(shù)據(jù)庫(kù)包含165張圖像，15個(gè)人的表情，每人11張；自建表情數(shù)據(jù)庫(kù)包含200張圖像。因此一共有表情圖像578張。

實(shí)驗(yàn)分兩組進(jìn)行，一組（278張）作為網(wǎng)絡(luò)訓(xùn)練用，另一組（300張）作為測(cè)試用。表情圖像在訓(xùn)練和測(cè)試之前均先進(jìn)行Gabor小波特征提取，表情分類(lèi)測(cè)試結(jié)果如表1所示。在測(cè)試集中，每種表情圖像均為50張。表1中多項(xiàng)式階數(shù)q取3，徑向基的σ²參數(shù)取0.5。實(shí)驗(yàn)結(jié)果表明，采用徑向基函數(shù)的SVM性能最好。

表1 不同核函數(shù)的SVM比較結(jié)果%函數(shù)高興驚奇中性憤怒害怕厭惡多項(xiàng)式

徑向基

S形92.5

95.5

94.593.5

95.5

94.590

92

90.592.5

93.5

9388

89.5

88.590.5

91.5

91.55 結(jié)束語(yǔ)

本文從疲勞駕駛的實(shí)際出發(fā)，將面部表情分為中性、高興、憤怒、害怕、驚嚇和厭惡六類(lèi)表情，對(duì)視頻圖像進(jìn)行幾何規(guī)范化處理，利用二維Gabor核函數(shù)構(gòu)造最優(yōu)濾波器48個(gè)特征向量，利用SVM較強(qiáng)的泛化性能，使用支持向量機(jī)的Rowley算法訓(xùn)練算法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)表明采用徑向基函數(shù)的SVM性能最好。

參考文獻(xiàn)：

[1]TIAN Ying-li， TAKEO K， COHN J F. Eye-state action unit detection by Gabor wavelet[C]//Proc of ICMI. 2000: 143-150.

[2]GUO Ke-you，CHU Jiang-wei，WANG Rong-ben.Study on the recog-nition of the driver’s eye states[J]. Systems Engineering and Electronics，2003，25(10):1186-1188，1228.

[3]LYONS M J， BUDYNEK J， AKAMATSU S. Automatic classification of single facial images[J]. IEEE Trans on Pattern Analysis and Machine Intelligence， 1999， 21(12): 1357-1362.

[4]PADGETT C， COTTRELL G W.Representing face images for emotion classification[C]//Proc of Conference Advances in Neural Information Processing Systems. Denver:[s.n.]， 1996:894-900.

[5]EKMAN P， FRIESEN W V. Unmasking the face [M]. New Jersey: Prentice Hall，1975.

[6]PANTIC M， ROTHKRANTZ L J M. Expert system for automatic analysis of facial expression[J]. Image andVisionComputing， 2000，

18(11):881-905.

[7]OTSUKA T， OHYA J. Spotting segments displaying facial expressions from image sequences using HMM[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Nara: [s.n.]， 1998:442-447.

[8]LIANG Lu-hong， AI Hai-zhou， XIAO Xi-pan，et al. Face detection based on template matching and support vector machines[J]. Chinese Journal of Computers，2002，25(1):22-29.

[9]HUANG J， SHAO X， WECHSLER H. Face pose discrimination using support vector machines[C]//Proc of IEEE International Conference on Pattern Recognition. Brisbane:[s.n.]， 1998:154-156.

[10]GUO Guo-dong， LI S Z， CHAN K. Face recognition by support vector machines[C]//Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble:[s.n.]， 2000:196-201.

[11]楊秋芬，桂衛(wèi)華，周書(shū)仁.基于特征三角形的多姿態(tài)視頻圖像人臉跟蹤[J].計(jì)算機(jī)工程，2006，32(15):39-41.

[12]楊秋芬，胡豁生，桂衛(wèi)華.基于濾波和特征三角形的駕駛員面部跟蹤[J].計(jì)算機(jī)工程與應(yīng)用， 2006，42(23):16-19.

[13]EKMAN P， FRIESEN WU\\V. Universal sand cultural difference in facial expressions of emotion[C]//Proc of Nebraska Symposium on Motivation. Lincoln:[s.n.]，1971.

[14]LEE J H，LEE T W， JUNG H Y， et al. On the efficient speech feature extraction based on independent component analysis[J]. Neural Process Lett， 2002，15(3):235-245.

[15]BECKMANN C F， SMITH S M. Probabilistic independent component analysis for functional magnetic resonance imaging[J]. IEEE Trans on Med Imaging， 2004，23(2): 137-152.

[16]CHUANG Chao-fa， SHIH F Y. Recognizing facial action units independent component analysis and support vector machine[J]. Pattern Recognition， 2006，39(9): 1795-1798.

[17]PLTZ T， FINK G A. Pattern recognition， methods for advanced stochastic protein sequence analysis using HMMs[J]. Pattern Recog-nition， 2006，39(12): 2267-2280.

[18]GAO Wen， JIN Hui. Analysis and recognition of facial expression image[J]. Chinese Journal of Computers， 1997，20(9):782-789.