基于SVM與C4.5混合分類器的人臉表情識別

劉帥師，　陳　奇，　程　曦

(長春工業大學 電氣與電子工程學院， 吉林 長春　130012)

?

基于SVM與C4.5混合分類器的人臉表情識別

劉帥師，陳奇，程曦

(長春工業大學 電氣與電子工程學院， 吉林 長春130012)

摘要：針對人臉表情識別特點，首先使用幾何特征與基于灰度共生矩陣紋理特征的低維混合特征提取方法來提取易分類表情圖片的特征向量，然后使用C4.5決策樹分類器識別出臉部變化較為明顯的表情，再使用SVM支持向量機對較難分類表情圖片進行分類。實驗結果表明，通過改變決策樹算法剪枝中錯誤樣本比率的方法可以獲得最佳預測精度，識別率達到90%。

關鍵詞：人臉表情識別； C4.5決策樹； SVM； 混合特征提取； 決策樹減枝

0引言

人臉表情傳遞著豐富的個人感情信息，并且在人與人之間的交流中扮演著重要的角色。因此,為了推動更加智能和自然的人機交互[1]，人臉表情識別在過去幾十年得到廣泛研究，并且成為一個研究熱點。人臉表情識別的目標是在人臉圖像的范圍內提取出對表情識別有利的特征，并據此進行表情圖像的分類工作，所以,特征提取以及圖像分類這兩個過程也就成為了表情分類的重點,而分類器的選擇與應用成為決定最終識別精度的關鍵。然而，現有的多種分類技術如貝葉斯分類器、決策樹分類器，亦或是支持向量機分類器都是單分類器，而隨著分類對象的多樣化，人們逐漸提出了多分類器組合的概念。多分類器組合使用多個基分類器進行分類，并綜合所有分類結果形成一個最終結果，它能彌補單一分類器的缺陷，針對分類對象的特點，同時結合各分類器的優勢，將分類器之間進行有效的組合，將其運用在分類對象中，最終提高分類效果。

黃勇[2]等提出了一種基于分類器聯合的人臉表情識別方法，首先采用CKFD算法在雙決策子空間進行特征融合；分別利用最鄰近、最小距離和神經網絡3種子分類器進行識別；最后運用模糊積分對子分類器的識別結果進行融合。基于JAFFE的實驗結果表明，它是一種有效的表情識別方法。程劍[3]等提出了一種基于模糊積分多分類器融合的表情識別方法。首先采用離散余弦變換進行特征提取，然后分別用最鄰近分類器、最近特征線分類器和余弦分類器3個子分類器對生氣、恐懼、高興、中性、悲傷、厭惡、驚訝等7種表情進行識別，最后利用模糊積分對子分類器的識別結果進行融合。經過實驗驗證取得了比較高的識別精度。黃永明[4]等提出了利用幾何特征與相應的一級SVM分類器進行一次分類，最后利用Fisher特征與建立的二級集成SVM進行最終分類，該方法經實驗分析證明與單個特征相比具有更高的識別率與更強的魯棒性。張志平[5]等設計了一種(KNN+HMM)+SVM的混合分類器，利用KNN與HMM對測試樣本進行判決，當判決結果相同時,直接輸出判決結果，當判決結果不同時，引入SVM對測試樣本進行再判決。結果表明,該方法所確定的分類器優于單一分類器判決，能有效實現表情分類。周艷平[6]等通過Gabor濾波器對人臉部圖像進行濾波，提取濾波后圖像的統計信息作為表情識別的特征信息，采用多分類器集成的方法對得到的神經網絡輸出向量進行線性加權集成,得到最終的識別結果。實驗結果表明了該方法的正確性。胡步發[7]等提出了一種基于表情子空間和多分類器集成的人臉識別新方法。通過結合子空間與多分類器集成，對測試集中的圖像進行表情分類識別，該方法減少了人臉外觀特征和表情表現方式所帶來的影響，具有更好的識別效果。

以上這些方法都是使用多分類器對表情進行分類，文獻[3-4,7]使用多分類器進行級聯，而文獻[2，5-6]是對多分類器進行信息融合，且都是對單一分類器進行分類器改進，在改進的過程中同時也增加了分類方法的復雜性。而文中針對表情圖片自身的特點，設計出一種根據表情區分難易程度不同，對易分類表情如高興、驚訝、生氣等使用低維特征提取，決策樹C4.5算法進行快速、有效分類，而對區分度較小、變化并不明顯的表情如中性、恐懼、悲傷、厭惡，使用Gabor高維特征提取，支持向量機分類器進行二次分類，該方法不但依據表情圖片的特點，同時結合各分類器自身特性，相對于傳統單一分類器分類方法，該方法具有機器內存占用少，運算時間快，識別效果好的優勢。該方法流程如圖1所示。

圖1　表情分類流程

1基于混合特征的低維特征提取

對于人臉表情特征信息，單一的特征提取能夠反映某一局部或者單一特性的表情特征，但并不能夠全面反映表情的總體特征，而對于表情分類器而言，特征屬性值的全面程度是很重要的，它能夠很大程度影響表情的識別率。所以,為了使最終誤差率降到最低，采用的是包括幾何特征、基于灰度共生矩陣的紋理特征等的混合特征提取，它能夠全面有效地反映易分類表情圖片變化的整體特征，同時足夠區分易分類表情。

1.1幾何特征提取

面部表情的變化由面部肌肉的牽動引起，面部肌肉的收縮會拉動面部器官的變化，而由各器官特征點相聯系的特征距離也必然發生變化，從而反映表情的類別。因此，文中提出基于幾何結構特征用于表征表情的變化。由于手動量取特征點容易造成誤差，且臉部運動的相對誤差本來就不大，如果采用手動測量，易產生較大誤差。

文中采用角點檢測的方法，自動提取[8]出圖像的特征點，避免因手動測量而產生偏差。找出相應的特征點，自動截取相應特征點之間的距離，選取由表情改變而變化最為明顯的6種臉部器官距離。提取過程中，首先使用角點檢測的方法將圖像邊緣的特征點標記出，再選取14個相對點，如圖2所示。

圖2　預標定的特征點

自動截取相應特征點之間的距離得到6維特征向量，見表1。

1.2基于灰度共生矩陣的紋理特征提取

紋理作為一種區域特征，是對于圖像各像元之間空間分布的一種描述。由于紋理能充分利用圖像信息，無論從理論上或常識出發它都可以成為描述與識別圖像的重要依據，與其他圖像特征相比，能更好地兼顧圖像宏觀性質與細微結構兩個方面，因此成為目標識別需要提取的重要特征。一幅圖像的灰度共生矩陣能反映出圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息，它是分析圖像的局部模式和它們排列規則的基礎。文中使用基于灰度共生矩陣的紋理特征提取，計算了15種灰度共生矩陣特征，分別為小梯度優勢、大梯度優勢、灰度分布的不均勻性、能量、灰度平均、梯度平均、灰度均方差、梯度均方差、相關、灰度熵、梯度熵、混合熵、慣性、逆差矩。

表1　幾何結構特征及物理含義

計算灰度共生矩陣前，需要做圖像的量化，文中將圖像的量化級定為256，分別計算：

1)大梯度優勢:

(1)

式中：mhk----一個灰度為h,而另一個灰度為k的兩個相聚度為(Δx,Δy)的像素對出現的頻率。

2)小梯度優勢：

(2)

3)反差：

(3)

4)能量:

(4)

5)相關：

(5)

式中：μx,μy,σx,σy----分別為mx,my的均值和標準差；

mx----共生矩陣中每列元素之和；

my----共生矩陣中每行元素之和。

6)熵:

(6)

將提取出的15維灰度共生矩陣數據與幾何特征數據外加7種hu不變矩組成28維特征向量。

2決策樹C4.5分類器

C4.5算法[9]作為Quinlan的ID3[10]改進版，繼承了ID3算法的優點：用信息增益率來選擇屬性，克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足；在樹構造過程中進行剪枝；能夠完成對連續屬性的離散化處理；能夠對不完整數據進行處理。這些特性都適用于易分類表情的分類。

文中提出了對區分度較高的易分類表情使用C4.5決策樹算法分類。C4.5算法的優點是產生的分類規則易于理解，準確率較高;缺點是對高維數據處理能力不足。因此，文中在使用C4.5算法時使用的是低維的特征，并且將輸入的特征向量進行了預處理與規范化，使得C4.5能夠有效利用特征數據，發揮其優勢。

在將特征向量輸入分類器之前，首先將特征向量進行數據規范化處理，使用min-max標準化方法，也叫離差標準化，將得到的28維特征向量統一量綱，假設minA,minB分別為屬性值的最大值與最小值，將屬性的取值投影到[-1,1]范圍內，則最小值對應的是-1，最大值對應的是1。

假設用S代表當前表情樣本集，當前候選屬性集用A表示，則C4.5算法C4.5 formtree(S,A)的偽代碼如下：

算法：Generate_decision_tree由給定的表情訓練數據產生一棵決策樹。

輸入：訓練樣本samples；候選屬性的集合attributelist。

輸出：一棵表情分類決策樹；創建根節點N。

1)IfS都屬于同一類表情C，則返回N為葉節點，標記為類表情C；

2)If attributelist為空orS中所剩的樣本數少于某給定值,則返回N為葉節點；

3)標記N為S中出現最多的類表情；

4)For each attributelist 中的屬性，計算信息增益率information gain ratio：

(7)

其中，Gain(S,A)與ID3算法中的信息增益相同，而分裂信息SplitInfo(S,A)代表了按照屬性A分裂樣本集S的廣度和均勻性：

(8)

5)在實驗時假設此時當N的測試屬性test.attribute=attributelist具有最高信息增益率的屬性；

6)If測試屬性為連續型，則找到該屬性的分割閾值；

7)For each由節點N分出一個新的葉子節點；

8)If該葉子節點對應的樣本子集S′為空，則分裂此葉子節點生成新葉節點，將其標記為S中出現最多的類表情；Else在該葉子節點上執行如下產生樹語句對它繼續分裂C4.5formtree(S’,S’.attributelist)；

9)計算每個節點的分類錯誤，進行決策樹剪枝[11];

10)生成最終決策樹，將測試集輸入決策樹進行分類，計算識別率。

3基于Gabor小波變換的高維特征提取

Gabor小波[12]方法具有良好的時頻局部化特性、多分辨率特性和變焦能力，具有提取圖像局部細微變換的能力，這個特性非常適合人臉表情特征的提取，尤其是在分辨差別較小的圖像如厭惡、悲傷等表情時，能夠反應出這些表情的細微差別。并且Gabor小波對光照變化不敏感，具有良好的光照性，能夠較好地解決由環境變化引起的圖像變化問題。Gabor變換方法如下：

將表情圖像I(x,y)與Gabor濾波器

(9)

進行卷積I(X,Y)*ψj(k,x),得到不同方向和尺度的Gabor圖像特征，式中：σ=2π定義了小波濾波器的帶寬，(X,Y)為圖像空間位置坐標。將表情圖像分割為3行5列，分割后的圖像特征如圖3所示。

圖3　分割圖像前后對比

4基于SVM的分類算法

支持向量機是目前最為流行的大數據處理方法，已經廣泛用于表情分類領域。它的方法是，先給定表情訓練樣本集，支持向量機SVM通過非線性映射將輸入表情特征向量映射到一個高維特征空間：在此高維特征空間尋找最優線性分類面。給定訓練樣本集:(xi,yi)，i=1,2，…，N，xi∈Rd,yi∈{-1,1},SVM通過非線性映射Φ(x)將輸入向量X映射到一個高維特征空間：

在此高維特征空間中尋找最優線性分類面，即求解以下問題：

(10)

yi[〈w,Φ(xi)〉+b]≥1-ξi(i=1,2，…，N)ξi≥0,c>0約束的二次優化問題求解，可得分類決策函數：

(11)

其中，K(xi,yi)=φ(xi)Tφ(yi)為核函數，α是非負拉格朗日乘子。

SVM分類器是兩類分類器,只能實現兩類分類。SVM多類分類器計算復雜,通過組合多個SVM兩類分類器可以實現多類分類,通常采用兩種組合方法:

1)一對一(one-against-one)，在所有N類之間構造所有可能的兩類分類器,采用投票方法來決定分類結果,共需構造N(N-1)/2個兩類分類器。

2)一對多(one-against-the rest)，構造N個兩類分類器，通過比較N個分類器的輸出值來判定分類結果。

一對一的方法分類效果較好，但是其計算代價大，一對多的方法計算代價較小。

為了減小計算量，文中采用的是一對多的方式構造表情識別分類器分類難分類表情，先將分類效果較好的方案放在父節點上執行，層層向下，逐層推進，構造分類器，如圖4所示。

圖4　SVM分類器

5實驗與結果分析

5.1實驗流程

實驗流程如圖5所示。

圖5　實驗流程圖

實驗A表示對表情圖片使用文中第1節所述方法進行特征提取，使用決策樹C4.5算法進行表情分類，識別出生氣、高興、驚訝表情；實驗B表示將剩余的未分類表情使用文中第3節所述方法進行特征提取，采用SVM分類器分類出剩余表情。

5.2實驗描述

為了比較混合分類器與單一分類器在識別率和識別性能上的優劣，文中以日本的JAFFE女性人臉表情數據庫為例進行測試，JAFFE包括10個日本女性的7種表情的213張圖片，每種表情有3到4種樣本。將其中140張圖片作為訓練集，70張圖片作為測試集。首先將表情庫中所有圖像進行預處理，包括純臉分割、幾何歸一化和光照歸一化后得到歸一化后的圖像,如圖6所示。

圖6　部分實驗用純臉表情

5.3C4.5分類器表情分類實驗

在使用C4.5決策樹分類作為表情分類時，由于該分類器適用于處理低維數據，因此在提取特征時，選用幾何特征以及圖像的基于灰度共生矩陣的紋理特征等共28向量作為特征向量，文中將數據屬性值分為2類和3類，分別構造二叉樹與三叉樹決策樹結構，計算識別率。

由于C4.5與其前身ID3算法[13]相比最大的不同是增加了決策樹后剪枝環節，該方法是用訓練樣本本身來估計剪枝前后的誤差，從而決定是否真正剪枝，而通過在輸入環節改變調整節點誤差率，找到最佳決策樹，最終得到最佳識別率。由于C4.5算法中節點誤差率一般默認為0.25，而超過0.4即出現過剪枝問題，所以在實驗中，將誤差率分別選取為:0.1,0.2,0.3三種類別進行實驗。

C4.5二叉樹三種節點誤差率對應的表情識別結果見表2。

表2　基于C4.5的易分類表情識別結果(二叉樹)

當誤差率e=0.2時，對應的表情識別率達到最高的96.67%,于是將決策樹節點誤差率設定為0.2時取得識別最佳值。三叉樹對應的三種節點誤差率的識別結果見表3。

表3　基于C4.5的易分類表情識別結果(三叉樹)

可以看出，三叉樹的整體識別率均低于二叉樹，而當節點誤差率e=0.2時也取得最佳識別率。通過表2、表3的比較，可得到在使用C4.5算法進行表情識別時使用二叉樹作為決策樹形式，且當誤差率e=0.2時獲得最佳識別率。

5.4SVM分類器表情分類實驗

由于SVM在處理高維數據特有的優勢，實驗在特征提取時使用Gabor高維紋理特征的提取方法提取出特征向量。分別選取線性核函數(Linear Kernel)、多項式核(Polynomial Kernel)、徑向基核函數(Radial Basis Function)作為SVM的核函數選擇，分別計算在這3種核函數下表情識別率的差異，最終選取最佳識別率對應的核函數。

表4　基于SVM的表情識別結果

從表4可以看出，在對3種支持向量機核函數進行比較的過程中，使用徑向基核函數(RBF)作為核函數的SVM表情識別率最高，對難分類的四種表情識別率達到了85%，因此決定將表情識別方法核函數定為徑向基核函數。同時可以發現中性表情的識別率較低，低于其它圖片表情的識別精度。

圖7　部分識別失敗表情舉例

圖7列出了部分識別失敗表情，(a)、(b)分別為“恐懼”、“悲傷”表情，由于這兩類表情都為復合表情，容易和其它表情相混淆，所以分類器并沒有識別出來。而(c)、(d)都是“中性”表情，變化較為細微，分類器同樣沒有識別出來。

5.5C4.5與SVM混合分類器結合以及性能分析實驗

為了分類所有表情，將C4.5決策樹分類器與SVM分類器混合分類，得到分類結果見表5。

表5　基于SVM與C4.5所有表情識別結果

根據以上兩個實驗，將決策樹定為二叉樹結構，節點誤差率e=0.2,支持向量機核函數設為RBF核函數。同時，分析兩種分類器分別進行分類時的分類時間和機器內存占用兩方面的不同，得到結果見表6。

從表5中可以看出，當將兩種分類器綜合分類所有表情時，分類精度達到90%，而從表6可以看出，混合分類器中由于決策樹分類器使用低維特征向量，所以特征向量維數相對支持向量機分類器特征向量大大減少，同時機器內存占用也就小了。并且，由于C4.5分類速度快，特征向量維數少的特點，分類時間也較快。

5.6結果分析

從上述C4.5分類器與SVM分類器用于表情識別實驗結果表明，文中所提出的C4.5與SVM混合分類器用于表情識別最高識別率能夠達到90%，決策樹分類器在使用二叉樹形式，選取節點誤差率e=0.2時獲取最大識別率，同時，支持向量機在使用RBF核函數作為徑向基核函數時獲得最大識別率。在比較兩種分類器性能時可以看出，無論是機器內存占用還是分類時間，C4.5決策樹分類器相對于SVM分類器都具有較強的優勢，而在最終的識別率上，文中提出的混合分類器已經接近傳統表情分類器。

在對分類器中單一表情的識別精度上觀察可以發現，一些圖片表情由于變化輕微，如“中性”表情，識別率較低，還有一些圖片表情是復合表情，如“恐懼”表情、“悲傷”表情，雖然識別率也達到了90%，但識別率并不如“高興”表情、“驚訝”表情，它們都達到了100%。

6結語

根據傳統的單一分類器的特點，提出了一種新穎的多分類器的表情識別分類方法，首先采用混合特征提取與C4.5分類器分類出快樂、驚訝、憤怒這3種表情，然后將剩余的表情使用Gabor特征，用SVM分類剩余表情。主要成果如下：

1)考慮到C4.5分類算法的特點，提出將C4.5決策樹算法應用于表情識別，分類特征維數低的特征向量，發揮其計算量不大、直觀、低維數據處理能力強的優勢。決策樹分類器以往并沒有廣泛地應用于表情分類領域，文中嘗試將其結合其它分類器用于表情分類并取得了不錯的成果，希望對其在表情研究領域作進一步的推廣。

2)結合Gabor特征與SVM算法的特點，使用高維紋理特征以及高維特征處理能力強的SVM分類器，分類難分類表情，與C4.5組成混合分類器進行所有表情分類。

實驗結果表明，文中所用方法無論在計算量上還是在識別性能上都比單一分類器更具有優勢，應用在JAFFE表情庫中識別率達到90%，表明適用于表情識別領域。下一步的研究重點則集中在使用單一決策樹分類器在表情分類領域的研究。

參考文獻：

[1]薛雨麗,毛峽,郭葉，等.人機交互的人臉表情識別研究進展[J].中國圖形圖象學報，2009,14(5):764-772.

[2]黃勇,應自爐.基于分類器聯合的表情識別[J].計算機工程與應用,2007,43(25):244-248.

[3]程劍,張有為.基于模糊積分多分類器融合的人臉表情識別[J].信號處理,2005,8(4A):358-361.

[4]黃永明，章國寶,董飛,等.基于Gabor、Fisher臉多特征提取及集成SVM的人臉表情識別[J].計算機應用研究,2011,28(4):1536-1543.

[5]孫正興,徐文輝.基于局部SVM分類器的表情識別方法[J].智能系統學報,2008,3(5):455-466.

[6]周艷平,夏利民,宋星光.基于Gabor濾波的多分類器集成人臉表情識別[J].長沙交通學院學報,2005,21(2):70-74.

[7]胡步發,陳炳興,黃銀成.基于表情子空間多分類器集成的非特定人人臉表情識別[J].計算機應用,2011,31(3):736-740.

[8]顧華，蘇光大，杜成.人臉關鍵特征點的自動定位[J].光電子·激光，2004,15(8):975-979.

[9]劉鵬,姚正,尹俊杰.一種有效的C4.5改進模型[J].清華大學學報,2006,46(s1):996-1001.

[10]朱顥東.ID3算法的改進和簡化[J].上海交通大學學報,2010,44(7):883-891.

[11]范潔,楊岳湘.決策樹后剪枝算法的研究[J].現代科學技術研究，2005(1)：54-56.

[12]劉帥師,田彥濤,萬川.基于Gabor多方向特征融合與分塊直方圖的人臉識別方法[J].自動化學報,2011,12(7):1456-1463.

[13]劉澤,潘暉.基于ID3算法汽車變速箱故障診斷技術[J].長春工業大學學報:自然科學版,2011,32(6):534-537.

Facial expression recognition based on C4.5 and SVM hybrid classifier

LIU Shuaishi,CHEN Qi,CHENG Xi

(School of Electrical & Electronic Engineering, Changchun University of Technology, Changchun 130012， China)

Abstract：The geometric feature extraction is combined with the low dimensional hybrid feature extraction which is based on gray co-occurrence matrix to extract the features of easy-classified expression images, and then C4.5 decision tree classifier is used to identify the obvious changes of expressions. At last, SVM is applied to identify the difficulty-classified expressions. The experimental results show that the optimal prediction accuracy is obtained with error-sample rate in the decision tree pruning algorithm, and the identification rate is up to 90%.

Key words：facial expression recognition； C4.5 decision tree； SVM； hybrid feature extraction； decision tree pruning.

收稿日期：2016-02-22

基金項目：吉林省科技發展計劃青年科研基金資助項目(20140520065JH)； 長春工業大學科學研究發展基金資助項目(2010XN07)

作者簡介：劉帥師(1981-)，女，漢族，吉林長春人，長春工業大學講師，博士，主要從事模式識別方向研究,E-mail:liu-shuaishi@126.com.

DOI:10.15923/j.cnki.cn22-1382/t.2016.2.10

中圖分類號：TP 181

文獻標志碼：A

文章編號：1674-1374(2016)02-0150-09