基于特征融合的人臉表情識別研究

高理想　高磊

摘? 要：針對現有的人臉表情識別方法易受到光照、噪聲等因素的影響導致識別率較低的問題，本文提出了一種基于特征融合的人臉表情識別方法。從兩方面對表情信息進行描述，通過局部二值模式（Local Binary Pattern，LBP）和詞袋模型（Bag Of Words，BOW）分別對表情圖像進行紋理特征和語義特征提取，然后將兩種特征進行線性融合，最后使用支持向量機（Support Vector Machine，SVM）進行表情分類識別。本文方法在JAFFE和CK+表情數據集上分別取得了98.76%和97.58%的識別率，驗證了所提出方法的有效性。

關鍵詞：人臉表情識別;LBP;BOW;特征融合;SVM

中圖分類號：TP391? ? ?文獻標識碼：A

Research on Facial Expression Recognition Based on Feature Fusion

GAO Lixiang1，GAO Lei2，3

（1.Tianjin YunkeShixun Technology Co.，Ltd.，Tianjin 300401，China;

2.Tianjin Research and Development Department，Agricultural Bank of China，Tianjin 300000，China;

3.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China）

Abstract：This paper proposes a new facial expression recognition method based on feature fusion to solve the problem that the existing facial expression recognition methods are vulnerable to illumination，noise and other factors.The facial expression information is described from two aspects.Local Binary Pattern （LBP） and Bag of Words （BOW） are used to extract texture features and semantic features from facial expression images respectively and then are fused linearly.Finally，the expression is classified and recognized by Support Vector Machine （SVM）.The proposed method achieves 98.76% and 97.58% recognition rates on JAFFE and CK + expression datasets respectively，which verifies the effectiveness of the proposed method.

Keywords：facial expression recognition;LBP;BOW;feature fusion;SVM

1? ?引言（Introduction）

人臉表情可以直觀地反映人類的內心活動，在人與人的交流中有著重要的作用，通過表情可以很好地傳達意圖，聽者更好地理解內容。隨著人工智能研究的發展，人臉表情識別在教育[1]、醫療[2]、游戲[3]和輔助駕駛[4]等領域展現出了廣闊的應用前景，逐漸成了計算機視覺領域的研究熱點。目前，常用的表情識別方法有基于紋理特征的方法、基于幾何特征的方法和基于語義特征的方法[5-7]。其中紋理特征是對面部的紋理信息進行描述，如皺紋和皺眉等;幾何特征是對五官的形變量和面部關鍵點的位移量進行描述;語義特征是通過對底層視覺特征的語義分析，將人臉表情的底層視覺信息轉化為高層的語義描述。常用的紋理特征提取算法有LBP[8]、Gabor濾波器[9]、LDN[10]等，紋理特征可以提取到豐富的面部紋理信息，但易受到光照和噪聲等因素的影響。Mistry等[11]使用LBP算法對人臉表情圖像進行紋理特征提取。Gu等[12]使用Gabor濾波器對人臉表情圖像進行紋理特征提取，并對特征進行徑向編碼，形成魯棒性強的局部紋理特征。幾何特征提取先要對人臉各部位進行特征點定位，其對外部環境因素的影響具有較強的魯棒性，但提取效果依賴于面部特征點定位的準確性。胡步發等[13]提出了一種基于語義特征的人臉表情識別方法，通過層次分析法對人臉表情圖像進行高層語義描述，建立語義特征向量，該方法在日本女性人臉表情數據庫JAFFE中取得了較好的識別效果。Harrati等[14]使用詞袋模型對人臉表情進行語義特征提取，通過對視覺特征進行聚類，形成多個聚簇中心，然后通過統計得到特征頻率直方圖，將其作為特征向量輸入到SVM中進行表情分類。語義特征能夠對圖像的高層信息進行語義描述，但是容易忽略低層的細節信息。

不同的特征提取方法有各自的優勢，但同時也存在著不足，將特征進行融合可以有效地將每種特征的優缺點進行互補，因此本文提出了一種基于特征融合的人臉表情識別方法。先對表情圖像進行紋理特征和語義特征提取，然后對兩種種特征進行線性融合，最后將融合的特征輸入SVM分類器進行表情分類識別。實驗結果表明，該方法能夠對人臉表情信息進行充分的提取，特征魯棒性強，能夠對人臉表情進行有效地識別。

2? ?相關算法描述（Relevant algorithms description）

2.1? ?LBP算法

LBP算法是一種局部紋理特征提取方法，由于其計算復雜度低并且特征提取效果較好，受到了諸多研究者的青睞。LBP算子定義在3×3的窗口內，該算子以中心像素值為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍的像素大于中心像素值，則該位置被標記為1，反之為0，在3×3的鄰域內，中心像素點周圍的8個像素點組成一個8位二進制數，這個二進制數就作為該鄰域的LBP編碼，將此二進制數轉換為十進制，得到的數值即為LBP值，用來表征該區域的紋理信息。LBP算法的計算公式如式（1）和式（2）所示：

（1）

（2）

其中，表示周圍像素點的個數，表示中心像素點的灰度值，表示周圍像素點的灰度值，為符號函數，LBP算法的編碼過程如圖1所示。

將圖像中每個像素點都經過LBP算法處理之后，即可得到整幅圖像的LBP編碼值，形成LBP特征圖，如圖2所示為LBP算法處理效果圖。將LBP特征圖中的所有編碼值進行統計，即可得到LBP統計直方圖，形成了對圖像的紋理特征描述的特征向量。

2.2? ?詞袋模型BOW

詞袋模型（Bag Of Words，BOW）最初應用于文本處理領域，解決文檔的抽象表示和分類識別問題。Zhu等[15]將其引入到了計算機視覺領域用于圖像的表示，詞袋模型在文本和圖像處理上的對應關系如圖3所示。在文本處理過程中，詞袋模型將單詞進行聚類組合形成詞典，因此在圖像處理中將局部特征所代表的視覺單詞進行集合即可組成一部視覺詞典，詞典中每個視覺詞匯及其出現的頻率可以代表圖像的視覺特征。

使用詞袋模型對人臉表情圖像進行特征提取的一般步驟為：

（1）使用尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）[16]算法提取每幅人臉表情圖像的局部特征;

（2）使用k-means算法對SIFT特征進行聚類，得到的聚類中心為個，也就是這個視覺單詞構成了表情圖像的視覺詞典;

（3）對每幅表情圖像中視覺單詞出現的頻率進行統計，最終將人臉表情圖像表示為視覺單詞頻率直方圖的形式，即該幅表情圖像的BOW特征。

由于在不同的表情圖像中，眼睛、鼻子和嘴巴這三個部位的差異較大，表明這三個區域的信息對于表情的表征貢獻較大[17]，因此，本文選取眼睛、鼻子、嘴巴這三個語義信息較為集中的區域作為特征提取的關鍵區域，使用詞袋模型對這三個關鍵區域進行語義特征提取。為便于提取特征，本文將三個關鍵區域都歸一化為41×130的圖像分塊。分別對三個區域提取SIFT特征，然后使用k-means算法對SIFT特征聚類，即可得到視覺詞典，聚類過程為：

首先從個特征中隨機取個元素作為個簇的初始聚類中心，根據其余元素到個簇中心的距離分別劃分到距離最近的簇。假設將樣本聚類成的簇為，則每個樣本與聚類中心之間的最小化平方誤差為：

（3）

其中，是簇的均值向量，也稱其為質心，表達式為：

（4）

然后計算簇中所有元素的均值向量，得到新的個聚類中心，不停重復上述過程直到聚類結果不再變化。通過詞匯聚類得到詞典后，使用歐式距離來計算每個采樣點的SIFT特征向量與詞典中每個詞匯距離，并將其映射到與之距離最小的詞匯，最后統計映射的詞匯分布，得到表情圖像的視覺詞匯頻率直方圖，此直方圖即為表情圖像的詞袋模型語義特征。

2.3? ?基于特征融合的表情識別方法

鑒于單一特征對人臉表情信息的表征能力較弱，本文采用特征融合的方法進行表情識別，為了充分結合每種特征的優勢，本文使用線性融合的方式，即特征串聯的方式，對所提取的紋理特征和語義特征進行組合，如圖4所示為本文方法流程圖。先對人臉表情圖像進行LBP紋理特征和BOW語義特征提取，分別得到兩種特征向量，然后將兩個向量串聯形成一個可以表征表情詳細信息的特征向量，隨后將其輸入SVM分類器中分類識別，即可得到此圖像的所屬表情類別。

3? ?實驗結果與分析（Experimental results and analysis）

實驗中采用日本女性人臉表情數據庫JAFFE[18]和CK+[19]數據庫，部分圖像分別如圖5和圖6所示。本文選取JAFFE中全部表情圖像進行實驗，選取CK+中312個圖像序列進行實驗。實驗采用十折交叉驗證的方式進行，即將全部表情圖像均分成10份，取其中9份進行訓練，另一份進行測試，共進行10次實驗，取實驗的平均結果作為最后的表情識別率。

表1為在不同的特征組合方式下，JAFFE和CK+庫中的表情識別率，從表中的實驗數據可以看出，將特征融合可以有效提高表情的識別率，驗證了本文方法的有效性。

表2和表3分別為在JAFFE和CK+上的識別率混淆矩陣，由表中的實驗數據可以看出，本文方法對每種的表情的識別率都能達到95%以上，說明本文多特征融合的方法可以對表情進行有效地區分。

在JAFFE和CK+數據庫中，將本文方法與目前主流的人臉表情識別方法進行了比較，包括GLTP、Gabor、LDN、CNN和WMDNN等方法。實驗結果如表4所示，可以看出，本文方法表情識別效果最為出色，識別率明顯高于其他幾種方法。

4? ?結論（Conclusion）

本文提出一種基于特征融合的人臉表情識別方法，分別對人臉表情圖像進行紋理特征和語義特征提取，然后將兩種特征進行線性融合，最后將融合的特征輸入到SVM分類器中進行表情分類識別，在JAFFE和CK+數據庫中均取得了較好的識別效果。特征融合的方式能夠將單一特征的優缺點進行有效互補，對人臉表情信息的提取更加完整，因此能夠取得較好的表情識別效果。但是由于特征融合方法步驟較為復雜，耗時較長，下一步的工作將考慮降低方法的計算復雜度，減少計算時間。

參考文獻（References）

[1] Zeng N，Zhang H，Song B，et al.Facial expression recognition via learning deep sparse autoencoders[J].Neurocomputing，2018，273（06）：643-649.

[2] Tsai H H，Chang Y C.Facial expression recognition using a combination of multiple facial features and support vector machine[J].Soft Computing，2018，22（13）：4389-4405.

[3] Elaiwat S，Bennamoun M，Boussaid F.A spatio-temporal RBM-based model for facial expression recognition[J].Pattern Recognition，2016，49（11）：152-161.

[4] 劉鵬，劉峰.融合臉部紅外信息與深度信息的駕駛員路怒表情識別方法[J].軟件導刊，2017，16（10）：198-201.

[5] Chen J，Takiguchi T，Ariki Y.Rotation-reversal invariant HOG cascade for facial expression recognition[J].Signal，Image and Video Processing，2017，11（8）：1485-1492.

[6] 易積政，毛峽，薛雨麗.基于特征點矢量與紋理形變能量參數融合的人臉表情識別[J].電子與信息學報，2013，35（10）：2403-2410.

[7] Ding Y，Zhao Q，Li B，et al.Facial expression recognition from image sequence based on LBP and Taylor expansion [J].IEEE Access，2017，5（3）：19409-19419.

[8] Ojala T，Pietik?inen M，M?enp?? T.Gray scale and rotation invariant texture classification with local binary patterns[C].European Conference on Computer Vision.Springer，Berlin，Heidelberg，2000：404-420.

[9] 龔安，曾雷.基于Gabor變換與改進SLLE的人臉表情識別[J].計算機系統應用，2017，26（9）：210-214.

[10] Rivera A R，Castillo J R，Chae O.Local directional number pattern for face analysis：Face and expression recognition[J].IEEE transactions on image processing，2013，22（5）：1740-1752.

[11] Mistry K，Zhang L，Sexton G，et al.Facial expression recongition using firefly-based feature optimization[C].2017 IEEE Congress on Evolutionary Computation（CEC）.IEEE，2017：1652-1658.

[12] Gu W，Xiang C，Venkatesh Y V，et al.Facial expression recognition using radial encoding of local Gabor features and classifier synthesis[J].Pattern recognition，2012，45（1）：80-91.

[13] 胡步發，黃銀成，陳炳興.基于層次分析法語義知識的人臉表情識別新方法[J].中國圖像圖形學報，2018，16（3）：420-426.

[14] Harrati N，Bouchrika I，Tari A，et al.Automated classification of facial expressions using bag of visual words and texture-based features[C].2015 16th International Conference on Sciences and Techniques of Automatic Control and Computer Engineering （STA）.IEEE，2015：363-367.

[15] Zhu Q，Zhong Y，Zhao B，et al.Bag-of-visual-words scene classifier with local and global features for high spatial resolution remote sensing imagery[J].IEEE Geoscience and Remote Sensing Letters，2016，13（6）：747-751.

[16] Berretti S，Del Bimbo A，Pala P，et al.A set of selected SIFT features for 3D facial expression recognition[C].2010 20th International Conference on Pattern Recognition.IEEE，2010：4125-4128.

[17] 孫曉，潘汀，任福繼.基于ROI-KNN卷積神經網絡的面部表情識別[J].自動化學報，2016，42（6）：883-891.

[18] Lyons M，Akamatsu S，Kamachi M，et al.Coding facial expressions with gabor wavelets[C].Proceedings Third IEEE international conference on automatic face and gesture recognition.IEEE，1998：200-205.

[19] Lucey P，Cohn J F，Kanade T，et al.The extended cohn-kanade dataset （CK+）：A complete dataset for action unit and emotion-specified expression[C].2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops.IEEE，2010：94-101.

[20] Holder R P，Tapamo J R.Improved gradient local ternary patterns for facial expression recognition[J].EURASIP Journal on Image and Video Processing，2017，17（1）：42-51.

[21] Lopes A T，Aguiar E，Souza A F，et al.Facial expression recognition with convolutional neural networks：coping with few data and the training sample order[J].Pattern Recognition，2017，61（8）：610-628.

[22] Yang B，Cao J，Ni R，et al.Facial expression recognition using weighted mixture deep neural network based on double-channel facial images[J].IEEE Access，2018，6（8）：4630-4640.

作者簡介：

高理想（1990-），男，本科，助理工程師.研究領域：系統集成，圖像處理.

高? 磊（1993-），男，碩士，助理工程師.研究領域：圖像處理，軟件開發.