基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法*

牛連強， 趙子天， 張勝男

(沈陽工業大學 a. 軟件學院， b. 信息科學與工程學院， 沈陽 110870)

?

基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法*

牛連強a，b， 趙子天b， 張勝男b

(沈陽工業大學 a. 軟件學院， b. 信息科學與工程學院， 沈陽 110870)

針對Gabor特征全局表征能力弱以及特征數據維數存在冗余的問題，提出了一種采用Gabor多方向特征融合與分塊直方圖相結合的方法以有效提取表情特征.通過對不同表情的重要特征部位進行細化，采用Gabor濾波器有針對性地提取相關區域的多尺度和多方向特征，并對同尺度的特征進行融合，利用各區域內融合特征的直方圖分布來表征圖像.該方法可以提高特征提取的準確性，有效突出重要特征的辨識作用，大幅度降低特征的維數，在JAFFE表情庫可以達到100%的識別率.

表情識別； Gabor變換； 特征融合； 局部二進制模式； 分塊直方圖； 多尺度； 多方向； 維數

人臉表情是人機交互、情感計算、智能控制、機器視覺和圖像處理與模式識別等領域的重要研究課題，而靜態人臉表情圖像特征提取的目的是依據靜態圖像對人臉表情特征進行歸類.目前，研究者主要將人類的基本表情定義為7類：高興(Happy)、憤怒(Angry)、驚訝(Surprise)、恐懼(Fear)、厭惡(Disgust)、悲傷(Sad)和正常(Neutral)，主要的表情分類方法則包括基于主元分析(principal component analysis，PCA)[1]、獨立分量分析(independent component analysis，ICA)[2]和線性判別分析(linear discriminate analysis，LDA)[3]的整體法和基于Gabor小波變換和LBP(local binary pattern)算子的局部法[4].

Donato等[5]比較了幾種方法在識別人臉動作單元(action unit，AU)時的性能，說明Gabor變換和ICA優于其他方法；Zhang等[6]采用多層感知器比較了Gabor特征和幾何特征，發現Gabor特征具有更好的識別性能，但Gabor變換的計算量和內存需求很大，且特征維數較高.近年來，研究人員提出了很多改進方案，使Gabor特征提取方法能夠在特征維數、實時性和準確性上有所突破.Wen等[7]在局部區域提取平均Gabor小波系數作為紋理特征，同時引入一種在人臉合成中使用的基于比例圖的方法來對紋理提取區域進行預處理，以降低不同人臉差異和光照變化的影響；Liao等[8]提出了一種基于兩組特征的表情識別方法，其一為強度、梯度圖的局部二元模式特征和Gabor濾波器的Tsallis能量，其二為通過對訓練圖像的LDA獲得的特征.LDA降低了特征向量的維數，但有可能造成有效決策信息的丟失.鄧洪波等[9]提出了一種局部Gabor濾波器組，有效地提高了特征的提取速度，并減少存儲量，再用PCA+LDA方法選擇特征和降維，得到了較好的識別結果.上述方法將Gabor特征與其他特征選擇算法相結合以構成新的低維特征向量時，會損失一些具有高區分度的紋理信息而保留了部分冗余信息，從而造成對一些細微表情的區分度下降，影響表情分類.

本文以Gabor參數和LBP算子為基礎，先對人臉表情進行重要特征區域和有效變化方向的劃分，以減少特征數據的冗余并防止特征淹沒；利用Gabor變換對重要特征區域進行有效方向和尺度的濾波和融合，以有效地提取特征并降低其維數；再利用LBP對融合濾波特征圖計算其直方圖分布，得到描述紋理圖像的全局特征.該方法能夠在保留Gabor特征的圖像紋理變化表征能力基礎上，增強其全局特征表征能力，并有效降低特征冗余，具有良好的分類效果.

1　重要特征區域與有效檢測方向劃分

通常在特征提取之前需進行人臉圖像的預處理，以找到有效的人臉區域.即便如此，人的表情變化通常僅引起小的局部變化，且這些變化具有較強的方向特征.由于不同人的上述變化較類似且可事先確定，因此，首先對人臉區域進行劃分，目的是確定不同表情需要檢測的重要特征子塊和有效的檢測方向，以進行Gabor特征圖的LBP計算.

將人臉區域劃分為42=7×6個互不重疊且大小相等的矩形子塊，對這些子塊由(1，1)到(7，6)編碼，如圖1所示.在人臉選取10個部位構成重要特征部位，如表1所示.

圖1　面部子塊劃分

表1　重要特征變化子塊

重要區域對應不同的表情在方向變化上的差異較大，構成了對應表情的突出特征.依據分析和實驗，并結合Gabor變換的角度特性，確定了表2所示的有效檢測方向.其中，○和×分別表示有效和無效，角度單位為度.

對不同子塊進行多種角度檢測，其結果將因對應表情的不同而存在差異，反映了該子塊和角度所產生的特征對相應表情的重要性.

2　Gabor特征提取與融合

Gabor濾波器是一個由二維高斯函數衍生而來的復數域正弦曲線函數[10]，相當于一組帶通濾波器，其方向、基頻帶寬及中心頻率均可調節.不同參數的Gabor濾波器組能夠捕捉圖像中對應于不同空間頻率、空間位置以及方向選擇性等局部結構信息，且對于亮度和人臉姿態的變化不敏感.

表2　有效的檢測方向

不同的表情行為特征具有不同的尺度.例如，驚訝表情行為會使人臉器官在較大范圍移動，需要對其進行大尺度分析，而微笑表情行為造成的人臉器官變化較小，應用小尺度分析.本文先進行多尺度的Gabor變換以提取局部特征，再對其進行融合.

2.1表情圖像的Gabor特征提取

Gabor小波核函數具有與人類大腦皮層簡單細胞的二維反射區相同的特性，其二維濾波器定義為

(1)

式中：kj=kv(cosμ，sinμ)T，kv=2(-v+2)/2π，μ∈(0，1，…，7)，v∈(0，1，…，4)分別表示Gabor濾波器的方向尺度；z=(x，y)代表像素的位置；σ為濾波器帶寬；i為復數單位.圖像的Gabor特征由圖像和Gabor濾波器的卷積得到.令f(x，y)為圖像的灰度分布，則卷積定義為

G(x，y，v，μ)=f(x，y)*ψv，μ(z)

(2)

式中，*表示卷積算子.

為了獲得多尺度Gabor特征，采用5尺度、8方向的Gabor濾波器組，對預處理后得到的256×256灰度圖像做由0°到180°的8個方向的特征提取.

2.2Gabor多方向特征融合

直接Gabor變換所得到的結果維數很高，且包含大量的微弱信號.因此，本文對Gabor變換在同一尺度上的多個方向特征進行融合，通過對Gabor濾波后的信號與原始信號強度的比較，保留強信號作為表情特征，從而達到降維和突出有效信號的目的.本文中信號強度由幅值來體現，融合規則如下：

1) 將人臉圖像每個像素點的各尺度上的8個Gabor方向特征轉化為二進制編碼，即

(3)

式中：G(z，μ，v)為像素點z=(x，y)在8個方向的Gabor特征的幅值；f(z)為原始圖像的灰度.當Gabor幅值大于原圖像灰度時，說明Gabor放大了此方向的表情特征.因此，式(3)對此二進制位置1使其得以保留，相反，置0以丟棄此信息.

2) 將8方向的二進制編碼融合為一個十進制的尺度編碼，即

(4)

每個Tv(z)∈[0，255]的編碼值表征一種局部方向，所有Tv構成了該尺度上的全部特征集.因此，可以將每個人臉圖像轉化為5個尺度上的多方向特征的融合圖像.圖2為圖1中人臉圖像所對應v=0，1，…，4的融合特征圖.

圖2　5個尺度的融合特征圖

3　融合特征圖的LBP濾波與分類

3.1融合特征圖的LBP濾波

LBP能有效地描述紋理特征，因此，對融合特征圖進行LBP濾波，以凸顯信號的紋理.對于每個像素，將其灰度值對鄰域點取閾值，得到二進制的局部圖像描述器.通常取3×3鄰域，描述器可表示為

(5)

圖3　LBP濾波圖

3.2分塊直方圖特征提取

盡管直方圖能夠有效地描述紋理圖像的全局特征，但直接對整個融合特征圖像計算直方圖分布會丟失很多結構上的細節，因此按圖1所示的劃分分別計算直方圖分布，再將其聯合起來作為圖像表征.

對于融合圖像Xv(z)，v∈(0，1，…，4)，記R(i，j)為區域(i，j)的所有像素集合，其元素z的值為g(z)，則每個子塊(i，j)所對應的直方圖定義為

(6)

令B為表1所描述的所有子塊集合，則得到由濾波后的融合特征圖像在5尺度、18個子塊所對應直方圖組成的集合S，即

(7)

由此得到用于分類的256×5×18=23 040維人臉特征.

3.3子塊權重的確定

(8)

根據檢測結果定義相應的子塊權重，即

(9)

3.4分類

在樣本庫中選擇一定數量的訓練樣本，計算其相應的直方圖S，并以其平均數值為模板M.由于當前待識別樣本與模板均為直方圖表示，樣本與模板的差值為256(灰度g∈[0，255])個相互獨立的隨機變量，假定其符合正態分布，則256個差值的平方和服從卡方分布.為了減少人與人之間固有直方圖差異的影響，將差值平方和除以樣本與模板直方圖的和作為差異度，即

(10)

4　數值實驗與結果分析

采用OpenCV和C++語言設計程序，對本文及現存的幾種主要方法進行實驗和比較.對比的方法包括LBPTemplate、LBPAdaboost、Gabor直方圖特征法[11]、GaborKPCA[12]和GaborPCA+LDA，實驗采用JAFFE女性表情數據庫進行測試(http：//www.atr.co.jp/).該數據庫包括10個人的表情，每人有表2中的7種表情樣本，各3或4個，共213個.實驗時選取每人7種表情樣本的3或4個樣本中的1或2個樣本作為訓練樣本，共137個訓練樣本，其他76個作為測試樣本.在訓練和識別前對所有圖像進行預處理，對人臉部位做定位和分割.

兩種訓練樣本的選擇方式為：

1) 隨機選取(Random).

(11)

式中，Fe為表情e的重點部位子塊集合.檢測權重越大說明樣本表情特征越明顯，因此，選擇具有最大測度的指定數量的樣本即可構成訓練集.

表3　表情特征的重點部位

表4顯示了各種算法的平均識別結果，圖4為各種表情的識別樣本數量.

表4　幾種方法的平均識別率

圖4　各方法的識別樣本數

實驗結果說明，LBP Template在表情特征較明顯(如快樂和驚訝)時可獲得90%的識別率，LBP Adaboost在降低特征維數的同時，增加了人臉表情的區分度，但依賴LBP算子不能有效提取恐懼和悲傷表情中嘴部和眉部等重要特征.Gabor頻域能放大表情的局部信息，提取出法令紋、嘴部和眉部等LBP算子失效的特征，但直接對頻域提取LBP直方圖(Gabor histogram)不僅維數高(96 000)，也會因特征混淆而影響識別率.Gabor頻域結合PCA+LDA能夠在一定程度上提高識別率，而結合KPCA能夠降低特征維數(84 000)，且增加人臉表情的區分度，達到更高的識別率(98.24%).不過，此方法易將恐懼表情誤識為高興.本文僅在特定部位、Gabor方向尺度和頻域上提取特征，并對特征進行融合，不僅大幅度降低了維數(23 040)，主要是通過有效方向的區分，避免了特征混淆，突出了恐懼等不易于識別表情的嘴角和眉部等細微特征，從而達到了較高的識別率.

圖5a是被Gabor KPCA算法誤識為高興的恐懼樣本，圖5b是被Gabor KPCA算法誤識為厭惡的憤怒樣本.盡管這兩個樣本分別與高興、厭惡表情的一般特征比較近似，但眉部和抬頭紋特征與快樂相差明顯，而本文通過對眉部和抬頭紋特征檢測計算相應子塊權重突出了這些特征，正確地將圖5a樣本劃分為恐懼.類似地，對抬頭紋和眼部特征的突出使圖5b樣本被正確地劃分為憤怒.

圖5　Gabor KPCA誤識的表情樣本

實驗發現，在訓練樣本中沒有明顯的法令紋特征時，會影響快樂與恐懼表情的正確識別；缺少嘴角上翹樣本特征則影響傷心表情的正確識別；缺少眉部翹起的樣本特征會對傷心與恐懼表情識別產生影響；缺少雙眉緊鎖、抬頭紋褶皺和撇嘴樣本會影響憤怒和厭惡表情的識別.本文采取的自動預選訓練樣本很好地解決了此類問題.

5　結　論

針對Gabor特征表征全局特征能力弱、特征維數高等問題，提出了一種基于Gabor局部方向特征融合與分塊直方圖相結合的表情識別方法.該方法嘗試通過對不同表情的重點特征部位和方向進行篩選，僅在對應部位、方向上提取多尺度Gabor特征，并對同一尺度不同方向的Gabor特征進行融合，不僅大幅度降低了特征維數，也提高了特征選取的準確性.同時，將融合后的Gabor特征與LBP分塊直方圖相結合，突出了Gabor變換在分析局部紋理變化方面的能力和LBP的全局特征表征優勢.此外，本文提出的通過自動預選訓練樣本方法能夠有效克服在較少訓練樣本情況下的特征提取缺失問題，從而使本文算法達到了較高的人臉表情識別率.

[1]Chen J J，Zhao Z.Facial expression recognition based on PCA reconstruction [C]//The 5th International Conference of CS and Education.Hefei，China，2010：195-200.

[2]周書仁，梁昔明.基于ICA與HMM的表情識別 [J].中國圖像圖形學報，2008，13(12)：2321-2328.

(ZHOU Shu-ren，LIANG Xi-ming.Facial expression recognition based on independent component analysis and hidden Markov model [J].Journal of Image and Graphics，2008，13(12)：2321-2328.)

[3]陳好剛，王運瓊，馮喬生.一種基于2DPCA和LDA的人臉表情識別算法 [J].微計算機信息，2010，26(9)：198-201.

(CHEN Hao-gang，WANG Yun-qiong，FENG Qiao-sheng.Facial expression recognition based on 2DPCA and LDA [J].Microcomputer Information，2010，26(9)：198-201.)

[4]Shan C F，Gong S G，Peter W M.Facial expression recognition based on local binary patterns：a compressive study [J].Image Vision Computing，2009，27(8)：803-816.

[5]Donato G，Bartlett M S，Hager J C.Classifying facial actions [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21(10)：947-989.

[6]Zhang Z Y，Lyons M，Schuster M，et al.Comparison between geometry-based and Gabor-wavelets-based facial expression recognition using multi-layer perceptron [C]//Proceedings of the 3rd IEEE International Conference on Automatic Face and Gesture Recognition.Nara，Japan，1998：454-459.

[7]Wen Z，Huang T S.Capturing subtle facial motions in 3D face tracking [C]//Proceedings of the 9th IEEE International Conference on Computer Vision.Nice，France，2003：1343-1350.

[8]Liao S，Fan W，Chung A C，et al.Facial expression recognition using advanced local binary patterns，Tsallis entropies and global appearance features [C]//Proceedings of the 6th IEEE International Conference on Image Processing.Atlanta，USA，2006：665-668.

[9]鄧洪波，金連文.一種基于局部Gabor濾波器組及PCA+LDA的人臉表情識別方法 [J].中國圖像圖形學報，2007，12(2)：322-329.

(DENG Hong-bo，JIN Lian-wen.Facial expression recognition based on local Gabor filter bank and PCA+LDA [J].Journal of Image and Graphics，2007，12(2)：322-329.)

[10]范媛媛，桑英軍，胡光.基于小波變換的電能質量監測 [J].沈陽工業大學學報，2014，36(6)：681-687.

(FAN Yuan-yuan，SANG Ying-jun，HU Guang.Po-wer quality monitoring base on wavelet transform [J].Journal of Shenyang University of Technology，2014，36(6)：681-687.)

[11]宋偉，趙清杰，宋紅，等.基于關鍵塊空間分布與Gabor濾波的人臉表情識別算法 [J].中南大學學報(自然科學版)，2013，44(2)：239-243.

(SONG Wei，ZHAO Qing-jie，SONG Hong，et al.Facial expression recognition algorithm based on key block space distribution and based on Gabor filter [J].Journal of Central South University(Science and Technology)，2013，44(2)：239-243.)

[12]劉帥帥，田彥濤，萬川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識別方法 [J].自動化學報，2011，37(12)：1455-1460.

(LIU Shuai-shuai，TIAN Yan-tao，WAN Chuan.Facial expression recognition method based on Gabor multi-orientation features fusion and block histogram [J].Acta Automatic Sinica，2011，37(12)：1455-1460.)

(責任編輯：鐘媛英文審校：尹淑英)

Extraction method for facial expression features based on Gabor feature fusion and LBP histogram

NIU Lian-qianga,b, ZHAO Zi-tianb, ZHANG Sheng-nanb

(a. School of Software, b. School of Information Science and Engineering, Shenyang University of Technology, Shenyang 110870, China)

In order to solve the problem that the Gabor features exhiblt weak global expression ability and redundant feature data dimensionalities, a method in combination with both Gabor multi-direction feature fusion and block histogram was proposed to effectively extract the facial expression features. Through refining the important featute parts in different expressions, the multi-scale and multi-direction features in relevant areas were purposefully extracted with Gabor filters, and the features with the same scale were fused. In addition, the images were characterized with the histogram distribution for the fused features in various areas. The proposed method can improve the accuracy of feature extraction, effectively highlight the identification effect of important features, and greatly reduce the feature dimensionalities. Furthermore, the proposed method can reach 100% recognition rate in the JAFFE expression dataset.

expression recognition; Gabor transform; feature fusion; local binary pattern (LBP); block histogram; multi-scale; multi-direction; dimensionality

2014-12-05.

沈陽市科技計劃項目(F12-168-9-00).

牛連強(1965-)，男，遼寧蓋縣人，教授，主要從事CAD&CG、圖像處理、可視化及仿真技術等方面的研究.

信息科學與工程

10.7688/j.issn.1000-1646.2016.01.11

TP 391.41

A

1000-1646(2016)01-0063-06

*本文已于2015-09-15 09∶09在中國知網優先數字出版. 網絡出版地址： http：∥www.cnki.net/kcms/detail/21.1189.T.20150915.0909.036.html