基于區域塊LBP特征的人臉表情識別

齊 興，蘇本躍

(1.安徽理工學校, 安徽 安慶 246003;2.安慶師范學院 計算機與信息學院，安徽 安慶 246133)

基于區域塊LBP特征的人臉表情識別

齊 興1，蘇本躍2

(1.安徽理工學校, 安徽 安慶 246003;2.安慶師范學院 計算機與信息學院，安徽 安慶 246133)

人臉表情識別是模式識別與人工智能領域的研究熱點之一，針對傳統LBP方法的不足，提出了一種基于區域塊LBP的人臉表情識別方法：先在人臉面部分割出與表情相關的眉毛、眼睛、鼻子和嘴巴等關鍵區域；再從這些關鍵表情區域提取表情特征，避免了在整個面部提取特征耗時的缺陷，同時有效地降低了特征維數；最后利用最近鄰分類器給出識別結果，通過實驗驗證了本文算法在識別性能和時間性能上的優勢。

計算機技術；表情識別；局部二值模式；特征提取

作為非口頭溝通中最有效的形式，人臉表情廣泛應用于人機情感交互領域[1-3]。人們一方面提取描述能力強、魯棒性好的表情特征，如Gabor小波變換、主動外觀模型(AAM，Active Appearance Model)、局部二值模式(LBP，Local Binary Pattern)等，一方面探索穩定性好的表情特征分類器，如最近鄰、支持向量機、反向傳播(BP，Back Propagation)、神經網絡等。然而，表情細節更多集中于眼睛、眉毛、嘴巴等區域，如何融合各區域的表情特征在減少特征維數的同時進一步提高分類識別率，已成為表情識別領域新的研究熱點。

LBP特征能夠較好地反映表情局部細節，并且具有計算簡單、尺度變換不變性等優點，備受人們關注。姜銳、許建龍等人提出多重中心化二值模式(MLBP，Multiple Local Binary Patterns)；程雪峰在傳統LBP的基礎上，結合多尺度、多方向的Gabor分解，提出了LGBP方法；袁寶華等人提出了基于完整局部二值模式(CLBP)。但是，傳統的LBP提取方法是基于圖像像素點的，需要逐個統計像素點的規律分布，得到的圖像統計直方圖過多，且比較稀疏，影響識別效果。另外，LBP計算主要是通過比較中心像素與周圍像素之間的對比關系，進而描述圖像的灰度分布特征，這完全忽略了中心像素的規律分布。針對傳統LBP的不足以及表情細節更多分布在眼睛、眉毛、嘴巴等區域的特點，本文提出了一種基于區域塊LBP特征提取方法，具體過程如下：首先，根據積分投影法將人臉表情圖像分割出若干表情關鍵區域；然后，在各關鍵區域中，以4×4為窗口，計算2×2領域的均值，提取3×3均值模板的LBP特征并采用直方圖統計各關鍵區域的特征值； 最后，通過特征級聯方式形成特征向量，并利用最近鄰分類器實現分類。

1 LBP表情特征提取

1.1 LBP特征

LBP[4]是一種典型的圖像紋理特征的計算方法，同時稱為局部二值模式。它計算的是周圍像素點與中心像素點的灰度值大小，得到一組能表現圖像局部紋理特征的描述數據。LBP計算方法簡單，選取一個3×3大小的鄰域共9個灰度值，如圖1所示。分別將g0,g1,g2,g3,g4,g5,g6,g7與中心點gt的灰度值逐個進行比較，若該位置的灰度值大于中心點gt像素值，就將該點記錄為1；反之記錄為0。按照圖1所示的數據計算得出的LBP算子為二進制數10101001，即中心像素點gt的像素值為169。

由上述LBP算子的計算方法，能夠明顯看出，LBP算子計算方法非常簡單省時。目前在人臉識別與表情識別中有著良好的應用，并取得了令人滿意的效果。

1.2 LBP特征提取

LBP特征主要是對圖像的灰度分布特征進行描述，其優越性表現在紋理特征提取方面。圖2給出了人臉表情LBP特征提取結果。以中心像素為基點，聯合周圍的像素點，能相對精確并有效地統計區域內的紋理特征。計算方法理解簡單，實現起來也比較方便。

但是LBP統計紋理特征的時候完全忽略了中心像素點，這是需要解決的至關重要的問題，因為中心像素點的影響往往要大于周邊像素點，這類似于最為吸引人類注意力的往往是中間位置而不是旁邊位置。另外傳統LBP特征是基于逐個像素點進行統計的，這樣反復計算降低了效率。針對傳統LBP的不足，本文提出了基于區域塊LBP表情特征提取方法。

2 區域塊LBP表情特征提取

2.1 表情關鍵區域劃分

在實際的表情圖像采集過程中，表情圖像或多或少會受到旋轉偏移、尺度大小變化等因素的影響，本文采用三庭五眼[5]這樣的定位方法來劃分表情區域，如圖3所示。

按照一定的比例分割出表情子區域，規定眉毛到眼睛的距離為D1，眼睛到鼻翼的距離為D2，鼻翼到嘴巴的距離為D3，如圖4所示。分割左眉毛區域：選取眉毛中心點為眉毛區域中心，高度為D1，寬度為眉毛中心點的橫坐標值。分割左眼區域的方法為：以左眼瞳孔所在位置為基準點，區域上界為D1的1/2，下界為D2的1/2，左右兩側邊界和左眉區域一致。依據同樣的方法，分割出與這兩個子區域分別對稱的右眉區域和右眼區域。分割鼻子區域的方法為：以鼻唇中心點為基準點，鼻子區域上邊界為D2的2/3，鼻子下邊界為D3的1/3，雙眼瞳孔之間的距離為寬度。嘴巴區域分割方法為：嘴巴區域上邊界為D3的1/3,嘴巴區域下邊界為D3的3/4。

2.2 區域塊LBP特征提取

在表情區域，將每一大小為4×4像素的模板劃分為一個子塊，然后將大小4×4的模板統計退化為大小3×3模板，如圖5所示。

計算過程：

(1)將4×4像素的模板設為一個二維數組，記為a[4][4]={(a00,a01,a02,a03),(a10,a11,a12,a13),(a20,a21,a22,a23),(a30,a31,a32,a33)},以 ，g0=(a00+a01+a10+a11)/4,g1=(a01+a02+a11+a12)/4，……的方法分別計算出g0,g1,g2,g3,g4,g5,g6,g7,gc的值。

(2)在實際操作中在gc與g0,g1,g2,g3,g4,g5,g6,g7比較的過程中，有可能出現gc大于gi(i=0,1,…,7)的情況，那么八進制的值全為0沒有意義。于是進行重新定義中心點gT=(g0+g1+…+g7+gc)/9，然后再用比較的方法計算。

(3)比較過程中令fi為gT-gi的值，當gT大于gi(i=0,1,…,7)時fi為0，否則為1，則坐標為(x,y)點的LBP值表示為

(1)

(4)因為表情關鍵區域如眉毛和嘴巴的大小是不一樣的，將子區域再一次劃分成小塊，眉毛分左右共4塊，眼睛分為左右共8塊，鼻子總體劃分成6塊，嘴巴區域分成8塊，則對于每一塊的直方圖可以表示為

(2)

其中m表示關鍵區域分塊的數量，即眉毛為4，眼睛為8，鼻子為6，嘴巴為8；Rk表示表情子區域，k分別表示眉毛、眼睛、鼻子和嘴巴。

(5)每個表情子區域的直方圖可以表示為

其中m的值是不一樣的，具體值是眉毛為4，眼睛為8，鼻子為6，嘴巴為8。

(6)將每個表情區域按眉毛、眼睛、鼻子和嘴巴的順序連接到一起，臉部特征向量即可表示為

H={HR0,HR1,HR2,HR3}

相對于傳統的基于逐個像素計算的方法，本文方法有效統計了4×4范圍內的像素分布特征，充分考慮到像素模板內每個像素的值。通過簡單計算能夠看出這樣的模板劃分，避免了大量逐一掃描，這樣的計算方法使得特征值數量減少到原LBP特征的1/16。

3 實驗與分析

為充分驗證算法的有效性，實驗分別在國際認可的公共人臉表情庫JAFFE和Cohn-Kanade上進行，具體實驗步驟為，

(1) 對圖像進行預處理操作。實驗中為了避免光照的影響，對表情圖像使用灰度規范化，劃分獲得表情關鍵區域，如眉毛、嘴巴、眼睛、鼻子。劃分后獲得的不同表情圖像的關鍵區域都發生了各種變化。

(2) 對表情區域進行塊LBP特征提取，按照前面所述的眉毛、嘴巴、眼睛、鼻子的順序，將在表情區域提取的特征級聯起來，作為人臉表情待識別的特征。

(3) 采用最近鄰分類器完成表情識別任務。

表1列出了本算法在識別性能和時間性能上與其他同類算法的比較。

表1 算法性能比較

從實驗結果可以看出，本算法在JAFFE和Cohn-Kanade庫上都取得了93%以上的識別率，只比文獻[6]的識別率低，而優于同類算法的識別效果。從時間性能來看，本算法的特征提取時間和總識別時間都是最少的，明顯優于其他同類算法，也優于識別率高于本文算法的文獻[6]，這依賴于本文算法特征提取的簡單省時，從而克服了Gabor特征耗時的特點。

4 結束語

采用區域塊LBP特征提取方法能有效彌補傳統的中心像素點缺失的不足，以4×4大小的塊基元為單位提取特征，大大降低了算法計算量。實驗比較證明表情識別率有了較大的提高，在JAFFE和Cohn-Kanade表情數據庫上取得了良好的效果。但同時也存在不足，在相似度較高的表情識別效果上還不盡如人意，有待進一步完善。

[1]S. Zhang, L. Li, Z. Zhao. Facial expression recognition based on Gabor wavelets and sparse representation[C]. 2012 IEEE 11th International Conference on IEEE, 2012, 2: 816-819.

[2] 胡敏, 朱弘, 王曉華, 等. 基于梯度Gabor直方圖特征的表情識別方法[J]. 計算機輔助設計與圖形學學報, 2013, 25(12): 1856-1861.

[3] Y. Kami, D. Hasan. Feature selection for improved 3D facial expression recognition [J]. Pattern Recognition Letters, 2014, 38(1): 26-33.

[4] 鄭永斌, 黃新生, 豐松江. SIFT和旋轉不變LBP相結合的圖像匹配算法[J]. 計算機輔助設計與圖形學學報, 2010, 22(2): 286-292.

[5] 顧令飛. 基于多類LDA的人臉表情識別研究[D]. 廈門: 廈門大學, 2014.

[6] Sun Xinghua, Xu Hongxia, Zhao Chunxia, et al.. Facial expression recognition based on histogram sequence of local Gabor binary patterns[C]. Proceedings of 2008 IEEE Conference on Cybernetics and Intelligent Systems, 2008: 384-389.

[7] T. Ojala, M. Pietikainen, T. Maenpaa. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[8] 劉偉鋒, 李樹娟, 王延江. 基于LBP特征的人臉表情分析[D]. 北京: 中國石油大學, 2010.

[9] Xue Weimin. Facial expression recognition based on Gabor filter and SVM[J]. Chinese Journal of Electronics, 2006, 15(4A): 809-812.

Human Face Recognition Based on the Regional Block LBP

QI Xing1，SU Ben-yue2

(1.Anhui Science and Technology School,Anqing 246003，China; 2.College of Computer and Information,Anqing Teachers College, Anqing 246133, China)

Facial expression describes human emotion by obviously and embody in facial features. Facial expression recognition has attracted more and more attention of researchers, and it has become a hot research topic in the fields of pattern recognition and artificial intelligence in recent years. Aiming at the shortage of the traditional LBP method, this paper proposes a new method of facial expression recognition based on block LBP. First, we divide the expression regions on the whole face, such as eyebrows, eye, nose and mouth, then extract the facial expression feature in the key regions, so avoid time-consuming defects in the entire face extraction and reduce the feature dimension effectively. Last, this paper gives the recognition results by the nearest neighbor classifier. The relevant experiments indicate that this algorithm achieves good results in recognition performance and time performance.

computer technology, facial expression recognition, local binary pattern, feature extraction

2015-03-25

齊興，女，安徽安慶人，碩士，安徽理工學校中級講師，研究方向為計算機科學與技術。

時間：2016-1-5 13:01 網絡出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160105.1301.012.html

TP311.52

A

1007-4260(2015)04-0048-04

10.13757/j.cnki.cn34-1150/n.2015.04.012