改進的LBP算子和稀疏表達分類在人臉表情識別上的應用

趙棟杰

（江蘇科技大學 計算機科學與工程學院，江蘇 鎮江212003）

改進的LBP算子和稀疏表達分類在人臉表情識別上的應用

趙棟杰

（江蘇科技大學 計算機科學與工程學院，江蘇 鎮江212003）

在人臉表情識別中，基于局部二值模式（LBP）算子算法與傳統的特征提取算法相比具有特征提取準確、精細、光照不變性等優點，但也有直方圖維數高、判別能力差、具有冗余信息等缺點。本文提出一種C-LBP算法通過加入中心點到算法中進行特特征提取，能夠更有效的提取特征數據。再結合使用稀疏表達分類器實現對特征進行分類和識別。經實驗結果表明，與傳統LBP算法對比，文中算法用于人臉表情的識別的識別率得到大幅度提高。

LBP；C-LBP；特征提取；稀疏表達；分類器

人臉表情是人類情感信息傳播與人際關系協調的重要方式。人臉表情識別在人際交流以及交互中作用非常的重要，多被應用到機器視覺、智能控制、模式識別等領域，它根據人的表情不同做出不同的判斷，更好地滿足人類生活需求。在表情識別技術中，如何提取和選擇有效的人臉描述特征是研究的關鍵內容。表情識別主要由人臉表情識別的特征提取和稀疏表示分類器的選擇兩個部分組成。

特征提取在人臉表情識別中有著相當重要的作用，提取出來的特征也影響著整個識別系統的正確率，目前普遍為大家所用的包括整體法、局部法、光流法、模型法和幾何法，整體法和局部法主要用于靜態圖像特征提取，光流法、模型法和幾何法主要用于動態圖像特征的提取。其中在整體法中較為熟知的提取算法有PCA特征［1］、LDA特征［2］和ICA特征［3］；局部法中比較經典的算法有LBP算子法和Gabor小波法［4］。Gabor小波在提取目標的局部空間和頻率域信息方面具有良好的特性，然而，該算法需要計算不同尺度和方向的小波核函數，提取出的高維特征向量對整個算法造成冗余。相比而言，傳統的LBP算子法是一種簡單，有效的紋理分類的特征提取算法，在紋理分析方面有著廣泛的應用，近幾年在人臉識別領域取得了巨大的發展。從傳統的LBP算子法到MB_LBP算子法再到后來的完整LBP算子法［5］，每一次的改進都在人臉識別領域取得了較大的成功。例如，LBP算子法到MB_LBP算子法的改進，相比原始LBP算法整幅圖片進行編碼，MB-LBP特征首先將特提取特征的圖像分區域，在某一塊區域中再等分成9塊，再以每一小塊的平均灰度值替代原始LBP特征算法的3x3模式中的臨域點灰度值，之后將平均值和中心塊像素值相比，得到MP-LBP特征碼。文中首先采用MB-LBP算法進行特征提取，再利用C-LBP算法把中心像素考慮了進去并賦予最高的權值，提高了特征判別力和特征的有效性。

1 基于改進LBP算子的特征提取

1.1 LBP算子

局部二值模式（Local Binary Pattern，LBP）特征是一種描述紋理特征的強有力的方法，可對圖像中局部鄰近區域的紋理信息進行度量和提取。原始的LBP算子為圖像的每個像素定義了一個以該像素為中心的3×3的窗口，然后計算圖像中每個像素與其局部鄰域點在灰度上的二值關系，再對二值關系按一定規則加權編碼形成像素的LBP值，最后把所有區域的LBP直方圖組合成序列作為圖像的特征描述。如圖1所示，每個像素需要和其鄰域點像素的灰度值比較大小，大的置1，小的置0，這樣圖像中每個像素點都得到一個二進制數，將此二進制數轉換為十進制數則為像素點的LBP碼，把每幅圖像中所有像素點的LBP碼所構成的直方圖作為該圖像的LBP特征。

圖1 LBP計算示意圖

其中，N、R分別表示該像素點的臨域點個數、半徑（所謂半徑就是以中心像素點作為圓心，連接臨域點所做的圓的半徑），tn為周圍像素灰度值，tc是中心像素點，函數s（x）定義如下：

LBP算子對整幅圖像進行編碼得到LBP編碼圖像如圖2所示，將LBP特征用于人臉識別，典型的方法是將人臉圖像進行分塊，對于每個小塊進行提取LBP特征直方圖，最后形成表示人臉的LBP特征直方圖，可表示為:

其中圖1中3×3模式LBP碼是8位的二進制數，則LBP碼的數量為n=256（28）。

圖2 圖像KA_HA1和對應的LBP編碼圖像

但是，LBP算子在人臉表情識別有一些不足點，主要有以下幾個方面：1）LBP算子僅考慮了周圍像素并沒有考慮全局的灰度分布；2）產生的直方圖維數過大，一幅圖像的特征維數過高會造成信息冗余并消耗大量的計算時間；3）傳統LBP沒有將中心像素點加入計算，在某些特定情況下，中心像素點要比近鄰點提供更重要的信息。

1.2 改進的LBP算子

由于傳統LBP算子的不足之處就是特征維數較大，文中對LBP算子進行了改進，首先將特提取特征的圖像分區域，以某一分成9塊子區域為例，再以每一小塊的平均灰度值替代原始LBP特征算法的3×3模式中的臨域點灰度值，再把中心像素加入到LBP算子中計算，即C-LBP算子。

圖3 MB-LBP特征提取方式

對于圖3，整體的區域分為9個小子區域，每個子區域有6個像素點，將6個像素點的平均灰度值作為3×3模式中的臨域點灰度值，對于均值化后的3×3模式如圖4所示。

圖4 均值化后的3×3模式

改進后的公式為：

其中，ta=（t0+t1+…+t7+tc）/9。tn為周圍像素灰度值，tc是中心像素點，函數s（x）定義如下：

其中M為閾值常數。我們首先使用MB-LBP提取特征，該方法不再基于單個像素，而是將特征計算擴展到任意大小的“子塊區域”。“子塊區域”的大小決定了捕獲的特征結構的大小，選取不同大小的“子塊”尺度，得到不同尺度的描述特征，增強了特征描述性。使用“子塊區域”的灰度平均值進行特征計算，增加了像素與像素之間的相關性，從而削弱了噪聲對特征計算的干擾。而后對處理后的方陣進行C-LBP特征提出，這樣做的原因在于傳統的LBP算子將中心像素點tc一直被置為0，然而，在大多數情況下中心像素點要比其近鄰點提供更重要的信息，因此我們要把tc考慮進來，并給予它最高權值。

2 稀疏表示分類

2.1 稀疏表示原理

稀疏表示理論是基于壓縮感知理論［6-7］提出的。其理論依據是只要信號是可壓縮的或者在某個變換域是稀疏的，便可以用一個與變換基不相關的觀測矩陣將所得高維信號投影到低維空間，這樣便能夠將LBP編碼特征組成的高維度直方圖序列降維來方便分類。

2.2 稀疏表示分類器

假設矩陣A=［A1，A2，…，AN］為表情庫中的一組訓練樣本集，我們也可以稱之為字典，N為庫中包含的N種表情，Ai=［vi，1，vi，2，…，vi，m］∈Ru×m，Ai為第i類的訓練樣本集，vi，m表示第 i類中第m個樣本。

此時，一幅測試圖像y可表示為所有訓練樣本的線性組合，即

其中，x=［0，0，…，0…αk，1，αk，2，…0，…，0］∈Ru；由稀疏理論可知，為了能得到方程y=Ax的最稀疏的解，即所求的系數向量x包含的非零向量應盡量少就越可以判斷出測試樣本y所屬的類別。因此我們可以通過求解如下最優化問題來計算x

其中‖g‖0表示l0范數，表示一個矢量中非零系數的個數。然而由于X解的不確定性，該稀疏系數求解問題屬于非凸最優化問題，是一個N-P難題。不過根據文獻［8］，只要滿足一定條件，最小化l0最小范數的NP難題可以轉換為最小化l1范數問題來進行求解，即：

問題（8）屬于可求解的凸優化問題，已有許多成熟的求解算法，最常用的l1快速求解算法包括L1-homotopy算法［9-11］、OMP算法［12］、ALM算法、L1-magic范數算法，這些算法已經能近似求出此問題的解法并且得到了很好的識別效果。我們選用稀疏表示來識別圖像，一般稱為稀疏表示識別［13］（Sparse-based Representation Classification，SRC），通俗來說就是把庫中的不同對象放在訓練集中，對于某個未識別的圖像進行分類的時候，可以利用訓練集中的每個樣本來線性組合表示這個未知類的對象。稀疏表示分類人臉識別算法的流程圖如圖5所示。

圖5 SRC人臉識別算法的流程圖

綜上，以下給出基于稀疏表達的分類器算法:

1）利用改進的LBP算法來提取測試圖像的LBP特征編碼值。

2）輸入N類A=［A1，A2，…，AN］訓練樣本構成特征矩陣。測試樣本向量為y∈Ru，并且歸一化矩陣A的每一列。

3）利用L1-homotopy算法求解l1范數最小化問題：

4）計算殘差ri（y）=‖y-AX‖2的最小值作為識別依據。

5）輸出類別identity（y）=arg minxri（y）。

3 實驗結果與分析

文中利用經典Jaffe人臉數據庫［14］人臉數據庫進行仿真實驗。Jaffe數據庫中有7種表情（生氣、厭惡、恐懼、高興、悲傷、普通以及驚奇），每一種表情有2到4張圖片，包含10位不同女性的圖片，共有213張人臉圖片。以下圖6為Jaffe人臉數據庫中部分7種表情從左到右分別是：憤怒、厭惡、驚恐、高興、中性、悲傷、驚訝。

對于Jaffe數據庫，由于此數據庫每種表情至少有29副圖像，因此從每類選取29張來進行實驗。每次實驗，每類隨機選取15副作為訓練集，共105張；余下的每種表情14張分別作為測試集。降維統一采用PCA降維，最后利用稀疏表達分類器進行人臉表情的識別和分類。實驗結果如表1所示。

圖6 Jaffe人臉表情庫中部分人臉圖像

表1 各種方法的表情識別率對比

由表1可看出文中提出的算法相比較傳統LBP特征有了明顯的提高，平均識別率高出了傳統LBP+SRC算法10個多百分點，高出SRC算法接近30個百分點；傳統LBP特征與本文算法都比只用稀疏表達分類器得到的識別效果好，也由此說明了LBP這種特征提取方法的確是有效果的，有些表情比較容易識別如高興厭惡等，有些表情如恐懼難以識別，可見每一類表情的識別率都不相同。通過分別對Jaffe人臉數據庫實驗可以看出，通過MB-LBP提取局部區域的特征值，再利用本文的C-LBP算法對圖像進行特征提取，并通過稀疏表達分類器學習分類識別，比傳統LBP算法效果提高了10%以上的識別率（達到了80%以上），并且有效的減少了特征值維數（信息冗余），處理效率也得到了提高。

4 結束語

文中基于傳統LBP算子的編碼直方圖序列維數高和局部判別能力不強的缺點，對LBP特征算子進行了改進，首先采用MB-LBP算法對其優化改進，再利用C-LBP算法對其進行特征提取獲取特征值，利用稀疏表達的分類器對提取的表情特征進行人臉表情識別，最后進行了相關的仿真實驗。實驗結果表明，改進LBP+SRC算法組合的識別率高于傳統LBP+SRC算法組合以及單獨的SRC算法。但是此實驗結果只是基于Jaffe數據庫中的7種表情識別，我們知道人臉表情是復雜變化的，單一的在這個表情庫中得出的結論還是不夠的，我們不能簡單就把人臉表情劃為文中的這七類，再加上遮擋，光照，角度等問題，對表情的識別會有很大的影響，以后還需要對人臉復雜的變化的表情研究，以求實現能應對復雜變化的表情識別。

［1］CHEN Juan-juan，ZHAO Zheng，SUN Han，et al.Facial expression recognition based on PCA reconstruction［C］//2010 5th Inter-national Conference on Computer Science and Education（ICCSE），2010:195-198．

［2］David M Blei，Andrew Y Ng，Michael I jordan.Latent Dirichletallocation［J］.Journal of Machine Learning Research，2009（3）:993-1022.

［3］周書仁，梁昔明，楊秋芬，等.基于PSO與ICA的表情特征提取［J］.計算機應用，2007（11）：224-245.

［4］LIXiao-li，RUAN Qiu-qi，RUAN Cheng-xiong.Facial expression recognition with local Gaborfilters［C］//2010 IEEE 10thInter-national Conference on Signal Processing（ICSP2010），2010:334-339.

［5］GUO Zhen-hua，Zhang L，Zhang D.A completed modeling of localbinary pattern operator for texture classification［J］.IEEE Transactionson Image Processing，2010，19（6）：1657-1663.

［6］Chaiyasit Tanchotsrinon，Suphakant phimoltares，saranya Maneeroj.Facial expression recognition using graph-based features and artificial neural networks［C］//2011 IEEE International Conference on Imaging Systems and Techniques（IST），2011:331-334.

［7］Erdos L，Ramirez J，Schlein B，et al.Bulk universality for wigner hermitian matrices with subexponential decay［J］. Mathematical Research Letters，2010，17（4）:667-674.

［8］DonohoDL.Compressedsensing［J］.IEEE Transactions on Information Theory，2006，52（4）:1289-1306.

［9］Emmanuel Candes，Justin Romberg.L1-magic:Recovery of sparse signals via convex programming［R］//Caltech，2005.

［10］Tony Cai T，Lie Wang.Orthogonal matching pursuit for sparse signal recovery with noise［J］.IEEE Transactions on Information Theory，2011，57（7）:4680-4688.

［11］Osborne M R，Turlach B A.A homotopy algorithm for the quantile regression lasso and related piecewise linear problems［C］//JounalofComputionaland GraphicalStatistics，2010.

［12］劉亞峰，劉昱，段繼忠，等.基于DSP的OMP算法實現及音頻信號處理［J］.電聲技術，2012（2）：37-39.

［13］Xu Y，David Zhang，Jian Yang，et al.A two-phase test sample sparse representation method for use with face recognition［C］//IEEE Transactions on Circuits and Systems for Video Technology，2011:1255-1262.

［14］Lyons M，Akamatsu S.Coding facial expressionswith Gabor Wavelets［C］//Proceedings of the Third IEEE International Conference on Automatic Face and Gesture recognition，2014:200-205.

Facial expression recognition based on improved LBP operator and sparse representation

ZHAO Dong-jie
（School of Computer Science and Engineering，Jiangsu University of Science and Technology，Zhenjiang 212003，China）

In facialexpression recognition，the algorithm LBPwhich based on localbinary pattern has the following advantages，such as the accuration of characteristics extraction，fine and illumination invariant comparing to the traditional feature extraction algorithm，but it also has disadvantages such as high dimension histogram，poor discriminant abilitys，much redundant information and so on.The C-LBP operator algorithm that presented in the paper extracts the feature datamore efficiently by adding the central point to the algorithm for feature extraction.And using the algorithm made the classification and recognition of characteristics which using sparse expression classifier come true.The experimental results show that，compared with the traditional LBPalgorithm，the recognition rate of facialexpression recognition isgreatly improved.

LBP；C-LBP；feature extraction；sparse expression；classifier

TN0

A

1674－6236（2016）20-0174-04

2015-10-20 稿件編號：201510124

趙棟杰（1990—），男，江蘇丹陽人，碩士。研究方向：人臉識別。