基于小波分解和優選的ＶＬＢＰ特征的表情識別方法

摘 要:提出一種基于小波分解和優選的VLBP特征的表情識別方法。該方法首先通過小波分解將原始圖像分為幾個不同頻率的子圖像來增強圖像信息，然后用VLBP算子對不同頻率的子圖像運用不同的分塊大小提取特征，采用神經網絡貢獻分析對特征進行選擇，最后用SVM分類器進行識別。實驗表明，該方法比單純從原圖像中提取VLBP特征更加有效，識別率更高，并且VLBP特征的提取速度快，可用于實時的人臉表情識別。

關鍵詞:表情識別; 時空局部二值模式; 小波分解; 神經網絡; 支持向量機

中圖分類號:TP391.41文獻標志碼:A

文章編號:1001-3695(2009)09-3581-03

doi:10.3969/j.issn.1001-3695.2009.09.111

Expression recognition based on wavelet decomposition and selected VLBP feature

ZHAN Yong-zhao， LIU Juan

(School of Computer Science Telecommunication Engineering， Jiangsu University， Zhenjiang Jiangsu 212013， China)

Abstract:This paper proposed a new method of expression recognition based on wavelet decomposition and selected VLBP feature. This method enhanced original data by wavelet decomposition first， obtained several different frequency sub-images. Then extracted the features from these sub-images with different block size using VLBP operator. After that， selected features by contribution analysis algorithm of neural network. At last， recognized six expressions by support vector machine classifier. The experiments show that this method have higher recognition rate than pure VLBP feature extracted from original image. And tihs method can be used for real-time facial expression recognition because of its high speed.

Key words:expression recognition; volume local binary pattern(VLBP); wavelet decomposition; neural network(NN); support vector machine(SVM)

0 引言

人臉表情識別的研究分為基于靜態圖像的表情識別與基于圖像序列的表情識別。基于靜態圖像的人臉表情識別已經取得了很好的效果[1，2]，但靜態圖像很難精確揭示細微的表情變化，因此基于圖像序列的表情識別已成為目前研究的熱點[3]。

影響人臉表情識別效果最關鍵的技術之一是有效的特征提取。目前常用的基于表情圖像序列的特征提取法主要有光流模型[4]、特征點跟蹤法[5]、動畫參數提取法[6]。光流模型對光照變化敏感，提取的特征易產生噪聲;特征點跟蹤法需要特征點的標記，無法對未標記的表情圖像序列進行訓練和識別;動畫參數提取法涉及到諸多人臉動作單元的分析，一部分對動畫參數的分析不準確就直接影響識別效果。最近，Zhao Guo-ying等人[7]提出使用覆蓋分塊法對表情序列進行VLBP特征提取，并采用SVM進行訓練和識別，得到了較高的平均識別率。VLBP特征能較好地反映表情圖像序列中的人臉部位變化和紋理變化特征，同時對光照的依賴性并不十分明顯，是一種較有效的特征提取方法。然而，文獻[7]提取的特征較多，并未考慮VLBP特征的降維與對特征的有效選擇，導致特征提取較耗時，同時也限制了識別率的進一步提高。因此，本文提出基于小波分解和優選的VLBP特征提取方法，以期提高有效特征提取速度和整體表情識別率。

1 基于小波分解的圖像序列分塊VLBP特征提取

對一個長度為N(如N=10)的表情序列來說，設VLBP算子所取起始幀為該序列中的第a幀，幀間間隔為L，則所取的三幀分別為F0、F1、F2。假設將序列中的第c%幀作為起始幀，則a=N×c%，L=(N-a)/2，那么Fi=a+i×L(i=0，1，2)。之后對表情序列的特征提取都是基于F0、F1、F2這三幀進行的。

1.1 表情圖像的預處理

表情圖像的預處理包括人臉檢測及尺寸歸一化，其目的在于去掉人臉表情圖像中多余的背景信息以便于處理。本文采用AdaBoost算法[8]進行人臉檢測，采用線性插值法進行尺寸歸一化。當a=1，N=10時，表情序列經預處理后的圖像如圖1所示，各幀大小均為180×180。

1.2 表情圖像的小波分解

小波分解是待檢測圖像分別與一個低通濾波器、一個帶通濾波器進行卷積運算。2-D小波圖像分解不僅保留整體信息又能體現相關邊緣信息，故本文采用2-D小波分解對表情圖像進行分解[9]。

對原人臉表情圖像進行2-D小波分解過程如圖2(a)所示，(c)是(b)經過2-D小波分解得到的各頻率的子圖。由(c)看出，子圖LL保持了原圖像的低頻信息，子圖LH保持了原圖像的垂直邊緣細節，子圖HL保持了原圖像的水平邊緣細節，子圖HH保持了原圖像對角線的細節。表情特征主要體現為形狀變化和紋理變化特征，故可舍去子圖HH，而僅考慮在子圖LL、LH、HL上提取特征。

這樣人臉表情圖像幀Fi(i=0，1，2)經小波分解后取得的子圖分別記為FLLi、FLHi、FHLi，各子圖大小均為90×90。

1.3 小波分解圖像的VLBP特征提取

VLBP特征[7]與LBP特征一樣，都是對圖像的每個像素點進行提取的。若對小波分解后的圖像提取VLBP特征，特征維數會很高，將達到90×90×3。于是，提出了采用分塊VLBP特征提取法。

分塊VLBP特征是在FLLi、FLHi、FHLi(i=0，1，2)上提取。參數p為在子圖中從目標像素點的一個小領域中所選取點的個數。參數R為在子圖中選取點距離目標像素點的半徑。由于小波分解后的不同子圖包含原圖像不同頻率的信息，這些子圖刻畫原圖像信息的角度和精細程度是不同的，可對FLLi、FLHi、FHLi(i=0，1，2)按照不同的分塊大小進行分塊特征提取。為了解決圖片序列在拍攝過程中由于相機的微小抖動帶來的相應點偏移，而使用旋轉不變的VLBP特征[7]。

本文對圖像序列中的幀F0、F1、F2同一頻率子圖同一位置的小塊給同一個編號，存入向量τ={τ1，τ2，…，τn}中，n為分塊總個數。設各子圖為Fji(i=0，1，2;j=LL，LH，HL)，分塊的旋轉不變VLBP特征提取算法描述如下:

a)提取小塊τi中所有像素的旋轉不變VLBP特征。

對Fj0的τi中的像素點β來說，按參數P、R逆時針均勻選擇相應的像素點集，記為A。同理得到Fj1、Fj2的τi中與β坐標相同的像素點的像素點集γ、δ，分別記為B、C。

設g(M，i)為集合M中第i像素點的灰度值，其中M分別為A、B、C，i=0，1，…，P-1;g′(x)為像素點x的灰度值;wji=s(g(j，i)-g′(β))。其中:s(x)=1，x≥00，x<0;i=0，1，…，P-1;j=A，B，C)。將二進制位wjP-1，wjP-2，…，wj0由左到右組合成一個二進制數wj(j=A，B，C)，記s(g(δ)-g′(β))為w′βδ，則像素點β的旋轉不變VLBP特征描述為

VLBPri2L，P，R，β=min{(w′βδ and 23P+1)+ROL(ROR(wC，i)，2P+1)+ROL(ROR(wB，i)，P+1)+ROL(ROR(wA，i)，1)+1|i=0，1，…，P-1}(1)

其中:ROR(x，i)是將二進制數x按位向右旋轉i次，ROL(y，i)是將3P+2位二進制數y按位向左移i位。

由式(1)可知，像素點β的旋轉不變VLBP特征是一個3P+2位的二進制數VLBPri2L，P，R，β，記其每個二進制數位為vi，其中i=0，1，…，P-1。為計數方便，將其轉換為一個十進制數作為提取到的旋轉不變VLBP特征，即

VLBPriL，P，R，β=∑3P+1i=0vi2i

b)提取小塊τi的旋轉不變VLBP特征。

將τi中所有點的旋轉不變VLBP特征加起來作為τi的分塊旋轉不變VLBP特征，記為∑S-1i=0VLBPriL，P，R，I，其中S為每個小塊中點的個數。

為了確定各頻率的分塊大小，本文取90的公約數2，3，5，9為待選分塊大小。若三張子圖均采用2×2為分塊大小，其特征維數仍然很高，達到6 075，故舍棄此種分塊法。

對FLLi，FLHi，FHLi(i=0，1，2)，每個都分別采用3×3，5×5，9×9的分塊大小，共有27種情形。對這些情形分別進行識別實驗，識別方法如后所述，實驗結果如圖3所示。實驗表明，當分塊大小分別是:FLLi為3×3，FLHi為3×3，FHLi為9×9時，識別效果最好，特征維數為1 900，分塊后大大降低了特征維數。

2 基于神經網絡特征選擇的SVM表情識別

2.1 基于神經網絡的特征選擇

從生理學和心理學的角度上看，表情在人臉的體現主要集中在臉部的表情區域。因此，在整個臉部圖像序列的1 900個特征中，并不是每個特征對表情的分析都有貢獻，全部提取這些特征不僅會影響分析識別速度，而且過多的冗余特征還會對分類器的分類產生干擾，影響應有的識別率。為了去除那些冗余的無關特征，需要進行特征的有效選擇。本文采用神經網絡貢獻分析的方法進行臉部圖像序列的特征選擇[10]。

設ujk為從第k種表情特征對神經網絡中第j個隱層節點的貢獻，vj為從第j個隱層節點到神經網絡輸出的貢獻，m是輸入表情特征參數的個數，q是隱層節點的數目。因此，從第k種表情特征對相應表情的貢獻Ck可定義為

Ck=∑qj=1ujkvj;k=1，…，p;j=1，…，q

其中:ujk=wjkF(xTwj)cov(y，xk)/var(y)，vj=βj。wj=(wj0，…，wjp)T，(wj0 is a constant);

x為輸入的表情特征向量;wj是輸入到隱層的權重向量;wjk為從第k種輸入特征節點到隱層節點j的連接權重;βj為隱含層j到輸出的連接權重，y是輸出與目標函數之間的距離。F(#8226;)函數約束為某類先驗知識，如logistic函數。

某類表情的特征選擇算法可描述如下:

a)輸入m個表情特征參數，計算它們對總體輸出的貢獻Ck(k=1，…，m)。

b)計算∑mk-1Ck。如果∑mk-1Ck≥α，其中α為一個常數，其值由實驗確定，則去掉Ck中對總體輸出的貢獻最小的分量所對應的表情特征，將剩下的特征作為下一輪的輸入，m=m-1，轉步驟a);如果∑mk-1Ck<α，則結束。

不同的區域特征對不同的表情具有不同的貢獻值，故對不同的表情類型而言，選擇出來的特征不是完全一樣的。為了統一，本文將選擇到的不同表情(六種表情)特征合并起來作為選擇后的特征，即合并所選的特征分塊τ′i，該分塊集記為τ′。

采用特征的類內距離與類間距離的比值作為聚類性分析標準。選擇不同的α值可得到不同的類特征聚類性參數。實驗結果表明，當α=0.97時，聚類效果最好。故本文選取α=0.97。

在每個表情圖像序列中，對FLLi、FLHi、FHLi(i=0，1，2)在分塊大小分別為3×3、3×3、9×9時，經過選擇，共有特征1 059個，特征所在的分塊如圖4所示。由圖4可看出它們分別集中分布在眼睛、額頭、嘴巴周圍等區域。

2.2 基于SVM的表情模板訓練和測試識別

采用SVM進行表情圖像序列的訓練和測試識別。在特征選擇后，得到了對識別貢獻較大的分塊集τ′。在SVM分類器訓練及測試識別時，只需提取這些分塊的特征進行訓練和測試識別。采用相同的樣本集和測試集，通過多次的訓練和測試表明，設置SVM的核函數為線性核函數，懲罰因子C=10，nu=0.49時，分類器的分類性能最好。因此就以該參數設計SVM分類器實現表情圖像序列的訓練和測試識別。

如圖4所示，所有小塊中的像素點共有12 771個，即要提取像素點VLBP特征12 771次，與未分塊前像素點特征提取次數90×90×3相比，特征提取次數減少，提取速度相應加快。同時訓練和識別時，由于特征維數下降，訓練和識別速度也有很大的提高。

3 實驗結果分析

本文利用Cohn-Kanade人臉表情庫進行表情識別實驗。首先對每種表情選擇10個圖像序列進行模型訓練，再從表情庫中為每種表情選擇40個不同人的圖像序列進行識別測試，六種表情一共240個圖像序列，每個序列都有十幀。表1表現了六種表情的不同識別率，平均識別率約為91.25%。

為了驗證基于小波分解和優選VLBP的圖像序列表情識別方法的好處，對單純的VLBP特征提取并用相同的神經網絡貢獻分析和SVM進行識別實驗。訓練模板和測試樣本的選取同前。由圖5可看出，加入小波變換以后的總體識別率高于不加小波變換方法的識別率。

本文還進行了算法執行速度的測試，運行環境是Windows XP，Visual C++ 6.0平臺，計算機的配置為PD 925 CPU3.0 GHz，內存1 GB。從一個待測圖像序列特征提取到最后識別來統計耗時，本文方法平均耗時為0.087 s。這表明本文的方法處理速度快，適合于實時圖像序列的表情識別。

文獻[7]采用分塊重疊法和VLBP特征提取，SVM分類器與1-NN結合進行表情識別，得到了較高的識別率，但是該方法的特征維數很高。以每塊中特征維數為256時為例，共有9×8×256(18 432)維。特征維數過高，在提取特征的時候會消耗相當長的時間，并且識別的時候也會耗去大量時間。本文對小波分解圖像提取分塊VLBP特征，而后采用神經網絡貢獻分析法進行特征選擇，去掉了對識別無貢獻或貢獻較小的特征，使得最后特征維數大為下降，系統運行速度快，同時獲得了較好的識別效果。

4 結束語

本文提出了一種基于小波分解與優選VLBP的表情識別方法。首先用小波分解源圖像，取分解后LL、LH、HL子圖;然后采用分塊VLBP技術用不同分塊大小分別提取它們的紋理變化特征，同時采用神經網絡貢獻分析法除去那些對識別貢獻不大的分塊特征;最后采用SVM分類器進行表情圖像序列訓練和分類。實驗表明，該方法能夠有效地識別圖像序列的六種表情，且處理速度快，適合于實時圖像序列的表情識別。

致謝 Carnegie Mellon大學機器人研究實驗室(Robotics Institute)為本文提供了Cohn-Kanade人臉表情圖像數據庫用于測試。在此表示感謝。

參考文獻:

[1]SHINOHARA Y， OTSU N. Facial expression recognition using fisher weight maps[C]// Proc of IEEE International Conference on Automatic Face and Gesture Recognition. Los Alamitos: IEEE Computer Society， 2004.

[2]FENG X. Facial expression recognition based on local binary patterns and coarse-to-fine classification[C]// Proc of International Confe-rence on Computer and Information Technology. New York: IEEE Press， 2004.

[3]FASEL B， LUETTIN J. Automatic facial expression analysis: a survey [J]. Pattern Recognition， 2003，36(1): 259-275.

[4]ANDERSON K， McOWAN P W. A real-time automated system for the recognition of human facial expressions [J]. IEEE Trans on Systems， Man， and Cybernetics， part B: Cybernetics， 2006，36(1): 96-105.

[5]COLMENAREZ A， FREY B， HUANG T S. Detection and tracking of faces and facial features[C]// Proc of IEEE International Conference on Image Processing. 1999.

[6]ALEKSICP S， KATSAGGELOS A K. Automatic facial expression re-cognition using facial animation parameters and multistream HMMs [J]. IEEE Trans on Information Forensics and Security， 2006，1(1): 3-11.

[7]ZHAO Guo-ying， PIETIKINEN M. Dynamic texture recognition using local binary patterns with an application to facial expressions [J]. IEEE Trans on PatternAnalysis and Machine Intelligence， 2007，29(6):915-928.

[8]YANG G， HUANG T. Human face detection in a complex background[J]. Pattern Recognition， 1994，27(1): 53-63.

[9]KWAK K C， PEDRYCZ W. Face recognition using fuzzy integral and wavelet decomposition method[J]. IEEE Trans on Systems， Man， and Cybernetics， part B: Cybernetics， 2004，34(4): 1666-1675.

[10]高仁祥，張世英，劉豹.基于神經網絡的變量選擇方法[J].系統工程學報，1998， 13(2): 32-37.