一種自適應加權LDP的虛擬現實設備表情識別方法

葉 楊，孫會龍，劉 貞，2

(1.重慶房地產職業學院，重慶 400000; 2.重慶理工大學 低碳能源研究中心， 重慶 400054)

人臉表情識別是人機交互領域一個重要的研究方向，有著廣泛的應用前景。在虛擬現實表情捕捉設備的研發過程中，采用圖像捕捉的方式具有成本優勢，難點在于人臉表情識別算法。為進一步提高人臉表情識別的準確性，通常從分類識別和特征提取兩個方面著手進行改進。在分類識別方面，蘇志銘等[1]提出一種基于線段的相似度判決方法，通過比較預測序列與給定序列的相似性進行表情識別；唐浩等[2]提出一種改進的卷積神經網絡分類方法，較好地降低了表情識別中面部部分遮擋、傾斜等因素對識別率的影響。在特征提取的研究方面， 李雅倩等[3]提出了一種融合全局與局部多樣性的特征提取算法，利用全局特征PCA與局部特征鄰域保持嵌入(NPE)算法的互補性，有效提高了表情識別準確率。

在對人臉表情識別系統的研究上，局部二值模式LBP由于原理清晰、計算簡單、特征描述能力強等特點，被廣泛用于特征提取。為更好地利用LBP算法獲得更高的識別準確率，學者們提出了許多改進算法。Liu等[4]提出一種融合二維Gabor濾波與局部二值模式的表情特征提取算法，在保證識別準確性的同時提高了系統的實時性；Ross等[5]提出一種改進的梯度局部三值模式，有效提高了表情識別系統在復雜環境下的魯棒性；Jabid等[6]提出了局部方向模式LDP，通過引入Kirsch算子較好地解決了光照變化及隨機噪聲對目標圖像的影響。

本文針對基于LDP特征的面部表情識別方法特征提取效率不高、針對性不強的問題，提出了一種融合方向梯度特征的自適應加權LDP表情識別方法。該方法首先利用HOG梯度幅值圖對子圖像進行自適應加權，得出加權的LDP特征；之后與HOG方向梯度直方圖特征進行融合，并將其送入SVM分類器中進行分類識別。為驗證本文算法性能，在Extend Cohn-Kanade (CK+)表情庫進行對比實驗。實驗結果表明：本文提出的算法能有效提高人臉表情的識別準確率。

1 LDP特征提取算法

局部方向模式LDP算法是Jabid等于2010年首次提出的一種用于表情識別的人臉特征提取算法，是局部二值模式(local binary pattern,LBP)[7]的一種改進算法。與LBP算法相比，LDP通過引入Kirsch掩膜進行編碼提取紋理特征，可以較好地解決光照變化及隨機噪聲對目標圖像的影響。算法的具體實現流程如下：

1) 引入Kirsch算子[8]的8方向模板。如圖1所示，計算目標圖像在各個方向上的邊緣響應。

圖1 Kirsch八方向模板

2) 將中心點X分別與8個方向的Kirsch算子進行卷積運算，得出mi(i=1,2,3,…,7)位置的邊緣響應。邊緣響應值反映該方向上的信息量，因此將這8個響應值的絕對值按照數值大小進行排序，取前k個數值較大的響應值予以保留，置1；其余8-k個響應值則舍去，置0。最后，以m0位置的值作為最低位，逆時針編碼，則可得出中心像素的LDP值。對中心像素進行LDP編碼的原理示意圖如圖2所示。

圖2 LDP編碼原理圖(k=3)

值得注意的是：若將整幅人臉作為目標圖像進行LDP特征提取，會得到1個56維的特征向量，信息量不夠充足。為了得到信息豐富的人臉表情特征，Jabid在原文中首先將原圖平均分割為7×6個子圖像分別進行LDP特征提取，最后再聯合起來作為整幅圖像的LDP特征。該方法較好地解決了信息量不足的情況，但忽略了子圖像對識別率貢獻的差別。為此，本文首先根據表情圖像的HOG邊緣幅值圖自適應確定每個子圖像的權值，通過加權聯合得到LDP特征，并融合HOG方向梯度作為表情識別的特征向量。

2 融合方向梯度特征的自適應加權LDP表情識別方法

針對LDP算子提取表情特征時提取效率不高、針對性不強的不足，提出了一種融合方向梯度特征的自適應加權LDP表情識別方法。HOG算法是一種針對圖像差分信息的描述子，對光照變化、旋轉等具有良好的魯棒性。Deniz等[9]在2011年首次將HOG算法用于提取人臉特征，并取得了不錯的識別效果。LDP特征是用于描述圖像紋理信息的算子，而HOG特征是用于描述邊緣信息的算子。利用兩者的互補性，提出了一種融合HOG方向梯度與自適應加權LDP特征的表情識別方法。

2.1 LDP特征自適應加權

LDP特征一般以平均分塊的方式聯合獲取，忽略了不同圖像塊之間對識別率貢獻度的差別[10]。一般來說，邊緣豐富的區域信息量較大，對于最終的表情識別貢獻度也更大，而HOG幅值圖能較好地描述圖像的邊緣信息[11]。因此，本文通過計算原圖梯度幅值的信息熵[12]來自適應地確認LDP分塊權值。HOG特征的核心算法是計算梯度值I(x,y)及梯度方向θ(x,y)。對于輸入圖像I來說：

(1)

θ(x,y)=arctan(Gy(x,y)/Gx(x,y))

(2)

其中：

Gx(x,y)=I(x+1,y)-I(x-1,y)

(3)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(4)

G(x,y)表示點梯度幅值和方向，Gx(x,y)、Gy(x,y)分別表示像素點(x,y)的水平、垂直方向梯度。

對目標圖像進行HOG特征提取時，首先采用細胞元(cell)分別計算，再以4個cell為1個窗口(block)進行全圖滑動統計提取[13]。經HOG算子提取后可得到原圖的直方圖特征V及梯度幅值圖。其中，HOG直方圖V的橫坐標為方向區間，縱坐標為相應的梯度幅值累加值。

將幅值響應圖按照LDP特征提取的方式分為7×6塊，計算各子圖像的信息熵Ei:

(5)

其中：n表示像素級，為256；pi(k)為像素值為k的點出現的概率。信息熵的大小反映了子圖像包含信息量的多少，以此為依據定義權重wi：

(6)

下面介紹原圖各子圖像的LDP特征向量求取方法。目標像素的LDP編碼可由式(7)表示：

其中

(7)

其中：mi、mk代表鄰接像素和中心像素灰度值；S(x)為符號函數。

直方圖向量中每個元素的值為

HLDPj=∑x,yf(LDPk(x,y),Cj)

其中

(8)

DLDP={w1HLDP1,w2HLDP2,…,w42HLDP42}T

(9)

2.2 融合HOG與加權LDP的特征提取

僅采用單一的紋理特征進行后續的表情分類識別往往不能取得更好的識別準確率。本文利用LDP紋理特征與HOG邊緣梯度特征的互補性，提出了一種基于特征融合的表情識別算法。

通過將自適應加權的LDP紋理特征DLDP與原圖的HOG特征向量V進行聯合，即可得到本文提出的融合特征F：

F={DLDP,V}T

(10)

融合特征F包含了紋理信息、方向梯度信息兩個不同維度的特征描述，特征信息更加豐富全面。圖3為融合方向梯度的加權LDP特征提取方法原理。

圖3 融合方向梯度的加權LDP特征提取方法原理

HOG特征以滑動窗口的形式進行提取，強調了被LDP算法弱化的像素方位信息，并增加了方向梯度這一衡量尺度。同時，梯度幅值圖為子圖像的自適應加權提供了依據。利用HOG與LDP特征相互補充的特點，將其聯合起來共同作為表情圖像的特征有利于增大不同樣本間的相似距離，得到更好的識別結果。

3 實驗與分析

為驗證提出算法的可行性與有效性，本文在拓展的Cohn-Kanade(CK+)表情庫上進行實驗。CK+庫發布于2010年，是目前主流的人臉表情研究庫之一。該數據庫包含123個對象，有中性、憤怒、蔑視、厭惡、恐懼、高興、悲傷、驚訝7種基本表情。圖4為CK+數據庫的部分樣本示例。

本文選取CK+數據庫的圖像序列中各類非中性表情50張，共300張作為訓練樣本，表情分類算法采用支持向量機SVM算法。為進一步驗證本文算法的性能，分別采用本文提出算法、文獻[6]LDP算法、文獻[14]LDP-PCA算法、文獻[15]Multicore-CNN算法構建人臉表情識別系統進行實驗比較，結果如表1所示。

圖4 CK+人臉表情庫部分樣本示例

參數本文算法正確識別數/次識別率/%LDP正確識別數/次識別率/%?PCA-LDP正確識別數/次識別率/%Multicore-CNN正確識別數/次識別率/%高興50100489649984794悲傷4692428447944590驚訝4998479445904692恐懼4692408042844692厭惡4284387643864794憤怒4896459048964692平均識別率/%93.386.791.392.3

由實驗結果可知：本文算法對厭惡表情的識別率明顯降低，原LDP與和PCA-LDP算法對兩種表情的識別率不高，而MultiCore-CNN算法對幾種表情的識別率較為平穩。本文算法基于特征識別，而恐懼和厭惡在特征紋理中較為相似，容易導致誤識別。相較于使用紋理特征的算法，卷積神經網絡算法在識別過程中性能較為穩定。

采用本文算法的面部表情平均識別率最高，為93.3%，較LDP算法識別率提高了6.6%；較改進PCA-LDP算法提高了2.0%，與使用改進后的神經網絡算法相比提高了1.0%。經分析可知：本文提出的算法根據各子圖像信息量的不同自適應加權，得到的加權LDP特征更加強調信息豐富的區域，提高了特征的有效性。同時，本文算法融合了面部圖像的HOG方向梯度特征，從另一角度對表情特征進行補充完善。最終實驗證明：本文提出的融合HOG方向梯度的自適應加權LDP算法可以有效提高面部表情識別的準確率。

表2是4種算法運行速度對比結果，原LDP算法每1s可識別35幀圖像，本文算法因融合HOG方向梯度導致算法遜于原算法；而MultiCore-CNN算法雖然識別率穩定，但是卷積神經網絡的特性導致了速率低于其他3種算法。4種算法運行速度對比結果如表2所示。

表2 四種算法識別速度對比

4 結束語

圖像捕捉識別是虛擬現實設備表情捕捉識別方式之一。本文針對LDP的表情特征提取方法識別率偏低的問題進行了分析，發現各子圖像的特征向量直接聯合構成的LDP特征針對性不強，效率較低；單一采用LDP這一維度對特征進行描述，特征信息不夠豐富全面。針對這兩點不足，本文提出融合方向梯度的自適應加權LDP人臉表情識別方法。首先，對人臉圖像進行HOG方向梯度特征提取，同時得到其梯度幅值圖；之后，將梯度幅值圖按照LDP分塊方式進行子圖像劃分，并根據各梯度幅值子圖像信息熵計算LDP子圖像權重，得出自適應加權的LDP特征向量；最后，將原圖像的方向梯度特征與自適應加權LDP特征進行融合，一起作為人臉表情的特征向量。通過在CK+庫上的對比實驗，證明本文算法在人臉表情識別上有著較高的識別率和識別效率。