時間尺度自適應(yīng)人臉表情識別

邢延超 張傳強 孫恩情

摘 要：當(dāng)前隱馬爾科夫模型表情識別中一般采用固定狀態(tài)數(shù)及間隔，與真實表情狀態(tài)之間往往是失配的，無法適應(yīng)不同時間尺度上的表情。文章分析面部運動自動確定表情的起止幀，自動提取有代表性幀作為HMM的狀態(tài)，使不同節(jié)奏的表情狀態(tài)都能準(zhǔn)確定位到對應(yīng)的圖像幀，提高了模型的有效性。試驗結(jié)果表明，該方法獲得的HMM模型狀態(tài)更符合主觀認(rèn)識，識別速度有所提高，識別準(zhǔn)確性也有明顯提高。

關(guān)鍵詞：表情識別；表情邊界檢測；表情狀態(tài)幀；隱馬爾可夫模型

1 概述

人臉表情識別方法可以分為兩大類：一是靜態(tài)表情識別方法，一是基于動態(tài)視頻序列的表情識別。兩種識別方法都必須經(jīng)過三個過程，即人臉檢測，特征提取，表情識別。人臉檢測技術(shù)已基本成熟，如基于哈爾特征檢測[1]的方法。隱形馬爾科夫（HMM）[2]因具有時空域動態(tài)性被廣泛認(rèn)可。用HMM識別要確定狀態(tài)數(shù)，并將圖像序列與狀態(tài)數(shù)對應(yīng)。傳統(tǒng)方法采取平均方式，輸入視頻按時間順序均分成N個序列，按時間序列與狀態(tài)對應(yīng)。由于表情時間上尺度差異明顯，因而不能體現(xiàn)出表情階段的不同特征。文章根據(jù)面部運動能量變化確定表情起止幀，即表情變化區(qū)間。再通過變化規(guī)律統(tǒng)計分析確定表情對應(yīng)的不同狀態(tài)，建立更加符合真實表情的HMM模型。

2 系統(tǒng)設(shè)計

首先要確定每種表情對應(yīng)的狀態(tài)數(shù)；然后確定每種狀態(tài)對應(yīng)于視頻序列的哪一幀或哪幾幀圖像，即圖像序列中狀態(tài)點的確定；三是選擇什么樣的屬性作為狀態(tài)的特征向量。另外，還要確定每個表情開始和結(jié)束時間。圍繞這幾個問題，整個識別系統(tǒng)設(shè)計如下。首先，采用自適應(yīng)布斯特算法實現(xiàn)人臉檢測。接著利用Haar濾波器確定眼睛位置，并用特征投影法確定眉毛和嘴巴區(qū)域，再利用角點檢測方法確定最重要特征點。這些特征點能反映表情變化強度，又易于跟蹤。特征點運動情況反映表情變化程度，分析特征點運動能量變化曲線，可確定表情狀態(tài)數(shù)、每表情起止幀及每表情狀態(tài)對應(yīng)圖像幀。最后對每個表情狀態(tài)提取幾何特征進行HMM模型的訓(xùn)練與識別。

3 運動能量曲線

檢測出眼睛中心點的位置坐標(biāo)，進行圖像抖動對光流矢量的誤差矯正。確定臉部表情變化關(guān)鍵點，得到坐標(biāo)變化，計算出運動能量變化，將所有特征點的運動能量做加權(quán)平均，得到運動能量曲線。通過分析該曲線，就可以定位表情狀態(tài)及其對應(yīng)的圖像幀，如圖1所示。

從圖1中可以看出表情變化趨勢，有的在前半階段發(fā)生明顯改變，足夠判斷表情類別；有的則在后半段發(fā)生明顯變化；大多數(shù)則發(fā)生在中間。

4 狀態(tài)數(shù)及狀態(tài)圖像幀的提取

接下來再分別對眉毛和嘴巴附近的特征角點，分別作能量圖，和圖1類似，以觀察眉毛及嘴巴附近特征角點變化情況。通過分析角點能量圖可得知：表情從中性逐漸發(fā)生變化時，最先開始的人臉部位是嘴巴附近，其次眉毛等部位緊隨其后開始發(fā)生形變，直至表情達到最飽滿時刻。根據(jù)分析將表情變化過程分為五個階段：中性表情、嘴巴變化、整體變化、眉毛變化、表情最大化。通過對角點能量曲線的分析，提取曲線峰、谷對應(yīng)的位置，即可確定HMM模型的五個表情狀態(tài)對應(yīng)的圖像幀。以高興表情為例，視頻總共28幀，其中5個狀態(tài)幀分別是2、6、8、10、20。

5 模型訓(xùn)練與表情識別

共選用5個參數(shù)：D1～D5是雙眼、嘴角之間的距離，此外還有左、下嘴角角度，以及嘴巴寬度高比。過程如下：（1）樣本歸一化，得特征向量Oi= ，1？燮i？燮5。（2）初始化HMM參數(shù)？姿，求Oi均值uj和方差矩陣？撞j。（3）用前向后向算法得到模型概率P（O|？姿）。（4）重估HMM參數(shù)，及新模型下的概率P（O|？姿'）。P（O| ）收斂時停止。（5）將新測試序列輸入系統(tǒng)，求出每種模型的概率，概率最大對應(yīng)模型對應(yīng)識別出的人臉表情。

6 實驗結(jié)果

采用USTC-NVIE數(shù)據(jù)庫，其自發(fā)表情是通過視頻誘發(fā)的方式采集的，更加接近自然表情，數(shù)據(jù)庫中含有佩戴眼鏡和無眼鏡兩種，這里選擇不佩戴眼鏡的視頻作為訓(xùn)練樣本和測試樣本。本實驗中一共采用了42個視頻作為訓(xùn)練樣本。文章方法比傳統(tǒng)HMM方法對驚奇、悲傷、恐懼、厭惡、憤怒、高興的識別準(zhǔn)確率分別提高了13.2%、6.67%、21%、8.7%、6.67%和9.43%。

參考文獻

[1]D. H. Kim， S. U. Jung and M. J. Chung，"Extension of cascaded simple feature based face detection to facial expression recognition，"Pattern Recognition Letters，vol.29，pp. 1621-1631，August 2008.

[2]Otsuka T，Ohya J. Recognizing multiple persons' facial expressions using HMM based on automatic extraction of significant frames from image sequences [C] // Proc. Int. Conf. on Image Processing （ICIP-97），p546-549， Sabta BarbaramCA，USA，1997：26-29.

[3]張發(fā)光，趙暉.基于擴展C型HMM人臉表情識別[J].計算機應(yīng)用與軟件，2011，4：60-62.