雙通道決策信息融合下的微表情識(shí)別

戎如意，薛珮蕓，白 靜，賈海蓉，謝婭利

(太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 太原 030024)

表情是一種人類(lèi)社會(huì)中非語(yǔ)言式的交流方式，它能夠在人的內(nèi)心狀態(tài)發(fā)生變化時(shí)，直接反應(yīng)出人類(lèi)的情感。根據(jù)持續(xù)時(shí)間的長(zhǎng)短和強(qiáng)度的高低可以將表情分為宏表情和微表情，宏表情是一種面部動(dòng)作幅度大且沒(méi)有經(jīng)過(guò)刻意掩藏和抑制的面部表情；而微表情是一種區(qū)別于宏表情的特殊面部表情，它具有持續(xù)時(shí)間短、動(dòng)作幅度小的特點(diǎn)，通常在人們想要抑制他們的情感時(shí)產(chǎn)生[1]。相比于宏表情，微表情的識(shí)別難度更大。由于微表情可以作為一種判斷人們內(nèi)心真實(shí)情感的重要依據(jù)，微表情識(shí)別在很多領(lǐng)域都有著非常重要的應(yīng)用[2]。微表情能夠有效地幫助人們識(shí)別謊言，同時(shí)也可以為公共安全防范提供必要的線索，這對(duì)維護(hù)社會(huì)公共安全具有重要價(jià)值和現(xiàn)實(shí)意義。

目前現(xiàn)有的基于機(jī)器學(xué)習(xí)的微表情特征提取的算法主要有文獻(xiàn)[3]提出的主方向平均光流特征(Main Directional Mean Optical flow feature，MDMO)。首先將面部區(qū)域基于動(dòng)作單元?jiǎng)澐譃?6個(gè)感興趣區(qū)域，然后在每個(gè)區(qū)域內(nèi)提取不同幀之間的光流運(yùn)動(dòng)信息。該方法簡(jiǎn)單且有效，并且提取的特征維數(shù)較少。盡管主方向平均光流特征的操作簡(jiǎn)單，但它很容易失去特征空間中內(nèi)在的流形結(jié)構(gòu)。文獻(xiàn)[4]提出通過(guò)Gabor特征描述每一幀的面部圖像，然后利用Gentle SVM對(duì)微表情進(jìn)行分類(lèi)，這種方法可以自動(dòng)完成對(duì)圖片序列的分割，并且付出較低的計(jì)算代價(jià)，但是在進(jìn)行幀分類(lèi)時(shí)，容易將幀分錯(cuò)，從而導(dǎo)致模型錯(cuò)判。文獻(xiàn)[5]提出一種以光流場(chǎng)來(lái)描述微表情運(yùn)動(dòng)的特征提取方法(Facial Dynamics Map，F(xiàn)DM)。該方法把抽取出來(lái)的光流場(chǎng)分割成小的時(shí)空立方體，然后抽取每個(gè)立方體的主方向。該方法能夠很好地反應(yīng)微表情的運(yùn)動(dòng)模式，但是稠密光流場(chǎng)的計(jì)算時(shí)間相對(duì)較長(zhǎng)，不適合進(jìn)行大規(guī)模的微表情識(shí)別。文獻(xiàn)[6]提出一種基于時(shí)空梯度特征的識(shí)別方法。該方法將微表情圖片劃分為12個(gè)區(qū)域，計(jì)算區(qū)域內(nèi)每一幀圖片中所有像素在3個(gè)方向(X，Y，T)上的梯度，并對(duì)其量化，從而將構(gòu)建的梯度直方圖作為微表情的特征。該方法的特征簡(jiǎn)單，同時(shí)也存在局限性。文獻(xiàn)[7]提出了一種新的動(dòng)態(tài)紋理識(shí)別方法(Local Binary Patterns on Three Orthogonal Planes，LBP-TOP)，并對(duì)其進(jìn)行了簡(jiǎn)化和擴(kuò)展。該方法將特征提取從二維空間(X-Y平面)擴(kuò)展到了X-Y、X-T和Y-T三維空間平面上，而且此方法計(jì)算簡(jiǎn)單、算法復(fù)雜度較低。

微表情是一種復(fù)雜的心理行為，目前微表情識(shí)別方面的研究主要集中在單一模態(tài)，由于單一模態(tài)自身的局限性，僅使用單一模態(tài)很難提高其識(shí)別率。近年來(lái)生理信號(hào)已經(jīng)成為隱藏情緒識(shí)別研究的熱門(mén)對(duì)象[8-9]，面部顏色作為一種生理信號(hào)，會(huì)伴隨著隱藏情緒的變化而發(fā)生改變。通過(guò)上述分析，筆者提出一種面部顏色特征提取算法，并將其與性能較好的LBP-TOP動(dòng)態(tài)紋理識(shí)別算法共同構(gòu)建微表情雙模態(tài)情感識(shí)別模型。該模型首先利用SVM分類(lèi)器分別訓(xùn)練微表情紋理和面部顏色兩種不同模態(tài)的特征，然后將兩種模態(tài)訓(xùn)練得到的分類(lèi)信息進(jìn)行決策融合，最后得到微表情情緒分類(lèi)結(jié)果。

1 微表情紋理特征提取

動(dòng)態(tài)紋理是紋理向時(shí)域的擴(kuò)展。為了對(duì)動(dòng)態(tài)文本進(jìn)行描述和識(shí)別，提出了一種動(dòng)態(tài)紋理識(shí)別方法(LBP-TOP)，它是LBP從二維空間到三維空間的拓展。LBP-TOP在LBP(X-Y平面)的基礎(chǔ)上添加了X-T、Y-T平面的紋理特征，其中X-Y平面提取圖片的空間信息，X-T和Y-T平面提取圖片幀序列的運(yùn)動(dòng)信息。

LBP-TOP的提取過(guò)程如圖1所示[10]。首先將圖片幀序列分成3×3的區(qū)域塊，然后選取每一個(gè)分塊幀序列的中間幀的像素點(diǎn)作為中心，分別計(jì)算X-Y、X-T和Y-T平面上的LBP值，并用直方圖表示。筆者在提取LBP-TOP特征的過(guò)程中采用uniform code編碼，每個(gè)分塊產(chǎn)生59×3的數(shù)組，最后每個(gè)樣本生成3×3×59×3=1593維數(shù)的特征。

2 微表情面部顏色特征提取算法的提出

人們皮膚的外觀會(huì)隨著情緒的變化而發(fā)生變化，這是因?yàn)槊娌亢胸S富的血管分布，這些血管中的血流以及血液成分的變化會(huì)使面部產(chǎn)生可見(jiàn)的顏色變化。面孔顏色與血紅蛋白的濃度有關(guān)，而血流以及血液成分的變化會(huì)使血紅蛋白濃度發(fā)生變化，從而引起膚色的變化[11]。由于膚色的變化是細(xì)微的，因此文中在提取面部膚色變化特征之前，先對(duì)圖片幀序列進(jìn)行了面部顏色放大，然后選取合適的兩幀圖片，計(jì)算其幀間色差作為面部特征。

筆者提出的面部顏色特征提取算法的主要思路是將圖片幀序列的第1幀圖片，即面部尚未因微表情情緒而產(chǎn)生顏色變化的圖片作為第1張目標(biāo)圖片。為避免動(dòng)作特征影響實(shí)驗(yàn)結(jié)果，并且突出面部顏色的變化，再選取1張圖片幀序列中顏色特征顯著且動(dòng)作特征不明顯的圖片作為第2張目標(biāo)圖片，然后對(duì)兩張目標(biāo)圖片的每個(gè)像素點(diǎn)進(jìn)行色差計(jì)算。

由于 CIEL、a、b顏色空間是一種基于生理特征、與光線及設(shè)備無(wú)關(guān)的顏色系統(tǒng)，在人膚色相關(guān)的研究中擁有較好的應(yīng)用，且更適合人的視覺(jué)感應(yīng)[12]，所以在進(jìn)行特征提取之前，先將選取的目標(biāo)圖片的R、G、B值轉(zhuǎn)換到CIEL、a、b顏色空間中。L、a、b顏色空間由3個(gè)要素組成：L分量代表像素的亮度，表示從純黑到純白，取值范圍是[0，100]；a和b代表顏色通道，取值范圍均為[-128，127]，a表示從紅色到綠色，b表示從黃色到藍(lán)色。

為了將目標(biāo)圖片的R、G、B值轉(zhuǎn)換到L、a、b值中，需要先將R、G、B值轉(zhuǎn)換成基色系統(tǒng)XYZ值，再?gòu)腦YZ值轉(zhuǎn)換成L、a、b值。其中，R、G、B值轉(zhuǎn)換成CIEXYZ值是線性轉(zhuǎn)換，其轉(zhuǎn)換公式如下：

(1)

再將獲取的CIEXYZ值轉(zhuǎn)換成L、a、b值，公式如下：

(2)

(3)

其中，X0，Y0，Z0參照白點(diǎn)的CIEXYZ三色刺激值。L、a、b色差用來(lái)表示兩種顏色之間的感知差別，其公式如下：

ΔE=[(L2-L1)2+(a2-a1)2+(b2-b1)2]1/2。

(4)

為避免亮度因素影響微表情面部顏色特征提取的結(jié)果，利用

ΔE′=[(a2-a1)2+(b2-b1)2]1/2

(5)

計(jì)算兩張輸入的面部圖像的每一個(gè)像素點(diǎn)之間的歐式距離來(lái)獲取顏色之間的感知差別，相比于計(jì)算視頻幀每幅圖像之間各個(gè)顏色通道的像素均值的變化，更能凸顯面部顏色發(fā)生變化的位置信息以及變化的程度大小，而且計(jì)算量相對(duì)較小。圖2為微表情面部顏色特征提取樣的圖。

3 微表情雙模態(tài)情感識(shí)別模型

筆者提出的微表情雙模態(tài)情感識(shí)別模型的總體結(jié)構(gòu)如圖3所示。一方面從微表情紋理特征入手，采用LBP-TOP算法進(jìn)行特征提取，然后通過(guò)SVM分類(lèi)器進(jìn)行情感識(shí)別；另一方面從微表情面部顏色特征入手，將計(jì)算的圖片幀間色差作為要提取的特征，對(duì)提取的特征進(jìn)行特征選擇后通過(guò)SVM分類(lèi)器進(jìn)行情感識(shí)別。最后將得到的紋理特征和顏色特征的分類(lèi)信息進(jìn)行D-S決策融合，從而得到最終的微表情識(shí)別結(jié)果。

由于微表情具有動(dòng)作強(qiáng)度低且面部顏色變化不明顯的特點(diǎn)，在進(jìn)行微表情紋理特征和面部顏色特征提取之前，先對(duì)經(jīng)過(guò)裁剪和配準(zhǔn)的人臉圖片幀序列分別進(jìn)行歐拉視頻動(dòng)作放大(Euler Video action Magnification，EVMa)和顏色放大(Euler Video color Magnification，EVMc)。歐拉視頻放大[13-14]主要是通過(guò)結(jié)合空間和時(shí)間的處理方式來(lái)放大視頻中的微小變化的，其具體流程如圖4所示。動(dòng)作放大是采用拉普拉斯金字塔對(duì)原始視頻進(jìn)行下采樣，接著利用巴特沃斯濾波器對(duì)金字塔的不同層進(jìn)行時(shí)域?yàn)V波，再利用放大因子對(duì)濾波后的信號(hào)進(jìn)行放大，最后將原始視頻和放大后的信號(hào)重構(gòu)，合成動(dòng)作放大后的視頻。顏色放大是采用高斯金字塔對(duì)原始視頻進(jìn)行下采樣，接著利用理想帶通濾波器對(duì)金字塔的不同層進(jìn)行時(shí)域?yàn)V波，再利用放大因子對(duì)濾波后的信號(hào)進(jìn)行放大，最后將原始視頻和放大后的信號(hào)重構(gòu)，合成顏色放大后的視頻。

經(jīng)過(guò)色差計(jì)算得到的面部顏色特征的維數(shù)相對(duì)較高，此時(shí)的特征集中存在較多的冗余特征。為了提高模型精確度，減少運(yùn)行時(shí)間，采用基于懲罰項(xiàng)的嵌入式特征選擇方法剔除不相關(guān)和冗余的特征。該方法為了緩解過(guò)擬合，引入L1、L2范數(shù)正則化，通過(guò)L1正則項(xiàng)來(lái)選擇特征，通過(guò)L2正則方法交叉檢驗(yàn)，其目標(biāo)函數(shù)如下所示：

(6)

筆者采用D-S證據(jù)理論進(jìn)行決策信息的融合。D-S證據(jù)理論是一種用來(lái)處理不確定性信息的數(shù)學(xué)方法，它能夠有效地處理存在的不完整性、不確定性和非精確性的問(wèn)題。在筆者給出的微表情雙模態(tài)情感識(shí)別模型中，它給予兩個(gè)單模態(tài)的分類(lèi)器(m1，m2)基本分配概率(Basic Probability Assignment，BPA)，然后通過(guò)mass函數(shù)將m1和m2合成新的證據(jù)體m，從而為融合結(jié)果提供對(duì)分類(lèi)類(lèi)別的決策支持，即

(7)

其中，Ai表示第i個(gè)類(lèi)別；m(A)表示證據(jù)對(duì)類(lèi)別A的基本支持度；1/(1-K)為歸一化因子，K為沖突因子，K∈[0，1]：

(8)

筆者提出的微表情雙模態(tài)情感識(shí)別模型的具體操作方法如下：

(1) 對(duì)待測(cè)的圖片幀序列進(jìn)行人臉裁剪和配準(zhǔn)，提取面部關(guān)鍵區(qū)域；

(2) 將預(yù)處理好的人臉圖片幀序列進(jìn)行歐拉視頻動(dòng)作放大(金字塔分解層數(shù)為6，頻率區(qū)間是[0.2，2.6]，放大倍數(shù)為8)，然后再經(jīng)時(shí)間插值模型[15](TIM為10)對(duì)圖片幀序列進(jìn)行抽取。對(duì)抽取的10幀圖片依次求每個(gè)子塊(5×5)的LBP-TOP特征，并將每個(gè)子塊提取的LBP-TOP特征進(jìn)行級(jí)聯(lián)，最后將級(jí)聯(lián)的LBP-TOP特征進(jìn)行串聯(lián)，得到最終的微表情紋理特征；

(3) 將預(yù)處理好的人臉圖片幀序列進(jìn)行歐拉視頻顏色放大(金字塔分解層數(shù)為4，頻率區(qū)間是[0，4]，放大倍數(shù)為15)，將顏色放大后的圖片利用式(1)～(3)進(jìn)行顏色空間的轉(zhuǎn)化，再根據(jù)式(5)進(jìn)行色差計(jì)算，鑒于獲取的特征維數(shù)較大，采用基于懲罰項(xiàng)的嵌入式特征選擇(式(6))(λ1=100，λ2=10，分類(lèi)方式選擇“ovr”，優(yōu)化算法選用“l(fā)iblinear”)得到最終的微表情面部顏色特征；

(4) 分別將提取到的微表情紋理特征和面部顏色特征輸入到SVM中，訓(xùn)練SVM分類(lèi)器；

(5) 根據(jù)D-S合成規(guī)則(式(7))將兩種不同模態(tài)的決策信息進(jìn)行合成，即當(dāng)決策信息不完全沖突(K≠1)時(shí)，利用證據(jù)合成法將兩個(gè)分類(lèi)器得到的基本分類(lèi)概率m1(Ai) 和m2(Ai) 合成一個(gè)新的信度函數(shù)m12(A)，該函數(shù)對(duì)微表情分類(lèi)類(lèi)別提供決策支持。

4 實(shí)驗(yàn)結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證文中提出方法的有效性，采用中科院心理所CASME Ⅱ[16]數(shù)據(jù)庫(kù)和芬蘭奧盧大學(xué)SMIC[17]數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)論證。CASME Ⅱ數(shù)據(jù)庫(kù)包含255個(gè)圖片幀序列，并將微表情分為7類(lèi)進(jìn)行標(biāo)注，分別是高興(happiness)、害怕(fear)、驚喜(surprise)、沮喪(sadness)、厭惡(disgust)、壓抑(repression)和其他(others)。鑒于CASME Ⅱ 數(shù)據(jù)集樣本數(shù)量小、分布不均勻的特點(diǎn)，將惡心(disgust)、厭惡(disgust)和害怕(fear)歸為消極(negative)情緒，將壓抑(repression)歸于其他(others)，對(duì)CASME Ⅱ數(shù)據(jù)庫(kù)進(jìn)行四分類(lèi)情緒識(shí)別。SMIC(HS)數(shù)據(jù)庫(kù)包含164個(gè)圖片幀序列，將微表情的情緒分為3類(lèi)進(jìn)行標(biāo)注，分別是積極(positive)、消極(negative)和驚喜(surprise)，對(duì)該數(shù)據(jù)集進(jìn)行三分類(lèi)情緒識(shí)別。

4.2 實(shí)驗(yàn)結(jié)果與分析

表1 單模態(tài)與雙模態(tài)特征識(shí)別結(jié)果對(duì)比

對(duì)CASME Ⅱ數(shù)據(jù)庫(kù)和SMIC(HS)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)測(cè)試，使用圖3網(wǎng)絡(luò)模型提取微表情特征，并對(duì)微表情序列進(jìn)行識(shí)別。為驗(yàn)證筆者提出方法的有效性，將微表情單模態(tài)情感識(shí)別方法和微表情雙模態(tài)情感識(shí)別方法的識(shí)別率進(jìn)行比較。由表1可知，雙模態(tài)的微表情情感識(shí)別率相比于單一模態(tài)的紋理信息和面部顏色信息的識(shí)別率均有提升，在CAMSE Ⅱ和SMIC數(shù)據(jù)庫(kù)上分別提升了約3.38%、16.47%和2.85%、15.95%。

為驗(yàn)證圖3網(wǎng)絡(luò)模型各個(gè)步驟的有效性，對(duì)其進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。在紋理特征提取之前添加歐拉視頻動(dòng)作放大模塊之后，在CAMSE Ⅱ和SMIC數(shù)據(jù)集中基于紋理特征的微表情識(shí)別準(zhǔn)確率分別提升了約1.86%和2.15%；在面部特征提取之前添加歐拉視頻顏色放大模塊之后，在CASME Ⅱ和SMIC數(shù)據(jù)集中基于面部顏色特征的微表情識(shí)別準(zhǔn)確率分別提升了約3.27%和2.37%；在進(jìn)行D-S決策融合之前，對(duì)提取的面部顏色特征進(jìn)行嵌入式特征選擇，可以使得微表情雙模態(tài)情感識(shí)別模型的準(zhǔn)確率在CASME Ⅱ和SMIC數(shù)據(jù)集上分別提升了約1.04%和0.29%。可以看出，歐拉視頻動(dòng)作放大和顏色放大可以有效地提升微表情紋理特征和面部顏色特征分類(lèi)的準(zhǔn)確率，且對(duì)面部顏色特征進(jìn)行特征選擇后，可以促進(jìn)D-S決策融合后微表情識(shí)別率的提升。

最后，為驗(yàn)證筆者提出方法的優(yōu)越性，將筆者提出的方法與目前已有的微表情識(shí)別方法在CASME Ⅱ和SMIC數(shù)據(jù)庫(kù)上進(jìn)行比較，結(jié)果如表3所示。從表中可以看出，筆者提出的微表情雙模態(tài)情感識(shí)別模型相比于目前常用的微表情識(shí)別模型，識(shí)別效果更好。

表2 消融實(shí)驗(yàn)結(jié)果對(duì)比

表3 筆者提出的方法與其他主流方法對(duì)比

5 結(jié)束語(yǔ)

筆者提出的融合微表情紋理特征和面部顏色特征的決策信息的雙模態(tài)情感識(shí)別模型，相比于單一模態(tài)的兩種識(shí)別方法在CASME Ⅱ和SMIC數(shù)據(jù)庫(kù)上均有一定的提升。此外，筆者提出的面部顏色特征提取算法屬于非接觸式特征提取方法，在實(shí)際操作中更具有便捷性，但基于面部顏色的微表情情感識(shí)別方法的準(zhǔn)確率相對(duì)較低。因此，在后續(xù)的工作中，需要進(jìn)一步研究如何提升微表情基于面部顏色的情感識(shí)別能力，從而提升微表情雙模態(tài)情感識(shí)別模型的準(zhǔn)確率。