基于深度卷積注意膠囊網(wǎng)絡(luò)的微表情識(shí)別方法

曾嵐蔚，許青林

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

0 引 言

目前微表情識(shí)別任務(wù)的主流方法是基于CNN的深度學(xué)習(xí)方法，通過自動(dòng)學(xué)習(xí)微表情特征以提高識(shí)別效率[1]。文獻(xiàn)[2]通過對(duì)微表情圖像序列使用EVM(Eulerian video magnification，EVM)方法，解決微表情面部運(yùn)動(dòng)的低振幅問題。文獻(xiàn)[3]提出基于微注意力與殘差網(wǎng)絡(luò)相結(jié)合的微表情識(shí)別網(wǎng)絡(luò)，使得網(wǎng)絡(luò)在特征提取階段更關(guān)注發(fā)生微表情運(yùn)動(dòng)的區(qū)域，解決微表情的局部性問題。然而，以上方法并沒有同時(shí)考慮到人臉的結(jié)構(gòu)特征和特征方向信息，忽視了AUs之間的相對(duì)關(guān)系。Sabour等[4]提出的膠囊網(wǎng)絡(luò)深入理解圖像整體與部分的關(guān)系，具有旋轉(zhuǎn)不變性，擅于探索特征之間的關(guān)系，可與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合使用，提高圖像空間信息的利用率。Lei等[5]在高光譜遙感圖像分類中結(jié)合膠囊網(wǎng)絡(luò)與深度卷積，Xu等[6]運(yùn)用注意機(jī)制和膠囊網(wǎng)絡(luò)捕捉在線評(píng)論的情感信息，均取得了較好的識(shí)別效果。

基于膠囊網(wǎng)絡(luò)的概念與技術(shù)應(yīng)用，本文提出一種微表情分類模型——深度卷積注意膠囊網(wǎng)絡(luò)。以膠囊網(wǎng)絡(luò)為基礎(chǔ)架構(gòu)，采用EVM方法突出細(xì)節(jié)特征，引入注意力機(jī)制和深度卷積層，使網(wǎng)絡(luò)篩選出有效信息；同時(shí)利用膠囊之間的動(dòng)態(tài)路由對(duì)表情特征進(jìn)行編碼，提高網(wǎng)絡(luò)空間信息表達(dá)能力和微表情識(shí)別能力；最后在數(shù)據(jù)集CASME II[7]和SAMM[8]進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，DCACNN的識(shí)別準(zhǔn)確率分別達(dá)到64.43%、59.91%，提高了2.29%和3.28%。

1 深度卷積注意膠囊網(wǎng)絡(luò)

針對(duì)卷積網(wǎng)絡(luò)不擅長捕捉面部AUs之間的相對(duì)關(guān)系和微表情呈現(xiàn)局部性的問題，通過借鑒注意力圖的生成方法和具備更強(qiáng)特征提取能力的膠囊網(wǎng)絡(luò)，設(shè)計(jì)了深度卷積注意膠囊網(wǎng)絡(luò)。如圖1所示，DCACNN主要由3部分組成：①對(duì)原始微表情圖像幀序列進(jìn)行預(yù)處理，包括人臉檢測(cè)與裁剪、運(yùn)動(dòng)幅度放大、幀序列歸一化；②結(jié)合AU感知注意力的特征提取網(wǎng)絡(luò)(AU-VGG)，提取人臉面部微表情的深層特征，得到具有AU感知變化的特征映射圖；③膠囊網(wǎng)絡(luò)層，結(jié)合膠囊的概念，將AU-VGG得到的特征圖通過膠囊之間的動(dòng)態(tài)路由進(jìn)行編碼，再由全連接層進(jìn)行解碼，最后使用壓縮函數(shù)獲得微表情的識(shí)別結(jié)果。

圖1 DCACNN模型框架

1.1 預(yù)處理

圖像預(yù)處理可以有效降低無關(guān)特征對(duì)微表情識(shí)別的影響，如圖2所示，預(yù)處理包括人臉檢測(cè)與裁剪、放大面部運(yùn)動(dòng)以及統(tǒng)一幀長。首先選取起始幀到頂點(diǎn)幀作為微表情有效表情段，對(duì)首幀使用人臉檢測(cè)器[9]進(jìn)行人臉檢測(cè)，確定人臉區(qū)域切割框架。其次，自動(dòng)校準(zhǔn)面部5個(gè)關(guān)鍵點(diǎn)，根據(jù)關(guān)鍵點(diǎn)將兩眼調(diào)整到同一水平線，進(jìn)一步裁剪對(duì)齊后的人臉，裁剪后的大小為224×224。然后使用EVM算法對(duì)微表情樣本進(jìn)行處理，放大微表情面部運(yùn)動(dòng)，使其更容易識(shí)別。最后，為了統(tǒng)一幀序列大小，滿足網(wǎng)絡(luò)輸入樣本幀數(shù)一致的要求，采用TIM方法將裁剪后的圖像進(jìn)行歸一化處理。

圖2 微表情預(yù)處理過程

1.2 結(jié)合AU感知注意力的特征提取網(wǎng)絡(luò)

為了提高網(wǎng)絡(luò)提取高維信息和篩選關(guān)鍵特征的能力，DCACNN使用AU-VGG提取人臉微表情特征，AU-VGG的網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)如圖3所示，特征提取網(wǎng)絡(luò)以傳統(tǒng)CNN為主要架構(gòu)，仿照Residual Net的跳躍層結(jié)構(gòu)，在卷積層上應(yīng)用了注意層。

圖3 AU-VGG網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)

如圖3所示，AU-VGG的卷積部分包括13個(gè)卷積層，5個(gè)池化層，對(duì)輸入圖像進(jìn)行下采樣，最終得到7×7的特征圖。將AU-VGG網(wǎng)絡(luò)描述為5個(gè)階段，包括卷積層和池化層。其中，階段一和階段二包括兩個(gè)卷積層，階段三、階段四和階段五包括3個(gè)卷積層，且每個(gè)階段之間應(yīng)用stride=1的2×2卷積核進(jìn)行池化操作。從圖3可知，人臉微表情圖像的特征信息從224×224×3調(diào)整到7×7×512，人臉特征融入到各通道上，提高了網(wǎng)絡(luò)提取信息的能力。

AU-VGG的注意力機(jī)制參照文獻(xiàn)[10]，引入跳躍結(jié)構(gòu)，將低層特征先與注意層相乘，再與卷積后的高層特征相加，使得低層特征和高層特征都能被表示。

對(duì)于單個(gè)AU區(qū)域，不同位置具有不同的重要性，AU中心點(diǎn)以及區(qū)域內(nèi)部分的改變對(duì)檢測(cè)結(jié)果具有較大影響，為此需要基于關(guān)鍵面部地標(biāo)構(gòu)建AU注意力圖。如圖4(a)所示的面部地標(biāo)關(guān)鍵點(diǎn)是獲得注意力圖的必要條件，AU中心不可直接使用檢測(cè)到的面部關(guān)鍵點(diǎn)，而是通過計(jì)算兩眼外眼角的距離，定義一個(gè)比例距離作為人臉像素移動(dòng)的參考。為了使移動(dòng)距離更適合于所有人臉圖像，以內(nèi)角距離作為縮放距離，有利于定位AU中心。由于人臉的對(duì)稱性，AU中心是成對(duì)的，因此每個(gè)AU定義一對(duì)點(diǎn)，再根據(jù)AU中心建立如圖4(b)所示的注意力圖。

圖4 注意力映射的生成

首先將人臉圖像的大小調(diào)整為100×100，以確保相同的比例在所有圖像中共享。然后，使用AU中心點(diǎn)附近屬于同一區(qū)域的7個(gè)像素為一個(gè)AU區(qū)域，因此每個(gè)區(qū)域的尺寸為15×15，越靠近AU中心的點(diǎn)其權(quán)重越大，關(guān)系式如下所示

Wa=1-0.07dm

(1)

式中：dm是某位置距離AU中心的曼哈頓距離。注意圖中權(quán)重值較高的區(qū)域是人臉微表情中的AU活躍區(qū)域，較高權(quán)重值可以增強(qiáng)AU的活性區(qū)域，生成注意力映射圖的算法見表1。

表1 注意力映射圖生成算法

如圖3所示，生成的注意力圖被嵌入到第三階段和第四階段中。具體操作是將第二階段的池化層生成的feature map與attention map相乘，然后與第三階段的卷積并列進(jìn)行，最后將第三階段的卷積結(jié)果逐個(gè)元素相加，作為這一階段的池化層的輸入。同樣，在第四階段中，注意力映射圖與卷積層共同執(zhí)行相同的操作，其生成的模型直接作用于微表情的活動(dòng)區(qū)域。

1.3 膠囊網(wǎng)絡(luò)層

膠囊網(wǎng)絡(luò)的具體參數(shù)和結(jié)構(gòu)如圖5所示，主要工作是利用動(dòng)態(tài)路由機(jī)制，將AU-VGG得到的feature map進(jìn)行編碼。通過AU-VGG后feature map大小為512×7×7，應(yīng)用stride=1的2×2卷積核后得到256×6×6的feature map，然后調(diào)整到具有32個(gè)卷積8維通道的PrimaryCaps層，在PrimaryCaps層和MECaps層之間執(zhí)行動(dòng)態(tài)路由。每個(gè)微表情類別對(duì)應(yīng)16維的膠囊單元，其中每個(gè)膠囊從上一層的所有膠囊接收輸入。最后，通過三層全連通層重構(gòu)圖像，分別是全連通ReLU層(size=512)、全連通ReLU層 (size=1024)和全連通的Sigmoid層(size=150 528)。

圖5 DCACNN中膠囊層的具體結(jié)構(gòu)和參數(shù)

PrimaryCaps層和MECaps層之間的動(dòng)態(tài)路由過程如圖6所示。當(dāng)前層膠囊的輸入來自前一層膠囊的輸出，底層膠囊單元通過權(quán)重矩陣與高層膠囊單元連接，計(jì)算和判斷膠囊層之間的相關(guān)性，動(dòng)態(tài)更新權(quán)重矩陣，重復(fù)這個(gè)過程直至收斂，并更新耦合系數(shù)。其中，耦合系數(shù)通過SoftMax計(jì)算得到，計(jì)算公式如下

(2)

式中：bij表示主膠囊層的第i個(gè)低級(jí)膠囊到第j個(gè)高級(jí)膠囊耦合的對(duì)數(shù)概率，其初始值設(shè)置為0，cij則通過動(dòng)態(tài)路由過程迭代細(xì)化。第j個(gè)膠囊的輸入向量xj計(jì)算公式如下

(3)

為了使輸出膠囊的模長表示概率，確保輸出向量長度位于[0,1]區(qū)間，方向保持不變，應(yīng)用“squash”函數(shù)進(jìn)行歸一化得到的輸出向量，膠囊最終輸出向量vj計(jì)算公式如下所示

(4)

圖6 膠囊之間的層級(jí)結(jié)構(gòu)和動(dòng)態(tài)路由

在MECaps層之后，有3個(gè)完全連接的層用于圖像重構(gòu)，這是解碼階段。需要盡量減少重建損失，以重建圖像更好地從MECaps層。在訓(xùn)練中使用真實(shí)標(biāo)簽作為重建目標(biāo)，通過計(jì)算FC Sigmoid層輸出像素與原始圖像像素之間的歐氏距離，構(gòu)造圖像重構(gòu)的損失函數(shù)。

網(wǎng)絡(luò)損失函數(shù)Lnet包含邊際損失Lmargin和重構(gòu)損失Lrec， 本文將重建損失的規(guī)模擴(kuò)大到0.0005，使其在訓(xùn)練過程中不會(huì)主導(dǎo)邊際損失。損失函數(shù)的計(jì)算公式如下所示

(5)

(6)

Lrec=(xrec-x)2

(7)

其中，k表示分類類別，Tk表示分類的指示函數(shù)；當(dāng)k存在時(shí)Tk為1，不存在則為0；m+表示正確分類的邊界，m-表示錯(cuò)誤分類的邊界；x表示原始圖像，xrec表示重構(gòu)后的圖像；λ表示調(diào)節(jié)圖像中微表情是否存在所導(dǎo)致的損失。實(shí)驗(yàn)中，m+和m-的值分別為0.9和0.1，λ設(shè)置為0.5以控制其效果。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

CASME II是一個(gè)200 fps攝像機(jī)記錄的255個(gè)微表情視頻序列，平均年齡22.03歲，共26名亞洲參與者，由中科院傅小蘭團(tuán)隊(duì)提供。SAMM是一個(gè)由200 fps的高分辨率攝像機(jī)記錄的159個(gè)微表情視頻序列，平均年齡33.24，共32名參與者。CASME II和SAMM數(shù)據(jù)集樣本均由AU編碼，并且提供起始幀、峰值幀和結(jié)束幀位置。

兩個(gè)數(shù)據(jù)集的微表情分類均為7類，但類別和樣本數(shù)量存在差異，因此實(shí)驗(yàn)對(duì)兩個(gè)數(shù)據(jù)集采取不同的樣本分類。CASME II數(shù)據(jù)集中，恐懼和悲傷的樣本量太少，不能滿足特征學(xué)習(xí)的訓(xùn)練要求，因此使用高興、厭惡、驚訝、壓抑和其它5個(gè)類別的微表情樣本進(jìn)行實(shí)驗(yàn)。SAMM數(shù)據(jù)集中，使用消極、積極和驚訝3個(gè)類別，其中消極類由憤怒、輕蔑和悲傷組成。微表情樣本具體歸類和數(shù)量見表2。

表2 CASME II和SAMM數(shù)據(jù)集樣本歸類參照

實(shí)驗(yàn)訓(xùn)練測(cè)試使用的是留一受試者交叉驗(yàn)證方法(leave-one-subject-out，LOSO)協(xié)議，該協(xié)議將受試者的數(shù)據(jù)作為實(shí)驗(yàn)的測(cè)試集，將其余受試者的數(shù)據(jù)作為訓(xùn)練集。其中CASME II數(shù)據(jù)集使用該協(xié)議進(jìn)行26次訓(xùn)練測(cè)試，取26組實(shí)驗(yàn)的識(shí)別率平均值和F1-Score作為最終評(píng)價(jià)結(jié)果。SAMM數(shù)據(jù)集進(jìn)行32次實(shí)驗(yàn)后，所得到的結(jié)果平均值為最終評(píng)價(jià)結(jié)果。

2.2 實(shí)驗(yàn)設(shè)置

在數(shù)據(jù)預(yù)處理時(shí)，EVM方法選用的放大頻段為[0.2 Hz，2.4 Hz]，合理的放大系數(shù)需要通過比較不同放大系數(shù)對(duì)結(jié)果的影響來設(shè)定，否則會(huì)放大噪聲，甚至導(dǎo)致面部表情失真，在CASME II數(shù)據(jù)集上測(cè)試的最終結(jié)果如圖7所示。由圖7可知，當(dāng)參數(shù)為8時(shí)獲得最佳結(jié)果。

圖7 不同放大系數(shù)的準(zhǔn)確值和F1-Score

本實(shí)驗(yàn)選取微表情有效表情段為輸入，并將輸入網(wǎng)絡(luò)所有圖像大小統(tǒng)一調(diào)整為224×224，采用放大倍數(shù)為8的圖像，統(tǒng)一幀長為50。實(shí)驗(yàn)訓(xùn)練過程中使用Adam優(yōu)化網(wǎng)絡(luò)學(xué)習(xí)算法，其中學(xué)習(xí)率設(shè)置為0.0001，β1=0.9，β2=0.999，ε=10-8(一個(gè)極小值，防止它除以零的實(shí)現(xiàn))。批大小和迭代次數(shù)分別設(shè)置為16和100。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證AU注意力機(jī)制和動(dòng)態(tài)路由的有效性，將分別對(duì)結(jié)合AU感知注意力的卷積網(wǎng)絡(luò)(AU-VGG)、具有豐富卷積層的膠囊網(wǎng)絡(luò)(deep convolutional capsule neural network，DCCNN)、DCACNN的實(shí)驗(yàn)效果進(jìn)行對(duì)比評(píng)估，以上方法在CASME II和SAMM數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果見表3。

表3 CASME II和SAMM數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果

由表3可知，DCACNN在CASME II和SAMM數(shù)據(jù)集上都取得了比AU-VGG和DCCNN更好的實(shí)驗(yàn)結(jié)果。膠囊之間的動(dòng)態(tài)路由使模型的準(zhǔn)確率分別提高4.79%、4.15%，引入注意力約束使模型的準(zhǔn)確率都提高1%。動(dòng)態(tài)路由機(jī)制能夠捕捉關(guān)鍵特征之間的變化，獲取更好的深層特征表示，因此DCACNN準(zhǔn)確率比AU-VGG高，驗(yàn)證動(dòng)態(tài)路由的有效性。具有AU注意機(jī)制的模型比不具有注意機(jī)制的模型更能捕捉到細(xì)微的肌肉運(yùn)動(dòng)，因此DCACNN準(zhǔn)確率比DCCNN高，驗(yàn)證AU感知注意力的有效性。通過人臉地標(biāo)生成AU注意力圖，有助于提升模型篩選出關(guān)鍵局部區(qū)域特征的能力，使模型獲取需要關(guān)注的活躍區(qū)域。因此，基于人臉地標(biāo)生成的AU注意力圖和具有深度卷積層的膠囊神經(jīng)網(wǎng)絡(luò)都有效增強(qiáng)DCACNN的特征提取能力，都有利于提高微表情識(shí)別的準(zhǔn)確率。

進(jìn)一步評(píng)價(jià)模型對(duì)數(shù)據(jù)集的分類和識(shí)別能力，采用混淆矩陣對(duì)微表情識(shí)別模型的準(zhǔn)確性進(jìn)行評(píng)估，AU-VGG、DCCNN、DCACNN在CASME II和SAMM數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果混淆矩陣分別如圖8、圖9所示。混淆矩陣的列表示模型預(yù)測(cè)類別，行表示該類的模型預(yù)測(cè)結(jié)果，斜對(duì)角線為微表情被正確分類的樣本數(shù)量占該類別樣本總數(shù)的比重。由圖8和圖9可知3個(gè)模型均具有微表情分類識(shí)別的能力，且DCACNN取得了更好的結(jié)果，具有更強(qiáng)微表情識(shí)別能力。綜合比較圖8可知，CASME II數(shù)據(jù)集中，高興和其它的微表情分類比其它分類結(jié)果好，原因在于不同情緒的生物力學(xué)性質(zhì)不同，產(chǎn)生高興表情時(shí)具有較強(qiáng)面部運(yùn)動(dòng)強(qiáng)度；其它分類的微表情大多為自然表情，訓(xùn)練樣本占比最高，是簡(jiǎn)單樣本學(xué)習(xí)。而厭惡和壓抑兩種情緒有很多相似之處，區(qū)分度較低，且樣本分布不平衡；驚訝表情則訓(xùn)練樣本數(shù)量較少。在SAMM數(shù)據(jù)集中，消極類樣本在數(shù)據(jù)集中占較大比重，因此識(shí)別效果最佳，積極類樣本即高興類，其面部肌肉運(yùn)動(dòng)幅度較大因此得到較好的識(shí)別效果。

圖8 不同方法在CASME II上的混淆矩陣

圖9 不同方法在SAMM上的混淆矩陣

為驗(yàn)證模型的有效性，將DCACNN與主流微表情識(shí)別算法進(jìn)行對(duì)比，見表4和表5。

表4 CASME II數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比

表5 SAMM數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果對(duì)比

LBP-TOP[11]、LOFBP-TOP[12]、Bi-WOOF[13]、STCLQP[14]是傳統(tǒng)提取特征方法。其中，LBP-TOP是微表情識(shí)別的基線方法，其作用機(jī)制是在相互正交的3個(gè)平面中，采用局部二進(jìn)制對(duì)微表情圖像進(jìn)行特征表示，從而達(dá)到分類的目的。LOFBP-TOP是一種將光流和LBP-TOP相結(jié)合的微表情識(shí)別方法，利用LBP-TOP對(duì)光流編碼來獲取微表情特征并進(jìn)行分類。Bi-WOOF是通過光應(yīng)變?nèi)旨訖?quán)、光流強(qiáng)度局部加權(quán)的雙加權(quán)方向光流直方圖獲取微表情特征的方法。STCLQP是基于時(shí)空完全局部量化模式的識(shí)別方法，在進(jìn)行微表情識(shí)別時(shí)考慮了信號(hào)、大小和方向等因素。

Micro-Attention[3]、CNN-LSTM[15]、ELRCN-TE[16]、3D-FCNN[17]、LGCconD[18]、LGCcon[18]、OFF-ApexNet[19]、Dual-Inception[20]是基于深度學(xué)習(xí)的微表情識(shí)別方法。其中，Micro-Attention是基于微注意力與殘差網(wǎng)絡(luò)相結(jié)合的網(wǎng)絡(luò)，在residual block中集成微注意單元。CNN-LSTM是結(jié)合時(shí)域和空域的微表情識(shí)別方法，采用CNN提取圖像序列的狀態(tài)獲得空間維度信息，使用LSTM長時(shí)記憶網(wǎng)絡(luò)獲取時(shí)間維度信息，將二者結(jié)合并進(jìn)行微表情分類識(shí)別。ELRCN-TE引入增強(qiáng)的長期遞歸卷積網(wǎng)絡(luò)，由空間特征提取器和捕獲時(shí)間信息的時(shí)態(tài)模塊組成。3D-FCNN同時(shí)提取光流幀序列和原始幀序列的時(shí)空特征，在全連接層對(duì)時(shí)空特征進(jìn)行融合。LGCcon使用結(jié)合局部信息和全局信息的聯(lián)合特征學(xué)習(xí)網(wǎng)絡(luò)來識(shí)別微表情，LGCconD是經(jīng)過頂點(diǎn)幀定位的LGCcon方法。OFF-ApexNet構(gòu)建一個(gè)頂點(diǎn)幀網(wǎng)絡(luò)框架，使用微表情的起始幀、頂點(diǎn)幀和結(jié)束幀獲取人臉圖像特征，將光流特征圖像輸入淺層CNN進(jìn)行識(shí)別和分類。Dual-Inception將光流特征的水平和垂直分量輸入雙流Inception網(wǎng)絡(luò)進(jìn)行微表情識(shí)別。

表4表示DCACNN在CASME II數(shù)據(jù)集上的對(duì)比結(jié)果。由表4可知傳統(tǒng)手工特征識(shí)別算法中識(shí)別率最高的是STCLQP，F(xiàn)1-Score最高的是Bi-WOOF，深度學(xué)習(xí)算法中識(shí)別率和F1-Score最高的是LGCconD。DCACNN在CASME II上的微表情識(shí)別準(zhǔn)確率比STCLQP和LGCconD分別提高了6.04%和2.29%，DCACNN在F1-Score指標(biāo)上比Bi-WOOF和LGCconD分別提高了0.88%和2.13%。與手工描述特征的識(shí)別方法相比，深度學(xué)習(xí)的方法能夠省去手工特征提取過程，直接從原始的微表情圖像幀序列中提取特征，并且通過逐層學(xué)習(xí)的方式不斷地調(diào)整模型參數(shù)和權(quán)重，以優(yōu)化提取到的特征，在簡(jiǎn)化了特征提取步驟的基礎(chǔ)上取得了較好的識(shí)別效果。因?yàn)镈CACNN采用的膠囊網(wǎng)絡(luò)充分利用人臉結(jié)構(gòu)空間信息，以及引入AU注意力機(jī)制，使DCACNN對(duì)于數(shù)量較少的樣本也有一定的識(shí)別準(zhǔn)確率，進(jìn)一步提高F1-Score。

表5表示DCACNN在SAMM數(shù)據(jù)集上的對(duì)比結(jié)果。由表5可知DCACNN在SAMM數(shù)據(jù)集上的識(shí)別準(zhǔn)確率比Bi-WOOF和Dual-Inception分別提高了8.52%和3.28%，在F1-Score指標(biāo)上分別提高了6.78%和0.21%。對(duì)比表4和表5可知，由于SAMM數(shù)據(jù)集樣本數(shù)量較CASME II少，且樣本分布不均衡，導(dǎo)致微表情方法SAMM數(shù)據(jù)集上的識(shí)別效果整體低于CASME II數(shù)據(jù)集，可見微表情識(shí)別的進(jìn)一步發(fā)展還需要構(gòu)建更大的微表情數(shù)據(jù)集和更均衡的樣本分類分布。

3 結(jié)束語

本文提出了一種用于微表情分類的深度卷積注意膠囊網(wǎng)絡(luò)DCACNN。針對(duì)微表情運(yùn)動(dòng)的局部性和傳統(tǒng)卷積空間信息特征提取能力不足的問題，①將AU注意力約束融入傳統(tǒng)卷積網(wǎng)絡(luò)中，提高網(wǎng)絡(luò)提取高維特征和微表情活躍區(qū)域特征的能力；②采用膠囊網(wǎng)絡(luò)的動(dòng)態(tài)路由機(jī)制，提高網(wǎng)絡(luò)獲取空間結(jié)構(gòu)信息的能力，更有效地表示微表情特征。理論分析和實(shí)驗(yàn)結(jié)果表明,DCACNN識(shí)別準(zhǔn)確率在CASME II和SAMM數(shù)據(jù)集上分別達(dá)到64.43%、59.91%，分別提高2.29%和3.28%。但是微表情數(shù)據(jù)集較少、微表情樣本類別數(shù)量不均衡的問題仍然是導(dǎo)致識(shí)別率較低的主要原因，研究如何在長視頻中發(fā)現(xiàn)微表情以拓展微表情數(shù)據(jù)集是下一步可以研究的方向。