基于歐氏距離解纏的多角度跨庫(kù)人臉表情識(shí)別

梁 廣

(中國(guó)科學(xué)技術(shù)大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，安徽 合肥230026)

0 引言

如今，人臉表情識(shí)別相關(guān)研究的熱度逐漸上升。相應(yīng)的技術(shù)也應(yīng)用于教育質(zhì)量評(píng)估、刑事審訊等多個(gè)領(lǐng)域。然而，當(dāng)前的很多研究主要關(guān)注于相同數(shù)據(jù)庫(kù)上的人臉表情識(shí)別，即訓(xùn)練樣本和測(cè)試樣本都來(lái)自于同一個(gè)數(shù)據(jù)庫(kù)。由于不同表情數(shù)據(jù)庫(kù)在人種、背景和光照等存在差異，表情識(shí)別的效果受到很大的影響[1]。同時(shí)，人臉圖片也包含多個(gè)不同姿勢(shì)，不同姿勢(shì)之間的差異也導(dǎo)致了表情識(shí)別準(zhǔn)確率的下降。研究者當(dāng)前也在研究降低數(shù)據(jù)庫(kù)和姿勢(shì)所帶來(lái)影響的方法。

由于姿勢(shì)的差異對(duì)表情識(shí)別有明顯的影響，研究人員提出了三大類(lèi)方法來(lái)消除表情識(shí)別中的姿態(tài)差異： 姿勢(shì)規(guī)范化方法[2]；單分類(lèi)器方法[3-4]；姿勢(shì)魯棒的特征方法[5-8]。由于正臉的表情識(shí)別準(zhǔn)確率高于側(cè)臉，研究者使用姿勢(shì)規(guī)范化的方法將側(cè)臉圖像轉(zhuǎn)換成正臉圖像來(lái)進(jìn)行識(shí)別表情。然而，用來(lái)測(cè)試的目標(biāo)數(shù)據(jù)庫(kù)通常缺失同一個(gè)人的正- 側(cè)臉數(shù)據(jù)對(duì)。這也導(dǎo)致了側(cè)臉圖像在通過(guò)生成式對(duì)抗網(wǎng)絡(luò)[9](Generative Adversarial Networks，GAN) 生成正臉的過(guò)程中存在失真，影響表情識(shí)別效果。對(duì)于單分類(lèi)器方法，研究者使用單個(gè)分類(lèi)器來(lái)識(shí)別多種姿勢(shì)下的表情。這種方法需要大量不同姿勢(shì)的圖像來(lái)訓(xùn)練單一分類(lèi)器，而現(xiàn)實(shí)中很難得到足夠多的多角度圖像。而姿勢(shì)魯棒的特征方法嘗試訓(xùn)練一個(gè)編碼器來(lái)生成對(duì)姿勢(shì)差異魯棒的表情特征。這種方法在特征層面降低了表情特征中的姿勢(shì)噪聲，同時(shí)不需要大量的目標(biāo)數(shù)據(jù)庫(kù)樣本，也無(wú)需生成偽樣本。因此本模型選擇了姿勢(shì)魯棒的特征方法來(lái)降低姿勢(shì)差異。

另外，數(shù)據(jù)庫(kù)的差異同樣影響了表情識(shí)別。為保持相關(guān)工作的表述一致性，本文也將原數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)分別稱(chēng)作原域和目標(biāo)域。研究人員主要使用兩種方法來(lái)降低數(shù)據(jù)庫(kù)的偏差： 基于核方法的遷移學(xué)習(xí)[10-11]；對(duì)抗領(lǐng)域自適應(yīng)的方法[12-14]。最常用的核方法是最大平均差異(Maximum Mean Discrepancy，MMD)。研究人員使用MMD 來(lái)逼近不同領(lǐng)域的不同域特征的距離，從而實(shí)現(xiàn)領(lǐng)域自適應(yīng)。然而這種方法的計(jì)算時(shí)間成本較高。對(duì)抗領(lǐng)域自適應(yīng)方法使用原域的知識(shí)來(lái)提升目標(biāo)域的學(xué)習(xí)。因?yàn)楸砬樘卣鲗W(xué)習(xí)過(guò)程中具有更好的靈活性，所以該模型選擇了領(lǐng)域?qū)棺赃m應(yīng)方法來(lái)消除域偏差。

上述的方法要么關(guān)注了數(shù)據(jù)庫(kù)的偏差，要么關(guān)注了姿勢(shì)的差異，但還沒(méi)有方法同時(shí)兼顧這兩個(gè)因素。因此本文提出了基于歐式距離的特征解纏自適應(yīng)(Euclidean Distance Disentanglement Adaption，EDDA)方法來(lái)同時(shí)解決這兩個(gè)問(wèn)題。圖1 展示了本文方法的主要?jiǎng)?chuàng)新點(diǎn)。該框架包含三個(gè)分支： 表情分支，姿勢(shì)分支和數(shù)據(jù)庫(kù)分支。圖中的球體代表了一個(gè)高維的單位球，即一個(gè)半徑唯一的高維球。而圖1 中的右上方的小圓代表了針對(duì)表情特征的對(duì)比學(xué)習(xí)策略。該方法將三個(gè)屬性的特征映射到單位球體的表面，通過(guò)對(duì)三個(gè)點(diǎn)的距離最大化來(lái)解纏三個(gè)特征。當(dāng)解纏不同屬性特征的時(shí)候，會(huì)壓縮相同屬性特征的空間。為了解決這個(gè)問(wèn)題，引入了對(duì)比學(xué)習(xí)損失。該損失拉近了同一個(gè)批次中相同表情特征的距離，同時(shí)疏離了不同表情特征的距離。另外，為了利用原數(shù)據(jù)庫(kù)的知識(shí)來(lái)輔助目標(biāo)數(shù)據(jù)庫(kù)的訓(xùn)練，引入了對(duì)抗領(lǐng)域自適應(yīng)。

總之，為了解決跨庫(kù)和多姿勢(shì)的表情識(shí)別，本文實(shí)現(xiàn)了如下三個(gè)策略： 一是本文提出了一個(gè)基于歐式距離的解纏方法來(lái)移除別的屬性在表情特征中的噪聲；二是為了解決不同表情的特征聚集的問(wèn)題，本模型引入了對(duì)比學(xué)習(xí)損失；三是本模型引入了對(duì)抗領(lǐng)域自適應(yīng)方法來(lái)逼近原數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)的表情特征分布。最后，通過(guò)在公開(kāi)的數(shù)據(jù)庫(kù)上進(jìn)行多組實(shí)驗(yàn)，充分證明了該模型的有效性。

1 相關(guān)工作

1.1 姿勢(shì)魯棒的表情識(shí)別

姿勢(shì)魯棒的表情識(shí)別方法可以分為三大類(lèi)： 姿勢(shì)規(guī)范化方法、單分類(lèi)器方法、姿勢(shì)魯棒的表情特征方法。

姿勢(shì)規(guī)范化的方法會(huì)將側(cè)臉的照片轉(zhuǎn)換到正臉，再進(jìn)行表情識(shí)別。Lai 等人[2]構(gòu)造了一個(gè)多任務(wù)的基于GAN 的框架。該方法使用GAN 來(lái)將一張表情圖片從側(cè)臉轉(zhuǎn)換到正臉，同時(shí)保留個(gè)體和表情一致，然后利用生成的正臉圖像來(lái)訓(xùn)練表情分類(lèi)器。而對(duì)于大角度的側(cè)臉圖像，生成圖像的偽影效果影響很大。

單分類(lèi)器方法通過(guò)大量的不同姿勢(shì)的人臉表情來(lái)訓(xùn)練一個(gè)通用的分類(lèi)器。Zhang 等人[4]構(gòu)建了一個(gè)聯(lián)合姿勢(shì)和表情的模型來(lái)識(shí)別人臉。通過(guò)使用GAN 來(lái)生成多種姿勢(shì)和表情的圖片，然后利用這些圖像訓(xùn)練一個(gè)單一的分類(lèi)器。這類(lèi)方法依賴(lài)于大量生成的圖像，而因?yàn)楦叻直媛实膱D像很難生成，所以該類(lèi)方法也受到圖像模糊的影響。本文的方法避開(kāi)了生成圖像的問(wèn)題。

談及姿勢(shì)魯棒的特征方法。Zhang 等人[15]提出了一個(gè)傳統(tǒng)手工特征-- 尺度不變特征轉(zhuǎn)換(Scale Invariant Feature Transform，SIFT) 的算法。他們從每張圖片中提取出SIFT 特征，并輸入到深度神經(jīng)網(wǎng)絡(luò)中來(lái)擬合神經(jīng)識(shí)別的機(jī)制。該方法使用映射層來(lái)學(xué)習(xí)不同面部標(biāo)定點(diǎn)的可識(shí)別特征，并和表情特征整合在一起輔助識(shí)別表情。上述的方法要求先預(yù)測(cè)姿勢(shì)，再進(jìn)行表情識(shí)別。如果姿勢(shì)預(yù)測(cè)出錯(cuò)了，表情識(shí)別的效果就會(huì)被嚴(yán)重地影響。而本文的方法不需要提前檢測(cè)角度。

1.2 跨庫(kù)魯棒的表情識(shí)別

對(duì)跨庫(kù)魯棒的表情識(shí)別方法可以主要分為三大類(lèi)： 遷移學(xué)習(xí)的核方法、圖卷積方法、對(duì)抗領(lǐng)域自適應(yīng)的方法。

核方法將原域和目標(biāo)域樣本映射到高維的希爾伯特空間，并且通過(guò)使相同表情特征的距離逼近來(lái)消除域偏差。其中，Li 等人[10]創(chuàng)造了一個(gè)深度表情遷移網(wǎng)絡(luò)來(lái)解決原域和目標(biāo)域的偏差。該方法在深度學(xué)習(xí)中引入了最大均值差異來(lái)降低數(shù)據(jù)庫(kù)差異，并且提出了一個(gè)基于類(lèi)的靈活加權(quán)參數(shù)機(jī)制來(lái)近似兩個(gè)域的分布。然而，這個(gè)方法中的權(quán)重參數(shù)調(diào)節(jié)依賴(lài)于目標(biāo)域的偽標(biāo)簽，錯(cuò)誤的偽標(biāo)簽會(huì)降低表情識(shí)別的準(zhǔn)確率。本文的方法不存在這種問(wèn)題。

圖卷積方法建立了人臉圖像局部特征之間的關(guān)系圖來(lái)減少域的偏差。Xie 等人[17]提出了一個(gè)對(duì)抗圖卷積自適應(yīng)的框架。首先，該方法利用每個(gè)域的樣本建立了一個(gè)抓捕圖像整體和局部相關(guān)性的圖。該方法學(xué)習(xí)了每個(gè)域的每個(gè)類(lèi)的分布，同時(shí)提取了整體- 局部的特征來(lái)初始化圖的節(jié)點(diǎn)。最后通過(guò)引入圖卷積網(wǎng)絡(luò)，來(lái)傳播信息給每個(gè)域內(nèi)的整體局部的特征，從而探索它們之間的相互關(guān)系以及不同域間的協(xié)同適應(yīng)。然而，目前的圖卷積方法的可擴(kuò)展性差，在工程實(shí)踐中存在局限性。

對(duì)于對(duì)抗領(lǐng)域自適應(yīng)的方法。該類(lèi)方法通過(guò)縮小原域和目標(biāo)域之間的特征差異來(lái)減小域偏差。Tzeng[12]提出了一個(gè)對(duì)抗可區(qū)分的領(lǐng)域自適應(yīng)方法。該方法通過(guò)生成器和判別器的對(duì)抗來(lái)實(shí)現(xiàn)領(lǐng)域的自適應(yīng)。利用GAN 的損失，它們得以逼近兩個(gè)域的特征分布?？偟膩?lái)說(shuō)，上述的這些方法主要關(guān)注域偏差，而忽略了位姿的變化。本文所提出的方法同時(shí)考慮了數(shù)據(jù)庫(kù)和位姿的差異，實(shí)現(xiàn)了更好的識(shí)別效果。

2 問(wèn)題描述

另外，為了解纏不同屬性的特征，使得表情特征對(duì)姿勢(shì)和跨數(shù)據(jù)庫(kù)足夠魯棒，提出了式(3 ) 所對(duì)應(yīng)的策略。其中，fe表示表情相關(guān)的特征；fp表示表情相關(guān)的特征；而fd表示域相關(guān)的特征。通過(guò)梳理這三種屬性的特征的分布來(lái)使之解纏。

3 方法

整體框架如圖2 所示。該框架共包含6個(gè)組件： 原域編碼器Es、目標(biāo)域編碼器Et、表情分類(lèi)器Ce、姿勢(shì)分類(lèi)器Cp、域分類(lèi)器Cd和表情判別器De。除了上述組件，圖2 還包含圖1 中所展示的兩個(gè)損失lArea和lContrastive。lArea損失用來(lái)解纏不同屬性的特征；lContrastive損失，即對(duì)比學(xué)習(xí)損失。我們通過(guò)編碼器獲得三個(gè)屬性特征。表情、姿勢(shì)和域的分類(lèi)器Ce、Cp和Cd則對(duì)相應(yīng)的特征進(jìn)行分類(lèi)。面積損失中，三個(gè)頂點(diǎn)為三個(gè)相應(yīng)屬性的特征。通過(guò)最大化lArea，三個(gè)屬性的特征在歐式高維空間上得以疏離，從而實(shí)現(xiàn)解纏。由于目標(biāo)域沒(méi)有表情和姿勢(shì)的標(biāo)簽，通過(guò)使用ResNet 網(wǎng)絡(luò)來(lái)得到相應(yīng)的偽標(biāo)簽。在對(duì)比學(xué)習(xí)的策略里，通過(guò)lContrastive損失來(lái)調(diào)整Es，使得不同表情的特征在解纏的過(guò)程中不壓縮在一起。另外，為了將原域的知識(shí)遷移到目標(biāo)域中，通過(guò)表情判別器De來(lái)判斷特征來(lái)自于哪個(gè)域，從而進(jìn)行特征對(duì)抗。

圖2 基于空間解纏的多姿態(tài)跨數(shù)據(jù)庫(kù)表情識(shí)別方法框架圖

3.1 骨干網(wǎng)絡(luò)

如圖2 所示，構(gòu)建了三個(gè)分支來(lái)識(shí)別表情姿勢(shì)和域。在學(xué)習(xí)分類(lèi)樣本所屬哪個(gè)域的過(guò)程中引入了部分目標(biāo)域的圖像。在這個(gè)過(guò)程中，關(guān)于表情和姿勢(shì)標(biāo)簽，目標(biāo)域的樣本僅使用ResNet -50 預(yù)測(cè)的偽標(biāo)簽。

3.2 基于歐氏距離的特征解纏

為了解纏多種屬性的特征，提出了基于歐氏距離的特征解纏方法。該方法將一個(gè)批次樣本的三種屬性的特征映射到單位球體的表面。球體上不同屬性的特征分離，不同屬性的特征在分布上解纏。

為了計(jì)算這三個(gè)屬性端點(diǎn)構(gòu)成的三角形區(qū)域的面積，使用海倫公式來(lái)計(jì)算高維向量之間三角形的面積。同時(shí)，這個(gè)解纏方法也為更多屬性的空間解纏提供了一個(gè)初步的框架。這個(gè)面積的損失如式(7) 定義所示。在這里fe(i)、fp(i) 和fd(i) 代表對(duì)應(yīng)特征的第i維特征分量，a、b和c分別代表兩兩特征間的歐氏距離。解纏的策略如式(8) 所示，最大化這個(gè)區(qū)域的面積。

3.3 表情特征的對(duì)比學(xué)習(xí)

如前所述，解纏的過(guò)程會(huì)壓縮相同屬性的特征。因此，對(duì)比學(xué)習(xí)被引入來(lái)解決不同表情的特征聚集的問(wèn)題。對(duì)比學(xué)習(xí)的損失定義如式(9) 所示。在這個(gè)表達(dá)式里，x代表輸入的當(dāng)前要計(jì)算的特征，x+代表與x相同表情的特征，x-代表與x不同表情的特征。引用了Prannay[18]工作中的對(duì)比學(xué)習(xí)策略的設(shè)置。在這個(gè)式子中，f(x)Tf(x+) 是通過(guò)x和x+的點(diǎn)乘來(lái)實(shí)現(xiàn)的。

從上式可以看出，分子越大，分母越小時(shí)，相同標(biāo)簽的表情特征會(huì)越接近，而不同標(biāo)簽的表情特征會(huì)越遠(yuǎn)離。如式(10) 所示，我們通過(guò)最大化該損失來(lái)疏離不同標(biāo)簽的表情特征。

3.4 特征對(duì)抗學(xué)習(xí)

在原域的樣本經(jīng)過(guò)訓(xùn)練之后，得到了一個(gè)好的表情編碼器和分類(lèi)器。于是可以通過(guò)對(duì)抗學(xué)習(xí)將原域的知識(shí)遷移到目標(biāo)域。其中，De表示一個(gè)表情的判別器。Ee和De進(jìn)行了一個(gè)最大最小的對(duì)抗游戲。De盡力來(lái)分辨表情特征來(lái)自原域還是目標(biāo)域。Ee盡力提取出可以迷惑De的特征。通過(guò)兩個(gè)組件的多輪對(duì)抗學(xué)習(xí)，得以實(shí)現(xiàn)領(lǐng)域知識(shí)的遷移。

3.5 綜合的學(xué)習(xí)

式(12) 整合了前述的所有的損失。式中每項(xiàng)損失前的拉丁字母α 、β 、γ 、δ 和ε 分別表示該損失相應(yīng)的超參數(shù)。而min 和max 下面的各個(gè)組件表示在對(duì)loss 損失的最小化或最大化操作時(shí)所要反向傳播更新的參數(shù)。

4 實(shí)驗(yàn)

本方法在8個(gè)公開(kāi)的數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)。這8個(gè)數(shù)據(jù)庫(kù)分別是： RAF - BD[19]、CK +[20]、JAFFE[21]、SFEW[22]、FER2013[23](Facial Expression Recognition 2013 Dataset，F(xiàn)ER2013)、ExpW[24]、多Multi-PIE[25]和BU-3DFE[26]。

4.1 實(shí)驗(yàn)條件

RAF-DB 和FER-2013 的圖片都由互聯(lián)網(wǎng)收集而來(lái)，因此圖片具有很多種風(fēng)格。RAF-DB 數(shù)據(jù)庫(kù)包含29672 張臉部圖片。FER-2013 包含35887 張圖片。兩個(gè)數(shù)據(jù)庫(kù)都標(biāo)注了7個(gè)基礎(chǔ)的表情。由于RAF-DB 包含大量的樣本，同時(shí)為了方便與之前的工作作比較，將RAF-DB 作為主要的原數(shù)據(jù)庫(kù)。

CK + 數(shù)據(jù)庫(kù)中的樣本是用來(lái)做人臉表情分析的，所以該數(shù)據(jù)庫(kù)中的人臉圖像是在實(shí)驗(yàn)室控制的環(huán)境下采集的。參照之前Li[27]的工作的設(shè)置，選擇了每個(gè)序列的第一幀(自然幀) 和巔峰的三幀。

JAFFE 數(shù)據(jù)庫(kù)包含213 張表情照片。這些照片采集自10 位日本的女性學(xué)生。該數(shù)據(jù)庫(kù)包含7個(gè)基礎(chǔ)的表情，其數(shù)據(jù)是在實(shí)驗(yàn)控制狀態(tài)下采集的。由于這個(gè)數(shù)據(jù)庫(kù)的樣本都是亞洲女性，該數(shù)據(jù)庫(kù)的民族偏差和性別偏差很明顯。

SFEW 數(shù)據(jù)庫(kù)包含1766 張圖片。該數(shù)據(jù)庫(kù)中的人臉表情圖像采集自37 部不同的電影，所以該數(shù)據(jù)庫(kù)同樣是一個(gè)自然環(huán)境下的數(shù)據(jù)庫(kù)，不是實(shí)驗(yàn)控制狀態(tài)下的數(shù)據(jù)庫(kù)，風(fēng)格多樣。另外，該數(shù)據(jù)庫(kù)同樣由7個(gè)基礎(chǔ)的表情標(biāo)注。

Multi - PIE 數(shù)據(jù)庫(kù)包含755370 張圖片，由6個(gè)基礎(chǔ)的表情標(biāo)注。該數(shù)據(jù)庫(kù)在實(shí)驗(yàn)室環(huán)境采集，同時(shí)擁有角度標(biāo)簽。BU -3DFE 數(shù)據(jù)庫(kù)包含100個(gè)人的2500 張表情圖片模型。同樣含有6個(gè)基本表情，并在實(shí)驗(yàn)控制環(huán)境下采集。選擇了1200 張來(lái)自于Multi-PIE 的圖片和7655 張來(lái)自BU -3DFE 的包含5個(gè)角度(±30°，0°和90°)的圖片來(lái)訓(xùn)練ResNet 網(wǎng)絡(luò)。

實(shí)驗(yàn)設(shè)置主要參考Xie 的工作[17]和Han[28]的工作。設(shè)置了RAF-DB 作為原數(shù)據(jù)庫(kù)，多個(gè)數(shù)據(jù)庫(kù)作為目標(biāo)數(shù)據(jù)庫(kù)來(lái)進(jìn)行跨庫(kù)的實(shí)驗(yàn)。另外，為了加強(qiáng)驗(yàn)證，參照Sun[29]的實(shí)驗(yàn)設(shè)置將CK+ 作為原數(shù)據(jù)庫(kù)進(jìn)行了實(shí)驗(yàn)。除了對(duì)比工作之外，還做了消融實(shí)驗(yàn)。在消融實(shí)驗(yàn)中，將RAF - DB 設(shè)置為原數(shù)據(jù)庫(kù)，CK +設(shè)置為目標(biāo)數(shù)據(jù)庫(kù)。

4.2 實(shí)現(xiàn)細(xì)節(jié)

為了規(guī)范所有的樣本來(lái)適配到輸入層，使用了OpenCV 來(lái)檢測(cè)臉部，裁剪圖片并重整圖片為128×128 像素的圖片。編碼器包涵有一個(gè)輸入層，四個(gè)下采樣層和四個(gè)殘差層。每一個(gè)卷積層后面都跟隨一個(gè)實(shí)例歸一化層和一個(gè)線(xiàn)性整流函數(shù)。通過(guò)三個(gè)編碼器分支，分別得到了表情、姿勢(shì)和域相關(guān)的特征。每個(gè)特征在編碼后重整為一個(gè)512 維的向量。特征解纏在這個(gè)向量上進(jìn)行。在訓(xùn)練各屬性特征解過(guò)程中，部分目標(biāo)域數(shù)據(jù)庫(kù)的樣本被引入來(lái)輔助訓(xùn)練。此時(shí)，目標(biāo)域的樣本使用ResNet-50 模型預(yù)測(cè)的偽標(biāo)簽。而為了不受偽標(biāo)簽的影響，在訓(xùn)練對(duì)比學(xué)習(xí)損失的時(shí)候，只使用了原數(shù)據(jù)庫(kù)中的樣本來(lái)進(jìn)行訓(xùn)練模型。實(shí)驗(yàn)采用交叉熵函數(shù)作為損失函數(shù)。

4.3 實(shí)驗(yàn)對(duì)比

所提出的方法與以下的工作進(jìn)行了對(duì)比：Altinier[30]的工作，Hasani[31]的工作，Zavarez[32]的工作，Mollahosseini[33]的工作，深度表情遷移網(wǎng)絡(luò)[10](Deep Emotion Transfer Network，DETN )，條件表情自適應(yīng)網(wǎng)絡(luò)[27](Emotion - Conditional Adaption Network，ECAN )，條件對(duì)抗領(lǐng)域自適應(yīng)[34](Conditional Adversarial Domain Adaption，CADA) 等方法。

這些工作主要將RAF-DB 設(shè)置為原數(shù)據(jù)庫(kù)。表1的上半部分的對(duì)比工作的準(zhǔn)確率是從相應(yīng)的文章中收集到的，而下半部分的準(zhǔn)確率是引用自Xie[17]的工作。另外，如表2 所示，也對(duì)比了一些以CK + 為原域的工作。

表1 以RAF-DB 為原數(shù)據(jù)庫(kù)的實(shí)驗(yàn)對(duì)比表 (%)

表2 以CK+為原庫(kù)的實(shí)驗(yàn)對(duì)比表(%)

通過(guò)實(shí)驗(yàn)的對(duì)比結(jié)果，證明了所提方法的有效性。如在表1 最后一行所示，所提出的方法以RAF -DB 為原數(shù)據(jù)庫(kù)，各目標(biāo)數(shù)據(jù)庫(kù)CK +、JAFFE 、SFEW 、FER -2013 和ExpW 的準(zhǔn)確率比最好的工作高出1.86%、1.04%、1.36%、0.21% 和0.62%。所提方法的準(zhǔn)確率均值為67.15%，比當(dāng)前準(zhǔn)確率均值最高的AGRA 的方法高出1.02%。在以CK+ 為原數(shù)據(jù)庫(kù)的實(shí)驗(yàn)中，本文方法的準(zhǔn)確率也有很大的提升。

4.4 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證所提出的策略有效性，同時(shí)展開(kāi)了消融實(shí)驗(yàn)。消融實(shí)驗(yàn)的結(jié)果如表3 所示，最左側(cè)一列表示本文中不同策略組合的模型。其中EDDACe表示僅有表情分類(lèi)骨干網(wǎng)絡(luò)的模型。EDDAAdv表示僅僅給骨干分類(lèi)網(wǎng)絡(luò)添加了對(duì)抗領(lǐng)域?qū)W習(xí)策略的模型。EDDAED表示僅僅給骨干分類(lèi)網(wǎng)絡(luò)增加了歐氏距離解纏策略的模型。EDDAAdv+ED表示給骨干網(wǎng)絡(luò)添加了上述兩個(gè)策略的模型。而EDDA 指本文提出的方法，也即包含下述完整的三個(gè)策略的網(wǎng)絡(luò)：歐氏距離解纏、對(duì)比學(xué)習(xí)、領(lǐng)域?qū)棺赃m應(yīng)。表3中最右邊一列表示每個(gè)數(shù)據(jù)庫(kù)的準(zhǔn)確率的均值。通過(guò)準(zhǔn)確率比較，可以看出三個(gè)策略的有效性。

表3 消融實(shí)驗(yàn) (%)

5 結(jié)論

整體來(lái)講，本文提出了一個(gè)基于歐式距離面積最大化的特征解纏模型，從而使多姿態(tài)跨庫(kù)表情識(shí)別效果得到了有效的提升。該模型包含三個(gè)策略：基于歐式距離的特征解纏，對(duì)比學(xué)習(xí)和對(duì)抗領(lǐng)域自適應(yīng)。在這個(gè)模型中，通過(guò)減少姿勢(shì)和數(shù)據(jù)庫(kù)的差異來(lái)提純表情特征，使其更具魯棒性。通過(guò)與當(dāng)前最好的工作對(duì)比，驗(yàn)證了所提出方法的有效性。當(dāng)進(jìn)一步細(xì)分人臉屬性的時(shí)候，仍可以利用本文的框架在更高維度上解纏特征，從而提高識(shí)別的效果。