表情識別技術(shù)綜述

洪惠群，沈貴萍+，黃風(fēng)華

1.陽光學(xué)院 人工智能學(xué)院，福州350015

2.陽光學(xué)院 空間數(shù)據(jù)挖掘與應(yīng)用福建省高校工程研究中心，福州350015

3.陽光學(xué)院 福建省空間信息感知與智能處理重點(diǎn)實(shí)驗(yàn)室，福州350015

表情、聲音、文本、姿態(tài)等，都可以用來表達(dá)人類情感，面部表情是人類情感表達(dá)的重要依據(jù)之一，因此，計算機(jī)可以嘗試通過分析人的面部表情來理解人的情感，并在眾多人機(jī)交互系統(tǒng)中融入，例如：各類服務(wù)型機(jī)器人、輔助檢測疲勞駕駛、醫(yī)療服務(wù)、遠(yuǎn)程教育中學(xué)生學(xué)習(xí)狀態(tài)監(jiān)測等。盡管在人們社交過程中，逐漸演化出各種復(fù)雜的面部動作和表情來表達(dá)內(nèi)心的情感，但是學(xué)術(shù)界普遍研究的都是由Friesen 和Ekman 等心理學(xué)家提出的6 種基本情感類別，即“高興、憤怒、悲傷、吃驚、厭惡、恐懼”。

隨著計算機(jī)視覺及人工智能技術(shù)的發(fā)展，人臉表情識別吸引著越來越多的學(xué)者進(jìn)行研究。表情識別側(cè)重于識別面部的表情及情感，而情感分析則可以根據(jù)面部表情、語音、文本、姿態(tài)、腦電信號等各種信號來進(jìn)行情感分析，在情感分析的過程中，有可能沒有對面部表情這一模態(tài)進(jìn)行分析。因此，可以將表情識別看作情感分析的一個研究方向。本文側(cè)重于從面部表情識別的角度去歸納總結(jié)。

在面部表情識別過程中，研究者常常會嘗試結(jié)合語音、文本、姿態(tài)、腦電波等多種模態(tài)信息進(jìn)行分析，根據(jù)在面部表情識別過程中所使用的數(shù)據(jù)集是單一模態(tài)的面部表情數(shù)據(jù)還是面部表情數(shù)據(jù)結(jié)合其他模態(tài)的數(shù)據(jù)進(jìn)行情感識別的不同，本文將表情識別算法分為基于單模態(tài)數(shù)據(jù)的面部表情識別和基于多模態(tài)數(shù)據(jù)的面部表情識別。

1 基于單模態(tài)數(shù)據(jù)的面部表情識別

基于單模態(tài)數(shù)據(jù)的面部表情識別主要根據(jù)面部表情這一模態(tài)來進(jìn)行分析識別，包含如圖1 所示步驟：數(shù)據(jù)集采集、圖像的預(yù)處理、表情識別及判斷類別等。

圖1 單模態(tài)人臉表情識別主要步驟Fig.1 Main steps of unimodal facial expression recognition

1.1 數(shù)據(jù)集采集

表1 總結(jié)了常見的表情識別數(shù)據(jù)集的圖像特點(diǎn)、標(biāo)注類別及圖像/視頻數(shù)。其中：A1 代表實(shí)驗(yàn)室受控環(huán)境下的數(shù)據(jù)，A2 代表網(wǎng)站上非受控環(huán)境下的數(shù)據(jù)；B1 代表數(shù)據(jù)很少，B2 代表數(shù)據(jù)較少。

表1 常見的表情識別數(shù)據(jù)集Table 1 Common expression recognition datasets

表1 所示的數(shù)據(jù)集中，部分?jǐn)?shù)據(jù)集為受控環(huán)境下的數(shù)據(jù)，數(shù)據(jù)少且皆為正面清晰人臉，標(biāo)注可經(jīng)過心理學(xué)專家反復(fù)確認(rèn)，一般認(rèn)為這些數(shù)據(jù)庫標(biāo)注是完全可靠的，如CK+、JAFFE 等。部分?jǐn)?shù)據(jù)集如RAFDB、AffectNet 等大規(guī)模數(shù)據(jù)集，是在非受控環(huán)境下取得的，受標(biāo)注者感知的主觀性影響較大，標(biāo)注質(zhì)量相對比較低。因此，現(xiàn)有的數(shù)據(jù)集在數(shù)量和質(zhì)量上均較為不足，數(shù)據(jù)量小，不足以很好地訓(xùn)練目前在人臉識別任務(wù)中取得良好效果的較大深度網(wǎng)絡(luò)結(jié)構(gòu)。此外，現(xiàn)有的數(shù)據(jù)集缺乏具有遮擋類型和頭部姿態(tài)標(biāo)注的大型面部表情數(shù)據(jù)集，也會影響深度網(wǎng)絡(luò)解決較大類內(nèi)差距，學(xué)習(xí)高效表情識別能力特征的需求。

1.2 圖像預(yù)處理

圖像預(yù)處理主要對原圖像進(jìn)行人臉對齊、數(shù)據(jù)增強(qiáng)及人臉歸一化等操作，是在計算特征之前，排除掉與臉無關(guān)的一切干擾。恰當(dāng)?shù)念A(yù)處理能夠減少因圖像質(zhì)量對識別效果的影響，同時也能提升算法的魯棒性。

人臉對齊也叫人臉關(guān)鍵點(diǎn)定位，在人臉檢測的基礎(chǔ)上，找到眉毛、眼睛、鼻子、人臉輪廓等的位置，最少的有5 個關(guān)鍵點(diǎn)，常見的有68 個關(guān)鍵點(diǎn)。

數(shù)據(jù)增強(qiáng)是通過隨機(jī)改變訓(xùn)練集樣本，以降低網(wǎng)絡(luò)模型對某些屬性的依賴，從而提高識別率，防止過擬合現(xiàn)象的發(fā)生。

人臉歸一化主要指亮度歸一化和姿態(tài)歸一化。

1.3 面部表情識別

傳統(tǒng)的表情識別方法主要為淺層學(xué)習(xí)或采用人工設(shè)計特征，需要人工較多地參與，常見的算法有：基于全局特征的提取方法、基于局部的提取方法、混合提取方法的靜態(tài)圖像表情識別以及基于光流法的動態(tài)視頻的表情識別。具體方法及優(yōu)缺點(diǎn)如表2 所示。

表2 傳統(tǒng)表情特征提取方法Table 2 Traditional expression feature extraction methods

基于深度學(xué)習(xí)面部表情識別方法大體也可以分為基于靜態(tài)圖像的深度表情識別網(wǎng)絡(luò)以及基于動態(tài)視頻的深度表情識別網(wǎng)絡(luò)。鑒于目前人臉表情數(shù)據(jù)庫相對較小，直接進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練，往往導(dǎo)致過擬合。為了緩解過擬合的問題，通常有如下幾種方法：自建網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)微調(diào)、分階段微調(diào)、多網(wǎng)絡(luò)融合、多通道級聯(lián)、生成對抗網(wǎng)絡(luò)、基于遷移學(xué)習(xí)的跨域人臉表情識別等，現(xiàn)總結(jié)如表3。

表3 基于深度學(xué)習(xí)表情識別方法Table 3 Expression recognition methods based on deep learning

基于單模態(tài)數(shù)據(jù)的表情識別準(zhǔn)確率普遍不高，目前仍停留在實(shí)驗(yàn)室研究階段，無法在實(shí)際生活中廣泛運(yùn)用。

2 基于多模態(tài)數(shù)據(jù)的面部表情識別

由上可知，基于單模態(tài)數(shù)據(jù)的表情識別具有一定的局限性，為了解決這些局限性，越來越多的學(xué)者們開始研究基于多模態(tài)數(shù)據(jù)的表情識別，希望能提高識別的準(zhǔn)確率及穩(wěn)定性。基于多模態(tài)數(shù)據(jù)的表情識別中，需要分別處理各模態(tài)的數(shù)據(jù)和對處理后的數(shù)據(jù)進(jìn)行融合。在本文研究的多個模態(tài)中，有一個模態(tài)為面部表情數(shù)據(jù)。常見的輔助表情識別的模態(tài)有：語音、聲音情緒、頭部運(yùn)動、手勢識別、眼神交流、身體姿勢、生理信號等。基于多模態(tài)數(shù)據(jù)的面部表情系統(tǒng)的處理框架如圖2所示，該系統(tǒng)包含各個模態(tài)特征提取及模態(tài)信息融合。需要注意的是，單一模態(tài)數(shù)據(jù)的處理效果和多模態(tài)融合方式都很重要。在特征提取階段，表情識別分析所采用的方法與上述基于單模態(tài)數(shù)據(jù)的面部表情的特征提取方法相同，模態(tài)融合的過程主要有三種方式：基于特征級、決策級以及混合。下面將分別總結(jié)常見的多模態(tài)數(shù)據(jù)集、多模態(tài)表情識別技術(shù)、模態(tài)融合技術(shù)等。

圖2 多模態(tài)表情識別的框架Fig.2 Framework of multimodal expression recognition

2.1 多模態(tài)數(shù)據(jù)集

本文中所提到的多模態(tài)數(shù)據(jù)集應(yīng)包含表情圖片或視頻作為其中一個模態(tài)，具體數(shù)據(jù)集總結(jié)如表4。

表4 中的多模態(tài)數(shù)據(jù)集都有表情視頻或圖像模態(tài)，輔以文字、音頻、腦電、身體姿態(tài)等模態(tài)中的一個或多個，收集渠道有實(shí)驗(yàn)室錄制、網(wǎng)上視頻錄制、實(shí)際環(huán)境中錄制，包含有情緒或情感標(biāo)簽，基本都是小數(shù)據(jù)集。其中，數(shù)據(jù)模態(tài)的縮寫規(guī)定如下：視頻（video，V）、生理信號（physiological signal，PS）、音頻（audio，A）、文字（text，T）、身體動作（body movement，BM）、面部動作（facial movements，F(xiàn)M）、圖像（image，I）等。

表4 多模態(tài)情感數(shù)據(jù)集Table 4 Multimodal affective datasets

2.2 基于多模態(tài)數(shù)據(jù)集的表情識別技術(shù)

現(xiàn)有的文獻(xiàn)中，基于多模態(tài)數(shù)據(jù)集的表情識別技術(shù)主要根據(jù)面部表情、文本、語音以及腦電等的一個模態(tài)進(jìn)行分析。文獻(xiàn)[75-77]針對視頻和音頻模態(tài)進(jìn)行分析，文獻(xiàn)[78-79]針對視頻和腦電模態(tài)進(jìn)行分析，文獻(xiàn)[80]針對表情視頻和多模態(tài)傳感器采集數(shù)據(jù)如眼動跟蹤器、音頻、腦電圖（electroencephalogram，EEG）、深度相機(jī)等模態(tài)進(jìn)行分析，具體分析方法及優(yōu)缺點(diǎn)如表5 所示。文獻(xiàn)[80]采用的視覺和非視覺傳感器集成到面部表情識別的整體框圖如圖3 所示。由表5 及圖3 可知，基于多模態(tài)數(shù)據(jù)集的情感識別與融合雖然能夠在一定程度上解決基于單模態(tài)表情識別的局限性，然而仍存在系統(tǒng)較復(fù)雜、識別準(zhǔn)確率不夠高等問題，需要進(jìn)一步解決。

圖3 視覺和非視覺傳感器集成到面部表情識別Fig.3 Integration of visual and nonvisual sensors into facial expression recognition

表5 多模態(tài)情感識別Table 5 Multimodal emotion recognition

2.3 多模態(tài)數(shù)據(jù)的融合方式

在基于多模態(tài)數(shù)據(jù)的表情識別中，除了各個模態(tài)的特征識別外，模態(tài)融合也是十分重要的。因此選擇合適的模態(tài)融合方式可以提高識別的準(zhǔn)確性及穩(wěn)定性，融合是從不同模態(tài)中提取信息集成多模態(tài)特征。常見的融合方式有：特征級的融合、決策級的融合和混合融合等。

特征級的融合屬于中間層級的融合，通常需要從原始信息中提取有效的特征，然后對這些特征信息進(jìn)行分析和處理。特征級的融合對信息壓縮有利，提取的特征與決策分析直接相關(guān)，因此，特征級的融合結(jié)果能為決策分析提供所需的特征信息，但是當(dāng)不考慮模態(tài)間的關(guān)聯(lián)性，直接將各模態(tài)的特征進(jìn)行級聯(lián)時，且當(dāng)過多模態(tài)融合時，其產(chǎn)生的特征向量可能產(chǎn)生維度災(zāi)難。其融合框圖如圖4 所示。

圖4 特征級的融合框圖Fig.4 Fusion block diagram of feature level

多模態(tài)情感識別方法中，研究者大量使用基于特征級的融合方法，但大多研究是將不同模態(tài)的特征直接級聯(lián)，鮮少考慮模態(tài)間的信息互補(bǔ)關(guān)聯(lián)。文獻(xiàn)[85]利用開源軟件OpenEAR、計算機(jī)表情識別工具箱進(jìn)行語音和面部的情感特征的提取，刪除視頻中出現(xiàn)頻率低的單詞，剩余單詞與每個話語轉(zhuǎn)錄內(nèi)頻率的值相關(guān)聯(lián)，得到簡單的加權(quán)圖特征作為文本情感特征，并使用特征級融合法將三種特征融合，利用支持向量機(jī)分析得到情感極性。具體實(shí)現(xiàn)過程如圖5所示。

圖5 多模態(tài)特征提取Fig.5 Multimodal feature extraction

文獻(xiàn)[86]通過挖掘話語前后視頻頁面的關(guān)系，提出了基于LSTM 的情感分析模型。進(jìn)行特征提取時，先用text-CNN、3D-CNN 和openSMILE 分別對單模態(tài)文本、圖像、語言數(shù)據(jù)進(jìn)行特征提取，這提取的是上下文無關(guān)的特征向量；然后將這些特征輸入LSTM 網(wǎng)絡(luò)捕捉上下文之間的關(guān)系；最后進(jìn)行特征融合得到判斷的結(jié)果。具體實(shí)現(xiàn)過程如圖6所示，其中Contextual LSTM 的實(shí)現(xiàn)過程是：首先將數(shù)據(jù)輸入到LSTM 中，得到了一個上下文有關(guān)的特征，然后經(jīng)過全連接層得到一個預(yù)測結(jié)果，再進(jìn)行一個Softmax得到預(yù)測概率。具體實(shí)現(xiàn)過程如圖7所示。

圖6 提取上下文相關(guān)多模態(tài)話語特征的層次結(jié)構(gòu)Fig.6 Hierarchical architecture for extracting context dependent multimodal utterance features

圖7 Contextual LSTM 網(wǎng)絡(luò)Fig.7 Contextual LSTM network

文獻(xiàn)[87]提出了能識別面部表情、姿態(tài)、身體動作和聲音的多模態(tài)情感識別框架，利用級聯(lián)三維卷積神經(jīng)網(wǎng)絡(luò)以及深度置信網(wǎng)絡(luò)得到新的深度時空特征，對視頻和音頻等呈現(xiàn)的時空信息進(jìn)行有效建模實(shí)現(xiàn)情感識別，并且提出了一種基于雙線性池理論的新的音視頻特征級融合算法，在多模態(tài)情感數(shù)據(jù)集eNTERFACE 以及FABO 中，都取得了不錯的結(jié)果。

文獻(xiàn)[88]提出了一種基于深度置信網(wǎng)絡(luò)的多模情緒識別方法。如圖8，首先，對語音和表達(dá)式信號進(jìn)行預(yù)處理和特征提取，獲得單模信號的高級特征；然后，利用雙模態(tài)深度置信網(wǎng)絡(luò)融合高級語音特征和表達(dá)特征，得到用于分類的多模態(tài)融合特征，并去除模態(tài)之間的冗余信息；最后，利用LIBSVM 軟件對多模態(tài)融合特征進(jìn)行分類，實(shí)現(xiàn)最終的情感識別。在多模態(tài)特征融合階段，采用3 個隱藏層的多模態(tài)融合深度置信網(wǎng)絡(luò)（deep confidence network，DBN）結(jié)構(gòu)。在初始階段，兩個DBN 網(wǎng)絡(luò)分別訓(xùn)練。當(dāng)訓(xùn)練到第三隱含層時，將第三層的兩個特征值結(jié)合起來輸入到后面反向傳播（back propagation，BP）層。在微調(diào)階段，根據(jù)分類器的實(shí)際輸出對第三隱藏層進(jìn)行微調(diào)。從第三隱含層到兩個DBN 各自的隱含層，進(jìn)行微調(diào)。最后，提出了一種基于DBN 的多模態(tài)融合情感識別模型。DBN 訓(xùn)練后，確定其權(quán)重和偏差。對于訓(xùn)練樣本和測試樣本，輸入DBN，通過第三隱藏層提取的特征值為多模態(tài)融合后的特征值。然后進(jìn)入LIBSVM 分類器進(jìn)行情感分類。但數(shù)據(jù)集采用的是《老友記》十季的視頻片段，同一個人的臉部細(xì)節(jié)發(fā)生了變化，給表情識別帶來了更多的困難。

圖8 多模態(tài)情感識別模型總體架構(gòu)Fig.8 Overall architecture of multimodal emotion recognition model

決策級的融合通常是指對單模態(tài)的信息進(jìn)行逐個預(yù)處理及特征處理，然后經(jīng)過分類器，得到各自的分類結(jié)果后，再將各自的分類結(jié)果按照某種形式進(jìn)行融合，得到最終的情感分類結(jié)果。由于各個模態(tài)的分類結(jié)果的量綱等通常是一致的，決策級的融合相較于特征級融合更為簡單，但是決策級融合往往只是對單模態(tài)的情感識別結(jié)果進(jìn)行二次加工，并沒有對數(shù)據(jù)本身的特點(diǎn)進(jìn)行充分挖掘，產(chǎn)生結(jié)果容易受到某一模態(tài)的情感識別效果的影響。決策級的融合框圖如圖9 所示。

圖9 決策級的融合框圖Fig.9 Fusion block diagram of decision level

文獻(xiàn)[89]利用了三個模態(tài)（視頻、音頻、文本）的組合特征向量來訓(xùn)練一個基于多核學(xué)習(xí)的分類器，同時提出了一種并行決策級數(shù)據(jù)融合方法，能更快得到結(jié)果，但是準(zhǔn)確率有待進(jìn)一步提高。

文獻(xiàn)[90]提出了一種融合面部表情以及血容量脈沖BVP 生理信號的多模態(tài)情感識別法。該方法先對視頻進(jìn)行預(yù)處理獲取面部視頻，然后對面部視頻分別提取局部二值模式-3 維正交平面（local binary patterns from three orthogonal planes，LBPTOP）、梯度方向直方圖-3維正交平面（gradient direction histogram-3D orthogonal plane，HOG-TOP）兩種時空表情特征后，送入BP 分類器進(jìn)行模型訓(xùn)練；同時，利用視頻顏色放大技術(shù)獲取血容量脈沖（blood volume pulse，BVP）信號，并提取生理信號情感特征，將特征送入BP 分類器進(jìn)行模型訓(xùn)練。最后將分類器得到的結(jié)果用模糊積分進(jìn)行決策級融合，并得出識別結(jié)果。具體實(shí)現(xiàn)流程如圖10 所示，但是生理信號情感判別的準(zhǔn)確率還是偏低。

圖10 雙模態(tài)情感識別系統(tǒng)流程圖Fig.10 Flow chart of dual-modality emotion recognition

混合融合是指將特征級的融合和決策級的融合相結(jié)合，比如，某個分類器可以對面部模態(tài)和身體手勢模態(tài)進(jìn)行特征級的融合，另一個分類器對語音模態(tài)、生理信號模態(tài)進(jìn)行特征級融合，這兩個分類器上有另外的決策級分類器可以處理兩個特征級分類器的結(jié)果，并最終得到情感標(biāo)簽。混合融合的模型難度和復(fù)雜度比較高，能結(jié)合特征級的融合和決策級的融合的優(yōu)點(diǎn),混合融合框圖如圖11所示，但實(shí)用性較差。

圖11 混合融合框圖Fig.11 Hybrid fusion block diagram

文獻(xiàn)[91]引入了面部表情、皮膚電反應(yīng)、腦電圖等模態(tài)進(jìn)行多模態(tài)識別與融合，采用基于混合融合的多模態(tài)情感分析，其中，采用CNNF 模型訓(xùn)練面部表情信號，采用CNN模型和CNN模型訓(xùn)練EEG 和皮膚電反應(yīng)（galvanic skin response，GSR）信號，加權(quán)單元分別計算CNN模型和CNN模型輸出的化合價和加權(quán)和，然后將結(jié)果送到距離計算器計算情感距離，并與CNN模型得到的面部識別結(jié)果一起送到?jīng)Q策樹進(jìn)行決策融合得到情感類別。文獻(xiàn)[91]提出一種多模態(tài)情感識別的混合融合方法，采用潛在空間特征級融合方法，保持各模式之間的統(tǒng)計相關(guān)性，尋找共同的潛在空間來融合音頻和視頻信號，采用基于DS（Dempster-Shafer）理論的證據(jù)融合方法來融合視聽相關(guān)空間和文本模態(tài)。該方法解決了聲像信息的冗余和沖突的問題，兼顧了特征級和決策級的融合，但存在DS 融合方法的證據(jù)沖突問題。

3 總結(jié)與展望

隨著計算機(jī)處理能力的不斷提升，深度學(xué)習(xí)網(wǎng)絡(luò)及融合算法的不斷改進(jìn)，基于多模態(tài)的數(shù)據(jù)的表情識別將得到快速的發(fā)展，本文通過總結(jié)基于單一模態(tài)數(shù)據(jù)的傳統(tǒng)面部表情特征提取方法、基于單一模態(tài)的深度學(xué)習(xí)算法、基于多模態(tài)數(shù)據(jù)的表情識別與融合算法，將面臨的挑戰(zhàn)和發(fā)展趨勢歸納如下：

（1）人臉圖片的影響因素有很多，如角度旋轉(zhuǎn)、遮擋、模糊、光線、分辨率、頭部姿勢、個體屬性差別等，這些數(shù)據(jù)的處理技術(shù)不成熟，影響表情識別的進(jìn)展。

（2）基于多模態(tài)的數(shù)據(jù)集偏少，大部分?jǐn)?shù)據(jù)集大多是由視覺、文本、語音等模態(tài)的數(shù)據(jù)組成，姿勢、腦電波及其他生理信號等模態(tài)的數(shù)據(jù)少。

（3）數(shù)據(jù)集中的數(shù)據(jù)分布不均衡，常見的高興、傷心的表情多且容易識別，憤怒、蔑視等表情少且難捕獲。

（4）現(xiàn)有的模態(tài)融合技術(shù)往往沒有深入挖掘模態(tài)之間的相關(guān)性，以提高表情識別的準(zhǔn)確性。

（5）算法大多十分復(fù)雜，在多模態(tài)數(shù)據(jù)分析過程中，如果選用的模態(tài)過多，則融合的算法就十分復(fù)雜，如果選太少，可能無法提高識別準(zhǔn)確率。

（6）基于單模態(tài)數(shù)據(jù)的處理方法及各模態(tài)間的融合算法的選擇是影響識別準(zhǔn)確率的關(guān)鍵因素之一。各個步驟算法的選擇都很重要。

針對上述觀點(diǎn)，今后可以在如下幾個方面做進(jìn)一步的研究。

（1）構(gòu)建更多自然環(huán)境下高質(zhì)量的表情數(shù)據(jù)集或3D 人臉表情數(shù)據(jù)集，進(jìn)一步解決角度旋轉(zhuǎn)、遮擋、光線、頭部姿勢及個體屬性差異等復(fù)雜情況下的表情識別準(zhǔn)確率不高的問題。如：加入智能傳感器用于解決諸如照明變化、主體依賴和頭部姿勢等重大挑戰(zhàn)。

（2）構(gòu)建基于含姿勢、腦電波及其他生理信號等模態(tài)的多模態(tài)數(shù)據(jù)集，并研究多模態(tài)之間的模態(tài)相關(guān)性，以提高模型的泛化能力。

（3）未來與來自三維人臉模型、神經(jīng)科學(xué)、認(rèn)知科學(xué)、紅外圖像和生理數(shù)據(jù)的深度信息相結(jié)合，可以成為一個很好的未來研究方向。

（4）改進(jìn)現(xiàn)有的表情識別技術(shù)，利用GAN 網(wǎng)絡(luò)提高表情數(shù)據(jù)增強(qiáng)，解決表情數(shù)據(jù)量不平衡的問題。

（5）如何確定自然欺騙性面部表情的正確情緒狀態(tài)也是未來研究方面，隨著微表情在心理學(xué)領(lǐng)域的發(fā)展，可將現(xiàn)有的技術(shù)應(yīng)用于微表情的提取，制作微表情方面的數(shù)據(jù)集。

（6）改進(jìn)模態(tài)融合時的權(quán)值問題，對不同環(huán)境下，給不同模態(tài)不同的權(quán)值分配也是模態(tài)融合重點(diǎn)研究方向之一。

（7）為了讓機(jī)器更全面、更有效地感知周圍的世界，需要賦予它理解、推理和融合多模態(tài)信息的能力，如語音、圖像、氣味和生理信號等。利用多模態(tài)融合特征提高跨媒體分析的性能，如視頻分類、事件檢測、情感分析、跨模態(tài)翻譯等也是研究方向之一。同時，多模態(tài)信息融合所產(chǎn)生的特征冗余、缺少關(guān)鍵特征等問題仍有待解決。

（8）基于多模態(tài)數(shù)據(jù)和深度學(xué)習(xí)網(wǎng)絡(luò)的表情識別技術(shù)需要大量的優(yōu)質(zhì)數(shù)據(jù)集及計算力，如何將復(fù)雜的基于多模態(tài)數(shù)據(jù)的算法部署在計算資源有限的機(jī)器人終端上，研究如何對神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝及輕量化，也是未來的研究方向之一。

4 結(jié)束語

本文對現(xiàn)有的面部表情識別領(lǐng)域的研究成果進(jìn)行總結(jié)，歸納出基于單模態(tài)數(shù)據(jù)集和傳統(tǒng)機(jī)器學(xué)習(xí)的表情識別技術(shù)、基于單模態(tài)數(shù)據(jù)集和深度學(xué)習(xí)的表情識別技術(shù)、基于多模態(tài)數(shù)據(jù)集表情識別技術(shù)及模態(tài)融合技術(shù)等領(lǐng)域的成果，概要地介紹了多模態(tài)數(shù)據(jù)庫。最后，對當(dāng)前表情識別存在的問題與挑戰(zhàn)進(jìn)行總結(jié)和展望，指出后續(xù)表情識別的一些研究方向，如非正面人臉表情識別、微表情、多模態(tài)情感分析、輕量級神經(jīng)網(wǎng)絡(luò)等。