基于音視頻特征融合的情感識別方法研究

帖 云，程慧杰，靳 聰，李小兵，齊 林

(1.鄭州大學 信息工程學院, 鄭州 450001；2.中國傳媒大學 信息與通信工程學院, 北京 100024；3.中央音樂學院, 北京 100031)

情感計算的概念最早由Picard教授在《情感計算》[1]一書中提出，其被定義為一切和情感有關(guān)的計算。視頻情感識別作為情感計算的一個重要分支，吸引了越來越多研究者的關(guān)注。目前，大多數(shù)視頻情感識別研究主要集中于分析視頻中人臉的面部表情所表達的情感[2-3]，而不以人為中心的視頻情感計算的研究[4-7]的共同點是直接處理整幅視頻幀，忽略了視頻中復雜的視覺關(guān)系，這就會造成缺乏足夠的視覺特征表示，也會導致信息冗余。另外，現(xiàn)有的多模態(tài)情感分析中的融合方法多采用簡單神經(jīng)網(wǎng)絡(luò)[8]和拼接[4]，這容易造成模態(tài)間的隱藏信息丟失，從而導致較差的模型性能。

因此，本文提出了一種基于對象交互和跨模態(tài)交互融合的多模態(tài)情感識別方法，僅考慮包含對象的視頻幀區(qū)域之間的情感關(guān)聯(lián)，利用跨模態(tài)交互模塊學習模態(tài)間的隱藏信息，實現(xiàn)情感預測的任務。具體地，對于視覺信息流，首先采用Mask R-CNN提取出視頻幀中包含對象的區(qū)域及對應的特征序列；然后通過在特征空間衡量節(jié)點特征的相似性構(gòu)造情感關(guān)系圖，去探索視頻幀中不同對象之間的情感關(guān)聯(lián)；最后采用圖注意力網(wǎng)絡(luò)對視頻幀中復雜的視覺關(guān)系進行推理，與傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)不同，引入注意力機制為不同的節(jié)點特征分配不同的權(quán)重系數(shù)，找到對視頻情感貢獻較大的區(qū)域。對于音頻流，先利用多頭自注意力機制學習不同頻譜特征空間的聲學信息，然后利用雙向長短時記憶網(wǎng)絡(luò)(Bi-LSTM)提取對數(shù)梅爾頻譜片段的上下文信息，提取的聲學特征用于跨模態(tài)信息學習，對視覺信息進行補充；對于音視頻特征融合，利用跨模態(tài)注意力機制學習模態(tài)之間的關(guān)聯(lián)，該模塊將標準的Transformer層與跨模態(tài)注意力機制結(jié)合起來，通過學習音頻/視頻信息得到最終的視覺/聲學特征表示。

本文的貢獻主要包括3個方面：

1) 對象間的情感關(guān)系推理：通過在特征空間衡量節(jié)點特征的相似性，構(gòu)建由對象和視覺關(guān)系組成的場景圖，利用圖注意力網(wǎng)絡(luò)對包含對象的不同區(qū)域之間的情感關(guān)系進行推理，找到視頻的關(guān)鍵區(qū)域;

2) 聲學特征提取：利用多頭自注意力機制和雙向長短時記憶網(wǎng)絡(luò)捕獲序列中的長期依賴關(guān)系，利用幀級上下文信息對視覺信息進行補充;

3) 模態(tài)融合：跨模態(tài)注意力機制被應用到特征融合網(wǎng)絡(luò)中來學習音視頻之間的隱藏信息，并得到具有音/視頻感知的視/音頻特征表示，然后利用自適應門控融合將更新后的音視頻特征進行融合。

1 相關(guān)工作

傳統(tǒng)的情感識別主要集中在語音[9]、文本[10]等單一模態(tài)，雖然這些研究在各自領(lǐng)域已經(jīng)取得了很大的進展，但是由于人腦接收信息的多樣性使得單模態(tài)情感識別的準確率得不到保證，而多模態(tài)情感識別是通過學習不同模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)，捕獲數(shù)據(jù)之間的互補信息[4,7]，而提高情感識別的精確率，多模態(tài)情感計算逐漸成為研究趨勢。

隨著深度學習的快速發(fā)展，長短時記憶網(wǎng)絡(luò)[5]、卷積神經(jīng)網(wǎng)絡(luò)[11]等深度學習模型逐漸應用到視頻情感識別研究當中。Poria等[5]提出了一個基于雙向長短時記憶網(wǎng)絡(luò)(Bi-LSTM)的模型，捕獲視頻中的上下文信息，從而幫助分類過程。Gao等[11]提出了一個FT-EC-net網(wǎng)絡(luò)用于緩解視頻情感表達的稀疏性。但是情感通常由特定場景下多個對象執(zhí)行特定事件而觸發(fā)，這就需要對對象間的關(guān)系進行推理，而這些方法通常直接處理整幅視頻幀而忽略了對象間的情感關(guān)聯(lián)，導致模型性能沒有顯著提升。近年來，圖推理已成功應用于計算機視覺領(lǐng)域[12-14]，其核心思想是使視頻幀的不同區(qū)域之間能夠交互，生成這些區(qū)域的上下文表示。在本文中，我們將圖推理擴展到視頻情感識別領(lǐng)域，利用GCN網(wǎng)絡(luò)對視覺場景圖進行推理。

在多模態(tài)情感計算中，如何將多模態(tài)信息進行有效融合是提升多模態(tài)情感識別精度的關(guān)鍵。傳統(tǒng)的多模態(tài)融合主要分為數(shù)據(jù)層融合、特征層融合和決策層融合。就具體方法而言，主要分為基于簡單操作[4]、基于普通神經(jīng)網(wǎng)絡(luò)[8]和基于注意力機制[6-7,15]的模態(tài)融合策略。Zhao等[4]提出了一個基于音視頻特征融合的端到端的視頻情感識別網(wǎng)絡(luò)，提升了情感識別的精度，但是他們在特征融合階段將音視頻特征進行簡單地concatenate，這會導致模態(tài)間的信息不能充分利用；Lian等[7]提出了基于注意力機制的多模態(tài)情感識別模型，為不同模態(tài)的信息分配不同的權(quán)重，雖然基于注意力機制的融合相比concatenate而言，模型性能有所提升，但是這種方法忽略了模態(tài)間信息的學習。因此，提出采用跨模態(tài)注意力機制進行跨模態(tài)隱藏信息的學習，更好地將音視頻特征進行融合。其中，Yu等[15]提出的模型與本文方法相關(guān)，他們提出了一個跨模態(tài)交互模塊用于為每個詞生成圖像感知的詞表示和文字感知的視覺表示，與其不同的是本文將跨模態(tài)交互模塊用于音視頻之間的跨模態(tài)信息學習。

2 方法模型

提出一個基于音頻和視頻2種模態(tài)數(shù)據(jù)進行跨模態(tài)信息學習的情感識別模型，該模型通過視覺關(guān)系推理的方式探索視頻場景和對象中包含的情感線索，找到視頻的關(guān)鍵幀；同時提取梅爾頻譜片段的上下文信息作為聲學特征對視覺信息進行補充，然后利用跨模態(tài)交互模塊學習不同模態(tài)數(shù)據(jù)間的隱藏信息，從而實現(xiàn)對用戶生成視頻的情感預測任務，模型框架如圖1所示。

圖1 模型的總體框架

2.1 視覺關(guān)系推理

視頻中的場景和對象包含大量的情感線索，比如畫面的鮮血通常代表恐懼，而鮮花和陽光通常傳遞著開心，因此我們提出了一個基于對象交互的視覺關(guān)系編碼網(wǎng)絡(luò)對視覺信息進行編碼，找到對視頻情感貢獻較多的區(qū)域即視頻關(guān)鍵幀。直接將視頻幀表示成場景圖會導致圖推理過程復雜，因此應用Mask R-CNN[16]網(wǎng)絡(luò)提取出視頻幀中包含物體的區(qū)域以及對應的特征序列。為了更好地對時空特征進行建模，通過在特征空間衡量不同區(qū)域特征之間的相似性構(gòu)造了一個similarity graph，該similarity graph不僅可以學習同一幀中不同區(qū)域之間的情感關(guān)聯(lián)，還可以捕獲同一區(qū)域在不同幀中的情感關(guān)聯(lián)。

具體地，把包含物體的特征序列看作情感關(guān)系圖中的節(jié)點，鄰接矩陣A的非零元素表示節(jié)點i(i∈[1,N])的所有相鄰節(jié)點，它用來衡量2個節(jié)點表達相同情感的概率。但是并非所有的節(jié)點對情感分析的貢獻都是相同的，因此引入注意力機制為連接到節(jié)點i每條邊分配一個權(quán)重系數(shù)，權(quán)重系數(shù)是利用單層的前饋神經(jīng)網(wǎng)絡(luò)(FNN)得到。2個節(jié)點的特征相似性可以表示為：

Sij=φ(vi)Tφ′(vj)

(1)

式中：φ(v)=W1v和φ′(v)=W2v表示節(jié)點特征的變換；W1和W2是通過反向傳播學習得到的權(quán)重系數(shù)。

利用Softmax函數(shù)對矩陣的每一行進行歸一化，使連接到同一個節(jié)點的所有邊的權(quán)重系數(shù)和為1：

(2)

G=A⊙Gij

(3)

式中：⊙表示Hadamard product矩陣上相應位置元素相乘；G表示加權(quán)后的鄰接矩陣。

為了對視覺場景圖進行推理，引入GCN網(wǎng)絡(luò)[7]，圖卷積層可以定義為：

V=GvW

(4)

式中：v為節(jié)點特征；W為權(quán)重系數(shù)。

如圖2所示，圖卷積神經(jīng)網(wǎng)絡(luò)由多層圖卷積層堆疊而成。

圖2 圖注意力網(wǎng)絡(luò)框架

2.2 聲學特征提取

為使一維的語音信號能夠像圖像一樣方便地被卷積神經(jīng)網(wǎng)絡(luò)處理，使用64個Mel濾波器提取語音信號的靜態(tài)頻譜片段特征及它的第一次求導系數(shù)和第二次求導系數(shù)，將它們進行拼接之后就可得到類似于RGB圖像的梅爾頻譜片段。然后利用ResNet-18網(wǎng)絡(luò)作為特征提取器提取頻譜的特征a=(a1,a2,…,an)。為了捕獲語音信號長期的語義相關(guān)性，采用多頭自注意力機制[17]聚集來自不同子空間的信息。多頭注意力由H層平行的縮放點積注意力層堆疊而成，其可通過下式計算得到：

(5)

式中：Q、K、V是計算多頭注意力機制的查詢、鍵、值矩陣。

為計算多頭注意力機制，需要先把Q、K、V映射到不同的子空間中：

(6)

多頭注意力計算公式如下：

MultiHead(Q,K,V)=WConcat(head1,…,headH)

(7)

(8)

式中的Q、K、V被設(shè)置成相同的聲學特征矩陣a=(a1,a2,…,an)，此時多頭注意力機制就變成了自注意機制。基于此，得到基于自注意力機制的聲學特征表示A=[A1,A2,…,An]。

但是時間建模對于音頻信號語義理解至關(guān)重要，不能只依賴于自注意力機制去學習不同子空間的信息而忽略了上下文學習，因此采用雙向長短時記憶網(wǎng)絡(luò)整合聲學特征的上下文信息。然后將得到的聲學特征序列輸入到Bi-LSTM網(wǎng)絡(luò)中，得到聲學特征的上下文表示h=[h1,h2,…,hn]。

3 跨模態(tài)交互融合

將不同模態(tài)特征進行concatenate會導致模態(tài)間信息丟失，為了更好地將音視頻特征進行融合，引入跨模態(tài)交互融合模塊[14]學習模態(tài)之間的隱藏關(guān)聯(lián)，該模塊分為兩部分：跨模態(tài)交互模塊和自適應門控融合模塊。

跨模態(tài)交互模塊如圖3所示，以生成具有音頻感知的視覺特征表示為例，首先采用了一個p頭的跨模態(tài)注意力機制，使視覺模態(tài)可以接收音頻信息，其計算過程如下：

(9)

MH-CMA(V,h)=W′[CMA1(V,h),…,CMAp(V,h)]T

(10)

式中：Wqi、Wki、Wvi、W′分別表示Q、K、V和多頭注意力機制的權(quán)重矩陣。

圖3 跨模態(tài)交互模塊

跨模態(tài)交互模塊的最終輸出計算如下：

O=LayerNorm(V+MH-CMA(V,h))

(11)

S=LayerNorm(O+FNN(O))

(12)

式中：LayerNorm是指Layer Normalization層，F(xiàn)NN是前饋神經(jīng)網(wǎng)絡(luò)。

所以最終的具有音頻信息感知的視覺特征表示為S=[S1,S2,…,Sm],同理可得，具有視覺感知的聲學特征表示為Z=[Z1,Z2,…,Zn]。

為更好地融合音視頻特征，采用基于門控神經(jīng)網(wǎng)絡(luò)的融合模型[18]用于特征融合，該模型可以很容易地與其他神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)結(jié)合，其目標是為不同模態(tài)的數(shù)據(jù)找到中間表示。

使用以下公式來計算音視頻特征的中間表示，即用于情感預測的最終表示：

tS=tanh(WS·S+bS)

(13)

tZ=tanh(WZ·Z+bZ)

(14)

G=σ(W3[S,Z]+b)

(15)

x=G*tS+(1-G)*tZ

(16)

式中：WS、WZ、W3是可學習的參數(shù)；bS、bZ、b為偏置向量。

4 實驗結(jié)果

4.1 數(shù)據(jù)集

Video Emotion-8[19]：該數(shù)據(jù)庫共包括1 101個視頻片段，這些視頻是從Youtube和 Flickr網(wǎng)站下載得到，所有視頻的平均持續(xù)時間為107 s。根據(jù) Plutchik的情感劃分標準，將視頻類型人工標注為8種基本情感類型：生氣、期待、厭惡、恐懼、悲傷、高興、吃驚、信任。表1 顯示了每個情感標簽中的視頻數(shù)量。

Ekman-6 Dataset：該數(shù)據(jù)集也是從Youtube和Flickr網(wǎng)站收集的，總的視頻數(shù)量是1 637，每個視頻的持續(xù)時間約為112 s，這些情感被分為6類：生氣、厭惡、恐懼、悲傷、高興、吃驚。

4.2 相關(guān)參數(shù)及設(shè)置

實驗平臺：在Amax服務器上進行消融研究和對比實驗，顯卡是8塊Titan V顯卡，每塊顯存為12 GB；CPU型號是40核的Intel(R) Xeon(R) CPU E5-2640 v4，主頻為2.40 GHz；開發(fā)環(huán)境為Python 3.6。

參數(shù)設(shè)置：為評估所提出的模型，在數(shù)據(jù)集Video Emotion-8和Ekman-6數(shù)據(jù)集上進行訓練和測試。對于Video Emotion-8數(shù)據(jù)集，任意選擇2/3的數(shù)據(jù)進行訓練，其余的視頻用于測試。而對于Ekman-6數(shù)據(jù)集，選擇819個視頻作為訓練集，選擇818個視頻作為測試集。每一模塊的超參數(shù)設(shè)置如下：

1) 對于視頻流中包含物體區(qū)域的選取：發(fā)現(xiàn)在每幀中選取10個proposals足夠用于情感識別任務；

2) 在利用圖卷積神經(jīng)網(wǎng)絡(luò)進行推理時，將GCN的層數(shù)設(shè)置為3，卷積運算的參數(shù)用標準差為0.01的高斯分布初始化；

3) 實驗結(jié)果表明：當LSTM隱藏層維度為200～300時，模型表現(xiàn)良好，因此本文將隱藏層的維度被設(shè)置為256；

4) 跨模態(tài)注意頭的數(shù)量m=12。最后，訓練采用Adam優(yōu)化算法自動調(diào)整學習率，初始的學習率為0.000 1，訓練最大迭代次數(shù)為200次。

4.3 消融研究

為了探究不同模態(tài)的信息對模型結(jié)果的影響，在基準數(shù)據(jù)集Video Emotion-8和Ekman-6上進行了消融研究，實驗結(jié)果如表1-3所示，其中CMI是跨模態(tài)交互模塊(cross modal interaction module)的縮寫。

表1 Video Emotion-8數(shù)據(jù)集中每個情感類別的數(shù)量

表2 所提模型在Video Emotion-8數(shù)據(jù)集上的實驗結(jié)果

表3 所提模型在Ekman-6數(shù)據(jù)集上的實驗結(jié)果

由表2和表3可知：

1)當單獨使用音頻或者視頻模態(tài)的特征進行視頻情感預測時，提取的局部對象特征在本文模型上的性能表現(xiàn)較好，這是因為提出的視覺關(guān)系推理網(wǎng)絡(luò)考慮了不同對象之間的交互，提取到豐富的視覺特征；

2)雖然單一模態(tài)的分類精度不高，但是當加入跨模態(tài)注意力機制學習不同模態(tài)間的信息后，模型性能有較為明顯地提升，這是因為模態(tài)間的信息是互補的，基于幀級上下文的聲學特征對視覺信息進行了很好地補充；

3)不論是利用單一模態(tài)進行情感分析還是融合多種模態(tài)對視頻情感進行預測，模型在數(shù)據(jù)集Ekman-6上的分類精度普遍高于數(shù)據(jù)集Video Emotion-8，因為Video Emotion-8的另外2種情感Anticipation和Trust較難判別。

4.4 對比實驗

所提出的模型與以下基準模型進行了對比實驗：

1) SentiBank:Borth等[20]構(gòu)建了一個大型的視覺情感本體,該本體由1 200個概念和成為SentiBank的相關(guān)分類器組成；

2) E-MDBM[8]：以DBM為基礎(chǔ)提出了一個多模態(tài)輸入空間的聯(lián)合密度模型；

3) Image Transfer Encoding(ITE)[21]:提出借用以情感為中心的字典和輔助圖像對視頻進行編碼；

4) Context Fusion Network(CFN)：利用預先訓練好的CNNs模型檢測視頻中的事件、場景和對象，并利用CFN網(wǎng)絡(luò)將提取到的深層語義特征融合到一起。

為了評估所提模型，在數(shù)據(jù)集Video Emotion-8和Ekman-6上比較了本文模型與基線模型的性能。實驗結(jié)果如表4和表5所示，發(fā)現(xiàn)所有的方法都考慮了視覺特征，這是合理且可行的，因為結(jié)構(gòu)化的視頻對象中包含著豐富的情感線索。而以前的方法大多直接提取整幅視頻幀的特征，忽略了對象之間的情感關(guān)聯(lián)。與SentiBank和E-MDBM相比，本文所提模型的分類準確率分別提高了17.6%和12.7%，這是因為SentiBank和E-MDBM方法直接處理整幅視頻幀的特征，忽略了對象之間的交互。另外，雖然ITE模型分類精度有所提升，但是這種方法需要額外的輔助數(shù)據(jù)訓練分類器，導致了模型的復雜度增加。這里CFN利用簡單的神經(jīng)網(wǎng)絡(luò)去檢測視頻中的場景、事件所包含的情感線索，但是它并未挖掘場景和對象中的深層語義信息。與之相比，本文的模型采用了圖注意力網(wǎng)絡(luò)對視覺關(guān)系進行推理，分類精確度提升了2.5%。圖4展示了本文模型的一些分類結(jié)果。

表4 不同模型在數(shù)據(jù)集Video Emotion-8上的實驗結(jié)果

表5 不同模型在數(shù)據(jù)集Ekman-6上的實驗結(jié)果

圖4 視頻情感預測的定性結(jié)果

5 結(jié)論

提出了一種有效的基于音視頻特征融合的情感識別框架，實現(xiàn)了對視頻情感進行預測的任務。與現(xiàn)有方法不同，通過對視頻幀的不同區(qū)域之間的視覺關(guān)系進行推理找到視頻幀中對情感貢獻比較大的區(qū)域，在推理過程中不僅可以捕獲不同視頻幀之間的聯(lián)系，而且可以學習同一幀中不同區(qū)域之間的情感關(guān)系。另外，使用跨模態(tài)交互模塊學習音視頻模態(tài)之間的聯(lián)合嵌入空間，將音視頻特征進行有效融合。實驗結(jié)果表明：本文模型具有較高的精度。