基于跨模態Transformer的多模態細粒度情感分析方法研究*

陳 愷董修崗周祥生

（1.南京理工大學計算機科學與工程學院 南京 210094）（2.中興通訊股份有限公司 南京 210012）

1 引言

細粒度情感分析是情感分析領域中的一項重要的子任務，它的目標是確定句子中每個觀點實體的情感傾向［1］，在近年來成為了一個研究熱點［2］。相關的研究工作包括基于傳統的特征工程的方法［3］，和基于深度學習的方法［4］等。隨著近年來預訓練語言模型在眾多自然語言處理任務中開始流行，文獻［5］提出了基于BERT［6］的模型來解決細粒度情感分析任務，該模型在多個數據集上獲得了目前最好的實驗結果。

然而，隨著互聯網技術的飛速發展，在線社交媒體成為了人們生活中的重要部分［7～8］，人們在其中發布的內容也從單一的文本信息轉變為圖文并茂、視音頻結合的多模態信息。盡管之前工作提出的方法在基于純文本信息的細粒度情感分析任務上取得了較好的結果，對于這些多模態信息這些方法仍然存在一定的局限性，尤其是無法對模態間的信息交互進行建模，影響最終情感分析的效果。

基于以上的研究現狀，一種新興的多模態細粒度情感分析任務被提出［9］，該任務針對多模態的社交媒體數據，根據數據中的文本和圖片信息，綜合判斷文本中每個觀點實體的情感傾向。本文針對該任務，提出了一種層次化的跨模態Transformer神經網絡模型（Hierarchical Cross-modal Transformer，HCT），通過調整跨模態Transformer的輸入來建模文本與圖片模態之間的信息交互，以解決目前基于純文本數據的細粒度情感分析模型無法有效建模多模態數據的問題。本文在兩個真實的多模態社交媒體數據集上開展了實驗，并與一些經典的細粒度情感分析方法進行對比，證明了提出的模型能夠有效提高多模態細粒度情感分析任務中情感傾向判斷的準確性。

2 相關研究工作

2.1 細粒度情感分析

細粒度情感分析任務是情感分析領域中的一個經典任務，本文將近年來的相關工作分為如下兩類分別進行介紹。

一類是基于特征工程的方法。這些方法主要利用一些外部語義信息，例如Part-of-Speech標簽、句法解析標簽以及情感詞典等，來人工構建針對細粒度情感分析任務的特征模板，并使用傳統的機器學習模型基于特征模版進行情感分類［10］。雖然這些方法在當時都取得了較好的結果，但是它們都比較依賴人工構建的特征，人力資源消耗較大。

另一類是基于深度神經網絡的方法。文獻［11］基于句法解析樹構建了一種針對細粒度觀點實體的遞歸神經網絡。文獻［12］設計了一種基于門控機制的卷積神經網絡來動態地控制與觀點實體詞情感傾向有關的信息流入。另外，文獻［13～14］等設計了基于注意力機制的方法，以有效建模文本中的長距離依賴問題。

2.2 多模態情感分析

多模態情感分析任務是情感分析領域中一個新興任務，該任務提出的目的是為了利用其他模態（圖片、音頻）的信息來對文本模態進行補充，從而提升情感分析的準確性。

目前多模態情感分析任務的相關工作主要針對多模態對話數據展開，主要為粗粒度的句子級情感分析模型。文獻［15］提出了一種基于層次化卷積神經網絡（CNN）的方法，該方法針對多輪對話數據，首先進行語音識別，然后將識別后的語義特征與文本特征拼接后再進行分類。文獻［16］提出的方法首先通過預訓練的CNN網絡抽取文本特征，然后采用了多核學習（multiple kernel learning）的方式來融合文本、語音和視頻三種模態的信息。文獻［17］分別設計了張量融合網絡（tensor fusion network）和記憶融合網絡來建模多輪對話中的多模態信息融合。

然而，它們都是粗粒度的句子級情感分析方法，不能直接利用來解決細粒度的情感分析任務。因此，十分有必要提出一種方法來解決多模態細粒度情感分析問題。

3 層次化跨模態Transformer（HCT）模型

HCT模型的結構如圖1所示。在本節中，首先對多模態細粒度情感分析任務進行定義，然后詳細介紹本文提出的HCT模型中包含的三個模塊以及模型的優化方法。

圖1 HCT模型結構圖

任務定義：多模態細粒度情感分析任務中的每一個樣例都包含一條由n個詞組成的文本，記為S=(w1,w2,…,wn)；以及一張圖片，記為V。其中文本中包含r個不同的觀點實體，記為(t1,t2,…,tn)。該任務以文本、圖片對(S,V)作為輸入，判斷文本中r個不同的觀點實體的情感傾向y∈Y，其中Y是該任務的標簽體系，包含正類、中立以及負類三種不同的情感標簽。

3.1 信息抽取模塊

該模塊分為文本信息抽取和圖片信息抽取兩部分，本節將對這兩部分分別進行介紹。

3.1.1 文本信息抽取

由于預訓練語言模型在多種NLP任務中表現出了較好的效果，本文采用BERT作為文本編碼器來對文本進行編碼。

首先，受文獻［9］的設置啟發，本文將輸入的文本信息S分為兩部分，分別為觀點實體詞以及對應的上下文，其中上下文中的觀點實體詞使用$T$來替代。然后利用BERT中的［SEP］標簽將這兩部分拼接起來記為S'，構成BERT的輸入。我們將S'送入BERT編碼后，獲得輸入文本的隱層表示：，其中n是輸入文本中包含的單詞的個數，d為每個單詞的向量維度。

3.1.2 圖像信息抽取

本文使用了Faster RCNN［18］這種具有較好性能的目標檢測模型來對圖片進行編碼。該模型對圖片中物體的檢測過程主要包含兩部分：1）首先通過區域候選網絡（Region Proposal Network，RPN）來檢測圖片中如人、汽車等具有語義特征的物體；2）判斷這些被檢測出的物體的類別。

具體地，對于給定的圖片V，本文使用在Visual Genome數據集［19］上預訓練的Faster RCNN網絡來抽取圖片中所有的物體特征，然后根據Faster RCNN檢測過程中每個物體的置信度，選擇k個置信度最高的物體作為圖片的表示：

其中?vi∈R2048是經過Faster RCNN檢測得到、平均卷積池化后的第i個物體的隱層表示。

最后，將經過Faster RCNN得到的物體隱層表示進行拼接，并通過線性變換將圖片表示的維度映射到和文本表示同一維度，從而得到最終的圖片表示：

其中W∈R2048×d是線性變換的參數，HV∈Rd×k是最終的圖片表示。

3.2 多模態交互模塊

在獲得了文本表示和圖片表示后，本文設計了一種基于跨模態Transformer的多模態交互模塊，該模塊的作用是為了建模文本與圖片之間的交互來獲得文本相關的圖片表示以及圖片相關的文本表示，以促進模態之間的信息融合。

多模態交互模塊的核心由跨模態Transformer構成，該結構如圖2所示。以文本相關的圖片表示為例，首先，本文引入多頭跨模態注意力機制（MCA），通過設置文本表示HS為查詢（Query）向量，圖片表示HV為鍵（Key）和值（Value）向量，以獲得用圖片特征表示的文本信息。具體來說，對于MCA的第i個頭，計算方式如下：

圖2 跨模態Transformer結構圖

其中，m表示注意力頭的數量表示第i個頭中的參數。將m個頭的輸出結果進行拼接和線性變換，從而獲得MCA的輸出：

其中，Wm是多頭跨模態注意力機制中線性變換的參數。接下來，和標準Transformer類似，將MCA的輸出送入層歸一化（Layer Normalization，LN）層以及前饋神經網絡中，并且添加殘差連接，以提升深度神經網絡的穩定性以及非線性能力：

其中，HS→V即為經過跨模態Transformer后獲得的經過模態融合后的文本相關的圖片表示。

為了使得網絡能夠獲得更好的信息抽取以及抽象能力，本文通過疊加跨模態Transformer層，讓下層的輸出作為上層的輸入，從而構建出更加深層的網絡：

圖片相關的文本表示也同理，通過將圖片設置成查詢向量，文本設置成鍵向量以及值向量，送入與式（3）～式（7）結構相同但是參數不同的跨模態Transformer結構中，從而獲得圖片相關的文本表示，其中l是該部分跨模態Transformer的疊加層數。

在獲得文本相關的圖片表示以及圖片相關的文本表示后，將這兩部分表示拼接送入標準的Transformer結構中以建模這兩部分表示的交互：

其中H∈Rd×(k+n)是最終的多模態融合表示。

3.3 輸出模塊

在獲得多模態融合表示H后，我們將H的第一列向量送入softmax層進行情感分類，從而得到最終的觀點實體詞的情感傾向概率分布：

為了優化模型中的參數，本文設置了如下的交叉熵損失函數作為目標函數，通過使得目標函數最小化來讓模型中的參數達到最優：

4 實驗結果與分析

本文基于兩個真實的多模態細粒度情感分析任務數據集進行實驗，并且與若干種具有代表性的方法進行對比，以證明提出的方法的有效性。

4.1 實驗設置

如表1所示，本文采用了兩個真實的多模態細粒度情感分析數據集來展開實驗，這兩個數據集被命名為Twitter-15和Twitter-17，分別從2014年-2015年和2016年-2017年的Twitter平臺中進行采樣。這兩個數據集中觀點實體的情感傾向由文獻［9］進行標注，相關的簡單統計如表1所示。本文用正確率（ACC）、準確率（P）、召回率（R）和宏平均（F1）來衡量模型的性能。

表1 數據集相關統計

本文使用經過預訓練的uncased BERT base模型［6］對文本信息進行編碼，使用以ResNet-101作為骨架網絡的Faster RCNN模型對圖片信息進行編碼［18］，根據Faster RCNN中目標檢測的置信度來對抽取的特征進行排序，選擇置信度最高的36個特征作為圖片表示。

4.2 實驗結果及分析

本文設置了如下方法進行比較：1）Faster RCNN-Target通過直接對觀點實體詞和圖片進行編碼，然后送入跨模態Transformer結構進行交互。2）AE-LSTM［19］是一種將觀點實體詞的表示加入輸入的LSTM網絡結構。3）MemNet［20］是一個包含局部以及全局位置信息的多跳記憶化網絡。4）RAM［21］是一種使用多重attention機制的RNN網絡。5）MGAN［22］是一種多重粒度的深度網絡模型。6）BERT［6］是一種基于Transformer的預訓練語言模型，該模型的預訓練任務包括完型填空任務以及下文匹配任務。7）MIMN［23］是一種基于LSTM的多模態神經網絡模型。8）ViLBERT［24］是一種基于Transformer的多模態預訓練模型。9）ESAFN［25］是一種與觀點實體詞相關的注意力融合神經網絡模型。

實驗結果如表2所示，實驗顯示本文提出的方法在Twitter-15和Twitter-17數據集上均獲得了最好的結果。基于所有的實驗結果，本文能夠做出如下總結：1）只采用圖片信息的方法表現最差（Faster RCNN-Target）。這可能由于對于多模態細粒度情感分析任務而言，圖片信息雖然能夠對文本信息產生補充，但是仍然無法起主導的作用。2）添加了圖片信息后的方法比大多數未添加圖片信息的方法的表現要好。這點說明圖片能夠為文本提供信息補充，從而提升模型情感分類的準確性。3）ViLBERT模型的結果表明，它能夠比大多數只利用文本信息的模型表現要好，但是比BERT要差，說明對于多模態細粒度情感分析任務而言，需要有針對性地設計模型。4）本文提出的方法在兩個數據集上的表現均為最優，說明本文提出的模型結構能夠有效建模圖片和文本模態間的信息交互，從而提升多模態細粒度情感分析的性能。

表2 主要實驗結果以及對比

另外，如表3所示，本文觀察了實驗中各個模型的情感預測結果，并對具有代表性的樣例進行分析。表3（a）中的例子表明，我們的模型在綜合考慮圖片中的臉部表情等元素后，能夠有效預測出觀點實體詞的情感傾向，而僅僅利用文本信息的BERT模型無法有效判斷；表3（b）中的例子表明，本文提出的方法能夠根據圖片中的中立元素以及人的表情等來輔助文本進行情感分類，而BERT模型容易被純文本信息所誤導。

表3 樣例分析

最后，本文探究了跨模態Transformer的疊加層數對于情感分類結果的影響。如圖3所示，我們將跨模態Transformer的疊加層數分別設置為1～4，實驗結果表明，跨模態Transformer的疊加層數對情感分類的影響并不顯著，但是當疊加層數為1時模型取得了最好的結果。

圖3 跨模態Transformer疊加層數對實驗結果的影響

5 結語

本文針對多模態細粒度情感分析任務提出了一種層次化跨模態Transformer神經網絡模型（HCT）。該模型首先抽取圖片中具有高級語義信息的特征，進而通過跨模態Transformer結構建模文本與圖片間的信息交互以融合多模態特征，最終完成多模態細粒度的情感分析任務。

本文通過實驗與現有的情感分析模型進行對比，驗證了本文提出的模型在兩個真實的多模態細粒度情感分析數據集上的有效性。未來我們將探索如何減小圖片噪聲的引入帶來的影響，從而進一步在多模態細粒度情感分析任務上獲得提升。