跨模態語義時空動態交互情感分析研究

屈立成，郤麗媛，劉紫君，魏 思，董哲為

長安大學 信息工程學院，西安 710064

近年來，隨著互聯網和社交媒體的飛速發展，包含多種模態的數據呈現出爆炸式增長的趨勢，日益形成多源數據并存的信息格局，越來越多的用戶依靠社交媒體表達他們的感情，管理者也開始通過分析用戶對特定事物的態度進行科學、合理決策，情感分析逐漸應用于輿論分析、人機交互、產品營銷、行為預測等眾多領域。與此同時，情感分析作為自然語言領域的重要組成部分，也逐步從基于文本的單模態形式轉向文本、視覺、語音并存的多模態形式。

基于文本—視覺—語音聯合表達的多模態情感研究在文本分析的基礎上，加入圖像表達和語音語氣后，往往能傳達出更豐富的情感信息，展現出單模態情感分析隱藏的潛在內容，更為精確地推斷出說話人的情感傾向[1]。如圖1是CMU-MOSI數據集[2]中關于某部電影的評價視頻，可以將該視頻段中傳達出的異構數據分解成文字信息、視覺信息和語音語調三部分。其中，文字部分“He did not know what he was talking about.”沒有明顯的情感傾向，因此只通過文本很難判斷說話人的情感狀態；但是通過視覺信息上的皺眉、撇嘴和語音語調上的低聲，則可以表明說話人傳達出的情感狀態是消極的，因此，僅僅通過單模態預測情感極性很可能會導致誤判，而基于多源信息的情感分析則更利于情感極性的分類與判斷。

目前主流的多模態情感分析研究可以分為基于語義交互、基于空間交互和語義空間結合交互三種。基于語義交互的多模態情感分析側重于發掘模態內的潛在信息，進行模態語義建模；基于空間交互的多模態情感分析模型注重學習模態間的共享信息，建立跨模態關聯交互，從而弱化了模態間語義關系的學習；基于語義空間結合交互的多模態情感分析則是融合二者的優點，同時學習模態內外的語義聯系和異構交互，實現情感分類預測。雖然過去的眾多研究取得了顯著的成就，但是在跨模態情感分析領域仍舊存在眾多挑戰。一方面對于模態內外的語義關系挖掘不足，削弱了多模態框架的整體性能；另一方面過去的研究也很少關注多模態空間交互時的權重分配問題。

針對多模態情感分析研究現狀，本文提出了一種跨模態語義時空動態交互網絡（semantic and spatiotemporal dynamic interaction network of cross-modal，SST-DIN），主要貢獻如下：（1）引入語義交互模塊挖掘各模態內基于時間信息的前后依賴關系、學習模態間的交互聯系；（2）在空間交互模塊通過圖卷積網絡學習分特征與總特征間的相關性；（3）有效提升了跨模態聯合表示框架的表達性，提高了多模態情感分類的準確率和F1值。

1 相關工作

多模態情感分析研究的核心宗旨是融合不同模態傳遞出的情感信息，提高以多源信息為基礎的情感預測精度[3-4]。其早期多以語義交互為主進行研究，Zhang等人[5]為獲取用于聯合情緒分類的互補多模態信息，提出了一種基于深度匹配和層次劃分的跨模態語義關聯網絡，該方法通過建立圖像—文本對，獲取模態的非線性相關性進行分類預測。劉路路等人[6]提出一種面向多模態的方面級情感分析模型，通過注意力機制對基于方面詞的上下文表示和視覺表示分別進行加權，將加權后的聯合表示進行情感分類。Yang 等人[7]提出了一種用于情感分析的多模態翻譯模型，將視覺特征、語音特征轉換由BERT（bidirectional encoder representation from transformers）模型統一提取而來的文本特征，進行語義建模。Huang等人[8]提出了一種動態的模態內和模態間注意模型，通過模態間的語義關聯實現音頻和文本兩種模式的有效融合從而進行預測。這類模型通過學習模態內外的語義聯系實現了模態間映射關系的捕獲，然而基于語義交互的情感分析缺少了基于空間建模的考慮。

隨著多模態情感研究的發展，基于空間交互的情感分析得到了深入探討，Kumar 等人[9]以此為基礎提出了一種包含注意力機制的門控模型用于學習不同模態間的交互作用。隨后，越來越多的學者采用不同的方法研究模態間的空間交互。Wen 等人[10]提出了一種跨模態上下文門控卷積網絡用來捕獲局部跨模態交互作用，處理錯位信息，減少噪聲信息的影響，為多模態序列建模的層設計帶來了更多的可能性。Li 等人[11]提出一種基于交互式Transformer 和軟映射的多模態情感分析模型，使用基于交互式的多頭注意力引導模塊來挖掘各模態間的映射關系，在軟映射層通過堆疊軟注意力模塊將各模態間的映射關系映射到更高維度，實現多模態信息的融合。Ghorbanali 等人[12]提出了一種基于加權卷積神經網絡混合的多模態情感分析模型，利用RCNN（region-convolutional neural network）模型確定圖像中的對象并將其轉換為文本，通過BERT模型接收所有的文本描述，最后通過AdaBoos（tadaptive boosting）將弱分類器組合成一個強分類器實現情感預測。基于空間交互的情感分類預測效果往往優于不經過模態映射交互的模型，但基于空間交互的情感分析預測模型無法有效學習模態內和模態間的語義聯系。

基于語義空間結合交互的多模態情感分析研究則是汲取兩種模式的優點，通過語義聯系和映射交互共同作用來提高情感預測的精確度。Zadeh等人[13]提出了一種張量融合網絡，在張量層通過模態嵌入的三倍笛卡爾積建立一種端到端的模型，學習模態內和模態間動態交互。Yan等人[14]提出了一種具有跨模態建模的多張量融合網絡，利用多模態特征提取和跨模態建模的方法得到了跨模態間的情感聯系，通過多張量融合網絡對多對雙模態的交互作用進行建模，最終實現多模態特征的情感預測。Peng 等人[15]建立了一種具有層次融合的跨模態互補網絡，用于捕獲模態內和模態之間的特征。張峰等人[16]提出一種深度情感喚醒網絡，實現了空間上的模態交互和情感語義上的連續。Tang 等人[17]提出了一種耦合——翻譯融合網絡，通過耦合學習進行雙向語義建模，使用循環一致性約束來提高翻譯性能，依靠雙向學習實現了雙向交叉下的空間關聯。

當前的研究設計了多種語義空間融合框架用于學習多種模態交互表示，捕獲模態內外的相互作用，提升了多模態情感分析的精確度，取得了較好的效果。但是，由于缺少基于時間信息的跨模態語義交互和對齊研究，同時也很少考慮到模態空間交互時的權重賦值情況，削弱了多模態情感分析框架的表達性，因此論文提出了一種跨模態語義時空動態交互網絡用于增強跨模態的聯合表示，提高多模態情感分析的準確率。

2 跨模態語義時空動態交互網絡

本文提出的跨模態語義時空動態交互網絡如圖2所示。首先在特征提取層使用Glove 庫、Facet 庫和Covarep 庫提取文本、視頻和音頻特征，并使用雙向長短期記憶網絡（bi-directional long short-term memory，Bi-LSTM）獲取各模態的上下文序列特征表示；然后在語義交互層引入自注意力機制強化模態內權重分配，通過圖卷積神經網絡（graph convolutional networks，GCN）將基于時間戳的異構節點進行對齊和聚合，生成聚合后的卷積層特征，通過相關系數為每個卷積層動態賦權，將賦權后的卷積層特征轉換成圖特征表示，實現跨模態空間交互；最后，進行融合分類并完成情感極性的分類與預測。

圖2 跨模態語義時空動態交互網絡Fig.2 Semantic and spatial-temporal dynamic interaction network of cross-modal

2.1 特征提取

將每段視頻看作多模態信息的集合，假設每段視頻有n個話語段，t表示話語段序號，視頻中最大句子長度表示為L，使用Glove 庫、Facet 庫、Covarep 庫分別提取文本特征、視覺特征和音頻特征。由于多模態高維特征的對齊任務通常是基于單詞級別完成的，所以將各模態提取到的特征按照詞的維度求取平均值作為相應模態的高維特征，記為dm。如公式（1），視頻的所有句子級特征存放在矩陣Xm中可得：

式中，m∈{T,V,A} 表示模態，T表示文本，V表示圖像，A表示語音。

由于情感分析數據本身具有強烈的時間特征，將通過各特征提取庫提取到的特征存入Xm后，通過Bi-LSTM 挖掘各模態的時間序列特征和前后依賴關系[14]。首先使用LSTM捕獲長距離語義關系，處理在反向傳播過程中產生的梯度消失或梯度爆炸問題。其計算過程是輸入向量依次經過輸入門、遺忘門和輸出門，然后與上一時刻記憶單元的內部狀態進行比較，輸出特征，如公式（2）～（7）所示：

使用LSTM能捕獲模態中的上文關系，通過Bi-LSTM則可以獲取各模態語義關系中的上下文表示，如公式（8）～（10）所示：

2.2 語義交互

通過特征提取模塊獲取各模態內的上下文表示后，為保留各模態內與任務相關性更高的特征，在語義交互模塊加入自注意力機制實現模態內動態權重的匹配，然后將自動篩選后的特征矩陣送入異構圖中，以時間戳為基礎進行聚合，如圖3所示。

圖3 語義交互層Fig.3 Semantic interaction layer

2.2.1 自注意力機制模塊

在跨模態情感分析研究中，所有模態在任一時刻的特征貢獻程度并非同等重要。而通過自注意力機制可以從全局聚焦到重點信息上，因此使用自注意力機制對上下文特征序列進行分析，實現模態中語義要素的權重匹配。由于LSTM網絡層最終輸出的矩陣是Zm，所以將矩陣Zm輸入到self-Attention層中不斷強化權重分配過程，其計算過程如公式（12）～（15）所示：

在模型訓練過程中，復雜的環節可能會導致各模態通過注意力機制擬合時能力較弱，因此使用前饋神經網絡增強模型的性能，使用dropout 技術[18]增強模型的泛化性。將經過自注意力機制得到的結果送入到第一個線性層中，然后使用tanh激活函數，再經過dropout技術進行處理，將得到的結果送入到第二個線性層中，最后進行標準化處理，將最終輸出矩陣記為，計算過程如公式（17）～（18）所示：

式中，W1、W2和b1、b2分別表示線性變換中的權重和偏執。

2.2.2 圖構造模塊

特征矩陣經過自注意力機制處理后，送入圖卷積網絡，圖結構標記為G=(P,E)，其中P表示點集，E表示邊集，G1,G2,…,Gl表示第1,2,…,l層圖卷積。點集P中包含三種基于時間戳的異構節點，分別是文本節點T、圖像節點V和語音節點A。邊集E中構造了三種類型不同的邊，分別為從文本到圖像節點的邊(T,V)、從圖像到語音節點的邊(V,A)、從語音到文本節點的邊(A,T)。節點集P和邊集E建立了多模態情感關聯拓撲圖，并通過聚合周圍節點的特征，更新自身節點，則包含文本信息、圖像信息和語音信息的圖卷積網絡節點特征更新公式如公式（19）～（21）所示：

2.3 空間交互

在語義交互模塊實現了模態中語義要素的權重分配和模態間以時間戳為基礎的特征聚合。在空間交互模塊則是處理模態間的空間關聯，根據特征的重要性實現動態交互。在本節設計了一種基于加權特征融合的方法，實現空間交互，如圖4所示。

圖4 空間交互層Fig.4 Spatial interaction layer

GCN網絡對于每一層卷積聚合到的特征通常都是直接相加進行處理，但是在跨模態情感分析問題中，不同時間戳對應的信息重要程度不同，針對該問題，采用加權特征融合的方式，分配各卷積層的權重。公式（20）表示H(l)在第l層上獲得的所有節點信息，則N層卷積的特征均值表示為公式（22）：

根據每層分配的權重，計算每個卷積層的最終表示，如公式（24）所示：

其中，為了加大有效特征的權重同時加快收斂速度，將α設置成大于1 且根據梯度自動調整的系數，表示第l層卷積中所有節點特征的表示。

由于在圖分類任務中，需要將所有節點特征向量轉換成圖特征向量進行表示，因此使用readout 函數聚合節點特征獲得基于圖卷積層的特征表示，如公式（25）所示表示每一層的圖特征。

2.4 融合分類

其中，HS代表經過全連接層后獲得的特征表示，y∈R代表預測到的情感極性的概率分布，WS、bS表示權重和偏置。

3 實驗結果與分析

3.1 數據集

實驗選取CMU-MOSI 數據集[2]和CMU-MOSEI 數據集[19]對模型的性能進行檢驗評估，兩個數據集均來源于YouTube網站，是基于視覺—文本—語音聯合表達的綜合性數據集，具有一定的代表性。

其中，CMU-MOSI數據集包含了93個視頻片段，被劃分成包含了2 199 個標有情感極性的視頻段，涵蓋了[-3，+3]的7 類情感標簽，-3 表示強負面情感，0 表示中性情感，+3 表示強正面情感，[-3，0]的情感消極程度依次遞減，[0，3]的情感積極程度依次遞增；CMU-MOSEI數據集以CMU-MOSI 數據集為基礎，進行了數據量的擴展，涵蓋了250 種話題的23 454 條視頻片段，同樣也包括了[-3，+3]的7 類情感標簽。實驗過程中數據集的劃分情況如表1所示。

表1 數據集劃分表Table 1 Datasets division table

3.2 實驗設置

3.2.1 實驗環境

實驗代碼均是基于服務器端Ubuntu 20.04 的環境下完成的，編程語言采用Python 3.9，深度學習框架是Pytorch 1.10.2，GPU 配置是GTX 1080 Ti，CUDA 和cuDNN設置分別是CUDA Tookit 11.6和cuDNN V8.2.1。

3.2.2 評價指標

本文選取準確率（Accuracy）和F1 值（F1-Score）作為評估指標。其中準確率代表了所有數據中被預測正確的值，是衡量模型性能的最直觀指標，如公式（28）所示，在本實驗中選取7分類精確率Acc7和2分類精確率Acc2作為準確率評價值。F1值是以召回率（Recall）、精確度（Precision）為基礎形成的綜合指標，用來衡量分類模型的精度，如公式（29）所示。Accuracy和F1值越大，表明模型的整體性能越好。

其中，TP表示真正例，即被模型預測為正例的正樣本數量；FP表示假正例，即被模型預測為正例的負樣本數量；TN表示真反例，即被預測為負類的負樣本；FN表示假反例，即被預測為負類的正樣本。

3.3 參數優化

在進行實驗訓練時，優化器選用Adam，損失函數選用多分類任務中常用的Cross entropy，同時考慮到CMU-MOSI 數據集規模較小而CMU-MOSEI 數據集規模較大，所以將MOSI數據集實驗下的batch_size分別設置為64，而將CMU-MOSEI 數據集實驗下的batch_size分別設置為32。此外，通過參數實驗分析了SST-DIN模型在dropout、learning rate、hiden size 不同設置下的超參數敏感性，在兩個數據集上進行實驗，其初始值均設置為（0.5，0.01，200）。

將dropout 值依次設置為{0.1、0.3、0.5、0.7、0.9}，由圖5（a）可知，當dropout=0.5，在CMU-MOSI數據集上獲得了最高準確率82.7%，在CMU-MOSEI 數據集上，當dropout=0.7時，最高準確率為84.3%。

圖5 CMU-MOSI和CMU-MOSEI數據集上的參數實驗Fig.5 Parameter experiments on CMU-MOSI dataset and CMU-MOSEI dataset

由圖5（b）可知，learning rate的值依次設置為{0.001、0.002、0.003、0.005、0.01}，當learning rate=0.01 時，SSTDIN模型在CMU-MOSI數據集上準確率最高為82.7%，在CMU-MOSEI 數據集上，當learning rate=0.005 時，效果最好為84.1%。

將hiden size 值依次設置為{100、200、300、400、500}，由圖5（c）可知，兩條精度曲線都是先增加，后下降。在CMU-MOSI 數據集上，當hiden size=200 時，準確率最高可達82.7%。在CMU-MOSEI 數據集上，當hiden size=300時，效果最好為84.4%。

因此，由圖5 可知，在CMU-MOSI 數據集上，將dropout、learning rate、hiden size 設置為（0.5，0.01，200）效果最好；在CMU-MOSEI數據集上，將dropout、learning rate、hiden size設置為（0.7，0.005，300）效果最好。

3.4 對比實驗

3.4.1 基準模型

在本小節選取了一些經典模型和新型模型BCLSTM[20]、GMFN[19]、RAVEN[21]、MCTN[22]、MTGAT[23]、QMF-Glove[24]、DEAN[15]作為基準模型與SST-DIN 模型進行對比。

BC-LSTM：用于捕捉話語間的依賴關系，使連續話語間能夠共享上下文信息的多模態情感分析模型。

GMFN：以MFN模型為基礎，用動態融合圖替換原始融合組件，用于研究多模態語言模式的動態融合。

RAVEN：通過對非語言模態詞序列的細粒度結構進行建模，用于動態轉換詞表示和捕獲非語言模式表達的情感。

MCTN：通過循環一致性損失來增加模態轉換的精確率，以編碼器-解碼器的結構來獲取聯合表示，實現情感分類預測。

MTGAT：將未對齊的多模態序列數據轉換成由邊和異構節點組成的圖，用于捕獲不同模態間的交互。

QMF-Glove：從量子學角度出發，將單模態內的相互作用和跨模態間的相互作用分別在不同階段用疊加和糾纏來表述。

DEAN：由跨模態Transformer 模塊、多模態Bi-LSTM 模塊和多模態門控模塊組成的用于模擬人類處理多通道信息的深度情感喚醒網絡。

其中，BC-LSTM、GMFN、MTGAT 存在與SST-DIN模型相似的模塊，RAVEN、MCTN、QMF-Glove、DEAN是近年來的新型框架。這些模型都是通過捕獲模態內外的相互作用來提升多模態情感分析的精確度，而論文提出的SST-DIN 模型在此基礎上增加了基于時間信息的語義交互和空間交互研究，同時也考慮到分特征與總特征間的相關性，提高了多模態情感分析框架的表達性，因此在實驗分析階段選用了上述七種模型來與SSTDIN模型進行對比。

3.4.2 對比實驗結果及分析

觀察圖6可知，在CMU-MOSI數據集上SST-DIN模型的Acc2 和F1 值分別提高了0.7%～11.9%和0.6%～10.4%，Acc7 除了低于DEAN 模型0.5%外，其表現均優于其他模型。觀察圖7 可知，在CMU-MOSI 數據集上，SST-DIN模型表現更為優秀，所有評價指標均優于對比模型，其中Acc2 提高了2.1%～14%，F1 值提高了1.7%～13.5%，Acc7 提高了0.4%～40.6%。由此可以看出，CMU-MOSI 數據集和CMU-MOSEI 數據集在進行語義交互和空間交互后，真正例和真反例被正確識別的概率明顯增加，因此ACC2 值和F1 值的提升幅度較為明顯，而ACC7值由于分類界限較模糊，所以效果接近于目前的先進水平。

圖6 CMU-MOSI數據集上性能比較Fig.6 Performance comparison on CMU-MOSI dataset

圖7 CMU-MOSEI數據集上性能比較Fig.7 Performance comparison on CMU-MOSEI dataset

3.5 消融實驗

通過對比實驗驗證了SST-DIN模型具備的優越性，通過消融實驗則可以分析SST-DIN 模型中各模塊的貢獻度。因此，在CMU-MOSI 數據集上從兩方面進行消融研究：（1）各模態的重要性；（2）模型中各模塊的貢獻度。

3.5.1 模態消融

為研究多模態情感分析任務中各模態的重要性，分析不同模態組合下SST-DIN模型的性能，分別將單模態（文本、視覺、語音）、雙模態（文本+視覺，文本+語音，視覺+語音）6 種模態組合作為輸入，進行模態消融實驗，結果如表2所示。

表2 在CMU-MOSI數據集上模態消融結果Table 2 Modality ablation results on CMU-MOSI dataset 單位：%

由表2可知，當單模態作為輸入時，文本模態相較于視覺模態Acc2、F1 值、Acc7 分別提高了31.6%、42.8%、69.3%，文本模態相較于語音模態Acc2、F1 值、Acc7 分別提高了29.3%、30.7%、48.4%，文本特征的表現明顯優于視覺特征或語音特征，表明了語言特征在情感分類任務中具有更多的重要性。當雙模態作為輸入時，文本—視覺、文本—語音進行聯合表征時分類效果好于視覺—語音的聯合輸入，Acc2 分別提高了30.1%和30.8%，F1值分別提高了33.4%和33.8%，Acc7分別提高了34.99%和36.9%。同時雙模態輸入的效果均好于其單模態輸入；文本—視覺、文本—語音組合相比于文本單獨輸入時Acc2 提高了2.3%和2.6%，文本—視覺、視覺—語音組合相比于視覺單獨輸入時Acc2 提高了34.6%和3.3%，文本—語音、視覺—語音組合相比于語音單獨輸入時Acc2提高了32.7%和1.5%。但視覺、文本、語音聯合表征的分類效果最好，表明了多模態數據在情感分類中的重要性。

3.5.2 模型消融

為進一步探索不同模塊對于SST-DIN 模型的貢獻程度，針對不同的部分設計了四組消融實驗。

（1）Bi-LSTM 模塊消融：刪除SST-DIN 模型的時間序列特征提取模塊，將特征直接輸入語義交互層。

（2）自注意力模塊消融：刪除SST-DIN 模型的自注意力模塊，將通過Bi-LSTM 模塊獲取的上下文特征不進行權重匹配，直接送入GCN中進行特征對齊。

（3）GCN 及空間交互層消融：刪除語義交互層的GCN 模塊和空間交互層，將經過自注意力機制獲取的特征直接進行融合分類。

（4）空間交互層消融：刪除SST-DIN 模型的空間交互層，通過GCN 進行聚合后不進行動態分配卷積層權重，直接進行融合分類。

由表3可知，進行GCN模塊及空間交互層消融實驗時，Acc2 下降了8.2%，F1 值下降了7.0%，Acc7 下降了18.1%，表明GCN 模塊及空間交互層對模型影響最大；自注意力模塊缺失后，對模型影響較小，Acc2、F1 值和Acc7 分別下降了1.8%、2.0%和2.8%；Bi-LSTM 模塊消融和空間交互層模塊消融后，Acc2 分別下降了4.3%和2.6%。因此任意模塊的缺少都會導致模型精度的缺失，完整的SST-DIN模型效果最好。

表3 在CMU-MOSI數據集上模型消融效果對比Table 3 Comparison of model ablation effect on CMU-MOSI dataset 單位：%

4 結語

本文利用多模態情感分析中存在的交互性和相關性，挖掘了各模態的時間序列特征，構建了一種跨模態的語義時空動態交互網絡，實現了模態內外特征的交互和融合。在公開數據集CMU-MOSI和CMU-MOSEI上進行對比實驗，結果表明該模型可以更為精準地判斷情感極性，在Acc2、F1 值和Acc7 上均有所提升；在CMUMOSI 數據集上完成了消融實驗，結果表明通過語義交互和空間交互后，增強了多模態情感分析框架的整體性能，提高了跨模態聯合表示的先進性，對多模態情感分析研究有重要的理論意義和參考價值。

本文中的實驗均是基于多源數據完整、連續的情況下進行設計與實現的，缺少多模態數據缺失和分布不均衡情況下的情感分析研究，因此在未來研究中將著重于考慮異構模態缺失和多源數據分布不均衡下的跨模態交互建模，實現全領域、多方面的情感分析。