基于多視圖關注網絡的圖文多模態情感分析模型

摘" 要： 針對現有多模態情感分類模型無法全面、準確地捕獲復雜的情感信息，以及融合過程中沒有充分挖掘兩者之間的潛在關聯，導致模型結構冗余復雜、計算效率低下的問題，提出一種多視圖關注網絡（MPF?Net）模型。該模型通過引入多維感知特征捕獲機制，全面而精確地獲取圖像和文本中蘊含的情感信息；其次，采用增強的記憶互動學習機制，使模型能夠更加有效地提取和融合單模態特征，并在多輪迭代中不斷更新和優化這些特征，從而捕捉到更深層次的情感細節；再構建一個高級深度學習框架，該框架采用生成對抗網絡（GAN）與池化技術的深度融合單元，以實現復雜數據特征的高效提取與整合；最后，在保留原有特征信息的基礎上進行特征整合，同時通過降維技術降低模型的復雜性，提高計算效率。在公開數據集MVSA?Single和MVSA?Multiple以及自建數據集上通過實驗驗證所提模型的準確性，結果表明，與多個基線模型對比，所提模型的準確率和F1值均有所提高。

關鍵詞： 多模態情感分析； 對抗學習； 多視圖網絡； 生成對抗網絡； 文本特征提取； 特征融合

中圖分類號： TN911.25?34； TP391.1" " " " " " " " " "文獻標識碼： A" " " " " " " " 文章編號： 1004?373X（2024）12?0157?08

A graphic text multimodal sentiment analysis model based on multiview

attention network

CONG Zihan1， ZHANG Sijia1， 2， 3

（1. Liaoning Provincial Key Laboratory of Marine Information Technology， College of Information Engineering， Dalian Ocean University， Dalian 116023， China;

2. MOE Key Laboratory of Environment Controlled Aquaculture， Dalian Ocean University， Dalian 116023， China;

3. Dalian Key Laboratory of Smart Fisheries， Dalian 116023， China）

Abstract： In allusion to the problems that the existing multimodal emotion classification models cannot comprehensively and accurately capture the complex emotion information as well as the fusion process does not fully explore the potential correlation between the two， which leads to the redundant and complex model structure and computational inefficiency， a multi?view concern network （MPF?Net） model is proposed. In this model， multidimensional perceptual feature capture mechanism is introduced to comprehensively and accurately acquire the emotional information embedded in images and texts. An enhanced memory?interactive learning mechanism is employed to make the model effectively extract and fuse single modal features， and continuously update and optimize these features in multiple iterations， thereby capturing deeper emotional details. An advanced deep learning framework is constructed， which can employ a deep fusion unit of generative adversarial network （GAN） and pooling techniques for efficient extraction and integration of complex data features. The feature integration is performed on the basis of retaining the original feature information， while the complexity of the model is reduced and the computational efficiency is improved by means of the dimensionality reduction techniques. The accuracy of the proposed model was verified by experiments on public datasets MVSA?Single， MVSA?Multiple， and self?built datasets. The results show that， in comparison with multiple baseline models， the accuracy and F1 value of the proposed model is improved.

Keywords： multi?modal sentiment analysis; adversarial learning; multi?view network; generating adversarial networks; text feature extraction; feature fusion

0" 引" 言

多模態情感分析是一項前沿且高效的技術，通過整合不同來源的信息和視角，深入挖掘文本數據中的情感傾向，從而提供更全面和準確的情感識別服務。隨著互聯網和數字媒體的快速發展，每天都會產生大量包含豐富情感色彩和用戶觀點的數據，因此，如何準確地從這些龐大的數據中抽取和分析情感傾向成為了自然語言處理領域的一個重要研究方向。

傳統的情感分析方法往往依賴于手工制定的規則或是簡單的機器學習模型，這在處理復雜、多樣的語言表達時顯得力不從心[1?2]。深度學習技術的崛起為處理這一問題提供了新的思路[3?4]，特別是注意力機制（Attention Mechanism）的引入，使得模型能夠關注到文本中重要的情感信息，顯著提高了情感分析的準確性[5?6]。在此基礎上，多視圖關注網絡應運而生。多視圖學習（Multi?View Learning）是一種集成學習策略，通過融合來自不同視角的信息來構建更具有魯棒性的模型。這種方法認為，不同的特征或信息源可以提供數據的不同“視圖”，通過整合這些“視圖”，模型可以獲得一個更全面的數據表示[7?8]。

多視圖學習逐漸被應用于情感分析任務中。J. Pennington等人提出了一種基于圖像標題的分層語義關注網絡模型（HSAN）[9]。I. Sutskever等使用具有視覺和文本特征的一致回歸模型來訓練最終情感分類器的模型[10]。D. Kingma等利用具有注意力機制的基于樹的RNN進行圖像文本情感分析，在多模態情感分類中，圖像對應的標題被用作信息中的附加信息[11]。Lai等人將圖像情感與文本情感相結合，構建了多模態情感分析深度神經網絡[12]。Liu等人提出一種了跨模態一致性回歸（CCR）[13]。Xu等人提出一種MultiSentiNet模型，提取圖像的深層語義特征用于訓練文本[14]。Zhang等人提出了一種深度多模態注意力融合模型（DMAF），該模型使用多種注意力機制和混合融合方法進行圖像?文本情感分析，構建了一個大規模的圖像?文本多模態模型[15]。

多視圖網絡為情感分類提供了一個強大而靈活的框架，但也存在著如視圖構建的主觀性、計算復雜度高等挑戰。未來的研究需要在多個方向上進行深入，包括設計更高效的網絡結構、探索更多樣化的視圖組合方式，以及將模型應用于更廣泛的語言和領域等[16]。多視圖模型的性能高度依賴于可用數據的質量和數量，在數據有限或者數據質量低下的情況下，模型可能無法形成有效的視圖表示，導致性能下降。其次，融合策略也具有復雜性，確定如何有效地融合來自不同視圖的信息是一個挑戰，過于簡單的融合策略可能無法捕捉視圖之間的復雜關系，而過于復雜的策略可能導致過擬合，特別是在數據稀缺的情況下。為此，本文提出一種多視圖關注網絡（MPF?Net）模型來解決這一問題。

1" 多視圖關注網絡模型（MPF?Net）

首先對圖文結合的多模態情感分類問題進行了定義，然后描述了用于多模態情感分類的多視圖關注網絡（MPF?Net）模型的構成框架，包括模態特征同化模塊、交互式深度探索模塊和融合特征綜合模塊三個；最后給出了算法模型。

1.1" 圖文多模態情感分類任務定義

在多模態情感預測問題中，需要處理的是來自兩種不同模態的數據，即文本[T]和圖像[M]。本文定義樣本空間[T]為文本數據的集合，一個實例[x]可以表示為一個包含文本和圖像的組合，即[x=（t，m）]。其中[t∈T]代表一段文字，[m∈M]代表對應的的圖像。每個實例[x]都與一個特定的情感標簽[y]相關聯，這個情感標簽描述了實例的情緒傾向，如正面、負面或中性。因此，每個實例都是一個三元組[（t，m，y）]，包括文本、圖像及其情感標簽。

本文的目標是構建一個模型[f]，該模型能夠預測給定文本和圖像組合的情感標簽。[f：T×M→Y]，其中[Y]是情感標簽的集合。[f（t，m）]公式如下：

[f（t，m）=g（hT（t），hM（m））] " " " " "（1）

式中：[hT（t）]和[hM（m）]分別是從文本T和圖像M提取的特征向量；[g（·）]是一個融合函數，它將文本和圖像的特征向量合并，以產生最終的情感預測。這種形式的模型結構允許分別處理每種模態的數據，然后通過一個合適的機制將它們結合起來，以進行情感分類。

1.2" MPF?Net模型構建

為了挖掘文本和圖像信息的互補性，本文提出一種基于多視圖關注網絡模型（MPF?Net），用以對文本與圖像間的相互作用進行深入建模。如圖1所示，多視圖關注網絡模型主要包括三個階段：模態特征同化階段、交互式深度探索階段以及融合特征綜合階段。

1.2.1" 模態特征同化階段

對于文本數據，首先將一個預訓練的BERT模型應用于Twitter數據集，以獲取詞嵌入。詞嵌入的公式如下：

[E=Wt+Wp+Ws] （2）

式中：[E]為最終的嵌入向量，它將作為Transformer的輸入；[Wt]為詞匯嵌入向量，來自于詞標記的預訓練詞匯表；[Wp]為位置嵌入向量，根據詞在序列中的位置生成；[Ws]為段嵌入向量，用于區分不同句子或文本片段的詞標記。

文本特征和文本信息對于情感分類是相對存在的，本文使用CNN和BiLSTM來捕獲文本的相關信息。采用最大池化獲取最顯著的局部特征，公式如下：

[FiCNN=FCNN（Ei;θct）] （3）

式中：[FCNN]表示[CNN]操作，包括卷積和最大池化操作；[θct]為CNN參數。通過BiLSTM得到文本的上下文特征表示，公式如下：

[HiR=fBiEi，θBit，" Hi∈RlT×d] （4）

式中：[Hi=hi0，hi1，hi2，…，hij，…，hid-1]，表示BiLSTM的輸出；[θBit]是BiLSTM的參數，在BiLSTM中有[d2]個隱藏單元。文本特征提取的流程如圖2所示。

文本特征[FiT=ti0，ti1，ti2，…，tij，…，tiT-1]公式如下：

[FiT=fconcatFiCNN，Hi，" FiT∈RlT×DT] （5）

式中DT為所連接文本特征的維數。

圖像中的物體和場景往往能夠反映和嵌入特定的情感，例如：向日葵通常與積極、快樂的情感相關聯，而火焰則可能象征消極和憤怒。同樣，圖像所描繪的場景也能傳達情感，如婚禮場景通常表達積極和幸福的感覺，而垃圾堆積的海灘則可能引發消極和悲傷的情感。因此，為了捕捉圖像中的情感信息，需要從對象和場景兩個角度提取特征。圖像情感特征的提取過程如圖3所示。

不同感知渠道的信息經過融合處理后的最終結果為[Ffinal]，公式如下：

[Ffinal=G（T（ε（Image，Wenc），Wtrans），Wcls）] （6）

式中：[Image]代表輸入的圖像集合；[ε]是一個編碼函數，用于從圖像中提取特征；[Wenc]代表該編碼器的權重，例如，這可以是一個卷積神經網絡（CNN）；[T（·）]是特征變換函數，它進一步處理編碼后的特征，以提高其表達能力；[Wtrans]是這一變換步驟的權重，這個步驟可以是一系列的卷積層、池化層或者注意力機制等；[G（·）]是最終的分類或回歸函數；用于變換后的特征映射到預測標簽或值上，其權重為[Wcls]。

1.2.2" 交互式深度探索階段

記憶網絡的交互式學習模塊主要探索文本與圖像之間的輔助信息，以提高多模態情緒分析的質量。該模塊通過使用下一個多跳存儲系統，利用原始存儲矩陣迭代查詢圖像和文本特征，以探索文本和圖像之間的關系。增強記憶互動學習網絡分為三個部分：文本和圖像的一般對抗記憶部分、文本引導圖像對抗記憶網絡部分和圖像引導文本對抗記憶網絡部分。

增強記憶互動學習網絡架構圖如圖4所示。

對于文本，采用高維堆疊來自BiLSTM和CNN的文本特征作為外部存儲器，然后將[T]和查詢向量[qt]輸入到文本中記憶網絡。首先通過單層感知器對每個文本字符串進行文本處理，得到一個隱藏的表示：

[g1j=tanhw1Texttj+b1Text] （7）

然后，使用Softmax函數計算注意力文本向量的權重：

[α1j=expg1jTqti=0lT-1expg1iTqt] （8）

最后，得到一個加權文本向量，公式如下：

[v1Text=j=0lT-1α1jtj] （9）

將提取的圖像特征堆疊到外部圖像特征內存矩陣X，再將X和[qt]圖像對象查詢向量輸入到圖像記憶網絡。對于每個圖像，通過單層感知器獲得圖像一個隱藏的表示：

[x1j=tanhw1xmj∥mj′+b1x] （10）

然后，使用Softmax函數計算注意力圖像特征的權重：

[β1j∥β1j′=expx1jTqxk=0lV-1expx1kTqx] （11）

最后得到加權圖像特征：

[v1x=j=0lV-1β1j∥β1j′mj∥mj′] （12）

式中：[v1x]表示面向視圖的加權特征，包括面向對象和面向場景特性。

1.2.3" 特征融合

采用中間融合方法，通過生成對抗網絡與池化技術的深度融合單元來融合多模態特征，具體過程如圖5所示。

通過最小化目標函數來訓練生成器（G）和判別器（D）。生成器的目標是生成逼真的數據，而判別器的目標是區分真實數據和生成的數據，公式如下：

[minGmaxDV（D，G）=Ex～Pdata（x）[logD（x）]+" " " " " " " " " " " " " " " " " " " " Ez～Pz（z）[log（1-D（G（z）））]] （13）

式中：[Pdata]為真實數據的分布；[Pz]為生成器輸入噪聲的部分；[x]為真實數據樣本；[z]表示噪聲樣本；[D（?）]為判別器網絡；[G（?）]為生成器網絡。

使用深層池化聚合來自不同層的特征，多層特征表示為[F（l）Ll=1]，其中[F（l）]是第[l]層的特征。深層池化公式如下：

[FPool=Pool（F（l）Ll=1）] （14）

式中[Pool]為池化操作。

使用對抗訓練提取具有魯棒性的特征，并通過深層池化來融合這些特征。特征融合公式如下：

[minG，DmaxVV（V，D，G）=Ex～Pdata（x）[logV（x，G（z））]+Ez～Pz（z）[log（1-V（x，D（FPool）））]] （15）

式中[V（?）]為特征融合網絡。

在這個過程中，生成器（G）致力于產生與真實數據分布相似的樣本，而判別器（D）則嘗試區分真實數據和生成數據。這種對抗性訓練可以增強特征的表達能力，使得特征在面對各種變換時仍能保持穩定性。同時，深層池化技術通過在多層網絡中聚合特征，捕捉更加全局的信息，有助于減少過擬合的風險。

特征融合的目標是將這些經過對抗性訓練的特征與深層池化得到的特征進行有效結合，這樣不僅能夠保留局部的詳細信息，還能夠獲得全局的上下文信息。在實際應用中，可以通過設計一個特征融合網絡（V）來實現，該網絡學習如何將不同來源的特征進行最優組合，以提高最終任務的性能，無論是分類、回歸還是其他任務。可以構建一個更加強大和靈活的深度學習系統，從而能夠更好地適應各種復雜和多變的數據環境。特征融合不僅提高了模型的性能，也提供了更深層次的數據理解，為未來的研究和應用開辟了新的可能性。

2" 實" 驗

2.1" 實驗數據及預處理

進行多模態情感分類任務是為了從社交媒體圖像?文本數據中獲取有價值的信息。在實驗中，本文采用2個公開數據集和1個自建數據集：MVSA?Single數據集、MVSA?Multiple數據集和self?data自建數據集。如表1所示，self?data原始數據集非常龐大，而且類別分布嚴重不平衡，因此使用隨機下采樣來解決數據不平衡問題。

2.2" 實驗參數與評價指標

在本研究中，將數據集按8∶1∶1的比例分為訓練集、驗證集和測試集。MVSA?Single的批大小為32，MVSA?Multiple的批大小為128，自建數據集的批大小為512。二維運算卷積核為1，并進行池化。在實驗中使用的指標是準確率和F1值。

2.3" 實驗結果與分析

將本文提出的MPF?Net模型與基線模型進行比較。為了突出多模態特征融合的優勢，先對單模態情感分類方法進行了評估，結果如表2所示。

表1實驗結果表明，本文模型在準確性和F1值方面優于其他模型。該模型通過增強的記憶互動學習機制提取到了更為深層次的情感細節，在此基礎上，通過使用生成對抗網絡（GAN）與池化技術的深度融合單元融合多模態特征，從而改進了多模態情感分類的準確性。

為了驗證本文方法的有效性，設計消融實驗，結果如表3所示。其中，EMI為對抗互動學習模塊，GDF為深度融合模塊。實驗結果表明，與其他模型相比，MPF?Net的準確率和F1值均取得了最好的效果，證明了本文方法在多模態情感分類任務中的有效性。

本文對HOP超參數也進行了實驗，不同的HOP設置如圖6所示。由圖6可知，當HOP=3時，在MVSA數據集和self?data數據集上的準確率和F1值都達到最優。因此，對于本文之前所做的實驗，HOP參數均取為3。

3" 結" 論

本文針對現有多模態情感分類模型無法全面準確地捕獲復雜的情感信息，以及融合過程中沒有充分挖掘兩者之間的潛在關聯，導致模型結構冗余復雜，計算效率低下的問題，提出一種基于多視圖關注網絡的多模態情感分類模型。利用圖像的不同視圖（即對象視圖和場景視圖）有效地捕獲多模態情感分類任務所需信息；再利用生成對抗網絡（GAN）與池化技術的深度融合單元融合特征，有效地保留來自不同模態的原始特征信息，提高模型的計算效率，提升情感分析的準確率。最后，在公開數據集上驗證了該方法的有效性。

對于未來交互式學習的研究，將考慮場景引導的對象以及對象引導的場景對多模態情感所造成的影響。

注：本文通訊作者為張思佳。

參考文獻

[1] ZHANG Z， WANG P. Sentiment analysis using hierarchical deep learning models： a survey [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2023，13（2）： e1789.

[2] WANG C， ZHANG Z， LI Y. Sentiment analysis using transfer learning： a survey [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2023， 13（1）： e98.

[3] LIANG Y， ZHANG Z， LI X. Comparative study of deep learning algorithms for sentiment analysis in social media [J]. Wiley interdisciplinary reviews： data mining and knowledge discovery， 2022， 12（5）： e3174.

[4] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre?training of deep bidirectional transformers for language understanding [EB/OL]. [2024?01?12]. https：//www.xueshufan.com/publication/2896457183.

[5] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need [C]// Advances in Neural Information Processing Systems. Cambridge， MA， MIT Press， 2017： 5998?6008.

[6] XU P， BARBOSA L， WANG X. Multi?view attention networks for visual question answering [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI， 2019： 8448?8455.

[7] XU A， LIU Z， GUO Y， et al. A new chatbot for customer service on social media [C]// Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. [S.l.]： ACM， 2018： 3506?3510.

[8] YANG Z， YANG D， DYER C， et al. Hierarchical attention networks for document classification [C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Montreal： ACM， 2016： 1480?1489.

[9] PENNINGTON J， SOCHER R， MVANNING C D. GloVe： Global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. [S.l.]： IEEE， 2014： 1532?1543.

[10] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks [C]// Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2017： 3104?3112.

[11] KINGMA D， BA J. Adam： a method for stochastic optimiz?ation [EB/OL]. [2024?02?17]. http：//de.arxiv.org/pdf/1412.6980.

[12] LAI S， XU L， LIU K， et al. Recurrent convolutional neural networks for text classification [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： ACM， 2015： 2267?2273.

[13] LIU P， QIU X， HUANG X. Recurrent neural network for text classification with multi?task learning [C]// Proceedings of the International Joint Conference on Artificial Intelligence. Hyderabad， India： AAAI， 2016： 2873?2879.

[14] XU N， MAO W. Multisentinet： a deep semantic network for multimodal sentiment analysis [C]// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. Singapore： ACM， 2017： 2399?2402.

[15] ZHANG X， ZHAO J， LECUN Y. Character?level convolutional networks for text classification [C]// Advances in Neural Information Processing Systems. Cambridge， MA： MIT Press， 2017： 649?657.

[16] ZHAO J， WANG T， YATSKAR M， et al. Men also like shopping： Reducing gender bias amplification using corpus?level constraints [C]// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen， Denmark： EMNLP， 2017： 2979?2989.

[17] MULYO B M， WIDYANTORO D H. Aspect?based sentiment analysis approach with CNN [C]// 2018 5th International Conference on Electrical Engineering， Computer Science and Informatics. [S.l.]： IEEE， 2018： 142?147.

[18] VIDYABHARATHI D， MOHANRAJ V. Hyperparameter tuning for deep neural networks based optimization algorithm [J]. Intelligent automation amp; soft computing， 2023， 36（3）： 21?28.

[19] LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification [J]. Proceeding of the AAAl conference on artificial intelligence， 2015， 29（1）： 2267?2273.

[20] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington： ACM， 2016： 2818?2826.

[21] XU N. Analyzing multimodal public sentiment based on hierarchical semantic attentional network [C]// 2017 IEEE International Conference on Intelligence and Security Informatics （ISI）. [S.l.]： IEEE， 2017： 152?154.

[22] XU N， MAO W. Multisentine T： a deep semantic network for multimodal sentiment analysis [C]// Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. [S.l.]： ACM， 2017： 2399?2402.

[23] XU N， MAO W， CHEN G. A co?memory network for multimodal sentiment analysis [C]// the 41st International ACM SIGIR Conference on Research amp; Development in Information Retrieval. [S.l.]： ACM， 2018： 929?932.