基于細粒度圖像-方面的情感增強方面級情感分析

摘 要：為了縮小模態間的異質性差異并緩解多個方面詞帶來的情感混淆，提出一種基于細粒度圖像-方面的情感增強多模態方面級情感分析。具體地，該模型經過文本圖像編碼后，首先利用形容詞-名詞對將與方面詞相關的圖像信息加入到文本方面詞中，并通過細粒度圖像-方面跨模態注意力機制優化圖像表征，得到細粒度方面詞-圖像特征；接著，基于句法結構引入情感得分，得到基于方面詞的文本情感特征；最后，進行模態融合得到最終情感預測結果。在Twitter-2015和Twitter-2017數據集上，與基線模型TMSC相比，提出模型值準確率分別提高了0.25百分點和0.16百分點，充分證明了細粒度的圖文匹配和情感增強操作有助于提高分類效果。

關鍵詞：多模態方面級情感分析；形容詞-名詞對；跨模態注意力機制；情感分數；模態融合

中圖分類號：TP393"" 文獻標志碼：A""" 文章編號：1001-3695（2025）04-014-1073-07

doi： 10.19734/j.issn.1001-3695.2024.08.0294

Aspect-oriented affective knowledge enhanced for aspect-based sentiment analysis

Yu Bengonga， b， Chen Mingyuea

（a.School of Management， b. Key Laboratory of Process Optimization amp; Intelligent Decision-making， Ministry of Education， Hefei University of Technology， Hefei 230009， China）

Abstract：To reduce the heterogeneity differences between modalities and alleviate the emotional confusion caused by multiple aspect words， this paper proposed a fine-grained image-aspect emotional enhancement model for multimodal aspect-based sentiment analysis. Specifically， after encoding text and images， the model first integrated image information related to aspect words into the textual aspect words using adjective-noun pairs. It then optimized the image representation through a fine-grained image-aspect cross-modal attention mechanism to obtain fine-grained aspect-word-image features. Next， it introduced sentiment scores based on syntactic structure to derive textual sentiment features based on aspect words. Finally， modality fusion was performed to obtain the final sentiment prediction results. This method achieves an accuracy improvement of 0.25 and 0.16 percentage points on the Twitter-2015 and Twitter-2017 datasets， respectively， compared to the baseline model TMSC， de-monstrating that fine-grained image-text matching and emotional enhancement operations contribute to improving classification performance.

Key words：multimodal aspect-based sentiment analysis; adjective-noun pairs; cross-modal attention mechanism; sentiment scores; modal fusion

0 引言

隨著互聯網的快速發展，用戶情感表達方式逐漸呈現多樣性。越來越多用戶愿意在網絡上分享生活和對事物的看法，通過包含文本、圖像、音頻、表情包等多元化的表現手段，在線評論可以清晰地表現出情感傾向［1］。目前，隨著社交媒體和第三方平臺的普及，在線用戶通過圖文方式來表達情感的趨勢吸引了大量學者進行多模態情感分析研究（multimodal aspect-based sentiment analysis， MABSA）［2］。近年來，多模態情感分析在政治選舉、輿情監測［3］ 、社會治安［4］、醫療保健等領域發揮了重要的作用，在實際工作中具有極大的應用價值［5］。

多模態方面級情感分析是一項細粒度情感分析任務，在過去的幾年中成為研究熱潮。通過給定文本-圖像對推斷特定方面詞的情感極性。如圖1所示，對給出的右側樣本句“RT @ KPerham： Ride near Bath Maine？ Watch out for this dude. He will assault you and call you a fag （many times）！”及其圖像，模型可以預測方面詞“Bath Maine”情感傾向是消極。對給出的左側樣本例句“RT @ BBCOne： Dear Madonna， THIS is how you wear a cape.”結合評論文本，可以發現涉及到的實體有“Madonna”“Poldark”和“Demelza”三個，通過識別圖像中的人物細節，尋找特定人物的圖像特征，從而推斷出“Madonna”情感傾向是積極，“Poldark”和“Demelza”情感傾向是中立。由此可見基于多模態方面情感分析輸入圖像和文本結構的復雜性。評論文本中的實體及其語義關系在判斷情感傾向時起到關鍵作用［6］，但是不同方面實體之間的情感混淆增加了預測的難度；同時利用多模態信息加強實體情感推導時，從豐富的圖像表示中挖掘跨模態間的同質性信息是必要的，即所需的視覺特征要涉及到特定方面詞信息，否則會引入其他噪聲。圖文結構的復雜性對MABSA任務提出了極大的挑戰，影響了預測的準確性。先前研究已經提出了大量的方法優化MABSA任務。Ju等人［7］提出了基于文本圖像關系檢測來對齊圖文特征，從多模態聯合學習的角度確認多模態實體和特定實體情感。曾碧卿等人［8］構建了多層次感知的注意力融合網絡，通過動態注意力機制獲得了融合特征表示。Xu等人［9］注意到三元組之間的高度相關性，設計了一個能捕捉元素交互信息的位置感知標記模型，從而聯合提取三元組以提高模型的準確性。然而，上述模型在模態融合過程中忽略了與特定方面詞不相關的視覺信息，會為預測引入噪聲。

為了解決上述問題，本文提出了一種基于細粒度圖像-方面的情感增強多模態方面級情感分析模型（aspect-oriented affective knowledge enhanced for multimodal aspect-based sentiment analysis，AAK）。該模型首先利用預訓練語言模型分別獲得文本特征和圖像特征，然后通過基于細粒度圖像-方面的跨模態注意力機制獲得基于文本的圖像表示。其中，模型基于圖像中的ANPs將與方面詞最相關的圖像信息加入到文本方面詞中，并通過注意力機制和池化操作優化圖像表征得到細粒度方面詞-圖像特征。接著，引入情感得分獲得豐富的文本情感表示，得到基于方面詞的文本特征。最后將文本上下文表示、文本情感表示和基于方面詞的圖像表示共同輸入到Transformer中得到最終情感預測結果。

本文的工作貢獻總結如下：a）設計了一種創新的細粒度圖像-文本跨模態注意力機制，旨在通過引入與特定方面詞相關的圖像名詞，增強圖像在特定方面區域的特征表示。此機制不僅實現了方面詞與局部圖像特征的對齊，而且從細粒度層面篩選出與特定方面詞高度相關的圖像特征，有效減少了非相關圖像區域所引入的噪聲，提高了情感分析的精確度；b）構建了一種文本情感卷積模塊，該模塊通過引入文本的情感得分，并基于句法結構進行卷積操作，從而在文本層面上豐富了情感特征的表達，并減少了多個方面對應情感的混淆影響。在多模態融合階段，本文模塊從語義情感的角度出發，為多個實體的情感預測提供了感情依據，并顯著提升了情感分類的準確性。

1 相關研究

1.1 基于情感知識的方面級情感分析

情感的多樣化表達和復雜的句子結構，為方面級情感分析任務帶來了挑戰，并在過去幾年中引起了文本領域廣泛的關注。為了對句中不同方面的特定情感進行準確的識別，情感詞典作為信息增強的方法之一被廣泛應用于各研究中。Zhao等人［10］利用堆疊網絡中的多任務學習捕捉三個任務之間的相關性從而提高了分類結果。Pang等人［11］利用依賴結構和語義信息構建了動態的多通道情感圖卷積網絡（graph convolutional network， GCN），并在傳統數據集上獲得了顯著效果。Liang等人［12］基于情感知識和句法結構捕捉觀點詞及其情感信息。Liu等人［13］利用語言知識并通過單頭或多頭注意力機制將情感詞典整合到深度神經網絡中，以提高粗粒度情感分類效果。Zhou等人［14］設計了一種自注意機制來捕捉每個詞的重要性，以區分文檔的情感極性。Borth等人［15］首次提出形容詞-名詞對ANPs（adjective-noun pairs）來區分多模態背景下不同名詞的情感傾向。在此基礎上，Chen等人［16］從視覺圖像對文本單詞不同貢獻度的角度設計了文本引導的跨模態交互層和情感感知層兩個輔助任務，從而提高了情感預測的效果。楊茹蕓等人［17］ 利用外部知識加強多模態的情感特征，從而提高多模態特征融合效果。

1.2 多模態方面級情感分析

用戶在社交媒體上的帖子中包含著豐富的多模態評論，學者注意到圖片在提取方面情感中提供了額外信息。因此， MABSA作為一項重要的情感分析任務得到廣泛的研究。其主要包含三個子任務，分別為MATE（multi-modal aspect term extraction）在圖像的提示下提取句子中的所有方面的術語，MASC（multi-modal aspect-oriented sentiment classification）預測各方面的情感極性，JMASA（joint multimodal aspect-sentiment analysis）既提取方面詞也要預測對應的情感信息。為了捕獲跨模態對齊，Khan等人［18］通過兩階段輸入提高模型預測性能，首先將圖像轉換成文本表達，然后通過圖像的文本表示和文本特征交互獲得最后的模型預測結果。Yang等人［19］關注到圖像中人物與文本之間的關聯，并提出了基于面部表情的方面級情感分析，通過將面部表情轉換成形象的文本模型，最后和文本模態一起輸入到預訓練語言模型加強訓練，從而提升模型效果。Hwang等人［20］基于自動單峰標簽注釋聯合訓練多模態和單峰任務從而加強不同模態之間的關聯。Mai等人［21］為加強樣本間和類間關系的學習，設計了三模態表示的混合對比學習以加強跨模態交互。Ma等人［22］基于文本標記和情緒標簽之間的錯誤相關性提出了基于文本模態的距離感知對比學習，從而重新學習情緒標簽和各個模態間的相互關系。歐陽夢妮等人［23］基于模態間和多模態融合結果與單模態輸入之間的目標過濾來提高下游多模態情感分析任務的性能。Lin等人［24］設計了一個極性向量和一個強度向量獲得模態間的同質性和異質性信息。隨著深度學習的深入發展，基于多模態的特征融合手段逐漸豐富。Chen等人［25］基于單峰學習的局限性設計了分層多模態對比學習，利用雙峰數據合并模態相關內容，從高維角度增強對復雜情感的理解。盡管它們都取得了成功，但大多數研究還是集中在粗粒度的視覺特征上，忽略了數據集中與文本無關的噪聲圖像對結果預測產生的負面影響［26］。之前學者在這一方面已經開發了跨模態關系檢測模塊來降低相關影響［27］。但這些方法缺乏對方面描述的語法依賴和情感信息的建模，這在情感分析中被證明是起著重要作用的［28］。Liang等人［29］基于文本的句法依賴關系構建了交互式圖卷積網絡從而從特定方面捕捉特定交互信息，并構建方面間卷積圖從而捕捉重要的上下文信息。

雖然之前關于多模態方面級情感分析的研究已經取得了一定的成就，但與之前的研究不同，本文的特點是：充分考慮了模態間特征的不一致性，并且為了減少異質信息的差異性，引入了基于細粒度圖文跨模態注意力機制模塊的方法來獲取基于方面的細粒度圖文匹配情感。同時，考慮到情感分析任務的特點，創新地將情感詞典引入模型進行情感增強，并利用注意力機制有效促進情感特征和圖像文本特征之間的交互作用。

2 模型構建

2.1 任務描述與模型介紹

對于一組多模態數據集D，每個數據樣本d∈D都包含一個給定的文本-圖像對{S，V}。具體來說，由文本評論S={w1，w2，…，wm}、一個相關的圖像V和單詞數目為n的方面實體A={a1，a2，…，an}構成，其中A是S的子序列。本文研究目標是對樣本中的每個方面實體進行消極、中立、積極三種情感的預測。

本文所提AAK模型整體框架如圖2所示。一共由四個部分構成。a）特征提取模塊：分別利用RoBERTa［20］預訓練語言模型和ResNet152［21］提取文本特征和圖像特征；b）基于細粒度圖像-方面的跨模態注意力機制模塊：首先通過跨模態注意力機制獲得基于文本的圖像表示，然后比對圖像中名詞和方面詞的相似性，優化圖像表征得到細粒度圖像特征；c）文本情感卷積模塊：通過對基于SenticNet的情感得分和依賴樹鄰接矩陣進行卷積，獲得豐富文本情感表示；d）模態融合模塊：通過將文本上下文表示、文本情感表示和基于文本的圖像表示共同輸入到Transformer中，使用softmax獲得最終的情感預測。

3 實驗

3.1 實驗設置

為了驗證AAK的有效性，本文基于Twitter-2015和Twitter-2017公開數據集進行實驗驗證，并選取代表性的多模態方面級情感分析數據結果進行實驗對比。這兩個數據集的數據都是基于Twitter在2014～2015年，2016～2017年發表的包含文本和圖像的推文，在經過Yu等人［28］標注后形成包含單個或多個實體-情感極性組合的圖文多模態方面級情感分析數據集。具體來說，數據集的劃分如表1所示。

本文基于PyTorch深度學習框架搭建，實驗環境如表2所示。同時，為了防止模型出現過擬合等情況，通過多次實驗后選取了如表3所示的具體數值。采用預訓練模型RoBERTa對文本進行詞嵌入和編碼，采用ResNet-152獲得圖像特征，詞向量和圖像向量維度均為768。將批處理大小設置為32，訓練epoch設為10，K值設置為5，學習率設置為2E-5，并采用AdamW優化器在驗證集上優化參數。特別地，將{λ，λn}在Twitter-2015上設置為{0.5，0.3}，在Twitter-2017上設置為{0.3，0.3}。基于 PyTorch框架實現模型，并通過準確率Acc （accuracy）和F1值（macro-F1）作為實驗的評價指標。

3.2 基線對比實驗

為了充分有效地證明AAK的有效性，本文選擇單模態和多模態模型分別作為AAK的對比基線來輔助判斷模型性能。

1）圖像模態 Res-Target［30］ ：深度殘差網絡模型中的一種，用于做圖文情感預測任務。

2）文本模態 a）BERT［27］ ：是一種基于 Transformer大規模的預訓練語言模型；b）MGAN［26］ ：通過依賴關系和情感方面交互的情感檢測模型；c）AE-LSTM［31］ ：基于LSTM的注意力機制以獲得方面詞上下文語法語義信息的情感檢測模型；d）RoBERTa［32］ ：BERT的訓練優化策略，基于更大語料庫的預訓練語言模型。

3）文本+圖像多模態 a）AOM［33］ ：利用編碼-解碼結構基于方面詞信息和情感表示信息獲得圖文信息匹配的情感預測模型；

b）TMSC ［34］ ：從細粒度和粗粒度圖文信息匹配加強方面詞和圖像信息的匹配程度；

c）CapRoBERTa［18］ ：基于RoBERTa的Cap模型，是一種生成圖像字幕從而只基于文本的多模態情感分析模型；

d）ESAFN［35］" ：是一種基于實體感知注意力的多模態情感預測模型；

e）IAMFN［36］ ：基于遞歸神經網絡的注意力機制融合圖像-文本以學習上下文中每個方面詞的權重來學習模態內上下文。

通過表4的結果對比，可以看出：a）單一模態背景下的多模態情感分析檢測模型效果相對不佳，這表明圖像任務在圖文檢測模型中起到重要的作用，但是無法作為主導模態來進行情感預測。b）文本模態只有基于大規模的語料訓練背景下才能比多模態背景下具有更高的實踐效果。RoBERTa的模型性能相較于BERT效果更好，表明RoBERTa在提取文本向量過程中具有更大優勢。c）融合多模態信息的模型，相比之下效果都相對更好，表明了圖像雖然不能作為主導模態，但是將圖像作為輔助模態進行多模態情感檢測能夠取得更好的效果。d）實驗結果在Twitter-2015上優于基線模型TMSC。其中，Acc值提高了0.25百分點，F1值提高了0.20百分點。這表明了加強情感計算和方面詞-圖注意力機制可以得到有效的多模態特征，從而提高情感預測結果。但是在Twitter-2017上，基于真實值的預測結果表現良好，F1值卻略低于基線模型TMSC，考慮到TMSC是一個方面詞查找和方面詞情感預測的多任務多模態方面級情感分析，由此分析可能是因為本文模型泛化性并沒有TMSC優秀，從而在Acc高于TMSC的情況下，F1值卻低于該模型。

3.3 實驗分析

3.3.1 AAK模型消融實驗分析

為了分析模塊中各個部分對模型效果的影響，本部分進行了消融實驗，結果如表5所示。

a）w/o圖像輔助信息模塊：為了研究圖像與方面詞相關的信息表示對多模態特征融合效果的影響，在完整模塊的基礎上將其刪除。

b）w/o細粒度跨模態注意力機制：為了研究基于方面的細粒度圖像篩選對跨模態情感預測的重要性，在完整模塊的基礎上將其刪除。

c）w/o基于細粒度圖像-方面的跨模態注意力機制：為了研究細粒度圖文匹配對跨模態情感預測結果的影響，在完整模塊的基礎上將其刪除。

d）w/o文本情感卷積模塊：為了研究以情感信息對最終情感預測的影響，在多模態情感分析中，在完整模塊的基礎上將其刪除。

從表5可以看出，移除任何一個模塊對最終結果都有顯著影響，接下來進行具體分析：a）移除圖像輔助信息模塊，可以看到在兩個數據集上的Acc和F1值明顯下降，這表明利用ANPs得到的圖像名詞能夠使得圖像特征包含更多的方面詞信息以幫助進行情感預測任務。b）移除細粒度跨模態注意力機制效果的下降證明了采用圖像輔助信息雖然可以有效地提升效果，但是可能會引入噪聲，從而也證明了細粒度篩選設計的有效性。c）移除基于細粒度圖像-方面的跨模態注意力機制在兩個數據集上的Acc和F1值下降最明顯，這說明了細粒度的方面詞-圖像匹配對于多模態情感預測是至關重要的，基于方面詞的細粒度圖像信息是多模態情感預測中值得重視的部分。d）移除文本情感卷積模塊，在兩個數據集上的Acc和F1值相較于圖像中的單一模塊也下降明顯，可以說明文本情感信息對捕捉多模態融合特征起到積極作用，文本中對應的情感傾向可以有效地減少不同方面詞帶來的情感混淆問題，從而提高情感預測的準確率。

3.3.2 ANPs中K的取值

從圖3可以看出，隨著ANPs數量的變化，模型性能在兩個數據集上的變化趨勢。當K為5時模型取得了最佳性能，當K大于5時，模型性能在兩個數據集上均明顯下降。可能由于當K過大時，過多的圖像信息被送入模型中訓練，圖像特征反而會引入額外噪聲從而導致模型性能下降。所以，最終將K設置為5。

3.3.3 重要性程度λ和λn的取值

為了研究λ和λn的取值對模型性能的影響，在（0，1）以0.1為步長進行了測試。圖4展示了模型在不同結果上的表示。可以發現模型性能一開始會有所提升，但達到一個閾值之后，模型會趨于平穩或下降。可能由于最開始圖像中的名詞給多模態捕捉特定方面詞的圖像特征提供了幫助，從而提高了模型的性能。但隨著名詞的比重增大，模型學習到的是更大權重的圖像信息而沒有對文本中指定方面詞進行學習，從而偏離了主任務MABSA，導致性能下降。所以，最終將{λ，λn}在Twitter-2015設置為{0.5，0.3}，在Twitter-2017設置為{0.3，0.3}。

3.3.4 案例分析

為了直觀分析模型的模塊效果，本文通過選取來自Twitter-2015和Twitter-2017公開的多模態方面級數據集中的樣本進行案例分析。如表6所示，所選取的第一個樣本句中方面詞語有三個，在文本中的敘述為：“親愛的Madonna，這是你圍披風的方式啊。”從這句話中，直接判斷周圍人和Madonna的說話方式是困難的。而在圖像中，可以發現Madonna是面露微笑的，基于細粒度圖像-方面的跨模態注意力機制有效幫助模型識別了圖像中對應的句子主體的情感傾向，減少了句子和圖像中其他冗余信息的影響，從而使得AAK模型得到正確預測。在第二個樣本中，圖片中的人物沒有任何表情色彩，但是文本語句：“在緬因州巴斯附近騎行？小心這個家伙。他會攻擊你，并且多次稱呼你為fag！”在文本情感卷積模塊的幫助下，結合圖像特征，AAK模型能夠得到正確的情感預測結果。

為了進一步展現AAK與基線模型的比較，取Twitter-2015數據集為例，圖5、6分別對其進行了柱狀圖可視化分析。可以看出，圖5、6分別將單模態和多模態模型與本文模型進行了比較，模型效果優于基礎的模型。如圖5所示，視覺模態模型由于僅含圖像不足以識別潛在的情感傾向，并且其表現不如文本模態模型。比較圖5、6可以看出，使用單一模態的方法在多模態情感分析任務上表現不佳，因此結合圖像和文本的多模態模型更適合于多模態情感分析。

4 結束語

本文構建了一種細粒度圖像-方面情感增強的方面級情感分析模型。具體來說，該模型創新性地設計了細粒度圖像-方面的跨模態注意力機制，基于圖像中的名詞優化圖像表征得到細粒度方面詞-圖像特征。此外，模型引入了一個情感分數作為情感信息增強的手段，并利用文本句法結構和情感信息融合得到豐富的文本情感表示。實驗結果證實，該模型顯著提升了情感分類的準確性，并通過消融實驗驗證了細粒度情感-方面注意力機制及情感增強的實際應用價值。然而，本文尚存在一些局限：a）研究數據集均為圖文數據，未來需關注如何提高數據多樣性，以增強模型的泛化能力；b）本文雖針對縮小異質信息差距提出了解決策略，但如何更有效地挖掘異質信息的同質化特征，以進一步提升情感檢測性能，將是后續研究的重點方向。

參考文獻：

［1］趙朝陽， 朱貴波， 王金橋. ChatGPT給語言大模型帶來的啟示和多模態大模型新的發展思路 ［J］. 數據分析與知識發現， 2023， 7（3）： 26-35. （Zhao Chaoyang， Zhu Guibo， Wang Jinqiao. The inspiration brought by ChatGPT to LLM and the new development ideas of multi-modal large model ［J］. Data Analysis and Knowledge Discovery， 2023， 7（3）： 26-35.）

［2］Cheema G S， Hakimov S， Müller-Budack E，et al. A fair and comprehensive comparison of multimodal tweet sentiment analysis methods［C］//Proc of Workshop on Multi-Modal Pre-Training for Multimedia Understanding. New York： ACM Press， 2021： 37-45.

［3］Gandhi A， Adhvaryu K， Poria S，et al. Multimodal sentiment analysis： a systematic review of history， datasets， multimodal fusion me-thods， applications， challenges and future directions ［J］. Information Fusion， 2023， 91： 424-444.

［4］Zeng Ziming， Sun Shouqiang， Li Qingqing. Multimodal negative sentiment recognition of online public opinion on public health emergencies based on graph convolutional networks and ensemble learning ［J］. Information Processing amp; Management， 2023， 60（4）： 103378.

［5］Zhao Tianyu， Meng Lingang， Song Dawei. Multimodal aspect-based sentiment analysis： a survey of tasks， methods， challenges and future directions ［J］. Information Fusion， 2024， 112： 102552.

［6］黃俊， 劉洋， 王慶鳳， 等. 基于語序知識的雙通道圖卷積網絡方面級情感分析 ［J］. 計算機應用研究， 2024， 41（3）： 779-785. （Huang Jun， Liu Yang， Wang Qingfeng， et al. Dual-channel graph convolutional network with word-order knowledge for aspect-based sentiment analysis ［J］. Application Research of Computers， 2024， 41（3）： 779-785.）

［7］Ju Xincheng， Zhang Dong， Xiao Rong， et al. Joint multi-modal aspect-sentiment analysis with auxiliary cross-modal relation detection［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2021： 4395-4405.

［8］曾碧卿， 姚勇濤， 謝梁琦， 等. 結合局部感知與多層次注意力的多模態方面級情感分析［J/OL］. 計算機工程.（2024-06-28）［2024-11-03］. https：//doi. org/10. 19678/j. issn. 1000-3428. 0069705. （Zeng Biqing， Yao Yongtao， Xie Liangqi， et al. Multimodal aspect-based sentiment analysis combining local perception and multi-level attention ［J/OL］. Computer Engineering.（2024-06-28） ［2024-11-03］. https：//doi. org/10. 19678/j. issn. 1000-3428. 0069705.）

［9］Xu Lu， Li Hao， Lu Wei， et al. Position-aware tagging for aspect sentiment triplet extraction［C］//Proc of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 2339-2349.

［10］Zhao Fei， Wu Zhen， Long Siyu， et al. Learning from adjective-noun pairs： a knowledge-enhanced framework for target-oriented multimodal sentiment classification［C］// Proc of the 29th International Confe-rence on Computational Linguistics. ［S.l.］：International Committee on Computational Linguistics， 2022： 6784-6794.

［11］Pang Shiguan， Xue Yun， Yan Zehao， et al. Dynamic and multi-channel graph convolutional networks for aspect-based sentiment ana-lysis［C］//Proc of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg， PA： Association for Computational Linguistics， 2021： 2627-2636.

［12］Liang Bin， Su Hang， Gui Lin， et al. Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks ［J］. Knowledge-Based Systems， 2022， 235： 107643.

［13］Liu Hui， Wang Wenya， Li Haoliang. Towards multi-modal sarcasm detection via hierarchical congruity modeling with knowledge enhancement［C］//Proc of the 2022 Conference on Empirical Methods in Na-tural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2022： 4995-5006.

［14］Zhou Jie， Huang J X， Hu Q V， et al. SK-GCN： modeling syntax and knowledge via graph convolutional network for aspect-level sentiment classification ［J］. Knowledge-Based Systems， 2020， 205： 106292.

［15］Borth D， Ji Rongrong， Chen Tao， et al. Large-scale visual sentiment ontology and detectors using adjective noun pairs［C］//Proc of the 21st ACM International Conference on Multimedia. New York： ACM Press， 2013： 223-232.

［16］Chen Zhuang， Qian Tieyun. Relation-aware collaborative learning for unified aspect-based sentiment analysis［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3685-3694.

［17］楊茹蕓， 馬靜. 一種融合知識與Res-ViT的特征增強多模態情感識別模型 ［J］. 數據分析與知識發現， 2023， 7（11）： 14-25. （Yang Ruyun， Ma Jing. A feature-enhanced multi-modal emotion recognition model integrating knowledge and Res-ViT ［J］. Data Analysis and Knowledge Discovery， 2023， 7（11）： 14-25.）

［18］Khan Z， Fu Yun， Khan Z， et al. Exploiting BERT for multimodal target sentiment classification through input space translation［C］// Proc of the 29th ACM International Conference on Multimedia. New York： ACM Press， 2021： 3034-3042.

［19］Yang Hao， Zhao Yanyan， Qin Bing. Face-sensitive image-to-emotional-text cross-modal translation for multimodal aspect-based sentiment analysis［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2022： 3324-3335.

［20］Hwang Y， Kim J H. Self-supervised unimodal label generation strategy using recalibrated modality representations for multimodal sentiment analysis［C］// Proc of Findings of the Association for Computational Linguistics： EACL 2023. Stroudsburg， PA： Association for Computational Linguistics， 2023： 35-46.

［21］Mai Sijie， Zeng Ying， Zheng Shuangjia， et al. Hybrid contrastive learning of tri-modal representation for multimodal sentiment analysis ［J］. IEEE Trans on Affective Computing， 2022， 14（3）： 2276-2289.

［22］Ma Feipeng， Zhang Yueyi， Sun Xiaoyan. Multimodal sentiment ana-lysis with preferential fusion and distance-aware contrastive learning［C］// Proc of IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE Press， 2023： 1367-1372.

［23］歐陽夢妮， 樊小超， 帕力旦·吐爾遜. 基于目標對齊和語義過濾的多模態情感分析［J］. 計算機技術與發展， 2024， 34（10）： 171-177. （Ouyang Mengni， Fan Xiaochao， Palidan Turson. Multimodal sentiment analysis based on target alignment and semantic filtering ［J］. Computer Technology and Development， 2024， 34（10）： 171-177.）

［24］Lin Han， Zhang Pinglu， Ling Jiading， et al. PS-Mixer： a polar-vector and strength-vector mixer model for multimodal sentiment analysis ［J］. Information Processing amp; Management， 2023， 60（2）： 103229.

［25］Chen Tao， Yu F X， Chen Jiawei， et al. Object-based visual sentiment concept analysis and application［C］// Proc of the 22nd ACM International Conference on Multimedia. New York： ACM Press， 2014： 367-376.

［26］Xu Nan， Mao Wenji， Chen Guandan. Multi-interactive memory network for aspect based multimodal sentiment analysis ［C］//Proc of AAAI Conference on Artificial Intelligence. 2019： 371-378.

［27］Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proc of North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186.

［28］Yu Jianfei， Chen Kai， Xia Rui. Hierarchical interactive multimodal transformer for aspect-based multimodal sentiment analysis ［J］. IEEE Trans on Affective Computing， 2023， 14（3）： 1966-1978.

［29］Liang Bin， Yin Rongdi， Gui Lin， et al. Jointly learning aspect-focused and inter-aspect relations with graph convolutional networks for aspect sentiment analysis［C］// Proc of the 28th International Conference on Computational Linguistics.［S.l.］： International Committee on Computational Linguistics， 2020： 150-161.

［30］He Kaiming， Zhang Xiangyu， Ren Shaoqing， et al. Deep residual learning for image recognition［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE Press， 2016： 770-778.

［31］Wang Yequan， Huang Minlie， Zhu Xiaoyan， et al. Attention-based LSTM for aspect-level sentiment classification［C］// Proc of Confe-rence on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 606-615.

［32］Liu Yinhan， Ott M， Goyal N， et al. RoBERTa： a robustly optimized BERT pretraining approach ［EB/OL］. （2019-07-26）. https：//arxiv.org/abs/1907.11692.

［33］Zhou Ru， Guo Wenya， Liu Xumeng， et al. AoM： detecting aspect-oriented information for multimodal aspect-based sentiment analysis［C］// Proc of Findings of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2023： 8184-8196.

［34］Yu Jianfei， Wang Jieming， Xia Rui， et al. Targeted multimodal sentiment classification based on coarse-to-fine grained image-target ma-tching［C］// Proc of the 31st International Joint Conference on Artificial Intelligence.［S.l.］： International Joint Conferences on Artificial Intelligence Organization， 2022： 4482-4488.

［35］Chen Guimin， Tian Yuanhe， Song Yan. Joint aspect extraction and sentiment analysis with directional graph convolutional networks［C］// Proc of the 28th International Conference on Computational Linguistics.［S.l.］： International Committee on Computational Linguistics， 2020： 272-279.

［36］Wang Jinghong， Gao Yuan， Li Haokang. An interactive attention mechanism fusion network for aspect-based multimodal sentiment analysis［C］// Proc of International Conference on Machine Learning and Cybernetics. Piscataway， NJ： IEEE Press， 2023： 268-275.