結合圖卷積網絡的多模態仇恨迷因識別研究

劉旭東,楊 亮,張冬瑜,林鴻飛

(1.大連理工大學 計算機科學與技術學院, 遼寧 大連 116024;2.大連理工大學 軟件學院, 遼寧 大連 116620)

0 引言

隨著社交媒體的快速發展,人們之間的交流變得更加便捷,梗圖作為一種輔助情感表達的交流方式備受歡迎,尤其受到年輕人的喜愛。學術上,梗圖被稱為“迷因圖”,即圖片格式的迷因,在本文中,“迷因”特指“迷因圖”。迷因一詞源自希臘語mimema,意為“被模仿的東西”,也被稱為“模因”或“謎母”。Dawkins R最早仿照基因(gene)一詞創造出了“meme”這一概念,指人與人之間復制傳播的基本文化單位[1]。這種基于網絡而得到廣泛傳播的微型內容包括數字、文字、圖片、視頻等,都可被歸入迷因的范疇。

仇恨言論是基于種族、國籍、宗教、種姓、性別等特征對人進行直接或間接攻擊的言論[2]。由于社交媒體用戶生成內容不受監管的特點,社交媒體已成為傳播仇恨言論的重要渠道之一。在社交媒體中,迷因是一種表達情感的重要手段,因此識別迷因形式的仇恨對于識別社交媒體中的仇恨言論十分重要。盡管需要人工努力,但這個問題的范圍過大,單純依賴人工方式難以解決,因此需要設計一種自動化的技術,在仇恨言論產生有害影響之前檢測并刪除它們。仇恨迷因識別有助于凈化網絡平臺環境,促進多樣性和包容性,幫助建立更加和諧的社會。同時,仇恨作為一種消極的情感表達方式,準確識別這一情感可以提高情感分析和意見挖掘的效果[3]。

現有的迷因識別方法將仇恨迷因識別視為一個圖像文本雙模態任務,通常使用經典的VLP(vision and language pretraining)模型進行處理。然而,這些模型沒有充分考慮迷因識別和其他圖文下游任務的區別,即迷因經常使用具體的人物或者事件來表達自身的情感,這些實體稱作網絡實體。網絡實體指歷史人物、熱點事件、知名地點等在社交媒體交流中能夠輔助情感表達的實體。據常江等[4]的研究,明星、網絡紅人和各種知名大V等往往扮演著迷因傳播過程中的重要角色,處在關鍵的傳播節點上。這些行為領袖以及他們的行為也經常成為迷因變異的源泉,并成為迷因的一部分來表達情感。

目前,已有多項研究致力于仇恨迷因識別。例如,Kiela等[5]將仇恨迷因識別當作一個圖像-文本-知識三模態的任務并使用擴展的VLBERT進行識別,在Hateful Memes數據集上取得了出色的成果。Zhang等[6]同時使用CLIP和UNITER對迷因進行編碼,并在仇恨迷因相關領域進行領域預訓練。但他們的研究要么只關注迷因本身的圖片和文字而忽視了網絡實體在迷因情感表達中的作用,要么只是對來自不同域的信息進行簡單的拼接,沒有考慮不同域表達之間的差異,導致降低了模型識別仇恨迷因的效果。

針對上述問題,提出一種結合圖卷積神經網絡的模型HMGCN (hateful meme recognition model based on graph convolutional network)。研究的主要貢獻如下:

1) 針對迷因經常借助網絡實體表達情感的特點,將網絡實體引入仇恨迷因識別任務中,并使用圖卷積神經網絡對文本域和網絡實體域的信息進行跨域融合,增強仇恨迷因識別的效果。

2) 結合仇恨情感的特點,使用Wordnet[7]和SenticNet[8]等外部資源,從文本相似度和情感極性2個角度評估網絡實體和迷因文本之間的聯系,構建跨域圖,進行圖卷積,并使用注意力模塊來融合增強的文本模態和圖像模態。

3) 為驗證添加網絡實體和圖卷積神經網絡對跨域融合的效果,在2個仇恨迷因識別數據集上進行一系列實驗。在Hateful Memes數據集上,準確率和AUROC分別達到76.03%和81.28%。在MAMI數據集上,準確率和F1值分別達到73.9%和73.3%。實驗結果表明,所提出的模型在性能上優于現有SOTA模型。

1 相關工作

1.1 迷因研究

迷因是一種通過模仿或者其他非遺傳行為從一個人傳遞給另一個人的文化元素[3]。Dawkins認為迷因是通過復制變異而傳播的基本文化單位。 Gilbert[9]將迷因的概念進一步發展為“知因”。這些學者都是從社會科學的角度(例如生理學、心理學等)來解釋迷因。

隨著互聯網的發展和社交平臺的普及,互聯網高交互、低門檻、高自由度和碎片化的特點為迷因這種微型文化的復制、變異傳播提供了便利條件和豐厚土壤。然而,迷因創作良莠不齊,因此如何使用計算機對迷因進行解釋和分類引起了研究人員的關注。He等[10]提出了一種模因提取算法,使用聚類算法從反疫苗接種運動等事件期間發布的迷因數據中提取特征。Drakett等[11]使用主題分析的方法,從語言心理學的角度解釋仇恨迷因問題。

1.2 視覺文本預訓練模型

多模態迷因檢測通常被視為一個視覺文本雙模態任務,近年來受到研究人員的廣泛關注。目前,大多數現有的視覺語言表示學習都基于圖文預訓練模型,這些模型大體分為2類。

第一類是使用Transformer[12]結構的多模態編碼器對文本和圖像特征進行建模,例如Uniter[13]使用Faster-Rcnn[14]提取圖像特征,使用Transformer模型對圖像和文本進行跨域融合;

Oscar使用目標檢測器得到的box標簽作為連接圖像和文本的瞄點[15];Ernie-ViL將場景圖信息加入視覺文本預訓練任務中[16]。這類方法適合給定目標框的任務,在VQA等[17]任務上取得了很好的性能,但這類方法需要高分辨率的圖像和預訓練性能好的目標檢測器,同時實驗結果受目標檢測器性能的影響[18]。

第二類是對圖像和文本訓練一個統一模態的編碼器。Radford等[19]使用文本作為引導使用對比學習來進行圖文表示學習,ALIGN使用傳統圖文模態預訓練任務和對比學習結合的方式進行圖文預訓練,在海量嘈雜的網絡數據上進行預訓練得到一個統一編碼視覺文本的模型[20]。

1.3 仇恨迷因識別

仇恨迷因識別和仇恨言論檢測有很多相似之處,都是檢測一條數據中是否包含對特定群體的直接或間接攻擊。仇恨言論檢測已被證明是困難的,因為存在不必要的偏見[21]。

仇恨迷因識別相較于典型圖文多模態任務的不同,在于典型多模態任務中,輸入的圖片和文本通常有直接關聯,且文本常只包含對于圖片的簡短描述。但meme中只有一部分圖片和文字有直接關聯,在大多數情況下,Meme 的仇恨表達比較隱晦,需要額外的現實世界信息才能理解迷因表達的仇恨情感。例如,在圖1(a)中如果不能準確識別希特勒這一特定歷史人物,就很難準確理解圖片表達的感情。在MAMI(multimedia automatic misogyny identification)[22]訓練集中,經統計有196張圖片使用了希特勒的形象,有207張圖片使用了特朗普的形象來表達自己的情感,說明網絡實體對于情感表達的重要作用。由于經典的VLP模型通常無法充分利用迷因中的網絡實體,因此可能會導致模型性能的下降。

圖1 仇恨迷因示例

對于如圖1(b)所示的多模態仇恨迷因的識別,不僅需要對文本和圖像2種單一模態的理解,還需要將2種模態聯合起來進行推理,才能得出正確的結論。如果只看圖片,可能只看到一群大猩猩;如果只看文本,可能得到奧巴馬的支持者,兩者均無法表達仇恨的情感。只有將兩者結合起來才能意識到這是對奧巴馬支持者和黑人的攻擊,表達了對他們的仇恨。

相較于經典多模態任務涉及的對象,迷因涉及的對象很多都是新生事物、歷史人物等,這些網絡實體目標檢測器很難識別,也影響了經典圖文多模態模型在仇恨迷因識別的效果。

隨著預訓練模型的廣泛應用,人們開始嘗試采用圖文預訓練模型來解決仇恨迷因識別問題。在此領域,Kiela等[5]將仇恨迷因識別當作一個圖像-文本-知識三模態的任務,將種族、面部表情等信息添加到模型中,使用擴展的VLBERT進行仇恨迷因識別,在Hateful Memes數據集上取得了很好的效果。Miller等[7]同時使用CLIP和UNITER的對迷因的圖像模態進行編碼,并進行領域預訓練,在MAMI數據集上取得了SOTA的效果。

1.4 圖神經網絡

圖神經網絡 (graph neural networks) 模型包括Kipf等[23]提出的圖卷積網絡 (graph convolutional network) 和Velickovic等[24]提出的圖注意力網絡 (graph attention network)等。

近年來,一些研究者探索了圖神經網絡在單模態和多模態任務上的應用。單模態方面,Wu等[25]使用CNN提取圖像特征,使用圖卷積神經網絡加強視覺表示的效果。Yao等[26]提出了TextGCN模型,通過TF-IDF和滑動窗口機制構建文檔-單詞異構圖,并成功應用于文本分類任務中。多模態方面,Yang等[27]在多模態諷刺檢測任務中使用GCN(graph convolutional network)將VIT編碼的圖像表示和BERT[28]編碼的文本表示進行融合,取得了很好的效果。另一方面,Zhang等[29]將圖注意力神經網絡應用于多模態命名實體識別任務中。

2 模型

本節主要介紹HMGCN的模型結構和跨域圖的構建方式。模型主要包括4個部分:迷因文本特征提取模塊、迷因圖像特征提取模塊、跨域圖卷積模塊、交叉注意力多模態融合模塊。模型整體結構如圖2所示。

圖2 模型整體結構

為了充分利用仇恨迷因中的信息,分別使用BERT和Vision Transformer (ViT)提取圖像和文本的特征來獲取更充分的迷因仇恨特征。針對迷因文本中網絡實體信息缺失的問題,借助谷歌網絡實體檢測API獲取網絡實體信息。對于來源于不同領域的信息,結合外部知識構建一個跨域鄰接矩陣從而評估兩者中的對齊關系,使用圖卷積網絡充分利用這種對齊關系來更好地融合2個領域的信息。此外,針對圖像和文本特征分布不一致的問題,借助交叉注意力模塊來將文本模態與圖像模態進行融合,以獲取包含網絡實體信息的多模態仇恨特征表示,最后用于仇恨迷因分類任務。

2.1 文本模態表示

對于每個迷因對應的文本使用BERT的分詞器(Tokenizer)進行分詞,并在首尾分別加入[CLS]和[SEP]得到S,數學描述為

S=[xcls,x1,x2,x3,…,xlen(S),xsep]

(1)

其中:xi∈RV,V是BERT的詞表大小;len(*)表示文本進行Bert分詞處理得到的token總數。設定文本最大長度為l,對于長度超過l-2的句子使用截斷策略:

通過詞表得到token對應的序號并利用預訓練的BERT嵌入層對輸入的單詞序列進行詞嵌入,將每個單詞映射成一個d維的向量wi,數學描述為

Semb=Emb[xcls,x1,x2,x3,…,xlen(S),xsep]=

[wcls,w1,w2,w3,…,wlen(S),wsep]

(3)

其中:wi∈Rd表示第i個單詞上下文無關的詞嵌入。將詞嵌入wi送入基于多頭注意力機制的BERT編碼器,得到上下文相關的文本隱層表示,使用最后一層的隱層向量SH作為文本隱層表示,數學描述為

SH=BERT[wcls,w1,w2,w3,…,wlen(S),wsep]=

(4)

最后,將一個batch內的句子堆疊起來得到文本模態的輸出,描述如式(5)所示。其中,N為輸入的batch大小,d為Bert base隱藏層輸出大小。對于長度不夠最大長度的迷因文本以[PAD]補齊。

Remb=[SH,1,…,SH,N]∈RN×l×d

(5)

Remb作為文本模態的特征表示用于2.4節的多模態融合部分。

2.2 圖像模態表示

對于給定的圖片I,首先重整圖片大小將圖片分辨率保持一致。參考Xu等[30]的做法,將圖片像素設置為224×224,即I∈RLh×Lw×C。其中,Lh和Lw分別為圖像縱向和橫向包含的像素點數;L=Lh=Lw=224;C=3為圖片的通道個數。

對于每個重整后的圖片按照區域切分為相同大小的圖像塊,圖像塊大小為p×p,得到圖像塊序列I′,數學描述為

I′=[p1,p2,…,pr]

(6)

其中:pi∈Rp*p*C,是第i個圖像塊展成的一維向量;r=(L/p)*(L/p)為圖像塊的個數。在序列前加入[class],對pi進行線性變換并加入位置信息得到圖像的嵌入表示Z,數學描述為

(7)

其中:E∈R(p*p*C)×D;E為可訓練的參數;D為圖像隱層表示大小;Epos∈R(r+1)×D為圖像的位置編碼。

將Z輸入到ViT的編碼器中,并使用最后一層的隱層表示作為圖像各部分特征,經過線性變換得到圖像模態的表示V,數學描述為:

V=ViT(Z)WV={vclass,v1,v2,…,vr}

(8)

其中:vclass為圖像的全局表示,vi為第i個圖像塊的表示;WV∈RD×d,為可訓練的線性層,使圖片的隱層表示維度和文本保持一致。V作為圖像模態的特征表示用于2.4節的多模態融合部分。

2.3 跨域圖的構建

為了更好地表示迷因文本和網絡實體之間的關系,采用圖結構將兩者聯系起來。圖中的節點是文本和網絡實體的隱層表示,采用鄰接矩陣A來描述節點之間關系,本小節主要介紹鄰接矩陣的構建方式。受Liang[31]的研究啟發,在文本模態中依據文本的語法依賴樹來設置權重,而跨域邊計算則使用詞相似性和消極情感系數。與Liang不同的是,本文引入了網絡實體信息并在仇恨迷因識別中更注重消極情感因素對仇恨情感表達的影響,而非情感不一致性。

基于GCN的方法已經證明邊的權重在圖信息融合中至關重要[32]。因此,構建跨域圖重點是鄰接矩陣中邊權重的設置。對于域內的邊使用語法依賴樹構建,對于跨域的邊則從相似度和消極情感表達2個角度評估結點之間的聯系來構建。使用Wordnet計算單詞之間相似度,使用Senticnet中的情感極性分數計算2個單詞的消極情感系數。通過2個單詞間的相似度和消極情感系數得出跨域邊的權重,圖的鄰接矩陣A∈R(n+m)×(m+n)可定義為:

ξi, j=γ|ω(wi)|+|ω(wi)|+1×|ω(wi)-1|×|ω(wj)-1|

(10)

其中:n=len(S),表示迷因文本的長度,當i

綜上所述,跨域圖構建主要包括3個方面:

1) 對于文本模態,一些仇恨情感是通過多個單詞組合表達的,所以通過句法依賴樹來建模這種關系。

2) 設計了2個指標來評估跨域聯系。用Sim衡量2個單詞之間的相似度,相似度越大,邊的權重越大。ξ描繪2個單詞的消極情感表達,其中γ>1,如果2個單詞情感越消極,情感系數越大,模型更關注消極情感。

3) 為了增強模型對于迷因文本模態和網絡實體模態之間的跨域聯系的關注,在鄰接矩陣的跨域邊上加1,使得跨域邊的系數大于域內邊的系數。用于描述文本和網絡實體關系的跨域鄰接矩陣A輸入到2.4節的圖卷積網絡跨域融合部分。

2.4 多模態融合

本小節包括2個部分,第一部分使用2.1節的迷因文本隱層表示和網絡實體隱層表示作為跨域圖的節點,使用鄰接矩陣A進行跨域圖卷積;第二部分將融合了網絡實體信息的文本表示與2.2節的圖像模態表示通過交叉注意力機制進行跨模態融合。

對于每個迷因,使用圖卷積來整合網絡實體模態和迷因文本模態,利用跨域圖中節點的聯系來提取仇恨信息。具體地說,將每個實例對應的跨域圖鄰接矩陣A和特征表示R送到多層GCN中得到圖表示。

GCN中第一層結點利用迷因文本和網絡實體的隱層表示進行初始化,GCN中第l層節點的隱層表示根據跨域圖的鄰接矩陣和第l-1層結點的隱層表示得到,數學表達為:

G0=R={w1,…,wn,wn+1,…,wn+e}

(11)

(12)

對于圖像模態和增強的文本模態之間的交互,使用基于檢索的注意力機制來從圖像模態和增強文本模態中捕獲仇恨信息,數學描述為:

(13)

其中:m為圖像中包含的圖像塊個數;gi作為交叉注意力的Q;rt作為交叉注意力的K、V。計算加權特征表示得到仇恨特征表示為:

(14)

仇恨特征表示經過一個全連接層和Softmax歸一化得到仇恨標簽的分數,數學描述為:

y=softmax(Wof+bo)

(15)

其中:y∈Rdh是模型的最終輸出結果,dh為仇恨識別任務包含的標簽個數;Wo∈Rd×dh,bo∈Rdh是可訓練參數。

3 實驗

3.1 實驗設置

3.1.1數據集合評估指標

使用2個仇恨迷因評測的數據集:一個是Hateful Memes數據集,包含了12 140條迷因和迷因中出現的文本;另一個是Semeval2022評測任務五的MAMI數據集,包含了11 100條數據。Hateful Memes數據集使用評測時的數據集劃分方式對MAMI數據集、訓練集和驗證集進行了重新劃分。表1和表2分別給出了2個數據集的統計信息。

表1 Hateful Memes數據集統計信息

表2 MAMI數據集統計信息

評估指標:使用評測發布時的評估指標作為實驗評估指標。Hateful Memes數據集使用準確率Acc和AUROC(receiver operating characteristic)作為評估指標,MAMI數據集使用準確率和Macro-averageF1值作為評估指標。

3.1.2 基線模型設置

選取多個單模態和多模態模型進行對比實驗,驗證所提出模型的有效性。主要對比模型如下:

Image-Region模型:使用Faster-RCNN提取目標特征,然后經過一個全連接層和softmax函數獲取分類結果。

BERT模型:使用基礎的Bert-base對輸入序列獲取詞嵌入,通過自注意力機制獲取上下文相關的語義表示,使用句首CLS位置向量作為句向量,將句向量送到分類器進行分類。

多模態模型:使用多個近年來經典的VLP模型及不同大小的變體。VisualBERT[33]和Uniter都是經典的單流模型,均使用預訓練的語言模型獲得語義表示和使用目標檢測器獲取圖像特征表示,2種模態的隱層表示同時輸入到多層的Transformer中。

DeVLBert[34]是基于因果的去混淆模型,將后門調整方法融入到多模態預訓練模型中,緩解了預訓練過程中的偏差問題。

ViLBERT[35]是典型的雙流模型,圖像和文本在各自的數據流中進行處理,圖像使用目標檢測器獲取圖像隱層表達,文本使用BERT獲取文本隱層表示,這2個流通過Co-attention模塊進行交互。其中,ViLBERT CC和Visual BERT COCO的后綴分別表示預訓練模型時所用的數據集。

OSCAR使用目標檢測器檢測出的目標名稱作為圖像和文本對齊的錨點,從而簡化圖像和文本的語義對齊任務。

Erine-ViL加入場景圖信息到模型預訓練過程中,設定了多個針對場景圖信息預測的預訓練任務,并加入經典的VLP預訓練任務,包括圖文是否匹配、掩碼預測等。

ALBEF[36]與CLIP類似,使用對比學習的方式進行模型預訓練,使模型拉近正樣本間距離,增大負樣本間距離。

BLIP[37]使用多模態混合的編碼器-解碼器結構,相較經典的VisualBERT增加了基于圖像的文本編碼器和基于文本的圖像編碼器,并使用標題和過濾機制提高文本語料庫的質量。

3.1.3 實驗參數設置

使用交叉熵(CrossEntropy)作為訓練過程中的損失函數,優化器選擇adamW。為了降低模型的過擬合程度,采用權重衰減策略,權重衰減系數為0.02。學習率設置為2×10-5,drop out設置為0.1。采用學習率衰減策略,使用余弦衰減,學習率以cosine函數曲線進行衰減,最小學習率設置為1×10-6。為了防止初期的mini-batch學習率較高使得模型提前過擬合,使用warm up策略,warm up的學習率設置為1×10-5。模型訓練時,epoch設置為8,batchsize設置為4,圖像的分辨率設置為224*224。使用bert base來獲取文本的特征表示,隱藏層大小為768,使用截斷策略使分詞后文本長度不大于512,自蒸餾參數alpha設置為0.4。

3.2 實驗結果和討論

3.2.1 實驗結果

表3和表4分別展示了所提出的方法在2個數據集和基線模型上的結果。其中,#表示從其他論文中獲取的結果。本文提出的結合網絡實體的多模態仇恨迷因識別模型優于所有使用的基線模型。

表3 Hateful Memes數據集實驗結果

表4 MAMI數據集實驗結果

從表3和表4的實驗結果可以看出,本文模型在性能方面大幅度領先于Uniter、Oscar等近年來多模態預訓練的SOTA模型,并優于這幾個模型的large變體,說明加入網絡實體和使用圖卷積神經網絡融合能有效提高模型仇恨迷因識別效果。從表3實驗結果可以看出,ERNIE-ViL模型在仇恨迷因識別任務上優于Oscar和UNITER模型。原因在于ERINE-ViL使用場景圖獲取更多信息改善了語言表征,同時場景知識包含的實體關系有利于模型對圖像和文本進行推理,從而得到更好的分類效果。

從表3中Uniter和ERNIE-ViL兩個模型不同變體的實驗結果可以看出,通過增大預訓練語料規模、提高模型參數的方式能夠提高預訓練模型的特征表示能力,從而提高仇恨迷因識別性能。BLIP和本文模型的性能優于Uniter、ERNIE-ViL,說明基于Transfomer的圖像特征提取方式優于基于目標檢測的圖像特征提取方式。這是由于目標檢測提取特征時缺失了背景信息,并且重采樣和噪音等問題會影響特征提取的效果。

對比模型在2個數據集上的結果。在Hateful memes數據集上,本文模型較BLIP模型在Acc性能上提高了0.96%;在MAMI數據集上,本文模型較BLIP模型在Acc性能上提高了2.2%。這是因為,在MAMI數據集中使用網絡實體表達厭女情感的比例更高,所以模型對厭女類型的仇恨迷因識別提升更大。

從表3和表4的實驗結果可以看出,單獨使用文本模態效果優于單獨使用圖像模態,因為迷因的文本情感表達更豐富且信息密度較大,模型更容易識別文本模態出現的情感。單模態模型與多模態模型差距較大,僅依賴單一模態不能準確識別仇恨迷因,需要2種模態的信息并進行合適推理才能取得較好的識別結果。

3.2.2 消融實驗

為進一步驗證本文所提出方法各個部分在仇恨迷因識別任務上的有效性,對圖卷積神經網絡、網絡實體信息和自蒸餾模塊3個部分進行消融實驗。實驗結果如表5所示。

表5 Hateful Memes數據集消融實驗結果

表5的實驗結果顯示,去掉GCN實驗中使用直接拼接的方式進行融合,模型效果有一定下降,這是由于直接拼接的方式進行融合忽略了不同域文本隱層表示的差距,而使用GCN的方式進行跨域融合能夠更好地建模文本間和文本與網絡實體間的聯系,獲取更好的文本模態隱層表示,從而提高模型仇恨識別的能力。

當去掉自蒸餾模塊之后,模型的識別性能再次下降。這可能是由于使用自蒸餾模型強迫單個模型學習多個視圖[38]后,模型可以利用已經被正確分類的數據對少數不能正確分類的預測結果進行優化。

將模型的網絡實體信息和自蒸餾模塊去掉后,模型與ALBEF一致。對比消融實驗中第3個和第4個實驗,兩者之間的性能差距源于網絡實體信息的加入,說明加入網絡實體信息能夠提高仇恨迷因識別的效果。

3.2.3 圖卷積神經網絡參數分析

對于跨域融合部分,進行定量實驗來分析圖卷積神經網絡不同層數對實驗結果的影響,實驗結果如圖3和圖4所示。

圖3 GCN層數對Acc的影響

圖4 GCN層數對AUROC的影響

實驗結果顯示,在所有不同層數的模型變體中,模型的整體性能隨層數的增加整體呈先上升、后下降的趨勢,因此在本文模型中GCN 層數設置為2。單層的GCN模型效果較差,表明過淺的圖結構不能很好地學習仇恨相關特征;當層數大于2時,模型性能趨于下降,可能是由于圖的稀疏程度較低,導致很快出現過平滑現象。

4 結論

針對現有迷因識別方法經常忽視網絡實體信息而導致模型仇恨迷因識別性能下降的問題,將網絡實體信息引入仇恨迷因識別模型來增強迷因文本表示。為了更好地融合不同域的信息,對于域內節點使用詞法分析樹構建鄰接圖的邊,對于跨域節點,從文本相似度和消極情感表達多角度評估節點之間的聯系,構建圖卷積神經網絡的鄰接矩陣。運用自蒸餾模塊來學習數據多個視角的特征,以提高模型對數據的利用率,提高模型對仇恨迷因識別的效果。通過對比試驗和消融實驗證實了所提出的仇恨迷因識別方法各個部分的有效性。

下一步研究中,將探索把其他仇恨相關信息如種族、人物表情等融入到模型的可行性,并探究使用其他圖神經網絡(如圖注意力神經網絡)跨域融合的效果。