結合社交網絡圖的多模態虛假信息檢測模型

摘 要：針對現有虛假信息檢測方法主要基于單模態數據分析，檢測時忽視了信息之間相關性的問題，提出了結合社交網絡圖的多模態虛假信息檢測模型。該模型使用預訓練Transformer模型和圖像描述模型分別從多角度提取各模態數據的語義，并通過融合信息傳播過程中的社交網絡圖，在文本和圖像模態中加入傳播信息的特征，最后使用跨模態注意力機制分配各模態信息權重以進行虛假信息檢測。在推特和微博兩個真實數據集上進行對比實驗，所提模型的虛假信息檢測準確率穩定為約88%，高于EANN、PTCA等現有基線模型。實驗結果表明所提模型能夠有效融合多模態信息，從而提高虛假信息檢測的準確率。

關鍵詞：網絡輿情； 虛假信息檢測； 多模態融合； 跨模態注意力； 社交網絡圖

中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2024）07-010-1992-07

doi：10.19734/j.issn.1001-3695.2023.11.0565

Multimodal misinformation detection model with social network graph

Abstract：To address the issues of existing misinformation detection approaches， which primarily focus on single-modal data analysis and ignore the correlation between information during detection， this paper proposed a multimodal misinformation detection model combined with the social network graph（MMD-SNG model）. This model used the pre-trained Transformer model and the image caption model to extract the semantics of each modality from multiple perspectives. It incorporated the features of propagated information into the text and image data by fusing the social network graph of the information dissemination process. Finally， this model used a multimodal co-attention mechanism to allocate the weights of each modality for misinformation detection. This paper conducted comparative experiments on two real datasets including Twitter and Weibo， the proposed MMD-SNG model achieved a consistent detection accuracy of approximately 88%， which was higher than existing misinformation detection approaches such as EANN and PTCA. The experimental results demonstrate that the proposed model can fuse multimodal information effectively to improve the accuracy of misinformation detection.

Key words：online public opinion; misinformation detection; multimodal fusion; multimodal co-attention; social network graph

0 引言

隨著我國數字經濟的發展與通信基礎設施的日益完善，我國網民規模已達到10.67億，互聯網在城鄉居民生活中得到了越來越廣泛的普及與應用［1］。以微博、推特、微信朋友圈等為主的在線社交媒體平臺逐步取代傳統紙質與電視媒體，成為人們獲取信息、分享觀點、交換意見的主要場所。在線社交媒體平臺正在促進文本、圖片等多模態形式的信息在互聯網上快速傳播，而這些海量的多模態信息對我國網民和社會輿情有著廣泛且深遠的影響。雖然在線社交媒體平臺擁有許多優秀內容，但由于其用戶規模龐大且內容來源難以檢測，其同樣易被用來傳播各種形式的虛假信息，如圖1所示。不實信息借助在線社交媒體平臺進行快速傳播，往往會誤導用戶甚至引發嚴重的網絡輿情管理問題［2］。因此，作為及時阻止虛假信息傳播的基礎環節，準確檢測社交平臺中的虛假信息就顯得至關重要。

模態是指信息的來源或者信息表示形式。文本、圖像、視頻、聲音和種類繁多的傳感器信號都可以稱為一種模態［3］。其中，文本和圖像是當前在線社交媒體的主要內容形式。不同模態表示的信息往往存在交叉或互補，融合具有交叉或互補內容的多模態數據能夠為管理決策提供更多且更準確的信息，提高決策準確率。因此如何處理利用所獲取的多模態信息是提高決策總體準確率的關鍵［4］。

傳統的虛假信息檢測方法，主要從單一圖像模態或單一文本模態入手進行檢測，或是對兩種模態進行簡單的融合，一方面從文本方面對在線社交媒體平臺內容制定文本規則或關鍵詞屏蔽，另一方面從圖片方面進行圖片特征檢測［5］。這類方法的主要問題有：a）虛假信息檢測過程中大多是對各條信息獨立檢測，忽視了信息之間的相關性；b）簡單的模態融合易丟失圖像模態與文本模態之間的交互信息，影響了檢測的準確率。

多模態信息的融合處理主要包括模態表示、模態轉換、模態對齊與融合等步驟。為了利用在線社交媒體平臺中各信息之間豐富的關聯來檢測虛假信息，本文將社交網絡圖融入多模態轉換、對齊、融合的過程，提出結合社交網絡圖的多模態虛假信息檢測（multimodal misinformation detection model with the social network graph，MMD-SNG）模型。該模型將在線社交媒體平臺上的用戶與內容連接起來，在信息檢測過程中共享各信息中的知識，協助彼此之間的檢測；同時通過改進模型損失函數，在模態融合之前進行信息與社交網絡圖的對齊；最后使用跨模態注意力機制動態分配圖像模態、文本模態、圖像描述模態、社交網絡特征的權重，將結果輸入至多層全連接層，進行虛假/非虛假信息分類，生成檢測結果。

本文主要貢獻如下：

a）將社交網絡圖結合進虛假信息檢測模型中，通過社交網絡圖連接原本獨立進行檢測的信息，使各信息之間能夠進行知識共享，從而提高虛假信息的檢測準確率。

b）將現有圖像描述模型和跨模態注意力機制引入虛假信息檢測，并改進模型損失函數，對多模態信息進行轉換、對齊與融合，提高對信息中各模態相關性的利用率，減少信息冗余，提高檢測效率。

1 相關研究

虛假信息（misinformation）是指憑空捏造或被有意扭曲的消息，不能真實反映客觀事物的本來面貌。近些年，國內外學者針對虛假信息的各類屬性與傳播特征，提出了很多虛假信息檢測方法，包括制定文本規則、文本可信度評估等文本模態信息檢測方法以及融合多模態信息的深度學習方法等。

1.1 單模態虛假信息檢測

虛假信息檢測方法的早期研究主要基于人工制定的特征規則，從文本內容、用戶信息以及傳播鏈的角度檢測信息。例如，Castillo等人［6］通過制定規則，對Twitter傳播的信息文本和傳播用戶進行主題發現與可信度評估，以發現社交媒體中的虛假信息。這類方法起到了一定的檢測效果，但手工制定規則的成本較高且無法及時適應實時更新的信息檢測。

近年來隨著計算機算力的不斷提升與深度學習技術的日益完善，機器學習和深度學習模型被應用于獲取虛假信息檢測的有效特征并進行分類［7］。Ma等人［8］基于遞歸神經網絡（recurrent neural network，RNN）學習微博文本的連續表示，通過學習微博帖子的上下文信息以及文本隨時間變化的特征來識別虛假信息。Nasir等人［9］提出了一種混合深度學習模型，結合卷積神經網絡（convolutional neural network，CNN）和遞歸神經網絡來進行虛假信息分類。Di Sotto等人［10］通過將所提取錯誤信息的關鍵特征與深度學習方法進行融合以檢測虛假的健康信息。這類方法通過自動提取信息中各模態的特征以檢測虛假信息，但因其僅提取單一模態信息而無法提取多模態信息完整語義，所以準確率不夠令人滿意。

1.2 多模態虛假信息檢測

隨著在線社交媒體平臺信息從基于文本的帖子發展為帶有圖片或視頻的多媒體推文，學者們開始研究包含文本模態和圖像模態的多模態虛假信息檢測方法。Wang等人［11］提出基于生成對抗網絡（generative adversarial networks，GAN）的EANN模型，將多模態數據進行簡單融合后輸入GAN判別器中判定事件類別，利用學習到的每個事件的共享特征與獨有特征強化虛假信息分類器。Khattar等人［12］提出基于雙模態變分自編碼器和二元神經網絡分類器的MVAE模型，通過優化觀測數據的邊際似然值的邊界，來學習概率潛在變量模型。張國標等人［13］通過對圖片與文本進行語義一致性計算，構建虛假新聞檢測模型。Zhou等人［14］基于多模態特征聯合和跨模態相似性來學習社交媒體信息表示的SAFE模型，并通過計算相似度與損失函數相結合來改進分類模型。

在融合圖像模態與文本模態進行虛假信息檢測的同時，為了提高檢測準確率，學者們提出基于社交網絡圖的虛假信息檢測方法。Yang等人［15］提出基于圖卷積網絡與對抗訓練的CGAT模型，通過訓練鑒別器以區分在社交媒體中偽裝身份的虛假信息發布者。Wei等人［16］提出基于貝葉斯方法的考慮信息傳播過程中潛在關系的EBGCN模型，該方法能夠自適應地確定傳播圖中邊的權重值以處理傳播結構中的不確定性。Zheng等人［17］在社交網絡中考慮隱藏鏈接預測并且通過損失函數對齊來提升模態融合效果。韓雪明等人［18］在傳播樹結構上利用Transformer架構學習帖子的語義關系，提出了一種基于傳播樹的節點及路徑雙注意力虛假信息檢測模型DAN-tree，進一步對傳播結構上的深層結構和語義信息進行融合。這類虛假信息檢測方法多是對文本模態、圖片模態與社交網絡進行兩兩組合，尚未充分利用數據中的所有信息。

綜上，當前虛假信息檢測少有對多個模態信息進行融合、轉換、對齊的虛假信息檢測研究，尚未充分利用數據語義信息提高檢測準確率。因此，在過去研究的基礎上，本文結合社交網絡圖特征，融合文本模態與圖像模態以提高虛假信息檢測的準確率。

2 多模態虛假信息檢測模型MMD-SNG

結合社交網絡圖的多模態虛假信息檢測模型（MMD-SNG模型）主要由社交網絡圖以及多模態表示、轉換、對齊、融合模塊組成，其結構如圖2所示。

MMD-SNG模型將輸入待檢測的多模態信息轉換為集合Info={info1，info2，…，infon}。在其中，每條多模態信息infoi∈Info，infoi={ti，pi，ui，ci}，ti表示該信息所包含的文本，pi表示該信息所包含的圖片，ui表示在社交平臺發布該信息的用戶，ci表示該信息所獲得的評論集合。一條多模態信息可以包含多條來自不同用戶的評論，即ci={c1i，c2i，…，cji}。

根據輸入數據集建立初始社交網絡圖G={N，A}，其中N表示社交網絡圖中的節點，本文將社交平臺中的信息、用戶、評論作為社交網絡圖的節點，N的個數表示為k；社交網絡圖中的鄰接矩陣表示為A∈{0，1}k×k，當aij=1時表示節點nodei與nodej之間存在一條無向邊。

2.1 社交網絡圖特征

將社交平臺中的信息、用戶、評論作為社交網絡圖的節點。對于信息與評論節點的初始化，選用下文提取其中文本信息的句向量作為節點初始化特征；而對于用戶節點，則選用其所發布的所有信息與評論的句向量平均值作為節點初始化特征。為了緩解社交網絡圖中鏈接稀疏的問題，本文通過計算節點間的余弦相似度對社交網絡圖進行潛在鏈路預測，如式（1）所示。

其中：xi，xj為對應節點nodei、nodej的初始化特征向量；βi，j為兩節點的余弦相似度。

本文認為余弦相似度大于一定閾值的節點間可能存在潛在鏈路，因此在預測后鄰接矩陣A′中將余弦相似度大于所設閾值θ的兩節點連接設置為1，如式（2）所示。

使用圖注意力網絡［19］提取社交網絡圖特征，能夠對不同的鄰接節點賦予不同的權重，更有利于關鍵信息的匯聚。對于節點nodei，逐個計算其與鄰接節點nodej的注意力權重，如式（3）所示。

ei，j=LeakyReLU（Concat（xiW，xjW）×a）（3）

得到節點nodei與其鄰接節點的注意力權重ei，j后，使用softm1514f2a2c35a2d7c1aedde2108066c396fde03bf3bb13b163bc3c5d9b41ee656ax進行注意力權重歸一化。在社交媒體中，一條評論可以對一條信息提出同意觀點或反對觀點，由注意力機制會相應得到正注意力權重與負注意力權重。在softmax函數中，會將負注意力權重值賦予相對較小的注意力分數，導致反對觀點所獲得的注意力較少［20］。因此，在計算注意力分數的同時，計算取負注意力權重時的注意力分數，得到節點nodei與其鄰接節點的正注意力分數αi，j與負注意力分數α′i，j，如式（4）（5）所示。

將正負注意力分數與鄰接節點特征進行加權求和后進行拼接，拼接后的向量經過一層全連接層即可得到經過圖注意力網絡匯聚后的社交網絡圖特征x′i，如式（6）所示。

2.2 文本模態特征

利用預訓練模型提取文本模態特征。此處使用BERT模型［21］，該模型利用自注意力機制對文本進行全局上下文理解，能夠更好地捕捉文本的語義信息。對于多模態社交媒體信息數據集Info中的文本T={t1，t2，…，tn}，首先進行去除停用詞與分詞等預處理，并在文本前添加標識分類。對于每一條文本ti，利用基于無監督預訓練的BERT模型對其進行向量表示，即B={b1，b2，…，bn}，如式（7）所示。

其中：L表示句子長度；dw表示詞向量維度，本文設置為512；每條bi第一行的詞向量bi［CLS］對應該文本的分類標識，將分類標識所對應的詞向量作為該文本的句向量。句向量經全連接層降維后作為跨模態注意力中文本模態的輸入ft。

2.3 圖像模態特征

對于圖像模態的表征，CNN使用卷積核來獲取圖像信息，但不擅長融合其他模態的信息，而Transformer的輸入不需要保持二維圖像，通常可以直接對像素進行操作得到初始嵌入向量，更適合多模態信息融合，因此本文使用Transformer提取多模態社交媒體信息中的圖像模態特征。此處使用CLIP模型［22］中預訓練的ViT［23］模型。

對于多模態社交媒體信息數據集中的圖像P={p1，p2，…，pn}，首先進行圖像變換與圖像切塊等預處理，并添加標識分類以及每個圖像塊的位置編碼。對于每一張圖片pi，利用基于對比學習預訓練的ViT模型抽取其特征，即V={v1，v2，…，vn}，如式（8）所示。

其中：每條vi第一行的向量vi［CLS］對應該圖片的分類標識。本文將分類標識所對應的向量作為該圖片的全局特征向量，經全連接層降維后作為跨模態注意力中圖像模態的輸入fp。

2.4 多頭注意力機制的跨模態融合

在已有多模態虛假信息檢測研究中，多采用直接相加融合或點乘融合，在模態融合時未進行權重動態分配，無法對各模態之間相關聯語義進行針對性融合。為此，本文引入多頭跨模態注意力機制，以使模型更好地捕捉不同模態之間的關聯性，在更好地學習不同模態之間共性的同時減少信息冗余。多頭注意力機制的跨模態融合計算方法如式（9）～（11）所示。

如圖2所示，分別將所獲取的文本模態特征ft、圖像模態特征fp、社交網絡圖特征fs作為注意力機制中的Q、K、V，從而獲得文本-圖像融合特征ftp、圖像-文本融合特征fpt、社交網絡圖-文本融合特征fst、社交網絡圖-圖像融合特征fsp。

通常從社交媒體上獲取的圖像-文本對是弱相關的，即文本包含與圖像無關的文字或圖像包含文本中沒有描述的實體［25］。因此跨模態注意力機制對于圖像模態和文本模態映射仍停留在其各自的空間，難以學習到跨模態信息之間的交互。為了改善在噪聲數據中的學習問題，引入均方差損失Euclid Math OneLApalign，以對齊社交網絡圖、圖像模態、文本模態三者之間的信息，如式（12）所示。

2.5 虛假信息檢測分類

通過前述的多模態特征提取和跨模態對齊，獲得輸入多層全連接層的所有輸入，且所有特征均通過全連接層降至同一維度。將這些特征向量拼接后輸入多層全連接層，得到最終虛假信息檢測分類結果，如式（13）（14）所示。

3 實驗及結果分析

3.1 實驗數據

采用微博［26］與推特［27］兩個真實社交媒體虛假信息檢測數據集進行實驗，分析本文方法的性能。微博與推特均為目前主流的社交媒體平臺，其數據具有代表性。兩個數據集均包含文本、圖像、評論以及標注。其中，微博數據集中的文本內容為中文，推特數據集中的文本內容為英文。

為了對比分析多模態虛假信息檢測方法，在數據集的預處理階段，本文專注于檢測具有多模態特征的虛假信息，因此刪除了數據集中僅含文本或圖片的數據以及重復數據，同時為了保證數據質量，刪除了經word piece分詞后token序列長度小于5的數據或圖片單邊分辨率低于112的數據。設置句子token序列長度為80，對于超長的句子，截去超出部分；對于長度不足80的句子則用標識符補齊。同時，將圖片大小調整為224×224×3，以方便模型輸入。經過預處理后的數據集如表1所示。

3.2 實驗設置及評價指標

本文實驗均基于單張NVIDIA RTX3090 24 GB GPU訓練，使用的CUDA版本為11.3。本文通過基于Python的深度學習框架PyTorch實現MMD-SNG模型，所使用的預訓練模型權重來自HuggingFace，將預處理完的數據輸入進模型進行訓練。

將數據集按7∶1∶2隨機劃分訓練集、驗證集與測試集，所有實驗均在相同的訓練集、測試集上完成。在訓練過程中，本文使用AdamW作為目標函數的優化器，學習率設置為0.001，權重衰減系數設置為0.01，全連接層激活函數為GELU，訓練批次大小設置為96，訓練輪數設置為80。本文在訓練中采用早停策略，如損失函數在10輪訓練中未下降則停止訓練。

由于本文選用數據集中的兩類數據數量不同，所以本文選用準確率（accuracy）、加權平均精確率（weighed-precision）、加權平均召回率（weighed-recall）、加權平均F1分數（weighed-F1-score）作為評價指標，上述評價指標在后續表中分別簡稱為A、P、R、F1。

3.3 基線模型

本文選擇了幾種在公開數據集中表現出優異性能的虛假信息檢測模型，將其與本文模型作對比，具體如下：

a）EANN（event adversarial neural network）［11］：該模型采用Text-CNN模型提取文本模態特征，采用VGG-19模型提取圖像模態特征，兩者通過連接融合后進行虛假信息檢測。該模型提出采用生成對抗網絡學習各事件的獨立性，有利于模型學習各事件的獨立特征。b）GLAN（global-local attention network）［28］：該模型基于社交網絡圖，將相關轉發的語義信息與注意力機制進行融合，為每條信息生成包含社交語義的局部特征表示，同時構建一個全局異質圖捕獲豐富的結構信息用于虛假信息檢測。

c）SAFE（similarity-aware fake news detection）［14］：該模型通過引入一個額外的全連接層的擴展Text-CNN來提取文本模態特征與圖像特征，并在損失函數中引入文本模態與圖像模態的微調余弦相似性以進行虛假信息檢測。

d）EBGCN（edge-enhanced Bayesian graph convolutional network）［16］：該模型采用貝葉斯方法，自適應地重新考慮了社交網絡圖中的潛在關系，結合了文本嵌入層與圖卷積神經網絡共同提取社交網絡圖特征，然后通過節點更新模塊與邊推理模塊捕獲圖結構特征，將兩者拼接以進行虛假信息檢測。

e）PTCA（pre-trained Transformer and cross attention）［29］：該模型采用預訓練的Transformer分別提取文本和圖像特征，同時使用Text-CNN多角度提取語義特征，通過交叉注意力機制獲取兩個模態的融合特征后進行虛假信息檢測。

其中EANN、SAFE、PTCA同時提取了文本模態與圖像模態特征進行虛假信息檢測，GLAN、EBGCN在提取社交媒體信息文本模態特征的基礎上融合了社交網絡圖進行虛假信息檢測。

3.4 對比實驗本文提出的結合社交網絡圖的多模態虛假信息檢測模型MMD-SNG與其他模型在推特數據集上的實驗對比結果如表2所示，在微博數據集上的實驗對比結果如表3所示，粗體表示在該指標下取得的最優結果。

由表2和3所示，MMD-SNG模型在兩個真實虛假信息檢測數據集中評價指標上優于當前先進的基線模型，相關結果分析如下：

a）在與EANN模型的對比中，MMD-SNG在兩個數據集的檢測準確率平均高出了7.1%。EANN在融合階段僅采用了高維的拼接融合，表明MMD-SNG中采用跨模態注意力融合機制能夠有效減少模態融合過程中各個模態所包含的噪聲信息，動態計算的注意力分數能夠將權重賦予各模態中的有效信息，從而提高模態融合效率。

b）GLAN將原信息、轉發信息與用戶信息之間的結構關系建模為社交網絡異質圖，但在建模過程中只考慮社交媒體中的文本模態信息，忽略了圖像模態信息，在與GLAN模型的對比中，表明圖像模態的加入有助于豐富社交媒體信息的特征表示，多模態融合后的特征具有更加豐富的語義信息，能夠增強虛假信息檢測效果。

c）SAFE在文本與圖像模態融合階段，通過計算相似度的方式將兩種模態間的特征進行融合，其實驗結果表明在模態融合階段考慮各模態間的相似度以對齊模態，有助于提高模態融合性能。

d）與GLAN相似，EBGCN采用貝葉斯方法，在社交網絡圖中考慮了節點間的潛在關系可靠性，但同樣僅抽取文本模態特征，表明了在虛假信息檢測中考慮社交網絡圖的潛在鏈路預測能夠提升檢測性能。

e）PTCA使用了兩個經預訓練的Transformer模型（BERT和ViT）分別提取文本和圖像特征，一定程度上克服了樣本數量不足的局限性，該模型還采用Text-CNN模型多角度提取文本語義信息，最后通過交叉注意力機制進行特征融合。同時，由于基于Transformer模型中的自注意力機制帶來了二次方計算復雜度，與本文相同，模型在表現出優異性能的同時，其計算時間與算力消耗方面與上述模型相比較大。

3.5 交叉驗證實驗

為避免偶然性，更全面評估模型表現，本節將兩個數據集中虛假信息與非虛假信息兩類數據平均分成五份進行分層五折交叉驗證。交叉驗證實驗其余設置與對比實驗相同，五次實驗結果取平均值，結果如表4所示。

由表4可以看出，MMD-SNG模型在兩個真實數據集上的交叉驗證實驗表現與對比實驗中的結果相近，證明了該模型的可靠性。

3.6 消融實驗

為驗證本文模型中各部分模塊功能，通過對本文模型去除對應模塊進行消融實驗。在兩個數據集上的消融實驗結果如表5和6所示，粗體表示在該指標下取得的最優結果。MMD-SNG為本文模型，MMD表示在本文模型的基礎上去除社交網絡特征與模態對齊，MMD-V表示在本文模型的基礎上去除視覺模態特征、圖像描述特征與模態對齊，MMD-T表示在本文模型的基礎上去除文本模態特征與模態對齊，MMD-IC表示在本文模型的基礎上去除圖像描述特征。

由表5、6數據，對消融實驗結果分析如下：

a）與去除了社交網絡圖的MMD相比，MMD-SNG中社交網絡圖特征的加入將各條獨立的信息通過圖結構連接起來，使得在模型檢測時能夠同時考慮多條信息語義，能夠提高多模態虛假信息檢測模型性能。

b）MMD-IC的性能下降表明，圖像描述模態的加入對原有信息作了數據增強，能夠利用信息中的全部語義，以提升模型各項性能。

c）MMD-V與MMD-T的性能結果表明，多模態虛假信息檢測相比于單一模態檢測，能夠從多角度提取信息特征，使檢測性能得到顯著提高；且在不同數據集中，文本模態與圖片模態所表現出的信息量不同，同時利用多種模態數據能夠有效提升虛假信息檢測模型的魯棒性。

3.7 參數敏感性實驗

在本文2.1節潛在鏈路預測式（2）與2.5節的模型損失函數式（16）中，潛在鏈路預測閾值θ與分類損失函數與對齊損失函數前的系數λ1和λ2是本文模型中的重要超參數，因此，本節對不同參數的取值導致模型性能的影響進行評估。

參數敏感性實驗結果分別如圖3和4所示。從圖3中可以看出，當其他參數固定時，改變θ的值能對模型在不同數據集上的性能均產生較大影響，當節點相似度閾值設為0.5時進行潛在鏈路預測，能夠使模型性能取得最優。

從圖4可以看出，當固定θ為0.5時，在一定范圍內，模型性能總體趨勢為隨著λ1和λ2的增加而增加，說明模態對齊能夠使得模態間數據具有一致性，對齊損失函數與分類損失函數的結合能夠有效提升模型性能。經多次實驗結果表明，當λ1的取值為1.8，λ2的取值為2.4時，模型的性能取得最優。

3.8 樣例分析

為了更加直觀證明本文模型的有效性，將本文模型的結果與現有基線模型進行比較，結果如圖5所示。圖5為在兩個數據集中被MMD-SNG正確檢測的社交媒體信息，其中綠框中的為真實信息，紅框中的為虛假信息。從圖5中可以看出，多模態虛假信息主要涉及圖像竄改、夸大文本內容、圖像與文本描述不符等情況。圖5（a）（b）為常識類與諺語類文本信息，比較模型（如EANN、GLAN）對其進行了錯誤分類，本文模型由于采用經過預訓練的語言模型提取文本特征，能夠正確檢測該類信息。圖5（c）為圖片信息中含有地圖的信息，比較模型（如EANN、PTCA）對其進行了錯誤分類，本文模型由于具有圖像描述模塊，對于識別圖片中的文字以及地圖類圖片時，能夠準確識別到圖片中的文字信息并提高檢測正確率。

圖5（d）中所示的圖片與現實具有差距，可能是一張偽造的圖片、圖5（e）中文字與圖片相比具有夸大成分、而圖5（f）中則是圖片內容與文本不符。以上三個例子均具有上述虛假信息主要特征，本文模型均正確將其檢測為虛假信息，而比較模型（如PTCA、EBGCN等）將其分類為非虛假信息。上述結果表明，本文模型能夠有效地提取多模態社交媒體信息中的文本信息和圖像信息，與社交網絡圖的結合以及利用圖像描述進行數據增強能夠更全面地檢測社交媒體信息的真實性，證明其在多模態虛假信息檢測任務中的有效性。

4 結束語

針對當前在線社交媒體平臺虛假信息檢測方法中存在的忽略信息間相關性和多模態融合不充分問題，本文提出結合社交網絡圖的多模態虛假信息檢測模型。該模型采用社交網絡圖連接通常獨立進行檢測的信息，將圖信息以節點特征的形式融合進虛假信息檢測模型；同時，提出基于圖像描述模型的多模態數據增強方法，將經過模態轉換后的圖像描述文本融合進最終的決策模型中；最后，經過模態對齊與跨模態注意力機制，將社交網絡特征、文本模態特征、圖像模態特征、圖像描述特征進行融合以作虛假信息檢測。在推特和微博上的實驗結果表明，其相比已有模型取得了更好的準確率。

本研究的不足之處在于，構建社交網絡圖時僅考慮了文本模態信息，無法全面捕獲多媒體信息中的關聯性；并且，本文所使用的圖像描述模型僅可產生英文文本描述，在中文數據集上會與現有的中文文本模態產生特征間隔，從而造成信息冗余。未來研究可在MMD-SNG模型的基礎上，完善社交網絡圖的構建以及探索使用中文圖像描述模型，進一步優化多模態虛假信息檢測模型的計算效果。

參考文獻：

［1］中國互聯網網絡信息中心. 第51次中國互聯網絡發展狀況統計報告 ［R/OL］. （2023-03-02） ［2023-05-31］. https：//www. cnnic. net. cn/n4/2023/0303/c88-10757. html. （China Internet Network Information Center. The 51st statistical report on the development of China’s Internet ［R/OL］. （2023-03-02） ［2023-05-31］. https：//www. cnnic. net. cn/n4/2023/0303/c88-10757. html.）

［2］王晰巍， 邱程程， 李玥琪. 突發公共事件下社交網絡謠言辟謠效果評價及實證研究［J］. 情報理論與實踐， 2022， 45（12）： 14-21. （Wang Xiwei， Qiu Chengcheng， Li Yueqi. Evaluation and empirical research on the effect of social network rumors refutation under public emergencies［J］. Information Studies： Theory & Application， 2022， 45（12）： 14-21.）

［3］Bengio Y， Courville A， Vincent P. Representation learning： a review and new perspectives［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2013，35（8）： 1798-1828.

［4］Baltruaitis T， Ahuja C， Morency L P. Multimodal machine learning： a survey and taxonomy［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2018，41（2）： 423-443.

［5］Guo Haoming， Huang Tianyi， Huang Huixuan， et al. A systematic review of multimodal approaches to online misinformation detection［C］//Proc of the 5th IEEE International Conference on Multimedia Information Processing and Retrieval. Piscataway， NJ： IEEE Press， 2022： 312-317.

［6］Castillo C， Mendoza M， Poblete B. Information credibility on Twitter［C］//Proc of the 20th International Conference on World Wide Web. New York： ACM Press， 2011： 675-684.

［7］Mishra S， Shukla P， Agarwal R. Analyzing machine learning enabled fake news detection techniques for diversified datasets［J］. Wireless Communications and Mobile Computing， 2022，2022（1）： article ID 1575365.

［8］Ma Jing， Gao Wei， Mitra P， et al. Detecting rumors from microblogs with recurrent neural networks［C］//Proc of the 25th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 3818-3824.

［9］Nasir J A， Khan O S， Varlamis I. Fake news detection： a hybrid CNN-RNN based deep learning approach［J］. International Journal of Information Management Data Insights， 2021，1（1）： 100007.

［10］Di Sotto S， Viviani M. Health misinformation detection in the social web： an overview and a data science approach［J］. International Journal of Environmental Research and Public Health， 2022，19（4）： 2173.

［11］Wang Yaqing， Ma Fenglong， Jin Zhiwei， et al. EANN： event adversarial neural networks for multi-modal fake news detection［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM Press， 2018： 849-857.

［12］Khattar D， Goud J S， Gupta M， et al. MVAE： multimodal variatio-nal autoencoder for fake news detection［C］//Proc of World Wide Web Conference. New York： ACM Press， 2019： 2915-2921.

［13］張國標， 李潔. 融合多模態內容語義一致性的社交媒體虛假新聞檢測［J］. 數據分析與知識發現， 2021， 5（5）： 21-29. （Zhang Guobiao， Li Jie. Detecting social media fake news with semantic consistency between multi-model contents［J］. Data Analysis and Knowledge Discovery， 2021， 5（5）： 21-29.）

［14］Zhou Xinyi， Wu Jindi， Zafarani R. Safe： similarity-aware multi-modal fake news detection［C］//Proc of Pacific-Asia Conference on Know-ledge Discovery and Data Mining. Cham： Springer， 2020： 354-367.

［15］Yang Xiaoyu， Lyu Yuefei， Tian Tian， et al. Rumor detection on social media with graph structured adversarial learning［C］//Proc of the 29th International Conference on International Joint Conferences on Artificial Intelligence. 2021： 1417-1423.

［16］Wei Lingwei， Hu Dou， Zhou Wei， et al. Towards propagation uncertainty： edge-enhanced Bayesian graph convolutional networks for rumor detection［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg， PA： ACL Press， 2021： 3845-3854.

［17］Zheng Jiaqi， Zhang Xi， Guo Sanchuan， et al. MFAN： multi-modal feature enhanced attention networks for rumor detection［C］//Proc of the 31st International Joint Conference on Artificial Intelligence. 2022： 2413-2419.

［18］韓雪明，賈彩燕，李軒涯，等. 傳播樹結構節點及路徑雙注意力謠言檢測模型［J］. 計算機科學， 2023， 50（4）： 22-31. （Han Xueming， Jia Caiyan， Li Xuanya， et al. Dual-attention network model on propagation tree structures for rumor detection［J］. Computer Science， 2023，50（4）： 22-31.）

［19］Velicˇkovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2023-05-31］. https：//arxiv. org/pdf/1710.10903.pdf.

［20］Tian Tian， Liu Yudong， Yang Xiaoyu， et al. QSAN： a quantum-probability based signed attention network for explainable false information detection［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management. New York： ACM Press， 2020： 1445-1454.

［21］Devlin J， Chang Mingwei， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［EB/OL］. （2019-05-24）［2023-05-31］. https：//arxiv.org/pdf/1810.04805.pdf.

［22］Radford A， Kim J W， Hallacy C， et al. Learning transferable visual models from natural language supervision［C］//Proc of International Conference on Machine Learning. 2021： 8748-8763.

［23］Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image is worth 16×16 words： transformers for image recognition at scale［EB/OL］. （2021-6-3）［2023-05-31］. https：//arxiv.org/pdf/2010.11929.pdf.

［24］Li Junnan， Li Dongxu， Xiong Caiming， et al. Blip： bootstrapping language-image pre-training for unified vision-language understanding and generation［C］//Proc of the 39th International Conference on Machine Learning. 2022： 12888-12900.

［25］Li Junnan， Selvaraju R， Gotmare A， et al. Align before fuse： vision and language representation learning with momentum distillation［J］. Advances in Neural Information Processing Systems， 2021，34： 9694-9705.

［26］Song Changhe， Yang Cheng， Chen Huimin， et al. CED： credible early detection of social media rumors［J］. IEEE Trans on Know-ledge and Data Engineering， 2019， 33（8）： 3035-3047.

［27］Zubiaga A， Liakata M， Procter R. Exploiting context for rumour detection in social media［C］//Proc of International Conference on Social Informatics. Cham： Springer， 2017： 109-123.

［28］Yuan Chunyuan， Ma Qianwen， Zhou Wei， et al. Jointly embedding the local and global relations of heterogeneous graph for rumor detection［C］//Proc of IEEE International Conference on Data Mining. Piscataway， NJ： IEEE Press， 2019： 796-805.

［29］蔣保洋， 但志平， 董方敏，等. 基于雙預訓練Transformer和交叉注意力的多模態謠言檢測［J］. 國外電子測量技術， 2023， 42（4）： 149-157. （Jiang Baoyang， Dan Zhiping， Dong Fangmin， et al. Multimodal rumor detection method based on dual pre-trained Transformer and cross attention mechanism［J］. Foreign Electronic Measurement Technology， 2023， 42（4）： 149-157.）