基于矩陣分解雙線性池化的多模態融合虛假新聞檢測

摘要：現有的大多數虛假新聞檢測方法將視覺和文本特征串聯拼接，導致模態信息冗余并且忽略了不同模態信息之間的相關性。為了解決上述問題，提出一種基于矩陣分解雙線性池化的多模態融合虛假新聞檢測算法。首先，該算法將多模態特征提取器捕捉的文本和視覺特征利用矩陣分解雙線性池化方法進行有效融合，然后與虛假新聞檢測器合作鑒別虛假新聞；此外，在訓練階段加入了事件分類器來預測事件標簽并去除事件相關的依賴。在Twitter和微博兩個多模態謠言數據集上進行了對比實驗，證明了該算法的有效性。實驗結果表明提出的模型能夠有效地融合多模態數據，縮小模態間的異質性差異，從而提高虛假新聞檢測的準確性。

關鍵詞：虛假新聞檢測；社交媒體；多模態；雙線性池化；深度學習

中圖分類號：TP391.1文獻標志碼：A

文章編號：1001-3695（2022）10-012-2968-06

doi：10.19734/j.issn.1001-3695.2022.03.0139

Matrix factorized bilinear pooling for multi-modal fusion fake news detection

Wang Jie，Liu Yun，Ji Shujuan

（Shandong Key Laboratory of Wisdom Mine Information Technology，Shandong University of Science amp; Technology，Qingdao Shandong 266590，China）

Abstract：Most of the existing methods only connect multi-modal features，without considering the complex connection between modes.To overcome these limitations，this paper proposed an end-to-end algorithm named matrix factorized bilinear pooling for multi-modal fusion fake news detection.Firstly，the algorithm effectively fused the text and visual features captured by multi-modal feature extractor utilizing matrix factorized bilinear pooling method，and then cooperated with fake news detector to classify posts as fake or not.It added the event classifier to remove the event-specific features.This paper compared with this algorithm and the other algorithms on two multimedia datasets，Twitter and Weibo.Experimental results show that the proposed algorithm can effectively fuse multi-modal data，narrow the heterogeneity difference between modes，so as to improve the accuracy of fake news detection.

Key words：fake news detection；social media；multi-modal；bilinear pooling；deep learning

0引言

近年來，人們獲取新聞的主要平臺已經從報紙等紙質媒介轉向以Twitter、微博等為代表的新興社交媒體。截至2020年，互聯網用戶超過 45 億人，其中社交媒體用戶已超過 38 億［1］。然而，社交媒體的便捷性與低門檻也造成了虛假新聞的泛濫，可能造成嚴重的社會問題。虛假新聞是指那些故意捏造而成且可以驗證為假的新聞，例如在2016年美國總統大選最后三個月里，關于兩位候選人的虛假新聞在Facebook上被分享高達3 700萬次［2］。因此，虛假新聞檢測對社交媒體平臺的可信環境構造至關重要。

由于圖像、視頻等多模態數據能夠吸引更多的關注，并且視覺信息可以作為輔助信息對新聞的文本內容進行補充，虛假新聞檢測技術的研究重點已經從基于文本內容的檢測轉向基于多模態內容的檢測。例如，Jin等人［3］使用循環神經網絡（recurrent neural network，RNN）學習文本和社會上下文特征的聯合表示，利用RNN的輸出對預訓練的VGG-19提取的視覺特征進行對齊，兩者拼接后放入分類器中進行檢測；Wang等人［4］通過借鑒對抗思想學習可遷移到不同事件的事件無關特征。該模型的文本和視覺特征通過卷積神經網絡（convolutional neural network，CNN）自動提取，并與虛假新聞檢測器合作完成識別假新聞的主要任務，事件鑒別器學習每個新聞的事件標簽；Khattar等人［5］通過多模態變分自編碼器學習共享（視覺+文本）表示以檢測假新聞，其中，虛假新聞檢測器利用從雙模態變分自動編碼器獲得的多模態表示對新聞進行分類，解碼器從潛在向量重建原始圖像和文本。以上方法僅將多模態特征進行簡單串聯拼接，沒有考慮模態間的相關性。另外，現有模型高度依賴于事件的特性，在新事件上的檢測效果不佳，難以實現事件遷移并且會削弱模型的泛化能力。

針對上述研究中缺乏有效的特征融合機制以及無法有效地檢測突發事件中的虛假新聞，本文提出了一種端到端的基于矩陣分解雙線性池化的多模態融合虛假新聞檢測算法（BPMF）。該算法包括多模態特征提取器、多模態特征融合模塊、虛假新聞檢測器和事件分類器四個主要模塊。首先，多模態特征提取器采用預訓練的BERTbase來捕捉文本特征，采用預訓練的VGG-19模型來捕捉視覺特征；在特征提取之后，本文使用矩陣分解雙線性池化方法融合多模態特征以最大化它們之間的相關性；然后將有效融合后的多模態表示輸入虛假新聞檢測器以識別虛假新聞；最后，本文加入了梯度反轉層和事件分類器，將不同事件的多模態特征映射到同一特征空間，以得到來自多個模態的公共潛在子空間的事件共享特征。

本文的主要貢獻有以下兩點：a）提出了一種基于矩陣分解雙線性池化的多模態融合虛假新聞檢測模型（BPMF），該模型融合了兩種模態的特征，并學習更具泛化能力的事件共享特征，去除不可遷移的特定于事件的依賴性；b）使用矩陣分解雙線性池化方法將文本和視覺特征表示有效融合，充分利用多模態特征之間的相關性，縮小模態間的異質性差異。本文在來源于Twitter和微博的多媒體數據集上對提出的方法進行驗證。

1相關工作

1.1虛假新聞檢測

早期社交媒體謠言檢測工作主要針對易獲取的新聞文字內容，提取其語義或統計特征來檢測新聞的可信度。例如，Castillo等人［6］使用文本中的URL數量、情緒積極/消極詞、特殊字符、表情符號、超鏈接等統計信息檢測虛假新聞；Feng等人［7］用上下文無關語法階段樹規則驅動文本特征進行虛假新聞檢測；為了克服早期的社交媒體謠言檢測工作主要集中在手動提取特征或規則上的缺陷，Ma等人［8］利用詞嵌入和RNN將事件的社會背景信息建模為可變長度的時間序列，抽取了相關推文組成新聞事件；Chen等人［9］提出了一種基于RNN的深度注意力模型，通過有選擇地學習序列帖子的時間表示識別假新聞，驗證了RNN在研究中的有效性。

社交上下文功能是用戶在社交媒體上的社交參與［10］，它可以作為虛假新聞檢測的輔助信息。Wu等人［11］開發了一個基于圖核的支持向量機分類器，該分類器結合了來自原始消息主題、響應情感、消息傳播模式以及發送消息的用戶的特征。Jin等人［3］通過將文本、社會語境和視覺內容與RNN融合來進行謠言檢測任務。然而，由于社會背景特征具有嘈雜、無結構等特性，在檢測新出現的事件時不能提供足夠的信息。

近年來，圖像在微博等社交媒體中非常流行，并且對社交媒體新聞傳播有很大的影響［12］。然而，先前工作中提取的圖像特征仍然是手工制作的［13，14］，可能很難表示圖像復雜的內在嵌入內容。為了解決這個問題，研究人員試圖利用深度學習方法捕獲更深層次的圖像特征實現虛假新聞檢測。例如，Jin等人［3］采用注意力機制學習文本和社會語境中的關鍵信息，并利用RNN的輸出調節VGG-19抽取的圖像特征的權重。然而，這些虛假新聞檢測模型在新興社交媒體事件上效果不佳，因為它們高度依賴于從現有數據中捕獲特定事件的特征，而這些特征無法傳輸到新出現的事件。為了解決這個問題，Wang等人［4］利用對抗學習的方法引導模型學習到更具泛化性能的事件共享的多模態特征；Khattar等人［5］提出了一種多模態變分自編碼器 MVAE來發現各模態之間的相關性，使用編碼—解碼的方式學習多模態特征表示，并利用重構損失保證編碼后的中間表達可以解碼回原狀態；Zhang等人［15］提出了模型BDANN（BERT-based domain adaptation neural network），通過添加領域分類器來學習可轉移的領域共享特征。然而，一些研究認為背景知識是人們辨別虛假新聞時經常利用的輔助信息。除此之外，Wang等人［16］將視覺信息轉換為圖的節點，還從真實世界的知識圖譜中提取外部知識作為圖的節點補充語義信息來進行虛假新聞檢測；Qian等人［17］提出了一種知識感知多模態自適應圖卷積網絡KMAGCN，將文本信息、知識概念和視覺信息聯合建模到一個統一的虛假新聞檢測框架中來捕獲語義表示。然而，上述研究僅通過串聯新聞的多模態特征進行拼接融合，難以充分捕獲模態之間的復雜關聯。

1.2多模態特征融合

通過適當的融合技術有效組合多個來源的信息是研究多模態學習任務的關鍵問題［18］。然而，現有的大多數虛假新聞檢測方法只是將新聞的視覺和文本特征簡單地拼接，以獲得新聞的多模態表示，忽略了不同模態之間的潛在聯系。因此，一些多模態特征融合的方法被提了出來，例如，Zadeh等人［19］提出了多模態張量融合網絡，通過計算張量外積來獲得模態相關性；Hou等人［20］提出了分層多項式融合網絡，建立了多項式張量池塊，通過高階矩陣集成多模態特征；Xu等人［21］提出了多交互記憶網絡，通過遞歸神經網絡對多個交互記憶注意力進行非線性組合以學習全局記憶抽象；Zhou等人［22］提出了圖像字幕模型將圖像轉換成句子，然后通過測量原文本內容與生成句子的相似度來計算多模態不一致性；Xue等人［23］利用權值共享將文本和視覺特征轉換成一個公共的特征空間，然后計算變換后的多模態特征的余弦相似度。上述方法驗證了多模態信息的有效交互和對齊，可以提高預測結果的準確率。

2基于矩陣分解雙線性池化的多模態融合網絡

針對現有研究方法的局限性，本文提出了一種端到端的基于矩陣分解雙線性池化的多模態融合虛假新聞檢測模型（BPMF），模型總體架構如圖1所示。該模型集成了四個主要模塊，即多模態特征提取器、多模態特征融合模塊、虛假新聞檢測器和事件分類器。首先，用多模態特征提取器從文本文章和附加圖像中提取文本和圖像特征，然后通過多模態特征融合模塊進行特征融合，并將最終的多模態特征表示輸入虛假新聞檢測器進行預測，最后事件分類器基于深度融合特征識別新聞的事件標簽，并刪除特定事件的依賴。

2.1多模態特征提取器

本模塊的輸入為新聞的文本和圖像，輸出為從兩種模態中學習到的特征表示。它可以分為文本特征提取器和視覺特征提取器。

2.1.1文本特征提取器

為了捕獲新聞文本信息中的潛在語義和上下文含義，本文使用以transformer為核心的BERT模型進行文本特征提取。BERT本質上是一種基于文獻［24］中所述原始實現的多層雙向變壓器編碼器，能捕獲底層語義和上下文信息。

首先將輸入文本中的單詞嵌入到向量中。其中，第i個詞表示為Wi∈Euclid Math TwoRApk，k為詞向量的維度。因此，輸入句子i表示如下：

S=［W0，W1，…，Wn］（1）

其中：n表示句子中的單詞數；W0是添加在每個輸入示例前面的特殊符號［CLS］［25］。

將由12個編碼器層組成的預訓練BERTbase模型記為Rb。將S輸入Rb后得到給定句子的特征向量，計算如下：

Sf=［W0f，W1f，…，Wnf］（2）

由于每個單詞對句子表示的重要性不同，對于每一個特征向量Sf，本文根據重要性采用均值池化方法從所有單詞中獲取文本特征表示Rt∈Euclid Math TwoRApdt，其中dt表示從BERT提取的文本特征維度。最后，將Rt輸入到一個全連接層（full connected layer）以確保文本特征的最終輸出Rtf∈Euclid Math TwoRApp具有與視覺特征相同的維度p。計算如下：

Rtf=t（Wtf·Rt）（3）

其中：Wtf∈Euclid Math TwoRApdt·p為完全連接層的權重矩陣；t為文本特征提取器中使用的LeakyReLU激活函數［26］。

2.1.2視覺特征提取器

卷積神經網絡（CNN）在各種視覺理解任務中非常有效［27］。為了有效提取視覺特征，本文使用已經在ImageNet上預訓練過的VGG-19［28］網絡提取輸入圖像V中的視覺特征，VGG-19獲得的圖像特征Rv的維數表示為dv。本文凍結VGG-19網絡的參數以避免過擬合，并將Rv輸入全連接層以確保與文本特征Rtf相同的維度。計算如下：

Rvf=v（Wvf·Rvgg）（4）

其中：Wvf∈Euclid Math TwoRApdv·p為權重矩陣；Rvgg為VGG-19網絡的輸出；v為特征提取器中使用的LeakyReLU激活函數。

2.2多模態特征融合模塊

現有的大多數虛假新聞檢測方法將視覺和文本特征串聯拼接不利于發現不同模態之間復雜的潛在聯系。因此在獲得最終的文本特征表示Rtf和視覺特征表示Rvf后，本文使用矩陣分解雙線性池化方法將其融合，以最大限度地提高文本和視覺特征表示之間的相關性。計算如下：

RTV=RTtfWiRvf（5）

其中：Wi∈Euclid Math TwoRApm×n為投影矩陣；RTV為多模態融合模塊的輸出。雙線性池化在有效地捕獲了特征維度之間的成對交互的同時引入了大量的參數，這可能導致較高的計算成本和過擬合的風險。為了減少參數量，Wi在式（6）中被分解為兩個低秩矩陣：

RTV=RTtfUiVTiRvf=∑kd=1RTtf UdVTdRvf=1T（UTiRtf 。VTiRvf）（6）

其中：k為分解矩陣Ui=［u1，…，uk］∈Euclid Math TwoRApm×k和Vi=［v1，…，vk］∈Euclid Math TwoRApn×k的潛在維數；。表示兩個向量的元素相乘；1∈Euclid Math TwoRApk為一個全1向量。

為了得到式（6）的輸出特征RTV∈Euclid Math TwoRApo，需要學習U=［U1，…，Uo］∈Euclid Math TwoRApm×k×o和V=［V1，…，Vd］∈Euclid Math TwoRApn×k×o兩個三階張量。可以將U和V進一步轉換為二維矩陣

U^∈Euclid Math TwoRApm*ko和

V^∈Euclid Math TwoRApm*ko。因此，式（6）可以改寫為

RTV=SumPooling（U^TRtf。V^Rvf，k）（7）

其中：SumPooling（x，k）表示使用大小為k的一維非重疊窗口在x上執行求和池化。另外，本文將多模態特征的提取和融合過程定義為B，計算如下：

RTV=B（X；θB）（8）

其中：X代表一組由文本和附加圖像組成的新聞；θB為特征提取器和多模態特征融合模塊的訓練參數集；B為映射函數；RTV為融合后的多模態特征表示。

2.3虛假新聞檢測器

本文中檢測器包含兩個具備相應激活功能的全連接層，并通過softmax函數輸出預測結果。本文將檢測器表示為D（RTV；θD），其中θD表示包含的所有參數，D表示檢測器的映射函數。虛假新聞檢測器的輸入為融合后的特征表示，輸出為該新聞被預測為假的概率，計算如下：

y^=D（RTV；θD）（9）

本文用Y表示新聞的真實標簽，將虛假新聞標記為1，真實新聞標記為0，并采用交叉熵計算分類損失，計算如下：

LD（θB，θD）=-E（x，y）～（X，Y）［y log（）+（1-y）]log（1-）（10）

為了優化提取、融合、檢測時的參數θB和θD，最小化分類損失，計算如下：

（θ^C，

θ^D）=arg minθB，θD LD

（11）

2.4事件分類器

事件分類器由兩個全連接層和相應的激活函數組成，通過輸入的多模態特征表示將新聞分類為N個事件之一。本文將事件分類器表示為C（RTV；θC），其中θC 表示事件分類器的參數集，C表示事件分類器的映射函數。將事件標簽集記為Ye，并采用交叉熵定義分類器的損失。計算如下：

LC（θB，θC）=-E（x，ye）～（X，Ye）［∑Nn=1ye（C（B（x；θB）；θC））］（12）

為了優化參數θC ，需要最小化損失LC（θB，θC）。計算如下：

θ^C=arg minθC LC（θB，θC）（13）

根據式（13），損失LC 可用于估計不同事件分布的差異性，當損失值較大時表示網絡學習事件共享的多模態特征。因此需要最大化分類器損失LC 來去除事件的特殊性。這種想法促進了多模態特征提取器及融合模塊與事件分類器之間的對抗過程。一方面，多模態特征提取器及融合模塊傾向于通過最大化事件分類損失LC學習可轉移的事件共享特征；另一方面，事件分類器傾向于通過最小化事件分類損失LC從多模態特征表示中發現事件特定信息，以識別事件。

2.5模型集成

在訓練過程中，需要最小化LD 以提高模型的分類性能。為了獲得事件共享特征，需要最大化事件分類器損失LC；同時，事件分類器通過最小化損失LC嘗試從多模態特征表示中發現事件特定信息。因此，總損失定義如下：

LC（θB，θD，θC）=LD-λLC（14）

本文利用系數λ∈Euclid Math TwoRAp來平衡虛假新聞檢測器和事件分類器的損失函數。為了解決2.4節所述的minimax博弈，本文采用了梯度反轉層（GRL）［29］，即在前向傳播過程中實現恒等變換，在反向傳播過程中，GRL將梯度乘以-λ

傳遞到前一層。這避免了一般的對抗模型分步訓練的情況，本文將GRL層放置在多模態特征融合模塊和事件分類器之間。因此，模型參數的優化過程如下：

θB←θB-ηLDθB-λLCθB，

θD←θD-ηLDθD，

θC←θC-ηLCθC（15）

3實驗結果與分析

3.1數據集

為了評估所構建的模型對虛假新聞的檢測效果，本文使用外文Twitter和中文微博兩個真實的社交媒體數據集進行實驗，兩個數據集的統計信息如表1所示。

a）Twitter數據集［30］用于驗證多媒體使用任務。數據集收集了大量發布在Twitter上的新聞，每個新聞都包含附加圖片/視頻、文本以及標簽。由于本文的工作只考慮文本和圖片信息，刪除了帶有視頻的推文。

b）微博數據集是Jin等人［3］基于新浪微博平臺上構建的多模態的中文虛假新聞數據集。由微博知名用戶組成的委員會對平臺用戶舉報的可疑新聞進行核實和判斷，微博數據集收集了2012年5月～2016年1月被微博官方證實的虛假新聞，同時收集了中國權威新聞來源新華社證實的真實新聞。為了確保數據集的完整性，使用近似重復圖像檢測算法［31］刪除重復的低質量圖像，然后刪除缺失圖像的新聞。

3.2實驗設置

本節基于Python環境，利用numpy、pandas、torch和sklearn庫來進行實驗。使用準確度、精確度、召回率和F1值等評價標準與基線方法進行比較，從而評估算法的性能。

首先采用標準文本預處理程序［32］對兩個數據集中的文本進行預處理。對于Twitter數據集，刪除了推文的標點符號、數字、特殊字符和短單詞；對于微博數據集，使用Python里的Jieba模塊對新聞進行數據分割。然后使用文本特征提取器BERTbase提取768維文本特征，對于新聞附帶的圖像，將其大小調整為224×224×3，然后利用在ImageNet上預訓練的VGG-19［26］提取維數為4 096的視覺特征，同時將BERTbase和VGG-19的參數凍結來避免過擬合。最后，設置虛假新聞檢測器的全連接層大小為64，事件分類器為64和32的兩個完全連接的層組成。將本文模型的批處理大小（batch_size）設置為128，訓練100次，學習率為0.001，使用Adam優化器［33］優化模型中的參數。

3.3比較算法

為了驗證本文所提出的模型在虛假新聞檢測任務中的性能，根據輸入內容將比較算法分為單模態虛假新聞檢測模型和多模態虛假新聞檢測模型。

3.3.1單模態虛假新聞檢測模型

為了更好地驗證多模態信息對虛假新聞檢測的有效性，使用如下所述的兩個單模態模型進行對比：

a）Textual，該模型的輸入僅包含新聞中的文本信息。首先，將新聞的文本信息輸入到一個預先訓練的BERTbase模型得到每篇文章的文本特征Rt，然后將Rt輸入到一個具有softmax功能的32維全連接層來檢測虛假新聞。

b）Visual，該模型的輸入僅包括新聞中的附加圖像。能利用一個預先訓練的VGG-19和全連接層來提取視覺特征Rv，然后將Rv輸入到一個32維的全連接層來檢測虛假新聞。

3.3.2多模態虛假新聞檢測模型

為了更好地驗證本文所提出的模型在多模態虛假新聞檢測任務中的性能，將目前最先進的多模態虛假新聞檢測模型及變體與本文的模型進行對比。

a）VQA［34］。視覺問答（VQA）研究聚焦于回答特定圖像的相關問題，該研究利用特征級聯來代替原本的文本和圖像之間逐元素相乘方法，并用二分類層代替最后的多類層。因此原本適用于多類分類任務的VQA模型可以適用于二分類任務。

b）NeuralTalk［35］。NeuralTalk旨在生成描述給定圖像自然語言句。根據NeuralTalk的主要結構，新聞的多模態表示為通過RNN每個時間步長輸出平均，最后將潛在表示輸入到一個32維全連接層進行虛假新聞檢測。

c）att-RNN［3］。att-RNN通過將文本、社會語境和視覺內容與RNN融合來進行謠言檢測任務。首先通過LSTM提取文本和社會背景特征獲得文本/社會語境聯合表示，然后從預先訓練的VGG-19模型提取視覺特征，并利用注意力機制對視覺特征與文本/社會語境特征進行特征對齊，最后輸入到分類器中。

d）EANN［4］。通過借鑒對抗思想學習可遷移到不同事件的多模態表示，該模型通過TextCNN模型提取文本特征，通過預訓練的VGG-19模型提取圖像特征，將兩者拼接作為新聞的多模態表示，并判斷新聞的真假以及新聞的來源事件。EANN-模型不包含事件鑒別器。

e）MVAE［5］。采用一種編碼—解碼的方法學習共享（視覺+文本）表示，以檢測虛假新聞。通過訓練多模態變分自編碼器將文本和視覺特征拼接得到多模態表示，利用重構損失將多模態表示解碼回原始模態，并利用多模態表示鑒別虛假新聞。

f）BDANN［15］。BDANN的文本特征通過預訓練的 BERT模型提取，視覺特征通過預訓練的VGG-19模型提取，通過添加域分類器消除對特定事件的依賴。將不帶域分類器的BDANN模型記為 BDANN-。

為了分析本文方法中不同模塊的影響，還評估了其變體的性能。BPMF-m表示沒有使用多模態特征融合模塊的模型，僅將文本特征和圖像特征簡單拼接作為下游任務的輸入；BPMF-c表示沒有使用事件分類器的模型。

3.4實驗結果與分析

3.4.1對比實驗結果分析

為了驗證本文提出模型的有效性，將其與其他基線方法在Twitter和微博這兩個多模態謠言檢測數據集上進行比較，并采用分類問題常用的評價指標，即準確率（accuracy）、精確率（precision）、召回率（recall）、F1值（F1-score）。實驗對比結果如表2所示。

從表2可以看出，在Twitter數據集上，只用新聞的文本信息檢測虛假新聞比只用視覺信息進行檢測的效果好。Textual方法用BERT模型僅提取文本特征就能達到較高的準確率和F1值，這表明先進的BERT模型能較好地捕獲文本的雙向特征，并且文本信息在虛假新聞檢測中至關重要。同時，可以觀察到，基于多模態信息比基于單一模態進行虛假新聞檢測的模型表現出更好的性能。在Twitter數據集上本文模型準確率和檢測假新聞的F1值與基線方法相比提升了5.4%、12%，在微博數據集上的性能同樣優于基線方法（1.8%、2%），證明本文算法能夠更準確、高效地檢測虛假新聞。

在微博數據集上可以發現，在單模態模型中，基于文本的Textual模型的準確率比基于圖像的Visual模型高20%。此外，僅用BERT方法提取文本特征的Textual模型在中文微博數據集上的準確率比在外文Twitter數據集上的準確率高10%。這是由于Twitter數據集包含的語言種類復雜，難以像微博數據集一樣高效分詞，所以準確率更低。此外，多模態虛假新聞檢測方法都優于單模態方法，證明了新聞的附加圖片可能提供檢測虛假新聞的互補信息。在多模態模型中，本文提出的模型及其變體性能都優于基線方法，驗證了本文提出的模型在社交媒體虛假新聞檢測中的有效性。

3.4.2消融實驗分析

本文提出的模型及其變體在Twitter和微博上的性能如圖2所示。為了驗證事件分類器和多模態融合模塊對所提出模型的重要性，分別對這兩個模塊進行分析。

1）事件分類器的影響

為了識別新出現的事件，本文使用了事件分類器。為了驗證事件分類器的影響，比較了本文提出的模型和變體BPMF-c，它不包含事件分類器，因此傾向于學習事件特定的特征。與變體BPMF-c相比，本文提出的添加了事件分類器的模型準確率在Twitter和微博兩個數據集上均有提高，可以更好地處理新出現的事件，說明了事件分類器在性能改進方面的有效性。

2）多模態融合模塊的影響

為了解決缺乏有效特征融合機制的問題，本文提出了多模態融合模塊。為了評價提出的多模態融合模塊，設計提出了模型的變體BPMF-m，它沒有包含多模態特征融合模塊，只是將文本特征和視覺特征進行簡單拼接輸入到下游任務中，忽略了模態之間的交互和對齊。與變體BPMF-m相比，在獲得最終的文本特征表示Rtf和視覺特征表示Rvf后，使用矩陣分解雙線性池化方法將其融合，以最大限度提高文本和視覺特征表示之間的相關性，準確率在Twitter和微博兩個數據集上均有提高。因此，在預測虛假新聞時，只添加多模態特征融合模塊（BPMF-c）的預測效果要優于不添加多模態特征融合模塊（BPMF-m）的效果，并且整合多模態特征融合模塊和事件分類器的模型預測效果最好。

3.4.3可視化分析

目前的圖像處理技術僅僅將文本和視覺特征進行簡單拼接來獲得聯合特征表示，這不利于捕捉不同模態之間的復雜關聯，并且可能導致模態信息冗余，誤導檢測結果。因此，誤導性新聞不能被正確分類。為了進一步分析多模態特征融合模塊在模型中的有效性，在微博數據集上用t-SNE［36］方法將模型學習的多模態表示及其變體BPMF-m學習的兩種模態聯合表示可視化，如圖3所示。

圖3分別為變體BPMF-m和本文模型學習到的特征表示在二維平面的投影。每條新聞的標簽為真或者假。從圖3可以看出，本文學習到的特征表示的可鑒別性比其變體的效果要好。如圖3（a）所示，變體BPMF-m可以學習可識別的特征，但許多特征仍然被錯誤分類；相反，如圖3（b）所示，本文模型學習到的融合特征表示更具有可鑒別性，兩種樣本之間的間隔更加明顯。這是由于模型利用矩陣分解雙線性池化方法將文本信息和視覺信息深度融合，最大限度地提高了多模態特征表示之間的相關性，獲得了更好的聯合表示，有助于模型對多模態新聞進行檢測。因此可以得出結論，所提出的模型在多模態特征融合模塊的作用下檢測虛假新聞效果更好。

3.4.4參數分析

為了研究所提出模型中參數對模型性能的影響，本文在Twitter和微博兩個數據集上，通過修改學習率和模態特征（Rtf、Rvf）的維度兩個參數設置了幾組實驗進行對比，實驗結果如圖4、5所示。

1）學習率的影響

圖4是在Twitter和微博兩個數據集上，不同大小的學習率對所提出模型性能的影響。從圖中可以看出，當學習率為0.001時，模型準確率和F1值在兩個數據集上達到最高。因此在實驗中將學習率設置為0.001。

2）特征維度的影響

圖5是在Twitter和微博兩個數據集上，不同特征維度對所提出模型性能的影響。從圖中可以看出，維度過低或過高有可能造成模型準確率的降低。因此，本文將模態特征維度設置為64，以實現更好、更穩定的性能。

3.4.5收斂性分析

為了探究所提出模型的收斂性，圖6顯示了在Twitter和微博兩個數據集上損失的變化。在訓練開始階段，損失值下降幅度大，說明學習率合適且進入梯度下降過程；在學習到一定階段后，兩個數據集上的損失曲線平穩收斂，表明模型進行了適當的學習。

3.5樣例分析

為了更加直觀地證明所提出模型的有效性，本文將BPMF模型的結果與單模態模型及多模態模型的結果進行比較。圖7為兩個Twitter數據集上的虛假新聞樣例被本文提出的模型成功檢測到，但被單模態模型錯誤分類為真實新聞。圖7（a）中的新聞文本內容正常的但其附加圖像看起來相當可疑，可能是偽造或者竄改的，單模態模型的Textual模型將該新聞標志為真實新聞；圖7（b）的圖片看起來是正常的，然而帶有強烈感情和煽動性文字的文本內容表明這是一個可疑的新聞，單模態模型的Visual模型將其分類為真實新聞。本文提出的模型通過結合新聞的文本和視覺兩種模態信息，將這兩篇新聞預測為假新聞。這表明所提出的模型能夠有效地提取新聞的文本信息和其附加圖像里的視覺信息，并且附加圖像的視覺內容為虛假新聞檢測提供了更多的補充信息。圖8顯示了來自Twitter數據集的一些真實推文，這些推文被提出的模型正確地分類了，而基線模型（如Textual和Visual）和現有模型（如EANN和BDANN）對其產生了錯誤的預測。上述結果證明了所提出的模型在多模態虛假新聞檢測工作上的有效性。

4結束語

針對真實世界中新興社交媒體新聞模態的多樣性問題，本文提出了一種基于矩陣分解雙線性池化的多模態融合虛假新聞檢測模型（BPMF），通過利用矩陣分解雙線性池化的方法更好地融合新聞中的多模態異構信息，提高檢測性能。首先，新聞中的文本和視覺信息由多模態特征提取器提取，并通過多模態特征融合模塊有效融合，然后輸入到虛假新聞檢測器以辨別新聞真假；事件分類器的作用是去除不可遷移的事件相關依賴，提升模型對新出現事件的泛化能力。在兩個真實多媒體數據集上通過實驗證實了本文模型的有效性。未來的工作將進一步研究文本和圖像之間的語義對齊以獲得更好的融合機制，以及考慮利用音頻和視頻等更加新穎的新聞內容檢測虛假新聞。

參考文獻：

［1］We Are Social Ltd.Digital around the world in April 2020［EB/OL］.（2020-04-23）.https：//wearesocial.com/uk/blog/2020/04/digital-around-the-world-in-april-2020/.

［2］Allcott H，Gentzkow M.Social media and fake news in the 2016 election［J］.Journal of Economic Perspectives，2017，31（2）：211-236.

［3］Jin Zhiwei，Cao Juan，Guo Han，et al.Multimodal fusion with recurrent neural networks for rumor detection on microblogs［C］//Proc of the 25th ACM International Conference on Multimedia.New York：ACM Press，2017：795-816.

［4］Wang Yaqing，Ma Fenglong，Jin Zhiwei，et al.EANN：event adversarial neural networks for multi-modal fake news detection［C］//Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2018：849-857.

［5］Khattar D，Goud J S，Gupta M，et al.MVAE：multimodal variational autoencoder for fake news detection［C］//Proc of World Wide Web Conference.New York：ACM Press，2019：2915-2921.

［6］Castillo C，Mendoza M，Poblete B.Information credibility on Twitter［C］//Proc of the 20th International Conference on World Wide Web.New York：ACM Press，2011：675-684.

［7］Feng Song，Banerjee R，Choi Y.Syntactic stylometry for deception detection［C］//Proc of the 50th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2012：171-175.

［8］Ma Jing，Gao Wei，Mitra P，et al.Detecting rumors from microblogs with recurrent neural networks［C］//Proc of the 25th International Joint Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2016：3818-3824.

［9］Chen Tong，Li Xue，Yin Hongzhi，et al.Call attention to rumors：deep attention based recurrent neural networks for early rumor detection［C］//Proc of Pacific-Asia Conference on Knowledge Discovery and Data Mining.Cham：Springer，2018：40-52.

［10］Shu Kai，Sliva A，Wang Suhang，et al.Fake news detection on social media：a data mining perspective［J］.ACM SIGKDD Explorations Newsletter，2017，19（1）：22-36.

［11］Wu Ke，Yang Song，Zhu K Q.False rumors detection on Sina Weibo by propagation structures［C］//Proc of the 31st IEEE International Conference on Data Engineering.Piscataway，NJ：IEEE Press，2015：651-662.

［12］Jin Zhiwei，Cao Juan，Zhang Yongdong，et al.Novel visual and statistical image features for microblogs news verification［J］.IEEE Trans on Multimedia，2016，19（3）：598-608.

［13］Gupta M，Zhao P，Han J.Evaluating event credibility on Twitter［C］//Proc of SIAM International Conference on Data Mining.［S.l.］：Society for Industrial and Applied Mathematics，2012：153-164.

［14］Tian Dongping.A review on image feature extraction and representation techniques［J］.International Journal of Multimedia and Ubi-quitous Engineering，2013，8（4）：385-396.

［15］Zhang Tong，Wang Di，Chen Huanhuan，et al.BDANN：BERT-based domain adaptation neural network for multi-modal fake news detection［C］//Proc of International Joint Conference on Neural Networks.Piscataway，NJ：IEEE Press，2020：1-8.

［16］Wang Youze，Qian Shengsheng，Hu Jun，et al.Fake news detection via knowledge-driven multimodal graph convolutional networks［C］//Proc of International Conference on Multimedia Retrieval.New York：ACM Press，2020：540-547.

［17］Qian Shengsheng，Hu Jun，Fang Quan，et al.Knowledge-aware multi-modal adaptive graph convolutional networks for fake news detection［J］.ACM Trans on Multimedia Computing，Communications，and Applications，2021，17（3）：1-23.

［18］劉建偉，丁熙浩，羅雄麟.多模態深度學習綜述［J］.計算機應用研究，2020，37（6）：1601-1614.（Liu Jianwei，Ding Xihao，Luo Xionglin.Survey of multimodal deep learning［J］.Application Research of Computers，2020，37（6）：1601-1614.）

［19］Zadeh A，Chen Minghai，Poria S，et al.Tensor fusion network for multimodal sentiment analysis［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2017：1103-1114.

［20］Hou Ming，Tang Jiajia，Zhang Jianhai，et al.Deep multimodal multili-near fusion with high-order polynomial pooling［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2019：12156-12166.

［21］Xu Nan，Mao Wenji，Chen Guandan.Multi-interactive memory network for aspect based multimodal sentiment analysis［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：371-378.

［22］Zhou Xinyi，Wu Jindi，Zafarani R.SAFE：similarity-aware multi-modal fake news detection［EB/OL］.（2020-02-19）.http：//doi.org/10.48550/arxiv.2003.04981.

［23］Xue Junxiao，Wang Yabo，Tian Yichen，et al.Detecting fake news by exploring the consistency of multimodal data［J］.Information Processing amp; Management，2021，58（5）：102610.

［24］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［25］Devlin J，Chang M W，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［EB/OL］.（2019-05-24）.http：//doi.org/10.48550/arxiv.1810.04805.

［26］Xu Bing，Wang Naiyan，Chen Tianqi，et al.Empirical evaluation of rectified activations in convolutional network［EB/OL］.（2015-11-27）.http：//doi.org/10.48550/arxiv.1505.00853.

［27］Bengio Y.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2（1）：1-127.

［28］Simonyan K，Zisserman A.Very deep convolutional networks for large-scale image recognition［EB/OL］.（2015-04-10）.http：//doi.org/10.48550/arxiv.1409.1556.

［29］Ganin Y，Lempitsky V.Unsupervised domain adaptation by backpropagation［C］//Proc of the 32nd International Conference on Machine Learning.2015：1180-1189.

［30］Boididou C，Andreadou K，Papadopoulos S，et al.Verifying multimedia use at mediaeval 2015［EB/OL］.（2015-09-15）.http：//ceur-ws.org/Vol-1436/Paper4.pdf.

［31］Slaney M，Casey M.Locality-sensitive hashing for finding nearest neighbors［J］.IEEE Signal Processing Magazine，2008，25（2）：128-131.

［32］Fortney K.Pre-processing in natural language machine learning［EB/OL］.（2017-11-29）.https：//laptrinhx.com/pre-processing-in-natural-language-machine-learning-2728414203/.

［33］Kingma D P，Ba J.Adam：a method for stochastic optimization［EB/OL］.（2017-01-30）.http：//doi.org/10.48550/arxiv.1412.6980.

［34］Agrawal A，Lu Jiasen，Antol S，et al.VQA：visual question answering［J］.International Journal of Computer Vision，2017，123（1）：4-31.

［35］Vinyals O，Toshev A，Bengio S，et al.Show and tell：a neural image caption generator［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2015：3156-3164.

［36］Hinton G，Van der Maaten L J P.Visualizing data using t-SNE［J］.Journal of Machine Learning Research，2008，9（11）2579-2605.

收稿日期：2022-03-28；修回日期：2022-05-23基金項目：國家自然科學基金資助項目（71772107，62072288）；山東省自然科學基金資助項目（ZR2020MF044，ZR202102230289，ZR2019MF003，ZR2021MF104）；山東省研究生教育質量提升計劃資助項目（2021）；山東省科技廳科研基金資助項目；國家教育部人文社科基金資助項目（20YJAZH078，20YJAZH127）

作者簡介：王婕（1998-），女，山東日照人，碩士研究生，主要研究方向為人工智能；劉蕓（1992-），女，山東青島人，博士研究生，主要研究方向為跨媒體檢索；紀淑娟（1977-），女（通信作者），山東青島人，教授，博導，博士，主要研究方向為人工智能、智能信息處理（jsjsuzie@sina.com）.