基于注意力機制多特征融合的虛假信息檢測

地力夏提·阿布都熱依木，馬 博*，楊雅婷，王 磊

(1.中國科學院新疆理化技術(shù)研究所 新疆民族語音語言信息處理實驗室，新疆 烏魯木齊 830011；2.中國科學院大學計算機科學與技術(shù)學院，北京 100049)

網(wǎng)絡(luò)和社交媒體的快速發(fā)展，降低了傳播信息的成本，使得人們之間的交流更加頻繁.但這也給虛假信息的迅速傳播提供了機會.微博、推特(Twitter)等社交媒體因為能迅速和全面的提供世界各地的新聞，所以已經(jīng)成為各種事件中重要的新聞媒體和輿論平臺.而在突發(fā)事件發(fā)生時，虛假信息的數(shù)目也會明顯增多.例如新冠肺炎疫情在世界各地爆發(fā)期間，社交媒體中關(guān)于肺炎起源、預(yù)防、診斷、治療和傳播的虛假信息隨處可見.虛假信息在打破真實信息生態(tài)系統(tǒng)平衡的同時也會影響人們理解和回應(yīng)真實信息的方式[1].因此，若不及時識別出虛假信息，可能會造成大規(guī)模的負面影響，甚至會造成不可挽回的損失.

虛假信息檢測主要分為基于單模態(tài)和基于多模態(tài)的方法，而基于多模態(tài)的虛假信息檢測方法由于可結(jié)合多線索，準確率更高，已開始成為研究重點.現(xiàn)有的多模態(tài)深度學習模型由于其優(yōu)越的特征提取能力，在性能上優(yōu)于傳統(tǒng)的深度學習模型.Jin等[2]首次提出了基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[3]的多模態(tài)模型，提供了通過融合不同模態(tài)的特征以進行虛假信息檢測的思路.

現(xiàn)有的多模態(tài)虛假信息檢測用于分類的特征多為從文本、社交背景和圖像中提取的文本和視覺特征.近年來，有一些研究開始關(guān)注文本特征和視覺特征以外的特征，例如情感、傳播和社交上下文、寫作風格等.Zhang等[4]利用帖子文本和評論內(nèi)容提取用戶情感特征、發(fā)布者情感特征和兩者差值組成的雙重情感特征，結(jié)合文本特征進行謠言檢測.Bian等[5]基于雙向圖卷積神經(jīng)網(wǎng)絡(luò)(Bi-GCN)，自頂向下和自底向上挖掘虛假信息的傳播和散布模式，并進行識別.Przybyla[6]通過學習專家標注的大量文檔的寫作風格，基于風格特征進行虛假信息檢測.因此，為了更加準確地識別虛假信息，本文將文本、視覺和情感特征融合并用于分類.

為了提取文本特征用于虛假信息檢測，Ma等[7]引入了基于RNN的模型捕獲相關(guān)帖子的社交上下文特征隨時間的變化.之后在此工作上，Chen等[8]將注意力機制[9]加入RNN中以選擇性地提取時間表征.Wang等[10]提出基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)[11]改進的Text-CNN模型提取文本特征.Zhang等[12]提出BDANN模型，模型中采用BERT(bidirectional encoder representations from Transformers)[13]預(yù)訓練模型提取帖子中的文本特征，性能得到顯著提高.因此在本文中，為提取帖子中的文本特征，使用預(yù)訓練模型BERT提取文本特征.

視覺特征是多模態(tài)虛假信息檢測中的重要指標.已有研究[2-3,14]表明：從社交帖子的圖片中提取的視覺特征也包含關(guān)鍵的信息，可以通過深度神經(jīng)網(wǎng)絡(luò)提取高度復雜的圖像表示，能顯著改善虛假信息的識別結(jié)果.本文中，采用VGG19[15]提取圖像特征，并與文本、情感特征進行融合.

為吸引讀者和快速擴散的目的，虛假信息中通常包含較多夸張的情感詞匯，因此情感特征也作為虛假信息檢測中重要的判別依據(jù).Ajao等[16]指出，虛假信息的內(nèi)容和它們的情感詞之間存在聯(lián)系，基于這一思想，其構(gòu)造了一個情感特征(負面和正面詞的計數(shù)之比)來輔助檢測虛假信息.Guo等[17]從情感角度探索虛假信息的傳播模式，觀察發(fā)現(xiàn)虛假內(nèi)容編造者偏好使用帶有強烈情感的語句和容易引起關(guān)注的熱點話題傳播虛假信息.因此，該文獻提出了基于文本內(nèi)容和評論情感的雙重情感融合模型.之后，Zhang等[4]發(fā)現(xiàn)虛假內(nèi)容的文本和用戶評論之間存在著明顯的情感反差，所以將文本情感、用戶情感、文本情感和用戶情感差值組成雙重情感特征模型，進行虛假信息檢測.在本文中，受文獻[4]中情感特征提取方式的啟發(fā)，構(gòu)造了情感特征提取器，用于提取不同的情感子特征，融合后形成最終的情感特征.

現(xiàn)有的多模態(tài)模型融合特征時多數(shù)采用拼接或相加的方式，導致模態(tài)信息冗余，不能有效地結(jié)合不同模態(tài)的優(yōu)勢.Xu等[18]基于注意力機制提取模態(tài)間的交互信息，證明了不同模態(tài)的特征通過注意力機制融合可以獲得更全面的特征表示.Guo等[17]設(shè)計了三種門(gate)在不同級別進行特征融合，與拼接特征的融合方式相比有進一步的提升.因此，本文將文本特征和情感特征基于注意力機制進行融合，以獲取更加豐富的多模態(tài)特征.

為增加模型的魯棒性，在其他自然語言處理任務(wù)中會引入生成對抗學習(generative adversarial networks，GAN)[19].Li等[20]在多模態(tài)融合過程中加入雙鑒別器，識別多個模態(tài)共同的特征并進行學習.在虛假信息檢測領(lǐng)域，Wang等[10]提出事件對抗神經(jīng)網(wǎng)絡(luò)(event adversarial neural network，EANN)模型，利用事件分類器來消除不同事件的中的特殊特征，提高新事件有關(guān)的虛假信息的檢測準確度.因此，受文獻[10，12]的啟發(fā)，本文加入了一個事件分類器，從多模態(tài)特征中去除事件獨有的特征，引導模型學習事件的通用特征.

綜上所述，本文提出了一種端到端模型，即基于注意力機制多特征融合神經(jīng)網(wǎng)絡(luò)(attention based multi-feature fusion neural network for fake news detection,att-MFNN)的虛假信息檢測，由多模態(tài)特征提取器、事件分類器和虛假信息識別器組成.為了驗證att-MFNN的性能在微博和推特(Twitter)數(shù)據(jù)集上進行實驗.

1 模型介紹

圖1為att-MFNN模型的總體架構(gòu)：利用BERT和情感分類器提取文本特征Ft和情感特征Fe，送入注意力融合層進行融合,得到特征Fte；再與視覺特征Fv拼接，形成最終的多模態(tài)特征Ff；再將多模態(tài)特征送入事件分類器和虛假信息識別器中，獲取分類結(jié)果.本文中，虛假信息識別器由兩個全連接層和softmax函數(shù)構(gòu)成，為了提高未知事件和突發(fā)事件中的識別能力，引入事件分類器.

圖1 att-MFNN的框架圖Fig.1 Frame diagram of att-MFNN

1.1 多模態(tài)特征提取

1.1.1 文本特征提取

為了捕捉潛在的語義和上下文含義，本文中使用包含12個編碼器層的BERT預(yù)訓練模型進行文本特征提取.將輸入的含有n個單詞的文本表示為T=[T0,T1,…,Tn],T0表示[CLS]嵌入.將Ti輸入BERT預(yù)訓練模型并進行均值池化運算獲得文本特征Rt∈Rdt,其中dt表示從BERT獲得的文本特征的維數(shù),隨后輸入全連接層，以確保文本特征的最終輸出(表示為Ft∈Rp)具有與視覺特征相同的維度(表示為p).因此,

Ft=σt(Wt·Rt),

(1)

其中，Wt∈Rp×dt是文本特征提取器中全連接層的權(quán)重矩陣，σt是文本特征提取器中使用的Leaky RELU激活函數(shù).

1.1.2 情感特征提取

情感特征由情感類別、情感詞匯、情感強度以及輔助特征組成.

1) 情感類別：使用情感分類器(Twitter數(shù)據(jù)集使用NVIDIA的開源模型情感分類模型(https:∥github.com/NVIDIA/sentiment-discovery)，微博數(shù)據(jù)集使用百度AI平臺的情感識別(https:∥ai.baidu.com/tech/nlp_apply/emotion_detection))來獲取情感類別特征.將文本T輸入到情感分類器f中，得到情感類別特征Ec∈Rdf,df表示情感類別的維數(shù).

Ec=f(T).

(2)

2) 情感詞匯：并不是所有的詞匯都能表達情感，所以通過情感詞典計算出的結(jié)果去判斷文本是否具有情感色彩.假設(shè)情感詞典中包含df種情感，情感詞典記為E=[e1,e2,…,edf].設(shè)有l(wèi)個詞匯表示第i種情感，則其情感詞列表為εei={ti,1,ti,2…ti,l},其中ti,j(1≤j≤l)表示第i個情感第j個詞匯.若單詞Ti在此列表中,表示與情感詞列表匹配成功記為1，否則為0.

(3)

對于文本T與情感類別ej的相關(guān)程度s(T,ej)可表示為：

(4)

其中，n表示文本T中的單詞數(shù)，N(Ti)和D(Ti)表示第i個詞前兩個詞(人為設(shè)定)的否定值和程度值.最后，將不同的情感類別拼接形成該文本的情感詞匯特征.

EL=[s(T,e1)，s(T,e2)，…，s(T,edf)].

(5)

3) 情感強度：類似情感詞匯特征，通過將所有情感的分數(shù)相加形成文本的情感強度特征.文本T的第j類情感程度值I(T,ej)可表示為

(6)

其中，i(Ti)表示若Ti在情感詞典列表中，則按照表中值進行計算，否則i(Ti)=0.最后將不同類別的情感程度值組成情感強度特征.

EI=[I(T,e1),I(T,e2),…,I(T,edf)].

(7)

4) 情感輔助特征：許多研究在數(shù)據(jù)處理過程中會將文本中的表情和標點符號清洗掉，而事實上這些符號在社交媒體中也是重要的情緒表達.分別統(tǒng)計不同類別的表情符號出現(xiàn)的頻率.另外，通過情感詞典或公共工具包還可以計算一條文本的正/負極性程度，將以上輔助信息統(tǒng)一稱為情感輔助特征，記為EA∈Ra.

最后上述4種特征拼接后得到文本情感特征ETO∈Rde,如式(8)所示：

ETO=[EC,EL,EI,EA].

(8)

獲得的情感特征維數(shù)為de=3df+a，情感特征提取器最后一層添加全連接層，得到與文本特征維度一致的情感特征Fe,

Fe=σe(We·ETO).

(9)

其中，We∈Rp×de是情感特征提取器中全連接層的權(quán)重矩陣，σe是情感特征提取器中使用的Leaky RELU激活函數(shù).

1.1.3 視覺內(nèi)容特征提取

CNN已經(jīng)成功應(yīng)用于各種視覺理解問題.本文中使用預(yù)訓練的VGG-19，從帖子所含圖像中提取視覺特征.將獲得的圖像特征的維數(shù)表示為dv.為了使視覺特征的最終輸出(表示為Fv)與文本和情感特征的維度一致，在VGG-19的最后一層添加一個全連接層.因此，

Fv=σv(Wv·Rv),

(10)

其中，Wv∈Rp×dv是視覺特征提取器中全連接層的權(quán)重矩陣，Rv是VGG-19最后一層的輸出，σv表示是視覺特征提取器中的Leaky RELU激活函數(shù).

1.2 特征融合方式

本文中特征融合方式分別采用兩種方式：直接拼接和注意力機制融合.

1) 特征拼接

將Ft,Fe和Fv3種特征連接成一個維數(shù)為3p的向量，記為Rf∈R3p.因此，融合特征為

Rf=[Ft,Fe,Fv].

(11)

在本文中，基于3種特征拼接的模型記為MFNN，在2.4對比試驗中將作為與att-MFNN模型進行實驗的對比模型.

2) 注意力機制融合

如圖1所示，將文本特征Ft=[h1,h2,…,hp]和情感特征Fe,分別設(shè)置為K=V=Ft和Q=Fe后，按照如下方式進行特征融合：

i) 計算Q和K的相似度，得到注意力分數(shù)

s=(si)=F(Q,Ki)=KiTQ.

(12)

ii) 用softmax函數(shù)對注意力得分進行數(shù)值轉(zhuǎn)換，進行歸一化得到所有權(quán)重系數(shù)和為1的概率分布

(13)

iii) 根據(jù)權(quán)重系數(shù)對V進行加權(quán)求和得到注意力機制的輸出.

(14)

將文本特征Ft和情感特征Fe輸入注意力層，得到文本情感特征Fte∈Rp的過程形式化表達為如下：

Fte=A(Ft,Fe).

(15)

將Fte和Fv兩種特征連接成一個維數(shù)為2p的向量，記為Ff∈R2p.

1.3 訓練損失函數(shù)

(16)

所有帖子真實標簽yi的集合記為Y.為了計算分類損失，本文中采用交叉熵損失函數(shù)如式(17)所示：

(17)

(18)

事件分類器映射函數(shù)表示為D(Ff;θd),θd表示事件分類器的參數(shù)集合，D為映射函數(shù).設(shè)共有M個事件，將多模態(tài)特征Ff輸入到事件分類器中，會將帖子pi分類到第m個事件中的一個.用Z來表示不同事件標簽的集合，并且用交叉熵損失函數(shù)定義事件分類器的損失，如下：

lgD(E(pi;θE);θD)].

(19)

1.4 模型參數(shù)

多模態(tài)提取器傾向于通過最大化的事件分類損失Ld來提取事件通用的特征，而事件分類器傾向于通過最小化事件分類損失Ld來從多模態(tài)特征中發(fā)現(xiàn)事件獨有特征.因此，定義最終損失為：

L(θE,θC,θD)=LC(θE,θC)-λLD(θE,θD),

(20)

其中，進行模型參數(shù)優(yōu)化λ∈R,用于平衡兩個分類器的損失，使其達到兩種損失對抗的效果.引入梯度反轉(zhuǎn)層(GRL)[10]的目的是在正向傳播期間利用GRL充當恒等變換，在反向傳播期間將梯度乘以λ傳遞給前一層.因此，模型參數(shù)的優(yōu)化過程描述如下:

(21)

其中，η為梯度系數(shù)，一般設(shè)為1.

虛假信息識別器的參數(shù)更新：

(22)

事件分類器的參數(shù)更新：

(23)

2 實 驗

2.1 實驗參數(shù)選取

在文本特征提取器中，從BERT獲得的文本特征的維數(shù)dt為768.視覺提取過程中，首先將圖像的大小調(diào)整為224×224×3,輸入到預(yù)訓練模型VGG-19中.VGG-19的圖像特征維數(shù)為4 096.通過情感特征提取器中情感特征維數(shù)為56.文本、情感和視覺提取器中全連接層的隱藏狀態(tài)維數(shù)p為32.為避免過擬合，模型中對BERT和VGG-19的參數(shù)均進行了凍結(jié).事件分類器中兩個全連接層的維數(shù)分別設(shè)置為64和32.

模型中批處理(batchsize)設(shè)置為32，訓練次數(shù)為100輪(epoch)，學習速率為10-3,優(yōu)化算法為Adam，每個連接層的激活函數(shù)為Leaky RELU，dropout概率為0.5.

2.2 數(shù)據(jù)集

微博數(shù)據(jù)集：微博數(shù)據(jù)集由Jin等[2]提出，并被應(yīng)用于許多多模態(tài)虛假信息檢測的研究.在這個數(shù)據(jù)集中，真實信息從中國的權(quán)威新聞來源收集，比如新華社.另外，通過微博官方辟謠系統(tǒng)還收集了2012年5月到2016年1月的虛假信息.該系統(tǒng)鼓勵普通用戶報告可疑帖子，并由可信用戶檢查可疑帖子.因此這個系統(tǒng)也作為收集謠言新聞的權(quán)威來源.當預(yù)處理這個數(shù)據(jù)集時，首先刪除重復和低質(zhì)量的圖像，以確保整個數(shù)據(jù)集的質(zhì)量.然后，應(yīng)用單程聚類方法[21]從帖子中發(fā)現(xiàn)新出現(xiàn)的事件.最后，將整個數(shù)據(jù)集以7∶1∶2的比例分成訓練集、驗證集和測試集，并確保它們不包含任何常見事件.

Twitter數(shù)據(jù)集：Twitter數(shù)據(jù)集來自Boididou等[22]發(fā)布的數(shù)據(jù)集，用于檢測Twitter上的虛假內(nèi)容.Twitter數(shù)據(jù)集包含開發(fā)集和測試集，將Twitter開發(fā)集用作訓練集，測試集用作測試集.Twitter數(shù)據(jù)集中的推文包含文本內(nèi)容，附加的圖像/視頻和其他社交環(huán)境信息.在本文工作中，專注于通過結(jié)合不同模態(tài)信息來檢測虛假信息.因此，刪除了沒有任何文本或圖像的推文，并且保證訓練集與測試集之間沒有重疊事件.表1列出了這兩個數(shù)據(jù)集的詳細統(tǒng)計數(shù)據(jù).

表1 微博和Twitter數(shù)據(jù)集統(tǒng)計信息

數(shù)據(jù)實例：為了更清晰地描述兩種數(shù)據(jù)集中圖片、文本以及通過文本得到的情感特征(以情感類別特征為例)之間關(guān)聯(lián)性，從數(shù)據(jù)集中挑出4個實例，如表2所示.

表2 微博和Twitter數(shù)據(jù)集中的實例

在兩個公開數(shù)據(jù)集中，既包含圖像又包含帖子文本信息.通過構(gòu)造情感特征提取器，提取文本中的情感構(gòu)成了模型的輸入.

2.3 基線模型

本文中，從先前的研究中挑選出3個經(jīng)典模型，作為對比試驗的基線模型.

EANN[10]模型：EANN 結(jié)合文本和視覺特征通過拼接組成多模態(tài)特征，并引入事件鑒別器消除特定事件的依賴關(guān)系，最后進行虛假信息檢測.本文中也引入了事件分類器，進行事件通用特征的學習.

MAVE[14]模型：MVAE旨在學習文本和視覺模式之間的共享表示，以檢測虛假信息.利用變分自動編碼器對輸入數(shù)據(jù)進行重構(gòu)得到共享表示，并利用二值分類器對虛假信息進行檢測.

BDANN[12]模型：采用BERT提取文本特征與視覺特征進行拼接融合的多模態(tài)虛假信息檢測模型.

2.4 對比實驗

為了評估本文模型att-MFNN的性能，在微博和Twitter數(shù)據(jù)集進行了如表3所示的實驗.(表3中P表示精確度，R表示召回率，A表示準確率)

表3 微博和Twitter數(shù)據(jù)集上att-MFNN和基線模型對比實驗結(jié)果

在微博數(shù)據(jù)集中，僅對文本、情感和視覺特征進行拼接，MFNN模型已經(jīng)優(yōu)于所有基線模型，其準確率比基線模型中性能最好的BDANN高3.8個百分點，且其他指標也普遍更高.加入了注意力機制后，att-MFNN總體性能進一步提高，準確率提升1.3個百分點(共提升5.1個百分點)，準確率可以達到89.2%，所有指標優(yōu)于所有基線模型.

在Twitter數(shù)據(jù)集中，att-MFNN與基線模型中性能最好的BDANN模型相比，準確率提高了4.5個百分點，達到了87.5%.除了在真實信息中召回率低于MFNN模型的93.0%，att-MFNN模型在準確率、總F1值、總召回率等指標中均優(yōu)于MFNN模型，并且所有指標優(yōu)于所有基線模型.

與基線模型相比，無論是基于拼接的MFNN模型還是基于注意力機制融合的att-MFNN模型都有顯著提高.att-MFNN和MFNN中包含3種特征，多個不同的特征的有效利用，可以發(fā)揮多模態(tài)的優(yōu)勢，更好地去進行虛假信息識別.

2.5 消融實驗

為了更清晰地了解模型中各個特征的作用，在微博和Twitter數(shù)據(jù)集中進行了消融實驗.結(jié)果如表4所示.

表4 微博和Twitter數(shù)據(jù)集上att-MFNN消融實驗結(jié)果

根據(jù)對比試驗和消融實驗結(jié)果可以得出以下結(jié)論：

1) 多模態(tài)模型優(yōu)于單模態(tài)模型

在微博數(shù)據(jù)集中：單獨基于文本特征的模型準確度為80.3%，而從MFNN模型去除文本特征后模型準確下降到65.3%，直觀地說明了文本特征對于模型性能的影響相比較其他兩個特征更大.與基于單模態(tài)的模型相比，基于兩種特征的多模態(tài)模型都有了提升.視覺特征和情感特征單模態(tài)情況下，準確率為63.9%、62.1%，而將這兩個特征融合后準確率提高到65.3%.情感特征和視覺特征分別與文本特征融合后性能大幅度提高到84.6%和84.1%.Twitter數(shù)據(jù)集中：文本、視覺和情感單模態(tài)模型準確率分別為70.6%、59.6%和52.6%，將3種特征兩兩組合后的多模態(tài)模型相比較單模態(tài)有了進一步提升，最后當3種特征融合時，準確度高于基于單模態(tài)和基于兩種特征的多模態(tài)模型.

2) 情感特征能帶來性能提升

在兩種數(shù)據(jù)集中，單模態(tài)的文本特征模型、視覺特征模型以及多模態(tài)的文本視覺模型加入情感特征后最低有0.9個百分點的提升，最高提升能達到7.2個百分點.具體為：微博數(shù)據(jù)集中，(Vision+attention) w/o(準確度:84.6%)高于Text only(準確度:80.3%) 4.3個百分點，Text w/o(準確度:65.3%)高于Vision only(準確度:63.9%) 1.4個百分點，MFNN(準確度:87.9%)高于Emotion w/o(準確度:84.1%)3.8個百分點.Twitter數(shù)據(jù)集中，(Vision+attention) w/o(準確度:71.5%)高于Text only(準確度:70.6%) 0.9個百分點，Text w/o(準確度:66.8%)高于Vision only(準確度:59.6%) 7.2個百分點，MFNN(準確度:86.6%)高于Emotion w/o(準確度:80.4%)6.2個百分點.微博數(shù)據(jù)集中情感特征帶來的性能提升高于視覺特征.這可能與微博數(shù)據(jù)集中圖片含有較多的噪聲有關(guān).現(xiàn)實生活中數(shù)據(jù)噪聲不可避免，因此單一模態(tài)或者僅靠文本和視覺特征在這種情況下性能會遭遇瓶頸甚至下降.利用文本所含的豐富情感，結(jié)合文本和視覺特征，學習更全面的特征能有效改善這一問題.

3) 基于注意力機制融合方式優(yōu)于特征拼接的方式

如表3和4所示，通過注意力機制將情感特征與文本特征進行融合的方式普遍優(yōu)于基于拼接的模型.具體為：微博數(shù)據(jù)集中，Vision w/o(采用注意力機制融合)準確度為86.4%，高于(Vision+attention) w/o(采用拼接)的準確率1.8個百分點；att-MFNN模型的準確率為89.2%，高于MFNN模型的準確率1.3個百分點.在Twitter數(shù)據(jù)集中，Vision w/o準確率為73%，高于(Vision+attention) w/o的準確率1.5個百分點；att-MFNN模型的準確度為87.5%，高于MFNN模型的準確度0.9個百分點.

另外，本文對引入的事件分類器也進行了消融實驗.微博數(shù)據(jù)集中MFNN模型和att-MFNN模型去除事件分類器后準確率有一定的降低，分別由87.9%和89.2%降低到85.7%和87.4%.在Twitter數(shù)據(jù)集中，去除事件分類器后，MFNN模型和att-MFNN模型準確率分別下降1.0個百分點和1.1個百分點.與微博數(shù)據(jù)集相比較，Twitter數(shù)據(jù)集中單個事件關(guān)聯(lián)的文本較多，不利于模型學習不同事件之間的共同特征，這也可能是在Twitter數(shù)據(jù)集中文本特征的準確度較低以及事件分類器對模型性能提升有限的原因所致.

3 結(jié) 論

本文中主要研究多模態(tài)虛假信息檢測.通過觀察發(fā)現(xiàn)，社交媒體中的虛假內(nèi)容除了圖文結(jié)合，還伴隨著強烈的情感煽動.因此，提出了文本、情感、視覺特征基于注意力機制融合的虛假信息檢測模型—att-MFNN.在微博和Twitter兩大數(shù)據(jù)集進行對比實驗和消融試驗表明，att-MFNN的模型有效且優(yōu)于現(xiàn)有的模型.未來的工作聚焦于更多特征的融合過程，例如傳播特征、社交特征、評論的文本及情感特征如何融合才能使不同模態(tài)間信息互補，發(fā)揮多模態(tài)優(yōu)勢.