語義增強的多模態虛假新聞檢測思考

福建師范大學協和學院信息技術系 陳耿

本文主要以語義增強的多模態虛假新聞檢測思考為重點進行闡述，首先分析語義增強的多模態虛假新聞檢測背景，從文本語義編碼器模塊建立、視覺語義編碼器模塊建立、多模態結合模塊建立、分類模塊建立幾個方面深入說明并探討語義增強的多模態虛假新聞檢測創新與實踐，旨在為相關研究提供參考。

1 語義增強的多模態虛假新聞檢測背景

1.1 虛假新聞實際特征

一般而言，若新聞內容呈現出虛構傾向，偏離真實化生活，則這個新聞可能是虛假新聞。人們閱讀過程中依舊會感受“這是實際發生的事實”。虛假新聞整體涉及三個層面：第一個層面是單一化假新聞，由于網絡體現出匿名特征，還可以言論自由，若有人故意編造新聞，會出現相關信息圖片在多次轉載后出現文字和標題不貼切現象；第二個層面是煽動化的假新聞，信息可能由不法分子創造，引出社會動蕩，捏造極端性文字，讓圖片存在血腥暴力的特色；第三個層面是與利益存在關系的假新聞，個體以獲取利益為前提，擅自發布醒目標題，與新聞主旨相匹配，多數情況可以吸引眼球畫面，新聞內容以廣告或推銷為主[1]。排除虛假新聞主體，新聞發布者總是發布不切合實際新聞信息，尤其是運用固有社交媒體平臺中張貼與新聞主旨沒有關系的信息標簽。所以虛假新聞經常來源于多種類型模態信息，因此怎樣得到上述特點是創設模型關鍵。

1.2 多模態虛假新聞檢測現狀

立足于分析對象本質特征，虛假新聞檢測劃分事件檢測以及微博檢測，前者是通過相同類型事件信息，綜合判斷新聞消息是否具備可信度，需要一定時間支持，部分關鍵虛假性新聞在事件產生前大范圍存在于社交媒體內，可能在較短時間內生成負面影響；后者對單一微博信息具備真實性和事件檢測結果互相對比，此種模式在具體應用期間能保證檢測時效性，所以備受研究者重視，那么微博模式的虛假新聞檢測分析更具備意義和價值[2]。諸多文獻通過文本內容及傳播內容生成虛假性新聞，以文本內容為基礎形成虛假新聞，固有語言風格模型構建早期語言學基礎、主題基礎特征等，還包含深度模型為前提的自動化信息高層特征。社交上下文檢測方法尤其存在于用戶行為的真實性層面和網絡信息傳遞層面，起到一定作用。

最近幾年，部分工作逐步體現出視覺模態對虛假新聞檢測起到顯著價值，虛假新聞信息圖片包含圖片誤用、圖片篡改兩種形式。圖片誤用沒有刻意修改，來源其他類型事件或被錯誤感知的真實性圖片；圖片篡改是運用工具刻意改動像素，也是自動轉變某種算法的非具體化圖片。現有視覺模態強調借助圖片取證和語義特征與上下文特征，全面完成虛假新聞信息檢測[3]。

除此之外，文本模態類型、視覺模態類型在一定程度給虛假信息檢測帶來補充性信息，關聯多模態信息開展虛假新聞檢測是比較重要的問題。神經網絡檢測方法是對多模態數據、虛假新聞檢測結合，產生含有注意力表現的一種循環網絡融合文本以及社交信息，提供虛假新聞檢測的泛化功能。隨后借助對抗學習理念納入事件類型，模型學習被賦予和事件無關的多模態性能；依托編碼器與解碼器創設多模態新聞特征傳遞過程，對于虛假新聞檢測有效性條件，在事實知識匱乏情況下，是無法全方位感知多模態新聞事件內部語義的；結合外部圖譜對文本實體概念進行具體分析，能夠得到語義體系。通過網絡建立文本模型和建立圖片模型的交互體系，上述操作方式可彰顯外部知識圖譜優勢，強化人們對新聞語義掌握[4]，可是創設圖片語義信息時依舊表現出不足。基于此，對于上述工作任務，提倡語義增強的多模態虛假新聞檢測，對外部知識的文本信息與圖片信息進行處理，全面關聯不相同類型模態的異構基礎特征進行新聞檢測，存在一定現實意義。

2 語義增強的多模態虛假新聞檢測創新與實踐

在創設虛假新聞檢測方法過程中，應保持創新理念，切合實際的建立相關的模塊，即文本語義編碼器模塊、視覺語義編碼器模塊、多模態結合模塊和分類模塊。

2.1 文本語義編碼器模塊的建立

文本是新聞事件集中闡述主體，涉及大量數據信息，給新聞真實性判斷提供多個條件。目前存在的方法是借助循環設神經網絡建模文本上下文數據，捕捉文本表現層實踐模式。因為特征提取階段匱乏一定真實知識加入，那么此類型的方式體現出感知新聞文本內容實體能力的局限性，不能完全得出虛假新聞語義線索。BERT（預訓練模型）不只體現建模功能，還可在語料內部生成常識知識，百度提倡知識增強語義代表模型，即ERNIE，其內部結構和BERT存在一定關聯，借助Transformer編碼器功能形成相關Self機制，完成上下文數據建模。和BERT存在差異，ERNIE涉及的詞句與實體單元，能夠延伸部分知識類的語料預訓練空間[5]，還可全面了解建模實體知識，增強模型現有語義表達水平。換言之ERNIE不只對上下文編碼器所含有的詞句表達，還可充當知識保存器，在句子表達含義生成階段完整的保存對應知識。所以ERNIE可充當文本模態信息提取器，體現建模文本擁有表現層性能。

在此需要注意，社交媒體文字圖片相關新聞信息是新聞重點表現形式，可借助百度預訓練形式進行文字模型提取，實現新聞信息檢測模塊建設。

2.2 視覺語義編碼器模塊的建立

與真實性新聞信息配圖對比，虛假新聞圖片質量不高，體現出沖擊力與情感煽動的問題。實際方法是在卷積神經網絡支撐下得到顏色信息、邊緣信息及紋理信息。因外部知識匱乏，此類型視覺特征以感知層為主，不能全面了解新聞圖片內層語義[6]。本質上，新聞圖片和新聞性的視覺實體存在關系，尤其是名人信息、地標信息、旗幟信息，確切的判斷可讓人們全方位掌握多模態語義，得到虛假新聞線索。因此相關人員要利用圖片表示名人信息與地標信息過程，分析圖片包含的地點和新聞文本是不是匹配，識別圖片物體，判斷文本實體作用處理多模態新聞沖突點。同時應關聯視覺特征向量模型，關聯外部模型圖片視覺實體模型的本質語義。另外要想科學的判斷圖片名人信息與地標信息真實性，即創設信息集，全面檢測信息可靠性。考慮到中文標注信息集相對較少，通過百度平臺可提供對應接口體系。強調名人信息檢測模型的構建，達到判斷公眾人物數據真實性的目的；形成地標檢測模型，達到判斷中外地標真實性的目的；形成旗幟檢測模型，達到國旗國徽與民族服飾信息真實性判斷的目的；形成敏感目標檢測模型，達到判斷疾病表征與爆炸火災以及暴恐信息真實性的目的。由此獲取實體組成列表，提供外部知識的實體語義信息數據，在ERNIE網絡內納入實體列表信息，得到實體表達序列。

2.3 多模態結合模塊的建立

經過上述兩點操作，得到文本的表達結果與文本圖片結合表達的結果，之后需求對多種類型的異構特點加以統一化多模態信息傳遞。圖片中會存有兩個或者兩個以上的視覺主體，然而并不是全部檢測的實體都可提供虛假新聞檢測的便捷條件，關聯全部的實體數據信息，可能引出信息冗余與噪聲不足的現象。初步明確和文本相互感應的視覺實體更關鍵，所以要關聯文本引導注意力機制[7]，研究不相同圖片區域對語義理解產生的差異性效果，應將這些信息互補，拼接多個組成特點，獲取新聞多模態表示模型。

2.4 微信公共平臺模塊的建立

微信公共平臺是當今社會一種典型媒介，強調和受眾之間深化溝通，人們借助此平臺互相傳遞信息，受眾明確指令之后接收圖片與文字，適應大眾對主題閱讀的興趣需求，對多模態語言傳遞進行反饋調節。因此多模態的信息檢測中，可適當納入微信平臺，提高大眾對新聞檢測的參與程度，詮釋多模態話語互動的內涵。

2.5 分類模塊的建立

得到輸入新聞多模態表示形式，把信息傳遞給全連接層再具體分類。

首先是數據集。虛假新聞分析階段，公開性多模態數據集不多，在之后實驗中要探索中文形式微博數據集性能，然而模型也可作用在英文形式新聞數據集表達上，主要是由于文本模型強調深層語義信息的交互和文本表現間關系不密切，那么語言形式和模型兩者互相影響要在后續工作中全面被檢驗。劃分信息數據與檢驗信息過程，歸納全部的信息總結不相同形式的事件[8]。以此為前提，分類處理事件級別，確保訓練信息與檢驗信息不會和新聞信息存有交叉的部分，因為綜合數據量不多，那么可依托訓練集形式與檢驗集形式以及測試集形式全面進行研究。

其次是實驗設計。在虛假新聞檢測評估上，實驗設計指標包含準確率項目與假新聞種類項目、新聞召回率項目，選取圖片翻轉的形式讓假新聞檢測評估更為具體化。

（1）對比結構。利用卷積神經網絡對文本信息分類展現，引進多種形式的卷積核，數目參數是100；循環神經網絡充當文本類別劃分的經典形式，注意力機制重疊網絡是理解是對比體現，網絡隱層單元參數調整為128；預訓練語言模型更為廣泛的存在于自然語言加工中，任務數據集微調結束對比Transformers以及BERT模型結果[9]。

（2）單視覺模態判斷思路。利用視覺特征提取器獲取信息，微調文本任務數據集。

（3）多模態判斷思路。把注意力機制為核心設置神經網絡作用在融合文本中，體現對比結果公平性，轉移處理社交特征的結構模塊。把預訓練文本模態特征與視覺模態特征互相關聯，在新聞事件分類器中融入虛假新聞數據；關聯多模態編碼器與新聞檢測器的任務模型設置，提取預訓練特征，有效的形成中間表達形式，作用在輸入特征與虛假新聞的類別篩選上。

（4）結果情況。分類準確率明顯大于其他對比方式，語義增強的多模態模型可讓虛假新聞檢測效果提升，特別是虛假新聞的召回，表明模型能夠分析多模態語義線索，即觀察存在缺陷方法內容的虛假性新聞，具體如表1所示。

表1 檢測方法的性能對比Tab.1 Performance comparison of detection methods

3 結語

綜上所述，針對多模態新聞語義分析不夠透徹現象，關聯本文探索語義增強多模態虛假新聞檢測方式，依托外部模型保存新聞事件信息，分析多模態新聞的語義特征，得到語義層次的多種視覺數據，由此才可讓多模態異構體系更完整。