基于多任務多模態學習的謠言檢測框架

蔣方婷 梁剛

摘 要： 謠言檢測是對社交網絡上傳播的信息內容進行真實性鑒別的任務. 一些研究表明融合多模態信息有助于謠言檢測，而現有多模謠言檢測方法具有以下問題：（1）只是將處于不同表示空間的單模態特征簡單拼接形成多模態表示，沒有考慮多模態之間的關系，難以提高模型的預測性能和泛化能力.（2）缺乏對社交網絡數據組成結構的細致考慮，只能處理由文本-圖像對的社交網絡數據，無法處理由多幅圖像組成的數據，且當其中一種模態（圖像或文本）缺失時模型無法進行預測. 針對上述問題，本文提出了一種多任務多模態謠言檢測框架（MMRDF），該框架由3 個子網絡組成：文本子網絡、視覺子網絡和融合子網絡，通過從單模態數據中提取淺層至深層的單模特征表示，在不同的子空間中產生特征圖，豐富模態內特征，并通過復合卷積結構融合生成聯合多模態表示，以獲得更好的預測性能. 同時該框架可以靈活地處理所有類型的推文（純文本、純圖像、文本-圖像對和多圖像文本），并且沒有引入造成額外時間延遲的傳播結構、響應內容等數據作為輸入，可以在推文發布后立即應用于謠言檢測，減少辟謠的時間延遲. 在兩個真實數據集上的實驗結果表明，所提框架明顯優于目前最先進的方法，準確率上的提升分別為7. 3% 和2. 9%，并通過消融實驗證明了各個模塊的有效性.

關鍵詞： 謠言檢測； 多模態分析； 表示學習； 多任務學習； 神經網絡

中圖分類號： TP393 文獻標志碼： A DOI： 10. 19907/j. 0490-6756. 2024. 023004