基于內嵌偽造機理的多模態協同魯棒偽造信息檢測方法

鄭 威,凌 霞

(中國信息通信研究院,北京 100083)

0 引言

深度偽造信息造成的影響日益凸顯[1],表現為攻擊性損害、信任風險加劇等[2]。隨著生成模型在文本[3]、圖像[4]、音頻[5]及多模態[6]中的深入研究,音頻編輯、視頻編輯、文本生成等應用得到了廣泛使用。傳統的偽造信息檢測方法注重對單一模態的鑒偽[7],此類方法雖然能在某個數據集上取得較好的檢測效果,但無法應對新的偽造手段與技術,即魯棒性不足。本研究提出基于多模態生成模型的內嵌偽造機理,構建主動數據增強方法,以增強檢測模型的魯棒性,利用transformer、圖神經網絡等深度神經網絡對不同模態進行建模并融合,實現多模態協同魯棒偽造信息檢測。

1 研究目的與內容

研究了一種能夠提升偽造檢測魯棒性且具有良好可解釋性的多模態融合偽造檢測方法,即基于內嵌偽造機理的多模態協同魯棒偽造信息檢測方法,主要包括:①研究內嵌偽造機理的理論基礎。分析各個模態生成模型的結構,探索各個結構在生成內容中留下的特征。②設計與實現基于內嵌偽造機理的多模態協同魯棒偽造信息檢測模型。綜合利用語音、圖像、文本模態的生成機理,使用深度神經網絡,提取數據中的內嵌偽造機理特征并進行多模態特征融合,使用分類器對真偽信息進行檢測。③開展實驗評估并分析結果。使用包含真偽兩種信息的數據集進行訓練及測試實驗評估,與其他方法進行性能比對。

2 研究方法

2.1 內嵌偽造機理

內嵌偽造機理是指各個模態偽造方法留下的特征[8]。音頻模態包括但不限于音頻經過合成過程的聲學特征重建痕跡,圖像模態包括但不限于圖像對于照度圖像與反射圖像的還原程度。為實現多模態協同鑒偽,使用負面數據增強方法來模擬各個模態的偽造過程,設計了一種對文本、圖像、音頻3種不同模態提取內嵌偽造機理特征的方法,通過特征融合方式,將神經網絡綜合學習多模態的內嵌偽造機理特征用于判斷輸入數據是否偽造信息。

2.2 負面數據增強方法

負面數據增強方法通過擴充數據集、增加數據多樣性等方法有效提升了模型的穩定性及檢測的魯棒性。針對音頻模態,將音頻輸入預訓練好的語音轉換模型中,得到對應的轉換語音并將其標記為偽造。針對圖像模態,將圖像輸入預訓練好的變分自編碼器模型中,獲得對應重構圖像并將其標記為偽造。針對文本模態,使用通用的預訓練語言模型對文本段落進行較小的擾動,將所得文本輸出標記為偽造。

2.3 基于內嵌偽造機理的多模態協同魯棒偽造信息檢測概述

提出一種基于內嵌偽造機理的多模態協同魯棒偽造信息檢測方法,由負面數據增強、單模態特征提取、音頻-圖片模態融合及分類權重結果融合4個階段組成。

圖1 模型結構Fig.1 Model structure

2.3.1 負面數據增強

留下各個模態數據內嵌偽造機理的痕跡,圖像模態采用預先用圖片數據集訓練好的VAE架構模型。音頻模態采用語音轉換方式,而so-vits模型更為穩定且速度,相較于soft-vc[9]相差無幾。文本模態采用語音識別的方式補充文本模態數據,采用T5模型對文本進行小幅度修改。

2.3.2 單模態特征提取

圖像模態采用自注意力機制對輸入進行編碼操作,使圖片轉換為具有表征能力的向量表示。音頻模態對時域特征進行提取,使用asvspoof2019訓練集預先訓練過的Rawnet2網絡結構直接對音頻波形圖進行特征提取。

2.3.3 音頻-圖片模態融合

多模態融合器(multi-modalaggregator)對原音頻與負面增強后的音頻、原圖像與負面增強后的圖像進行融合,再將音頻與圖像模態表征進行融合,融合器由cross-attention和feed for ward neural net work組成,特征融合完成后連接二分類分類器對真偽進行softmax分類。

2.3.4 分類權重結果融合

基于detectGPT輸出的值與多模態融合器softmax分類值,對文本真偽預測進行加權聯合判斷,將文本預測結果的權重設為0.1。

3 實驗設計與分析

3.1 實驗數據集

收集了大量視頻數據,借助ASR模型補全了部分視頻缺失的文本模態數據,將其作為實驗數據集,對每個模態都進行真偽標簽標注。為保證實驗的可靠性及可比性,對數據各個模態進行與對比方法相同的數據預處理操作,確保模型效果比對不會受到其他變量的影響。將數據集按照7∶2∶1的比例隨機劃分為訓練集、驗證集及測試集,用于模型訓練、參數調整及最終評測。

3.2 實驗指標與評估方法

為評估所提方法的性能,選用EER、Precision及F1值幾個常見指標對模型性能進行評估,進行對比實驗和消融實驗,使用音頻單一模態的偽造檢測模型rawnet2作為比對模型,消融實驗則將模型遞進消融為完整模型(ours)、剔除文本模態(oursw/o text)、剔除文本及圖像模態(oursw/o text&image)。

表1 實驗結果

4 結果分析與討論

純音頻單模態的偽造檢測使用ours w/o text&image,對比rawnet2效果,其在EER、precision及F1的表現上均比rawnet2模型好。在消融實驗上遞進地將文本模態、文本及圖像模態剔除,對模型進行評測,結果顯示,每剔除一個模態,各項指標的表現都會有所下降,說明此方法的多模態融合提升了偽造檢測能力。

文本模態剔除對各項指標的影響并不大,造成這一現象的原因是此方法對文本模態的融合方式及文本語義方面的考慮不夠,導致文本特征對整體偽造檢測效果的提升不如另外兩個模態。

實驗驗證了此方法的有效性,說明此模型架構能較好地捕捉到數據的偽造依據并進行偽造檢測。

5 結束語

提出了一種偽造檢測方法并在自建數據集上進行實驗,證明此方法具有有效性,與常用的單模態偽造信息檢測模型相比具有優越性。此方法在多個指標上表現良好,但還有提升空間。未來,可著重研究文本模態的語義,著眼于多模態之間的融合策略及融合階段,更好地識別偽造數據,完成偽造信息檢測任務。